Python

Pythonでバッチを組む際、モジュールのPATHをどう取り込むか

転職してからエンジニアっぽい仕事ができています。ありがとう現職。 で掲題の話なんですが、Pythonのコードを組み上げてバッチファイルを作ろうと思うのです。 利用者がそこまでシステムに詳しくなくても使うためには.batを作っておいて必要に応じてダブル…

超簡易的な住所文字列の処理系を作った

住所文字列の表記揺れを目視で確認する作業が発生して、衝動に任せて作った代物です。コードを読んでいただけばわかりますけど抜けだらけです(ジオコーダ作るときの指標ぐらいにはなるかも)。 このコードは住所文字列のCSVを読み込んで、都道府県/市区町村…

Pythonコードの"if __name__=='__main__':"の意味は

備忘録です。 nameの条件分岐の意味をちゃんと理解していなかったので。他人に何かを教えるときにはちゃんと理解した上で説明すべきだし、公開しとくと尚良いです。 Pythonのコードを読んでいると、以下の条件分岐がコードの最終行近くに書いてあるのを見か…

Pythonで学ぶ初歩からの統計学(ヒストグラムを作るまで)

Pythonを使って統計学のおさらいをします。手始めに度数分布表とヒストグラムを作ります。 度数分布表の作り方は以下の通り。 データの範囲(最大値と最小値の差)を求める 階級(Class)の数を定める 階級の幅(Class Interval)を決める 度数(Frequency)…

『実践 機械学習システム』の第6章をやってみる

この記事は5月30日のAITCオープンラボにてお話しした感情分類器の作り方の補足記事を兼ねています。積み残しがあるのでまだ未完です。 最近オライリーから発売された『実践機械学習システム』はとても良い本で、機械学習の概要と何をしてどのような結果が得…

Pythonを使ってTwitterのタイムラインを収集する

「実践 機械学習システム」の第六章ではTwitterのタイムラインを使った感情分析を行っています。ただし英語のTweetを対象としているので、(たぶん)*1サンプルコードを実行してもあまり面白くはないのです。できることなら日本語でやりたい、というわけで自…

Python3でJSONデータを解析する

ググって出てくるJSON解析の方法はPython2系ばっかりなので、Python3系でのやり方をまとめます。 JSONデータは「 pythonのurllib2でjsonを取得して解析する - 文系プログラマによるTIPSブログ 」でも使われているお天気Webサービスを使います。 APIから読み…

Pythonでフォルダ・ファイルを操作する(ファイル取得・フォルダ作成など)

単純作業を効率化するためにPythonを使います。フォルダ自体や、中に含まれるファイルの操作をサクサク行う寸法よ。

Windows環境でpsycopg2を導入する

作業メモです。 膨大な正規化されていないデータを取り扱う場合、まずデータの中身を確認しに行く必要があります。地理空間情報を扱っている手前、一般的なテキストデータ(CSVとかtxtなど)だけでなく、shapeファイルという摩訶不思議なフォーマットを扱わ…

Pythonで生成したリストの並び替え

取り扱う対象は1次元のリスト。リストは昇順・降順に並び替えたり、長さ順に並び替えたりすることが多い。以下のようなリストに変更を加えていく。個人名は適当に生成したつもり。 Ipython使ってるので入出力の接頭文字が付いてます。 In [14]: NameList = …

Pythonの配列(リスト)とその操作

Pythonでは文字列、リスト、タプル等のデータ型がある。リストは多次元配列(1次元含む)を扱うことができる。 基本的なこと 1次元配列の例。 List1 = [1,2,3,4,5] 2次元配列。 List2 = [[1,2,3],[4,5,6]] 上の"List1"で要素にアクセスしたい時には角カッ…

Pythonで厚生労働省が公開する世帯所得データを解析する

事前準備 作業内容は表題の通り。環境はPython3を基本にして以下を使用する。事前にライブラリのインストールが必要。 ipython pandas numpy matplotlib 元データは厚生労働省が公開している”平成25年 国民生活基礎調査の概況”を利用。 調査の概要|厚生労働…

MacOSとPythonで始めるデータサイエンス

環境を整えます。必要なのは以下。 pip Ipython pandas numpy matplotlib scipy canopyを使うのも良さそうだけど、後からパス通すとかめんどくさそうなので今回は見送り。 Python Distribution and Integrated Analysis Environment | Enthought Canopy Pyth…