Python

Anaconda環境で「WinError 127 指定されたプロシージャが見つかりません」が出る場合の対処法

Anaconda の conda install でパッケージをインストールすると稀にこういう画面が出ます。 何らかのパッケージを conda install した際に、 requirement.txt で openssl パッケージの更新をかけた場合に発生する気がしています。インストールの結果、DLL(li…

旧バージョンのAnacondaをインストールする

最新版のAnacondaを入れたら思いの外ハマったので旧バージョンをインストールします。どうもSSL周り(OpenSSL)が上手く行ってない様子。 download - "pip is configured with locations that require TLS/SSL, however the ssl module in Python is not ava…

Pythonの処理完了をいろんな方法で通知する

Pythonで重たい処理をかけると30分-2時間ほど待つことがあります。 作業の待ち時間では他の細々した作業を片付けたりインターネットに潜ったりしますが、気がつくと30分前に処理は終わってて無駄に時間を潰してしまうことも多々。何かしら処理完了の通知が飛…

PythonとTwitter APIを使ってフォロー・フォロワーのアイコンを収集する

特定アカウントのフォロー・フォロワーのアイコンを一括で集めたくなったのでなんとかしました。 使うもの Python 3.x系 tweepy 環境はAnacondaを使ってます。標準環境では tweepy 入ってないので pip install tweepy でインストール。 あとTwitter API Key…

iPhoneをGPSロガーとして使用する

GISやってる人間はたいてい動態管理に手を出します(俺調べ)。 GPSロガーを使った位置管理が昔からある手法、現在ではGoogleのロケーション履歴を使う方法もあります。普通の方はロケーション履歴で十分ですが、自力で緯度経度取得したいという奇特な人は i…

九州電力の電気使用実績データ(2011年11月~2018年8月/日毎)をひとまとめのデータに加工する

Pythonを使い電力消費量と気温の相関を取ろうと思います。事前準備として九州電力の電気使用実績データをpandas DataFrameにサクッと加工していきます。 九州電力の電気使用実績データは以下のサイトに掲載されています。CSVデータは時間毎。日毎のデータを…

ふるさと納税の寄附金額を地図上で可視化する

先日、世田谷区がふるさと納税で税収41億円減というニュースがありました。保坂区長は愚策中の愚策とおっしゃっててかなりご立腹の様子です。 www.zeiri4.com じゃあこのふるさと納税で集まったお金、いったいどこの自治体に回ってるんでしょうか。ふるさと…

Pandasを使ってHTMLのテーブル要素を抽出する

九州のオープンデータを使っていろいろと可視化をしようとしています。様々な団体がオープンデータを公開していますが、リアルタイム性があるものはそう多くありません。 ただ、国の機関は日単位・時間単位で情報を公開している場合があるので、これを使って…

Jupyter Notebookを使ったデモでパスワードを秘匿

自分が書いたPythonコードを見せる際 Jupyter Notebookは大変便利な環境です。打ち込んだコードと結果がリアルタイムで見えるので初学者、中級者向けの説明にはもってこいと言えるでしょう。 ただし、何らかのWebサービスにログイン(トークン取得)して作業…

Pythonを使ってZIPファイルを解凍する

ZIPファイルの解凍作業は面倒くさいです。なのでPythonを使ってZIPファイルを解凍しましょう。動作環境はPython3.6以上推奨。標準ライブラリだけでやっていきます。 1つのZIPファイルを解凍 フォルダ内のZIPファイルをまとめて解凍 階層構造が複雑なフォル…

Python(pandas)を使ってテーブル間の差分を取り出す

2018年7月20日追記:このやり方全然スマートではないので修正版を書きます。 同じ列(カラム)を持っているCSVファイルが複数あり、その差分を取りたいときの手法をメモっておきます。一年前の売上と比較したいとか、前年度の従業員リストと比較したい場合な…

Pythonでバッチを組む際、モジュールのPATHをどう取り込むか

転職してからエンジニアっぽい仕事ができています。ありがとう現職。 で掲題の話なんですが、Pythonのコードを組み上げてバッチファイルを作ろうと思うのです。 利用者がそこまでシステムに詳しくなくても使うためには.batを作っておいて必要に応じてダブル…

超簡易的な住所文字列の処理系を作った

住所文字列の表記揺れを目視で確認する作業が発生して、衝動に任せて作った代物です。コードを読んでいただけばわかりますけど抜けだらけです(ジオコーダ作るときの指標ぐらいにはなるかも)。 このコードは住所文字列のCSVを読み込んで、都道府県/市区町村…

Pythonコードの"if __name__=='__main__':"の意味に関する個人メモ

備忘録です。 nameの条件分岐の意味をちゃんと理解していなかったので。他人に何かを教えるときにはちゃんと理解した上で説明すべきだし、公開しとくと尚良いです。 Pythonのコードを読んでいると、以下の条件分岐がコードの最終行近くに書いてあるのを見か…

Pythonで学ぶ初歩からの統計学(ヒストグラムを作るまで)

Pythonを使って統計学のおさらいをします。手始めに度数分布表とヒストグラムを作ります。 度数分布表の作り方は以下の通り。 データの範囲(最大値と最小値の差)を求める 階級(Class)の数を定める 階級の幅(Class Interval)を決める 度数(Frequency)…

『実践 機械学習システム』の第6章をやってみる

この記事は5月30日のAITCオープンラボにてお話しした感情分類器の作り方の補足記事を兼ねています。積み残しがあるのでまだ未完です。 最近オライリーから発売された『実践機械学習システム』はとても良い本で、機械学習の概要と何をしてどのような結果が得…

Pythonを使ってTwitterのタイムラインを収集する

「実践 機械学習システム」の第六章ではTwitterのタイムラインを使った感情分析を行っています。ただし英語のTweetを対象としているので、(たぶん)*1サンプルコードを実行してもあまり面白くはないのです。できることなら日本語でやりたい、というわけで自…

Python3でJSONデータを解析する

ググって出てくるJSON解析の方法はPython2系ばっかりなので、Python3系でのやり方をまとめます。 JSONデータは「 pythonのurllib2でjsonを取得して解析する - 文系プログラマによるTIPSブログ 」でも使われているお天気Webサービスを使います。 APIから読み…

Pythonでフォルダ・ファイルを操作する(ファイル取得・フォルダ作成など)

単純作業を効率化するためにPythonを使います。フォルダ自体や、中に含まれるファイルの操作をサクサク行う寸法よ。

Windows環境でpsycopg2を導入する

作業メモです。 膨大な正規化されていないデータを取り扱う場合、まずデータの中身を確認しに行く必要があります。地理空間情報を扱っている手前、一般的なテキストデータ(CSVとかtxtなど)だけでなく、shapeファイルという摩訶不思議なフォーマットを扱わ…

Pythonで生成したリストの並び替え

取り扱う対象は1次元のリスト。リストは昇順・降順に並び替えたり、長さ順に並び替えたりすることが多い。以下のようなリストに変更を加えていく。個人名は適当に生成してます。 Ipython使ってるので入出力の接頭文字が付いてます。 NameList = ['佐藤一','…

Pythonの配列(リスト)とその操作

Pythonでは文字列、リスト、タプル等のデータ型がある。リストは多次元配列(1次元含む)を扱うことができる。 基本的なこと 1次元配列の例。 List1 = [1,2,3,4,5] 2次元配列。 List2 = [[1,2,3],[4,5,6]] 上の"List1"で要素にアクセスしたい時には角カッ…

Pythonで厚生労働省が公開する世帯所得データを解析する

事前準備 作業内容は表題の通り。環境はPython3を基本にして以下を使用します。事前にライブラリのインストールが必要です。 ipython pandas numpy matplotlib 元データは厚生労働省が公開している”平成25年 国民生活基礎調査の概況”を利用します。 調査の概…

MacOSとPythonで始めるデータサイエンス

環境を整えます。必要なのは以下。 pip Ipython pandas numpy matplotlib scipy canopyを使うのも良さそうだけど、後からパス通すとかめんどくさそうなので今回は見送り。 Python Distribution and Integrated Analysis Environment | Enthought Canopy Pyth…


スポンサード リンク