サイズの大きなCSVファイルのデータを集計する機会がありました。
機器から出力されたログファイルですが、サイズが150MB以上。行数は100万以上です。
当初メモ帳で開こうとしたが開けません。
excelから開こうとしたところ、エラーが出てしまい、最終行までは開けなかったため、ツールを探してみました。
大きなCSVを開く
Emeditorだと開けるようですが・・・jp.emeditor.com
シェアウェアです。今後どの程度使うか不明なので有償版はまだ購入する予定はありません。
無料版はストアアプリ。マイクロソフトアカウントにログインしたくないため見送りました。
大きなCSVを分割
探しているうちに、CSVを分割するというツールもあることを知りました。しかもインストールするのではなく、zipを解凍して実行形式のプログラムを走らせるのみ。
それがこちら
www.pine4.net
分割時間は短かったです。
あまりプログラムを増やしたくない自分としては、いい選択しでした。
分割してから集計はexcelで実施することにしました。
