複数のCSVテキストを取り込んで、
ひとつのCSVを作成したい。
プログラムの作業自体は簡単な話なんだけど、
データサイズが50万件300MのCSVで、
そのIDでつながってるサブデータを１つのテキストファイルとして出したいとか
一昔前にExcel-VBAとかで手軽につくったら
えらい処理時間がかかるようなサイズだなと。
内容はファイルの入出力と
中身のテキストのコンバートなんで
簡単だけどExcel-VBAで作ったらやっぱ時間かかるんだろうな
ってわけで検証してみました。
プログラムの中身は
テキストファイルを読み出して
そのまま1行ずつ出力していくだけのコピープログラム
CとExcel-VBAで比較
テキストファイルは17万行 19Mbyte
CPU Intel-i7 2600 / 3.4GHz
メモリ 8.00G
Excel-VBA 1.176sec
C 0.235secs
実際に処理とかいろいろ入れたら
どれくらいかかるのかしら。
PR
