CSVファイルを読み込んで、同一キーのレコードの中の数値項目をハッシュを使って合計する処理です。
[2-2-4.同一キーでの件数カウント(until型)]の各キーごとの合計値を出力するスクリプトとほぼ同じような構造になっています。ただし、出力する内容が、保存したデータそのものではなく、入力件数であるため、キーが同じ間はデータを集計し、キーが変わったら入力件数をゼロにするタイミングを考えて作成する必要があります。このスクリプトでも、ファイルをクローズする前に入力データがゼロ件の場合かどうかを判断し、1件以上のデータがある場合は、入力件数が保存されたまま、出力されない状態で残っていることになるので、そのデータを出力する必要が生じます。
ポイントは、保存キーと入力キーが等しい場合は、合計件数に1件加算し、保存キーと入力キーが異なる場合で、保存キーが未定義値でない場合(=入力データが2件目以降の場合)、保存キーと合計件数を出力していることです。
下記に示したのは、スクリプトの構造を示したPAD図です。この図と実際のスクリプトを比較しながら、内容を理解してください。なお、入力データはキー順に並べ替えてあることが前提となっています。Perlを利用して並べ替えを行う場合については、[2-4.ソート処理]を参照してください。
実際に応用する場合は、入出力データのファイル名は当然変更する必要がありますが、それ以外に変更する必要のある箇所については、「スクリプトの解説」を参照してください。
# countup2.pl # 内容 : 同一キーの件数をカウントする(while型) # 前提 : カウントするキーごとに昇順に並べ替えておくこと # Copyright (c) 2002-2011 Mitsuo Minagawa, All rights reserved. # (minagawa@fb3.so-net.ne.jp) # 使用方法 : c:\>perl countup2.pl # # ファイルのオープン open(IN1,"input.txt"); open(OUT1,">output.txt"); # 初期値設定 $in1_key = undef; #入力キー @in1 = undef; #入力データの配列 $in1_ctr = 0; #入力件数 $sv_key = undef; #保存した入力キー $sum_ctr = 0; #合計件数 # 主処理 while ($line1 = <IN1>) { # 入力データの配列へのセット・キー項目のセット等の初期設定 chomp($line1); @in1 = split(",",$line1); $in1_key = $in1[0]; $in1_ctr++; # キーブレイク時の処理 if (($in1_ctr != 1) && ($sv_key ne $in1_key)) { s_break(); } $sv_key = $in1_key; $sum_ctr++; } # 最終データの処理(入力データがある場合) if ($in1_ctr != 0) { s_break(); } # 入力キーがブレイク(変化)したときの処理 sub s_break { $out1 = join(",",$sv_key,$sum_ctr); print OUT1 "$out1\n"; # $sum_ctrをゼロにしなければ、合計件数ではなく、累計件数になる。 $sum_ctr = 0; } # ファイルのクローズ close(IN1); close(OUT1);
それでは、スクリプトの解説を個別に行っていきましょう。
初期値設定
# 初期値設定 $in1_key = undef; #入力キー @in1 = undef; #入力データの配列 $in1_ctr = 0; #入力件数 $sv_key = undef; #保存した入力キー $sum_ctr = 0; #合計件数
初期値設定では、合計件数を集計する「$sum_ctr」などを設定しておきます。
保存キーの初期値は未定義値(undef)ではなく、「$low_value = pack("h8","00000000");」を初期値で設定した上で、「$low_value」を使うことも可能です。
それ以外に初期値として設定しておくような項目があれば、ここに設定しておきます。
入力データの配列へのセット
# 入力データの配列へのセット・キー項目のセット等の初期設定 chomp($line1); @in1 = split(",",$line1); $in1_key = $in1[0]; $in1_ctr++; $sum_ctr++;
ここでは、1行分の入力レコードをカンマで区切り、配列にセットしています。入力キーは1番目の項目(配列の先頭にある)としています。
キーブレイク処理
# キーブレイク時の処理 if (($in1_ctr != 1) && ($sv_key ne $in1_key)) { s_break(); } $sv_key = $in1_key; }
キーブレイク処理は、whileループ内で入力データのセットが終了した後に置きます。untilループと異なり、whileループでは、ループの外で入力処理を行わないため、特別な処理をしなければ、1件目キーは必ず、保存キーと異なっていることになります。
したがって、何もしなければ、最初にループに入った直後にキーブレイク処理が発生することになります。このため、キーごとの最初のデータでキーブレイク処理を行う場合は、このままで問題ないのですが、キーごとの最後のデータでキーブレイク処理を行う場合は、1件目のデータのみを例外とするような条件を入れておく必要があります。
# 入力キーがブレイク(変化)したときの処理 sub s_break { $out1 = join(",",$sv_key,$sum_ctr); print OUT1 "$out1\n"; # $sum_ctrをゼロにしなければ、合計件数ではなく、累計件数になる。 $sum_ctr = 0; }
合計件数($sum_ctr)をゼロクリアするのは、キーブレイク処理の中でデータを出力した後に行います。ここでゼロクリアしなければ、累計件数になります。
キーブレイク処理は、whileのループ内と最終データの処理を行うところの2箇所で発生するため、サブルーチンを作成して、1箇所で記述しておきます。こうすることで変更が発生した場合に修正が容易にできるようになるだけでなく、修正箇所が他人から見てもわかりやすくなるのです。
その他、注意すべきこと
その他、注意すべき点は入力データがタブ区切りなどの場合とキーが複数ある場合の処理です。
上記のスクリプトでは、入力ファイルがCSV2形式(CSV2形式については、[3-1-1.固定長データとCSVデータ]を参照してください)のCSVファイルであることを前提としていますが、どのようなCSVファイルにも対応できるようにするには、
@in1 = split(",",$line1,-1);
となっている箇所を以下のように変更します。
CSV形式の入力データを配列に変換する
my $tmp = $line1; $tmp =~ s/(?:\x0D\x0A|[\x0D\x0A])?$/,/; @in1 = map {/^"(.*)"$/ ? scalar($_ = $1, s/""/"/g, $_) : $_} ($tmp =~ /("[^"]*(?:""[^"]*)*"|[^,]*),/g);
上記のスクリプトはCSV2形式以外の引用符(")を使用する場合を含め、あらゆるCSVファイルに対応できるようになっていますが、このCSVファイルに分解するロジックは、大崎 博基(OHZAKI Hiroki)さんの「Perlメモ」に記載されていたものを参考にしています。
また、入力ファイルがタブ区切りの場合は以下のようにします。
入力データがタブ区切りの場合、
@in1 = split("\t",$line1,-1);
とします。
キーが複数の項目から成り立っている場合は、
「$in1_key = $in1[0]」の部分を
$in1_key = $in1[0].$in1[1].$in1[2];
のように変更します(文字列の連結は「.」(ピリオド)を使います)。
aaa,1 aaa,2 aaa,3 bbb,1 ccc,1 ccc,2 ddd,1 ddd,2 ddd,3 ddd,4 eee,1 fff,1 ggg,1 hhh,1 hhh,2 hhh,3
aaa,3 bbb,1 ccc,2 ddd,4 eee,1 fff,1 ggg,1 hhh,3
aaa,3 bbb,4 ccc,6 ddd,10 eee,11 fff,12 ggg,13 hhh,16