■Windows版Perlの細道・けもの道
■ナビゲータ
- [Windows版Perlの細道・けもの道]
- [1.準備編]
- [2.基本編]
- [2-1.基本処理]
- [2-2.キーブレイク処理]
- [2-2-1.各キーの１件目を出力（until型）]
- [2-2-2.各キーの最終レコードを出力（until型）]
- [2-2-3.同一キーでの合計処理（until型）]
- [2-2-4.同一キーでの件数カウント（until型）]
- [2-2-5.各キーの1件目を出力（while型）]
- [2-2-6.各キーの最終レコードを出力（while型）]
- [2-2-7.同一キーでの合計処理（while型）]
- [2-2-8.同一キーでの件数カウント（while型）]
- [2-2-9.ハッシュを使った同一キーの合計処理]
- [2-3.マッチング(照合)処理]
- [2-4.ソート(並べ替え)処理]
- [2-5.パターンマッチ処理]
- [3.応用編]
- [スクリプトと入力データのサンプル]
rubyではどう処理する？
同じことをrubyではこうしています。2.基本編
2-2.キーブレイク処理
2-2-4.同一キーでの件数カウント処理---until型の場合
[2-2-3.同一キーでの合計処理（until型）]の変形版でCSVファイルを読み込んで、同一キーごとの件数をuntil命令を使って計算するスクリプトです。
[2-2-3.同一キーでの合計処理（until型）]の各キーごとの合計値を出力するスクリプトとほぼ同じような構造になっています。ただし、出力する内容が、保存したデータそのものではなく、入力件数であるため、キーが同じ間は件数を計算し、キーが変わったら入力件数をゼロにするタイミングを考えて作成します。
このスクリプトでも、ファイルをクローズする前に入力データがゼロ件の場合かどうかを判断し、1件以上のデータがある場合は、入力件数が保存されたまま、出力されない状態で残っていることになるので、そのデータを出力します。
ポイントは、1件目のレコードを入力したときに入力キーを保存キー（$sv_key）に保存しておき、繰り返し処理の中で1件目から「保存キー≠入力キー」の条件に合致しないように初期設定していることです。
下記に示したのは、スクリプトの構造を示したPAD図です。この図と実際のスクリプトを比較しながら、内容を理解してください。なお、入力データはキー順に並べ替えてあることが前提となっています。Perlを利用して並べ替えを行う場合については、[2-4.ソート処理]を参照してください。
実際に応用する場合は、入出力データのファイル名は当然変更する必要がありますが、それ以外に変更する必要のある箇所については、「スクリプトの解説」を参照してください。
【同一キーの件数をカウントする場合のuntilを利用したキーブレイク処理のPAD図】
【untilを利用したときの入力処理のPAD図】
【スクリプト】
# countup1.pl
# 内容 : 同一キーの件数をカウントする（until型）
# 前提 : カウントするキーごとに昇順に並べ替えておくこと
# Copyright (c) 2002-2011 Mitsuo Minagawa, All rights reserved.
# (minagawa@fb3.so-net.ne.jp)
# 使用方法 : c:\>perl countup1.pl
#
# ファイルのオープン
open(IN1,"input.txt");
open(OUT1,">output.txt");
# 初期値設定
$high_value = pack("h8","ffffffff"); #終了判定
$in1_key = undef; #入力キー
@in1 = undef; #入力データの配列
$in1_ctr = 0; #入力件数
$sv_key = undef; #保存した入力キー
$sum_ctr = 0; #合計件数
# １件目のデータ入力
s_in1();
$sv_key = $in1_key;
# 主処理
until ($in1_key eq $high_value) {
# キーブレイク時の処理
if ($sv_key ne $in1_key) {
s_break();
}
$sv_key = $in1_key;
s_in1();
$sum_ctr++;
}
# 最終データの処理（入力データがある場合）
if ($in1_ctr != 0) {
s_break();
}
# データ入力処理
sub s_in1 {
if ($line1 = <IN1>) {
chomp($line1);
@in1 = split(",",$line1,-1);
$in1_key = $in1[0];
$in1_ctr++;
}
else { #入力ファイルが終了のとき
$in1_key = $high_value; #HIGH-VALUE をセット
}
}
# 入力キーがブレイク（変化）したときの処理
sub s_break {
$out1 = join(",",$sv_key,$in1_ctr);
print OUT1 "$out1\n";
# $sum_ctrをゼロにしなければ、合計件数ではなく、累計件数になる。
$sum_ctr = 0;
}
# ファイルのクローズ
close(IN1);
close(OUT1);
【スクリプトとデータのサンプル】
【スクリプトの解説】
それでは、スクリプトの解説を個別に行っていきましょう。
初期値設定
# 初期値設定
$high_value = pack("h8","ffffffff"); #終了判定
$in1_key = undef; #入力キー
@in1 = undef; #入力データの配列
$in1_ctr = 0; #入力件数
$sv_key = undef; #保存した入力キー
$sum_ctr = 0; #合計件数
初期値設定では、文字列の最大値である「$high_value」と入力件数である「$in1_ctr」などを設定しておきます。
「$high_value」はCOBOLで使用される定数の名称ですが、入力ファイルが終了したことを示すEOFを検出したときに設定することに利用します。
それ以外に初期値として設定しておくような項目があれば、ここに設定しておきます。
1件目のデータ入力
# １件目のデータ入力 s_in1();
untilループ処理を行う場合は、必ず、ループ処理の前に1件目のデータを入力するための処理を行います。
入力処理は、untilループの中で最後でも行うため、サブルーチンとして別に設定しています。
untilループ処理
# 主処理
until ($in1_key eq $high_value) {
# キーブレイク時の処理
if ($sv_key ne $in1_key) {
s_break();
}
$sv_key = $in1_key;
s_in1();
}
until の条件は、入力データが終了（EOF）したときの条件を入れます。
キーブレイク処理
キーブレイク処理は、untilのループ内で先頭に置きます。untilのループに入る前に最初に1件目の入力をしているので、最初にループに入った直後にキーブレイク処理が発生することになります。また、最後の入力データだけが異なるキー項目を持っていたとしても、EOFは入力処理を行った後に検出するため、必ずキーブレイク処理が発生します。
このスクリプトでは、入力データをすべて出力していますが、何らかの項目に限定するのか、計算を行うのかによって、必要な処理に変更します。
データ入力処理
$sv_key = $in1_key;
s_in1();
}
キーブレイク処理の後、入力処理の前で入力データのキーを保存しておきます。保存しないと、現在入力しているデータの情報しか持っていないため、キーブレイクしたかどうか判断できなくなります。
その他のデータを保存したり、集計値を設定する必要があれば、ここに指定しておきます。
データ入力処理は、untilのループ内の最後に置きます。入力処理でEOFが検出できれば、untilのループの外に出ることになり、EOFでなければ（つまり、入力データがあれば）、再度、untilのループの中の処理を最初から繰り返します。
最終データの処理
# 最終データの処理（入力データがある場合）
if ($in1_ctr != 0) {
s_break();
}
最後の入力データだけが異なるキー項目を持っていたとしても、EOFは入力処理を行った後に検出するため、必ずキーブレイク処理が発生します。
データ入力処理(サブルーチン)
# データ入力処理
sub s_in1 {
if ($line1 = <IN1>) {
chomp($line1);
@in1 = split(",",$line1,-1);
$in1_key = $in1[0];
}
else { #入力ファイルが終了のとき
$in1_key = $high_value; #HIGH-VALUE をセット
}
}
「$line1 = <IN1>」で入力ファイルから1件ずつデータを読み込んでいきます。「if ($line1 = <IN1>) 」が成り立つ場合というのは、入力ファイルから正常にデータが読み込むことができた場合です。逆にデータがなくなると「else」のほうの処理を行います。
キーブレイク処理
# 入力キーがブレイク（変化）したときの処理
sub s_break {
$out1 = join(",",$sv_key,$in1_ctr);
print OUT1 "$out1\n";
# $sum_ctrをゼロにしなければ、合計件数ではなく、累計件数になる。
$sum_ctr = 0;
}
合計件数（$sum_ctr）をゼロクリアするのは、キーブレイク処理の中でデータを出力した後に行います。ここでゼロクリアしなければ、累計件数になります。
キーブレイク処理は、UNTILのループ内と最終データの処理を行うところの2箇所で発生するため、サブルーチンを作成して、1箇所で記述しておきます。こうすることで変更が発生した場合に修正が容易にできるようになるだけでなく、修正箇所が他人から見てもわかりやすくなるのです。
その他、注意すべきこと
その他、注意すべき点は入力データがタブ区切りなどの場合とキーが複数ある場合の処理です。
上記のスクリプトでは、入力ファイルがCSV2形式(CSV2形式については、[3-1-1.固定長データとCSVデータ]を参照してください)のCSVファイルであることを前提としていますが、どのようなCSVファイルにも対応できるようにするには、
@in1 = split(",",$line1,-1);
となっている箇所を以下のように変更します。
CSV形式の入力データを配列に変換する
my $tmp = $line1;
$tmp =~ s/(?:\x0D\x0A|[\x0D\x0A])?$/,/;
@in1 = map {/^"(.*)"$/ ? scalar($_ = $1, s/""/"/g, $_) : $_}
($tmp =~ /("[^"]*(?:""[^"]*)*"|[^,]*),/g);
上記のスクリプトはCSV2形式以外の引用符(")を使用する場合を含め、あらゆるCSVファイルに対応できるようになっていますが、このCSVファイルに分解するロジックは、大崎 博基(OHZAKI Hiroki)さんの「Perlメモ」に記載されていたものを参考にしています。
また、入力ファイルがタブ区切りの場合は以下のようにします。
入力データがタブ区切りの場合、
@in1 = split("\t",$line1,-1);
とします。
キーが複数の項目から成り立っている場合は、
「$in1_key = $in1[0]」の部分を
$in1_key = $in1[0].$in1[1].$in1[2];
のように変更します（文字列の連結は「.」（ピリオド）を使います）。
【入力データ（input.txt）】
aaa,1 aaa,2 aaa,3 bbb,1 ccc,1 ccc,2 ddd,1 ddd,2 ddd,3 ddd,4 eee,1 fff,1 ggg,1 hhh,1 hhh,2 hhh,3
【出力データ（output.txt）：合計件数の場合】
aaa,3 bbb,1 ccc,2 ddd,4 eee,1 fff,1 ggg,1 hhh,3
【出力データ（output.txt）：累計件数の場合】
aaa,3 bbb,4 ccc,6 ddd,10 eee,11 fff,12 ggg,13 hhh,16
Copyright (c) 2004-2013 Mitsuo Minagawa, All rights reserved.