2つのCSVファイルを読み込んで、ハッシュを使って、同一のキー項目を元に照合を行うスクリプトです。
「1対nマッチング(照合)」は、「トランザクションファイル」において、同一のキーを持つレコードが複数存在する場合のマッチング(照合)処理として[2-3-4.1対nマッチング(照合)]で取り上げましたが、同様の処理についてハッシュを使って行う方法を以下に挙げます。[2-3-4.1対nマッチング(照合)]と異なる点は、入力データがキー順に並べ替えてある必要がない点です。
下記の例では「マッチング(照合)した場合」と「マスタオンリーの場合」を同じファイルに出力し、「トランザクションオンリーの場合」をエラーとして出力していますが、こうした分け方は、必要に応じて変更します。
# matching2_hash.pl
# 内容 : マッチングプログラム（２ファイルの１対ｎマッチングプログラム）
# 前提 : マスタファイルとトランザクションファイルの両方とも
# マッチングするキーごとに昇順に並べ替えておく必要はない
# Copyright (c) 2012 Mitsuo Minagawa, All rights reserved.
# (minagawa@fb3.so-net.ne.jp)
# 使用方法 : c:\>perl matching2_hash.pl
#
# 出力用ハッシュ
my %out1;
# エラー出力用ハッシュ
my %out2;
# トランザクションファイルの件数
my $out2_ctr = 0;
# マスタデータをハッシュに入れる
open(IN1,"master.txt");
while($line1 = <IN1>) {
chomp($line1);
#---区切り文字により、処理を変更する----------
#タブ区切りのとき
# @in1 = split("\t",$line1);
#カンマ区切りのとき
my $tmp = $line1;
$tmp =~ s/(?:\x0D\x0A|[\x0D\x0A])?$/,/;
@in1 = map {/^"(.*)"$/ ? scalar($_ = $1, s/""/"/g, $_) : $_}
($tmp =~ /("[^"]*(?:""[^"]*)*"|[^,]*),/g);
#-----------------
$in1_key = $in1[0];
# ハッシュに初期値0を代入する
$out1{$in1_key} = [0,0];
}
close(IN1);
# トランザクションデータをハッシュに入れる
open(IN2,"transaction.txt");
while($line2 = <IN2>) {
chomp($line2);
#---区切り文字により、処理を変更する----------
#タブ区切りのとき
# @in2 = split("\t",$line2);
#カンマ区切りのとき
my $tmp = $line2;
$tmp =~ s/(?:\x0D\x0A|[\x0D\x0A])?$/,/;
@in2 = map {/^"(.*)"$/ ? scalar($_ = $1, s/""/"/g, $_) : $_}
($tmp =~ /("[^"]*(?:""[^"]*)*"|[^,]*),/g);
#-----------------
$in2_key = $in2[0];
$out2_ctr++;
$w_key = $in2_key.sprintf("%08d",$out2_ctr);
# ハッシュのキーがすでに存在する場合、数値を加算する
if (exists $out1{$in2_key}) {
@total = @{$out1{$in2_key}};
$total[0] += $in2[1];
$total[1] += $in2[2];
$out1{$in2_key} = [@total];
# 集計する項目が1つの場合
# $out1{$in1_key} += $in2[1];
}
# ハッシュのキーが存在しない場合
else {
$out2{$w_key} = [@in2];
}
}
close(IN2);
open(OUT1,">matching.txt");
# ハッシュのキーをソート(並べ替え)する
foreach my $key (sort keys %out1) {
# 配列のリファレンスを配列に戻して、
# キーと集計結果をタブ区切りで結合し、出力する
print OUT1 join("\t", $key, @{$out1{$key}})."\n";
}
close(OUT1);
# マッチしないエラーデータの出力
open(OUT2,">tranonly.txt");
# ハッシュのキーをソート(並べ替え)する
foreach my $key (sort keys %out2) {
# 配列のリファレンスを配列に戻して出力する
print OUT2 join("\t", @{$out2{$key}})."\n";
}
close(OUT2);
それでは、スクリプトの解説を個別に行っていきましょう。
マスタファイルの入力
ここではマスタファイルを入力し、CSVファイルを配列にセットしています。また、数値合計する項目の数に合わせて、初期値として0「ゼロ」の配列をハッシュの値としてセットしています。0「ゼロ」の配列は、集計したい項目の数に合わせて増減させます。なお、キーとなる項目は1番目の項目を想定していますが、必要であれば、異なる項目に変更します。
# マスタデータをハッシュに入れる
open(IN1,"master.txt");
while($line1 = <IN1>) {
chomp($line1);
#---区切り文字により、処理を変更する----------
#タブ区切りのとき
# @in1 = split("\t",$line1);
#カンマ区切りのとき
my $tmp = $line1;
$tmp =~ s/(?:\x0D\x0A|[\x0D\x0A])?$/,/;
@in1 = map {/^"(.*)"$/ ? scalar($_ = $1, s/""/"/g, $_) : $_}
($tmp =~ /("[^"]*(?:""[^"]*)*"|[^,]*),/g);
#-----------------
$in1_key = $in1[0];
# ハッシュに初期値0を代入する
$out1{$in1_key} = [0,0];
}
close(IN1);
ハッシュに初期値0を代入する場合、上記では
# ハッシュに初期値0を代入する
$out1{$in1_key} = [0,0];
としていますが、集計する項目が多ければ、以下のようにすることも可能です。「(0) x 2」の「2」のところを集計する項目の数に合わせて変更します。
# ハッシュに初期値0を代入する
$out1{$in1_key} = (0) x 2;
トランザクションファイルの入力
次にトランザクションファイルを入力し、CSVファイルを配列にセットした上で、CSVファイルの中でキーとなる項目が件数を合計するためのハッシュのキーとして存在している場合は、トランザクションファイルにある数値項目を合計しています。なお、キーとなる項目は1番目の項目を想定していますが、必要であれば、異なる項目に変更します。
# トランザクションデータをハッシュに入れる
open(IN2,"transaction.txt");
while($line2 = <IN2>) {
chomp($line2);
#---区切り文字により、処理を変更する----------
#タブ区切りのとき
# @in2 = split("\t",$line2);
#カンマ区切りのとき
my $tmp = $line2;
$tmp =~ s/(?:\x0D\x0A|[\x0D\x0A])?$/,/;
@in2 = map {/^"(.*)"$/ ? scalar($_ = $1, s/""/"/g, $_) : $_}
($tmp =~ /("[^"]*(?:""[^"]*)*"|[^,]*),/g);
#-----------------
$in2_key = $in2[0];
$out2_ctr++;
$w_key = $in2_key.sprintf("%08d",$out2_ctr);
# ハッシュのキーがすでに存在する場合、数値を加算する
if (exists $out1{$in2_key}) {
@total = @{$out1{$in2_key}};
$total[0] += $in2[1];
$total[1] += $in2[2];
$out1{$in2_key} = [@total];
# 集計する項目が1つの場合
# $out1{$in1_key} += $in2[1];
}
# ハッシュのキーが存在しない場合
else {
$out2{$w_key} = [@in2];
}
}
close(IN2);
ここでは複数の項目を集計していますので、ハッシュを一度配列(@total)にセットしてから、配列の各項目に数値を加算した後、配列を元のハッシュに代入して戻しています。集計する項目が1つしかない場合は、直接ハッシュの項目に対して、加算していきます。
合計値の出力
最後にトランザクションファイルの数値合計を集計したハッシュからデータを出力します。
open(OUT1,">matching.txt");
# ハッシュのキーをソート(並べ替え)する
foreach my $key (sort keys %out1) {
# 配列のリファレンスを配列に戻し、
# キーと集計結果をタブ区切りで結合し、出力する
print OUT1 join("\t", $key, @{$out1{$key}})."\n";
}
close(OUT1);
上記では、マスタファイルにあるデータについて、トランザクションファイルとマッチしていても、いなくても出力していますが、トランザクションファイルとマッチしたデータのみ出力する場合は、
print OUT1 join("\t", $key, @{$out1{$key}})."\n";
の部分を以下のように変更します。
if (${$out1{$key}}[0] != 0) {
print OUT1 join("\t", $key, @{$out1{$key}})."\n";
}
マッチしないエラーデータの出力
また、トランザクションファイルにしか存在しなかったデータをエラーデータとして出力します。
# マッチしないエラーデータの出力
open(OUT2,">tranonly.txt");
# ハッシュのキーをソート(並べ替え)する
foreach my $key (sort keys %out2) {
# 配列のリファレンスを配列に戻して出力する
print OUT2 join("\t", @{$out2{$key}})."\n";
}
close(OUT2);
その他注意すべきこと
その他、注意すべき点は入力データがタブ区切りなどの場合とキーが複数ある場合の処理です。
上記のスクリプトでは、入力ファイルがCSVファイルであれば、どのようなものでも対応できるようになっています。具体的には以下の箇所になります。
CSV形式の入力データを配列に変換する
my $tmp = $line1;
$tmp =~ s/(?:\x0D\x0A|[\x0D\x0A])?$/,/;
@in1 = map {/^"(.*)"$/ ? scalar($_ = $1, s/""/"/g, $_) : $_}
($tmp =~ /("[^"]*(?:""[^"]*)*"|[^,]*),/g);
上記のスクリプトはCSV2形式以外の引用符(")を使用する場合を含め、あらゆるCSVファイルに対応できるようになっています(CSV2形式などについては、[3-1-1.固定長データとCSVデータ]を参照してください)が、このCSVファイルに分解するロジックは、大崎 博基(OHZAKI Hiroki)さんの「Perlメモ」に記載されていたものを参考にしています。また、CSV2形式のCSVファイルであれば、上記のスクリプトは以下のように簡略化できます。
1.入力データがCSV2形式の場合、
@in1 = split(",",$line1,-1);
とします。
2.入力データがタブ区切りの場合、
@in1 = split("\t",$line1,-1);
とします。
3.キーが複数の項目から成り立っている場合は、
「$in1_key = $in1[0]」の部分を
$in1_key = $in1[0].$in1[1].$in1[2];
のように変更します（文字列の連結は「.」（ピリオド）を使います）。
01,11111 02,22222 03,33333 05,44444 07,77777 08,88888 09,99999
01,100,1100 01,200,1200 01,300,1300 02,200,1200 04,400,1400 04,500,1500 04,600,1600 04,700,1700 06,600,1600 06,700,1700 07,700,1700 08,800,1800 09,900,1900 09,1000,2000 09,1100,2100 10,1200,2200
01 600 3600 02 200 1200 03 0 05 0 07 700 1700 08 800 1800 09 3000 6000
04 400 1400 04 500 1500 04 600 1600 04 700 1700 06 600 1600 06 700 1700 10 1200 2200