CSVファイルを読み込んで、キーが重複したレコードだけを出力するスクリプトです。
重複レコード「だけ」を出力するというのは、利用価値が高いのですが、同じレコードを出力するものと比べて意外なほど利用しやすいものが少ないのが実情です。
重複レコードだけを出力するには、1件前のレコードと同一のキーを持つレコードがあれば、1件前のレコードを出力すると同時に、1件前のレコードのキーと異なる場合でも、さらにもう1件前（つまり2件前）のキーを保存しておき、1件前のキーと2件前のキーが同じ場合も1件前のレコードを出力するようにしています。こうすることによって、重複レコードをすべて出力できるのです。
実際に応用する場合は、入出力データのファイル名などを変更してください。また、入力データはキー順に並べ替えてあることが前提となっています。Perlを利用して並べ替えを行う場合については、[2-4.ソート(並べ替え)処理]を参照してください。
なお、同様の処理を行う[3-2-5.ハッシュを使って、キーの重複したデータだけを出力する]については、入力データをキー順に並べ替えておく必要はありません。
# double.pl
# 内容 : 重複データ抽出
# 前提 : 重複チェックしたいキーであらかじめソート(並べ替え)しておく。
# Copyright (c) 2002-2011 Mitsuo Minagawa, All rights reserved.
# (minagawa@fb3.so-net.ne.jp)
# 使用方法 : c:\>perl double.pl
#
open(IN1,"double.txt");
open(OUT1,">double_only.txt");
# 初期値設定
$low_value = pack("h8","00000000"); #low-value
$in1_key = $low_value; #入力キー
$sv_key = $low_value; #1件前の保存キー
$sv_key2 = $low_value; #2件前の保存キー
$in1_ctr = 0; #入力件数
@save1 = (); #保存データ
while ($line1 = <IN1>) {
chomp($line1);
$in1_ctr++;
my $tmp = $line1;
$tmp =~ s/(?:\x0D\x0A|[\x0D\x0A])?$/,/;
@in1 = map {/^"(.*)"$/ ? scalar($_ = $1, s/""/"/g, $_) : $_}
($tmp =~ /("[^"]*(?:""[^"]*)*"|[^,]*),/g);
$in1_key = $in1[0];
if ($sv_key eq $in1_key) {
$out1 = join(",",@save1);
print OUT1 "$out1\n";
$sv_key2 = $sv_key;
}
elsif (($sv_key2 eq $sv_key)
&& ($sv_key ne $low_value)) {
$out1 = join(",",@save1);
print OUT1 "$out1\n";
print OUT1 "-" x 80,"\n";
}
$sv_key = $in1_key;
@save1 = @in1;
}
if (($in1_ctr > 0)
&& ($sv_key2 eq $sv_key)) {
$out1 = join(",",@save1);
print OUT1 "$out1\n";
}
close(IN1);
close(OUT1);
スクリプトではまず「$sv_key」に1件前のキーを保存しておき、「$sv_key2」に2件前のキーを保存しておきます。そして、入力キーと1件前のキーを比較して同じ(したがって重複している)場合に、出力しています。また、入力キーと1件前のキーとを比較して異なっている場合でも、さらに1件前のキーである「$sv_key」と、2件前のキーである「$sv_key2」が同じである場合(したがって重複している)には出力しています。これは重複したキーを持つレコードの最後のレコード(重複したキーを持つレコードが3件あれば、3件目のレコード)を出力するためのロジックです。
その他注意すべきこと
その他、注意すべき点は入力データがタブ区切りなどの場合とキーが複数ある場合の処理です。
1.入力データがタブ区切りの場合
上記のスクリプトはCSV2形式以外の引用符(")を使用する場合を含め、あらゆるCSVファイルに対応できるようになっていますが、入力データがタブ区切りの場合は
my $tmp = $line1;
$tmp =~ s/(?:\x0D\x0A|[\x0D\x0A])?$/,/;
@in1 = map {/^"(.*)"$/ ? scalar($_ = $1, s/""/"/g, $_) : $_}
($tmp =~ /("[^"]*(?:""[^"]*)*"|[^,]*),/g);
上記の部分を
@in1 = split("\t",$line1,-1);
と変更します。
2.キーが複数の項目から成り立っている場合
「$in1_key = $in1[0];」の部分を
$in1_key = $in1[0].$in1[1].$in1[2];
のように変更します（文字列の連結は「.」（ピリオド）を使う）。
aaa,1
aaa,2
aaa,3
bbb,1
ccc,1
ccc,2
ddd,1
ddd,2
ddd,3
ddd,4
eee,1
fff,1
ggg,1
hhh,1
hhh,2
hhh,3
aaa,1
aaa,2
aaa,3
--------------------------------------------------------------------------------
ccc,1
ccc,2
--------------------------------------------------------------------------------
ddd,1
ddd,2
ddd,3
ddd,4
--------------------------------------------------------------------------------
hhh,1
hhh,2
hhh,3