# single_hash.pl
# 内容 :　重複データ除去
# 前提 :　重複チェックしたいキーであらかじめソートしておく必要はない。
# Copyright (c) 2013 Mitsuo Minagawa, All rights reserved.
# (minagawa@fb3.so-net.ne.jp)
# 使用方法 : c:\>perl single_hash.pl
# 
# 出力用ハッシュ
my %out1;

# マスタデータをハッシュに入れる
open(IN1,"double.txt");
while($line1	=	<IN1>) {
	chomp($line1);
#---区切り文字により、処理を変更する----------
#タブ区切りのとき
#	@in1	=	split("\t",$line1);

#カンマ区切りのとき
	my $tmp	=	$line1;
	$tmp	=~	s/(?:\x0D\x0A|[\x0D\x0A])?$/,/;
	@in1	=	map {/^"(.*)"$/ ? scalar($_ = $1, s/""/"/g, $_) : $_}
					($tmp =~ /("[^"]*(?:""[^"]*)*"|[^,]*),/g);
#-----------------
	$in1_key	=	$in1[0];
# ハッシュのキーが存在しない場合
	unless	(exists $out1{$in1_key})	{
			@double		=	();
			push(@double,$line1);	#配列の1番目にデータをセット
			$out1{$in1_key}	=	[@double];
	}
}
close(IN1);


open(OUT1,">single_only.txt");
# ハッシュのキーをソートして出力する
foreach my $key (sort keys %out1) {
# キーと件数をカンマ区切りで結合し、出力する
		print OUT1 join("\n", @{$out1{$key}})."\n";
}
close(OUT1);
