# single.pl
# 内容 :　重複データ除去
# 前提 :　重複チェックしたいキーであらかじめソートしておく。
# Copyright (c) 2002-2011 Mitsuo Minagawa, All rights reserved.
# (minagawa@fb3.so-net.ne.jp)
# 使用方法 : c:\>perl single.pl
#
# 初期値設定
$low_value	=	pack("h8","00000000");	#low-value	
$in1_key	=	$low_value;		#入力キー
$sv_key		=	$low_value;		#1件前の保存キー

open(IN1,"double.txt");	
open(OUT1,">single.txt");	

while	($line1	=	<IN1>)	{	
	chomp($line1);	
	my $tmp	=	$line1;
	$tmp	=~	s/(?:\x0D\x0A|[\x0D\x0A])?$/,/;
	@in1	=	map {/^"(.*)"$/ ? scalar($_ = $1, s/""/"/g, $_) : $_}
				($tmp =~ /("[^"]*(?:""[^"]*)*"|[^,]*),/g);
	$in1_key	=	$in1[0];	
	if		($in1_key	ne	$sv_key)	{	
			$out1	=	join(",",@in1);		
			print	OUT1	"$out1\n";	
	}	
	$sv_key		=	$in1_key;	
}	
close(IN1);	
close(OUT1);	
