CSVファイルを読み込んで、各キーごとの最終レコードをwhile命令を使って出力する処理です。[2-2-2.各キーの最終レコードを出力(until型)]がuntil命令で行うのに対し、こちらはwhile命令を使います。
until命令での処理と異なり、繰り返し処理の前で1件目の入力を行うことができないので、1件目のみ入力キーを保存キーにセットする処理ができません。このため、入力データが1件目かどうかの判断が必要になります(もし、入力キーと保存キーが異なるかどうかを判定する前に入力キーを保存すれば、毎回、入力キーと保存キーは等しくなり、データが出力されなくなってしまいます)。
機能としては、until命令での処理と同様に、各キーごとの最終データだけを取り出すことができます。処理の中でキーとデータを両方とも保存しておくため、ファイルをクローズする前に入力データがゼロ件の場合かどうかを判断し、1件以上のデータがある場合は、何らかのデータが保存されたまま、出力されない状態で残っていることになるので、そのデータを出力する必要が生じます。
ポイントは、1件目のレコードかどうかの判断をデータ出力の条件に含めることです。これがないと、必ず未定義値の設定された保存キーと値の設定されていない保存データが出力されてしまいます。
下記に示したのは、スクリプトの構造を示したPAD図です。この図と実際のスクリプトを比較しながら、内容を理解してください。なお、入力データはキー順に並べ替えてあることが前提となっています。Rubyを利用して並べ替えを行う場合については、[2-4.ソート(並べ替え)処理]を参照してください。
# keybreak4.rb # 内容 : 同一キーの最後のデータを出力する(while型) # 前提 : キーごとに昇順に並べ替えておくこと # Copyright (c) 2002-2015 Mitsuo Minagawa, All rights reserved. # (minagawa@fb3.so-net.ne.jp) # 使用方法 : c:\>ruby keybreak4.rb # # 入力ファイル in1_file = open("input.txt","r") # 出力ファイル out1_file = open("output.txt","w") # 初期値設定 in1_key = nil #入力キー in1 = nil #入力レコードを格納する配列 in1_ctr = 0 #入力件数 sv_key = nil #保存キー save1 = nil #入力レコードを保存する配列 # キーブレイク時の処理 def s_break(out1_file,save1) out1 = save1.join("\t") out1_file.print out1,"\n" end # 主処理 while (line1 = in1_file.gets) in1_ctr += 1 line1.chomp! # タブ区切りのとき # in1 = line1.split("\t",-1) # カンマ区切りのとき in1 = (line1 + ',') .scan(/"([^"\\]*(?:\\.[^"\\]*)*)",|([^,]*),/) .collect{|x,y| y || x.gsub(/(.)/, '\1')} # キー項目が単独のとき in1_key = in1[0] # キー項目が複数のとき # 1番目と2番目と3番目の項目がキーとなる場合 # in1_key = in1[0] + in1[1] + in1[2] # キーブレイク時 if ((in1_ctr != 1) && (sv_key != in1_key)) s_break(out1_file,save1) end #入力レコードを格納した配列を保存 save1 = in1 #入力したキーを保存 sv_key = in1_key end # 最終データの処理(入力データがある場合) if (in1_ctr != 0) s_break(out1_file,save1) end # ファイルのクローズ in1_file.close out1_file.close
各キーの1件目を出力する場合とほとんど同じですが、多少異なる点について解説しましょう。
保存データを出力するかどうかの判断を行う、以下の箇所は、【例1】のようにすることも可能です。あるいは、このようにした方が理解しやすいかもしれません。また、処理効率を重視するのであれば、【例2】のような方法があります。【スクリプト】であげた例では、1件目のデータかどうかと入力キーが保存キーと異なるかどうかの条件を入力データが2件目以降毎回判定することになるのに対し、【例2】の場合は、入力キーと保存キーが異なる場合しか、入力データが1件目かどうかを判断しないためです。
# キーブレイク時 if ((in1_ctr != 1) && (sv_key != in1_key)) s_break(out1_file,save1) end
if (in1_ctr != 1) sv_key = in1_key end if (sv_key != in1_key) s_break(out1_file,save1) end
if ((sv_key != in1_key) && (in1_ctr != 1)) s_break(out1_file,save1) end
その他注意すべきこと
その他、注意すべき点は入力データがタブ区切りなどの場合とキーが複数ある場合の処理です。
上記のスクリプトでは、入力ファイルがCSV形式であれば、すべて対応できるようになっていますが、引用符(")をつけないCSV形式(いわゆるCSV2形式と呼ばれるものです。CSV2形式については、[3-1-1.固定長データとCSVデータ]を参照してください)であれば、
# カンマ区切りのとき in1 = (line1 + ',') .scan(/"([^"\\]*(?:\\.[^"\\]*)*)",|([^,]*),/) .collect{|x,y| y || x.gsub(/(.)/, '\1')}
上記の箇所を
in1 = line1.split(",",-1)
と変更します。
また、入力ファイルがタブ区切りの場合は以下のようにします。
入力データがタブ区切りの場合、
in1 = line1.split("\t",-1)
とします。
キーが複数の項目から成り立っている場合は、
「$in1_key = $in1[0]」の部分を
in1_key = in1[0]+in1[1]+in1[2]
のように変更します(文字列の連結は「+」(プラス)を使います)。
aaa,1 aaa,2 aaa,3 bbb,1 ccc,1 ccc,2 ddd,1 ddd,2 ddd,3 ddd,4 eee,1 fff,1 ggg,1 hhh,1 hhh,2 hhh,3
aaa,3 bbb,1 ccc,2 ddd,4 eee,1 fff,1 ggg,1 hhh,3