CSVファイルを読み込んで、同一キーのレコードの中の数値項目をwhile命令を使って合計する処理です。[2-2-3.同一キーでの合計処理(until型)]がuntil命令で行うのに対し、こちらはwhile命令を使います。
[2-2-6.各キーの最終レコードを出力(while型)]の各キーごとの最後のレコードを出力するスクリプトとほぼ同じような構造になっています。
ただし、出力する内容が、保存したデータそのものではなく、合計値ですので、キーが同じ間はデータを集計し、キーが変わったら合計値をゼロにするタイミングを考えて作成する必要があります。
このスクリプトでも、ファイルをクローズする前に入力データがゼロ件の場合かどうかを判断し、1件以上のデータがある場合は、何らかの合計値が保存されたまま、出力されない状態で残っていることになりますので、そのデータを出力します。
ポイントは、1件目のレコードかどうかの判断をデータ出力の条件に含めることです。これがないと、かならず、未定義値の設定された保存キーと合計値ゼロが出力されてしまいます。
下記に示したのは、スクリプトの構造を示したPAD図です。この図と実際のスクリプトを比較しながら、内容を理解してください。なお、入力データはキー順に並べ替えてあることが前提となっています。Rubyを利用して並べ替えを行う場合については、[2-4.ソート(並べ替え)処理]を参照してください。
# total2.rb # 内容 : 同一キーの値を合計する(while型) # 前提 : 合計値を出すキーごとに昇順に並べ替えておくこと # Copyright (c) 2002-2015 Mitsuo Minagawa, All rights reserved. # (minagawa@fb3.so-net.ne.jp) # 使用方法 : c:\>ruby total2.rb # # 入力ファイル in1_file = open("input.txt","r") # 出力ファイル out1_file = open("output.txt","w") # 初期値設定 in1_ctr = 0 #入力件数 in1_key = nil #入力キー in1 = nil #入力レコードを格納する配列 sv_key = nil #保存キー w_total = 0 #合計値 # キーブレイク時の処理 def s_break(out1_file,sv_key,w_total) out1 = [sv_key,w_total].join("\t") out1_file.print out1,"\n" end # 主処理 while (line1 = in1_file.gets) line1.chomp! # タブ区切りのとき # in1 = line1.split("\t",-1) # カンマ区切りのとき in1 = (line1 + ',') .scan(/"([^"\\]*(?:\\.[^"\\]*)*)",|([^,]*),/) .collect{|x,y| y || x.gsub(/(.)/, '\1')} # キー項目が単独のとき in1_key = in1[0] # キー項目が複数のとき # 1番目と2番目と3番目の項目がキーとなる場合 # in1_key = in1[0] + in1[1] + in1[2] in1_ctr += 1 #入力件数加算 # キーブレイク時 if ((in1_ctr != 1) && (sv_key != in1_key)) s_break(out1_file,sv_key,w_total) # w_totalをゼロにしなければ、合計値ではなく、累計値になる。 w_total = 0 end #入力したキーを保存 sv_key = in1_key #合計値を計算 w_total += in1[1].to_i end # 最終データの処理(入力データがある場合) if (in1_ctr != 0) s_break(out1_file,sv_key,w_total) end # ファイルのクローズ in1_file.close out1_file.close
# キーブレイク時 if ((in1_ctr != 1) && (sv_key != in1_key)) s_break(out1_file,sv_key,w_total) # w_totalをゼロにしなければ、合計値ではなく、累計値になる。 w_total = 0 end
キーブレイク処理は、whileループ内で入力データのセットが終了した後に置きます。untilループと異なり、whileループでは、ループの外で入力処理を行わないため、特別な処理をしなければ、1件目キーは必ず、保存キーと異なっていることになります。
したがって、何もしなければ、最初にループに入った直後にキーブレイク処理が発生することになります。このため、キーごとの最初のデータでキーブレイク処理を行う場合は、このままで問題ないのですが、キーごとの最後のデータでキーブレイク処理を行う場合は、1件目のデータのみを例外とするような条件を入れておく必要があります。
合計値(w_total)をゼロクリアするのは、主処理の中でキーブレイク処理の後に行います。ここでゼロクリアしなければ、累計値になります。
キーブレイク時の処理
# キーブレイク時の処理 def s_break(out1_file,sv_key,w_total) out1 = [sv_key,w_total].join("\t") out1_file.print out1,"\n" end
キーブレイク処理は、whileのループ内と最終データの処理を行うところの2箇所で発生するため、サブルーチンを作成して、1箇所で記述しておきます。こうすることで変更が発生した場合に修正が容易にできるようになるだけでなく、修正箇所が他人から見てもわかりやすくなるのです。
その他注意すべきこと
その他、注意すべき点は入力データがタブ区切りなどの場合とキーが複数ある場合の処理です。
上記のスクリプトでは、入力ファイルがCSV形式であれば、すべて対応できるようになっていますが、引用符(")をつけないCSV形式(いわゆるCSV2形式と呼ばれるものです。CSV2形式については、[3-1-1.固定長データとCSVデータ]を参照してください)であれば、
# カンマ区切りのとき in1 = (line1 + ',') .scan(/"([^"\\]*(?:\\.[^"\\]*)*)",|([^,]*),/) .collect{|x,y| y || x.gsub(/(.)/, '\1')}
上記の箇所を
in1 = line1.split(",",-1)
と変更します。
また、入力ファイルがタブ区切りの場合は以下のようにします。
入力データがタブ区切りの場合、
in1 = line1.split("\t",-1)
とします。
キーが複数の項目から成り立っている場合は、
「$in1_key = $in1[0]」の部分を
in1_key = in1[0]+in1[1]+in1[2]
のように変更します(文字列の連結は「+」(プラス)を使います)。
aaa,1 aaa,2 aaa,3 bbb,1 ccc,1 ccc,2 ddd,1 ddd,2 ddd,3 ddd,4 eee,1 fff,1 ggg,1 hhh,1 hhh,2 hhh,3
aaa,6 bbb,1 ccc,3 ddd,10 eee,1 fff,1 ggg,1 hhh,6
aaa,6 bbb,7 ccc,10 ddd,20 eee,21 fff,22 ggg,23 hhh,29