CSVファイルを読み込んで、同一キーのレコードの中の数値項目をuntil命令を使って合計する処理です。
[2-2-2.各キーの最終レコードを出力(until型)]の各キーごとの最後のレコードを出力するスクリプトとほぼ同じような構造になっています。
ただし、出力する内容が、保存したデータそのものではなく、合計値ですので、キーが同じ間はデータを集計し、キーが変わったら合計値をゼロにするタイミングを考えて作成する必要があります。
このスクリプトでも、ファイルをクローズする前に入力データがゼロ件の場合かどうかを判断し、1件以上のデータがある場合は、何らかの合計値が保存されたまま、出力されない状態で残っていることになるので、そのデータを出力します。
ポイントは、1件目のレコードを入力したときに入力キーを保存キー(sv_key)に保存しておき、繰り返し処理の中で1件目から「保存キー≠入力キー」の条件に合致しないように初期設定していることです。
下記に示したのは、スクリプトの構造を示したPAD図です。この図と実際のスクリプトを比較しながら、内容を理解してください。なお、入力データはキー順に並べ替えてあることが前提となっています。Rubyを利用して並べ替えを行う場合については、[2-4.ソート(並べ替え)処理]を参照してください。
# total1.rb # 内容 : 同一キーの値を合計する(until型) # 前提 : 合計値を出すキーごとに昇順に並べ替えておくこと # Copyright (c) 2002-2015 Mitsuo Minagawa, All rights reserved. # (minagawa@fb3.so-net.ne.jp) # 使用方法 : c:\>ruby total1.rb # # 入力ファイル in1_file = open("input.txt","r") # 出力ファイル out1_file = open("output.txt","w") # 初期値設定 in1_eof = ["ffffffff"].pack("h8") #ファイルの終了判定 in1_key = nil #入力キー in1 = nil #入力レコードを格納する配列 in1_ctr = 0 #入力件数 sv_key = nil #保存キー w_total = 0 #合計値 # データ入力処理 class S_in1 def dataset(in1_file,in1_ctr,in1_eof) if (line1 = in1_file.gets) line1.chomp! #タブ区切りのとき # in1 = line1.split("\t",-1) #カンマ区切りのとき in1 = (line1 + ',') .scan(/"([^"\\]*(?:\\.[^"\\]*)*)",|([^,]*),/) .collect{|x,y| y || x.gsub(/(.)/, '\1')} # キー項目が単独のとき in1_key = in1[0] # キー項目が複数のとき # 1番目と2番目と3番目の項目がキーとなる場合 # in1_key = in1[0] + in1[1] + in1[2] in1_ctr += 1 #入力ファイルが終了のとき else in1 = nil #入力ファイルの終了判定(in1_eof)を入力キーにセット in1_key = in1_eof end return in1,in1_ctr,in1_key end end # キーブレイク時の処理 def s_break(out1_file,sv_key,w_total) out1 = [sv_key,w_total].join("\t") out1_file.print out1,"\n" end # データ入力処理(1件目)および保存キーセット s_in1 = S_in1.new (in1,in1_ctr,in1_key) = s_in1.dataset(in1_file,in1_ctr,in1_eof) sv_key = in1_key #入力したキーを保存 # 主処理 until (in1_key == in1_eof) #入力ファイルが終了になるまで if (sv_key != in1_key) s_break(out1_file,sv_key,w_total) # w_totalをゼロにしなければ、合計値ではなく、累計値になる。 w_total = 0 end sv_key = in1_key #入力したキーを保存 w_total += in1[1].to_i #合計値を計算 (in1,in1_ctr,in1_key) = s_in1.dataset(in1_file,in1_ctr,in1_eof) end # 最終データの処理(入力データがある場合) if (in1_ctr != 0) s_break(out1_file,sv_key,w_total) end # ファイルのクローズ in1_file.close out1_file.close
それでは、スクリプトの解説を個別に行っていきましょう。
最終データの処理
# 最終データの処理(入力データがある場合) if (in1_ctr != 0) s_break(out1_file,sv_key,w_total) end
このスクリプトでも、ファイルをクローズする前に入力データがゼロ件の場合かどうかを判断し、1件以上のデータがある場合は、何らかの合計値が保存されたまま、出力されない状態で残っていることになるので、そのデータを出力します。
入力処理
# データ入力処理(1件目)および保存キーセット s_in1 = S_in1.new (in1,in1_ctr,in1_key) = s_in1.dataset(in1_file,in1_ctr,in1_eof) sv_key = in1_key #入力したキーを保存
ポイントは、1件目のレコードを入力したときに入力キーを保存キー(sv_key)に保存しておき、繰り返し処理の中で1件目から「保存キー≠入力キー」の条件に合致しないように初期設定していることです。
sv_key = in1_key #入力したキーを保存 w_total += in1[1].to_i #合計値を計算
また、Rubyでは、ファイルから入力したデータは文字列として扱われるので、数値として加算する場合は「to_i」メソッドを使って整数に変換したり、「to_f」メソッドを使って浮動小数点数に変換しておく必要があります。
キーブレイク時の処理
# キーブレイク時の処理 def s_break(out1_file,sv_key,w_total) out1 = [sv_key,w_total].join("\t") out1_file.print out1,"\n" end
キーブレイク処理は、untilループ内と最終データの処理を行うところの2箇所で発生するため、サブルーチンを作成して、1箇所で記述しておきます。こうすることで変更が発生した場合に修正が容易にできるようになるだけでなく、修正箇所が他人から見てもわかりやすくなるのです。
# 主処理 until (in1_key == in1_eof) #入力ファイルが終了になるまで if (sv_key != in1_key) s_break(out1_file,sv_key,w_total) # w_totalをゼロにしなければ、合計値ではなく、累計値になる。 w_total = 0 end
合計値(w_total)をゼロクリアするのは、主処理の中でキーブレイク処理の後に行います。ここでゼロクリアしなければ、累計値になります。
その他注意すべきこと
その他、注意すべき点は入力データがタブ区切りなどの場合とキーが複数ある場合の処理です。
上記のスクリプトでは、入力ファイルがCSV形式であれば、すべて対応できるようになっていますが、引用符(")をつけないCSV形式(いわゆるCSV2形式と呼ばれるものです。CSV2形式については、[3-1-1.固定長データとCSVデータ]を参照してください)であれば、
in1 = (line1 + ',') .scan(/"([^"\\]*(?:\\.[^"\\]*)*)",|([^,]*),/) .collect{|x,y| y || x.gsub(/(.)/, '\1')}
上記の箇所を
in1 = line1.split(",",-1)
と変更します。
また、入力ファイルがタブ区切りの場合は以下のようにします。
入力データがタブ区切りの場合、
in1 = line1.split("\t",-1)
とします。
キーが複数の項目から成り立っている場合は、
「$in1_key = $in1[0]」の部分を
in1_key = in1[0]+in1[1]+in1[2]
のように変更します(文字列の連結は「+」(プラス)を使います)。
aaa,1 aaa,2 aaa,3 bbb,1 ccc,1 ccc,2 ddd,1 ddd,2 ddd,3 ddd,4 eee,1 fff,1 ggg,1 hhh,1 hhh,2 hhh,3
aaa,6 bbb,1 ccc,3 ddd,10 eee,1 fff,1 ggg,1 hhh,6
aaa,6 bbb,7 ccc,10 ddd,20 eee,21 fff,22 ggg,23 hhh,29