[2-2-3.同一キーでの合計処理(until型)]の変形版でCSVファイルを読み込んで、同一キーごとの件数をuntil命令を使って計算するスクリプトです。
[2-2-3.同一キーでの合計処理(until型)]の各キーごとの合計値を出力するスクリプトとほぼ同じような構造になっています。ただし、出力する内容が、保存したデータそのものではなく、入力件数であるため、キーが同じ間は件数を計算し、キーが変わったら入力件数をゼロにするタイミングを考えて作成します。
このスクリプトでも、ファイルをクローズする前に入力データがゼロ件の場合かどうかを判断し、1件以上のデータがある場合は、入力件数が保存されたまま、出力されない状態で残っていることになるので、そのデータを出力します。
ポイントは、1件目のレコードを入力したときに入力キーを保存キー(sv_key)に保存しておき、繰り返し処理の中で1件目から「保存キー≠入力キー」の条件に合致しないように初期設定していることです。
下記に示したのは、スクリプトの構造を示したPAD図です。この図と実際のスクリプトを比較しながら、内容を理解してください。なお、入力データはキー順に並べ替えてあることが前提となっています。Rubyを利用して並べ替えを行う場合については、[2-4.ソート(並べ替え)処理]を参照してください。
# countup1.rb # 内容 : 同一キーの件数をカウントする(until型) # 前提 : カウントするキーごとに昇順に並べ替えておくこと # Copyright (c) 2002-2015 Mitsuo Minagawa, All rights reserved. # (minagawa@fb3.so-net.ne.jp) # 使用方法 : c:\>ruby countup1.rb # # 入力ファイル in1_file = open("input.txt","r") # 出力ファイル out1_file = open("output.txt","w") # 初期値設定 in1_eof = ["ffffffff"].pack("h8") #ファイルの終了判定 in1_ctr = 0 #入力件数 w_total = 0 #合計件数 # データ入力処理 class S_in1 def dataset(in1_file,in1_ctr,in1_eof) if (line1 = in1_file.gets) line1.chomp! #タブ区切りのとき # in1 = line1.split("\t",-1) #カンマ区切りのとき in1 = (line1 + ',') .scan(/"([^"\\]*(?:\\.[^"\\]*)*)",|([^,]*),/) .collect{|x,y| y || x.gsub(/(.)/, '\1')} # キー項目が単独のとき in1_key = in1[0] # キー項目が複数のとき # 1番目と2番目と3番目の項目がキーとなる場合 # in1_key = in1[0] + in1[1] + in1[2] in1_ctr += 1 #入力ファイルが終了のとき else in1 = nil #入力ファイルの終了判定(in1_eof)を入力キーにセット in1_key = in1_eof end return in1,in1_ctr,in1_key end end # キーブレイク時の処理 def s_break(out1_file,sv_key,w_total) out1 = [sv_key,w_total].join("\t") out1_file.print out1,"\n" end # データ入力処理(1件目)およびキー項目セット s_in1 = S_in1.new (in1,in1_ctr,in1_key) = s_in1.dataset(in1_file,in1_ctr,in1_eof) sv_key = in1_key # 主処理 #入力ファイルが終了になるまで until (in1_key == in1_eof) if (sv_key != in1_key) s_break(out1_file,sv_key,w_total) # w_totalをゼロにしなければ、合計件数ではなく、累計件数になる。 w_total = 0 end #入力したキーを保存 sv_key = in1_key #件数を加算 w_total += 1 (in1,in1_ctr,in1_key) = s_in1.dataset(in1_file,in1_ctr,in1_eof) end # 最終データの処理(入力データがある場合) if (in1_ctr != 0) s_break(out1_file,sv_key,w_total) end # ファイルのクローズ in1_file.close out1_file.close
それでは、スクリプトの解説を個別に行っていきましょう。
初期値設定
# 初期値設定 in1_eof = ["ffffffff"].pack("h8") #ファイルの終了判定 in1_ctr = 0 #入力件数 w_total = 0 #合計件数
初期値設定では、文字列の最大値である「in1_eof」と入力件数である「in1_ctr」、合計値である「w_total」を設定しておきます。
「in1_eof」は入力ファイルが終了したことを示すEOFを検出したときに設定することに利用します。
それ以外に初期値として設定しておくような項目があれば、ここに設定しておきます。
入力処理
# データ入力処理(1件目)およびキー項目セット s_in1 = S_in1.new (in1,in1_ctr,in1_key) = s_in1.dataset(in1_file,in1_ctr,in1_eof) sv_key = in1_key
ポイントは、1件目のレコードを入力したときに入力キーを保存キー(sv_key)に保存しておき、繰り返し処理の中で1件目から「保存キー≠入力キー」の条件に合致しないように初期設定していることです。
最終データの処理
# 最終データの処理(入力データがある場合) if (in1_ctr != 0) s_break(out1_file,sv_key,w_total) end
このスクリプトでも、ファイルをクローズする前に入力データがゼロ件の場合かどうかを判断し、1件以上のデータがある場合は、入力件数が保存されたまま、出力されない状態で残っていることになるので、そのデータを出力します。
キーブレイク時の処理
# キーブレイク時の処理 def s_break(out1_file,sv_key,w_total) out1 = [sv_key,w_total].join("\t") out1_file.print out1,"\n" end
キーブレイク処理は、untilループ内と最終データの処理を行うところの2箇所で発生するため、サブルーチンを作成して、1箇所で記述しておきます。こうすることで変更が発生した場合に修正が容易にできるようになるだけでなく、修正箇所が他人から見てもわかりやすくなるのです。
# 主処理 #入力ファイルが終了になるまで until (in1_key == in1_eof) if (sv_key != in1_key) s_break(out1_file,sv_key,w_total) # w_totalをゼロにしなければ、合計件数ではなく、累計件数になる。 w_total = 0 end
合計値(w_total)をゼロクリアするのは、主処理の中でキーブレイク処理の後に行います。ここでゼロクリアしなければ、累計値になります。
その他注意すべきこと
その他、注意すべき点は入力データがタブ区切りなどの場合とキーが複数ある場合の処理です。
上記のスクリプトでは、入力ファイルがCSV形式であれば、すべて対応できるようになっていますが、引用符(")をつけないCSV形式(いわゆるCSV2形式と呼ばれるものです。CSV2形式については、[3-1-1.固定長データとCSVデータ]を参照してください)であれば、
in1 = (line1 + ',') .scan(/"([^"\\]*(?:\\.[^"\\]*)*)",|([^,]*),/) .collect{|x,y| y || x.gsub(/(.)/, '\1')}
上記の箇所を
in1 = line1.split(",",-1)
と変更します。
また、入力ファイルがタブ区切りの場合は以下のようにします。
入力データがタブ区切りの場合、
in1 = line1.split("\t",-1)
とします。
キーが複数の項目から成り立っている場合は、
「$in1_key = $in1[0]」の部分を
in1_key = in1[0]+in1[1]+in1[2]
のように変更します(文字列の連結は「+」(プラス)を使います)。
aaa,1 aaa,2 aaa,3 bbb,1 ccc,1 ccc,2 ddd,1 ddd,2 ddd,3 ddd,4 eee,1 fff,1 ggg,1 hhh,1 hhh,2 hhh,3
aaa,3 bbb,1 ccc,2 ddd,4 eee,1 fff,1 ggg,1 hhh,3
aaa,3 bbb,4 ccc,6 ddd,10 eee,11 fff,12 ggg,13 hhh,16