固定長CSVデータを通常のCSVデータに変換するには、unpackメソッドを利用して、各項目ごとに不要なスペースを削除するような形で変換していきます。rubyでは、あらかじめ決まった回数の繰り返しにはfor文が適しているのですが、while文を使うこともできます。
なお、固定長CSVファイルからCSVファイルに変換したときに、漢字などの全角文字が含まれていると、文字化けを起こすことがあります。下記のスクリプトでは、これに対応するため、NKFライブラリを使っています。unpackメソッドを使う場合、漢字などの全角文字は文字数の2倍の値を設定する必要があります(たとえば、ファイルレイアウトで20バイトある項目に漢字などの全角文字が最大10文字入る場合でも、20を指定します。下記の例では$fieldsの2番目の項目に全角文字が入っていますが、文字数の「5」ではなく、バイト数の「10」となっている点に注意してください。(この点はPerlと異なる点です))。
また、下記の例では、入力ファイルに漢字などの全角文字を含むことを前提としていますが、入力ファイルが半角の英数字だけの場合は、コメントになっている「out1_file.print in1.join(","),"\n"」のコメントを外し、「out1 = in1.join(",")」から「out1_file.print out1,"\n"」までの3行をコメントにしても実行可能です(それ以外にもNKFライブラリを使っている箇所はすべてコメントにしておく必要があります)。
NKFモジュールについては、[3-5-2.文字コードの変換(nkfライブラリ利用)]を参照してください。
実際に利用するには、入出力ファイル名を変更するとともに、
fields = "10,10,7,1,1,1,8,8,8,2,2,4"
の部分を入力ファイルのレイアウトにあわせて、必要な桁数に変更します。また、タブ区切りのデータの場合は、
in1 = line1.split("\t",-1)
と指定します。
また、以下のfor文はwhile文にすることもできますが、その場合、以下のようになります。
for文では「0...in1.size」のように「...」という範囲演算子を使いますが、「0..in1.size」とすると最後に「,」がつくことになります。
for i in 0...in1.size
if (in1[i] == nil)
in1[i] = " "
end
in1[i] = in1[i].unpack(fields[i].to_s)
end
while文では
i = 0
while i < in1.size
if (in1[i] == nil)
in1[i] = " "
end
in1[i] = in1[i].unpack(fields[i].to_s)
i += 1
end
となります。
# coding:windows-31j
# fcsv2csv.rb
# 内容 : 固定長CSVファイル（一定の箇所に「,」があるテキスト形式）をCSVファイルをにする
# 前提 :入力ファイルとスクリプトはshift_jisとする。
# Copyright (c) 2002-2015 Mitsuo Minagawa, All rights reserved.
# (minagawa@fb3.so-net.ne.jp)
# 使用方法 : c:\>ruby fcsv2csv.rb
#
require 'nkf'
# 入力ファイル
in1_file = open("fcsv.txt","r")
# 出力ファイル
out1_file = open("output.txt","w")
# 入力ファイルのレイアウトを指定する。
fields_s = "10,10,7,1,1,1,8,8,8,2,2,4"
fields_s = "A" + fields_s.gsub(/,/,",A")
fields = fields_s.split(",",-1)
# 主処理
while (line1 = in1_file.gets)
# shift_jis から euc-jp に変換
line1 = NKF::nkf( '-Sxem0--cp932', line1 )
line1.chomp!
in1 = (line1 + ',')
.scan(/"([^"\\]*(?:\\.[^"\\]*)*)",|([^,]*),/)
.collect{|x,y| y || x.gsub(/(.)/, '\1')}
for i in 0...in1.size
if (in1[i] == nil)
in1[i] = " "
end
in1[i] = in1[i].unpack(fields[i].to_s)
end
# out1_file.print in1.join(","),"\n"
out1 = in1.join(",")
# euc-jp から shift_jis に変換
out1 = NKF::nkf( '-Exsm0--cp932', out1 )
out1_file.print out1,"\n"
end
# ファイルのクローズ
in1_file.close
out1_file.close
Ruby1.9以降でprintメソッドの引数で漢字などの全角文字を使っていますので、マジックコメントを使っています。マジックコメントの指定方法については、[2-1-5.スクリプトの中で漢字を使う]を参照してください。
Ruby1.8以前で実行するには、$KCODEを使用します。$KCODEについても[2-1-5.スクリプトの中で漢字を使う]を参照してください。
上記のスクリプトは入力ファイルに漢字などの全角文字を含む場合ですが、全角文字を含まない場合は下記のようになります。
# coding:windows-31j
# fcsv2csv_2.rb
# 内容 : 固定長CSVファイル（一定の箇所に「,」があるテキスト形式）を
# CSVファイルをにする
# 前提 :入力ファイルとスクリプトはshift_jisとする。
# :(入力ファイルに漢字などの全角文字を含まない場合)
# Copyright (c) 2002-2015 Mitsuo Minagawa, All rights reserved.
# (minagawa@fb3.so-net.ne.jp)
# 使用方法 : c:\>ruby fcsv2csv_2.rb
#
# 入力ファイル
in1_file = open("fcsv.txt","r")
# 出力ファイル
out1_file = open("output.txt","w")
# 入力ファイルのレイアウトを指定する。
fields_s = "10,10,7,1,1,1,8,8,8,2,2,4"
fields_s = "A" + fields_s.gsub(/,/,",A")
fields = fields_s.split(",",-1)
# 主処理
while (line1 = in1_file.gets)
line1.chomp!
in1 = (line1 + ',')
.scan(/"([^"\\]*(?:\\.[^"\\]*)*)",|([^,]*),/)
.collect{|x,y| y || x.gsub(/(.)/, '\1')}
# i = 0
# while i < in1.size
for i in 0...in1.size
if (in1[i] == nil)
in1[i] = " "
end
in1[i] = in1[i].unpack(fields[i].to_s)
# i += 1
end
out1 = in1.join(",")
out1_file.print out1,"\n"
end
# ファイルのクローズ
in1_file.close
out1_file.close
スクリプトはこちらにあります(入力ファイルに全角文字を含む場合)。
スクリプトはこちらにあります(入力ファイルに全角文字を含まない場合)。
11111 ,１−２−３,ABCDEF ,1,2,3,20011001,20020228,20020131,01,05,9999 22222 ,ＡＢＣ ,BCDEFG ,5,5,5,20011001,20020228,20020131,01,05,8888 33333 ,αβ ,CDEFGH ,3,4,2,20011001,20020228,20020131,01,05,7777 44444 ,ａｂｃ ,EFGHIJ ,2,2,2,20011001,20020228,20020131,01,05,6666 55555 ,貸借対照表,EFGHIJ ,2,2,2,20011001,20020228,20020131,01,05,6666 66666 ,航空機 ,EFGHIJ ,2,2,2,20011001,20020228,20020131,01,05,6666 77777 ,山﨑髙彦 ,FGHIJK ,1,2,8,20011001,20020228,20020131,01,05,5555 88888 ,①②③④ ,GHIJKL ,2,4,9,20011001,20020228,20020131,01,05,4444 99999 ,漢字 ,LMNOPQ ,3,8,5,20011001,20020228,20020131,01,05,3333
11111,１−２−３,ABCDEF,1,2,3,20011001,20020228,20020131,01,05,9999 22222,ＡＢＣ ,BCDEFG,5,5,5,20011001,20020228,20020131,01,05,8888 33333,αβ ,CDEFGH,3,4,2,20011001,20020228,20020131,01,05,7777 44444,ａｂｃ ,EFGHIJ,2,2,2,20011001,20020228,20020131,01,05,6666 55555,貸借対照表,EFGHIJ,2,2,2,20011001,20020228,20020131,01,05,6666 66666,航空機 ,EFGHIJ,2,2,2,20011001,20020228,20020131,01,05,6666 77777,山﨑髙彦 ,FGHIJK,1,2,8,20011001,20020228,20020131,01,05,5555 88888,①②③④ ,GHIJKL,2,4,9,20011001,20020228,20020131,01,05,4444 99999,漢字 ,LMNOPQ,3,8,5,20011001,20020228,20020131,01,05,3333