Perlの細道・けもの道

■Windows版Perlの細道・けもの道

■ナビゲータ

[南北館（最初のメニュー）]

[Windows版Perlの細道・けもの道]

rubyではどう処理する？

同じことをrubyではこうしています。

2.基本編

2-2.キーブレイク処理

2-2-1.各キーの１件目を出力する---until型の場合

CSVファイルを読み込んで、各キーごとの1件目に該当するレコードをuntil命令を使って出力する処理です。

until命令は、

    until   (繰り返しが終了する条件)   {　　　
             繰り返しで行う処理
    }

と記述し、繰り返しが終了する条件を満たすまでは繰り返しの中の処理を実行します。until命令では、入力データが終了したかどうかの判断だけを行うため、繰り返し処理に入る前と繰り返し処理の中の最後に入力処理を持ってくることになります。

したがって、入力処理を付け加えると、以下のような構造になります。

　　入力処理
    until   (繰り返しが終了する条件)   {　　　
             繰り返しで行う処理
　　　　　　 入力処理
    }

このページで示す型がuntil命令を使ったときのキーブレイク処理の基本型です。

下記に示したのは、スクリプトの構造を示したPAD図です。この図と実際のスクリプトを比較しながら、内容を理解してください。なお、入力データはキー順に並べ替えてあることが前提となっています。Perlを利用して並べ替えを行う場合については、[2-4.ソート処理]を参照してください。

実際に応用する場合は、入出力データのファイル名は当然変更する必要がありますが、それ以外に変更する必要のある箇所については、「スクリプトの解説」を参照してください。

【各キーの１件目を出力する場合のuntilを利用したキーブレイク処理のPAD図】

下記のPAD図は「ez-Chart ver1.0」　2003.2-3 cジュン　All right received.を使用して作成されたものです。

【untilを利用したときの入力処理のPAD図】

【スクリプト】

# keybreak1.pl
# 内容 :　同一キーの１件目のデータを出力する（until型）
# 前提 :　キーごとに昇順に並べ替えておくこと 
# Copyright (c) 2002-2011 Mitsuo Minagawa, All rights reserved.
# (minagawa@fb3.so-net.ne.jp)
# 使用方法 : c:\>perl keybreak1.pl
#   

# ファイルのオープン    
open(IN1,"input.txt");  
open(OUT1,">output.txt");   

# 初期値設定    
$high_value =   pack("h8","ffffffff");      #終了判定
$in1_key    =   undef;      #入力キー
@in1        =   undef;      #入力データの配列
$sv_key     =   undef;      #保存した入力キー

# １件目のデータ入力    
s_in1();    

# 主処理(入力ファイルが終了になるまで)
until   ($in1_key       eq  $high_value)    {  

# キーブレイク時の処理  
    if  ($sv_key    ne  $in1_key)       {   
        $out1   =   join(",",@in1);    
        print   OUT1    "$out1\n";  
    }   
    $sv_key =   $in1_key;   
    s_in1();    
}   

# データ入力処理    
sub s_in1   {   
    if  ($line1     =   <IN1>)  {   
        chomp($line1);  
        @in1        =   split(",",$line1,-1); 
        $in1_key    =   $in1[0];    
    }   
    else    {                           #入力ファイルが終了のとき   
        $in1_key    =   $high_value;    #HIGH-VALUE をセット    
    }   
}   

# ファイルのクローズ    
close(IN1);
close(OUT1);

【スクリプトとデータのサンプル】

スクリプトはこちらにあります。

入力データのサンプルはこちらにあります。

【スクリプトの解説】

それでは、スクリプトの解説を個別に行っていきましょう。

初期値設定

# 初期値設定    
$high_value =   pack("h8","ffffffff");      #終了判定
$in1_key    =   undef;      #入力キー
@in1        =   undef;      #入力データの配列
$sv_key     =   undef;      #保存した入力キー

初期値設定では、文字列の最大値である「$high_value」を設定しておきます。

「$high_value」はCOBOLで使用される定数の名称ですが、入力ファイルが終了したことを示すEOFを検出したときに設定することに利用します。

「$high_value」という変数を使う理由は、EOFを検出した場合に処理を変える場合があるためです。たとえば、入力データの全件について、ある特定の項目の合計値を計算して、出力する場合、出力するタイミングはEOFを検出した後になります。EOFを検出したときにキー項目に「$high_value」という変数の値を代入することでEOFになったかどうかを判定します。

これは未定義値（undef）を使用してもかまいません。HIGH_VALUEやLOW_VALUEはCOBOLに由来する名称であり、特にこのような名称でなくても問題ありません。

一般的な入力処理では、他にないキー項目であれば、EOFを検出したかどうかを知るためには、どんな内容でもかまいません。ただし、キーブレイク処理や[2-3.マッチング(照合)処理]では、キー項目順に昇順でデータを並べ替えておくことが一般的ですので、入力データを読んで行くにつれて、キー項目は大きくなり、最後のデータでキー項目が該当ファイル内では最大値で終わることになります。

このとき、キー項目がファイルのEOFを検出するための項目を兼ねていると便利なため、EOFを検出したときに、通常では設定できない「$high_value」を設定します。

各キーの1件目を出力する場合は、1件前のレコードのキーだけを保存しておき、その保存したキーと入力レコードのキーが異なっているかどうかによって、各キーごとの1件目のデータかどうかを判断します。

ただし、入力レコードが1件目の場合は、「1件前」のレコードは存在しません。したがって、保存キーには何もセットされていないことになります。こうしたことに対応するため、あらかじめ1件目のレコードのキーとは異なる、何らかの値を保存キーにセットしておく必要があります。ここでは、undefを設定しますが、これは「未定義値」を意味するもので、初期値設定などに利用します。また、これ以外に最小のデータを示す値を16進数で「$low_value = pack("h8","00000000");」として、初期設定することもできます。

こうした初期設定を行うことにより、1件目のレコードについても必ず保存キーと異なることになり、各キーごとの1件目のレコードについて、必ず出力されるようになります。

それ以外に初期値として設定しておくような項目があれば、ここに設定しておきます。

入力処理

# １件目のデータ入力    
s_in1();

# データ入力処理    
sub s_in1   {   
    if  ($line1     =   <IN1>)  {   
        chomp($line1);  
        @in1        =   split(",",$line1,-1); 
        $in1_key    =   $in1[0];    
    }   
    else    {                           #入力ファイルが終了のとき   
         $in1_key    =   $high_value;    #HIGH-VALUE をセット    
    }   
}

「$line1 = <IN1>」で入力ファイルから1件ずつデータを読み込んでいきます。「if ($line1 = <IN1>) 」が成り立つ場合というのは、入力ファイルから正常にデータが読み込むことができた場合です。逆にデータがなくなると「else」のほうの処理を行います。

サブルーチンについて

入力処理はサブルーチンにしていますが、サブルーチンは、

      sub サブルーチン名 {　　　
          何らかの処理
      }

という形式で記述します。サブルーチン名には、変数名と同じように英小文字で始まり、英数字が続いていれば、どのような名称でもかまいません。「sub」という記号がついているものが、サブルーチンと呼ばれる部分です。

サブルーチンとは、何らかの処理を行う部分をまとめて独立させたもので、通常は、そのスクリプトの中で2か所以上で同じような処理を行う場合、その共通する部分を抽出して、サブルーチンにします。

こうすることで、将来、スクリプトを修正する場合に修正しやすくするだけでなく、修正すべき箇所以外を修正してしまう誤りを避けることができるようになります。

サブルーチンを呼び出す側は

        サブルーチン名();

と記述します。サブルーチンを置く場所は、サブルーチンを呼び出す側に関係なく、どこに記述してもかまいません。C言語風に記述するのであれば、呼び出す側よりも前に記述することになりますが、個人的には、メインルーチンの後に記述した方がわかりやすいので、例示したような位置に記述しています。

untilループ処理を行う場合は、必ず、ループ処理の前に1件目のデータを入力するための処理を行います。

入力処理は、untilループの中で最後でも行うため、サブルーチンとして別に設定しています。

主処理およびキーブレイク処理

# 主処理    
until   ($in1_key   eq  $high_value)    {#入力ファイルが終了になるまで  

# キーブレイク時の処理  
    if  ($sv_key    ne  $in1_key)       {   
        $out1   =   join(",",@in1);    
        print   OUT1    "$out1\n";  
    }

until の条件は、入力データが終了（EOF）したときの条件を入れます。

EOFを判定する項目とキー項目を別々にとってもかまわないのですが、終了条件が複雑になるだけでほとんどメリットはありません。むしろ、同じ項目にしたほうがわかりやすいことが多いのです。

キーブレイク処理は、untilのループ内で先頭に置きます。untilのループに入る前に最初に1件目の入力をしているので、最初にループに入った直後にキーブレイク処理が発生することになります。

また、最後の入力データだけが異なるキー項目を持っていたとしても、EOFは入力処理を行った後に検出するため、必ずキーブレイク処理が発生します。

このスクリプトでは、入力データをすべて出力していますが、何らかの項目に限定するのか、計算を行うのかによって、必要な処理に変更します。

    $sv_key =   $in1_key;   
    s_in1();    
}

キーブレイク処理の後、入力処理の前で入力データのキーを保存しておきます。保存しないと、現在入力しているデータの情報しか持っていないため、キーブレイクしたかどうか判断できなくなります。

その他のデータを保存したり、集計値を設定する必要があれば、ここに指定しておきます。

データ入力処理は、untilのループ内の最後に置きます。入力処理でEOFが検出できれば、untilのループの外に出ることになり、EOFでなければ（つまり、入力データがあれば）、再度、untilのループの中の処理を最初から繰り返します。

データ入力処理

# データ入力処理    
sub s_in1   {   
    if  ($line1     =   <IN1>)  {   
        chomp($line1);  
        @in1        =   split(",",$line1,-1); 
        $in1_key    =   $in1[0];    
    }   
    else    {                           #入力ファイルが終了のとき   
        $in1_key    =   $high_value;    #HIGH-VALUE をセット    
    }   
}

「$line1 = <IN1>」とすると、「IN1」というファイルハンドルで指定したデータから1件入力して、「$line1」という変数に代入します。このとき、正常に入力できれば、"0"（真）が設定され、正常に入力できなければ、"-1"（偽）が設定されます。

「if」文はこの真偽値を判断して、処理を振り分けています。EOFを検出すると、真偽値は「偽」として判定されるため、この方法で入力ファイルが終了したかどうかが判定できることになります。

改行文字の削除

「chomp」は引数にした文字列の最後が改行記号になっている場合、改行記号を削除し、「引数の文字列と置き換える」命令です。この例では、引数「$line1」の最後についている改行文字を削除して、「$line1」と置き換えます。

「chomp」は必ず「chomp($line1)」と指定してください。「$x = chomp($line1);」とすると、$xには、改行記号を削除したときの文字数（通常は1）が入るだけで、改行コードを削除した文字列が入るわけではありません。

改行文字を削除する理由は、改行文字を含んだ項目にしておくと、項目ごとに分解した場合、最後の項目に改行文字がついたままになってしまうため、条件文で判断できないことが起きてしまうからです。

また、出力する項目によって、改行文字がついたり、つかなかったりすると出力するときの判断が複雑になるためでもあります。

CSVファイルを配列に入れる

「split」は文字列の中にあるデリミタと呼ばれる記号によって、文字列を分割する命令です。デリミタには通常、「,」（カンマ）やスペース、タブ記号などが使われますが、時刻の表記で「14:05:34」などのような場合は「:」（コロン）で文字列を区切ることができます。

ファイルのクローズ

# ファイルのクローズ    
close(IN1);
close(OUT1);

最後にファイルをクローズします。ファイルを利用した後は最後に必ず「close」を行うようにしましょう。出力データの中で中間ファイルなどの不要なファイルを削除する場合は、「close」の後に行う必要があります。

その他注意すべきこと

その他、注意すべき点は入力データがタブ区切りなどの場合とキーが複数ある場合の処理です。

上記のスクリプトでは、入力ファイルがCSV2形式(CSV2形式については、[3-1-1.固定長データとCSVデータ]を参照してください)のCSVファイルであることを前提としていますが、どのようなCSVファイルにも対応できるようにするには、

          @in1 = split(",",$line1,-1);

となっている箇所を以下のように変更します。

CSV形式の入力データを配列に変換する

    my $tmp =   $line1; 
    $tmp    =~  s/(?:\x0D\x0A|[\x0D\x0A])?$/,/; 
    @in1    =   map {/^"(.*)"$/ ? scalar($_ = $1, s/""/"/g, $_) : $_}   
                ($tmp =~ /("[^"]*(?:""[^"]*)*"|[^,]*),/g);

上記のスクリプトはCSV2形式以外の引用符(")を使用する場合を含め、あらゆるCSVファイルに対応できるようになっていますが、このCSVファイルに分解するロジックは、大崎博基(OHZAKI Hiroki)さんの「Perlメモ」に記載されていたものを参考にしています。

また、入力ファイルがタブ区切りの場合は以下のようにします。

入力データがタブ区切りの場合、

          @in1 = split("\t",$line1,-1);

とします。

キーが複数の項目から成り立っている場合は、

「$in1_key = $in1[0]」の部分を

          $in1_key = $in1[0].$in1[1].$in1[2];

のように変更します（文字列の連結は「.」（ピリオド）を使います）。

【入力データ（input.txt）】

aaa,1   
aaa,2
aaa,3
bbb,1
ccc,1
ccc,2
ddd,1
ddd,2
ddd,3
ddd,4
eee,1
fff,1
ggg,1
hhh,1
hhh,2
hhh,3

【出力データ（output.txt）】

aaa,1   
bbb,1
ccc,1
ddd,1
eee,1
fff,1
ggg,1
hhh,1