■Windows版Perlの細道・けもの道

■ナビゲータ

[南北館（最初のメニュー）]

  1. [Windows版Perlの細道・けもの道]
    1. [1.準備編]
    2. [2.基本編]
      1. [2-1.基本処理]
      2. [2-2.キーブレイク処理]
        1. [2-2-1.各キーの１件目を出力（until型）]
        2. [2-2-2.各キーの最終レコードを出力（until型）]
        3. [2-2-3.同一キーでの合計処理（until型）]
        4. [2-2-4.同一キーでの件数カウント（until型）]
        5. [2-2-5.各キーの1件目を出力（while型）]
        6. [2-2-6.各キーの最終レコードを出力（while型）]
        7. [2-2-7.同一キーでの合計処理（while型）]
        8. [2-2-8.同一キーでの件数カウント（while型）]
        9. [2-2-9.ハッシュを使った同一キーの合計処理]
      3. [2-3.マッチング(照合)処理]
      4. [2-4.ソート(並べ替え)処理]
      5. [2-5.パターンマッチ処理]
    3. [3.応用編]
    4. [スクリプトと入力データのサンプル]
rubyではどう処理する？
同じことをrubyではこうしています。

2.基本編

2-2.キーブレイク処理

2-2-2.各キーの最終レコードを出力する---until型の場合

CSVファイルを読み込んで、各キーごとの最終レコードをuntil命令を使って出力する処理です。

たとえば、各キーごとにデータが古い順に並んでいるような場合に、このスクリプトによって、各キーごとの最後のレコードを取り出すことによって、最新のデータだけを取り出すことができるようになります。

各キーの1件目のデータを出力する場合と異なるのは、保存するのはキーだけでなく、データも保存しておく必要があるという点と出力するのは保存したデータであるという点です。これは現在読み込んでいるデータではなく、保存したデータを出力するためです。

このため、untilループ処理ですべてのキーブレイク処理を完結することができせん。したがって、ファイルをクローズする前に入力データがゼロ件の場合かどうかを判断し、1件以上のデータがある場合は、何らかのデータが保存されたまま、出力されない状態で残っていると判断し、そのデータを出力することになります。

ポイントは、1件目のレコードを入力したときに入力キーを保存キー（$sv_key）に保存しておき、繰り返し処理の中で１件目から「保存キー≠入力キー」の条件に合致しないように初期設定していることです。

下記に示したのは、スクリプトの構造を示したPAD図です。この図と実際のスクリプトを比較しながら、内容を理解してください。なお、入力データはキー順に並べ替えてあることが前提となっています。Perlを利用して並べ替えを行う場合については、[2-4.ソート処理]を参照してください。

実際に応用する場合は、入出力データのファイル名は当然変更する必要がありますが、それ以外に変更する必要のある箇所については、「スクリプトの解説」を参照してください。

【各キーの最後のデータを出力する場合のuntilを利用したキーブレイク処理のPAD図】
下記のPAD図は「ez-Chart ver1.0」　2003.2-3 cジュン　All right received.を使用して作成されたものです。
各キーの最後のデータを出力する場合のuntilを利用したキーブレイク処理のPAD図
【untilを利用したときの入力処理のPAD図】
untilを利用したときの入力処理のPAD図


【スクリプト】
# keybreak2.pl
# 内容 :　同一キーの最後のデータを出力する（until型）
# 前提 :　キーごとに昇順に並べ替えておくこと 
# Copyright (c) 2002-2011 Mitsuo Minagawa, All rights reserved.
# (minagawa@fb3.so-net.ne.jp)
# 使用方法 : c:\>perl keybreak2.pl
#   

# ファイルのオープン    
open(IN1,"input.txt");  
open(OUT1,">output.txt");   

# 初期値設定    
$high_value =   pack("h8","ffffffff");      #終了判定
$in1_key    =   undef;      #入力キー
@in1        =   undef;      #入力データの配列
$in1_ctr    =   0;          #入力件数
$sv_key     =   undef;      #保存した入力キー
@save1      =   undef;      #保存した入力データの配列

# １件目のデータ入力    
s_in1();    
$sv_key =   $in1_key;   

# 主処理(入力ファイルが終了になるまで)    
until   ($in1_key   eq  $high_value)    {  

# キーブレイク時の処理  
    if  ($sv_key    ne  $in1_key)   {   
        s_break();  
    }   
    $sv_key =   $in1_key;   
    @save1  =   @in1;   
    s_in1();    
}   

# 最終データの処理（入力データがある場合）  
if  ($in1_ctr   !=  0)      {   
    s_break();  
}   


# データ入力処理    
sub s_in1   {   
    if  ($line1 =   <IN1>)  {   
        chomp($line1);   
        @in1        =   split(",",$line1); 
        $in1_key    =   $in1[0];    
        $in1_ctr++; 
    }   
    else    {                               #入力ファイルが終了のとき   
            $in1_key    =   $high_value;    #HIGH-VALUE をセット    
    }   
}   

# 入力キーがブレイク（変化）したときの処理  
sub s_break {   
    $out1   =   join(",",@save1);  
    print   OUT1    "$out1\n";  
}   

# ファイルのクローズ    
close(IN1); 
close(OUT1);
【スクリプトとデータのサンプル】

スクリプトはこちらにあります。

入力データのサンプルはこちらにあります。

【スクリプトの解説】

それでは、スクリプトの解説を個別に行っていきましょう。

初期値設定

# 初期値設定    
$high_value =   pack("h8","ffffffff");      #終了判定
$in1_key    =   undef;      #入力キー
@in1        =   undef;      #入力データの配列
$in1_ctr    =   0;          #入力件数
$sv_key     =   undef;      #保存した入力キー
@save1      =   undef;      #保存した入力データの配列

初期値設定では、文字列の最大値である「$high_value」を設定しておきます。

「$high_value」はCOBOLで使用される定数の名称ですが、入力ファイルが終了したことを示すEOFを検出したときに設定することに利用します。

「$in1_ctr」は、入力件数をカウントする変数です。

「同一キーの最後のデータでキーブレイクする」ということは、入力データのキー項目がすべて同じだった場合、UNTILのループ内では何も出力されないことになります。

また、UNTILのループを抜けたところで必ず出力すると、入力データがない場合にも出力データが存在することになります。

こうしたことを避けるため、変数「$in1_ctr」で入力件数をカウントし、入力データがある場合にだけキーブレイク処理を行うようにしています。

また、こうした極端な例を持ち出さなくても、入力データの最後のデータだけがユニークなキー項目を持っている場合にも、上記のような対応をしないとそのデータは出力されないことになります。（わからない場合は試してみてください）

こうしたことを避けるためにも、UNTILのループを出た後で判定することが必要になってきます。このため、入力件数をカウントし、1件でも入力データがある場合にはキーブレイク処理を行うことにしているのです。

それ以外に初期値として設定しておくような項目があれば、ここに設定しておきます。

untilループ処理

# １件目のデータ入力    
s_in1();    
$sv_key =    $in1_key;

untilループ処理を行う場合は、必ず、ループ処理の前に1件目のデータを入力するための処理を行います。

UNTILのループの外で最初に1件目の入力をしているので、そのままにしていると、1件目で必ずキーブレイク処理が発生してしまいます。こうしたことにならないように入力キーを保存キーに代入しています。

# 主処理    
until   ($in1_key   eq  $high_value)    {#入力ファイルが終了になるまで  

# キーブレイク時の処理  
    if  ($sv_key    ne  $in1_key)   {   
        s_break();  
    }

until の条件は、入力データが終了（EOF）したときの条件を入れます。

EOFを判定する項目とキー項目を別々にとってもかまわないのですが、終了条件が複雑になるだけでほとんどメリットはありません。むしろ、同じ項目にしたほうがわかりやすいことが多いのです。

キーブレイク処理

キーブレイク処理は、UNTILのループ内で先頭に置きます。UNTILループの外で最初に1件目の入力をした後、入力キーを保存キーに代入しているため、1件目ではキーブレイク処理は発生しないことになります。（ここが1件目のデータでキーブレイクする場合と異なる点です）

このスクリプトでは、入力データをすべて出力していますが、何らかの項目に限定するのか、計算を行うのかによって、必要な処理に変更します。

    $sv_key =   $in1_key;   
    @save1  =   @in1;   
    s_in1();    
}

入力データのキーを保存する

キーブレイク処理の後、入力処理の前で入力データのキーを保存しておきます。保存しないと、現在入力しているデータの情報しか持っていないため、キーブレイクしたかどうか判断できなくなります。

また、キーごとに最後のデータを出力するため、「@save1 = @in1」で入力データをすべて保存しています。その他のデータを保存したり、集計値を設定する必要があれば、ここに指定しておきます。

データ入力処理

データ入力処理は、untilのループ内の最後に置きます。入力処理でEOFが検出できれば、untilのループの外に出ることになり、EOFでなければ（つまり、入力データがあれば）、再度、untilのループの中の処理を最初から繰り返します。

最終データの処理

# 最終データの処理（入力データがある場合）  
if  ($in1_ctr   !=  0)      {   
    s_break();  
}

最後の入力データだけが異なるキー項目を持っていたとしても、EOFは入力処理を行った後に検出するため、必ずキーブレイク処理が発生します。

データ入力処理(サブルーチン)

# データ入力処理    
sub s_in1   {   
    if  ($line1     =   <IN1>)  {   
        chomp($line1);  
        @in1        =   split(",",$line1,-1); 
        $in1_key    =   $in1[0];    
    }   
    else    {                           #入力ファイルが終了のとき
        $in1_key    =   $high_value;    #HIGH-VALUE をセット
    }   
}

「$line1 = <IN1>」で入力ファイルから1件ずつデータを読み込んでいきます。「if ($line1 = <IN1>) 」が成り立つ場合というのは、入力ファイルから正常にデータが読み込むことができた場合です。逆にデータがなくなると「else」のほうの処理を行います。

キーブレイク処理

キーブレイク処理は、UNTILのループ内と最終データの処理を行うところの2箇所で発生するため、サブルーチンを作成して、1箇所で記述しておきます。こうすることで変更が発生した場合に修正が容易にできるようになるだけでなく、修正箇所が他人から見てもわかりやすくなるのです。

# 入力キーがブレイク（変化）したときの処理  
sub s_break {   
    $out1   =   join(",",@save1);  
    print   OUT1    "$out1\n";  
}

その他注意すべきこと

その他、注意すべき点は入力データがタブ区切りなどの場合とキーが複数ある場合の処理です。

上記のスクリプトでは、入力ファイルがCSV2形式(CSV2形式については、[3-1-1.固定長データとCSVデータ]を参照してください)のCSVファイルであることを前提としていますが、どのようなCSVファイルにも対応できるようにするには、

          @in1 = split(",",$line1,-1);

となっている箇所を以下のように変更します。

CSV形式の入力データを配列に変換する

    my $tmp =   $line1; 
    $tmp    =~  s/(?:\x0D\x0A|[\x0D\x0A])?$/,/; 
    @in1    =   map {/^"(.*)"$/ ? scalar($_ = $1, s/""/"/g, $_) : $_}   
                ($tmp =~ /("[^"]*(?:""[^"]*)*"|[^,]*),/g);

上記のスクリプトはCSV2形式以外の引用符(")を使用する場合を含め、あらゆるCSVファイルに対応できるようになっていますが、このCSVファイルに分解するロジックは、大崎 博基(OHZAKI Hiroki)さんの「Perlメモ」に記載されていたものを参考にしています。

また、入力ファイルがタブ区切りの場合は以下のようにします。

入力データがタブ区切りの場合、

          @in1 = split("\t",$line1,-1);

とします。

キーが複数の項目から成り立っている場合は、

「$in1_key = $in1[0]」の部分を

          $in1_key = $in1[0].$in1[1].$in1[2];

のように変更します（文字列の連結は「.」（ピリオド）を使います）。

【入力データ（input.txt）】
aaa,1   
aaa,2
aaa,3
bbb,1
ccc,1
ccc,2
ddd,1
ddd,2
ddd,3
ddd,4
eee,1
fff,1
ggg,1
hhh,1
hhh,2
hhh,3
【出力データ（output.txt）】
aaa,3   
bbb,1
ccc,2
ddd,4
eee,1
fff,1
ggg,1
hhh,3



Copyright (c) 2004-2013 Mitsuo Minagawa, All rights reserved.