■Windows版Perlの細道・けもの道

■ナビゲータ

[南北館（最初のメニュー）]

  1. [Windows版Perlの細道・けもの道]
    1. [1.準備編]
    2. [2.基本編]
      1. [2-1.基本処理]
      2. [2-2.キーブレイク処理]
        1. [2-2-1.各キーの１件目を出力（until型）]
        2. [2-2-2.各キーの最終レコードを出力（until型）]
        3. [2-2-3.同一キーでの合計処理（until型）]
        4. [2-2-4.同一キーでの件数カウント（until型）]
        5. [2-2-5.各キーの1件目を出力（while型）]
        6. [2-2-6.各キーの最終レコードを出力（while型）]
        7. [2-2-7.同一キーでの合計処理（while型）]
        8. [2-2-8.同一キーでの件数カウント（while型）]
        9. [2-2-9.ハッシュを使った同一キーの合計処理]
      3. [2-3.マッチング(照合)処理]
      4. [2-4.ソート(並べ替え)処理]
      5. [2-5.パターンマッチ処理]
    3. [3.応用編]
    4. [スクリプトと入力データのサンプル]
rubyではどう処理する？
同じことをrubyではこうしています。

2.基本編

2-2.キーブレイク処理

2-2-6.各キーの最終レコードを出力する---while型の場合

CSVファイルを読み込んで、各キーごとの最終レコードをwhile命令を使って出力する処理です。[2-2-2.各キーの最終レコードを出力（until型）]がuntil命令で行うのに対し、こちらはwhile命令を使います。

until命令での処理と異なり、while命令の終了条件は「偽」になることですので、until命令と逆の条件をセットすれば、while命令でも同じような処理が可能になります。具体的には「while ($in1_key ne $high_value)」とすれば、いいのです。

ただし、ここではwhile命令の内部でファイルハンドルから1レコードずつ入力する処理を行うことで自動的に真偽値が設定できる方法について説明していきます。

上記のような方法にした場合、until命令の時のように繰り返し処理の前で1件目の入力を行うことはできません。したがって、1件目のみ入力キーを保存キーにセットする処理ができないことになります。このため、入力データが1件目かどうかの判断が必要になります。

処理の中でキーとデータを両方、保存しておきますので、ファイルをクローズする前に入力データがゼロ件の場合かどうかを判断します。1件以上のデータがある場合は、何らかのデータが保存されたまま、出力されない状態で残っていることになりますので、そのデータを出力します。

ポイントは、1件目のレコードかどうかの判断をデータ出力の条件に含めることです。これがないと、未定義値の設定された保存キーと値の設定されていない保存データが必ず出力されてしまうことになります。

下記に示したのは、スクリプトの構造を示したPAD図です。この図と実際のスクリプトを比較しながら、内容を理解してください。なお、入力データはキー順に並べ替えてあることが前提となっています。Perlを利用して並べ替えを行う場合については、[2-4.ソート処理]を参照してください。

実際に応用する場合は、入出力データのファイル名は当然変更する必要がありますが、それ以外に変更する必要のある箇所については、「スクリプトの解説」を参照してください。

【同一キーの最後のデータを出力する場合のwhileを利用したキーブレイク処理のPAD図】
下記のPAD図は「ez-Chart ver1.0」　2003.2-3 cジュン　All right received.を使用して作成されたものです。
同一キーの最後のデータを出力する場合のwhileを利用したキーブレイク処理のPAD図
【スクリプト】
# keybreak4.pl
# 内容 :　同一キーの最後のデータを出力する（while型）
# 前提 :　キーごとに昇順に並べ替えておくこと 
# Copyright (c) 2002-2011 Mitsuo Minagawa, All rights reserved.
# (minagawa@fb3.so-net.ne.jp)
# 使用方法 : c:\>perl keybreak4.pl
#   

# ファイルのオープン    
open(IN1,"input.txt");  
open(OUT1,">output.txt");   

# 初期値設定    
$in1_key    =   undef;      #入力キー
@in1        =   undef;      #入力データの配列
$in1_ctr    =   0;          #入力件数
$sv_key     =   undef;      #保存した入力キー
@save1      =   undef;      #保存した入力データの配列

# 主処理    
while       ($line1 =   <IN1>)  {   

# 入力データの配列へのセット・キー項目のセット等の初期設定  
        $in1_ctr++;                         #入力件数加算   
        chomp($line1);  
        @in1        =   split(",",$line1,-1); 
        $in1_key    =   $in1[0];    

# キーブレイク時の処理  
        if      (($in1_ctr  !=  1)  
            &&  ($sv_key    ne  $in1_key))      {   
                s_break();  
        }   
        $sv_key =   $in1_key;   
        @save1  =   @in1;   
}   

# 最終データの処理（入力データがある場合）  
if      ($in1_ctr   !=  0)      {   
        s_break();  
}   


# 入力キーがブレイク（変化）したときの処理  
sub s_break {   
    $out1   =   join(",",@save1);  
    print   OUT1    "$out1\n";  
}   

# ファイルのクローズ    
close(IN1); 
close(OUT1);

保存データを出力するかどうかの判断を行う、以下の箇所は、【例１】のようにすることも可能です。また、処理効率を重視するのであれば、【例２】のような方法があります。【スクリプト】であげた例では、1件目のデータかどうかと入力キーが保存キーと異なるかどうかの条件を入力データが2件目以降毎回聞くことになるのに対し、【例２】の場合は、入力キーと保存キーが異なる場合しか、入力データが1件目かどうかを判断しないためです。

      if        (($in1_ctr  !=  1)  
            &&  ($sv_key    ne  $in1_key))      {   
                $out1       =   join(",",@save1);  
                print   OUT1    "$out1\n";  
      }
【例１】
      if      ($in1_ctr   !=  1)  
              $sv_key =   $in1_key;   
      }   
      if      ($sv_key    ne  $in1_key)       {   
              $out1       =   join(",",@save1);  
              print   OUT1    "$out1\n";  
      }
【例２】
      if      (($sv_key   ne  $in1_key)   
          &&  ($in1_ctr   !=  1))     {   
              $out1       =   join(",",@save1);  
              print   OUT1    "$out1\n";  
      }
【スクリプトとデータのサンプル】

スクリプトはこちらにあります。

入力データのサンプルはこちらにあります。

【スクリプトの解説】

それでは、スクリプトの解説を個別に行っていきましょう。

初期値設定

# 初期値設定    
$in1_key    =   undef;      #入力キー
@in1        =   undef;      #入力データの配列
$in1_ctr    =   0;          #入力件数
$sv_key     =   undef;      #保存した入力キー
@save1      =   undef;      #保存した入力データの配列

初期値設定では、入力件数を集計する「$in1_ctr」と保存キーをセットする「$sv_key」などを設定しておきます。

保存キーの初期値は未定義値（undef）ではなく、「$low_value = pack("h8","00000000");」を初期値で設定した上で、「$low_value」を使うことも可能です。

それ以外に初期値として設定しておくような項目があれば、ここに設定しておきます。

whileループ処理

# 主処理    
while       ($line1 =   <IN1>)  {   

# 入力データの配列へのセット・キー項目のセット等の初期設定  
        $in1_ctr++;                         #入力件数加算   
        chomp($line1);  
        @in1        =   split(",",$line1,-1); 
        $in1_key    =   $in1[0];    

# キーブレイク時の処理  
        if      (($in1_ctr  !=  1)  
            &&  ($sv_key    ne  $in1_key))      {   
                s_break();  
        }   
        $sv_key =   $in1_key;   
        @save1  =   @in1;   
}

while の条件は、ファイルハンドルから1件ずつレコードを入力する処理を入れます。

「$line1 = <IN1>」とすると、「IN1」というファイルハンドルで指定したデータから1件入力して、「$line1」という変数に代入します。このとき、正常に入力できれば、"0"（真）が設定され、正常に入力できなければ、"-1"（偽）が設定されます（EOFの場合も「偽」と判定されます）。

「while」文はこの真偽値を判断して、処理を振り分けています。真偽値が「真」の場合は、whileループが繰り返され、「偽」の場合は、whileループを抜けて処理が終了します。

whileループに入った直後にレコードをデリミタで分解して、配列にセットします。

キーブレイク処理は、whileループ内で入力データのセットが終了した後に置きます。untilループと異なり、whileループでは、ループの外で入力処理を行わないため、特別な処理をしなければ、1件目キーは必ず、保存キーと異なっていることになります。

したがって、何もしなければ、最初にループに入った直後にキーブレイク処理が発生することになります。このため、キーごとの最初のデータでキーブレイク処理を行う場合は、このままで問題ないのですが、キーごとの最後のデータでキーブレイク処理を行う場合は、1件目のデータのみを例外とするような条件を入れておく必要があります。

untilループでは、「high_value」という変数を使いましたが、その理由は、untilループの前に入力処理を行っているため、EOFを検出する箇所とループの判定箇所が異なっているためです。

しかし、whileループでは、while条件の中で入力処理を行っているため、「high_value」という変数は必要ありません。

このスクリプトでは、入力データをすべて出力していますが、何らかの項目に限定するのか、計算を行うのかによって、必要な処理に変更します。

最終データの処理

# 最終データの処理（入力データがある場合）  
if      ($in1_ctr   !=  0)      {   
        s_break();  
}

whileループを抜けた後に最終データの処理を行います。入力件数がある場合はキーブレイク処理を行います。

# 入力キーがブレイク（変化）したときの処理  
sub s_break {   
    $out1   =   join(",",@save1);  
    print   OUT1    "$out1\n";  
}

その他、注意すべきこと

その他、注意すべき点は入力データがタブ区切りなどの場合とキーが複数ある場合の処理です。

上記のスクリプトでは、入力ファイルがCSV2形式(CSV2形式については、[3-1-1.固定長データとCSVデータ]を参照してください)のCSVファイルであることを前提としていますが、どのようなCSVファイルにも対応できるようにするには、

          @in1 = split(",",$line1,-1);

となっている箇所を以下のように変更します。

CSV形式の入力データを配列に変換する

    my $tmp =   $line1; 
    $tmp    =~  s/(?:\x0D\x0A|[\x0D\x0A])?$/,/; 
    @in1    =   map {/^"(.*)"$/ ? scalar($_ = $1, s/""/"/g, $_) : $_}   
                ($tmp =~ /("[^"]*(?:""[^"]*)*"|[^,]*),/g);

上記のスクリプトはCSV2形式以外の引用符(")を使用する場合を含め、あらゆるCSVファイルに対応できるようになっていますが、このCSVファイルに分解するロジックは、大崎 博基(OHZAKI Hiroki)さんの「Perlメモ」に記載されていたものを参考にしています。

また、入力ファイルがタブ区切りの場合は以下のようにします。

入力データがタブ区切りの場合、

          @in1 = split("\t",$line1,-1);

とします。

キーが複数の項目から成り立っている場合は、

「$in1_key = $in1[0]」の部分を

          $in1_key = $in1[0].$in1[1].$in1[2];

のように変更します（文字列の連結は「.」（ピリオド）を使います）。

【入力データ（input.txt）】
aaa,1   
aaa,2
aaa,3
bbb,1
ccc,1
ccc,2
ddd,1
ddd,2
ddd,3
ddd,4
eee,1
fff,1
ggg,1
hhh,1
hhh,2
hhh,3
【出力データ（output.txt）】
aaa,3   
bbb,1
ccc,2
ddd,4
eee,1
fff,1
ggg,1
hhh,3



Copyright (c) 2004-2013 Mitsuo Minagawa, All rights reserved.