横持ちデータから縦持ちへの変換

レポートや取引先から提出されたデータを分析する場合、データが集約されすぎてModelerで分析しにくい、と感じたことはないでしょうか。デー タがクロス集計されてしまうと「横持ちデータを縦持ちに加工」する必要がありますが、項目が多いものは手作業や関数を駆使しても展開するのは困難です。と ころが、Modelerスクリプトのループ処理を利用すると、簡単に横持ちデータを縦持ちに加工できます。

今回、日別アイテム別に売上数が集計されているレポートをDBへ保存するため、横持ちデータを縦持ちに加工するケースを見てみます。
横持ちデータは、5アイテム（AAA,BBB,CCC,DDD,EEE）の値で、これを日別アイテム別に縦持ちに加工します。

データ加工のイメージは下図の通りです。

これを各フィールドを対象に繰り返します。「AAA」の処理が終わったら、抽出対象を「BBB」に変更して処理を実行し、EEEまで順次エクスポー トします。この繰り返し作業は、スクリプトのループ処理で行えます。アイテム名の入力については、アイテム名リストを作成しておき、後でレコード結合させ ます。

処理概要

ここでポイントとなるのは、最初に、1 エクスポート用のファイルを作成すること、次に、2 結合のために追加した「ID」フィールドに毎回異なるアイテム名を入力すること、3 ループ処理で抽出するフィールドを毎回変更することです。そこで、下記のストリームを作成します。ループ処理中に変更が必要な設定のみスクリプトで記述します。
ストリームをあらかじめ作成しておくことで、プログラミング作業を短時間で終わらせることが出来ますし、プログラミングが苦手なメンバーにもわかりやすくなります。

1. ストリーム：エクスポート用テーブル作成

エクスポート用テーブルの作成では、テーブルを上書き（または新規作成）するかレコード追加するかがポイントとなります。今回は、テーブルのデータ を入替えることを前提とします。最初の処理では、テーブルを上書きするために「テーブルの作成」を設定し、処理を1度実行するスクリプトを記述します。 ループ処理では「テーブルへ挿入」を設定します。
今回の処理では、テーブル枠の設定と最初の対象フィールド「AAA」のデータエクスポートが行われます。

2. ストリーム：アイテム名追加

次に、アイテム名リストの作成、つまり、フィールド名をリストします。今回は入力ファイルとして「Sample.csv」を使用します。
入力ノードで「ファイルからフィールド名を取得」のチェックを外します。（後でコード結合するためにデフォルトのフィールド名を付与します。csvファイルは「field」＋数字、Excelファイルは「C」＋数字、というようにフィールド名が振られます）

次に、サンプルノードで最初の1行のみを読み込みます。

そして、行列入替ノードで横持ちになっているフィールド名を縦持ちに変換します（新規作成フィールドは「1」に設定します）。

出力すると下記のようにID（デフォルトのフィールド名）とフィールド名のリストができます。

※Excelファイル入力ノードの場合は「ID」の値がC1、C2・・・となります。

レコード結合させるため、元データにも「ID」フィールドを追加して結合キーとします。その際、「AAA」のデータには「field2」を、「BBB」の場合は「field3」を「ID」の値として入力します。

3. ストリーム：対象フィールド抽出

次に、フィルタノード「変数制御」で対象フィールドのみ抽出します。その際、「BBB」以降のデータをループ処理します。
入力ノードで「ファイルからフィールド名を取得」のチェックを外し、入力データのフィールド名をデフォルトのフィールド名にします（2 のアイテムリストと結合するため）。

1行目（元のフィールド名）は不要なため、条件抽出で除外します。files1=”date”

4. スクリプト

フィルタノード「変数制御」で対象フィールド「field1」、「field3」を選択します。field3はループ処理の中で可変となるため、スクリプトでパラメータを使用します。

抽出対象フィールドを選択します。

2 のアイテムリストと結合するため、キーとなる「ID」フィールドの値を入力します。

結合後、フィールド名をエクスポート用テーブルのフィールド名に変更し、不要なフィールド「ID」を除外します。

処理を実行します。実行後は、次の処理のために「item_num」がフィールド名が被らないように名前を元に戻し、フィールドの選択も解除します。

以上を踏まえてスクリプトを記述すると次のようになります。

実行結果は下記の通りです。

※ループ処理中に何度も警告メッセージが出てくる場合は、ユーザーオプションで警告のチェックを外すことでメッセージが表示されないように設定できます。

ここでご紹介した「横持ちデータを縦持ちに変換する」処理は、様々な場面で応用できます。例えば、レポートとしてあらかじめクロス集計されているものでも、一旦集計直前のデータに展開することで更なる詳細な分析をするのに役立てられます。