ETL: データ転送後のファイル移動・削除を使いこなす

​

はじめに

データパイプラインを構築する際、「ファイルを読み込んだ後、元のファイルはどうすればいい？」という疑問は誰もが抱くはずです。読み込み済みのファイルをそのままにしておくと、次回の実行時に二重取り込みが発生したり、ストレージが散らかったりと、運用上の問題が生じます。 Xplentyには、こうした課題をエレガントに解決する機能が２つ用意されています。ワークフローの「File Mover タスク」 と、File Storage Source コンポーネントの「Move processed files to another folder(処理済みファイルの移動)」オプション です。本記事では、それぞれの使い方と使い分けについて解説します。

​

1. ワークフローの「File Mover タスク」でファイルを移動・削除

​

File Mover タスクとは

Xplentyの ワークフローには、「File Mover」タスクが搭載されています。これはデータフローの実行とは独立して、ファイルストレージ間でのファイルの移動・コピーを行う専用タスクです。 たとえば、「データフローが正常終了したら元ファイルを別ディレクトリへ移動する」「失敗したときはファイルをそのまま残す」といった条件付きのファイル操作が、コードなしで実現できます。

​

File Mover タスクの設定方法

タスク選択画面で 「File Mover」 を選び、以下の項目を設定します。

• Source location(移動元)の設定

• Source connection(ソースコネクション)：ファイルストレージのコネクション(Amazon S3、Google Cloud Storage、Azure Blob Storage、SFTP など)を選択
• Source bucket(ソースバケット)：対象のバケット名を入力（オブジェクトストレージの場合）
• Source path(ソースパス)： ワイルドカードを使った移動対象のファイルまたはディレクトリのパスを入力
• 「Delete files from source」：ファイルを移動先にコピーした後、移動元からファイルを削除します。実質的な「移動」操作となります。
• 「Fail if the source is empty」：移動元にファイルが存在しない場合、タスクをエラーにします。空振り実行を防ぎたいときに有効です。
• Destination location(移動先)の設定

• Destination connection(デスティネーションコネクション)：移動先のファイルストレージコネクションを選択（ソースと異なる接続も指定可能）
• Destination bucket(デスティネーションバケット)：移動先バケット名を入力
• Destination path(デスティネーションパス)：移動先のパスを入力
• Append string to filename：移動先に移されたファイルのファイル名を付与文字列にて変更
  • 付与文字列 - _done
  • ファイル名の変更
    • 移動元 : menulist_20260317.csv
    • 移動先 : menulist_20260317_done.csv
• Compress output to ZIP：移動先に移されたファイルをZIP圧縮して保存

ポイント：移動先のパスに含まれるディレクトリは、実行前にあらかじめ存在している必要があります。ファイル名を変更したい場合は、パスにファイル名と拡張子まで含めて指定します（例：archive/2024/processed_data.csv）。

また、パス名にはパッケージ変数（$変数名）やワイルドカード（*）も使用可能なため、日付変数を使った動的なアーカイブ先の指定なども実現できます。

​

典型的なワークフロー構成例

このように組み合わせることで、「データ取り込み成功 → 元ファイルをアーカイブ」や「データ取り込み失敗 → 元ファイルをリトライに回す」などの一連の処理を自動化できます。

​

2. File Storage・ソースの処理済みファイルの移動

もう一つのアプローチは、データフローパッケージ内の File Storage・ソース に備わっている 「Move processed files to another folder」 オプションを使う方法です。 データ読み込みが完了したファイルが自動的に指定のディレクトリへ移動します。次回実行時に同じファイルを再処理するリスクを防ぐシンプルな方法です。

• Destination path - 上で設定したコネクターのSource bucketにあるディレクトリです。ディレクトリが存在しない場合、自動生成されます。

ワークフローを使わず単体のデータフローで完結させたい場合に適しています。

​

3. どちらを使うべきか？

複雑な処理フローや失敗時のハンドリングが必要な場合はワークフローの File Mover タスクが適しています。一方、単純に「読んだら移動」で十分な場合は、File Storage Source の設定だけで完結します。

​

まとめ

Xplentyを使えば、データ転送後のファイル管理もノーコードで自動化できます。

• ワークフローの File Mover Task：タスクの実行順序や成功・失敗条件と組み合わせた柔軟なファイル操作が可能。ファイルの削除にも対応。
• File Storage・ソースの「Move processed files」オプション：データフロー内でシンプルに処理済みファイルを移動したいときに最適。

どちらの機能も、データパイプラインの信頼性を高め、手動の後処理作業をなくすための重要なツールです。ぜひ自身のユースケースに合わせて活用してみてください。