> ## Documentation Index
> Fetch the complete documentation index at: https://www.integrate.io/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# ETL: S3やSFTP/FTPSなどストレージ連携機能について

> Integrate.io ETLがサポートするS3、SFTP、FTPS、Azure Blob Storage、Google Cloud Storage、HDFSなどのストレージ連携機能について解説します。

## Xplentyのストレージ連携対象

* S3 ※S3側の権限設定は[こちら](https://www.xplenty.com/docs/allowing-xplenty-access-to-data-on-amazon-s3/)の手順を参考に設定ください。
* SFTP ※SSH TunnelおよびReverse SSH Tunnelサポート
* FTPS ※Explicit modeのみ可
* Azure Blob Storage
* Google Cloud Storage
* HDFS(Hadoop Distributed File System)

## 便利な機能

### 1. 柔軟なSourceフォルダ・ファイル取得設定

#### 1-1. 曖昧検索による条件設定

アスタリスク検索により条件にフィットする**全てのファイル**を取得できます。

<Frame>
  <img src="https://mintcdn.com/integrateio/riZNoaOHg__NoUrC/images/japanese-knowledge-base/filestorage-part01-jp/image-1.webp?fit=max&auto=format&n=riZNoaOHg__NoUrC&q=85&s=9f8eabae9fbc77355b5707a2ea86b028" alt="filestorage-part01-jp image 1" width="512" height="255" data-path="images/japanese-knowledge-base/filestorage-part01-jp/image-1.webp" />
</Frame>

#### 1-2. ユーザー変数による取得条件の設定

相対日付による条件設定
関数を使うことで、今日や昨日などの相対日付に基づいた条件設定が可能です。

昨日を表現する関数式：
`ToString(SubtractDuration(SwitchTimeZone(CurrentTime(),'Asia/Tokyo'),'PT24H'), 'yyyy/MM/dd')`

今日を表現する関数式：
`ToString(SwitchTimeZone(CurrentTime(),'Asia/Tokyo'),'yyyy-MM-dd')`

さらに、上記の関数式を変数として定義することで、データ取込先のディレクトリやファイル名をより柔軟に設定できます。

#### 1-3. 正規表現による条件設定

正規表現を使うことでよりリッチな条件設定が可能です。

例１：`/2020-01-{01,02,03}/impressions/*`
/2020-01-01/impressions/*、/2020-01-02/impressions/* 、 /2020-01-03/impressions/\* のいずれかに一致。

例２：`/201[0-9]/01/*`
/2010/01/*、 /2011/01/*、 /2012/01/\* 、... 、 /2019/01/\* のいずれかに一致。

#### 1-4. 複数のファイルが検索条件でヒットした場合

ファイル検索条件が複数ファイルと合致した場合、合致する全てのファイルを取得します。
**複数ファイルが条件に合致することが想定される場合、各ファイルのフィールド名が同じである必要があります。**

### 2. インクリメンタルロード（未だ取り込まれていないファイルのみを取り込み）

これまでの取り込み履歴をManifestファイルで保管し、フォルダ内のファイルのうち、取り込み履歴にない新しいファイルのみを取得していくことができます。

<Frame>
  <img src="https://mintcdn.com/integrateio/riZNoaOHg__NoUrC/images/japanese-knowledge-base/filestorage-part01-jp/image-2.webp?fit=max&auto=format&n=riZNoaOHg__NoUrC&q=85&s=2c465fdaf6c632f85b1cadb10a0c83f1" alt="filestorage-part01-jp image 2" width="961" height="487" data-path="images/japanese-knowledge-base/filestorage-part01-jp/image-2.webp" />
</Frame>

Manifest pathは、Manifest fileも一緒にご記入ください。また、Manifest fileは保存容量の節約ために**gzip形式で保存**されます。実際の中身を見る際には解凍してテキストエディターでご覧ください。

<Frame>
  <img src="https://mintcdn.com/integrateio/riZNoaOHg__NoUrC/images/japanese-knowledge-base/filestorage-part01-jp/image-3.webp?fit=max&auto=format&n=riZNoaOHg__NoUrC&q=85&s=f719ab5d309267b7c3479413e1aa5b55" alt="filestorage-part01-jp image 3" width="852" height="438" data-path="images/japanese-knowledge-base/filestorage-part01-jp/image-3.webp" />
</Frame>

Manifest fileの中身はこれまで取り込んだファイル情報（ファイルパスやファイルサイズ）が保管されており、リストにないファイルのみを差分処理対象として判別します。
※ Manifestのパスを指定する場合、パスで指定したディレクトリが存在しない場合は自動で作成されます。

### 3. 日本特有のファイル仕様に対応

#### 3-1. エンコーディングオプション：Windows-31J

XplentyではShift-JISでエンコーディングされたCSV,TSVファイル以外に、Shift\_JISを拡張した文字コードである「Windows-31J」をサポートしています。「Windows-31J」を使うことで、Shift-JISでは文字化けするような拡張文字である「①」、「㈱」などの文字を含むテキストファイルについても文字化けせずに処理することが可能です。

ストレージのSource コンポーネントおよびDestinationコンポーネントで、以下のように設定可能です。

**Source コンポーネント**
Source actionで「**Copy, merge and process all files**」もしくは「**Process only new files (Incremental load)**」を選択し、Character encodingのリストボックスで「**Windows-31J** 」を選択します。

<Frame>
  <img src="https://mintcdn.com/integrateio/riZNoaOHg__NoUrC/images/japanese-knowledge-base/filestorage-part01-jp/image-4.webp?fit=max&auto=format&n=riZNoaOHg__NoUrC&q=85&s=8e7d627baf33b8950da63947b3c831f2" alt="filestorage-part01-jp image 4" width="540" height="481" data-path="images/japanese-knowledge-base/filestorage-part01-jp/image-4.webp" />
</Frame>

<Frame>
  <img src="https://mintcdn.com/integrateio/riZNoaOHg__NoUrC/images/japanese-knowledge-base/filestorage-part01-jp/image-5.webp?fit=max&auto=format&n=riZNoaOHg__NoUrC&q=85&s=0f964ddf247aa46ef6f4deddf174c05c" alt="filestorage-part01-jp image 5" width="561" height="344" data-path="images/japanese-knowledge-base/filestorage-part01-jp/image-5.webp" />
</Frame>

**Destination コンポーネント**
Destination actionで「**Use intermediate storage and copy files to an existing directory in destination**」を選択し、Character encodingのリストボックスで「**Windows-31J**」を選択します。

<Frame>
  <img src="https://mintcdn.com/integrateio/riZNoaOHg__NoUrC/images/japanese-knowledge-base/filestorage-part01-jp/image-6.webp?fit=max&auto=format&n=riZNoaOHg__NoUrC&q=85&s=e356e7aa3b61a7bffd4b25bcfab0acb6" alt="filestorage-part01-jp image 6" width="771" height="365" data-path="images/japanese-knowledge-base/filestorage-part01-jp/image-6.webp" />
</Frame>

#### 3-2. 改行コードの指定

**Destination コンポーネント**
Destinationコンポーネントでファイル保存時の改行コードの指定が可能になりました。これにより、LFに加えて、CRLFでの保存が可能になりました。

<Frame>
  <img src="https://mintcdn.com/integrateio/riZNoaOHg__NoUrC/images/japanese-knowledge-base/filestorage-part01-jp/image-7.webp?fit=max&auto=format&n=riZNoaOHg__NoUrC&q=85&s=768c57a5bbe4cd152814c3000ccf760a" alt="filestorage-part01-jp image 7" width="348" height="83" data-path="images/japanese-knowledge-base/filestorage-part01-jp/image-7.webp" />
</Frame>

#### 3-3. エスケープキャラクターの指定

**Source/Destinationコンポーネント**

<Frame>
  <img src="https://mintcdn.com/integrateio/riZNoaOHg__NoUrC/images/japanese-knowledge-base/filestorage-part01-jp/image-8.webp?fit=max&auto=format&n=riZNoaOHg__NoUrC&q=85&s=35cc2cd926e4675895d128c4a70f64b2" alt="filestorage-part01-jp image 8" width="565" height="307" data-path="images/japanese-knowledge-base/filestorage-part01-jp/image-8.webp" />
</Frame>

## 最後に

Xplentyのストレージ連携機能を使うことで、ストレージ⇔DB間やストレージ⇔SaaS間の連携をより柔軟かつ簡単に実現することが可能です。CSV、TSV、ログファイルはもちろんJSONや[**XMLファイルの連携**](/jp/etl/etc-part05-jp)も変換を含めて柔軟に実現することが可能です。
Xplentyのストレージ連携に興味のある方は、ぜひ[**こちらのリンク**](https://try.integrate.io/jp-demo/)からオンラインデモをお申し込みいただき、機能を確認してみてください。