ETL: S3, SFTP/FTPS등의 스토리지 연계 기능에 대해

이번 가이드에서는 Xplenty의 스토리지 연계 기능에 대해 자세히 설명합니다. Xplenty가 지원하는 스토리지 타입

• S3  ※ S3의 권한 설정은 이곳(영어)의 순서를 참고로 설정해 주십시오.
• SFTP  ※ SSH Tunnel 및 Reverse SSH Tunnel 지원
• FTPS  ※ Explicit mode만 가능
• Azure Blob Storage
• Google Cloud Storage
• HDFS(Hadoop Distributed File System)

편리한 기능

​

1. 유연한 Source 폴더·파일 취득 설정

​

1-1. 와일드 카드 검색에 의한 조건 설정

와일드 카드 검색을 통해 조건에 맞는 모든 파일 을 검색할 수 있습니다. [ ](https://cdn.filestackcontent.com/auto_image//compress/cache=expiry:max/3VjhamV1QQa4gpEByY1d)

​

1-2. 사용자 변수에 의한 취득 조건 설정

상대 날짜별 조건 설정 함수를 사용하면 오늘이나 어제와 같은 상대 날짜를 기준으로 조건 설정이 가능합니다.

• 어제를 표현하는 함수식: ToString(SubtractDuration(SwitchTimeZone(CurrentTime(),'Asia/Seoul'),'PT24H'), 'yyyy/MM/dd')
• 오늘을 표현하는 함수식 : ToString(SwitchTimeZone(CurrentTime(),'Asia/Seoul'),'yyyy-MM-dd')

또한 위의 함수식을 변수로 정의하여 데이터를 가져오는 디렉토리와 파일 이름을 보다 유연하게 설정할 수 있습니다.

​

1-3. 정규 표현에 의한 조건 설정

정규 표현식을 사용하면 보다 풍부한 조건 설정이 가능합니다.

/2020-01-{01,02,03}/impressions/* /2020-01-01/impressions/ , /2020-01-02/impressions/ , /2020-01-03/impressions/* 중 하나와 일치.

/201[0-9]/01/* /2010/01/ , /2011/01/ , /2012/01/* , … , /2019/01/* 중 하나와 일치.

​

1-4. 복수의 파일이 검색 조건으로 검색되는 경우

복수 파일이 파일 검색 조건으로 검색되는 경우, 검색된 모든 파일을 취득합니다. 단, 검색된 모든 파일의 필드 이름도 같아야 하는 점에 주의 하십시요.

​

2. 새로운 파일만 처리

지금까지의 처리완료 이력를 Manifest 파일로 저장하고, 폴더 내의 파일 중 처리완료 이력에 없는 새로운 파일만을 처리하도록 할 수 있습니다.  [ ](https://cdn.filestackcontent.com/auto_image//compress/cache=expiry:max/MnBAlkwoQsO6xMz8dgXw) Manifest path는 Manifest file도 같이 입력하십시요. 그리고, Manifest file은 보존 용량의 절약을 위해 gzip형식으로 보존됩니다. 실제 내용을 볼때는 압축을 해제한 후에 텍스트 에디터로 보기 바랍니다.  [ ](https://cdn.filestackcontent.com/auto_image//compress/cache=expiry:max/t0wDv6QiWD3L4mRcQn7A) Manifest file의 내용은 지금까지 가져온 파일 정보(파일 경로나 파일 사이즈)가 저장되어 있기에 리스트에 없는 파일만을 처리 대상으로서 판별합니다. ※ Manifest의 경로를 지정한 경우, 경로에 지정된 디렉토리가 없으면 자동으로 작성됩니다. 3. 일본어 인코딩에 대응

​

3-1. 인코딩 옵션：Shift-JIS와 Windows-31J

Xplenty는 Shift-JIS로 인코딩된 CSV, TSV 파일 이외에도 Shift_JIS의 확장 문자 코드인 Windows-31J도 지원하고 있습니다. Windows-31J를 사용으로 인해 Shift-JIS에서는 바르게 표시되지 않는 「①」, 「㈱」등의 확장 문자를 포함한 텍스트 파일에 대해서도 바른 처리가 가능합니다 . 스토리지의 Source 및 Destination 컴포넌트에서 다음과 같이 구성할 수 있습니다. **Source 컴포넌트 **Source action에서 Copy, merge and process all files 또는 Process only new files (Incremental load) 를 선택하고 Character encoding 목록 상자에서 Windows-31J 를 선택합니다. [ ](https://cdn.filestackcontent.com/auto_image//compress/cache=expiry:max/aAqtxDglQymMitP6m98n)[ ](https://cdn.filestackcontent.com/auto_image//compress/cache=expiry:max/3OwtbmcYTqinWS1X6DVC) **Destination 컴포넌트 **Destination action에서 Use intermediate storage and copy files to an existing directory in destination 를 선택하고 Character encoding 목록 상자에서 Windows-31J 를 선택합니다. [ ](https://cdn.filestackcontent.com/auto_image//compress/cache=expiry:max/9MZM0VsDSf2cF3c6d4s8)

​

3-2. 줄바꿈 코드의 지정

**Destination 컴포넌트 **Destination 컴포넌트로 파일 저장시에 줄바꿈 코드의 지정이 가능하게 되었습니다. 이를 통해 LF(Unix, Linux)외에도 CRLF(Windows)도 저장할 수 있습니다. [ ](https://cdn.filestackcontent.com/auto_image//compress/cache=expiry:max/YixQwrShO8wEHaQXVZwh)

​

3-3. 이스케이프 문자 지정

Source / Destination 컴포넌트 [ ](https://cdn.filestackcontent.com/auto_image//compress/cache=expiry:max/McCEqT6xT26iSyrjrFIQ) 마지막으로 Xplenty의 스토리지 연계 기능을 사용하면 스토리지와 DB사이 또는 스토리지와 SaaS사이의 연계를 보다 유연하고 간단하게 실현할 수 있습니다. CSV, TSV, 로그 파일은 물론 JSON과 XML 파일의 연계 도 변환을 포함하여 유연하게 실현할 수 있습니다. Xplenty의 스토리지 연계에 관심이 있는 분은 꼭 **이 링크**를 통해 온라인 데모신청으로 내용을 확인해 보시기 바랍니다.  <!— notionvc: 143c9c99-a2e9-4e53-bdce-c2f906e845da —>

​

<!— Google Tag Manager hidden fields —> <!— End Google Tag Manager hidden fields —> <!— Text input—> Get Started Free 7-day trial. Easy setup. Cancel any time