ETL: 초급 Part05: Destination 설정

안녕하세요. 이번에는 Destination 컴포넌트의 설정, 즉 데이터의 로드 대상이 되는 Destination의 데이타베이스나 스토리지에 관한 설정에 대해서 이야기 하겠습니다. 먼저 Destination 컴포넌트에는 보시는 바와 같은 유형이 있습니다.

위의 Destination 목록의 대상 외에도 Curl로 데이터 쓰기를 지원합니다. 여기에 대해서는, 다른 가이드 「Xplenty : Curl Function을 사용한 데이터 갱신 (데모 동영상 있음)」에서 해설하고 있으므로 확인 해 보세요. 이번에는 Destination 컴포넌트 중에서 Amazon Redshift나 BigQuery와 같은 특정 Destination에 저장하는 것도 있지만, Database나 Storage와 같이, Destination의 대상을 설정하는 것이 있습니다. 그래서 Database와 Storage에 대해 자세히 살펴 보겠습니다. 1. Database 컴포넌트 이 중에서 Database를 선택하면 다음 목록에서 원하는 데이터베이스를 선택할 수 있습니다.

데이터 조작 방법이 다양함

또, 상세 설정에서 선택가능한 조작 방법으로는 추가, 2가지 덮어쓰기, 2가지 추가 혹은 덮어쓰기의 설정이 가능합니다. Destination 데이터베이스에서 허용된 명령어에 따라 적절한 옵션 선택이 필요합니다.

데이터 조작 전과 조작 후에 추가적인 SQL을 실행할 수 있습니다.

Pre-action SQL과 Post-action SQL에서는 데이터를 데이터베이스에 쓰기 직전과 직후에 추가적인 SQL 처리를 설정할 수 있습니다. 구체적인 예로서는 사전에 테이블을 만들거나 대상 테이블에 데이터 조작 후에 업데이트된 데이터를 바탕으로 다른 테이블에 데이터를 쓰는데 이용할 수 있습니다. 2. File Storage 컴포넌트 File storage를 선택한 경우에 원하는 스토리지를 선택할 수 있습니다.

저장시 옵션은 다음 4가지가 있습니다

Write all files directly and fail the job if target directory already exists 파일은 대상 디렉토리에 직접 기록됩니다. 기본적으로 대상 디렉토리가 이미 있으면 작업이 실패합니다. 변수를 사용하여 작업이 실행될 때마다 새 디렉토리 이름을 동적으로 생성할 수 있습니다(예:/output/${_JOB_ID}).

Write all files directly and delete target directory if already exists 파일은 대상 디렉토리에 직접 기록됩니다. 주의: 실행시에 대상 디렉토리가 있는지 확인하고 존재하는 경우 대상 디렉터리를 삭제합니다.

Write all files directly and replace files in directory if they already exist 대상 디렉토리에 직접 파일을 씁니다. 이 옵션을 선택하면 실행할 디렉토리가 있어도 작업이 실패하지 않고 기존 디렉토리에 파일이 기록됩니다. 같은 이름의 파일이 디렉토리에 있으면 덮어씁니다. 디렉토리에 파일을 추가하려면 작업 실행마다 고유한 파일 패턴을 사용하도록 변경하십시오(예: 파일 접두사에 변수 ${_JOB_ID} 사용(아래 참조)). 주의: 대상 디렉토리는 작업 실패 시 삭제됩니다.

Use intermediate storage and copy files to an existing directory in destination 파일은 중간 스토리지에 기록된 후 대상 디렉토리에 복사됩니다. 주의: 이 옵션을 사용하는 경우 대상 디렉터리가 있는지 확인합니다. 디렉토리가 없으면 오류가 발생합니다.