メインコンテンツへスキップ
今回はシステム変数(System Variables)について紹介したいと思います。

システム変数を変更するメリット

システム変数を使うことにより、リトライ回数や同時実行数などあらかじめ定められている上限をジョブの特性に合わせて変更することが可能です。

システム変数はどこで設定する?

変数画面の左側で「User」から「System」に切り替えることで設定画面を切り替えることが可能です。
intermediate-part02-jp image 1

システム変数一覧

注意点 以下の表および説明については、2026年1月時点の情報を元に作成しています。 更新される可能性があるため、最新の情報はこちらのヘルプを参照ください。
System Variables説明デフォルト値単位
_MAX_COMBINED_SPLIT_SIZE1 つのタスクで処理するデータ量をバイト単位で指定します。小さいファイルは、このサイズに達するまで結合されます。それより大きなファイルは、圧縮されていない場合、もしくはBzip2 を使用して圧縮されている場合ともに設定されたサイズに基づき分割されます。67,108,864バイト
_BYTES_PER_REDUCER1レコードで読み取れる文字列サイズ(バイト単位)。それより大きいサイズのレコードは無視されます。209,715,200バイト
_LINE_RECORD_READER_MAX_LENGTHファイルから読み取る際の1行の最大バイト長。この値より長い行は破棄されます。1,048,576バイト
_DEFAULT_TIMEZONEDateTime FieldでTimezone指定がないものに対してTimezoneを自動追加する際のTimezone。デフォルトはUTC。+00:00’
_DEFAULT_PARALLELISMパッケージで使用する並列リデュースタスクのデフォルト数を設定します。一般的に言って、Reducerの数はデータのサイズとディストリビューションに依存します。データが比較的大きいが偏っている場合(たとえば、フィールドで集計する場合、ほとんどのレコードは1つのグループに分類されます)、Reducerを追加してもパフォーマンスにプラスの影響はありません。デフォルト値は0です。これは、Reducerの数が_BYTES_PER_REDUCERによって計算されていることを意味します。0
_SHUFFLE_INPUT_BUFFER_PERCENTシャッフル中(MapperのアウトプットをReducerへ渡す処理)に最大ヒープサイズからMapアウトプットの保存に割り当てられるメモリの割合。70%
_COPY_PARALLELISMコピー前処理アクションで使用されるプロセスの数を制御します0
_COPY_TARGET_PARTITIONSコピー前処理アクションによってデータが分割されるパーティションの数を制御します。この変数の値を0に設定すると、プロセスはファイルをマージしません。100
_COPY_TARGET_SIZEコピー前処理アクションによって連結されたファイルについてパーティション内の1ファイルあたりの最大サイズを制御します。64
_PARQUET_COMPRESSION保存時にApache Parquetを利用する場合の圧縮タイプ。使用可能な値は次のとおりです。UNCOMPRESSED、GZIP、SNAPPY。
_PARQUET_PAGE_SIZEApache Parquet圧縮用のページサイズ1 * 1024 * 1024
_PARQUET_BLOCK_SIZEApache Parquetのメモリにバッファされるrow groupのサイズ。*Apache parquetのドキュメントによると大きいrow groups (512MB - 1GB)を推奨しています https://parquet.apache.org/documentation/latest/128 * 1024 * 1024バイト
_GA_API_REQUEST_READ_TIMEOUTGoogle Analyticsのリクエストタイムアウト30 * 1000ミリ秒
_GA_API_REQUEST_MAX_RESULTSGoogle Analyticsのレスポンスに含めることができる行の最大数。(指定できるMaxは10000)10,000
_GA_API_MAX_INPUT_SPLITSGoogle Analyticsに対して同時実行できるリクエストの最大数10
_GA_API_SKIP_BAD_PROFILESGoogle AnalyticsのプロファイルIDにアクセスできないものが含まれている場合にパッケージ実行を正常に完了する場合には、trueに設定します。FALSE
_ADWORDS_API_REQUEST_READ_TIMEOUTGoogle Adwordsへのリクエストのタイムアウト180 * 1000ミリ秒
_ADWORDS_API_MAX_INPUT_SPLITSGoogle Adwordsに対して同時実行できるリクエストの最大数-1
_CACHED_BAG_MEMORY_PERCENTMap もしくは Reduceタスクのすべてのバッグ(データを処理する際、1つもしくは複数のフィールドをグループ化したもの=つまり処理対象のデータのことです)に割り当てられるヒープの割合。こちらで設定した値がいっぱいになると、データがディスクに流出します。値を大きくすると、ディスクへの流出が減りますが、ヒープメモリが不足する可能性が高くなります。0.2
_MAP_MAX_ATTEMPTSMapタスクについて失敗で完了する前に何回リトライを行うか?3
_REDUCER_MAX_ATTEMPTSReduceタスクについて失敗で完了する前に何回リトライを行うか?3
_MAP_MAX_FAILURES_PERCENTジョブが失敗で完了となる前に失敗できるMapタスクの最大パーセンテージを制御します。値の範囲は0〜100です。0
_REDUCER_MAX_FAILURES_PERCENTジョブが失敗で完了となる前に失敗できるReduceタスクの最大パーセンテージを制御します。値の範囲は0〜100です。0
_MAP_TASK_TIMEOUTタスクの応答がない場合にどれくらい待ってそのタスクをKillするのかをミリ秒単位で設定します。600 * 1000ミリ秒
_BQ_READER_POLL_RETRIESGoogle BigQueryからのデータエクスポートをポーリングする際のリトライ回数を制御します。60回数
_BQ_READER_POLL_INTERVALGoogle BigQueryからのデータエクスポートをポーリングする際のリトライの間隔時間をミリ秒単位で制御します。10,000ミリ秒
_BQ_READER_MAX_SHARDSShardされたテーブルを読み込む際の最大数500
_JDBC_SPLIT_QUERY_RETRIESデータベースがソースの場合の並列クエリでキーの最小値と最大値を取得するためのリトライ回数。3
_JDBC_SPLIT_QUERY_RETRIES_INTERVAL_IN_SECデータベースソースの並列クエリでキーの最小値と最大値を取得するためのリトライの間隔。30
_SQL_COMMAND_TIMEOUT_IN_SECSQL実行時のタイムアウト。デフォルトはタイムアウトなしです。-1
_INTERMEDIATE_COMPRESSION結果に対して圧縮するかどうかです。デフォルトは圧縮なしです。FALSE
_SPANNER_MAX_WORKERSGoogle Cloud Spanner がクエリを分散処理する場合の最大Worker数2
_SPANNER_BATCH_SIZEGoogle Spannerにロードする際の1トランザクションあたりのバッチサイズ(行数)。デフォルトは100です。100
_FS_SFTP_MAX_RETRIESSFTPでファイルやディレクトリを検索時のリトライ回数です。デフォルトは5です.5
_FS_SFTP_RETRY_SLEEPSFTPでファイルやディレクトリを検索時のリトライの間隔(ミリ秒)です。デフォルトは500です.500ミリ秒
_FS_SFTP_BLOCK_SIZEタスクがSFTPから読み取るブロックのサイズを決定します。大きなファイルを読み取るときにデフォルトより大きい値に変更します。64 * 1024 * 1024バイト
_FACEBOOK_ADS_INSIGHTS_SLEEPFacebook Ads Insightsレポート取得時のリトライの間隔(ミリ秒)。デフォルトは0です。0
_FB_ASYNC_REPORT_TIMEOUTFacebook Ads Insightsレポートの非同期リクエストのリクエストタイムアウト(試行ごと)。この値を超えると、試行は失敗します(デフォルト-タイムアウトなし)。-1
_HTTP_FOLLOW_REDIRECTSREST APIソースやCurlコマンドを利用したFunctionがリダイレクトされたステータスコードに従わないようにする場合は、falseに設定します。TRUE
_HTTP_REQUEST_MAX_RETRIES例外エラーになる前にHTTPレスポンスコード429または5xxを受信したときに試行されるREST APIソースまたはCurl関数のリトライ回数。8
_SYNC_WAIT_TIMEAmazon RedshiftをDestinationとするデータをステージングしてからRedshiftクラスターでCOPYを実行するまでに待機する時間(秒単位)1
_XPATH_IGNORE_ERRORSXMLのXpathエラー無視するかどうか。デフォルトは無視しない。FALSE
_FS_IGNORE_MISSING_INPUT_EXCEPTIONSソースパス(ファイルストレージソースコンポーネントを含む)で入力ファイルが見つからない場合にパッケージを正常に完了するには、trueに設定します。FALSE
_ADWORDS_API_SKIP_BAD_ACCOUNTSAdWordsのAccount IDにアクセスできないものが含まれている場合にパッケージ実常に完了するには、trueに設定します(Google Adwordsソースコンポーネントを使用)。FALSE
_BQ_READER_MAX_SHARDSGoogle BigQueryが「Exporting to multiple wildcard URIs…」のエラーを返す場合に1に設定。500
_BQ_DATE_DATATYPEGoogle BigQueryの日付データ型を設定します。‘TIMESTAMP’
_BQ_STAGING_TABLE_EXPIRYGoogle BigQueryステージングテーブルの有効期限を設定します。24 * 60 * 60 * 1000
_GA4_API_REQUEST_MAX_RESULTSGoogle Analytics(GA4)ソースコンポーネントの1ページあたりの最大結果数。1000ミリ秒
_GA4_API_REQUEST_MAX_ATTEMPTSGA4 APIへのリクエスト試行時の最大試行回数。3回数
_GA4_API_MAX_INPUT_SPLITSGoogle Analytics 4の同時リクエスト最大数。8
_HUBSPOT_API_REQUEST_MAX_RETRIESレート制限関連のエラーを受信した際にHubspot APIが試行する再試行回数。5回数
_SALESFORCE_API_REQUEST_MAX_RETRIESリクエスト制限関連のエラーを受信した際の Salesforce API 再試行回数。5回数
_TIMEOUT_IN_SECONDSジョブが停止されるまでの秒数。ジョブの実行時間が長すぎる場合に自動的に停止できます。デフォルトではタイムアウトは設定されていません(ジョブは無期限に実行されます)。これはアカウントレベルでも設定可能で、すべてのパッケージに適用されます。アカウントレベルでの設定をご希望の場合はお問い合わせください。0ミリ秒

MapperとReducerの再試行回数の制御について

_MAP_MAX_ATTEMPTS

データソースからデータを取得する際の再試行回数を定義する _MAP_MAX_ATTEMPTS の制御対象については、制限があります。以下はスコープ対象外となりますのでご注意ください。 _MAP_MAX_ATTEMPTSの再実行対象外となるデータソース:
  • JDBC(データベース) リトライ回数は_JDBC_SPLIT_QUERY_RETRIESで指定可能です。*デフォルトの再施行回数は3回です。
  • SFTP リトライ回数は_FS_SFTP_MAX_RETRIESで指定可能です。*デフォルトの再施行回数は5回です。

_REDUCE_MAX_ATTEMPTS:

  • _REDUCE_MAX_ATTEMPTS で再試行回数を制御できるのはCurl関数を使用したリクエストなどHTTPリクエスト(POST)でデータを更新するような場合です。

事前定義変数一覧(Pre-Defined variables)

こちらの変数は、パッケージがジョブとして実行時にPackage Variablesに自動的に設定される変数です。Selectコンポーネント等で使うと実行時の情報収集が可能になります。
intermediate-part02-jp image 2
Pre-Defined Variables説明
_CLUSTER_ID_S3_ESCAPEDジョブが実行されているクラスターID(S3向け)。
_CLUSTER_IDジョブが実行されているクラスターのID。
_CLUSTER_NODES_COUNTジョブを実行するクラスター内のノード数。
_JOB_IDIntegrate.io ETLジョブ識別子。ワークフロー内から実行されるタスクの場合、JOB_IDの形式はNNNNNN_component_abcdefとなります。
_JOB_ID_S3_ESCAPEDIntegrate.io ETLジョブ識別子(S3向け)
_JOB_SUBMISSION_TIMESTAMPジョブがUTCで送信された時刻のISO-8601日付時刻値。例:2013-04-22T14:18:17Z
_JOB_SUBMISSION_TIMESTAMP_S3_ESCAPEDジョブがUTCで送信された時刻のS3エスケープ日付時刻値。(S3向け)例:2013-01-09T14-52-21Z
_JOB_SUBMITTER_EMAILジョブを送信したユーザーのメールアドレス。例: helpdesk@integrate.io
_JOB_SUBMITTER_EMAIL_S3_ESCAPEDジョブを送信したユーザーメールアドレス。(S3向け)例: helpdesk-integrate.io-com
_PACKAGE_OWNER_EMAILパッケージを所有するユーザーのメールアドレス。
_PACKAGE_OWNER_EMAIL_S3_ESCAPEDパッケージ所有者のメールアドレス。(S3向け)
_ACCOUNT_IDパッケージとジョブが作成されたアカウントの内部ID。
_ACCOUNT_ID_S3_ESCAPEDパッケージとジョブが作成されたアカウント内部ID。(S3向け)
_ACCOUNT_NAMEパッケージとジョブが作成されたアカウント名。
_ACCOUNT_NAME_S3_ESCAPEDパッケージとジョブが作成されたアカウント名。(S3向け)
_PACKAGE_LAST_SUCCESSFUL_JOB_SUBMISSION_TIMESTAMP同じパッケージに対する最後の正常なジョブのタイムスタンプ(UTC、ISO-8601日時形式)。この変数は、増分ロードにおいて前回実行されたジョブよりも新しいデータを読み取るために使用できます。
_WORKFLOW_PACKAGE_LAST_SUCCESSFUL_JOB_SUBMISSION_TIMESTAMPUTCにおける同一ワークフローの最終成功ジョブのタイムスタンプ(ISO-8601日付時刻形式)。この変数は、増分ロードにおいて前回実行ジョブより新しいデータを読み取るために使用できます。
_PARENT_JOB_ID親ジョブ(現在のタスクを実行中のワークフロージョブ)のIntegrate.io ETLジョブ識別子。
_PARENT_JOB_ID_S3_ESCAPED親ジョブのIntegrate.io ETLジョブ識別子(S3向け)
最終更新日 2026年7月13日