_MAX_COMBINED_SPLIT_SIZE | 1 つのタスクで処理するデータ量をバイト単位で指定します。小さいファイルは、このサイズに達するまで結合されます。それより大きなファイルは、圧縮されていない場合、もしくはBzip2 を使用して圧縮されている場合ともに設定されたサイズに基づき分割されます。 | 67,108,864 | バイト |
_BYTES_PER_REDUCER | 1レコードで読み取れる文字列サイズ（バイト単位）。それより大きいサイズのレコードは無視されます。 | 209,715,200 | バイト |
_LINE_RECORD_READER_MAX_LENGTH | ファイルから読み取る際の1行の最大バイト長。この値より長い行は破棄されます。 | 1,048,576 | バイト |
_DEFAULT_TIMEZONE | DateTime FieldでTimezone指定がないものに対してTimezoneを自動追加する際のTimezone。デフォルトはUTC。 | +00:00’ | |
_DEFAULT_PARALLELISM | パッケージで使用する並列リデュースタスクのデフォルト数を設定します。一般的に言って、Reducerの数はデータのサイズとディストリビューションに依存します。データが比較的大きいが偏っている場合（たとえば、フィールドで集計する場合、ほとんどのレコードは1つのグループに分類されます）、Reducerを追加してもパフォーマンスにプラスの影響はありません。デフォルト値は0です。これは、Reducerの数が_BYTES_PER_REDUCERによって計算されていることを意味します。 | 0 | |
_SHUFFLE_INPUT_BUFFER_PERCENT | シャッフル中(MapperのアウトプットをReducerへ渡す処理)に最大ヒープサイズからMapアウトプットの保存に割り当てられるメモリの割合。 | 70% | |
_COPY_PARALLELISM | コピー前処理アクションで使用されるプロセスの数を制御します | 0 | |
_COPY_TARGET_PARTITIONS | コピー前処理アクションによってデータが分割されるパーティションの数を制御します。この変数の値を0に設定すると、プロセスはファイルをマージしません。 | 100 | |
_COPY_TARGET_SIZE | コピー前処理アクションによって連結されたファイルについてパーティション内の1ファイルあたりの最大サイズを制御します。 | 64 | |
_PARQUET_COMPRESSION | 保存時にApache Parquetを利用する場合の圧縮タイプ。使用可能な値は次のとおりです。UNCOMPRESSED、GZIP、SNAPPY。 | | |
_PARQUET_PAGE_SIZE | Apache Parquet圧縮用のページサイズ | 1 * 1024 * 1024 | |
_PARQUET_BLOCK_SIZE | Apache Parquetのメモリにバッファされるrow groupのサイズ。*Apache parquetのドキュメントによると大きいrow groups (512MB - 1GB)を推奨しています https://parquet.apache.org/documentation/latest/ | 128 * 1024 * 1024 | バイト |
_GA_API_REQUEST_READ_TIMEOUT | Google Analyticsのリクエストタイムアウト | 30 * 1000 | ミリ秒 |
_GA_API_REQUEST_MAX_RESULTS | Google Analyticsのレスポンスに含めることができる行の最大数。(指定できるMaxは10000) | 10,000 | |
_GA_API_MAX_INPUT_SPLITS | Google Analyticsに対して同時実行できるリクエストの最大数 | 10 | |
_GA_API_SKIP_BAD_PROFILES | Google AnalyticsのプロファイルIDにアクセスできないものが含まれている場合にパッケージ実行を正常に完了する場合には、trueに設定します。 | FALSE | |
_ADWORDS_API_REQUEST_READ_TIMEOUT | Google Adwordsへのリクエストのタイムアウト | 180 * 1000 | ミリ秒 |
_ADWORDS_API_MAX_INPUT_SPLITS | Google Adwordsに対して同時実行できるリクエストの最大数 | -1 | |
_CACHED_BAG_MEMORY_PERCENT | Map もしくは Reduceタスクのすべてのバッグ(データを処理する際、1つもしくは複数のフィールドをグループ化したもの＝つまり処理対象のデータのことです)に割り当てられるヒープの割合。こちらで設定した値がいっぱいになると、データがディスクに流出します。値を大きくすると、ディスクへの流出が減りますが、ヒープメモリが不足する可能性が高くなります。 | 0.2 | |
_MAP_MAX_ATTEMPTS | Mapタスクについて失敗で完了する前に何回リトライを行うか？ | 3 | |
_REDUCER_MAX_ATTEMPTS | Reduceタスクについて失敗で完了する前に何回リトライを行うか？ | 3 | |
_MAP_MAX_FAILURES_PERCENT | ジョブが失敗で完了となる前に失敗できるMapタスクの最大パーセンテージを制御します。値の範囲は0〜100です。 | 0 | |
_REDUCER_MAX_FAILURES_PERCENT | ジョブが失敗で完了となる前に失敗できるReduceタスクの最大パーセンテージを制御します。値の範囲は0〜100です。 | 0 | |
_MAP_TASK_TIMEOUT | タスクの応答がない場合にどれくらい待ってそのタスクをKillするのかをミリ秒単位で設定します。 | 600 * 1000 | ミリ秒 |
_BQ_READER_POLL_RETRIES | Google BigQueryからのデータエクスポートをポーリングする際のリトライ回数を制御します。 | 60 | 回数 |
_BQ_READER_POLL_INTERVAL | Google BigQueryからのデータエクスポートをポーリングする際のリトライの間隔時間をミリ秒単位で制御します。 | 10,000 | ミリ秒 |
_BQ_READER_MAX_SHARDS | Shardされたテーブルを読み込む際の最大数 | 500 | |
_JDBC_SPLIT_QUERY_RETRIES | データベースがソースの場合の並列クエリでキーの最小値と最大値を取得するためのリトライ回数。 | 3 | |
_JDBC_SPLIT_QUERY_RETRIES_INTERVAL_IN_SEC | データベースソースの並列クエリでキーの最小値と最大値を取得するためのリトライの間隔。 | 30 | |
_SQL_COMMAND_TIMEOUT_IN_SEC | SQL実行時のタイムアウト。デフォルトはタイムアウトなしです。 | -1 | |
_INTERMEDIATE_COMPRESSION | 結果に対して圧縮するかどうかです。デフォルトは圧縮なしです。 | FALSE | |
_SPANNER_MAX_WORKERS | Google Cloud Spanner がクエリを分散処理する場合の最大Worker数 | 2 | |
_SPANNER_BATCH_SIZE | Google Spannerにロードする際の1トランザクションあたりのバッチサイズ（行数）。デフォルトは100です。 | 100 | |
_FS_SFTP_MAX_RETRIES | SFTPでファイルやディレクトリを検索時のリトライ回数です。デフォルトは5です. | 5 | |
_FS_SFTP_RETRY_SLEEP | SFTPでファイルやディレクトリを検索時のリトライの間隔（ミリ秒）です。デフォルトは500です. | 500 | ミリ秒 |
_FS_SFTP_BLOCK_SIZE | タスクがSFTPから読み取るブロックのサイズを決定します。大きなファイルを読み取るときにデフォルトより大きい値に変更します。 | 64 * 1024 * 1024 | バイト |
_FACEBOOK_ADS_INSIGHTS_SLEEP | Facebook Ads Insightsレポート取得時のリトライの間隔(ミリ秒）。デフォルトは0です。 | 0 | |
_FB_ASYNC_REPORT_TIMEOUT | Facebook Ads Insightsレポートの非同期リクエストのリクエストタイムアウト（試行ごと）。この値を超えると、試行は失敗します（デフォルト-タイムアウトなし）。 | -1 | |
_HTTP_FOLLOW_REDIRECTS | REST APIソースやCurlコマンドを利用したFunctionがリダイレクトされたステータスコードに従わないようにする場合は、falseに設定します。 | TRUE | |
_HTTP_REQUEST_MAX_RETRIES | 例外エラーになる前にHTTPレスポンスコード429または5xxを受信したときに試行されるREST APIソースまたはCurl関数のリトライ回数。 | 8 | |
_SYNC_WAIT_TIME | Amazon RedshiftをDestinationとするデータをステージングしてからRedshiftクラスターでCOPYを実行するまでに待機する時間（秒単位） | 1 | |
_XPATH_IGNORE_ERRORS | XMLのXpathエラー無視するかどうか。デフォルトは無視しない。 | FALSE | |
_FS_IGNORE_MISSING_INPUT_EXCEPTIONS | ソースパス（ファイルストレージソースコンポーネントを含む）で入力ファイルが見つからない場合にパッケージを正常に完了するには、trueに設定します。 | FALSE | |
_ADWORDS_API_SKIP_BAD_ACCOUNTS | AdWordsのAccount IDにアクセスできないものが含まれている場合にパッケージ実常に完了するには、trueに設定します（Google Adwordsソースコンポーネントを使用）。 | FALSE | |
_BQ_READER_MAX_SHARDS | Google BigQueryが「Exporting to multiple wildcard URIs…」のエラーを返す場合に1に設定。 | 500 | |
_BQ_DATE_DATATYPE | Google BigQueryの日付データ型を設定します。 | ‘TIMESTAMP’ | |
_BQ_STAGING_TABLE_EXPIRY | Google BigQueryステージングテーブルの有効期限を設定します。 | 24 * 60 * 60 * 1000 | |
_GA4_API_REQUEST_MAX_RESULTS | Google Analytics（GA4）ソースコンポーネントの1ページあたりの最大結果数。 | 1000 | ミリ秒 |
_GA4_API_REQUEST_MAX_ATTEMPTS | GA4 APIへのリクエスト試行時の最大試行回数。 | 3 | 回数 |
_GA4_API_MAX_INPUT_SPLITS | Google Analytics 4の同時リクエスト最大数。 | 8 | |
_HUBSPOT_API_REQUEST_MAX_RETRIES | レート制限関連のエラーを受信した際にHubspot APIが試行する再試行回数。 | 5 | 回数 |
_SALESFORCE_API_REQUEST_MAX_RETRIES | リクエスト制限関連のエラーを受信した際の Salesforce API 再試行回数。 | 5 | 回数 |
_TIMEOUT_IN_SECONDS | ジョブが停止されるまでの秒数。ジョブの実行時間が長すぎる場合に自動的に停止できます。デフォルトではタイムアウトは設定されていません（ジョブは無期限に実行されます）。これはアカウントレベルでも設定可能で、すべてのパッケージに適用されます。アカウントレベルでの設定をご希望の場合はお問い合わせください。 | 0 | ミリ秒 |
