現在、ビジネスアプリケーション間のデータ連携へのニーズは非常に高まっています。単純にクラウドのビジネスアプリケーション間（SaaS間）のデータ連携という意味では、すでにAPIを使用したアプリケーション間のデータ連携を実現するMulesoftやBoomiのようなiPaaS製品があります。しかし、そうしたAPI間の連携に複雑な加工を伴う要件や依存関係やジョブの結果によって処理を分岐させることができるワークフロー機能が必要となる場合、それらの製品では対応することができない場合があります。こうしたiPaaS製品では対応できないユースケースに対応するソリューションとしてIntegrate.ioのようなアプリケーション間の双方向でのデータ連携をサポートするETL製品が注目を集めています。
これまでのETLは主にクラウド、オンプレミスに散在したデータをDWHやデータレイクに分析のために統合するという一方向の統合を目的に導入されてきましたが、Integrate.ioのような双方向でのデータ連携を前提として設計されたETLは、アプリケーション間のデータ連携ニーズにも対応することが可能です。
実際こうしたニーズは日本でも非常に高まっており、弊社の日本のお客様でもアプリケーション間のデータ連携にIntegrate.ioをお使いいただいております。
今回のブログでは、アプリケーション間のデータ連携にETLを利用するメリットについて解説します。
Table of Contents
アプリケーション間のデータ連携にIntegrate.ioを利用するメリット
どこから手をつけるべきか？
最後に
アプリケーション間のデータ連携にIntegrate.ioを利用するメリット
従来、ETLの役割はデータソースから抽出したデータをDWHやDBへ分析しやすい適切なフォーマットに変換し、保存することにありました。しかし現在では、さまざまなアプリケーション間の連携にETLツールは使用されるようになっています。
企業では、MA（マーケティングオートメーション）ツールやCRMなど、それぞれのビジネスプロセスに特化したシステムが導入されています。こうした製品には、連続するビジネスプロセスを考慮した機能が備えられいるものの、こうした機能ではカバーできない企業独自のデータ連携要件に対しては、カスタマイズされたデータパイプライン機能が必要となります。
ETLでカスタマイズされたパイプラインは、以下のようなケースをカバーすることができます。
- マーケティング：リードがコンバージョンすると、マーケティングオートメーション（MA）プラットフォーム上でそのステータスを更新する必要があります。もちろん、MAツールには、こうしたデータ連携機能がすでに備わっていますが、ETLを使えば、MAツールの連携機能ではカバーできないような複雑なビジネスロジックを加えることができ、より柔軟なデータ連携を実現することが可能です。
- 請求書の発行： 営業活動では、請求書の発行や支払いの確認などの業務を伴います。ETLは、Salesforceからデータを取得し、自動的にStripeなどの決済システムで新しいイベントを作成することが可能です。
- 顧客データの統合：各サービスごとに顧客を個別のシステムで管理している企業では、散在する顧客データを１レコードの顧客データに集約するために、複雑な変換ロジックを適用することでそれらを統合し、シームレスな顧客体験を提供するデータ基盤を構築するためにETLを使用しています。また、統合された顧客レコードに付与された新しい顧客IDをソースシステムに反映することで、サービスを跨いだ顧客の把握とカスタマーサポートに活用しています。
ETLによってカスタマイズされたデータパイプラインにより、これまで既製品でカバーできずに自社で独自にカスタムパイプラインを開発し運用していたり、人を介したデータの入力業務により補っていたデータ連携プロセスを自動化することが可能です。また、ソース側のデータが更新されたことをトリガーに後続のビジネスプロセスを自動的に処理するような仕組みを実装したり、複数のシステムにまたがって保管された顧客データをCustomer 360ビューとして統合し、様々な施策へとつなげることができるようになります。
ETLを使ったアプリケーション間データ連携によってもたらされるメリットは、人に頼ったマニュアル運用の排除や自前での開発によるパイプラインの開発、運用コストの削減、ビジネスプロセスの自動化だけではありません。それ以外にも以下のようなメリットがあります。
1. スケラービリティ
クラウドETLのほとんどは、サーバーのクラスタ上にコンピューティングタスクを分散させるため、（メモリやディスクの制約によって）単一のサーバーでは処理できない大規模なデータセットのETL処理に理想的な製品です。これにより、ペタバイト級データの並列処理が可能になります。
2. 新しいシステム連携要件をスピーディーに実装
Integrate.ioでは、130以上のデータ統合対象とのデータ連携を実現することが可能です。自社で独自に連携部分を一から構築した場合、数ヶ月以上かかるのが一般的ですが、Integrate.ioのドラッグ＆ドロップベースの開発プラットフォームを使うことで、大幅に構築にかかる時間（最短で30分ほど構築）とコストを削減することが可能です。
3. セキュリティの強化
Integrate.ioのようなクラウドETLは、セキュリティを最優先事項としています。卓越したセキュリティ基準へのコミットメントは、プラットフォームの機能に見ることができます。
Integrate.ioのセキュリティには、すべてのウェブサイトとマイクロサービスのSSL/TLS暗号化、パイプラインを通過する際にデータを保護するフィールドレベルの暗号化、情報、アプリ、ネットワークへの不正アクセスをブロックするファイアウォール、Amazonデータセンターによってホストされ管理されている物理的なインフラストラクチャによって実現される物理的なセキュリティが含まれています。
多くの国や、専門機関がより厳しい規則を施行するようになれば、データセキュリティの重要性はますます高まってきています。政府や専門家の監督がなくても、企業がセキュリティに真剣に取り組んでいるプラットフォームを選ぶことは理にかなっています。
どこから手をつけるべきか？
アプリケーション間のデータ連携を検討する際に、どこから手をつければいいか分からないという方は、「あるアプリケーションで別のアプリケーションのデータを利用（反映）したい」、あるいは「あるアプリケーションのデータが更新されたのをトリガーに別のアプリケーションへデータを反映したい」といったデータ連携によって期待される具体的なビジネスユーザーのニーズをヒアリングするところからスタートしてみてはいかがでしょうか？こうしたニーズは、すでにビジネス部門で顕在化したニーズの場合もあれば、ヒアリングを通して見つかる潜在的なものの場合もあります。
最終的な要件の選定にあたり、単純にこうなればいいなという曖昧なものはなく、その要件を実現することで「誰がどのようなメリットを受け、どうオペレーションが変わるのか、それによりどういったメリットがあるか」を整理し、その効果を明確にすることも重要です。また、ビジネスプロセスをまたぐシステム連携を実現するには、それぞれのビジネスプロセスを熟知した部門もしくはビジネスユーザー同志のコミュニケーションも必須となるため、部門横断プロジェクトとして進める必要があります。
実際のプロジェクトでは、部門間を超えて予算、人員を調整できる権限をもつリーダー（COOなど）をアサインするとともに、「会社としてオーソライズされたプロジェクトである」という共通認識も重要な要素となるでしょう。
最後に
Integrate.ioはデータエンジニアの抱える様々な問題を支援する、パワフルなデータ統合プラットフォームです。企業内のデータ連携に多大な労力をかけているデータエンジニアは、パイプライン作成の効率化や自動化により労力を削減することができます。簡単なパイプラインであれば、ビジネスユーザーでもドラッグ＆ドロップで作成することができるため、スピーディに構築でき、社内のエンジニアの負担を減らすことができます。
また、Integrate.ioは、データ統合に関するお客様の課題を解決するためにプラットフォームを提供しているだけではありません。Integrate.ioはカスタマーサポートにも力を入れており、Integrate.ioのユーザーは、電話、チャット、オンライン会議により自社のデータ統合における課題を相談しながら、タイムリーなサポートを受けることができます。
クラウドネイティブETLツール「Integrate.io」に興味を持った方は、ぜひオンラインデモにお申し込みください。
