ETL（抽出、変換、ロード）は、大量の情報を効率的にターゲットのデータウェアハウスに移行する、現代のデータ統合の屋台骨です。しかし、非常に多くのETLツールがマーケットに溢れる中で、ビッグデータのための最高のETLツールをどう選択すればよいのでしょうか？

このブログでは、みなさんの状況に適したETLを選択できるように、その長所、短所、およびユーザーレビューを含め、ビッグデータ分析のための4つのETLツールを説明します。

目次

  1. ビッグデータに最適なETLツールとは？
  2. ビッグデータ向けETLツールのユースケース
  3. Integrate.ioとビッグデータ 

ETLとは?

ビッグデータ分析に最適なETLツールとは何かを説明する前に、ETLのプロセスそのものをより深く理解するために、少し時間を取りましょう。1970年代に開発されたETL（Extract, Transform, Load）の概念は、3つのステップからなるプロセスである。今日、ETLプロセスは現代のデータ管理およびデータ分析の基本となっています。

基本的に、ETLの3ステップのプロセスは次のようになります：

抽出： 最初のステップでは、データベース、フラットファイル、SaaSアプリケーションやプラットフォーム、サードパーティのWebサイト、APIなど、1つまたは複数の場所からデータを抽出する。

変換する： 第2段階では、抽出されたデータを変換し、データレイクやデータウェアハウスなどの一元的な場所に将来保存するための準備をします。

ロード：第3のステップでは、変換されたデータを集中管理された場所にロードし、さらなる分析のために簡単に管理・操作できるようにします。

ETLとは何かを説明したところで、次はビッグデータ分析に最適なETLツールについて説明します。

関連記事： ETLはどのように機能するのか？

ビッグデータに最適なETLツールとは？

ビッグデータ用のETLツールに関しては、Integrate.ioを含め、基本的に4つの主要プレイヤーが存在します、 Informatica PowerCenter、Jaspersoft ETL、そしてTalend Open Studio for Big Dataです。

これらのツールの詳細、長所と短所、そして各ツールがあなたの組織に何を提供するのかを知るには、このページをお読みください。

ビッグデータ向けETLツール #1: Integrate.io

ビッグデータ分析のための最高のETLツールの1つとしてIntegrate.ioに言及しないわけにはいきません。Integrate.ioプラットフォームは、データパイプラインを構築するための完全なツールキットを提供しており、ビジュアルなドラッグアンドドロップのパッケージ作成画面があり、技術者でなくても簡単に堅牢なビッグデータETLワークフローを定義することができます。Integrate.ioには、100以上の一般的なデータストアやSaaSアプリケーションとの統合があらかじめ用意されているので、ビッグデータETLをすぐに立ち上げて実行することができます。

Integrate.ioは、ビジネスソフトウェアのレビューサイトG2で良い評価を受けており、5つ星のうち平均4.4つ星を獲得し、ETLツールの分野では「リーダー」の称号を得ています。レビュアーのLally B.は、Integrate.ioの使いやすさを賞賛し、次のように書いています。

「私たちは、多くのソースから大量のデータをコンパイル/操作する簡単な方法を探していました。Integrate.ioは、プロトタイピングと開発を簡単に、速く、信頼性の高いものにしてくれるソリューションを提供してくれました。」

さらに、中小企業のジェネラルマネージャーであるJamie B は、Integrate.ioのカスタマーサポートについて次のように語っています。

「Integrate.ioで一番気に入っているのは、彼らからのほぼリアルタイムのサポートです。Integrate.ioの違いのポイントは、私たちが受け取るカスタマーサポートです。製品自体が良い。高いレベルで使いやすい。Integrate.ioの人たちこそが違いを生み出しています - これはクラウドのサービスとしては珍しいことです。顔の見えないマシーンとのやり取りと異なり、素敵な変化です。」

MedialetsのアドテクノロジーのディレクターであるRaymond Matos氏もIntegrate.ioを絶賛しています。

「Integrate.ioのユーザーインターフェースは、私がETLソリューションとして見てきた他のものよりもはるかに優れていました。Integrate.ioのユーザーインターフェースは、私がETLソリューションとして見た他のものよりもはるかに優れていました。インストールは何も必要ありません。データパイプラインが作成されれば、あとはシンプルです。Integrate.ioは、データを移動したり、あるセットから別のセットにデータを変換したりする作業をシンプルにしてくれました。」

ビッグデータ向けETLツール #2: Informatica PowerCenter

大規模で複雑なデータセットに対応した高機能なETLをお探しなら、Informatica PowerCenterが最適なソリューションかもしれません。

Informatica PowerCenter は、Informatica クラウドデータ管理スイートの一部であり、最高レベルのデータ統合機能を必要とする大企業向けに設計されています。G2のレビュアーであるVictor C.氏は、PowerCenterを「おそらく今まで使った中で最も強力なETLツール」と評価しています。Informatica PowerCenter のメリットは、高いパフォーマンスと、SQL データベースと NoSQL データベースの両方を含む幅広い統合が可能であることです。

しかし、PowerCenterに対して共通する批判的なコメントは、このツールの学習曲線の難しさとコストの高さに集中しています。データウェアハウス管理者のMichael R.氏は、PowerCenterのG2レビューの中で次のように指摘しています。 "コア製品の実装だけでは、非常に大きなコストがかかります。管理ツール（クライアント内ソース管理、メタデータ・マネージャなど）に追加料金を請求するのは、我々の企業にとっては耐えられないことです。しかし、管理ツールがなければツールの運用管理は混沌としてしまいます。

ビッグデータ向けETLツール #3: Jaspersoft ETL

Jaspersoft ETL（別名JasperETL）は、オープンソースのETLおよびデータ統合ツールで、TIBCO Jaspersoftのビジネス・インテリジェンス・ソフトウェア・スイートの一部です。

JasperETLは、HadoopやMongoDBのようなビッグデータソリューションとの統合機能を備えているため、これらのテクノロジーを含むETLパイプラインには最適な選択肢となります。JasperETLはJavaプログラミング言語で作られているため、開発者はJavaとSQLに精通している必要があることに注意してください。

JasperETLは、ビジネス・ソフトウェアのレビューサイトであるCapterraでは、5つ星のうち平均4.3を獲得しています。レポート開発者であるNathan M.は、JasperETLを 「最高のオープンソースのレポート作成フレームワーク 」と呼んでいます。"私は彼らのレポーティングソリューションが信頼性が高く、汎用性の高いものであることを知っています... 私は彼らのレポーティングソリューションが信頼性が高く、多機能であることを知っています...私は何年にもわたって多くのプロジェクトにJaspersoftを統合してきました」と付け加えた。

しかし、他のJasperETLのレビューは混同されている。 あるレビュアーは次のように書いています。「もし、シンプルなBIツールを必要しているのであれば、これはうまく機能します。しかしJaspersoftでプロフェッショナルレベルの成果物を作成するのには、私が使用してきた他のBIツールよりも、はるかに多くの作業と時間がかかります。」

ビッグデータ向けETLツール #4: Talend Open Studio for Big Data

JasperETLと同様に、Talend Open Studio for Big DataはオープンソースのETLビッグデータツールで、Talendのデータ管理ソフトウェアスイートの一部として提供されています。Open Studio for Big Dataには、ドラッグ＆ドロップ式のインターフェイスと、よりユーザーフレンドリーな体験を提供するための多くのコネクターやコンポーネントがあらかじめ用意されています。

特に、Open Studio for Big Dataは、YARNのジョブスケジューラやKerberosセキュリティとの統合など、Hadoopとの相性も良いです。また、このツールは、AWS、Google Cloud Platform、Microsoft Azure、OracleおよびSQL Serverデータベース、Saasアプリケーションなどと簡単に統合することができます。

Talend Open Studioスイート全体の評価は、G2で5つ星のうち平均4.4です。 あるレビュアーは次のように書いています。「Talend Open Studioは、コード開発、メンテナンス、異なる環境への移行の容易さという点において最高です。」

しかし、複数のレビューにおいて、このツールはメモリとパフォーマンスの問題に悩まされる可能性があると言及しています。 あるレビュアーは、Talend Open Studioを概ね肯定的に推奨していますが、ツールの欠点についても述べています。 「このソフトウェアは最初は慣れるのが少し難しいですが、信じてください、どんな種類のファイルでもデータを抽出するのに必要なものはすべて揃っています。慣れてしまえば、ドラッグ＆ドロップするだけです。ちょっとRAMが重くて、Javaでしかコンポーネントの編集ができません。また、Elasticsearchのコネクタがない（MySQLのみ）ので、自分でコネクタを作る必要がありました。」

ビッグデータ向けETLツールのユースケース

ビッグデータのための幅広いETLツールを考えると、上記の4つのツールはどのような状況で使うべきでしょうか？

  • Integrate.io： 学習が簡単で、パイプライン構築を迅速に開始できるコネクタや統合機能を備えた汎用性の高いETLビッグデータツールを探している。
  • Informatica PowerCenter： 需要の高いビッグデータワークロード、多額の予算、ETLエキスパートのスタッフがいる。
  • Jaspersoft ETL： オープンソースのETLツールを使用したい、Javaでの作業を希望している、またはHadoopやMongoDBなどのビッグデータ技術を主に使用したい。
  • Talend Open Studio： ビッグデータおよびビジネスインテリジェンスソフトウェアの熟練した製品群の1つであるオープンソースのETLツールを使用したい。

Integrate.ioとビッグデータ 

Integrate.ioは業界をリードするデータ統合プラットフォームで、幅広いETLのユースケースに適合するように一から構築された堅牢な機能セットを備えています。 

Integrate.ioがビッグデータでのETLニーズを実現する方法に興味がある場合、ぜひオンライン相談にお申し込みください