Archive - 10月 2012

「Platfora」がHadoopとインメモリを組み合わせた次世代BIプラットフォームをローンチ

flatfora_eyecatch

 

ビッグデータ関連のスタートアップとして注目されている「Platfora」が23日、ニューヨークで開催中のStrata Conferenceにおいて、これまでコンセプトのみ公表していた自社の製品を正式に発表しました。

この製品はHadoopとインメモリ技術を組み合わせ、DWHやETLツールを使わずにビッグデータをローデータのまま格納し、インタラクティブに分析・可視化することが可能となっています。

Cloudera、MapR、AWS、Hortonworksといった様々なHadoopディストリビューション上での動作がサポートされており、格納された様々なローデータをETLツールを使用せずに、データの正規化や集計、列の追加などはPlatfora上に用意されたインターフェイスで行うことが出来ます。

そのローデータをインメモリ上に構築された多次元データモデルから”Fractal Cache”と”Lenz”と呼ばれる機能によってクエリを高速処理し、Vizboardsと呼ばれるHTML5で描画されたキャンバス上で様々なグラフ・チャート表現や、クロス表でのドラッグ&ドロップによる軸の入れ替え、ドリルダウンと言ったBI機能を持っています。

また、最近のBIツールのトレンドとなっているソーシャルBIと呼ばれる組織によるコラボレーション機能まであり、現段階では弱点が見当たりません。

他のHadoopを使ったビッグデータ分析製品(DWH+HadoopやBIツール+Hadoopコネクターなど)とどう異なるのかというページがありますが、実際のベンチマーク結果などがないので、”高速”という点ではどこまでのものかわかりませんが、ペタバイトサイズのローデータをそのまま可視化まで出来るという点では革新的な製品であることに間違いはありません。

Hadoopベースのビッグデータ分析・可視化ツールと言えばDatameerKarmasphereであったり、先週ご紹介したHadapt、その他にもDataheroClearStoryのようにまだ正式に製品が発表されていないが注目されているビッグデータ関連スタートアップが多く存在しています。

それぞれアプローチ方法は異なるも、解決したい課題は同じで、Hadoopエンジニアや”データサイエンティスト”を必要とせず、誰でもビッグデータ分析・可視化することを可能にする製品となっています。

彼らに対し、IBMやSAPなどの大手企業はどう対抗していくのかも含めて、ビッグデータ分析・可視化市場には要注目です。

Visual.lyがインフォグラフィック作成のクラウドソーシングプラットフォーム「Visual.ly Marketplace」をローンチ

visually_marketplace

 

2ヶ月弱前に、「アウトソーシングはデータ分析だけに留まらず。データビジュアライゼーションのアウトソーシングも主流に!?」という記事を書きましたが、早速動きがありましたので共有します。

世界最大のインフォグラフィックのコミュニティサイトであるVisual.lyは18日、インフォグラフィック作成に特化したクラウドソーシングプラットフォームである「Visual.ly Marketplace」をローンチしました。

[vimeo width=”550″ height=”309″]http://vimeo.com/50264295[/vimeo]

 

去年の7月にサイトがオープンした当初はインフォグラフィック作成ツールの開発が進んでいましたが、これまで公開された作成ツールはテンプレート上にTwitterやFacebookのデータを載せられるような簡単なもので、自由にカスタマイズ可能なツールにはなっていません。(もしかすると、デザイナーには公開されているのかもしれませんが。)

この1年、特に目立った動きはありませんでしたが、デザイナーを多く囲っているVisual.lyだからこそ可能なアウトソーシングプラットフォームの構築を進めていたようです。

海外ではデザイナー会社やフリーランスのデザイナーに発注したり、日本でもカーツメディアワークスアイオイクスなどのインフォグラフィクス制作サービスを行なっている企業もありますが、企業(もしくは組織、個人)とデザイナーをマッチングさせるサービスはこれまで存在しませんでした。

この「Visual.ly Marketplace」上でデザイナーとどのようにマッチングさせるのか、その仕組みはこうです。

  1.  依頼者がプロジェクトを作成

    まずは依頼者がプロジェクトを作成します。そのインフォグラフィックでどのようなストーリーテリングをしたいのかを記入し、求めるインフォグラフィックのフォーマットや表現的なスタイル、レイアウトなどを選択します。
    そして、そのインフォグラフィックに必要なデータとその説明、使用するデータ以外に伝えておきたいことなどが記載されているファイルをアップロードします。
     
  2. Visual.lyが自動的にデザイナーをマッチング

    プロジェクトの作成が終わると、Visual.ly Marketplaceの独自のアルゴリズムによって、プロジェクト作成時に選択したインフォグラフィックの仕様や地理的情報(例えば日本の企業がプロジェクトを作成すると日本人のデザイナーとマッチング)などを条件に、48時間以内に(現在は)5,000人の中から最適なデザイナーをマッチングさせます。

  3. 納品まで掲示板形式でのやり取りを行う

    マッチング後、掲示板形式のページで依頼者とデザイナーが、ドラフトのアップロード機能や認証機能などを使ってのやり取りを行いながら、1stドラフト~2ndドラフト~Finalドラフトと作成していくことになります。
     

サンプルプロジェクトのデモ動画がありますので、こちらをどうぞ。

気になる料金ですが、インフォグラフィックのデザインのみであれば$1,495で、18日間で納品。

インフォグラフィックの作成だけでなく、ストーリーテリングの部分もデザイナーに依頼したい場合は$2,995で、26日間で納品。

現在はパブリックベータ期間中で、静的画像でのインフォグラフィックのみのサポートとなりますが、今後はインタラクティブなインフォグラフィックや動画のインフォグラフィックにもサポートしていく予定となっており、マッチングに関してもデザイナーだけでなく、データアナリストやリサーチャー、ジャーナリストともマッチングできるような仕組みにしていくとのことですので、今後の展開にも要注目です。


HadoopとRDBMSを統合し、真のリアルタイムビッグデータ分析を実現する「Hadapt」

hadapt_logo

 

ビッグデータの分散処理技術の代表格と言えば、言わずもがなHadoopですが、弱点も多くあります。最大の弱点と言えば「リアルタイム処理には向かない」ということです。Hadoopはレイテンシ(データ転送などを要求してから結果が得られるまでの所要時間)が大きく、主にRDBMSでは取り扱いきれないような大容量データのバッチ処理に使われています。

ビッグデータのリアルタイム処理が必要な場合には、KVSなどのようなNoSQLや、SAP HANANetezzaなどのようなNoSQLやインメモリ処理技術を取り入れ、ソフトウェアとハードウェアを統合したDWHアプライアンスなどを導入しなければいけません。

DWHアプライアンスは高価なため大企業向きであり、NoSQLを扱える技術者のいない、または育てる余裕のない中小企業(SMB)はビッグデータのリアルタイム処理への対応がなかなか進みません。

今回ご紹介する「Hadapt」は、SQL-likeにHadoopを操作できる言語であるHiveやPigなどではなく、SQLをそのまま操作クエリとして使え、尚且つレイテンシがHiveよりも数十倍低いという、双方の良いとこ取りをした特徴を持っています。

(追記※ こちらのハンドアウトpdfによると、社内ベンチマークで40ノードのクラスタでの結果として、クエリレイテンシがHiveより50倍、HBaseより600倍とのこと。)

そんなHadaptが10月16日にversion 2.0を発表しました(version 1.0は2011年11月に発表)。

2.0の大きな特徴としては、まずは実行クエリの高速化です。Hadaptのクエリ処理方法は、SQLクエリをRDBMSとHadoop MapReduce用に分割して変換し処理をする仕組みになっているそうで、2.0ではそのクエリ処理をこれまで以上に最適化し高速化が実現できたそうです。

もう一つの特徴として、クエリ処理のレスポンスが上がったことによって、海外では評価が高く、データジャーナリストにも使われるBIツールのTableauとの統合が可能になったそうです。

GigaOMの記事によれば、下の画像にあるようにTableauのインタラクティブな可視化表現ができることはもちろん、その値はHadoopの機械学習ライブラリであるMahoutによって処理されたセンチメント分析の結果となっています。Mahoutの分析結果がリアルタイムにBIツール上で表現されるということは、これまでの常識では考えられないことです。

以前ご紹介した、BIツールのBimeとGoogle BigQueryの統合もそうですが、今後のビッグデータの流れとしては、データ処理と分析結果の可視化をどれだけシームレスに出来るのか、という方向に向かうと私は考えます。

BIツールも包含したDWHアプライアンスを提供するOracleやIBM、Microsoftだけでなく、Hadapt×Tableauの様なビッグデータ分析と可視化ツールのスタートアップ同士の提携にも注視していくべきでしょう。