essentiaアーキテクチャーABOUT
ビッグデータ活用に必要な煩雑な事前処理を超高速に実現
essentiaは、ビッグデータの活用を進めるために必要な事前処理を高速かつ低コストで実現するソフトウェアエンジンです。
分析やマイニングの準備として、複数の大量データやログデータを、ビジネス要件に合わせてクレンジング・突き合わせ・紐付けなど、煩雑で困難な事前処理が必ず発生します。
これらをAmazon Web Serviceなどのクラウド環境で高速かつ低コストで処理するソフトウェアエンジンがessentiaです。
デジタルマーケティングのプライベートDMP構築に、また、各種分析やDWH・ダッシュボードの事前処理・補完機能として、ビッグデータを業務アプリケーションに結び付ける仕組みです。
essentiaの特長
- 1.超高速処理で、データ活用の試行錯誤を気軽に実施できます。
- 2.ミニマムなストレージと自在なスケールアウトで、運用コストを大幅に削減します。
- 3.非構造化・非定型データに強く、データの統合やフィルタリング機能も高速です。
1.超高速処理を実現したファイル管理
essentiaはデータベースシステムとは異なり、gzipやzip形式の圧縮ファイルをそのまま取り込みます。独自に開発したビッグデータ処理プロセッサは、SQLライクなスクリプトでデータの加工や集計が可能です。テラバイト・数十億件規模のデータから、クロス集計・期間データ作成・マッチング・データ加工などをインメモリで高速に処理します。
2.圧縮技術で省ストレージを実現、並列分散処理で高いコストパフォーマンス
essentiaは圧縮ファイルの直接処理が可能なため、必要なストレージはDBの1/4以下で運用可能となります。ファイル単位でそのまま管理するため、世代管理不要や分散・部分バックアップも容易です。
低コストで長期的にデータを保存することができます。
パブリッククラウド、ハイブリッドクラウド、オンプレミスでの提供が可能です。データのロードや処理ごとに高効率なMPPエンジンがノードをコントロールして、動的にインスタンスを起動します。処理終了後にはインスタンスを停止するため、クラウド環境の費用を抑えることができます。
システム構成例(AWS環境の場合)
3.ログなど非構造化・非定型データに強く、ETL機能内蔵
文字列整形、URL日本語デコード、カラム削除・追加などのデータ加工や、複数データ間の相互検索によるデータマッチングなどの機能を備えています。 圧縮ファイルをそのままに高速ストリーミングして、フィルタリングしながらロードできる無駄のない事前処理が可能です。
アクセス解析ツールRTmetricsのデータ技術を活かしたエンジンで、各種のログやセンサーデータ、セキュリティログなどの非構造化データも高速に処理します。複数システムのデータ突合や非定型データのクレンジング、フラグ化など、圧縮ファイルのままで自在な加工ができるので、従来のDBシステムと比較して事前処理が格段に削減されます。
★アプライアンスやHadoopを必要とするビッグデータに
Webサイトのアクセスログから、POSや顧客、店舗データなどの自社内のマーケティングデータのほか、市場調査データやソーシャルメディア、広告配信データ、プロモーションデータなどデジタルマーケティングの実現には、幅広い情報を必要とします。
またその内容は、非構造化・可変長データが大半を占めています。
複雑で大量のデータ類が多くクレンジング処理も必要となり、従来のデータ処理ではコストとスピードが大きな課題となります。essentiaは、高いコストパフォーマンスでペタバイト規模のデータ処理にも最適です。
プライベートDMPや広告効果分析、カスタマージャーニー分析などの様々なデータ活用を補完する新しいソフトウェアエンジンです。
データ量が増えた、外部データの追加によって処理が遅くなってきた、従来のインフラでは処理スピードを維持できなくなっている。このような悩みを抱えている方に、ぜひAWSで試して頂くことをおすすめします。
ご利用例
- 金融企業様
-
プライベートDMP構築にあたり、長期に渡るマーケティングデータ蓄積の際のコストメリット、複数システムのデータを自由にハンドリングできることに着目され、データ管理部分にessentiaを利用 。
データ量:1億件/月(関連データが順次増加予定)- 課題と効果
-
- 将来の解析のために、取得したデータはすべて保存しておきたい
→省ストレージ運用が可能なため、コストを抑えて長期のデータ蓄積が可能に - 連携システムが増えるとその都度データ取込・連携の作業が発生
→シンプルなデータ定義、柔軟なデータ加工で他システムデータを簡単に連携
- 将来の解析のために、取得したデータはすべて保存しておきたい
- 第三者配信広告会社様
-
数億件/日の広告配信データをユニークID単位で処理、顧客の細やかな動きをレポート。
Hadoopシステムで数時間かかっていた集計処理が50分に短縮。
データ量:250億件/月- 課題と効果
-
- お客様がより詳細なデータ分析を要望されている
→最も細かい粒度のデータを直接処理、自由な集計・レポートを支援 - 多数のキャンペーン、広告コンテンツが並行して稼働し、データが分散している
→シンプルなデータ定義で異なるフォーマットや分割されたデータを一括処理 - アドホックなレポート提供のためのリソースが足りない
→パブリッククラウドでの運用でスポット対応が可能に
- お客様がより詳細なデータ分析を要望されている
稼働環境
essentiaは、基本的にクラウド上で稼働します。仮想環境にも対応しており、柔軟な構成や拡張ができます。
AWS(EC2+S3)、プライベートクラウド、Microsoft Azureなどでの稼働実績があります。
(オンプレミスでの導入も可能です)
essentia サービスサイト
essentiaのより詳しい機能や無料トライアルについては、下記のサービスサイトをご覧下さい。