essentiaアーキテクチャー｜オーリック・システムズ・ジャパン株式会社

ビッグデータ活用に必要な煩雑な事前処理を超高速に実現

 

 

essentiaの特長

• 1．超高速処理で、データ活用の試行錯誤を気軽に実施できます。
• 2．ミニマムなストレージと自在なスケールアウトで、運用コストを大幅に削減します。
• 3．非構造化・非定型データに強く、データの統合やフィルタリング機能も高速です。

 

１．超高速処理を実現したファイル管理

essentiaはデータベースシステムとは異なり、gzipやzip形式の圧縮ファイルをそのまま取り込みます。独自に開発したビッグデータ処理プロセッサは、SQLライクなスクリプトでデータの加工や集計が可能です。テラバイト・数十億件規模のデータから、クロス集計・期間データ作成・マッチング・データ加工などをインメモリで高速に処理します。

2．圧縮技術で省ストレージを実現、並列分散処理で高いコストパフォーマンス

essentiaは圧縮ファイルの直接処理が可能なため、必要なストレージはDBの1/4以下で運用可能となります。ファイル単位でそのまま管理するため、世代管理不要や分散・部分バックアップも容易です。
低コストで長期的にデータを保存することができます。

パブリッククラウド、ハイブリッドクラウド、オンプレミスでの提供が可能です。データのロードや処理ごとに高効率なMPPエンジンがノードをコントロールして、動的にインスタンスを起動します。処理終了後にはインスタンスを停止するため、クラウド環境の費用を抑えることができます。

システム構成例（AWS環境の場合）

3．ログなど非構造化・非定型データに強く、ETL機能内蔵

文字列整形、URL日本語デコード、カラム削除・追加などのデータ加工や、複数データ間の相互検索によるデータマッチングなどの機能を備えています。 圧縮ファイルをそのままに高速ストリーミングして、フィルタリングしながらロードできる無駄のない事前処理が可能です。
アクセス解析ツールRTmetricsのデータ技術を活かしたエンジンで、各種のログやセンサーデータ、セキュリティログなどの非構造化データも高速に処理します。複数システムのデータ突合や非定型データのクレンジング、フラグ化など、圧縮ファイルのままで自在な加工ができるので、従来のDBシステムと比較して事前処理が格段に削減されます。

 

★アプライアンスやHadoopを必要とするビッグデータに

Webサイトのアクセスログから、POSや顧客、店舗データなどの自社内のマーケティングデータのほか、市場調査データやソーシャルメディア、広告配信データ、プロモーションデータなどデジタルマーケティングの実現には、幅広い情報を必要とします。
またその内容は、非構造化・可変長データが大半を占めています。
複雑で大量のデータ類が多くクレンジング処理も必要となり、従来のデータ処理ではコストとスピードが大きな課題となります。essentiaは、高いコストパフォーマンスでペタバイト規模のデータ処理にも最適です。
プライベートDMPや広告効果分析、カスタマージャーニー分析などの様々なデータ活用を補完する新しいソフトウェアエンジンです。
データ量が増えた、外部データの追加によって処理が遅くなってきた、従来のインフラでは処理スピードを維持できなくなっている。このような悩みを抱えている方に、ぜひAWSで試して頂くことをおすすめします。

 

ご利用例

金融企業様

プライベートDMP構築にあたり、長期に渡るマーケティングデータ蓄積の際のコストメリット、複数システムのデータを自由にハンドリングできることに着目され、データ管理部分にessentiaを利用 。
データ量：1億件／月（関連データが順次増加予定）

課題と効果

• 将来の解析のために、取得したデータはすべて保存しておきたい
  →省ストレージ運用が可能なため、コストを抑えて長期のデータ蓄積が可能に
• 連携システムが増えるとその都度データ取込・連携の作業が発生
  →シンプルなデータ定義、柔軟なデータ加工で他システムデータを簡単に連携

第三者配信広告会社様

数億件／日の広告配信データをユニークID単位で処理、顧客の細やかな動きをレポート。
Hadoopシステムで数時間かかっていた集計処理が50分に短縮。
データ量：250億件／月

課題と効果

• お客様がより詳細なデータ分析を要望されている
  →最も細かい粒度のデータを直接処理、自由な集計・レポートを支援
• 多数のキャンペーン、広告コンテンツが並行して稼働し、データが分散している
  →シンプルなデータ定義で異なるフォーマットや分割されたデータを一括処理
• アドホックなレポート提供のためのリソースが足りない
  →パブリッククラウドでの運用でスポット対応が可能に

稼働環境

essentiaは、基本的にクラウド上で稼働します。仮想環境にも対応しており、柔軟な構成や拡張ができます。

AWS（EC2＋S3）、プライベートクラウド、Microsoft Azureなどでの稼働実績があります。
（オンプレミスでの導入も可能です）

 

essentia サービスサイト

essentiaのより詳しい機能や無料トライアルについては、下記のサービスサイトをご覧下さい。