東京都品川区上大崎4-5-37 山京目黒ビル
・従来のHadoopに代表されるビッグデータ処理は、データを一定期間(例えば1日)蓄積し、それを高速にバッチ処理することで行っていました。
・しかし、スマートデバイスやIoTの普及により、データ量がさらに増加している状況の中で、よりリアルタイムにデータを処理したいというニーズが高まっています。
・「ストリームデータ処理」は、大量に発生するデータを、発生したタイミングで逐次リアルタイムで処理するデータ処理技術です。
(似たような方式として、Apache Sparkなどを使った方法がありますが、これはバッチ処理の単位を小さくし実行頻度を上げるというアプローチです。「ストリームデータ処理」はデータが発生した都度、1件ごとに処理します。)
(ストリームデータ処理を行うOSSとしては、Apache Stormがあります。)
・「ストリームデータ処理」は、HadoopやApache Sparkなどのビッグデータ処理方式と競合するものではなく、連携して用いるものです。「ストリームデータ処理」は、HadoopやApache Sparkなどのビッグデータ処理方式の「前処理」として位置付けられることが多くあります。
・「ストリームデータ処理」の特長は、大きく以下の2点です。
-データ量が多すぎて、「溜めて置くだけでも大変!」といった状況に対して、データが発生したタイミングで、データの集約、抽出、正規化、編集などを行うことで、「価値のあるデータ」だけを保存し、Hadoopなどのビッグデータ処理につなぐことができます。
-次々と発生する膨大なデータ(例えば、各種デバイスの状態など)をリアルタイムに「モニタリング」して、必要なアクションを行うことができます。例えば消費者の行動に対してリアルタイムにオファーを送ったり、不審者の行動に対してリアルタイムにアラートを発することができます。
・IT企業で、ビッグデータ関連のソリューションをご担当者されている方
・ユーザ企業で、ビッグデータ関連の業務をご担当されている方
・「ストリームデータ処理」について知る事ができます。
・ビッグデータ関連のソリューションと、「ストリームデータ処理」とをどう組合せて有効活用できるか、議論します。
6名限定の少人数の勉強会になります。ご興味のある方は、今すぐお申込み下さい。
主催:かもめエンジニアリング株式会社
共催:株式会社オープンソース活用研究所
プログラム:
15:00~ 受付
15:15~ 主催者挨拶、参加者自己紹介
15:30~ プレゼン
・ストリームデータ処理とは
-背景、ニーズ
-仕組み
-Hadoopなどとの違い
-かもめのストリームデータ処理への取り組み
-活用例
16:00~ 質疑応答とディスカッション
16:30~ アンケート
※ご登録頂いた個人情報は、主催、共催企業にて共有し、各社の規定に基づき厳重に管理致します。
※同業者の方のご参加はご遠慮させていただく場合がございます。
分散KVSによる大規模な統合認証基盤や、IoTへの応用を考えるコミュニティ(かもめエンジニアリング)
メンバーになる