さて、そのイベントではビッグデータ関連が多かったので、ビッグデータの話題に半分近くついやしたのですが、そもそもビッグデータは一部の企業や組織が対象。最近はビッグデータで儲かる的な風潮がありますが、そもそも少量のデータの解析ができていない企業が組織がビッグデータの解析ができるわけでもない。それとHadoopなどの分散システムよりもデータ解析が重要という話をすると、いままでもデータ解析をしてきたと反論される方がおられますが、いままでのデータ解析とビッグデータのデータ解析は本質的に違う。前者は全データを解析にしていたのですが、後者ではデータ量が多いので、全解析は無理。どちらかというとつまみ食い的にデータを選んで解析することになります。ただ、どのデータを選ぶのかは人間に依存するので、データを読んで、必要なデータを選び、必要な解析方法を選べる人材が必要なのです。それとビッグデータは単一のデータがたくさんあるのではなく、相違なデータがたくさんある世界。そうなるとデータの組み合わせが重要で、どう組み合わせるかもやはり人間に頼るしかないのです。結局、データが読める技術者が必須だし、DWHなどでは人材を一変させる必要があるかもしれませんね。 それともう一つは、ビッグデータをもっている組織は少ないのですが、ビッグデータを扱う分散システムや解析手法は小規模データの解析の高速化などに役に立ちます。ただ、データ解析の結果を活かせるかは組織の問題。例えば公理で売上げデータ解析で、13ヶ月でなく、過去数年分になれば売り上げ予測精度があがりますし、データ処理が一日から数十分になればリアルタイムに商品構成を見直せます。でもデータ解析の詳細化やリアルタイム化を活かすのは経営上層部ではなく現場。つまり現場裁量が大きい組織でないと活かせないということをお忘れなく。
(via u-ichi)
