元統計解析職のMBA卒データサイエンティストです。 現在、都内にて自身で起業したAI企業のサービスを作りつつ、フリーランスをやっています。 AIや統計やExcel,R,Pythonや経営学の悩みはお任せ下さい。
データ分析は何のためにやるのか
「ビッグデータ時代の到来」といわれる現代。あちこちで、データ分析という言葉が聞かれるようになりました。
そもそも、データ分析とは何のためにあるのでしょうか。
データサイエンティストとして活動するRさんは、「データ分析は意思決定の補助となる客観的な根拠を得るためのもの」と説明します。
「現状、多くの意思決定は‘勘’や‘経験’といった主観に基づいて行われています。データ分析をすることで、主観ではなく客観的な根拠に基づいて意思決定ができるようになります」
一例として、医療現場では「治験を次のステージに進めるか」といった判断の補助として、データ分析の結果が用いられています。
データ分析でできること
■データに基づく「事実把握」と「予測」
データ分析では、大きく次の2つことができます。
・どのようにしてこの事象が起こっているのかという「事実把握」
・この事象から何が起こりうるかという「予測」
例えば、弁当屋チェーンの経営にデータ分析を取り入れると、こんなことができます。
「事実把握」…データ分析をすることで、各店舗の売上の増減が把握できる。その結果をもとに、不採算店舗を閉店するための意思決定ができる。
「予測」…蓄積されたデータから、弁当の需要予測をする。フードロスの削減ができる。
ECサイトのレコメンド機能にもデータ分析が役立っています。レコメンド機能では、「●●と▲▲を買っている人」「40代、女性」といった顧客の属性データを分析し、おすすめ商品をメールなどで案内しています。運送業者がどこを通れば効率的かといった最適ルートの探索なども、データ分析に基づいて行うことができます。
■データ分析にも弱点がある
ただし、機械学習などの定量的なデータ分析にも弱点はあります。
これらは蓄積されたデータを分析することしかできないため、「過去の事実に基づくため過去の分析には強いが、未来分析には一部弱い」という特性があります。また、データを集約する手法が多いため、マイナーなデータを軽視する傾向があります。
「（定量的な）データ分析では、トレンドの予兆は予測することができます。しかし、新しいトレンドを分析することに関しては弱いのです。
トレンドの分析は、昨今話題になっている機械学習のような定量的な分析よりも、インタビューを用いた定性的な分析のほうが現状では答えを得やすい傾向があります」
データ分析はどのように行われるか
実際のデータ分析は、次の3ステップで行います。
1．スタートとゴールを決める
まず、どんな課題があってどう解決したいのか、課題の把握（スタート）と目標（ゴール）を設定します。
「例えば、事業低迷の原因が●●の売上低迷という課題を発見し、売上を何％上げることが目標というゴールを決めるのです。この段階では、コンサルタントのような論理的思考のスキルが必要とされます」
2．分析手法を選んでデータ分析をする
1で洗い出した課題を解決に導くために、データ分析の一連の流れを設計し、最適な分析手法を選びます。まず、設計通りにデータを収集して前処理を行います。その後、選んだ分析手法に従い、プログラミングなどのツールで分析して結果をまとめます。
定量的な分析は、統計学または機械学習を用いて行います。
両者の違いは、統計学は「データの説明」に重きを置いているのに対し、機械学習は「データの精度」に重きを置いている点にあります。
「機械学習の分析手法としては『ランダムフォレスト』や『サポートベクターマシン』などが挙げられます。どんな事象にどの分析手法が最適か、それぞれの手法の概念と振り分けのしかたを覚えておきましょう」
例えば、薬の安全性を分析したい場合、安全性を確かめたい薬の有効成分が入っているA錠剤と、有効成分が入っていないB錠剤を飲ませたグループでどのような差が見られるかを比較し、平均値の差を調べます。この分析手法を「t検定」といいます。
3．データ分析に基づく考察からアウトプットを導き出す
データ分析の結果を考察し、最終的にどのような施策を打てばよいかアウトプットを導き出します。
「データ分析はデータサイエンス、データエンジニアリングのスキルが必要ですが、それに加え、運送業者であれば運送業、医薬品であれば薬の知識といった業界知識（ドメイン知識）が必要です」
データ分析に必要な知識とは
■数学が苦手な文系の人でもデータ分析は可能
見慣れない専門用語が並ぶためとっつきにくい印象のあるデータ分析ですが、「データサイエンティストとしての専門教育を受けていなくても、勉強すればできるようになる」とRさんは言います。
「最近では、ビジネスシーンなどで『数学が大事だ』とよくいわれます。確かに、データ分析を詳しくやろうとすると数学は大事な要素となります。しかし、文系で数学が苦手な人がいきなり数学をやろうとすると、入り口で挫折してしまいます」
数学が苦手な文系の人は「入り方を工夫するといい」とRさん。
「例えば『どんな事象にどの分析手法が適しているかという概念を把握する』『プログラミング言語を先に習得する』といったように、数学以外の勉強から着手していくと入りやすいのではないでしょうか」
■データ分析に必要な知識は？
では、「職場でデータ分析を担当することになった」といった場合、どんな知識を身につけていけばよいのでしょうか。
Rさんは、次の2つを挙げます。
・統計学・機械学習の基礎的な知識
・（プログラミングがやりたいのであれば）プログラミング言語
「プログラミング言語は、統計解析をするなら『R』、機械学習なら『Python』、データベースを扱うなら『SQL』を身につけるとよいでしょう。なお、プログラミングができなくても、Excelで回帰分析などの基礎的な分析を行うこともできます」
■知識の整理をするなら『統計検定2級』に挑戦を
統計学や機械学習ついてはさまざまな参考書を目にしますが、「参考書は文系の人にとって難しく書かれていることが多い」とRさんは言います。
そんなRさんがおすすめする勉強法は、『統計検定2級』に挑戦すること。
統計検定には統計の基礎知識が含まれていることから、データ分析に関する知識の整理ができるそうです。
「まず手を動かしてみよう」今日からはじめるデータ分析
以前は統計解析職だったRさん。現在はAI企業を運営するかたわら、フリーランスのデータサイエンティストとしてデータ分析に悩む人たちの相談に乗っています。
Rさんは、これからデータ分析をやってみようと志す人たちにこう言います。
「データ分析は、難しく考えずにまず手を動かしてみてください。全部きちんと把握して進めるのではなく、最初の段階では6、7割の理解で大枠を把握することが最も重要です。
わからなければインターネットで調べたりしながら、挫折しない工夫をした上で、根気よく続けましょう」
