2016年4月13日

株式会社キーウォーカー
山本喜士朗

市場分析/調査/研究にはデータプロセスが必須

Web 情報を収集
いまや殆どの事業では、インターネット抜きに事業戦略を立てることが出来なくなっています。日々めまぐるしく変わる市場情報は、インターネットやWeb上に豊富に提供されており、それらは企業の事業展開の指針として有効な基礎情報となることは間違い有りません。KW(キーウォーカー)が提供するWebクローリングサービスは、ライバル企業の価格/品揃え調査や自社製品の売価/評判モニタリングをはじめ様々な用途にご活用頂いております。

KWクローラで収集されるデータは、大量のリスト形式で提供されるので、人の判断には不適切な情報と言えます。詳細な情報を活用した営業コンタクトリストの作成などは、そのままエクセルに入れて並び替えるだけで活用できます。しかしながら、マーケティング戦略を立てるなどの調査用途には、情報の見える化プロセスを行う事で、使いやすいツールとなります。

例えば、クロール情報をグラフへ加工することで、全体の傾向を把握したり、思わぬ発見があったりと、情報を強力な戦略ツールに変えてくれます。感覚的に把握することは、ビジネス上の判断をより確実なものへと変えてくれます。
Big Data 時代の「見える化」プロセスは、最新トレンドとして、ますます発展していくと思われます。

クロール情報の見える化

見える化の有効性
KWでは、クロール情報を使った自社製品の価格モニタリングなどで、すでに「見える化」お手伝いをしています。刻々と変化する売価をグラフとして時系列に提供する事で、e-コマース上の価格をモニタリングする便利なToolとして、お客様はマーケティング戦略で手放せない存在になっています。
sampleGraph2

グラフを導入することで、製品毎の時間別の販売価格の変化や、価格変動のショップ間の追随などリアルタイムに把握することが可能になりました。

クロールデータを”見える化”してみる

不動産の価格を調べるとき、多くのWebサービスが存在するため、多くのサイトから情報を収集する必要がある。KWクローラで複数のサイトから情報を収集し情報を一元化ししてみました。
先ずWeb上で、メジャーな不動産ポータルを探し、適切なサイトをいくつかピックアップしました。

不動産ポータルサイトスクレイピング対象例:

SUUMO(スーモ)、マイナビ賃貸、オウチーノ、HOME’S、アットホーム、ヤフー不動産、nifty不動産、楽天不動産、etc

crawlsite

れぞれのコンテンツに合わせて、KWクローラをセッティングし、データをクロールします。
スクリーンショット 2016-04-12 17.26.18スクリーンショット 2016-04-12 17.26.02

クロールした結果は以下の通り、リストデータで取得できます。(このままだと把握が難しい)

スクリーンショット 2016-04-12 17.53.15

見える化へのトライ
この結果をオープンソースのログ解析パッケージ ”kibana”(普通はWebのログなどを解析するためのツール)を使って、見える化してみます。
kibana” は “elasticserch“という検索エンジンを使ってデータを処理するので、データに条件を与えて絞り込み、結果をグラフ化してくれます。収集情報を “elastic search” に投入できるように加工して、データベースのスキーマー(定義)を作成し、データベースに投入します。

以下は加工済みデータです。 (元のデータに、Json形式で、データベースへの投入命令とそれぞれのデータを格納するフィールドを指定するだけです。)

{ "index" : { "_index" : "realestate", "_type" : "research", "_id" : "1" } }
{"estateName" : "東京ツインパークスライトウイング", "chikunen" : "2002", "size" : "106.23", "floor" : "31", "price" : "16850.0", "location": { "lon" : "139.7596", "lat" : "35.660"} , "place" : "東京都港区東新橋1丁目" }
{ "index" : { "_index" : "realestate", "_type" : "research", "_id" : "2" } }
{"estateName" : "ランジュ2000ohjima", "chikunen" : "2000", "size" : "73.33", "floor" : "10", "price" : "3890.0", "location": { "lon" : "139.836107", "lat" : "35.6856"} , "place" : "東京都江東区北砂5丁目" }

このデータには収集元のサイト上でGoogle Map表示のための緯度経度が入っているので、一緒にフォーマッティングしてデータベースへ投入しました。
では kibana で見てみましょう。データが正しく投入されている様子がわかります。

スクリーンショット 2016-04-13 10.57.40

では全文検索機能を使って、データをフィルタリングしてみます。

上部の検索窓に “東京都” AND “目黒区” と入れて結果を見ます。

スクリーンショット 2016-04-13 10.59.29

 

目黒区のマンションリストが現れます。検索が正しく動いているので、この検索機能を使って目黒区の販売価格の分布と地図上に物件をプロットしてみます。

スクリーンショット 2016-04-13 11.04.16

4,000万円〜6,000万円の売り物件が最も多いことが解ります。また右側の地図には物件の場所が正確にプロットされています。

グラフの2,000万円〜3,000万円をクリックすると絞り込みが行われて、私でもなんとか手のでそうな物件が地図上に表示されます。

スクリーンショット 2016-04-13 11.26.29

港区ではどうでしょうか?

スクリーンショット 2016-04-13 11.06.33

さすがに高級な物件が多いことがよくわかります。ちょっと手が出ませんね。

さらに東京都府中市を見てみると。スクリーンショット 2016-04-13 11.08.20

この辺まで来ると、なんとか買えそうな額になってきましたね。

データを視覚化することで、マーケットで何が起こっているのか、また kibana の様に、時系列なトレンドをうまく扱えるものは、「定点観測で経時変化がどの様に起こったか?」などをグラフやチャートや地図などで見やすく表示出来るので、マーケットの変化ひと目で把握できます。

キーウォーカーでは、この様なオープンソースツールを利用したデータの見える化を始め、お客様のニーズに合ったクロールデータのプロセッシングを提供しています。

Big Data 時代の情報「見える化」をお考えの方は、是非キーウォーカーへお問合せ下さい。
プロのスタッフによる、貴方のの情報の「見える化」のお手伝いをさせて頂きます。

お気軽にお問い合わせください。 TEL 03-3560-6201 営業時間 9:00~18:00(土・日・祝日除く)

お問い合わせフォーム
  • このエントリーをはてなブックマークに追加
  • LINEで送る