WEBクローリング＆WEBスクレイピング
keywalker WEBクローラ
キーウォーカーWEBクローラとは
WEBクローラ（Web Crawler）とは、ウェブ上の多種多様なサイトに対して、ルールに基づきサイト内のリンクを周期的に巡回し、該当ページにあるデータを収集（＝クローリング）するシステムです。
キーウォーカーWEBクローラは、10年以上に及ぶWEB検索エンジンの開発経験と独自開発したWEBブラウザ自動操作エンジンにより、サイト内検索しなければ取得できないページやスクロールしないと表示されないページ等、動的なページに対するクローリングを実現しています。
収集したデータは、WEBスクレイピング（Web Scraping）機能により、それぞれの項目ごとに値が抽出されます。
抽出された各値は、データクレンジング機能により、データを誰もが処理しやすいように正規化され、データベースに格納します。
価格戦略、営業リスト作成、不動産相場取得、ホテル料金、残室数の抽出、AIの学習用データ収集、メディアの自動運用、ルーチン業務の自動化など様々な用途でサービスをご活用いただいています。
クローリング対象サイト
開発実績15年、400万サイト以上、1500億ページ以上のクローリング実績があります。
導入突破
多様な業種のお客様に導入いただいています。
サービス継続率
ビッグデータ時代の新しいインフラとして多くの企業・組織に継続的に活用されています。
主な取引先企業
WEBクローラの特徴
 クラウド対応 |
クラウド対応なのでいつでもどこからでも設定が可能 |
|---|---|
 並列クローリング |
並列クローリングにより数千万・数億ページ規模のクローリングにも対応 |
 あらゆるサイトへのクロール対応 |
Keywalker.jsという独自開発のブラウザ自動操作言語により、動的なサイトからも情報の抽出が可能 |
 柔軟なクローリング設定機能 |
|
 様々な文書ファイル形式を取得可能 |
HTML、RSS、SITEMAP、PDF、Office文書、他 |
| Tableau連携（オプション） | 取得したデータは、Tableau（BIツール）と連携することで分析・可視化 |
| データ形式 | Json・XML・貴社指定フォーマットに変換 |
| データ連携 | 収集データを貴社のご指定方法で、システムへ直接連携 |
| アラート機能 | 取得した値（例．在庫数など）が設定された閾値（しきいち）を超えた場合に自動でメール通知します |
| 検索 | 収集情報を効率よく検索・整理するサービス |
WEBクローラの活用例
-
価格調査に
WEBクローラを利用して競合会社の商品情報をクロールし、自社より低価格の商品リストを自動的に生成できます。収集の際には、画像やカテゴリ、ブランド、商品説明、セール情報、ポイント数、在庫、カラーなど表示されている他の情報も取得可能です。 事例詳細
-
データの可視化
Webクローラで取得した情報は、グラフに変換できます。商品の価格や株のデータをグラフにして、可視化することで価格の変動を直感的に把握することで、ビジネスシーンに活用可能です。 事例詳細
-
営業リストの生成
ウェブ上に掲載されている企業の会社概要や連絡先から条件に合わせて業種別に企業データを自動収集できます。Webから収集した最新の見込み顧客リストのデータベースをすでに100万社分保有しています。 事例詳細
-
キュレーションサイトの構築
ダイエットブログや特定のテーマを記載しているブログを収集しカテゴリ別にコンテンツ化することで、キュレーションサイトの構築を行います。サムネイル画像、記事抜粋、公開日時などを収集読者に読みやすくまとめていくことで、サイトの滞在時間を大幅アップします。 事例詳細
-
自社サイトアプリとの連携
自社のWebサイトに掲載されている情報を抽出、APIとして提供することでアプリ運用の手間を解消します。商品名・説明文・価格・画像などアプリの仕様に合わせていくことが出来ます。 事例詳細
ビッグデータ・ソリューション
キーウォーカーでは、WEBクローラで収集したビッグデータについて、
整理、分析、可視化、機能追加、運用までの一連のソリューションを提供しています。
WEBクローリングによって収集した膨大なデータは、BigQuery等に継続的に蓄積し、整形処理されたデータをBIツールである
Tableauや15年間研究をおこなってきた人工知能等の技術を活用して、様々な角度から分析をおこないます。
| データ収集・整理 | データ蓄積 | 分析・可視化／機能構築 | 運用 | |||||
| WEBクローリング | データハンドリング | データベース | 分析・可視化 | 機能構築 | 価格の最適化計算
競合価格比較・分析 |
|||
 |
 |
 |
 |
|
 |
 |
|
 |
商品データ／店舗データ／企業情報／求人情報／不動産情報／ニュース／テレビ番組／SNS／口コミ／WEBアナリティクス／人口統計データ
 |
 |
BIツールやAIを活用し、
データをわかりやすく 分析・可視化 AI、統計分析 |
アラート機能／WEBページの差異検出／キュレーションポータル構築 |
|
||||
WEBクローラの製品構成
| KW WEB クローラ Basic版 |
KW WEB クローラ Robot版 |
他社 | |
| BASIC認証 | |||
| ログイン | |||
| テキスト入力 | |||
| フォーム送信 | |||
| サイト内検索 | |||
| フレーム内のパース | |||
| クッキーの使用 | |||
| スクロール対応 | |||
| HTMLにない情報の取得 | |||
| JavaScript対応 | |||
| 画像のダウンロード | |||
| PDFのダウンロード | |||
| エクセルファイルのダウンロード | |||
| CSVで出力 | |||
| XMLで出力 | |||
| JSONで出力 | |||
| スケジューリング | |||
| スクリーンショット | |||
| メール通知 |
導入までの流れ
-
STEP1
下記リンク（または電話）よりお問い合わせフォームへの入力をお願いいたします。 担当者よりご連絡さしあげます。
-
STEP2
取得対象サイト、取得項目、データ取得頻度、データ提供形式についてヒアリングいたします。
-
STEP3
対象サイトについて調査をおこない、お見積もりをご提供します。
-
STEP4
クローラ設定（最短3営業日程度）
-
STEP5
データ納品、運用開始
