WEBクローラー(Web Crawler)とは、ウェブ上の多種多様なサイトに対して、ルールに基づきサイト内のリンクを周期的に巡回し、該当ページにあるデータを収集(=クローリング)するシステムです。
キーウォーカーWEBクローラーは、10年以上に及ぶWEB検索エンジンの開発経験と独自開発したWEBブラウザ自動操作エンジンにより、サイト内検索しなければ取得できないページやスクロールしないと表示されないページ等、動的なページに対するクローリングを実現しています。
収集したデータは、WEBスクレイピング(Web Scraping)機能により、それぞれの項目ごとに値が抽出されます。
抽出された各値は、データクレンジング機能により、データを誰もが処理しやすいように正規化され、データベースに格納します。
価格戦略、営業リスト作成、不動産相場取得、ホテル料金、残室数の抽出、AIの学習用データ収集、メディアの自動運用、ルーチン業務の自動化など様々な用途でサービスをご活用いただいています。
開発実績15年、400万サイト以上、1500億ページ以上のクローリング実績があります。
多様な業種のお客様に導入いただいています。
ビッグデータ時代の新しいインフラとして多くの企業・組織に継続的に活用されています。
![]() |
クラウド対応なのでいつでもどこからでも設定が可能 |
---|---|
![]() |
並列クローリングにより数千万・数億ページ規模のクローリングにも対応 |
![]() |
Keywalker.jsという独自開発のブラウザ自動操作言語により、動的なサイトからも情報の抽出が可能 |
![]() |
|
![]() |
HTML、RSS、SITEMAP、PDF、Office文書、他 |
Tableau連携(オプション) | 取得したデータは、Tableau(BIツール)と連携することで分析・可視化 |
データ形式 | Json・XML・貴社指定フォーマットに変換 |
データ連携 | 収集データを貴社のご指定方法で、システムへ直接連携 |
アラート機能 | 取得した値(例.在庫数など)が設定された閾値(しきいち)を超えた場合に自動でメール通知します |
検索 | 収集情報を効率よく検索・整理するサービス |
WEBクローラーで収集したデータを見える化することで
ビジネス環境の変化をリアルタイムに把握することができます。
WEBクローラーを利用して競合会社の商品情報をクロールし、自社より低価格の商品リストを自動的に生成できます。収集の際には、画像やカテゴリ、ブランド、商品説明、セール情報、ポイント数、在庫、カラーなど表示されている他の情報も取得可能です。 事例詳細
Webクローラーで取得した情報は、グラフに変換できます。商品の価格や株のデータをグラフにして、可視化することで価格の変動を直感的に把握することで、ビジネスシーンに活用可能です。 事例詳細
WEBページ(テキスト、画像、HTMLソース)の更新・変化をとらえて通知するサービスです。URLをセットするだけのカンタン設定。2週間無料でお試しいただけます。 事例詳細
特定の画像との類似度の計算、画像の分類やタグ付け、画像内の文字情報の抽出、収集した画像に対する加工処理が可能です。 事例詳細
国内の大手不動産関連サイト(SUUMO、マイナビ賃貸、HOME’S、ヤフー不動産、nifty不動産、etc)の物件情報を自動取得します。収集した膨大な量の情報を顧客への営業活動の資料として、またはマーケティング戦略の要として使用することも可能です。 事例詳細
大手ECサイトやクチコミポータルサイトを対象に、WEBクローラーを定期的に巡回させることで、商品情報を取得します。口コミやレビューと同時に、商品画像を取得することも可能です。収集したデータはCSV形式でダウンロード可能です。 事例詳細
ウェブ上に掲載されている企業の会社概要や連絡先から条件に合わせて業種別に企業データを自動収集できます。Webから収集した最新の見込み顧客リストのデータベースをすでに100万社分保有しています。 事例詳細
キーウォーカーでは、WEBクローラーで収集したビッグデータについて、
整理、分析、可視化、機能追加、運用までの一連のソリューションを提供しています。
WEBクローリングによって収集した膨大なデータは、BigQuery等に継続的に蓄積し、整形処理されたデータをBIツールである
Tableauや15年間研究を行ってきた人工知能等の技術を活用して、様々な角度から分析を行います。
データ収集・整理 | データ蓄積 | 分析・可視化/機能構築 | 運用 | |||||
WEBクローリング | データハンドリング | データベース | 分析・可視化 | 機能構築 | 価格の最適化計算
競合価格比較・分析 |
|||
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
商品データ/店舗データ/企業情報/求人情報/不動産情報/ニュース/テレビ番組/SNS/口コミ/WEBアナリティクス/人口統計データ
|
![]() |
BIツールやAIを活用し、
データをわかりやすく 分析・可視化 AI、統計分析 |
アラート機能/WEBページの差異検出/キュレーションポータル構築 |
|
KW WEBクローラー | 他社 | |
取得データの可視化 | ||
BASIC認証 | ||
ログイン | ||
テキスト入力 | ||
フォーム送信 | ||
サイト内検索 | ||
フレーム内のパース | ||
クッキーの使用 | ||
スクロール対応 | ||
HTMLにない情報の取得 | ||
JavaScript対応 | ||
画像のダウンロード | ||
PDFのダウンロード | ||
エクセルファイルのダウンロード | ||
CSVで出力 | ||
XMLで出力 | ||
JSONで出力 | ||
スケジューリング | ||
スクリーンショット | ||
メール通知 |
下記リンク(または電話)よりお問い合わせフォームへの入力をお願いいたします。 担当者よりご連絡さしあげます。
取得対象サイト、取得項目、データ取得頻度、データ提供形式についてヒアリングいたします。
対象サイトについて調査をおこない、お見積もりをご提供します。
クローラ設定(最短3営業日程度)
データ納品、運用開始
Copyright © Keywalker, Inc. All Rights Reserved.