WEBクローラ&WEBスクレイピング

ビッグデータを資産に変える

WEBクローラとは

キーウォーカーWEBクローラ(keywalker web crawler)とは、ウェブ上の多種多様なサイトに対して、ルールに基づきサイト内のリンクを周期的に巡回し、該当ページにあるデータを収集(=クローリング)するサービスです。

収集したページ情報は、WEBスクレイピング(web scraping)機能により、それぞれの項目ごとに値が抽出されます。

キーウォーカーWEBクローラのデータクレンジング機能により、データを誰もが処理しやすいように整理・分類し、データベースに格納します。

キーウォーカーWEBクローラは、10年以上に及ぶWEB検索エンジンの開発経験と独自開発したWEBブラウザ自動操作エンジンにより、サイト内検索しないと取得できないページやスクロールしないと表示されないページに対するWEBクローリングを実現しています。

価格戦略、営業リスト作成、エリアマーケティング、ブランドマネージメント、メディアの自動運用など様々な用途でサービスをご活用いただいています。

WEBクローラ

クローリング対象サイト

162万サイト

開発実績13年、162万サイト以上、100億ページ以上のクローリング実績があります。

導入突破

250

様々な業種、様々な規模のお客様において、マーケティングツールとして導入いただいています。

サービス継続率

97%

ビッグデータ時代の新しいインフラとして多くの企業・組織に継続的に活用 されています。

主な取引先企業

WEBクローラの特徴

クラウド対応クラウド対応クラウド対応なのでいつでもどこからでも設定が可能
並列クローリング並列クローリング並列クローリングにより数千万・数億ページ規模のクローリングにも対応
あらゆるサイトへのクロール対応あらゆるサイトへのクロール対応Keywalker.jsという独自開発のブラウザ自動操作言語により、動的なサイトからも情報の抽出が可能
柔軟なクローリング設定機能柔軟なクローリング設定機能
  • IP分散設定、巡回スケジュール設定可
  • 上位文書と紐付け可能
  • クロールルート調整機能
様々な文書ファイル形式を取得可能様々な文書ファイル形式を取得可能HTML、RSS、SITEMAP、PDF、Office文書、他
Tableau連携(オプション)取得したデータは、Tableau(BIツール)と連携することで分析・可視化

ビッグデータ・ソリューション

キーウォーカーでは、WEBクローラで収集したビッグデータについて、
整理、分析、可視化、機能追加、運用までの一連のソリューションを提供しています。

WEBクローリングによって収集した膨大なデータは、BigQuery等に継続的に蓄積し、整形処理されたデータをBIツールである
Tableauや15年間研究をおこなってきた人工知能等の技術を活用して、様々な角度から分析をおこないます。

ビックデータに関する一連の流れ
WEBクローラの図解

導入までの流れ

  • STEP1

    下記リンク(または電話)よりお問い合わせフォームへの入力をお願いいたします。 担当者よりご連絡さしあげます。

  • STEP2

    取得対象サイト、取得項目、データ取得頻度、データ提供形式についてヒアリングいたします。

  • STEP3

    対象サイトについて調査をおこない、お見積もりをご提供します。

  • STEP4

    クローラ設定(最短3営業日程度)

  • STEP5

    データ納品、運用開始

お問い合わせフォーム

Copyright © Keywalker, Inc. All Rights Reserved.

送信中…
しばらくお待ち下さい