WEBクローリング&WEBスクレイピング
Keywalker WEBクローラー

Keywalker Web クローラは、独自に開発したブラウザの自動操作技術をベースに、インターネット及びイントラネット上にある様々なリソースをクローリング&スクレイピングするサービスです。クローラによって収集した情報は、スクレイピングシステムにより、それぞれの要素に分解し整理されます。ECサイトの情報収集では、商品のカテゴリや名称、型番、価格、在庫数など。営業情報の収集では、企業名や住所、電話番号、業種などそれぞれの項目の情報ごとに分解・整理してデータベースに格納します。様々なサイトから収集したビッグデータを収集、整理、解析、可視化することで、お客様に新たな価値を提供します。

WEBスクレイピングのイメージ

ブラウザの自動操作技術を活用することにより、インタラクティブな動きのあるサイトをルールに基づき自動操作することにも対応しています。これにより、お客様が抱える日々のルーチン業務を自動化することでコスト削減、ビジネスの効率化を実現します。

様々な業界・業種200社以上の企業への導入実績!

家電メーカーや量販店、大手航空会社、大手アパレルECサイト、世界的な大手人材紹介会社、また様々なメディア運営サイトの運用自動化に活用いただいています。

取得できるファイルフォーマット
フォーマット 内容
HTML WEBページ記述フォーマット
RSS RSS更新情報→RSSから本体サイトの情報をクロール
SITEMAP WEBサイトのサイトマップから本体情報をクロール
PDF PDFのテキスト部分を抽出
DOC Microsoft Wordのテキスト部分を抽出
XLS Microsoft Excelのテキスト部分を抽出
PPT Microsoft Power Pointのテキスト部分を抽出

サイトの特性に合わせてデータベースを作成することで、競合の価格調査市場調査などのマーケティングに活用出来ます。数千ページから数億ページまでのデータ収集、コンテンツの管理の簡易化まで様々なシーンで活用いただけます。

キーウォーカーWEBクローラの特徴

特徴 内容
クラウド対応 クラウド対応のシステムなので、いつでもどこからでも設定が可能です。
クロールしたデータを
項目ごとに整理
ページのなかにある項目値(商品名、価格、本文、在庫数、画像など)ごとにWEBスクレイピングした情報を取得し、整理して出力することが可能です。
並列クローリング 並列クローリングにより、大規模なクロールも効率的におこないます。
Ajaxサイトへの
クロール対応
ページ遷移することなくデータの表示だけが変わるAjaxを用いたページもクロール可能です。
差分クローリング 差分のみクローリングすることで効率的なクローリングをおこないます
クローリング設定機能 IP分散設定、巡回スケジュール設定可
Keywalker検索エンジンやKeywalkerCMSとのシームレス連携

クロールしたデータは、インデクシングされることで、Keywalker検索による検索やCMSによってコンテンツとして表示することが可能です。

上位文書と紐付け可能 上位階層のページと紐付けすることで階層構造をもったデータの出力が可能です
クロールルート
調整機能
必要なリンクしかたどらないため、処理が早く、対象サーバへ無駄な負荷を掛けずにクローリングできます

キーウォーカーWEBクローラの展開イメージ

価格調査クローラー 競合他社の価格情報をクロールし、自社商品より低価格の商品リストを自動的に生成します。
説明を詳しく見る

価格調査対象サイト例:楽天、Yahooショッピング、Amazon、etc
価格調査クローラー
データの可視化 クロールした情報をグラフ化します。

可視化対象サイト例:ヤマダ電機、ビックカメラ、エディオン、ソフマップ、ヨドバシ・ドット・コム、etc
マーケティングリサーチ 競合他社の価格情報をクロールし、自社商品より低価格の商品リストを自動的に生成します。

リサーチ対象サイト例:ベルーナ、ニッセン、ポンパレモール、ヤフオク!、etc
マーケティングリサーチ
サイト内検索 データベース連携無しに自サイトのデータをクロールすることでWEBサイト上に高度な検索機能を設けることが可能です
サイト内検索
SNS、ブログ、掲示板の
クロール
クロール先の口コミ情報を解析し、自社商品(サービス)の評判を把握

クロール対象サイト例:Facebook、Twitter、Instagram、LinkedIn、Pinterest、Tumblr、etc
SNS、掲示板クロール
企業情報クローラー

企業の会社概要や連絡先から見込み顧客リストを業種別に自動収集します。現在、既に約100万社のWEBから収集した最新の見込み顧客リストのデータベースを保有しています。

顧客リストを自動収集
新着、及び更新情報通知
クローラー
指定したサイトのデータをクローラでキャッチ。更新情報をいち早く捉えることができます。
更新通知ツール
メディアクローラー その他、画像、メディアの収集など
メディアクローラー

WEBクローラ導入事例

同業他社の調査ツールとして利用した事例

株式会社ディテイルクラウドクリエイティブ

キーウォーカーWEBクローラーを活用し日本全国のWEBホームページ内の会社概要に「検索エンジン対策」又は「SEO」と記載されている会社の情報を全てピックアップし分析を行いました。
自社内で競合調査を行った事例
マーケティングツールとして活用した事例
その他の事例

お気軽にお問い合わせください。 TEL 03-3560-6201 営業時間 9:00~18:00(土・日・祝日除く)

お問い合わせフォーム
  • このエントリーをはてなブックマークに追加
  • LINEで送る