キーウォーカーWEBクローラー

サイト上のテキストや画像など様々なデータをスケジュールに従って取得するエンジンをWEBクローラと呼びます。 WEBクローラー
データをデータベースに格納 キーウォーカーのWEBクローラは取得したデータを項目ごとに分類整理し、自動的にデータベース化します。
取得できるファイルフォーマット
フォーマット 内容
HTML WEBページ記述フォーマット
RSS RSS更新情報→RSSから本体サイトの情報をクロール
SITEMAP WEBサイトのサイトマップから本体情報をクロール
PDF PDFのテキスト部分を抽出
DOC Microsoft Wordのテキスト部分を抽出
XLS Microsoft Excelのテキスト部分を抽出
PPT Microsoft Power Pointのテキスト部分を抽出
サイトの特性に合わせてデータベースを作成することで、競合の価格調査市場調査などのマーケティングに活用出来ます。 価格調査、マーケティングに活用
データ収集とコンテンツ活用 数千ページから数億ページまでのデータ収集、コンテンツの管理の簡易化まで様々なシーンで活用いただけます。

キーウォーカーWEBクローラの特徴

特徴 内容
クラウド対応 クラウド対応のシステムなので、いつでもどこからでも設定が可能です。
クロールしたデータを項目ごとに整理 ページのなかにある項目値(商品名、価格、本文、在庫数、画像など)ごとにパースした情報を取得し、整理して出力することが可能です。
並列クローリング 並列クローリングにより、大規模なクロールも効率的におこないます。
Ajaxサイトへの
クロール対応
ページ遷移することなくデータの表示だけが変わるAjaxを用いたページもクロール可能です。
差分クローリング 差分のみクローリングすることで効率的なクローリングをおこないます
クローリング設定機能 IP分散設定、巡回スケジュール設定可
Keywalker検索エンジンやKeywalkerCMSとのシームレス連携

クロールしたデータは、インデクシングされることで、Keywalker検索による検索やCMSによってコンテンツとして表示することが可能です。

上位文書と紐付け可能 上位階層のページと紐付けすることで階層構造をもったデータの出力が可能です
クロールルート
調整機能
必要なリンクしかたどらないため、処理が早く、対象サーバへ無駄な負荷を掛けずにクローリングできます

キーウォーカーWEBクローラの展開イメージ

価格調査クローラー 競合他社の価格情報をクロールし、自社商品より低価格の商品リストを自動的に生成します。説明を詳しく見る
価格調査クローラー
データの可視化 クロールした情報をグラフ化します。
マーケティングリサーチ 競合他社の価格情報をクロールし、自社商品より低価格の商品リストを自動的に生成します。
マーケティングリサーチ
サイト内検索 データベース連携無しに自サイトのデータをクロールすることでWEBサイト上に高度な検索機能を設けることが可能です
サイト内検索
SNS、ブログ、掲示板の
クロール
クロール先の口コミ情報を解析し、自社商品(サービス)の評判を把握
SNS、掲示板クロール
企業情報クローラー

企業の会社概要や連絡先から見込み顧客リストを業種別に自動収集します。現在、既に約100万社のWEBから収集した最新の見込み顧客リストのデータベースを保有しています。

顧客リストを自動収集
新着、及び更新情報通知
クローラー
指定したサイトのデータをクローラでキャッチ。更新情報をいち早く捉えることができます。
更新通知ツール
メディアクローラー その他、画像、メディアの収集など
メディアクローラー

WEBクローラ導入事例

同業他社の調査ツールとして利用した事例

株式会社ディテイルクラウドクリエイティブ

キーウォーカーWEBクローラーを活用し日本全国のWEBホームページ内の会社概要に「検索エンジン対策」又は「SEO」と記載されている会社の情報を全てピックアップし分析を行いました。
自社内で競合調査を行った事例
マーケティングツールとして活用した事例
その他の事例
  • 質問サイトのテキスト収集(1億ページ以上のクロール)
  • ブログのクロール(5億件のブログ記事収集)
  • 世界各国のECサイトの商品リストのクローリング
  • 求人求職サイトのクロールによる都道府県別求人推移
  • 価格比較サイトの商品収集エンジンとして採用
  • 競合商品の価格調査

お気軽にお問い合わせください。 TEL 03-3560-6201 営業時間 9:00~18:00(土・日・祝日除く)

お問い合わせフォーム
  • このエントリーをはてなブックマークに追加
  • LINEで送る