クローラーとは

データ収集用クローラー

蜘蛛執事（Spider steward）とは、クロール対象サイトを選定し、トップページからのクロール階層、1サイトあたりのクロールページ数の上限、トータルクロールページ数の上限、キーワードのマッチング（禁止・誤表記）、クロールタイミング、サイト内含有URLのチェック、SEO効果検証などの条件を設定すると、Spider stewardのクローラーが自動的に対象のウェブサイトをクロールし、クロール完了後にbotが結果報告のレポート（条件指定したページ検索結果など）を管理者に報告してくれます。
また、前回クロール対象に設定したサイト内データと、再クロール後のサイト内データの変更履歴をデータとして保管しており、サイト改善活動後の履歴照合や、効果検証といった用途にも使用いただけます。
特定のHTMLや文章のみを保存、サイト全体を保存といった設定も可能です。
※蜘蛛執事 - Spider steward - (データ収集用クローラー)はPC、モバイル対応

※カスタマイズは別途料金を頂戴いたします。カスタマイズ要望は別途弊社営業担当までお気軽にお問い合わせください。