Home > サーバー > 検索エンジン(Google・Yahoo!・Bing)のクロールを許可するrobots.txtの設定

検索エンジン(Google・Yahoo!・Bing)のクロールを許可するrobots.txtの設定

検索エンジン(Google・Yahoo!・Bing)のクロールを許可するrobots.txtの設定

全ての検索エンジン(Google・Yahoo!・Bing)のクローラのクロールを許可する場合のrobots.txtの設定

■クローラとは

クローラとは、ウェブ上のデータを周期的に取得し自動的にデータベース化するプログラム

■全ての検索エンジン(Google・Yahoo!・Bing)のクローラのクロールを許可する場合のrobots.txtの設定

robots.txt

User-agent: *
Disallow:

関連記事:

Home > サーバー > 検索エンジン(Google・Yahoo!・Bing)のクロールを許可するrobots.txtの設定

Feeds

Return to page top