免費轉換器
robots.txt 產生器
立即為您的網站生成robots.txt檔案。新增使用者代理規則、允許/禁止路徑、爬取延遲和網站地圖URL。免費即時robots.txt產生器。
立即為您的網站生成robots.txt檔案。新增使用者代理規則、允許/禁止路徑、爬取延遲和網站地圖URL。免費即時robots.txt產生器。
robots.txt 是網站根目錄下的純文字文件，它告訴爬蟲它們可以存取哪些路徑以及應該避免哪些路徑。該格式可以追溯到 1994 年，幾乎所有搜尋引擎和行為良好的爬蟲都支援該格式。該文件是建議性的——惡意爬蟲會忽略它——但合法的爬蟲（Google、Bing 等）會可靠地遵守其指示。
常見用途：阻止爬蟲進入管理區域（/wp-admin/、/admin/）、排除產生重複內容的分面搜尋 URL 參數、防止對暫存或開發路徑建立索引、聲明網站地圖位置以及允許特定使用者代理同時阻止其他使用者代理。在每個爬網會話開始時都會讀取該檔案。
此生成器根據表單輸入建置語法正確的 robots.txt。常見模式（允許所有、阻止所有、阻止特定路徑）是範本；可以為每個使用者代理程式新增自訂規則。輸出位於網站根目錄的 /robots.txt。
手寫 robots.txt 很容易出錯。語法錯誤（區分大小寫、精確路徑匹配、規則排序）會默默地產生錯誤行為 - 您想要阻止的路徑仍然被爬行，或者您想要索引的路徑被排除。產生正確語法的生成器可以避免這些陷阱。
robots.txt 也與其他 SEO 工具有微妙的互動。禁止 robots.txt 中的路徑並不會阻止它出現在搜尋結果中（Google 可能會在不抓取 URL 的情況下將其編入索引）； meta noindex 要求首先抓取頁面。知道使用哪個工具來實現哪個意圖很重要；生成器可以指導您。
選擇模板、自訂、部署。
格式：使用者代理：<名稱>，後面接著允許/禁止指令。 * 配對所有機器人。特定名稱（Googlebot、Bingbot）針對特定的抓取工具。多個用戶代理塊可以堆疊規則。
禁止：<path> 阻止以給定前綴開頭的路徑。禁止：/ 阻止整個網站。禁止：/admin/ 阻止 /admin/ 下的任何內容。尾部斜線很重要；禁止：/admin（無斜線）也匹配/administrator。
爬行延迟（以秒为单位）请求较慢的爬行。站点地图（绝对 URL）声明您的站点地图位置。 # 開始註解行。