有機(jī)搜索已成為我們?nèi)粘Ｉ钪胁豢苫蛉钡囊徊糠帧Ｗ罱臄?shù)據(jù)顯示，近30% 的全球網(wǎng)絡(luò)流量來自在線搜索。?搜索引擎每天抓取和索引數(shù)十億的網(wǎng)絡(luò)內(nèi)容，根據(jù)相關(guān)性（它們與搜索查詢的相關(guān)程度）在搜索結(jié)果中對它們進(jìn)行排名，從而使它們可供公眾使用。您可以使用 robot.txt 文件設(shè)置有關(guān)您希望搜索引擎如何抓取和向公眾顯示您的 Web 內(nèi)容的指令。本文將向您介紹您需要了解的有關(guān) robots.txt 文件的所有信息。

了解 Robot.txt 文件

搜索索引從簡單的搜索引擎抓取開始。robots.txt 文件，也稱為Robots Exclusion Protocol?，指示搜索機(jī)器人抓取網(wǎng)站——去哪里和不去哪里。用戶經(jīng)常使用該文件來指定搜索引擎不應(yīng)抓取的頁面。

當(dāng)搜索引擎通過鏈接或站點地圖發(fā)現(xiàn)網(wǎng)站時，它會打開網(wǎng)站的 robots.txt 文件以了解要抓取的頁面和不應(yīng)該抓取的頁面。爬蟲會緩存 robots.txt 文件，以免每次訪問網(wǎng)站時打開它。緩存文件每次自動刷新數(shù)次，定期保持更新。

robots.txt 區(qū)分大小寫并位于域的根目錄下，例如www.domain.com/robots.txt。

為什么 Robots.txt 文件很重要

為您的網(wǎng)站創(chuàng)建一個 robot.txt 文件有很多好處；例如，您可以使用它來管理您的抓取預(yù)算。搜索蜘蛛通常有預(yù)定數(shù)量的可以在網(wǎng)站上抓取的頁面或在網(wǎng)站上花費(fèi)的時間。如果您管理一個擁有數(shù)千個頁面的網(wǎng)站，您可以阻止不重要的頁面以最大化抓取預(yù)算。

使用 robots.txt 文件的其他好處包括：

• 它可以幫助網(wǎng)絡(luò)管理員控制搜索引擎可以訪問的網(wǎng)頁。
• 該文件使用戶可以完全自由地阻止特定機(jī)器??人抓取他們的網(wǎng)站。
• 該文件有助于防止敏感內(nèi)容被編入索引。
• 您可以使用它來阻止索引不必要的文件，例如圖像、PDF 和視頻。

使用 Robots.txt 文件提高可抓取性

現(xiàn)在，如何使用 robots.txt 文件提高網(wǎng)站的可抓取性？當(dāng)然，讓我們找出答案。

Robots.txt 語法

機(jī)器人文件包含一個或多個搜索引擎指令塊，第一行指定用戶代理——您向其提供爬行指令的搜索蜘蛛的名稱。

基本的 robots.txt 文件如下所示：

站點地圖：https://yourdomain.com/sitemap_index.xml

用戶代理： *

不允許：/*?comments=all

不允許：/wp-content/themes/user/js/script-comments.js

不允許：/wp-comments-post.php

不允許：/go/

用戶代理：Googlebot

不允許：/登錄

用戶代理：bingbot

不允許：/照片

上面的 robots.txt 文件包含三個指令塊——第一個指令是針對所有用戶代理的，第二個指令是針對Google 爬蟲的，第三個是針對 Bing 機(jī)器人的。

以下是這些術(shù)語的含義：

• Sitemap指定了網(wǎng)站站點地圖的位置，它列出了一個網(wǎng)站中的所有頁面，方便爬蟲查找和爬取。您還可以將站點地圖放在 robots.txt 文件的末尾。
• 如前所述，用戶代理指的是您希望向其發(fā)送指令的搜索機(jī)器人。使用星號 (*) 通配符將指令分配給所有用戶代理，但您可以使用正確的名稱指定用戶代理。
• Disallow指示用戶代理不抓取指定的 URL。您可以將該行留空以指定您不允許任何內(nèi)容。

Allow指令指示機(jī)器人抓取指定的URL，即使先前的指令不允許其目錄，下面是一個示例。

用戶代理： *

不允許：/wp-admin/

允許：/wp-admin/admin-ajax.php

robots.txt 文件阻止了wp-admin目錄，該目錄包含敏感的 WordPress 文件，包括插件和主題，但允許蜘蛛爬行和索引目錄中的admin-ajax.php文件。

crawl-delay指令 (?crawl-delay: 10 ) 告訴用戶代理在抓取頁面之前等待指定的秒數(shù)（例如，十秒）。

該指令告訴搜索引擎更改抓取頁面的頻率，從而幫助您節(jié)省帶寬。不幸的是，Google 不再識別該指令，但 yahoo 和 Bing 仍然識別。

用戶代理指令

大多數(shù)搜索引擎都有不同的爬蟲用于不同的目的。例如，一些搜索引擎有用于正常索引、圖像和視頻的蜘蛛，而像 Bing 這樣的一些搜索引擎甚至有用于他們的廣告程序的蜘蛛。

因此，我們按字母順序整理了一張目前可用的所有常見用戶代理的表格。

讓我們來看看。

序列號	搜索引擎	機(jī)器人類型	用戶代理
1	百度	一般索引	百度蜘蛛
2	百度	圖片	百度蜘蛛圖片
3	百度	移動索引	baiduspider-mobile
4	百度	消息	百度蜘蛛新聞
5	百度	影片	百度蜘蛛視頻
6	Bing	一般的	冰棒
7	Bing	一般的	微信機(jī)器人
8	Bing	圖片和視頻	微軟媒體
9	Bing	廣告	adidxbot
10	谷歌	一般的	谷歌機(jī)器人
11	谷歌	圖片	Googlebot 圖片
12	谷歌	移動的	Googlebot-移動版
13	谷歌	消息	Googlebot-新聞
14	谷歌	視頻	Googlebot-視頻
15	谷歌	AdSense	Mediapartners-谷歌
16	谷歌	廣告	AdsBot - 谷歌
17	雅虎	一般的	啜飲
18	Yandex	一般的	yandex

用戶代理區(qū)分大小寫，因此在設(shè)置 robots.txt 文件時請正確使用名稱。

設(shè)置抓取指令

讓我們探討一些可以使用 robots.txt 文件無縫抓取網(wǎng)站的方法。

抓取整個網(wǎng)站

您可以設(shè)置 robots.txt 文件以允許所有搜索機(jī)器人對您的整個網(wǎng)站進(jìn)行爬網(wǎng)和索引。如果您的網(wǎng)站上有私人或敏感文件，我們不建議這樣做。

但是，要提供此指令，請將以下行添加到您的 robots.txt 文件中。

用戶代理： *

不允許：

但是如果你希望只允許選定的蜘蛛爬行和索引整個網(wǎng)站，那么指定用戶代理，當(dāng)然，每個用戶代理一個指令塊。

阻止整個網(wǎng)站

為防止搜索引擎抓取您的網(wǎng)站并將其編入索引，尤其是在您重新設(shè)計網(wǎng)站時，您可以阻止整個網(wǎng)站被編入索引。??將此指令添加到您的 robots.txt 文件以完成它。

用戶代理： *

不允許： /

為防止機(jī)器人抓取您的網(wǎng)站，請指定用戶代理。

阻止選定的部分

要阻止網(wǎng)站的特定部分，請為文件夾或頁面設(shè)置禁止指令，這是一個示例。

用戶代理： *

不允許：/視頻

該指令阻止所有蜘蛛抓取視頻目錄及其中的所有內(nèi)容。您還可以使用通配符 (*) 和 ($) 等正則表達(dá)式來阻止文件組。不幸的是，大多數(shù)搜索引擎不識別后者，包括谷歌。

但是這里介紹如何使用正則表達(dá)式來阻止一組文件。

不允許：圖片/*.jpg

不允許：/*php?$

通配符 (*) 阻止圖像目錄中文件名中包含.jpg的文件，而 ($) 阻止所有以.php結(jié)尾的文件。

請注意，disallow、allow 和 user-agent 值區(qū)分大小寫。在我們上面的兩個例子中，搜索蜘蛛將阻止：

• ?視頻目錄，但不會阻止/videos
• /images/beach.jpg但會抓取/images/beach.JPG

Robot.txt 文件對比。無索引標(biāo)簽

robots.txt 文件指示蜘蛛不要抓取頁面，但如果許多網(wǎng)站鏈接它，可能不會阻止搜索引擎索引該頁面。如果搜索引擎發(fā)現(xiàn)足夠多的指向該頁面的外部鏈接，它會在不知道其內(nèi)容的情況下對該頁面進(jìn)行索引，從而為您提供如下所示的搜索結(jié)果：

但是您可以將Noindex 指令添加到您的 robots.txt 文件中，以防止這些文件出現(xiàn)在搜索結(jié)果中。

用戶代理： *

不允許：/視頻

無索引：/視頻

您還可以將 meta robots?noindex標(biāo)記添加到頁面的標(biāo)題中，以可靠地防止搜索引擎對其進(jìn)行索引。如果您使用此選項，請避免阻止帶有 robots.txt 的頁面以使蜘蛛程序能夠找到標(biāo)簽。

生成 Robot.txt 文件

您可以使用一些直觀的在線工具為您的網(wǎng)站生成一個 robots.txt 文件，這里只有五個：

• 早上的 Robots.txt 生成器

• SureOak Robots.txt 文件生成器

• SEOptimer 免費(fèi) Robots.txt 生成器

• SEO PowerSuite Robots.txt 生成器工具

• SEOBook Robots.txt 文件生成器

將 Robots.txt 文件添加到您的域

您可以通過帳戶控制面板將新創(chuàng)建的 robots.txt 添加到您的域，方法如下。

第 1 步：訪問您的帳戶控制面板

通過登錄 SPanel 訪問您帳戶的控制面板。訪問www.domain.com/spanel/login?，將domain.com替換為您的域名。

輸入您的登錄憑據(jù)以登錄。

如果您以管理員身份登錄，則 SPanel 會將?您帶到您的管理儀表板，但用戶訪問會將您登錄到控制面板。在管理儀表板上，滾動到QUICK LINKS并單擊List Accounts?。

單擊您希望訪問其控制面板的帳戶的“操作”按鈕，然后從上拉菜單中選擇“登錄”以獲取訪問權(quán)限。

第 2 步：打開文件管理器

在控制面板上，單擊文件部分下的文件管理器。

打開您網(wǎng)站的基本目錄或根目錄。根域使用public_html文件夾作為其根目錄。

第 3 步：創(chuàng)建 Robots.txt 文件

在根目錄中，單擊新建文件/文件夾圖標(biāo)并選擇新建文件。

將新文件命名為robots.txt不帶大寫，然后單擊確定保存

編寫您的爬網(wǎng)指令或?qū)⑺鼈儚?fù)制并粘貼到空白文件中并保存。

而已。

把它包起來

當(dāng)您發(fā)布 robots.txt 文件時，請使用Google robots.txt 測試器工具來驗證抓取指令，以確保您不會錯誤地禁止您不打算阻止的頁面。