提起robots.txt文件可能站長們并不陌生。

是一個簡單的以.txt結尾的文本文件，是搜索引擎Robot（也叫搜索引擎機器人）程序抓取網頁時要訪問的第一個文件。也是為了告訴搜索引擎，這個 網站的哪些頁面是允許被訪問和爬取的，哪些頁面是不允許訪問的。

一、robots.txt文件有什麼作用？

　　通過robots.txt文件，可以和各大搜索引擎很友好的對話，引導搜索引擎機器人抓取你推薦的網頁，避免一些意義不大或無用網頁，例如網站後台、會員交互功能等，這在一定程度上也節省服務器網絡資源。

另外，robots.txt文件對SEO的意義也很重要，可以很好的避免重複、相似網頁，以及一些關鍵字權重流失；寫好robots.txt文件，是每個SEOer必做的功課之一。

二、robots.txt文件寫法

　　robots.txt文件寫法非常簡單，通常以User-agent開始，包含一行或多行Disallow或Allow記錄；在robots.txt文件中可以使用“#”進行注釋，具體使用方法和PHP一樣；另外，robots.txt文件支持*|$|?等通配符。

看個簡單的例子：

# robots.txt文件怎麼寫？

User-agent: * #對所有搜索引擎Robot開放

Disallow: /abc #允許訪問abc文件夾下的所有文件

Disallow: /wp-content/ #禁止訪問wp-content目錄下任何内容

Disallow: /*?* #禁止訪問動态頁面

Disallow: /*.php$ #禁止訪問php文件

Disallow: /*.css$ #禁止訪問css

三、robots.txt文件10個注意事項

01

robots.txt文件名必須全部小寫，不要為追求個性寫成RoboTs.txt等形式；并且隻能放在網站根目錄下面。

02

網站未創建robots.txt文件，則代表默認網站所有文件向所有搜索引擎開放爬取。

03

要檢查robots.txt文件是否達到了預期的效果，可以通過楓樹SEO網站長工具中的robots檢測工具測試。

04

一般情況下，robots.txt裡隻寫着兩個函數：User-agent和 Disallow；Allow默認搜索引擎是會抓取你網站所有内容的。

05

robtos.txt文件内可以放上Sitemap文件地址，方便告訴搜索引擎Sitemap文件地址。

06

在robots.txt中至少要有一條Disallow，如果都允許收錄，則寫: Disallow: 如果都不允許收錄，則寫:Disallow: / （注：隻是差一個斜杆）。

07

允許有多個User-agent，如果對所有爬取蜘蛛生效，則用“*”星号表示。

08

有幾個禁止，就得有幾個Disallow函數，并分行描述。

09

不要使用 robots.txt 文件禁掉敏感數據（比如用戶數據）

10

網站運營過程中，可以根據情況對robots.txt文件進行更新，屏蔽一些不要搜索引擎抓取的文件地址。

以上就是robots.txt文件配置和使用方法詳解了，掌握了這些也許可以讓你的SEO技術再升一級！有關robots.txt文件的寫法、用法，如果還有什麼疑問，也可以到楓樹圈子積極讨論。