网站上线之后，肯定是要做SEO优化的，合理的设置robots，能够让搜索引擎的蜘蛛重点抓取网站中的主要内容，方便搜索引擎识别整个网站的主题，避免内容分散。下面整理网站robots标准写法。

　　robots如果在搜索引擎优化中的作用对于某些网站来说是直接决定网站的关键词排名的，很多网站由于程序原因，robots.txt没有写好 ，收录一团糟。

　　太原雅辉装修公司的网站合理的设置了robots，整个网站总共不到130篇文章，现在收录了95%以上，11个关键词在参与排名。robots写法：http://www.ckcseo.com/robots.txt

　　下面简单介绍一下各种常见搜索引擎蜘蛛

　　1、百度蜘蛛：Baiduspider

　　百度蜘蛛名称为Baiduspider日志中还发现了Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。

　　以上百度蜘蛛目前常见的是Baiduspider和Baiduspider-image两种。

　　2、谷歌蜘蛛：Googlebot ，Googlebot-Mobile，看名字是抓取wap内容的。

　　3、360蜘蛛：360Spider，这个家伙比较勤劳

　　4、SOSO蜘蛛：Sosospider，比360更加勤劳。

　　5、雅虎蜘蛛：Yahoo! Slurp China

　　6、有道蜘蛛：YoudaoBot

　　7、搜狗蜘蛛：Sogou News Spider

　　搜狗蜘蛛还包括如下这些：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider，等等、、、、、、

　　8、MSN蜘蛛：msnbot，msnbot-media

　　9、必应蜘蛛：bingbot

　　10、一搜蜘蛛：YisouSpider

　　11、Alexa蜘蛛：ia_archiver

　　12、宜搜蜘蛛：EasouSpider

　　13、即刻蜘蛛：JikeSpider

　　14、一淘网蜘蛛：EtaoSpider

　　根据上述蜘蛛中选择几个常用的允许抓取，其余的都可以通过robots屏蔽抓取。如果你暂时空间流量还足够使用，等流量紧张了就保留几个常用的屏蔽掉其它蜘蛛以节省流量。至于那些蜘蛛

　　抓取对网站能带来有利用的价值，网站的管理者眼睛是雪亮的。

　　另外还发现了如 YandexBot、AhrefsBot和ezooms.bot这些蜘蛛，对中文网站用处很小。

　　这是百度的robots

　　User-agent: Baiduspider

　　Disallow: /baidu

　　Disallow: /s?

　　User-agent: Googlebot

　　Disallow: /baidu

　　Disallow: /s?

　　Disallow: /shifen/

　　Disallow: /homepage/

　　Disallow: /cpro

　　User-agent: MSNBot

　　Disallow: /baidu

　　Disallow: /s?

　　Disallow: /shifen/

　　Disallow: /homepage/

　　Disallow: /cpro

　　User-agent: Baiduspider-image

　　Disallow: /baidu

　　Disallow: /s?

　　Disallow: /shifen/

　　Disallow: /homepage/

　　Disallow: /cpro

　　User-agent: YoudaoBot

　　Disallow: /baidu

　　Disallow: /s?

　　Disallow: /shifen/

　　Disallow: /homepage/

　　Disallow: /cpro

　　User-agent: Sogou web spider

　　Disallow: /baidu

　　Disallow: /s?

　　Disallow: /shifen/

　　Disallow: /homepage/

　　Disallow: /cpro

　　User-agent: Sogou inst spider

　　Disallow: /baidu

　　Disallow: /s?

　　Disallow: /shifen/

　　Disallow: /homepage/

　　Disallow: /cpro

　　User-agent: Sogou spider2

　　Disallow: /baidu

　　Disallow: /s?

　　Disallow: /shifen/

　　Disallow: /homepage/

　　Disallow: /cpro

　　User-agent: Sogou blog

　　Disallow: /baidu

　　Disallow: /s?

　　Disallow: /shifen/

　　Disallow: /homepage/

　　Disallow: /cpro

　　User-agent: Sogou News Spider

　　Disallow: /baidu

　　Disallow: /s?

　　Disallow: /shifen/

　　Disallow: /homepage/

　　Disallow: /cpro

　　User-agent: Sogou Orion spider

　　Disallow: /baidu

　　Disallow: /s?

　　Disallow: /shifen/

　　Disallow: /homepage/

　　Disallow: /cpro

　　User-agent: JikeSpider

　　Disallow: /baidu

　　Disallow: /s?

　　Disallow: /shifen/

　　Disallow: /homepage/

　　Disallow: /cpro

　　User-agent: Sosospider

　　Disallow: /baidu

　　Disallow: /s?

　　Disallow: /shifen/

　　Disallow: /homepage/

　　Disallow: /cpro

　　User-agent: PangusoSpider

　　Disallow: /baidu

　　Disallow: /s?

　　Disallow: /shifen/

　　Disallow: /homepage/

　　Disallow: /cpro

　　User-agent: yisouspider

　　Disallow: /baidu

　　Disallow: /s?

　　Disallow: /shifen/

　　Disallow: /homepage/

　　Disallow: /cpro

　　User-agent: EasouSpider

　　Disallow: /baidu

　　Disallow: /s?

　　Disallow: /shifen/

　　Disallow: /homepage/

　　Disallow: /cpro

　　User-agent: *

　　Disallow: /

　　百度搜索引擎优化最权威的参考资料：http://www.baidu.com/robots.txt

　　谷歌搜索引擎优化最权威的资料参考：https://www.google.com/robots.txt