新浪微博:岑科成SEO

网络营销

当前位置:SEO培训 > SEO基础知识 > 链接优化 >

网站robots标准写法

作者:深圳SEO培训   类别:链接优化

  网站上线之后,肯定是要做SEO优化的,合理的设置robots,能够让搜索引擎的蜘蛛重点抓取网站中的主要内容,方便搜索引擎识别整个网站的主题,避免内容分散。下面整理网站robots标准写法。

  robots如果在搜索引擎优化中的作用对于某些网站来说是直接决定网站的关键词排名的,很多网站由于程序原因,robots.txt没有写好 ,收录一团糟。

  太原雅辉装修公司的网站合理的设置了robots,整个网站总共不到130篇文章,现在收录了95%以上,11个关键词在参与排名。robots写法:http://www.ckcseo.com/robots.txt

  下面简单介绍一下各种常见搜索引擎蜘蛛

  1、百度蜘蛛:Baiduspider

  百度蜘蛛名称为Baiduspider日志中还发现了Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。

  以上百度蜘蛛目前常见的是Baiduspider和Baiduspider-image两种。

  2、谷歌蜘蛛:Googlebot ,Googlebot-Mobile,看名字是抓取wap内容的。

  3、360蜘蛛:360Spider,这个家伙比较勤劳

  4、SOSO蜘蛛:Sosospider,比360更加勤劳。

  5、雅虎蜘蛛:Yahoo! Slurp China

  6、有道蜘蛛:YoudaoBot

  7、搜狗蜘蛛:Sogou News Spider

  搜狗蜘蛛还包括如下这些:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider,等等、、、、、、

  8、MSN蜘蛛:msnbot,msnbot-media

  9、必应蜘蛛:bingbot

  10、一搜蜘蛛:YisouSpider

  11、Alexa蜘蛛:ia_archiver

  12、宜搜蜘蛛:EasouSpider

  13、即刻蜘蛛:JikeSpider

  14、一淘网蜘蛛:EtaoSpider

  根据上述蜘蛛中选择几个常用的允许抓取,其余的都可以通过robots屏蔽抓取。如果你暂时空间流量还足够使用,等流量紧张了就保留几个常用的屏蔽掉其它蜘蛛以节省流量。至于那些蜘蛛

  抓取对网站能带来有利用的价值,网站的管理者眼睛是雪亮的。

  另外还发现了如 YandexBot、AhrefsBot和ezooms.bot这些蜘蛛,对中文网站用处很小。

  这是百度的robots

  User-agent: Baiduspider

  Disallow: /baidu

  Disallow: /s?

  User-agent: Googlebot

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: MSNBot

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: Baiduspider-image

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: YoudaoBot

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: Sogou web spider

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: Sogou inst spider

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: Sogou spider2

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: Sogou blog

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: Sogou News Spider

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: Sogou Orion spider

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: JikeSpider

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: Sosospider

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: PangusoSpider

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: yisouspider

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: EasouSpider

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: *

  Disallow: /

  百度搜索引擎优化最权威的参考资料:http://www.baidu.com/robots.txt

  谷歌搜索引擎优化最权威的资料参考:https://www.google.com/robots.txt

下一篇:如何制作404页面 上一篇:没有了

SEO咨询
SEO解答
SEO培训
扫一扫

扫一扫
送神秘大礼

全国免费服务热线
136-91821-695

返回顶部