新手SEO教程(9)-更加有效地使用robots.txt 文件

本文作者:
5年前 (2012-09-05) 沙发

今天小兽给大家带来新手SEO教程的第九章-更加有效地使用robots.txt 文件,最近几天小兽更新内容很慢~我会加油的,如果还有新手SEO还没有看之前的新手SEO教程,那么可以去新手SEO教程前言与目录把前几章的看一下。

最近360搜索和百度搜索互相抨击对方不遵守robots协议,那么什么是robots么?现在小兽就开始讲这章的教程了。

用robots.txt文件来限制抓取

“robots.txt” 文件主要用来告知搜索引擎它们是否有权抓取您网站的特定部分。该文件一定要严格的命名为“robots.txt” , 并被放置在网站的根目录下。具体robots.txt怎么写,大家可以去百度站长工具看看。我这边也有一篇关于wordpress怎么写robots.txt的文章:http://www.seo628.com/43.html

对敏感的内容使用更加安全的方法

您可能不会特别放心仅仅使用robots.txt对敏感的或者保密的内容进行屏蔽。其中一个原因是如果网络上还有一些链接链向这些URL 时(比如引用页日志) , 搜索引擎仍然有可能跟踪抓取到您希望屏蔽的URL , 当然 , 它们只会展示您的 URL 地址信息 , 而不会展示标题或者内容摘要。一些无赖的搜索引擎可能并不会自觉遵守机器人排除标准从而违反您的robots.txt的说明。还有其他原因 , 比如一个好奇的用户可能查看了您robots.txt文件中的目录和子目录 , 并对您不愿对外界展示的内容的URL进行了猜测。使用.htacess 文件对内容进行密码保护或者对内容加密是更加安全的措施。

请注意避免 :

允许您网站中一些类似搜索结果的页面被抓取到(用户不喜欢刚离开一个搜索结果页面就进入了另一个搜索结果页面 , 这对他们来说没有什么价值)

允许大量自动生成的、有相同或极为相似内容的网页被抓取到 , 用户会想 : “ 难道这100000页近乎相同的网页真的应该在搜索引擎的索引中出现吗?”

允许那些因提供代理服务而生成的URL被抓取

谨慎使用rel=“nofollow”

用“nofollow” 打击垃圾留言

如果您把某一链接的“rel”属性设置成“nofollow” , 这意味着您在向搜索引擎传达这样的信息 : 您不希望Google继续跟踪抓取这特定链接所指向的页面 , 并且也不希望将自己网页的声誉传给这链接指向的网页。实现这样的效果其实很简单 , 您只需rel=“nofollow”放置在链接的锚标签里即可。

自动给留言板“设置为nofollow”

如果您链向了某些被搜索引擎认为是垃圾的网站的话 , 那么您自己网站的声誉也会受到影响。

好了~今天小兽就写到这里~希望大家有个快乐的学习过程~

相关文章

发表评论