http://www.antimonopolylaw.org

【网络营销学习网】robots.txt文件的定义和用途

  【网络营销学习网】robots.txt文件的定义和用途
  
  robots.xt文件,是每一个搜索引蜘姝到你的网站之后要寻找和访问的第一个文件robots.xt是你对搜索引制定的一个如何索引你的网站的规则。通过该文件,搜索引就可以知道在你的网站中哪些文件是可以被索引的,哪些文件是被拒绝索引的,我们就可以很方便地控制搜索引擎索引网站内容了在很多网站中,站长们都忽略了使用 robots.xt文件。因为很多站长都认为,自己的网站没有什么秘密可言,而且自己也不太会使用 robots.txt的语法,因此一旦写错了会带来更多的麻烦,还不如不用其实这样的做法是不对的。如果蜘蛛在某个网站上访问了一个不存在的URL,那么就会记录下一条404信息(网页不存在),而 robots.txt作为蜘蛛访问网站的第一个文件,一且搜素引擎找不到这个文件,也会在它的索引服务器上记录下一条404信息。如果这样的404信息过多,那么搜索引擎蜘蛛就会认为该网站价值较低,从而降低对该网站的“印象分”,这就是我们经常会听到的“降低权重”。
  
  “权重”是一个影响网站在搜索引擎排名中非常重要的因素,如果网站的权重高,那么搜索引蜘蛛也会频繁地访问该网站,而且网站排名也好。如果权重低,那么搜索引蜘蛛对于网站的访问次数也相应的要少,同时网站排名较差。而网站的权重是由很多条件所积累的,404信息就是很重要的一条,因此不得不重视。虽然在百度的帮助文件中,有这样的一句话“请注意,仅当您的网站包含不希望被搜索引收录的内容时,才需要使用 robots.txt文件。如果您希望搜索引收录网站上的所有内容,请勿建立 robots.txt文件”。实际上百度只是担心由于网站管理员不懂得 robots. txt语法,导致搜索引擎蜘蛛无法正常抓取网站,才这样写的。建立 robots.twt文件还是必需的,哪怕这个robots.txt文件是一个空白的文本文档都可以。因为我们的网站毕意不是仅仅会被百度收录同时也会被其他搜索引收录,上传一个空白的 robots. txt文件,至少不会导致一条404信息的产生。
  
  robots.tt文档的语法
  
  学习如何写一个正确的 robots. txt文档,首先我们需要知道一些有关 robots.txt文档需要注意的方面、基本语法和详细写法表。robots. txt文档需要注意的最大问题就是:必须放置在一个站点的根目录下,而且文件名必须全部小写。 robots. txt文档的基本语法只有两条,第一条为Usr- Agent,即搜索引蛛的名称:第二条为 Disallow,即要拦截的网页。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。