http://www.antimonopolylaw.org

【关键词密度】让搜索引擎按您的意图行进

  
  让搜索引擎按您的意图行进
  
  有些时候会遇到这样的问题:我们原本不想被搜索引擎收录的网站后台地址却被搜索引敬“无情”地收录,甚至只要在Google里输入“后台、管理ste:ww.*** com”,自己的后台地址就会显露无疑,因此网站安全性也无从谈起。遇到这样的情况时,如何阻止搜索引擎收录我们不想被收录的网页或目录呢?
让搜索引擎按您的意图行进
  通常,有两种常用的方法,一种是编辑文件,另一种是放置META NAME "ROBOTS标签。
  robots.txt 文件的定义和用途
  
  机器人. txt文件是每个搜索引擎蜘蛛在访问你的网站后会查找和访问的第一个文件。机器人。txt是你为搜索引擎制定的关于如何领导你的网站的规则。通过这个文件,搜索引擎可以知道你网站上哪些文件可以被索引,哪些文件被拒绝索引。我们可以轻松控制搜索引擎索引网站内容。  
  在许多网站上,站长们忽略了使用rots.txt文件。因为许多网站管理员认为他们的网站没有秘密,而且他们不擅长使用机器人。txt语法,如果他们写错了,最好不要使用它们。  
  到这个文件,也会在索引服务器上记录404信息。如果有太多这样的404信息,搜索引擎蜘蛛会认为该网站价值低,从而减少对该网站的“印象分”,这就是我们经常会听到的“降低权重”。
  
  “权重” 是一个影响网站在搜索引擎排名中非常重要的因素,如果网站的权重高,那么搜索引擎蜘蛛也会频繁地访问该网站,而且网站排名也好。如果权重低,那么搜索引擎蜘蛛对于网站的访问次数也相应的要少,同时网站排名较差。而网站的权重是由很多条件所积累的,404 信息就是很重要的一- 条,因此不得不重视。
 虽然在百度的帮助文件中,有这样一句话:“请注意,只有当你的网站包含你不想被搜索引擎包含的内容时,rbotstxtt文件才是必需的。如果你想让搜索引擎包含网站上的所有内容,不要创建机器人文件”。事实上,百度写这篇文章只是因为担心,因为网站管理员不懂rotstxt语法,搜索引擎蜘蛛无法正常爬行网站。即使rots.ct文件是一个空白的文本文档,仍然有必要建立robos.xt文件。毕竟,我们的网站不仅会被百度收录,还会被其他搜索引擎收录。上传一个空白的罗斯托夫特文件至少不会产生404条消息。  
robots.txt 文档的语法
  
  要学习如何写一个正确的机器人。tct文档,首先我们需要了解一些需要注意的机器人的方面、基本语法和详细的书写表格。。
  
  机器人. txt文档需要注意的最大问题是它们必须放在网站的根目录下,文件名必须全部为小写。TXT文档只有两个基本语法。第一个是用户代理,也就是搜索引擎蜘蛛的名字。第二个是“不允许”,即要拦截的网页。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。