随州网站优化、随州SEO、随州网站建设就找创想网络，随州本地网站优化、SEO、网站建设创想网络最好、最专业。创想网络致力于网站优 化、SEO、网站建设、网站美化、网站推广、网络营销整合方案等服务。

    正在载入图片……
    • 网站没有排名,想知道为什么吗？
    • 解密SEO如何让网站排名第一
    • 网站是做来用的，不光是做来看的
    热门关键词：时间 织梦 自定义 采集 模型
    您现在的位置：创想网络 >> SEO技术 >> SEOer必须知道的Robots.txt文档

    SEOer必须知道的Robots.txt文档

    作者：随州SEO　来源：随州网站优化　发布日期：2010年08月11日　浏览：次
    文章Tags：Robots.txt

    Robots.txt文档_SEOer必须知道的，如果你不知道，只能说明你不是一个合格的SEOer，如果你真不知道，那就学习一下吧。

    我们都知道，搜索引擎使用spider访问网站并获取网页信息。蜘蛛程序在访问一个网站时，首先会检查该网站的根目录下是否有robots.txt的纯文本文件。如果你的网站没有，你可以在的网站中创建一个纯文本文件robots.txt，在该文件中声明该网站中不想被访问的部分或者指定搜索引擎蜘蛛只收录特定的部分。这里提醒一下，请注意：当你网站不希望搜索引擎全部收录时才用到robots.txt文件（比如你网站后台页面）如果你希望搜索引擎全部收录你的网站，请建立一个空的robots.txt文件。

    1.首先告诉大家robots.txt文件要放在你网站的根目录里面。当你修改了你的robots.txt一般会在48小时内生效（对于搜索引擎来说）。

    2.如果你要禁止搜索引擎在搜索你网站时显示快照，而只对你的网站索引，什么办呢？ 百度支持通过设置网页的meta，防止搜索引擎显示网站的快照。方法如下：

    要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的 <HEAD> 部分：
    <meta name=”robots” content=”noarchive”>
    要允许其他搜索引擎显示快照，但仅防止百度显示，请使用以下标记：
    <meta name=”baiduspider” content=”noarchive”>
    注：此标记只是禁止百度显示该网页的快照，百度会继续为网页建索引，并在搜索结果中显示网页摘要。

    3.我们来看一下如何写robots.txt,他的格式是什么样的。
    该文本是以 User-agent: 作为文本记录开头的。这个值有什么样呢？它是来描述搜索引擎robots的名字。
    比如说你要专指百度搜索引擎你就可以写为 User-agent: baiduspider
    同样的谷歌就是 User-agent:googlespider  比如你要描述SOSO图片蜘蛛你可以写 User-agent:Sosoimagespider 这样都可以 如果你要针对所有搜索引擎呢 User-agent: *就是所有搜索引擎全部概括了。
    robots.txt 除了第一项 User-agent: 还有其他两项 Disallow:   Allow: 但是User-agent: 是唯一项 他后面可以加若干Disallow和Allow行 也就是这种格式
    User-agent: *
    Disallow:
    Disallow:
    Disallow:
    Allow:
    Allow:
    Allow: 

    后面加多少个Disallow和Allow行都可以 是根据你需要来加的。好了我接着说Disallow,该项就是告诉搜索引擎我不希望我网站的那些网页收录的。你就可以用Disallow的描述来限制搜索引擎 我们来举个例子，比如我要限制所有搜索引擎不收录我的后台目录admin那么我们什么做呢？来看一下
    User-agent: *
    Disallow:/admin/

    如果是要显示百度不要收录我的这个目录其实搜索引擎可以什么做呢 前面我们说到了
    User-agent: baiduspider
    Disallow:/admin/

    你问如果是要禁止所有搜索引擎访问全站应该什么办呢？我们来看一下
    User-agent: *
    Disallow:/ 

    如果要禁止访问多个文件夹呢 比如我要禁止访问 Admin  image  data 3个文件夹
    User-agent: *
    Disallow:/Admin/
    Disallow:/image/
    Disallow:/data/

    我们来解释一下Allow行是做什么的？其实这个Allow和Disallow是相反的。Allow他的意思就是希望搜索引擎访问我网站的一下路径，Allow通常与Disallow搭配使用。下面我们举个例子:
    我要允许访问特定目录中的部分url 比如我不要他访问我Admin目录 但是我希望他访问我Admin目录里面的hdd.html 什么办呢？这时候我们就可以用到Allow了 来看例子
    User-agent: *
    Allow:/admin/hdd
    Disallow:/Admin/

    顺便所一下 在robots.txt里面可以使用”*”和”$”：baiduspider支持使用通配符”*”和”$”来模糊匹配url。
    “$” 匹配行结束符。
    “*” 匹配0或多个任意字符。

    举个例子： 使用”*”限制访问url     。禁止访问/iea/目录下的所有以”.htm”为后缀的
    URL(包含子目录)。
    User-agent: *
    Disallow:/iea/*.htm

    再来举个例子 关于使用”$”限制访问url ， 仅允许访问以”.htm”为后缀的URL。
    User-agent: *
    Allow: .htm$
    Disallow: /

     

    本文地址：http://www.szcxdl.com/seotg/35.html

    本文作者随州SEO，转载请注明出处。