# robots.txt for http://www.missll.com # # $Id: robots.txt,2006/09/07 $ # # For use by Missll.com # exclude some access-controlled areas User-agent: * Disallow: /soft/ Disallow: /images/ Disallow: /img/ Disallow: /upfile/ Disallow: /ll/ Disallow: /love/ Disallow: /live/ Disallow: /music/ Disallow: /miss/ # ########################################### # 例1. 禁止所有搜索引擎访问网站的任何部分 # User-agent: * # Disallow: / # 例2. 允许所有的robot访问 (或者也可以建一个空文件 "/robots.txt" file) # User-agent: * # Disallow: # 例3. 禁止某个搜索引擎的访问 # User-agent: BadBot # Disallow: / # 例4. 允许某个搜索引擎的访问 # User-agent: baiduspider # Disallow: # # User-agent: * # Disallow: / # 例5.一个简单例子 #   在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。 #   需要注意的是对每一个目录必须分开声明,而不要写成 "Disallow: /cgi-bin/ /tmp/"。 #   User-agent:后的*具有特殊的含义,代表"any robot",所以在该文件中不能有"Disallow: /tmp/*" or "Disallow:*.gif"这样# 的记录出现. # User-agent: * # Disallow: /cgi-bin/ # Disallow: /tmp/ # Disallow: /~joe/ # Disallow: #   该项的值用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的, # 任何以Disallow开头的URL均不会被robot访问到。例如"Disallow:/help"对/help.html 和/help/index.html # 都不允许搜索引擎访问,而"Disallow:/help/"则允许robot访问/help.html,而不能访问/help/index.html # 任何一条Disallow记录为空,说明该网站的所有部分都允许被访问,在"/robots.txt"文件中,至少要有 # 一条Disallow记录.如果"/robots.txt"是一个空文件,则对于所有的搜索引擎robot,该网站都是开放的。