robots.txt 是存放在站点根目录下的一个纯文本文件。
什么是robots.txt文件?
搜索引擎机器人通过链接抵达互联网上的每个网页,并抓取网页信息。搜索引擎机器人在访问一个网站时,会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录,我们可以通过设置robots.txt文件告知搜索引擎机器人。
如果网站上没有禁止搜索引擎收录的内容,则不用设置robots.txt文件,或设置为空。
从SEO的角度,robots.txt文件是一定要设置的,原因:
网站上经常存在这种情况:不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。
网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。
一些没有关键词的页面,比如本站的这个页面,屏蔽掉更好。
一般情况下,站内的搜索结果页面屏蔽掉更好。
虽然它的设置很简单,但是作用却很强大,它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。
我们要了解一下都是代表什么:
eed.php : RSS Feed 入口文件
index.php : 前端页面入口文件
search.php : 搜索入口文件
zb_install 文件夹:zblog 初始化安装文件夹,安装完毕会自动删除,或手动删除
zb_system 文件夹:为 zblog 框架的主要文件,需要屏蔽搜索蜘蛛去它以及它所包含的内容抓取
zb_users 文件夹:为 zblog 为用户文件夹,里面包含了主题文件夹,插件文件夹,以及附件存放文件夹。
avatar :用户头像文件夹
cache :缓存文件夹
data :数据文件夹(屏蔽蜘蛛)
emotion :表情文件夹
language :语言包文件夹(屏蔽蜘蛛)
logs :目志文件夹,里面文件是记录错误的(屏蔽蜘蛛)
plugin :插件文件夹
theme :主题文件夹
upload :附件文件夹(图片或其它类型文件)
下面一段简单正确Z-Blog博客robots.txt文件范本,复制保存txt上传到网站根目录下就可以了。
User-agent: *
Disallow: /zb_system/
Disallow: /zb_users/data/
Disallow: /zb_users/language/
Disallow: /zb_users/logs/
Sitemap: https://www.zairun.com/sitemap.xml
WordPress程序文件范本
User-Agent: *
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: https://www.zairun.com/sitemap.xml
Sitemap: https://www.zairun.com/sitemap.html