今天是: 2020年09月24日 星期四

您现在的位置是:
首页 » 技术分享 » wordpress网站添加重要的robots.txt文件

wordpress网站添加重要的robots.txt文件

《wordpress网站添加重要的robots.txt文件》
很多刚刚做网站的朋友对robots.txt文件的重要作用不是很清楚,不知道到底该不该添加,我的建议是最好加上。robots.txt文件是一个放置在网站根目录的协议,主要作用是用来正确引导搜索引擎蜘蛛(又称spider)抓取和收录页面,告诉搜索引擎哪些页面可以收录哪些页面不可以,不同的网站robots的写法也不尽相同,我列出了网站基本的写法,大家也可以根据自己的实际情况在此基础上添加,不添加直接用也是可以的。

新建一个robots.txt文本文件,把下面的内容放进去,然后再通过ftp等方式将文件上传到你的网站根目录即可。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /attachment/
Sitemap: http://你的域名/sitemap.xml

如何检测robots.txt文件成功了呢

在浏览器中输入:http://你的域名/robots.txt,会显示刚刚添加的内容,说明已经是ok了的
点赞