欢迎光临2号站|二号站平台-官网注册!二号站平台主管【Q:374919】

主页 > 加入2号站 > 正文

欧亿代理招商制度_如何有效的屏蔽百度蜘蛛

www.nbwangzhan.com 2022-01-21 加入2号站

很多时候,我们都不会去把百度蜘蛛去屏蔽掉,但是也有需要去屏蔽一些不必要的抓取,比如一些大型的网站门户网,有登录页面或者是注册页面,还有一些不想让百度蜘蛛抓取文件都可以利用robots协议来完成,那么重庆SEO徐三就讲解哈屏蔽百度蜘蛛的具体方法。

一、robots协议

robots协议相信大家都不陌生,首先既然要用到robots协议,那么我们就要先创建一个记事本,把记事本重命名为robots,然后我们写下robots协议具体如下:

User-agent: BadBot
Disallow: /

然后保存后通过FTP工具上传到网站根目录即可。

二、robots Meta标签

robots Meta标签也可以屏蔽百度蜘蛛抓取,这种方法与robots类似,但是还是部分搜索引擎不支持,robots Meta用来对某几个页面单独设置时使用。其代码是写在“<head></head>”之间,如下所示:

<head>

<meta name=”robots” content=”index,follow” />

</head>

三、.htaccess屏蔽

如果说使用robots协议无法全部屏蔽你的网站,那么你可以在你的网站根目录下找到.htaccess屏蔽代码如下:

方法1:

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]

RewriteRule .* – [F]

方法2:

SetEnvIfNoCase User-Agent “^Baiduspider” bad_bot

<Limit GET POST>

Order Allow,Deny

Allow from all

Deny from env=bad_bot

</Limit>

总结:百度蜘蛛屏蔽方法有许多,以上方法可参考,重庆SEO徐三觉得还是以robots协议较好,所以其他方法及时可以用,但是也不建议去做,因为一步小心搞错了,就会导致麻烦不断!

TAG: 二号站官网注册

2号站主管Q:2347-660
热门标签