ShopWT官网-php多用户商城系统-在路上

标题: 百度蜘蛛爬虫大量访问带有筛选属性的页面 [打印本页]

---

作者: dalianwa    时间: 2015-10-21 11:22
标题: 百度蜘蛛爬虫大量访问带有筛选属性的页面
日志中发现大量百度爬虫，好像是陷入“黑洞”
(, 下载次数: 1)

上传

点击文件名下载附件
[img]file:///C:\Users\Administrator\AppData\Roaming\Tencent\Users\1691596959\QQ\WinTemp\RichOle\PR~[)QLBR3KO1{KW}XQ6ASH.png[/img]
怎么限制蜘蛛爬index.php?act=search这个页面？
User-agent:Baiduspider
Disallow:/shop/index.php?act=search
这样的写法有效么。
不使用nofollow这种方法。@1号-售后支持  

---

欢迎光临 ShopWT官网-php多用户商城系统-在路上 (https://bbs.shopwt.com/)

Powered by Discuz! X3.4