robots.txt只允许抓取首页

robots.txt 文件可以告诉搜索引擎哪些网页不可以抓取,哪些网页可以抓取,但首页的设置稍显繁琐。

2018 年 09 月 17 日 预计阅读 1 分钟