robots.txt只允许抓取首页

2018 年 09 月 17 日

robots.txt 文件可以告诉搜索引擎哪些网页不可以抓取,哪些网页可以抓取,但首页的设置稍显繁琐。