还是弄个合适RaveList的robots.txt吧
从一开始上线活动日历页面看了RaveList
的接口请求日志就发现一直会有日历列表getList的请求,通过Nginx
的日志发现是Googlebot
一直在抓取。知道不是被人恶意请求后就没理了。
最近使用Google Search Console
后发现日历页面的链接抓取没1w也有7、8k页面了,而且每隔几天都去抓取,这样子可不行,这简直是在互相伤害啊。
想了想,还是弄个合适RaveList
的robots.txt吧!
RaveList
上日历界面有两种链接形式https://jjboom.net/calendar
和https://jjboom.net/calendar/2019-03-19
,
前者是当天的,后者是指定某一天的,只对后者的情况进行拦截。
User-agent: *
Disallow: /calendar/
Sitemap: https://jjboom.net/sitemap.xml