还是弄个合适RaveList的robots.txt吧

从一开始上线活动日历页面看了RaveList的接口请求日志就发现一直会有日历列表getList的请求，通过Nginx的日志发现是Googlebot一直在抓取。知道不是被人恶意请求后就没理了。
最近使用Google Search Console后发现日历页面的链接抓取没1w也有7、8k页面了，而且每隔几天都去抓取，这样子可不行，这简直是在互相伤害啊。
想了想，还是弄个合适RaveList的robots.txt吧！
RaveList上日历界面有两种链接形式https://jjboom.net/calendar和https://jjboom.net/calendar/2019-03-19,
前者是当天的，后者是指定某一天的，只对后者的情况进行拦截。

User-agent: *
Disallow: /calendar/
Sitemap: https://jjboom.net/sitemap.xml