「一款自动检测网站是否存在robots.txt的浏览器扩展」的评论 https://blog.werner.wiki/detect-robots-txt-web-extension/ Try harder Thu, 21 Nov 2019 22:41:17 +0000 hourly 1 https://wordpress.org/?v=6.8.3 评论者：Werner https://blog.werner.wiki/detect-robots-txt-web-extension/#comment-1027 Thu, 21 Nov 2019 22:41:17 +0000 https://blog.werner.wiki/?p=953#comment-1027 回复给 Jayce。

忽然觉得应该加个排除域名列表，把*.gov.cn、*.edu.cn都排除掉，不做检测。

]]> 评论者：Jayce https://blog.werner.wiki/detect-robots-txt-web-extension/#comment-1026 Thu, 21 Nov 2019 16:35:33 +0000 https://blog.werner.wiki/?p=953#comment-1026 这个可以简单地用来检测敏感文件和路径了呀，感谢作者

]]>