宝塔面板下nginx屏蔽垃圾蜘蛛禁止抓取不影响火车头发布

最近查看服务器日志,发现一些垃圾蜘蛛,一直爬行很多,比如以下这些垃圾,太烦人了。

Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)"
Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/

你可能感兴趣的:(杂七杂八,nginx,服务器)