[吐槽] 现在的AI爬虫怕不是疯了吧
最近总是收到服务器CPU占用和内存占用报警，看了下后台，PHP拉起进程数超多，我还以为访客增加了呢，结果去统计一看，访客也没变多呀，又去跑去看了日志，合着全是各家AI的爬虫
- OpenAI 的爬虫在2分钟不到的时间内，访问1400多次页面，仅首页就访问了400多次。
- bing 的爬虫以每分钟1~2次的速度疯狂进行站内搜索。
- google 的爬虫也不甘示弱，以3~5分钟为间隔，反复访问同一篇文章。
经过一番查询和询问，大家推测出的原因可能是，当有用户在AI里执行“联网搜索”，AI判断需要看我的文章，于是就跑来抓一次，这其实本来还好，只不过有时候AI莫名的判断首页或侧栏链接的站内其他文章，也是它本次搜索需要的的关联资料，于是开始拉起更多bot一起来获取文章……最后陷入一次近乎Dos的抓取。
ACEVS
2025-09-06 15:15
好事情。影响了ai的大数据。
obaby
2025-09-06 14:51
无差别扫描
石樱灯笼
2025-09-06 14:14
这话说的，他们什么时候精神正常过。
早早的就用Cloudflare把所有AI都屏蔽了。