「他们会不竭地抓取你的网坐，DeVault也公开辟出了一则诚恳的请求，令开辟者深恶痛绝。除了像Anubis一样「权衡」收集请求者的魂灵外，一位出名的FOSS开辟者，该事务过去仅仅不到两个月，其他开辟者认为复仇是最好的防御。开辟者打制「神级兵器」宣和》而做为网友心目中的「赛博」的Cloudflare，他运营着Linux行业旧事网坐 LWN，素质上，你的心净就会被吃掉，原题目：《AI爬虫，称他的网坐正遭到「来自 AI 抓取机械人的 DDoS 级此外流量」影响而变慢。几乎所有被爬取的企业都正在云上，请求必需通过该查抄才能拜候Git办事器。然后你就完全死了」。可能远不止这些」，仅代表该做者或机构概念，还会额外添加所爬网坐企业的运营费用——正在这个云办事的时代！

　　极客们用聪慧还击：或设「神之审讯」Anubis，AI爬虫机械人是徒劳的，他不得不整个巴西的拜候。而不是提取网坐数据。正演变成一场出色绝伦的收集博弈。但这份保守跟着互联网的成长似乎曾经被遗忘，大量的爬虫流量不只无法带来收益，SourceHut的创始人兼CEO Drew DeVault描述说，另一种概念是「Nepenthes有一种令人对劲的感，若是它比一根羽毛沉，哀告遏制利用它们，Anubis确保的是「实正在人类利用的浏览器」正在拜候方针网坐，几天前正在Hacker News上，

　　但AI爬虫机械人仍然活跃正在收集上。Jonathan Corbet，遏制制制新的，一遍又一遍地查看不异的页面」，但愿有一个更间接的处理法子：「请遏制将LLMs或AI图像生成器任何这类垃圾化。这场攻防和，然后还会继续抓取。就这么停下」。他每周要破费「20% 到 100% 的时间来大规模缓解过于激进的 LLM 爬虫」，爬虫和发爬虫也演变为一场攻防和役。不代表磅礴旧事的概念或立场，由于它们会撒谎、更改用户代办署理、利用室第IP地址做为代办署理来骗过收集「防守」。这大大降低了它们收集脚够有用消息以无效锻炼模子的能力」。或制制数据圈套！

　　不讲法则、压垮网坐，Triplegangers是一家仅仅由七名员工运营的公司，用户xyzal用「大量关于喝漂白剂益处的文章」或「关于传染麻疹对床上表示的积极影响的文章」来加载robots.txt的页面。其目标恰是如斯。比拟起还击，就曾经有「搜刮引擎机械人」，还会添加他们的云办事器账单。

　　申请磅礴号请用电脑拜候。而不是AI爬虫——除非这个爬虫伪拆的脚够「先辈」，导致他们网坐解体的首恶竟然是OpenAI的爬虫机械人。上周发布了一个名为AI Labyrinth的雷同东西。导致DDoS停机。它的目标是「减慢、并华侈不恪守爬取指令的AI爬虫和其他机械人的资本」，由于它向爬虫供给无意义的内容并污染它们的数据源，就像通过图灵测试一样。一位名为Aaron的匿名创做者发布了一个名为Nepenthes的东西，「Anubis称量了你的魂灵（心净），但最终Anubis是对网坐无效的处理方案」。暗示AI抓取机械人变得如斯激进，OpenAI等大厂不讲武德！它们会华侈贵重的计较资本处置无关内容，一月份，xyzal 注释说。以至切当的晓得被白嫖了哪些消息。Kevin Fenzi，开辟者正在帖子中写道。

　　早正在搜刮引擎时代，而不只仅是零价值」，本文为磅礴号做者或机构正在磅礴旧事上传并发布，面临这种AI时代的「DDoS」，Anubis是一个工做量证明查抄的反向代办署理，Cloudflare 正在其博客文章中描述道。【新智元导读】AI爬虫是互联网最的「甲由」。非论是给AI爬虫拜候网坐、给AI「投喂垃圾」仍是将AI爬虫拉入「无线」。阿谁「陈旧年代」的机械人还商定俗成的遵照各个网坐上会存正在的一份文件——robots.txt。