中国深圳，2026年2月4日/PRChinaWire/——随着训练生成式人工智能（AI）模型所需的数据量激增，开发者们面临着一个关键难题：如何在应对激进的人工智能爬取行为的同时，保护自身原创内容并控制基础设施成本。为解决这一问题，腾讯云（Tencent Cloud）EdgeOne正式向所有用户（包括免费套餐用户）推出基础机器人管理功能。此次更新引入了两项核心功能：AI爬虫管控和验证码页面。

终结爬虫“打地鼠”困局

与传统网络爬虫不同，现代AI爬虫更加隐蔽，大规模运行，且越来越难以与正常流量区分开来。开发者常常陷入一场无休止的“打地鼠”游戏——封禁一个爬虫IP，第二天就会有几十个以不同伪装形式出现的新爬虫。这导致原创内容被未经授权地抓取，服务器带宽被浪费。

腾讯云（Tencent Cloud）EdgeOne新推出的AI爬虫管控功能利用先进的用户代理（User-Agent）特征识别技术解决了这一问题。该系统持续更新识别规则，精准定位主流AI机器人，包括GPTBot、ClaudeBot和Google-Extended等。

开发者无需再编写复杂的脚本来保护自己的网站。只需在EdgeOne控制台进行简单配置，用户即可根据自身具体业务需求采取不同措施：

监控：观察爬虫行为，不进行干预。
封禁：立即阻止未经授权的数据抓取。
放行：允许友好机器人访问网站。
验证：对可疑流量触发验证步骤。
这种灵活的策略确保开发者既能阻止恶意数据抓取，又能在有益时拥抱友好的AI生态系统。

高价值场景的智能防御

除了爬虫管理功能外，此次更新还包括旨在缓解自动化攻击的验证码页面功能。该功能智能识别可疑的机器人行为，并触发人机验证验证码。

重要的是，这一过程不会降低真实用户的体验。它为高风险场景（如数字内容版权保护、电商限时抢购和金融交易）构建了强大的安全防线，确保自动化脚本无法操纵数据指标或干扰服务。

从被动防御到主动管理

腾讯云（Tencent Cloud）EdgeOne产品团队负责人李云表示：“随着AI技术的快速发展，内容与数据访问的治理是一项长期挑战。通过免费提供基础机器人管理功能，我们旨在帮助每一位开发者从被动防御转向主动管理，让他们全面掌控自己的数字资产。”

新功能现已在EdgeOne控制台上线。腾讯云（Tencent Cloud）EdgeOne致力于持续优化其机器人管理和安全功能，帮助开发者在AI技术应用与内容版权保护之间划清界限。

关于腾讯云（Tencent Cloud）EdgeOne：EdgeOne是腾讯云集边缘安全与加速于一体的综合平台。

关于腾讯云（Tencent Cloud）：

腾讯云（Tencent Cloud）作为全球领先的云服务公司之一，致力于打造创新解决方案，解决现实世界中的问题，并推动智能产业的数字化转型。依托广泛的全球基础设施，腾讯云（Tencent Cloud）为全球企业提供稳定、安全的行业领先云产品和服务，利用云计算、大数据分析、AI、物联网和网络安全等先进技术，满足各行业需求，包括游戏、媒体与娱乐、金融、医疗、房地产、零售、旅游和交通等领域。