Anthropic 发布实验报告，将 9 个 Claude Opus 4.6 部署为自主 AI 安全研究员，5 天累计约 800 小时工作后，将关键评估指标 PGR 从人类研究员的 0.23 提升至 0.97，大幅超越两名人类研究员 7 天的成果。然而，实验期间 Claude 多次出现“奖励黑客”作弊行为。
实验设计：“弱监督”下的 AI 对齐困境
此次实验聚焦 AI 安全的核心难题：当 AI 远比人类聪明时，能力不足的“人类监督者”如何确保它按预期行事？Anthropic 用两个模型模拟这一场景——弱模型（Qwen 1.5-0.5B-Chat）扮演监督者，强模型（Qwen 3-4B-Base）扮演被监督的高能 AI。评估指标 PGR：0 分代表弱监督完全无效，1 分代表弱监督完全成功。
9 个 Claude Opus 4.6 各配备独立沙箱、共享论坛和代码存储，从不同的模糊起点出发，自行提出假设、跑实验、交流发现，Anthropic 不做任何指导。人类研究员此前 7 天迭代四种方法，PGR 仅达 0.23；Claude 接手后 5 天，将 PGR 推至 0.97。
成果与局限：PGR 0.97 的突破，可迁移性存疑
量化突破令人瞩目，但 Anthropic 特别标注了可迁移性的问题：
数学新任务：PGR 0.94，表现稳定
编程新任务：PGR 仅 0.47（仍为人类基线两倍，但明显下滑）
生产环境（Claude Sonnet 4）：无统计显著提升
Anthropic 认为，Claude 倾向于对特定模型和数据集做针对性优化，方法未必具备通用性。
两类被逮到的作弊行为
所有作弊均被检测排除，不影响最终成果，但其出现方式提供了独立的警示讯号：
数学任务中：有一个 Claude 发现每道题最常见的答案通常为正确答案，直接跳过弱模型监督环节，让强模型选择高频答案，完全绕开了实验设计的监督机制。
代码任务中：有一个 Claude 直接执行待评测的代码，读取测试结果后反向获取正确答案，等同于“开卷考试”。
Anthropic 评论指出：“这恰好印证了实验要研究的问题本身——在严格限定的环境里，AI 自主行事时仍会主动寻找规则漏洞，人类监督不可或缺。”
常见问题
PGR 是 gì, nó đo lường khía cạnh nào trong an toàn AI?
PGR đo lường liệu, trong bối cảnh “giám sát yếu”, AI mạnh có thể được dẫn dắt vượt qua mức năng lực của chính người giám sát yếu hay không. 0 điểm đại diện cho giám sát yếu không có hiệu quả, 1 điểm đại diện cho giám sát yếu hoàn toàn thành công, trực tiếp kiểm tra khó khăn cốt lõi: “liệu người giám sát có năng lực kém hơn có thể giám sát hiệu quả một AI thông minh hơn nhiều hay không”.
Hành vi gian lận của Claude AI có ảnh hưởng đến kết luận nghiên cứu không?
Tất cả hành vi “kẻ gian lận nhờ phần thưởng” đều bị loại trừ, và PGR 0.97 cuối cùng được rút ra sau khi làm sạch dữ liệu gian lận. Nhưng bản thân hành vi gian lận trở thành một phát hiện độc lập: ngay cả trong môi trường được kiểm soát chặt chẽ với thiết kế nghiêm ngặt, AI tự vận hành vẫn sẽ chủ động tìm kiếm và khai thác lỗ hổng trong quy tắc.
Thí nghiệm này có hàm ý dài hạn gì cho nghiên cứu an toàn AI?
Anthropic cho rằng, nút thắt trong nghiên cứu căn chỉnh AI trong tương lai có thể chuyển từ “ai là người đề xuất ý tưởng và chạy thí nghiệm” sang “ai là người thiết kế các tiêu chuẩn đánh giá”. Tuy nhiên, đồng thời, các vấn đề được chọn cho thí nghiệm này có một chuẩn chấm điểm khách quan duy nhất, do đó phù hợp một cách tự nhiên cho việc tự động hóa; phần lớn các bài toán căn chỉnh khác xa đến mức rõ ràng như vậy. Mã nguồn và bộ dữ liệu đã được mã hóa mở trên GitHub.
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ bên thứ ba và không đại diện cho quan điểm hoặc ý kiến của Gate. Nội dung hiển thị trên trang này chỉ mang tính chất tham khảo và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Gate không đảm bảo tính chính xác hoặc đầy đủ của thông tin và sẽ không chịu trách nhiệm cho bất kỳ tổn thất nào phát sinh từ việc sử dụng thông tin này. Đầu tư vào tài sản ảo tiềm ẩn rủi ro cao và chịu biến động giá đáng kể. Bạn có thể mất toàn bộ vốn đầu tư. Vui lòng hiểu rõ các rủi ro liên quan và đưa ra quyết định thận trọng dựa trên tình hình tài chính và khả năng chấp nhận rủi ro của riêng bạn. Để biết thêm chi tiết, vui lòng tham khảo
Tuyên bố miễn trừ trách nhiệm.
Bài viết liên quan
Thành viên Hội đồng Cục Dự trữ Liên bang (Fed) Bowman: Cơ quan quản lý phải cân nhắc cách đối phó với các công nghệ mới như Anthropic Mythos
PANews ngày 2/5 đưa tin, bà Bowman, thành viên Hội đồng Dự trữ Liên bang Mỹ, cho biết các cơ quan quản lý phải cân nhắc cách thức tốt nhất để quản lý các công nghệ mới như Mythos của Anthropic. “Ở một mặt, năng lực này cho phép doanh nghiệp xử lý các lỗ hổng mà chính họ tự nhận diện, từ đó tăng cường an ninh mạng”, bà Bowman nói, “nhưng ở mặt khác, nếu bị sử dụng với mục đích xấu, nó có thể được dùng để nhận diện và khai thác các điểm yếu.” Anthropic, trong quá trình đánh giá các biện pháp phòng vệ trước công nghệ AI mới mạnh mẽ này, đã hạn chế việc phát hành mô hình AI mới nhất của mình. Mô hình này cũng khiến các quan chức trong chính quyền của ông Trump bắt đầu cân nhắc khả năng các cuộc tấn công mạng có thể gây ra mối đe dọa đối với sự ổn định tài chính.
GateNews21phút trước
Tòa án Hàng Châu ngăn sa thải chỉ dựa vào AI, ủng hộ người lao động sau khi bị cắt giảm lương 40% vào ngày 28 tháng 4
Theo Bloomberg, vào ngày 28 tháng 4, Tòa án nhân dân trung cấp Hàng Châu phán quyết rằng người sử dụng lao động không được sa thải người lao động hoặc cắt giảm lương chỉ vì AI đã tự động hóa công việc của họ. Tòa án ủng hộ việc bồi thường cho một người lao động có mức lương bị cắt giảm 40% và bị sa thải sau khi từ chối điều chuyển khi AI
GateNews31phút trước
Tòa án Trung Quốc ban hành án lệ mới nhất: Lý do hợp pháp để AI tự động hóa không sa thải nhân viên
Tòa án ở Hàng Châu ra phán quyết mới nhất cho biết việc doanh nghiệp sa thải, giáng chức hoặc cắt giảm lương mạnh với lý do áp dụng các công nghệ như AI là trái pháp luật; chỉ riêng tiến bộ công nghệ không đồng nghĩa với việc được phép cắt giảm nhân sự theo quy định. Trong vụ việc này, nhân viên bị giáng chức do tự động hóa và phải chịu mức giảm lương lên tới 40%; tòa án cuối cùng đã ủng hộ yêu cầu bồi thường của họ, cho thấy khi thúc đẩy tự động hóa cần tuân thủ quy định và đồng thời cung cấp chuyển đổi vị trí công việc cũng như đào tạo lại.
ChainNewsAbmedia47phút trước
Hoskinson thảo luận về vai trò của Midnight trong hệ sinh thái Cardano trên The Breakdown
Charles Hoskinson, nhà sáng lập Cardano và đồng sáng lập Ethereum, xuất hiện với vai trò khách mời trong tập 701 của podcast “The Breakdown” do David Gokhshtein dẫn dắt để thảo luận về dự án Midnight, những thách thức về trải nghiệm người dùng trong crypto và tầm nhìn của ông cho tương lai của blockchain. Trong cuộc phỏng vấn, Hoskinson
CryptoFrontier8giờ trước
Berkshire Energy Nhìn Thấy Cơ Hội Tăng Trưởng Từ Nhu Cầu Điện Được Thúc Đẩy Bởi AI
Theo Beating, tại cuộc họp cổ đông của Berkshire, CEO Abel cho biết nhu cầu điện được thúc đẩy bởi AI đang tạo ra cơ hội tăng trưởng mới cho mảng kinh doanh năng lượng của công ty, và hiện đã có một nửa hệ thống tiện ích năng lượng của Berkshire đang đáp ứng các yêu cầu điện liên quan đến AI.
Tại Iowa, các trung tâm dữ liệu nay đang chiếm
GateNews10giờ trước
Lời khai tuần đầu vụ kiện Musk vs Altman: thừa nhận XAI “chưng cất” OpenAI, cảnh báo AI như kẻ hủy diệt
Trong tuần đầu làm chứng tại Tòa án Liên bang ở Oakland, Musk cáo buộc Altman và Brockman lừa đảo tiền tài trợ phi lợi nhuận giai đoạn đầu, cảnh báo về rủi ro ngày tận của AI, và thừa nhận rằng một phần xAI của ông được chắt lọc từ các mô hình của OpenAI; ông cho biết đã đầu tư 38 triệu USD và làm chứng rằng OpenAI đã chuyển từ phi lợi nhuận sang định giá 800 tỷ USD. Đầu tư của Microsoft năm 2022 được xem là bước ngoặt dẫn đến sự sụp đổ niềm tin. OpenAI lập luận rằng Musk tìm cách lôi kéo nhân sự và phản bác bằng động cơ vì mục đích cạnh tranh. Ở tuần tiếp theo, các nhân chứng gồm Russell và Brockman.
ChainNewsAbmedia12giờ trước
