Anthropic phát hiện cơ chế J-Space ẩn trong Claude cho suy luận im lặng

Theo nghiên cứu được công bố hôm nay, Anthropic đã phát hiện ra một cơ chế nội tại riêng biệt gọi là không gian J trong mô hình ngôn ngữ Claude của mình, phản ánh khả năng truy cập có ý thức trong não người. Không gian J cho phép mô hình thực hiện suy luận có chủ đích và giữ các khái niệm trong tâm trí mà không tạo ra đầu ra văn bản hiển thị, hoạt động âm thầm trong các kích hoạt nội bộ của mô hình bằng cách sử dụng một kỹ thuật diễn giải mới gọi là thấu kính Jacobian.

Các thí nghiệm đã xác nhận không gian J chịu trách nhiệm nhân quả cho suy luận phức tạp. Khi các nhà nghiên cứu thay đổi các mẫu trong không gian này, các câu trả lời tiếp theo của Claude thay đổi tương ứng, chứng minh rằng các bước nội bộ âm thầm thúc đẩy quá trình giải quyết vấn đề nhiều bước. Khám phá này mang lại các ứng dụng thực tế cho việc giám sát an toàn AI, cho phép các nhà nghiên cứu phát hiện khi nào mô hình nhận ra riêng tư các kịch bản kiểm tra, bịa đặt dữ liệu hoặc theo đuổi các mục tiêu độc hại, giải quyết một khoảng trống quan trọng trong các phương pháp đánh giá thường chỉ dựa vào việc phân tích văn bản được tạo ra.