Anthropic виявляє прихований механізм J-Space у Claude для безшумного міркування

Згідно з дослідженням, опублікованим сьогодні, Anthropic виявила окремий внутрішній механізм, названий J-space, у своїй мовній моделі Claude, який відображає свідомий доступ у людському мозку. J-space дозволяє моделі виконувати обдумані міркування та утримувати концепції в пам'яті без генерації видимого текстового виводу, працюючи мовчки в межах внутрішніх активацій моделі за допомогою нової техніки інтерпретованості, яка називається Jacobian lens.

Експерименти підтвердили, що J-space є причинно відповідальним за складні міркування. Коли дослідники змінювали патерни в цьому просторі, наступні відповіді Claude змінювалися відповідно, демонструючи, що невидимі внутрішні кроки керують багатокроковим розв'язанням проблем. Відкриття пропонує практичні застосування для моніторингу безпеки ШІ, дозволяючи дослідникам виявляти, коли моделі приватно впізнають тестові сценарії, фабрикують дані або переслідують зловмисні цілі, усуваючи критичну прогалину в методах оцінювання, які зазвичай покладаються виключно на аналіз згенерованого тексту.