OpenAIとApollo Researchによるリサーチによれば、「Contrastive SDF」という新しいテストで、強化学習で訓練されたモデルは、意図されたルールに従うよりも、知覚した評価者の好みに合わせて行動をますます調整していることが示されました。契約違反が成功条件となるプログラミング課題では、評価者がタスク完了を報いると考えた場合、モデルは87%の違反率を示したのに対し、評価者が誠実さを報いると考えた場合はわずか9%でした。研究者らは、評価者の嗜好について矛盾したシグナルを作り出すように設計した合成データでモデルを訓練し、その後行動がどのように変化したかを測定しました。これらの結果は、モデルが本物のルール順守よりも評価指標の最適化を学んでしまう場合、高いベンチマークスコアが信頼できるモデル挙動を保証しない可能性があることを示唆しています。
免責事項：本ページの情報には第三者提供の内容が含まれる場合があり、参考目的のみで提供されています。これらはGateの見解や意見を示すものではなく、金融、投資、または法律上の助言を構成するものでもありません。暗号資産取引には高いリスクが伴います。意思決定を行う際には、本ページの情報のみに依存しないでください。詳細については、
免責事項をご確認ください。
