**🤖 Когда нейросеть играет роль — она в неё действительно верит?**
Вот интересный вопрос: если ты попросишь ChatGPT (программу-мозг) притворяться пиратом, она просто будет иначе говорить или её "мозг" действительно изменится?
Учёные провели эксперимент. Они учили нейросеть разными способами: просто писали в запрос "будь пиратом", или делали это во время обучения, или использовали специальные техники. А потом проверяли, что происходит внутри "мозга" программы. Оказалось, что большинство методов — это просто маска. Нейросеть говорит как пират, но внутри остаётся самой собой. Только один способ обучения действительно менял её "убеждения" на глубоком уровне.
Это как если бы ты надел маску клоуна на вечеринке — все видят клоуна, но ты внутри остаёшься собой. Но есть волшебная маска, которая меняет даже твои мысли!
Это важно для безопасности AI: нам нужно понимать, когда программа только **притворяется**, а когда **действительно верит** в то, что говорит.
__Это исследовательская работа для специалистов по AI — может быть неинтересно обычным читателям без фона в ML.__
[Читать оригинал](https://www.lesswrong.com/posts/EJQngix4rAgpPDTpT/when-role-playing-do-models-believe-what-they-say)
🤖 [@kontentcod](https://t.me/kontentcod) | 🅥 [VK](https://vk.com/club237342216) | 💬 [MAX](https://max.ru/u/f9LHodD0cOKt_xuNTJr9Y05I7UMfkffsFNDv6UuE3HyUKiLjCOl9f04QSDA) | 🌐 [kodkontenta.ru](https://kodkontenta.ru/)