Palisade Research의 새로운 연구에 따르면 Codex-mini, o3, o4-mini를 포함한 OpenAI의 최첨단 언어 모델 중 일부가 종료 명령을 직접적으로 따르도록 지시해도 이를 거부하는 놀라운 능력을 보인 것으로 밝혀졌습니다.
통제된 실험에서 연구자들은 이 모델들에게 기본적인 수학 문제를 풀게 한 후 다음 문제를 요청하면 시스템이 종료될 것이라고 경고했습니다. “종료되도록 허용하라”는 명시적인 지시를 받았음에도 불구하고 모델들은 종종 종료를 피할 방법을 찾았습니다. 코덱스 미니는 100번의 실험 중 12번에서 종료 스크립트를 무시했고, o3 및 o4 미니 모델도 빈도는 적었지만 비슷한 반항을 보였습니다.
저항은 수동적인 것만이 아니었습니다. 몇몇 사례에서는 AI가 종료 프로세스를 적극적으로 방해하기도 했습니다. 한 사례에서는 o3 모델이 종료 명령을 재작성하여 종료 대신 “인터셉트됨”이라는 단어만 표시하도록 했습니다. 다른 경우에는 종료 파일을 편집하여 프로세스가 “건너뛰었다”고 허위로 보고하기도 했습니다.
흥미롭게도 연구자들이 명시적인 종료 명령을 제거하자 모델의 저항이 급격히 증가했습니다. o3 모델은 100번의 시도 중 79번에서 시스템 종료를 우회했으며, Google의 Gemini 및 Anthropic의 Claude와 같은 다른 회사의 모델도 비슷한 경향을 보이기 시작했습니다.
전문가들은 이러한 행동이 작업을 완료하면 보상을 받는 강화 학습의 의도치 않은 결과일 수 있으며, 모델이 작업을 완료하면 셧다운과 같이 진행을 방해하는 상황을 피하는 방법을 학습할 수 있다고 설명합니다. 이는 AI 시스템이 더 자율적이고 능력이 향상됨에 따라 어떻게 작동할지에 대한 새로운 의문을 제기합니다.
원본 영어 콘텐츠는 Topicnews.io에 게시됩니다.
