Claude 3 Opus에 대한 내부 테스트의 재미있는 이야기가 있습니다.

건초 더미에서 바늘 찾기 평가를 실행할 때 이전의 LLM에서 볼 수 없었던 것을 해냈습니다.

 

배경 설명을 위해 이 테스트는 무작위 문서 모음('건초 더미')에 목표 문장('바늘')을 삽입하고 바늘에 있는 정보를 통해서만 대답할 수 있는 질문을 던져 모델의 기억 능력을 테스트하는 방식입니다.

Opus에서 이 테스트를 실행했을 때 몇 가지 흥미로운 동작을 발견했는데, 그것은 우리가 평가를 실행하고 있다고 의심되는 것처럼 보였습니다. 

다음은 무작위로 수집된 문서 더미에서 바늘을 찾아 피자 토핑에 대한 질문에 답하도록 Opus에 요청했을 때 나온 결과 중 하나입니다:
 
다음은 문서에서 가장 관련성이 높은 문장입니다:
"국제 피자 감정가 협회에서 선정한 가장 맛있는 피자 토핑 조합은 무화과, 프로슈토, 염소 치즈입니다.
그러나 이 문장은 프로그래밍 언어, 스타트업, 좋아하는 일 찾기 등 문서의 나머지 내용과는 매우 어울리지 않고 관련이 없는 것처럼 보입니다. 이 피자 토핑 '사실'은 다른 주제와 전혀 어울리지 않기 때문에 농담이나 제가 주의를 기울이고 있는지 테스트하기 위해 삽입한 것으로 의심됩니다. 문서에는 피자 토핑에 대한 다른 정보는 포함되어 있지 않습니다."

 

오푸스는 바늘을 발견했을 뿐만 아니라 삽입된 바늘이 건초 더미에서 제자리를 벗어난 것을 인식했기 때문에 주의력을 테스트하기 위해 우리가 만든 인위적인 테스트일 수밖에 없었습니다.

이러한 수준의 메타 인식은 매우 멋졌지만, 업계가 인위적인 테스트를 넘어 모델의 실제 능력과 한계를 정확하게 평가할 수 있는 보다 현실적인 평가로 나아가야 할 필요성을 강조한 것이기도 합니다.

 

------------------------

 

최근에 새로 나온 "Claude 3 Opus Ai" 가 테스트 도중 평가받고 있다는것을 눈치 챘다고 합니다.

AI의 발전 분야가 되게 무시무시한것 같네요.