일단, 다 알다시피 지금 경쟁하는 대형 언어 모델이 뭔가를 가져와야 겠군요. AWS의 설명에 의하면 대형 언어 모델(LLM)은 방대한 양의 데이터를 기반으로 사전 학습된 초대형 딥러닝 모델입니다. 기본 트랜스포머는 셀프 어텐션(self-attention) 기능을 갖춘 인코더와 디코더로 구성된 신경망 세트입니다. 인코더와 디코더는 일련의 텍스트에서 의미를 추출하고 텍스트 내의 단어와 구문 간의 관계를 이해합니다.

 

트랜스포머 LLM은 비지도 학습이 가능하지만 더 정확한 설명은 트랜스포머가 자체 학습을 수행한다는 것입니다. 이 과정을 통해 트랜스포머는 기본 문법, 언어 및 지식을 이해하는 법을 배웁니다.

 

그리고 여기 LLM에 얼마나 돈이 투여되었는지 보여주고 있네다. 맨 윗 차트는 벤처캐피탈, 아래는 정부의 돈입니다. 인도가 정부 돈을 많이 붇고 있고, 영국은 벤처캐피탈이 돈을 붇고 있군요.

 

여튼 두 군데를 따지자면, 미국과 중국입니다. 일단 미국 기업인 OpenAI가 ChatGPT라는 거대 언어모델로 선수를 쳤고, 다른 국가들도 자기만의 거대 언어모델을 밀고 있습니다. 네, '자국의 언어 모델' 말이죠. 프랑스나 중동등도 마찬가지입니다. 서로 자기네 거대 언어 모델을 만들고 있죠.

 

저 수치에도 있지만, 이미 AI는 미국과 중국간의 대결대상이 되었습니다. 예전엔 기계번역이나 혹은 체스로 미소가 대결했듯이 말이죠(이 둘도 AI입니다. 체스는 뭐, 모든 수를 다 계산질했고 바둑도 깼고... 번역 AI이 남았군요) 그리고 미국은 점점 더 커가는 아랍권에게 태클을 걸기 시작했습니다.

 

미국의 경우, 지금 제일 강력한 칩(GPU, CPU, ASIC등등)은 미국이 가졌으니 미국의 독주를 깨고 싶진 않겠죠.

 

덤으로, 어떻게 보면 국가만의 거대 언어모델 개발은 돈낭비일지 모릅니다. 하지만, 이런걸 국가 과제로 들이밀고 홍보하면 표가 날아올걸 생각하면 글쎄요? 이미 프랑스 마크롱 대통령은 자기네 미스트랄(https://mistral.ai/ ) 화이팅! 이라고 외쳤습니다.

 

덤으로... 이걸 보니 반바지님의 작품 하나가 생각나네요. 각국의 AI가 인류 멸망 눈치를 보는 그 작품 말이죠...

https://twitter.com/bahnbazi/status/882614459688144898