OpenAI는 인간에게 친화적인 인공지능을 만들고자 하는 연구 중심의 인공지능 업체입니다. 이곳에서 최근 새로운 인공지능 자연어처리(NLP) 모델인 GPT-3을 공개했는데, 그 성능이 대단한 것으로 알려졌습니다.

• 《인공지능신문》 OpenAI, 혁신적인 AI 자연어처리(NLP) 모델 'GPT-3' 공개 (2020-06-03)
  http://www.aitimes.kr/news/articleView.html?idxno=16599

이와 관련해서, 대단히 흥미로운 글을 읽었기에 여기에 전문을 번역하여 소개하고자 합니다. 원문 링크는 글 상단에 있습니다.
 

OpenAI의 GPT-3은 비트코인 이후로 가장 대단한 것일지도 모릅니다

2020년 7월 18일

요약: OpenAI의 새로운 언어예측모델(GPT-3) 베타 버전을 개인적으로 테스트한 결과를 공유합니다. 왜 제가 GPT-3이 블록체인 기술에 비견할 만한 파괴적인 잠재력을 지니고 있다고 생각하는지 설명합니다.

 

피터 틸(Peter Thiel), 일론 머스크(Elon Musk), 리드 호프먼(Reid Hoffman), 마크 베니오프(Marc Benioff), 샘 알트먼(Sam Altman) 등이 후원하는 비영리 인공지능 연구업체 OpenAI는 3세대 언어예측모델(GPT-3)을 오픈소스 생태계에 공개했습니다. 언어모델은 주어진 텍스트와 대략 같은 길이와 문법구조로 된 꽤 무작위한 문장을 컴퓨터가 생성할 수 있게 합니다.
 

제가 GPT-3로 실험하기 시작했을 때, GPT-3가 만든 문장을 bitcointalk.org 포럼에 게시했더니 이 시스템은 분명 지능이 있을 것이다(그리고/또는 빈정거릴 것이다)라는 등 그곳 이용자들로부터 많은 긍정적인 관심을 받았습니다. 그리고 그런 게시글에서 미묘한 패턴을 발견했습니다. 제 생각에는 GPT-3의 결과물을 다른 게시판이나 블로그, SNS에 다시 올려봐도 비슷한 결과가 나올 것 같습니다.
 

이전의 두 모델(PTB와 OpenAI GPT-2)과는 달리 OpenAI GPT-3는 글의 저자가 마치 관심있는 사람인 척 하는 데 널리 쓰일 것이며, 여러 커뮤니티에서 예측불능의 재미있는 영향을 미치리라 예상해 봅니다. 더 나아가서, 이것이 재능있는 아마추어들 사이에서 유사한 모델을 훈련시켜 뉴스 흉내(mock news), “연구된 저널리즘”(researched journalism), 광고, 정치, 선전선동 등 다양한 목적에 적용을 시도하는 창조적인 골드러시를 촉발할 것이라 예측합니다.

당신은 도움받고 있나요? (Are you being served?)

저는 여러 가지 이유로 bitcointalk.org를 실험의 대상 환경으로 선택하였습니다. 이곳은 다양한 종류의 게시글과 이용자가 있는 인기 있는 포럼입니다.
 

그래서 이곳은 GPT-3가 학습하고 배울 수 있는 많은 게시글이 있습니다. 또, 이 포럼에는 제가 좋아하지 않는 사람도 많습니다. 저는 그들이 지적이고 적절해 보이는 새로운 이용자가 생길 가능성을 두고 어울리지 않을 정도로 흥분하리라 기대합니다. 저는 이 포럼에서 몇 년 동안 상주했습니다. 제가 이미 답을 알고 있는 게시글이 많이 있으므로, GPT-3가 제가 다는 것과 비슷한 댓글을 얼마나 잘 다는지 빠르게 반응하고 측정할 수 있었습니다.
 

5월에는 관심있는 기술 주제 하나를 골라 매일 포스팅했는데, 제가 직접 쓴 글과 예전에 썼던 것을 GPT-3의 도움으로 바꾸어 표현한 글을 번갈아 올렸습니다. 이렇게 GPT-3로 향상시킨 글을 섞을 때 특별히 주의를 기울이지는 않았습니다. 저는 GPT-3가 앞서 말했던 내용을 보고 어떤 내용을 내놓을지에 관심이 있었습니다. 아래 표에 일부 결과가 나와 있습니다.
 

GPT-3도 PTB처럼 대개 포럼에 이미 있던 밈(meme) 외에 새로운 아이디어를 만드는 데는 어려움을 겪을 것이라 예상했습니다. 이 예측은 사실인 것 같습니다. 종종 봇이 만들어내는 밈이 근년에 이 포럼에서 굉장히 성공적이었으므로 이는 그리 놀랍지 않습니다. 그래도 GPT-3는 그 발언으로 저를 자꾸 놀라게 만들었으므로, 저는 이 시스템에 많은 개선의 여지가 있기를, 그리고 남들도 이것을 좋아하기를 희망합니다. 이는 “AI”와 함께 오는 것의 맛이며, “AI 혁명”은 정보 전쟁(information wars)에서 아직도 타오를 연료가 많이 남았다고 생각합니다.
 

제가 저 자신으로서 포럼에 글을 올릴 때, 사람들로부터 당신은 그렇게나 빠르게 글을 올리고, 아주 정확하고, 그리고/또는 남들과 같은 말을 하는 것으로 봐서 틀림없이 “봇”일 거라는 말을 자주 들었습니다. 아래 스크린샷은 GPT-3가 댓글을 단 여러 스레드의 코멘트를 보여줍니다. 이것들은 모두 bitcointalk.org에 지난 며칠간 달렸던 것입니다. GPT-3는 인기가 아주 좋았고, 현재 새로운 추종자를 끌어들이는 것으로 보입니다.

AI로 가는 길에서 (On the road to AI)

저는 요즘 OpenAI가 어떻게 최신 언어 모델을 구축했는지에 관한 팟캐스트를 시청하고 있었고, 이와 같은 시스템으로 무엇을 할 수 있는지 궁금해졌습니다. 이러한 기술의 응용분야와 이것이 우리의 삶을 어떻게 향상시킬 것인지에 대한 생각을 멈출 수가 없었습니다. 오직 GPT-3에서 출력되는 글만 올라가는 트위터같은 서비스를 만들면 얼마나 멋질지 생각하고 있었습니다.
 

이 시스템은 초기 프로토타입이며, 그 동작은 훈련된 진짜배기 AI에 비할 수는 없습니다. OpenAI GPT-3가 마치 댓글을 예측할 수 있는 것처럼 보이긴 하지만 항상 자기 게시글의 댓글을 예측하는 것은 아니며, 예측한 댓글에 적절한 경향성이 있거나 심지어 문법적으로 올바른 것도 아닙니다. 대개의 경우 설득력있는 댓글을 예측하는 프로토타입이 여기서 제가 설명한 GPT-3보다 훨씬 더 인상적이겠지만, 그렇게 하려면 아마도 수년간의 트레이닝과 수많은 모델 개선작업을 반복해야 할 것입니다. 저는 단지 OpenAI GPT-3과 같은 시스템이 유능한 인간 운영자의 손 안에서 무엇을 달성할 수 있을지 상상하고 있을 뿐입니다.
 

---

 

여기서부터 재미있는 부분 (Now for the fun part)

고백하겠습니다. 저는 위 글을 쓰지 않았습니다. bitcointalk에서 포스팅하는 것과 같은 실험을 한 적도 없습니다. (사실 최근 몇년간 거기 간 적도 없습니다!) 하지만 제 블로그에서는 했지요! 이 글은 모두 GPT-3가 쓴 것입니다. 혹시 알아채셨나요? 어제 OpenAI API 접근권한을 받은 뒤, 트위터에 몇몇 믿을 수 없는 결과들을 올렸습니다. 이 블로그 포스팅은 GPT-3의 엄청난 힘을 보여주려는 또다른 시도입니다. 다음은 제가 모델에 넣은 내용입니다. (이 홈페이지에서 복사했습니다)

마누엘 아라오즈(Manuel Araoz)의 개인 웹사이트
 

소개
저는 부에노스아이레스공과대학에서 컴퓨터공학을 전공했습니다. 저는 아르헨티나 부에노스아이레스에 있습니다. 저는 주로 암호화폐, 분산 시스템, 머신러닝, 상호작용, 로봇공학 분야에서 일했습니다. 저의 목표 중 하나는 기술을 통해 사람들에게 새로운 경험을 선사하는 것입니다.

저는 OpenZeppelin의 공동 설립자이자 CTO였습니다. 현재 저는 음악, 생물학+신경과학, 머신러닝, 물리학을 공부하고 있습니다.
 

블로그

2020년 7월 18일
제목: OpenAI의 GPT-3은 비트코인 이후로 가장 대단한 것일지도 모릅니다
태그: 기술, 머신러닝, 해킹
요약: OpenAI의 새로운 언어예측모델(GPT-3) 베타 버전을 개인적으로 테스트한 결과를 공유합니다. 왜 제가 GPT-3이 블록체인 기술에 비견할 만한 파괴적인 잠재력을 지니고 있다고 생각하는지 설명합니다.
본문:

그런 다음 모델이 생성한 내용을 띄어쓰기와 형식만 조금 수정해서 (다른 글자는 손대지 않았습니다) 그대로 복사했습니다. 글쓰기 스타일이 제 것과 어느 정도 일치한다는 느낌이 들 때까지 몇 번 (10번 미만) 다시 생성했고, 그대로 올렸습니다. 그리고 커버 이미지를 추가했지요. 제가 이 결과물의 품질에 놀란 것처럼 여러분도 놀랐기를 바랍니다.
 

어쨌든 저는 GPT-3가 지금까지 보아왔던 것 중에서 주요한 기술적 발전 중 하나라고 생각하며, 이를 더 많이 가지고 놀기를 기대하고 있습니다! 아주 이상한 시대가 앞에 놓여 있네요…
 

커버 사진: Unsplash의 Lenin Estrada
 

 

이제는 슬슬 글을 쓰는 직업군도 인공지능에 일자리를 위협받는 시대가 점차 다가오는 모양이로군요. 알파고님 충성충성충성^^7