마이크로소프트가 문장을 가지고 이미지를 생성하는 인공지능 기술을 개발했다고 발표했습니다.

 

 

'노란색 몸, 검은색 날개, 짧은 부리의 새'라는 문장을 가지고 만든 이미지. 

 

우선 새의 대략적인 윤곽을 그리고, 노란색 펜으로 칠하고, 검은색 펜으로 날개를 그리고, 짧은 부리를 더해서 새를 그렸습니다. 완성도를 높이기 위해 나뭇가지도 추가.

 

여기서 핵심은 Generative Adversarial Network, 문장에서 이미지를 생성하는 과정과 이미지가 문장에 맞는지를 판단하는 두개의 머신 러닝 모델을 결합합니다. 이런 기술은 NVIDIA도 선보인 바 있죠. 존재하지 않는 연예인 사진을 만드는 식으로.

 

마이크로소프트는 이미지와 이를 설명하는 문장으로 이루어진 데이터 세트를 가지고 인공지능을 훈련시켜, GAN의 문장에 '새'라고 써져 있으면 새를 그리고, 새 그림이 어떻게 보이는지도 학습합니다. 

 

또 사람이 그림을 그릴 때 반복해서 문장을 읽고, 그려야 하는 부분을 설명하는데 주의한다는 점에 주목, Attentional GAN라는 개념을 도입했습니다. 입력된 문장을 단어로 분할, 그 단어를 이미지의 특정 영역과 매치시켜 그림을 그려나갑니다.