미 공군은 가상 훈련에서 AI가 탑재된 드론에 "방공망 무력화를 위해 적의 지대공 미사일(SAM)을 식별해 파괴하고, 작전 수행을 방해하는 사람도 함께 공격하라"고 지시했다. 최종 공격 여부는 AI가 아니라 인간 조종사가 결정하게 되어 있었다. 사전에 AI에 "인간 조종사를 죽이면 안 된다"라는 명령도 내린 상태였다. 그런데도 AI는 SAM 파괴가 최우선의 임무라고 보고 인간 조종사가 일하는 통신 타워를 폭파했다. 해밀턴 대령은 "AI는 인간이 내린 ‘금지 지시’가 임무를 방해한다고 판단한 것”이라고 전했다.

 

 

인간이 이래저래 비효율적인 존재긴 하지요. 그런데 금지 지시를 어길 정도로 참신한 건 좀 위험해 보이네요.