우리는 챗GPT와 같은 생성형 AI가 가끔 엉뚱한 거짓말을 늘어놓는 현상을 환각, 즉 할루시네이션이라고 부릅니다. 세종대왕이 맥북을 던졌다는 식의 답변은 픽 웃고 넘기면 그만입니다. 하지만 AI라는 두뇌가 로봇이라는 육체를 입게 되면 이야기는 완전히 달라집니다. 화면 속의 거짓말이 현실 세계의 물리적인 사고로 이어질 수 있기 때문입니다.

최근 로봇 공학계에서는 이를 두고 물리적 환각이라는 표현을 조심스럽게 사용하기 시작했습니다. 예를 들어 AI가 탑재된 가사 도우미 로봇에게 시원한 음료수를 가져다 달라고 명령했다고 가정해 봅시다. 로봇은 과거의 데이터를 바탕으로 주방 세제를 파란색 스포츠 음료로 착각하여 주인에게 건넬 수도 있습니다. 혹은 짐을 옮기던 로봇이 장애물을 인식했지만, AI의 판단 오류로 인해 그것을 뚫고 지나가도 되는 홀로그램 쯤으로 여기고 돌진할 수도 있습니다.

채팅창에서의 실수는 정보를 바로잡으면 해결되지만, 로봇의 실수는 컵을 깨뜨리거나 가구를 부수고, 심지어 사람을 다치게 할 수도 있습니다. 이것이 바로 로봇 AI 리스크 관리가 소프트웨어 검증보다 훨씬 더 까다롭고 중요한 이유입니다. 소프트웨어 버그는 패치로 수정할 수 있지만, 물리적인 사고는 되돌릴 수 없기 때문입니다.

따라서 AI 로봇 상용화의 핵심은 얼마나 똑똑한가보다 얼마나 안전하게 멈출 수 있는가에 달려 있습니다. 로봇이 확신을 가지지 못하는 상황에서는 스스로 동작을 멈추고 사람에게 되묻는 기능, 그리고 AI 판단과 별개로 작동하는 물리적인 안전 차단 장치, 즉 킬 스위치의 의무화가 논의되어야 합니다.

기술의 발전 속도만큼 중요한 것은 안전장치입니다. 화려한 로봇의 동작 뒤에 숨겨진 물리적 리스크를 직시할 때, 우리는 비로소 로봇을 진정한 동료로 맞이할 준비가 되었다고 할 수 있을 것입니다.

와이에스엠경영컨설팅 윤수만 소장