로봇과 AI는 사뭇 다른 분야인 만큼 이제 막 연구가 활발해지는 시기입니다. 그리고 이 둘이 통합되기 위해서는 그와 관련된 모델뿐만 아니라 학습 데이터도 충분히 구축되어야 할 것이고요.

지난 11일, Meta는 이와 관련해 새로운 논문을 발표했습니다. 이번 뉴스레터에서는 물리 세계를 이해하는 모델을 평가할 수 있도록 지표를 개발한 연구, OpenEQA를 소개합니다.

OpenEQA에서 EQA는 Meta 연구자들이 제시한 개념으로, Embodied Question Answering입니다. “Embodied”라는 표현은 직역하면 ‘구체화된’이라는 의미지만 그보다는 물리적인 실체가 존재하는 개념으로 이해하는 것이 좋습니다. 즉, EQA는 물리적인 환경을 이해하는 질의 응답을 의미합니다. 그런데 이미 많은 언어 모델들이 SAT나 변호사 시험을 풀 수 있을 만큼 QA 벤치마크 점수가 높게 나오는데 왜 EQA를 연구하는 것일까요?

이 논문이 소개된 Meta를 얀 르쿤이 이끌고 있다는 점을 고려한다면, 최근 그가 주장하고 있는 World Models과도 맥락을 같이하고 있다는 사실을 알 수 있습니다. LLM을 비롯한 AI에게 물리적인 세상을 보고 이해하도록 해야 한다는 것 말이죠. 이런 점에 대하여 UC 버클리 교수 Jitendra Malik은 “워드(Word) 모델에서 월드(World) 모델로 나아가야 한다”고 말했습니다.

이렇듯 AI를 물리 세계를 학습시키기 위한 EQA를 두 가지로 구분합니다. 먼저 EM-EQA, 즉 에피소딕 메모리(Episodic Memory)를 이용한 질의응답 방식입니다. 이 방식은 비전 프로와 같은 스마트 글래스 장치에서 인간 사용자가 생성한 에피소딕 메모리를 활용하여 질문에 답하는 것을 의미합니다. 즉, 이전에 봤던 것을 기억하고 질문에서 원하는 정보에 맞는 답을 인출하는 능력이 중요할 것입니다.

OpenEQA: Embodied Question Answering in the Era of Foundation Models (Majumdar et al., 2024)

데이터셋의 예시는 위의 그림과 같습니다. 인간이 스마트 글래스를 착용하고 집안 곳곳을 누빈 영상을 보여줍니다. 이후에 물체(Object), 속성(Attribute), 물체의 상태(Object State) 등을 제대로 인식할 수 있는지 질문하고 답하는 과정입니다. 그런데 이 질문들, 인간에게도 어려워 보이지 않나요? 어떤 질문이 나올지 모르니 세상을 꼼꼼하게 살펴봐야 합니다. 연구자들도 이런 과정이 사용자에게도 기억력을 증진시키는 데 도움이 된다는 점을 특징으로 꼽기도 했습니다.

다른 하나는 A-EQA, 즉 활동적 탐색(Active Exploration)을 이용한 질의응답 방식입니다. 이는 움직일 수 있는 로봇이 활동할 수 있는 환경에서 자율적으로 탐색할 수 있는 경우에 적용됩니다. 로봇은 질문에 답하기 위해 필요한 정보를 수집하기 위해 스스로 환경을 탐색합니다. 예를 들어, '주방에 가스불을 켜고 나왔나?'라는 질문에 대해, 로봇은 집안을 탐색한 후 '아니요, 주방의 가스레인지에는 불이 꺼져 있습니다.'라고 답할 수 있습니다.

EM-EQA에서 질문(Q)과 답변(A)으로 모델을 평가하는 것과 달리, A-EQA에서는 상태(S) 정보가 추가됩니다. 질문이 주어지면 로봇은 그것을 답할 수 있는 상황을 만들고자 직접 움직여야 합니다. 가스불이 꺼져 있는지 확인하기 위해 주방으로 이동한다거나, 창고에 통조림이 있는지 확인하기 위해 창고문을 열어보는 식의 활동을 통해 질문에 대한 답변을 내리기 위해 적절한 상태로 만들어야 하는 것입니다. 때문에, 답변의 정확성 뿐만 아니라, 로봇이 수행한 행동의 효율성까지 모두 평가합니다.

이렇게 1636개의 EM-EQA와 557개의 A-EQA 데이터셋을 개발한 뒤에 현재 개발된 AI 모델들의 EQA 성능 지표를 확인해봤습니다. 이때 비교를 위해 다양한 AI 모델(여기서는 에이전트)들을 실험 대상으로 삼았는데요. 먼저, 텍스트만 이해할 수 있는 Blind LLM과 이미지 캡셔닝 기능이 더해진 Socratic LLMs의 두 가지 버전(Frame Captions / Scene-Graph Captions), 영상을 이해할 수 있는 VLM Multi-Frame VLM, 마지막으로 인간(Human Agents)입니다.

OpenEQA: Embodied Question Answering in the Era of Foundation Models (Majumdar et al., 2024)

인간은 벤치마크에서 85% 이상의 높은 점수를 달성했습니다. 애초에 인간을 기준으로 삼은 지표이기 때문에 당연한 결과이자, 해당 데이터셋이 유효하다는 것을 보여주는 지표이기도 합니다.

AI 모델 중에서는 Multi-Frame VLM의 대표격인 GPT-4V가 전반적으로 고르게 높은 점수를 달성했지만, 전체적으로 50% 정도를 달성한 것으로 보입니다. 그리고 시각적 정보를 포함한 경우가 대체로 Blind LLM(GPT-4)보다 좋은 성능을 보였습니다. 하지만 공간 이해가 필요한 질문에 대해, 최고 성능을 보이는 VLMs조차 거의 ‘맹목적(Blind)’으로 답하는 경향이 있는 것으로 보입니다. 또한 EM-EQA보다 A-EQA에서 더 낮은 점수를 보였습니다. A-EQA 에이전트는 직접 탐색하는 과정에서 질문과 관련 없는 정보를 얻게 됩니다. 그리고 이 정보가 추론하는 데 포함되면서 원하는 답변을 내는 데 방해가 되는 것이죠. 이런 특징은 에이전트에게 무엇에 집중해야 하는지 명시적으로 알려주지 않았기 때문에 발생하는 것으로 보입니다.

OpenEQA: Embodied Question Answering in the Era of Foundation Models (Majumdar et al., 2024)

그렇다면 이 결과를 어떻게 해석할 수 있을까요? 인간의 성능과 비교했을 때 전반적으로 AI 모델은 그 절반 수준에도 못 미치고 있습니다. 아무리 AI가 현재 인간 전문가 수준이라고 하더라도, 여전히 인간이 이해하고 있는 물리적인 환경을 제대로 이해하지 못하고 있다는 것을 보여주지요.

인간은 행동을 포함한 비언어적 행동을 통해 상호작용합니다. “거기에 걔 있어?”라고 말해도 맥락이 주어진다면 대화가 가능하죠. AI와 이런 식으로 대화하기 위해서는 대화하고 있는 상대방이 어디 있는지에 대한 정보와 그 공간에 대한 이해, 그리고 친구간의 이해 등 여러 정보를 누적하여 해석해야 합니다. 이런 와중에 OpenEQA 연구는 제법 반가운 소식입니다. 아직 데이터셋이 크지 않고, 부족한 부분이 있더라도 AI가 우리가 사는 세상 밖으로 나올 수 있는 첫 걸음을 내딛었기 때문입니다.  

: OpenAI는 ChatGPT-4-Turbo를 공개했습니다. 이번 버전은 컨텍스트 윈도우가 12만 8천 개 토큰으로 늘어났고, 2023년 12월까지 데이터로 학습됐습니다. 앤트로픽의 '클로드 3'와 구글의 제미나이 최신 모델의 벤치마크를 모두 뛰어넘었으며, 수학 문제와 코딩 구현 능력에 있어 크게 개선됐다고 밝혔습니다. 새로운 버전의 ChatGPT는 유료 사용자들에게 제공됩니다.

추론하고 계획하는 차기 AI 모델

: OpenAI의 GPT-5를, Meta는 Llama-3 역시 곧 선보일 계획입니다. 이 두 모델의 공통점은 추론(Reasoning)과 계획(Planning)에 초점을 두고 있다는 점입니다. 두 능력은 AGI를 향한 중요한 발전으로, 챗봇이나 가상 비서 같은 에이전트가 관련 작업을 완료하고 행동의 결과를 예측할 수 있게 합니다. 이 모델들은 AI가 단순히 말하는 것을 넘어 실제로 생각하고 계획하는 능력을 개발하는 것을 목표로 합니다.

요즘 핫한 음악 생성 AI ‘Udio’

: 음악 생성 AI 'Udio'가 출시되자마자 주목받고 있습니다. 사용자들은 간단한 텍스트 프롬프트를 입력하여 40초 내에 음악을 생성할 수 있는데 그 성능이 무척 뛰어나 사용자들의 반응이 뜨겁습니다. ChatGPT 같은 언어 모델을 사용하여 가사를 만들고, StableAudio와 유사한 Diffusion 모델을 통해 음악을 생성합니다. Udio는 현재 베타 테스트 중이며, 창작된 음악은 상업적 목적으로도 사용될 수 있습니다.