생각과 말을 몸짓으로, 뇌-컴퓨터 인터페이스, 실제 생활에서 달라지는 것

말과 몸짓을 동시에 해석

말을 하기 어렵거나 몸을 움직일 수 없는 사람도 머릿속으로 떠올린 말을 전하고, 고개를 끄덕이거나 손짓하는 모습을 표현할 수 있다면 어떨까요?

 

미국 캘리포니아대 샌프란시스코(UCSF) 연구진이 말과 몸짓에 관련된 뇌 신호를 함께 해석해 가상 아바타로 표현하는 뇌-컴퓨터 인터페이스(BCI) 연구를 발표했습니다. 단순히 생각을 글자로 바꾸는 데서 나아가, 대화할 때 사용하는 말과 움직임을 함께 구현하려 했다는 점이 눈길을 끕니다.

 

다만 이번 연구는 소수의 참가자를 대상으로 진행한 초기 단계의 실험입니다. 지금 당장 누구나 사용할 수 있는 의사소통 기기가 개발됐다는 뜻은 아닙니다. 이번 연구가 무엇을 확인했고, 실제 생활에는 어떤 의미가 있는지 차근차근 살펴보겠습니다.

1. 말과 몸짓을 함께 읽는 뇌-컴퓨터 인터페이스, 어떻게 작동할까?

사람은 대화할 때 말만으로 뜻을 전달하지 않습니다. 상대방의 말을 들으며 고개를 끄덕이거나, 손을 들어 인사하고, 어깨를 으쓱하기도 합니다. 같은 말이라도 표정이나 몸짓에 따라 전달되는 느낌이 달라질 수 있죠.

 

그런데 발성이나 신체 움직임이 크게 제한된 환자는 이런 표현을 사용하기 어렵습니다. 근위축성측삭경화증(ALS)이나 뇌졸중 등으로 의사소통에 어려움을 겪는 사람에게는 자신의 의사를 전달할 수 있는 보조 수단이 중요합니다.

 

이번 연구에서 UCSF 연구진은 뇌 표면에 놓는 전극을 통해 신경 활동을 기록하고, 말과 몸짓에 해당하는 신호를 해독하는 방법을 시험했습니다. 여기서 중요한 점은 뇌 신호를 읽는다고 해서 사람의 모든 생각을 알아내는 것은 아니라는 사실입니다.

 

연구진이 정해진 과제를 수행하는 동안 나타나는 신경 활동을 분석하고, 학습된 말이나 동작으로 변환하는 방식입니다.

연구에는 중증 마비 환자 3명이 참여했으며, 그중 2명은 말과 몸짓을 가상 전신 아바타로 표현하는 실험을 진행했습니다.

 

참가자가 의도한 말은 문자로 나타내고, 몸짓에 해당하는 신호는 아바타의 움직임으로 연결했습니다. 예를 들어 고개를 끄덕이거나 손을 들어 올리는 동작을 표현하도록 훈련한 뒤, 해당 신호가 아바타 움직임으로 이어지는지 확인한 것입니다.

 

그렇다면 말과 몸짓을 동시에 해석하는 것이 왜 중요할까요?

실제 대화에서는 두 가지 표현이 따로따로 나타나지 않기 때문입니다. 연구진은 말과 몸짓을 함께 학습하는 방식이 해독 성능을 높이고 오류를 줄이는 데 도움이 될 수 있음을 확인했습니다.

 

다만 실험에서 사용한 표현과 과제는 제한적이므로, 모든 문장과 자연스러운 몸짓을 자유롭게 구현할 수 있다고 이해해서는 안 됩니다. 이번 연구의 핵심은 뇌 신호 하나로 모든 생각을 읽는 기술이 아니라, 특정한 의사소통 의도를 말과 움직임으로 함께 표현하도록 훈련한 시스템이라는 점입니다.

2. 실제 생활에서 달라지는 것, 아직 확인해야 할 점은?

이번 연구를 일상생활과 연결해 생각해 보면, 의사소통 보조기기가 어떤 방향으로 발전할 수 있는지 이해하는 데 도움이 됩니다.

예를 들어 손을 움직이기 어려운 사람이 기존 문자 입력 장치를 이용한다면, 글자를 하나씩 선택하거나 정해진 방식으로 입력해야 할 수 있습니다.

 

이번 연구와 같은 BCI가 발전하면 의도한 말을 문자로 전달하는 동시에, 고개를 끄덕이거나 손을 흔드는 동작도 아바타로 표현할 가능성이 있습니다. 가족과 영상 통화를 하거나 의료진에게 상태를 설명할 때 말과 몸짓을 함께 전달할 수 있다면, 상대방이 의도를 이해하는 데 도움이 될 수 있겠죠.

 

물론 이는 앞으로 기대할 수 있는 활용 사례이지, 이번 실험에서 실제 가정이나 병원에서 장기간 확인한 결과는 아닙니다. 현재 연구는 제한된 과제와 참가자를 대상으로 이뤄졌습니다. 실제 생활에서는 예측하기 어려운 대화 주제, 다양한 단어와 문장, 빠르게 바뀌는 몸짓을 안정적으로 해석해야 합니다.

 

또한 뇌 신호는 사람마다 다를 수 있고, 시간이 지나면서 신호의 특성이 달라질 수도 있습니다. 장기간 사용했을 때 정확도가 유지되는지, 사용자가 피로를 느끼지는 않는지, 전극을 사용하는 과정에서 안전성과 관리 문제가 없는지도 확인해야 합니다. 뇌에 전극을 삽입하는 방식이라면 수술과 장치 관리에 관한 부담도 고려해야 합니다.

 

기존 의사소통 보조기기와 비교할 때도 장단점을 함께 살펴볼 필요가 있습니다. 문자판이나 시선 추적 장치는 실제로 사용되는 방법이지만, 개인의 움직임이나 시각 기능, 입력 속도에 따라 활용 조건이 달라질 수 있습니다.

 

BCI는 움직임이 제한된 사람에게 다른 입력 경로를 제공할 가능성이 있지만, 이번 연구만으로 기존 장치보다 편리하거나 정확하다고 단정할 수는 없습니다.

 

궁금한 점	이번 연구에서 확인한 내용	아직 남은 과제
말과 몸짓을 함께 표현할 수 있나요?	제한된 실험에서 말과 몸짓 신호를 함께 해독하고 아바타로 연결했습니다.	다양한 문장과 자연스러운 동작으로 범위를 넓혀야 합니다.
모든 마비 환자가 사용할 수 있나요?	참가자 3명을 대상으로 연구했습니다.	더 많은 환자를 대상으로 성능과 사용 조건을 검증해야 합니다.
생각만 하면 아바타가 움직이나요?	훈련된 과제에서 뇌 신호를 해석해 정해진 표현으로 변환했습니다.	자유로운 일상 대화와 임의의 움직임을 구현하는 단계는 아닙니다.
기존 의사소통 기기를 대체하나요?	말과 몸짓을 함께 표현할 가능성을 보여줬습니다.	사용 편의성, 안전성, 비용, 장기 성능을 비교해야 합니다.

 

이번 연구는 마비 환자의 의사소통을 글자나 음성 출력에만 한정하지 않고, 말과 몸짓을 함께 표현하는 방향으로 확장했다는 데 의미가 있습니다.

 

앞으로 더 많은 환자를 대상으로 검증하고 기술이 개선된다면, 자신의 의사를 보다 풍부하게 전달할 수 있는 새로운 보조 수단으로 발전할 가능성이 있습니다.

 

연구 출처

• 논문명: Simultaneous speech and gesture decoding for multimodal communication in paralysis

• 발표일: 2026년 9월 14일

• 학술지: Nature Neuroscience

• 연구기관: 미국 캘리포니아대 샌프란시스코(UCSF) 연구진

• DOI: 10.1038/s41593-026-02446-2

논문 원문과 연구 내용을 확인할 수 있는 자료입니다.

Nature Neuroscience,  

PubMed,   

National Institutes of Health(NIH)