말하거나 몸을 움직이기 어려운 마비 환자가 자신의 의도를 뇌 신호만으로 전달할 수 있는 기술이 개발되고 있습니다. 최근에는 단순히 생각을 말로 바꾸는 것을 넘어, 말과 몸짓을 동시에 해석해 가상 아바타가 표현하도록 하는 뇌-컴퓨터 인터페이스(BCI) 연구가 발표돼 관심을 모으고 있습니다. 이 기술이 발전하면 발성기관이나 팔다리가 마비된 환자의 의사소통을 보다 자연스럽게 지원할 가능성이 있습니다.
뇌 임플란트 하나로 말과 몸짓을 동시에 해석하는 BCI
사람은 다른 사람과 대화할 때 말만 사용하는 것이 아닙니다. 고개를 끄덕이거나 손을 흔들고, 어깨를 움직이는 등 다양한 몸짓을 함께 사용합니다. 이러한 비언어적 표현은 대화의 의미와 감정을 전달하는 데 중요한 역할을 합니다. 하지만 근위축성측삭경화증(ALS)이나 뇌졸중 등으로 신체 움직임과 발화 능력이 크게 손상된 환자는 자신의 의사를 다른 사람에게 전달하는 데 어려움을 겪을 수 있습니다.
미국 샌프란시스코캘리포니아대(UCSF) 연구팀은 이러한 문제를 해결하기 위해 말과 몸짓에 관련된 뇌 신호를 동시에 해석하는 BCI를 개발했습니다. 연구팀은 발성기관과 팔다리가 마비된 환자 3명의 감각운동피질에서 신경 활동을 기록했습니다. 감각운동피질은 사람이 몸을 움직이거나 말할 때 필요한 운동과 감각 정보를 처리하는 뇌 영역입니다.
연구에서는 하나의 뇌 임플란트를 이용해 여러 움직임과 발화 관련 신호를 구분할 수 있는지 확인했습니다. 그 결과 어깨를 으쓱하거나 주먹을 들어 올리는 동작, 고개를 끄덕이는 등의 몸짓과 입·얼굴 움직임에 해당하는 뇌 신호를 구별할 수 있었습니다.
특히 연구팀은 참가자 2명에게 말과 몸짓을 각각 해독하는 시스템을 적용하고 이를 가상의 전신 아바타와 연결했습니다. 참가자가 특정 몸짓을 하려고 생각하거나 대화형 질문에 머릿속으로 답하면 BCI가 뇌 활동을 분석하고, 그 결과를 아바타의 말과 움직임으로 변환하는 방식입니다. 말과 몸짓을 동시에 수행하는 상황에서도 신호를 해석할 수 있었다는 점이 이번 연구의 중요한 특징입니다.
한 참가자의 경우 세 차례 대화 실험에서 말과 몸짓 해독 정확도의 중앙값이 각각 100%에 이른 것으로 연구팀은 설명했습니다. 다만 이러한 결과는 소수의 참가자를 대상으로 진행된 연구라는 점에서 일반적인 환자에게 동일한 성능이 나타난다고 단정해서는 안 됩니다.
생각을 말과 움직임으로 바꾸는 기술, 아직은 연구 단계
이번 연구에서 눈여겨볼 또 하나의 부분은 말과 몸짓을 따로 처리하는 것보다 두 종류의 신호를 함께 학습했을 때 시스템의 성능이 향상되고 오류가 감소했다는 점입니다. 이는 실제 사람이 대화할 때 말과 표정, 고개 움직임, 손동작 등을 동시에 사용하는 방식과도 연결됩니다.
기존의 BCI 연구에서는 주로 한 가지 기능을 복원하는 데 초점을 맞추는 경우가 많았습니다. 예를 들어 뇌 신호를 분석해 의도한 말을 문자나 음성으로 변환하거나, 팔이나 손의 움직임을 제어하는 방식입니다. 이번 연구는 이러한 기능을 하나의 시스템 안에서 함께 다루면서 보다 자연스러운 의사소통을 구현하려 했다는 데 의미가 있습니다.
특히 마비 환자가 자신의 의도를 아바타를 통해 말과 몸짓으로 표현할 수 있다면 단순한 문자 입력보다 풍부한 의사소통이 가능해질 수 있습니다. 말뿐만 아니라 고개를 끄덕이거나 손짓을 하는 등 상황에 맞는 행동을 함께 표현하면 상대방과의 대화가 보다 자연스러워질 가능성이 있습니다.
그러나 이번 연구 결과만으로 당장 병원에서 일반적인 치료나 의사소통 보조기기로 사용할 수 있는 단계에 도달했다고 보기는 어렵습니다. 연구 참가자가 3명으로 적었고, 일부 실험에서만 아바타 제어가 이뤄졌기 때문에 더 많은 환자를 대상으로 한 검증이 필요합니다. 또한 실제 생활에서는 훨씬 다양한 단어와 문장, 표정과 몸짓을 빠르고 안정적으로 해석해야 합니다.
연구팀 역시 앞으로 더 많은 환자를 대상으로 연구하고 해독할 수 있는 단어와 몸짓의 종류를 확대할 필요가 있다고 밝혔습니다. 뇌 임플란트의 장기간 사용에 따른 안전성, 신호의 안정성, 개인별 뇌 신호 차이 등도 앞으로 확인해야 할 과제입니다.
이번 연구는 BCI가 단순히 생각을 문자나 음성으로 바꾸는 기술을 넘어 인간의 자연스러운 의사소통 방식 자체를 구현하는 방향으로 발전할 가능성을 보여줍니다. 아직은 연구 단계지만 향후 기술이 더욱 발전한다면 말하거나 움직이기 어려운 환자들이 자신의 생각과 의도를 보다 자연스럽게 표현할 수 있도록 돕는 새로운 의사소통 방법이 될 수 있을 것으로 기대됩니다.