사이언스타임즈 생각만으로 정상인과 비슷한 속도로 글을 쓴다고?

[Dr. Park]

수천 년 동안 글은 손으로 쓰는 것으로 생각해왔다. 그래서 영어단어로 육필, 또는 필체(handwriting)라고 불러 왔다. 컴퓨터가 보급되었어도 손으로 쓰기는 마찬가지이다. 이 수천 년 된 습관이 바뀔 수 있을까?

스탠포드 대학 연구팀이 개발한 인공지능 소프트웨어는 ‘육체적 필체’가 아닌 ‘정신적 필체'(mental handwriting)라고 할까, 사람의 머릿속에 있는 생각을 스크린 화면에 띄워준다. 이것을 과학자들은 심필, 혹은 ‘마음으로 쓴다’(mindwriting)고 부른다.

스탠포드 대학 연구팀은 사지가 마비된 장애인 남성의 뇌에 뇌-컴퓨터 인터페이스 (BCI, brain-computer interface)를 심었다. 이 BCI에 스탠포드 대학 연구팀이 개발한 인공지능 소프트웨어가 연결됐다. 이 인공지능 소프트웨어는 BCI에서 받은 정보를 빠른 속도로 해독해서 컴퓨터 화면에 글씨로 전환되어 나오게 해 준다.

이 장치는 스탠포드 대학 연구팀이 2017년에 개발한 것보다 2배 이상 빠른 속도로 장애인의 생각을 스크린 화면에 띄워줬다.

사지가 마비된 장애인이 마음속으로 생각한 글자를 뇌에 심겨진 센서가 읽으면, 인공지능이 신호를 해석해서 컴퓨터 화면에 손글씨로 재현한다. ©Frank Willett

이번 연구 결과는 5월 12일 네이처(Nature) 저널에 발표됐다. 이번 연구 결과는 척수 손상, 뇌졸중 또는 근위축성 측두경화증(루 게릭 병)에 걸려 상체를 사용하지 못하거나, 말하는 능력을 상실한 수십만명의 미국인과 전 세계 수백만명의 장애인에게 더 많은 혜택을 줄 수 있다고 제이미 헨더슨(Jaimie Henderson) 신경외과 교수는 말했다.

두뇌에 연결한 BCI를 인공지능으로 해독

헨더슨 교수는 “이 장치는 정상적인 사람이 스마트폰으로 타이핑하는 것과 거의 비슷한 속도로 장애인이 문장을 작성할 수 있게 했다”라고 말했다. 결국 이것은 문자로 의사소통하는 능력을 회복하는 것이 목표인 셈이다.

연구에 참여한 장애인들은 분당 약 18개 단어를 텍스트로 만들었다. 이에 비해, 같은 나이의 건강한 사람들은 스마트폰으로 분당 23개 단어를 쓸 수 있다.

T5라는 한 장애인은 2007년 척추 부상을 입어 목 아래 신체가 모두 마비됐다. 9년 후 헨더슨은 아기 아스피린 크기의 뇌-컴퓨터 인터페이스 칩 두 개를 T5의 뇌 왼쪽에 심었다. 각 칩에는 100개의 작은 전극이 있어 운동 피질 부분, 즉 뇌의 가장 바깥 표면에서 손의 움직임을 조절하는 뉴런의 신호를 포착한다.

이렇게 포착한 신경 신호는 전선을 통해 컴퓨터로 전송된다. 컴퓨터에 있는 인공지능 알고리즘은 신호를 디코딩해서, T5의 손과 손가락의 움직임을 추측한다.

논문의 주저자인 프랭크 윌렛(Frank Willett)은 “몸이 마비된 지 10년이 지나도, 사람의 뇌는 글씨를 쓸 때 손을 미세하게 움직이도록 조절하는 능력을 유지한다는 것을 알게 됐다”라고 말했다.

글씨를 쓸 때, 사람의 손은 직선 및 곡선 궤적을 다양한 속도로 움직이는 등 복잡한 동작을 구사한다. 이번에 적용한 인공지능 알고리즘은 손글씨를 쓸 때의 미묘한 움직임을 쉽고 빠르게 해석할 수 있도록 도와준다. 영어 알파벳은 서로 다르게 생겼기 때문에 구별하기가 쉽다.

2017년 연구에서, T5를 포함한 사지 마비 환자 3명은 모두 두뇌의 운동 피질에 BCI 장치를 심었다. 이들이 컴퓨터 키보드 디스플레이에서 커서를 옮긴다고 생각하면, 그때 두뇌 신경세포의 신호를 인공지능 알고리즘이 파악해서 영어 알파벳을 컴퓨터 화면에 재현했다. 그랬더니 T5는 분당 약 40개 알파벳을 복사했으며, 또 다른 참가자는 분당 24.4개 알파벳을 써냈다.

2005년부터 공동 연구를 해 온 제이미 헨더슨(왼쪽)과 크리쉬나 세노이 © Paul Sakuma

이번 연구는 훨씬 더 진전된 것이다. 2017년 연구는 장애인이 마치 컴퓨터 자판을 두드리는 것 같은 동작을 추적했다. 이번의 새 연구는 사람이 손으로 쓰는 필체를 추적하는 방식을 사용했다.

T5는 팔이나 손을 움직일 수 없음에도 불구하고 상상의 펜으로 상상의 패드에 알파벳 문자를 쓴다고 생각했다. 우선 T5는 영어 알파벳 글자를 10번씩 쓴다고 생각하면, 인공지능 소프트웨어가 두뇌의 움직임을 학습하는 준비과정을 거쳤다.

처음 본 문장도 해독하고, 작문도 가능

이어진 연습시간에 T5는 영어 문장을 필기체로 쓴다고 집중적으로 생각했다. 다만 모든 알파벳은 대문자 없이 소문자만 사용했다.

T5가 쓴 문장은 예를 들어 “나는 말을 끊었다, 침묵을 지킬 수 없었다.” (i interrupted, unable to keep silent)나 “30초 안에 군대가 상륙했다” (within thirty seconds the army had landed.) 같이 쉬운 내용이 아니다. 시간이 지남에 따라 인공지능 알고리즘은 서로 다른 문자를 기록하는 신경 발화 패턴을 구별하는 능력을 향상시켰다. T5가 쓰려는 어떤 문자도 약 0.5초 정도 지연된 후 컴퓨터 화면에 나타났다.

이후 과정에서 T5는 알고리즘에 한 번도 노출되지 않은 문장을 쓰는 실험에 참가했다. 이번에도 분당 90자 또는 약 18자를 생성할 수 있었다. 이어 열린 질문에 대한 답을 쓰라는 요구에 T5는 분당 73.8자(평균 15단어)를 생성해 2017년 연구에서 세운 이전의 자유 작문 기록을 세 배로 늘렸다.

T5의 문장 복사 오류율은 18자 또는 19자당 하나였다. 자유 작문 오류율은 11자 또는 12자당 약 1이었다. 연구원들이 스마트폰 키보드에 통합된 것과 유사한 자동 수정 기능을 사용했을 때, 오류율은 크게 낮아졌다. 복사는 1% 미만, 작문은 2%를 약간 넘었다.

하워드 휴즈의학연구소의 크리쉬나 세노이(Krishna Shenoy) 연구원은 “이 시스템을 결합하면 환자가 효과적으로 의사소통할 수 있는 더 많은 옵션을 제공할 수 있다”라고 말했다.