절강대학 소프트웨어학원 부교수 주성은 컴퓨터 과학 분야의 오랜 연구원으로, 그들 연구팀은 오래동안 정보 접근성 분야에 깊이 몰두해왔다. 중국점자도서관을 방문한 한차례의 경험이 그의 연구 방향을 완전히 바꿔놓았다.

그날은 우연히 무장애영화 상영일과 겹쳤다. 어두운 상영관에서 스크린에 비치는 영상과 함께 한쪽에서 흘러나오는 전문 성우의 목소리가 관객들에게 이야기의 륜곽을 그려주었다. 화면이 ‘소리’로 번역되면서 시각장애인 관객들도 일반인들과 마찬가지로 영화의 세계에 푹 빠져들었다. 이런 경험은 단순한 오디오북이나 텍스트로는 결코 대체할 수 없는 것이다.

영화가 끝난 후 제작진들의 지친 얼굴에 배여있는 만족스러운 표정이 주성을 감동시켰다. 그들은 수작업으로 한 편의 무장애영화를 만들기 위해 수백시간을 투자하고 있었다. 주성은 이 무거운 사랑에 강력한 날개를 달아주고 싶었다고 한다. 돌아오는 길에서 그의 연구팀 팀원들은 흔들리는 차체 속에서도 열띤 토론을 벌렸고, 키보드 두드리는 소리와 함께 아이디어의 불꽃이 튀였다. 그 순간, 그들은 인공지능으로 이 사랑의 전달 속도를 높이기로 결심했다.

그들의 연구팀이 개발한 ‘EagleMovie’라는 지능형 제작시스템의 핵심 기능은 세가지 AI 엔진의 정교한 협업을 통해 탄생했다. 먼저 ‘공간 포착자’가 음성 인식과 문자 인식 기술을 융합해 영화 음향에서 내레이션을 삽입할 적절한 공간을 정확히 찾아낸다. 다음으로 ‘비전 해설사’가 작동하는데, 이 멀티모달 대형 모델 기반 시스템은 화면 속 달리는 자동차, 흩날리는 벚꽃, 심지어 등장인물의 눈물 어린 미소까지 해석할 수 있다. 그들이 가장 자랑스러워하는 점은 이 시스템이 “바람이 그녀의 진홍색 스카프를 말아올렸다. 그것은 꺼질 줄 모르는 불꽃처럼 보였다”와 같은 문학적 표현으로 장면을 묘사할 수 있다는 것이다.

AI가 생성한 텍스트가 엄격한 검증을 거치면 ‘소리 마술사’가 등장한다. 연구팀이 훈련한 음성 합성 시스템은 속도와 감정 농도를 조절해 내레이션을 원본 음향과 자연스럽게 혼합한다. 예전에는 전문가들이 일주일에 걸려 완성하던 작업이 이제 AI의 도움으로 몇시간으로 단축되였다. 첫 무장애영화들이 점자도서관을 통해 시각장애인들에게 전달되였을 때, 그들은 목메인 소리가 섞인 음성메시지를 받았다.

“슈퍼맨 망또가 휘날리는 소리가 이런 거였군요!”

절강특수교육직업학원에서 시각장애 학생들은 주성의 인식을 완전히 바꿔놓았다. 한 남학생이 점자 노트를 만지며 말했다.

“선생님, 제가 왜 항상 교실 첫 줄에 앉는지 아세요? 영화를 ‘들을’ 때는 각 등장인물의 발소리까지 마음속에 새겨야 하거든요.”

그들이 원하는 것은 단순한 이야기가 아니라 영상을 통해 사회의 정서와 공명할 수 있는 권리였다. 이 갈망은 무거운 부담으로 그들 연구원들의 어깨를 짓눌렀다.

현재 AI는 드라마의 복잡한 장면을 리해하는 데 여전히 한계가 있으며 실시간 방송 해설은 더 큰 도전이다. 한 번의 테스트에서 시스템이 사극에 등장하는 옥패를 휴대전화로 잘못 설명하는 바람에 그들은 범용 시각 리해 능력의 발전이 여전히 필요함을 깨달았다. 더 중요한 것은 산동의 시각장애 로인과 상해의 맹인 아동 모두가 자신의 언어 습관에 맞는 해설을 들을 수 있도록 하는 방법이다. 맞춤형 적용이라는 난제는 연구팀을 더 정교한 알고리즘 개발로 이끌고 있다.

주성은 “더 많은 자원봉사자들이 고향 사투리로 무장애 영화 록음을 시작하고 동영상 플랫폼들이 AI 해설 플러그인 인터페이스(插件)를 개방함에 따라 기술의 온기는 종당에는 견고한 장벽을 녹일 것이다.”라고 말했다.

“이 길은 끝이 없지만, 시각장애 관객들로부터 감사 음성 메시지를 받을 때마다 나는 확신한다. 우리가 추구하는 목표가 한 걸음 한 걸음 현실이 되여가고 있음을.”

　　광명일보