신경과학자가 말하는 AI가 블랙박스가 되는 이유

이해하기 어려운 인공지능

인공지능(AI)이 하고 있는 것을 이해하거나 예측하기 어려운 것을 설명할 때 자주 사용되는 용어는 “설명가능(explainability)” 또는 “해석가능(interpretability)” 같은 용어를 사용합니다.

AI를 개발하고 프로그래밍한 전문가들에게도 동작원리를 이해하는 것이 어려운 이유는 무엇일까요? 
신경과학자이면서 컴퓨터 과학자인 브레이크 리처즈(Blake Richards)는 "AI는 특정 목적을 위해 설계된 것이 아니라 최적화 기술을 사용하여 설계되었기 때문"이라고 답하고 있습니다.
그는 'AI의 아버지'로 불리며 딥 러닝 시스템을 발명한 제프리 힌턴의 조수를 맡은 적이 있는 AI 전문가입니다.  ChatGPT나 Bard 등 LLM(대규모 언어 모델)의 기반이 되는 기술이 인간의 신경회로를 모방한 인공 신경망으로 구성된 딥러닝입니다.

AI 모델의 정밀도는 문장이나 이미지 등의 데이터를 사용하여 인공 뉴런을 학습시킴으로써 향상됩니다.
그러나 AI의 정확성과 설명 가능성은 트레이드오프 관계에 있습니다. 이러한 시스템은 우리에게 이해하기 어렵기 때문에 AI 모델은 블랙박스화되어 있다고 합니다.

결정 이론과 AI 전문가인 엘리에젤 유드코스키(Eliezer Yudkowsky)도 AI를 "거대하고 불가해한 부동 소수점 수의 행렬"로 표현하고 있습니다.
"대부분의 AI 모델은 인과 관계가 아닌 관계를 도출합니다. AI는 데이터 패턴을 발견하지만 왜 패턴이 있는지 정확하게 알 수 없습니다.  즉, AI는 원인을 이해하지 않고 추측할 수 있도록 학습되었습니다. 따라서 AI가 어떻게 판단했는지를 인간이 이해하기는 어렵다”라고 통신사에서 CTO(최고기술 책임자)를 맡는 알라 네게다(Ala Negeda)는 말합니다.

인간의 뇌도 블랙박스

사실, 인간의 뇌도 이해하기 어려운 구조로 되어 있습니다.
힌튼 연구실에서 조수를 맡은 리처스는 영국의 옥스퍼드 대학 대학원에서 신경과학을 배웠습니다.
그는 현재 자신의 실험실에서 신경과학과 AI에 걸쳐 연구를 하고 있으며, 딥 러닝 AI가 인간의 뇌를 모델로 하고 있는 것을 생각하면 "해석 가능성의 문제는 놀라울만하다"라고 말합니다.
또한, "인간의 뇌에 전극을 끼워서 그 움직임을 관찰하면 개별 뉴런이 무엇을 하고 있는지를 해석하는 것은 매우 어렵고 이는 현재 생성 AI처럼 해석이 어려운 점이 유사합니다. 우리의 뇌는 경험과 진화의 조합에 의해 최적화된 거대한 시스템이라고 할 수 있다”라고 이야기했습니다.
그리고 AI의 해석 가능에 대한 연구는 흥미로운 주제이지만, 'AI 얼라이먼트' 등의 임박한 과제를 해결하기 위해 해결해야 하는 것은 아니다고 생각을 이야기했습니다.
AI 얼라인먼트란 인간의 가치관이나 목표에 맞추어 행동하는 AI 시스템을 설계하는 과제를 의미하며, 또 AI의 설명 가능성과 AI 얼라인먼트는 무관합니다.
우리의 삶은 해석이 불가능 한 상황에서도 대른 사람들과 맞추면서 살아가고 있는 것과 같은 이치입니다.