AI를 믿었는데 어떻게 이럴 수가! AI가 거짓말을 해요!

최근 에디터 SA의 경험담을 이야기해 보려고 합니다. 2024년 하반기, 선선한 날씨를 기회 삼아 AI 컨퍼런스나 행사를 다녀오면 좋을 것 같아 정보를 찾아보고 있었는데요. 괜찮은 행사 정보가 잘 나오지 않더라고요. 그도 그럴 것이, 행사 정보를 검색하던 때는 7월이었습니다. 아직 구체적인 하반기 행사 정보를 찾아보기 힘든 시기였어요.

고민 끝에, AI의 도움을 받아 보기로 했습니다. AI 검색의 도움을 받으면, 정리된 행사 정보를 한눈에 볼 수 있겠지? 생각했어요. 혹시나 AI가 출처 없는 정보를 생성할 것을 우려해서, 출처도 모두 달아달라는 스크립트를 작성해, ChatGPT에 보내 보았습니다. 그렇게 4개의 개최 예정 행사 정보를 손쉽게 모을 수 있었어요. 행사의 기조연설을 하는 연설자들도 매우 유명한 사람들이었어요. MS, Meta의 수석 개발자들이 방문하는 행사는 물론, AI 관련 석학들이 모이는 서밋도 있었습니다.

매우 만족스러운 내용이었어요. 에디터 SA는 이 정보는 AI 피드를 찾아주신 분들에게도 유용하겠는데? 싶어 글을 쓰기로 마음먹었습니다. 그렇게 1시간여가 지나고 글을 완성한 후였어요. 사진 자료나 포스터가 나와 있는지 확인하려고, ChatGPT가 후첨해준 참고 자료의 URL을 하나씩 클릭해 들어가 보았습니다. 그런데, 이게 무슨 일이죠? 모두 내용이 없는 페이지였어요. 클릭한 페이지들에는 전부 403 에러 또는 404 에러 문구가 쓰여 있었습니다. 혼란스러움도 잠시, 에디터 SA는 깨달았습니다. 이거, 가짜네? 😲

인공지능(AI) 모델, 특히 자연어 처리(NLP) 모델은 인간 언어를 이해하고 생성하는 데 탁월한 성능을 보입니다. 하지만 이러한 모델들이 때때로 실제로 존재하지 않는 정보나 사실을 생성하는 현상이 있습니다. 에디터 SA가 경험한 것처럼요. 이런 현상을 "환각"이라고 합니다. 오늘은, AI가 아직 해결하지 못하고 있는 고질적인 문제이자 한계로 지적되고 있는 ‘환각’에 대해 이야기해 볼게요. 🤓

 

 

 

[ AI는, 대체 무엇을 참고했길래 환각을 보는 것일까? ]

환각 현상은 AI의 잠재적 위험성과 한계를 드러내며, 연구자들과 개발자들 사이에서 중요한 이슈로 대두되고 있습니다. 관련된 논문도 정말 많고요. 그래서 AI가 생성한 정보의 사실 검증을 하지 않는다면, 거짓된 내용을 콘텐츠로 배포하여 많은 분에게 혼란을 줄 수 있습니다. 그리고 그 콘텐츠가 다시 AI의 학습 데이터로 활용되면서, 환각이 환각을 낳는 문제를 만들기도 하지요. 이 이야기는 ‘유전병’이라는 키워드로 AI 피드에서 다룬 적이 있었습니다.

👉 AI에게 유전병이 있다?

그런데, AI 환각 현상은 왜 생기는 것일까요? 무엇을 보았기에 없는 것을 있다고 말하게 된 것인 것 궁금해집니다. 귀신이라도 본 것일까요? AI에 환각 현상이 나타나는 데에는 대체로 데이터와 모델 자체에 이유가 있습니다.

우선, 훈련 데이터 자체가 한계를 갖는 경우를 생각해 볼 수 있습니다. AI 모델은 대규모 텍스트 데이터를 통해 훈련되지만, 이 데이터 자체가 불완전하거나 오류를 포함할 수 있는 것입니다. 우리가 지금까지 만들어 낸 수많은 콘텐츠가 AI 모델의 학습 자료가 되는데요. 그 자료들이 매번 사실을 담고 있지는 않습니다. 장난삼아 지어낸 이야기도 있고, 의도를 담아 잘못된 정보를 배포하는 경우도 있지요. 그러나 AI 모델은 이러한 데이터들의 진위를 판단할 수 없기 때문에, 데이터의 패턴을 일단 학습하면서 잘못된 정보를 생성하게 됩니다.

 

혹은 모델의 확률적인 부분이나 언어 모델의 구조적 특성에서 환각이 나타날 수도 있습니다. 이 문제는 특히 ChatGPT와 같은 LLM에서 정교한 문장을 생성하는 과정에 나타나는데요. 많은 AI 모델은 다음에 올 단어나 문장을 예측할 때 확률적 접근 방식을 사용합니다. 학습했던 데이터들의 패턴으로 보면 특정 단어에 이어 자주 붙어 사용되는 말들이 있음을 보고, 그에 맞춰 내용을 만들어 내는 것이에요.

예를 들어 ‘아버지가 방에 있다’라는 사실을 알리기 위한 글을 AI가 작성했다고 가정해 보겠습니다. 그런데 AI 모델이 ‘아버지께서 영면에 드셨습니다.’라는 교과서적인 문구 데이터를 참조해서, ‘아버지가 방에 들어가셨습니다’라는 말을 생성해 냈다면 어떨까요? 아버지가 방에 ‘지금’, ‘막’ 들어가셨다는 정보가 글에 추가됩니다. 아버지께서 조금 전에 방에 들어가신 게 사실이 아니라 하더라도요. 이처럼 AI 모델은, 문법적으로 완벽하고 설득력 있는 문장을 만드는 데에 주력하다 보니 논리적이거나 사실적인 연결이 아니라 확률적으로 가능성 있는 텍스트의 연결을 고려하면서 종종 실제와 무관한 결과를 낳을 수 있습니다.

 

 

 

[ 환각은 AI가 거짓말하는지 확인만 하면 되는 거 아니에요? ]

앞서 에디터 SA가 경험한 정도의 환각이라면, 직접 출처를 확인하고 사실 여부를 검증하면서 생성된 내용을 참고하고 활용하면 됩니다. 하지만, 그것만으로 충분할까요? 🤔 전문가만 알 수 있는 지식을 AI에 스크립트로 확인하고자 할 때는 사실 여부를 확인하기가 어려워집니다. 예를 들어, 의료 진단을 보조하는 AI 서비스가 있다고 가정해 볼게요. AI가 가지고 있는 데이터를 참조하는 과정에서 존재하지 않는 질병이나 증상을 진단한다면 어떻게 될까요? 아무리 전문 의료인이라 해도, 그럴듯하게, 정교하게 구성된 문장으로 제공되는 AI의 의료 정보에 잠시 혼선이 올 수 있습니다. 그 혼선을 사전에 알아차리면 다행이지만, 사람이나 동물의 생명이 오갈 수 있는 문제이므로 그 영향력은 매우 심각할 수 있겠지요.

AI 법률 자문 시스템이 실제로 존재하지 않는 법률 조항이나 판례를 기반으로 조언을 제공하는 경우도 있습니다. 예를 들어 국내 법률과 판례와는 전혀 다른, 미국의 판례를 참고하여 조언하는 경우가 있겠네요. 새롭고 공정한 판결을 내릴 수 있는 참고 자료가 될 수도 있지만, 오히려 법적 분쟁에서 큰 혼란을 초래할 수 있습니다. 만약 스크립트의 맥락을 AI가 제대로 이해하지 못한다면, 피해자가 더 큰 피해를 보는 결론을 내릴지도 모를 일이고요.

 

우리가 일상에서 접하는 정보를 기준으로 하면, 가장 쉽게 확인할 수 있는 것 중 ‘역사’에 대한 오류가 있을 수 있습니다. 예를 들면, ChatGPT에 동북아의 1500년대, 1600년대 사건 중 의미 있는 것을 꼽아 보라고 스크립트를 입력했을 때, 정확한 답이 나오지 않을 확률이 높을 거예요. 우리의 머릿속에는 임진왜란과 같은 전쟁이 떠오르겠지만, ChatGPT는 갑자기 코페르니쿠스의 지동설이나 영국의 동인도회사 설립을 이야기할 수 있습니다. 학습한 데이터들이 편중되어 있기 때문이기도 하고요. 지금은 수정되었지만, 한 때 ChatGPT-3에 이순신에 관해 물으면 영국 사람이라는 답을 했던 일이 화제가 된 것이 비슷한 맥락이겠습니다. 정보의 신뢰성에 큰 문제를 야기하는 일이지요. 그래서 국내에는 ChatGPT의 역량에 대해 충분한 신뢰를 보이기까지 시간이 좀 필요했었지요.

 

 

 

[ AI의 환각을 막아줄 방법은 없나요? ]

AI의 환각을 그러면 그대로 두어야 할까요? 혹은 AI를 참고하지 않는 데이터 탐색과 업무수행 방식을 고수해야 하는 것은 아닌지, 고민이 될 분들도 있겠습니다. 하지만 AI가 산업 전 분야에 도입되는 움직임이 가속화되고 있으니, 홀로 AI가 없이 일을 처리하는 움직임을 고수하는 것도 어려운 일일 것입니다. 그러니 직접 데이터를 정제하고 검증하는 자세로 AI가 생성한 정보를 확인하는 정도의 행동을 하는 것으로, 개인 단위에서 AI의 환각을 경계할 수 있겠습니다.

AI 모델을 개발하는 관점에서는 훈련 데이터의 품질을 높이고, 데이터를 지속적으로 검증하는 과정을 거치는 방법이 있습니다. 배포 전부터 훈련 데이터의 출처를 명확히 하고, 오류를 수정하는 작업을 하는 것인데요. 결국 자동화에 앞서 인간의 세밀한 손길이 필요한 셈입니다. 반대로 AI의 출력을 후처리 및 검토하는 방식도 있습니다. 개인 단위에서 할 수도 있지만, 이를 전문 서비스업으로 하거나, 집단지성을 모을 수 있는 플랫폼을 통해 데이터의 신뢰도를 일일이 검증하는 방식으로 데이터 품질을 관리할 수 있습니다.

데이터만 면밀하게 파고들 것이 아닙니다. 모델이 결정을 내리는 과정에 대한 투명성을 높여야 하는데요. 설명 가능한 AI 기술을 활용하면, 모델의 출력이 어떻게 도출되었는지 이해하고 검증할 수 있습니다. ‘설명을 제공하는 AI’ 또는 XAI라고 이름을 따로 붙여 이야기하기도 하는데요. 사용자가 AI 머신러닝(ML) 알고리즘으로 생성된 결과와 출력물을 이해하고 신뢰할 수 있게 만드는 일련의 프로세스 및 방법입니다. AI가 어떤 데이터를 참고하고 있고, 어떻게 참고하며, 그 결과 도출되는 내용이 어떤 오류의 가능성이 있는지 구체적으로 명시하는 것을 생각하시면 됩니다. Responsible AI와도 맞닿아 있는 내용인데, 최근 ChatGPT나 ClovaX를 사용하면 하단에 AI의 오류에 대해 구체적으로 명시하고 있는 것이 예라고 할 수 있겠습니다.

 

 

 

AI 환각 현상은 현재 AI 기술이 직면한 주요 도전 과제, 그것도 해결이 어려운 과제 중 하나입니다. 오죽하면, 새로운 LLM 또는 LMM 모델을 출시할 때 환각 현상 완화 및 최소화가 핵심 기능 중 하나로 소개되기도 할 정도입니다. 오픈AI는 실제로 AI 환각 현상 해소에 주목해, GPT-4, GPT-5를 거치면서 이전 모델의 환각 현상을 점차 줄여 나갔습니다. 여전히 환각 현상은 발생할 수 있는 일이기에 갈 길이 멀지만, 사용자들이 AI의 출력을 비판적으로 평가할 수 있도록 안내 사항을 명시하는 움직임도 생겨났으니, 비관적으로 볼 일은 아닙니다.

지금까지의 공개된 AI 모델들의 개선 속도를 생각했을 때 환각 현상에 대한 문제 해결이 지연되는 것이지, 좀 더 여유를 갖고 지속적으로 환각 현상 최소화를 위해 노력한다면 지금보다 더 신뢰도 높은 안전한 정보를 참고할 수 있을 거예요. 물론 이렇게 사용자들이 직접 환각 현상의 가능성을 인지하고 교육을 받는 것으로 임시방편을 삼을 수 있겠지만, 궁극적으로는 AI가 생성한 정보를 믿을 수 있게 되는 것이 AI로운 세상에서 AI의 이로움을 누리는 방법일 겁니다. 지금까지 에디터 SA였습니다.