[스탠포드 황승진 교수님 칼럼] AI의 문제, 실리콘밸리는 어떤 아려움을 겪고 있을까

AI의 학습 속도는 인간의 통제를 뛰어넘고 있습니다. 뛰어난 학습 능력을 바탕으로 한 악용 사례도 꾸준히 발생하고 있는데요.

인류는 오래전부터 영화와 소설을 통해 AI가 인간을 위협하는 모습을 그려오며, 그 위험성을 경고해왔습니다. 

이러한 상상은 단순한 일자리 대체를 넘어, 훨씬 더 심각하고 복잡한 문제로 다뤄지고 있는데요. 그렇다면 AI가 초래하는 위험들은 어떤 모습으로 그려지고 있을까요?

한국인 최초 스탠포드 종신 교수이자 현재 스탠포드 경영 대학원 명예교수인 황승진 교수님의 칼럼을 통해 실리콘밸리에서 발생하는 AI 악용 사례와 AI의 어두운 면에 대한 깊이 있는 인사이트를 전해드리겠습니다.

AI로 인간 신세 망치기

우리가 AI를 편하게 믿고 쓰기에는 관계의 역사가 너무 짧다. 만나가며 상대를 더 알아가야 하고, 처음에는 약간의 주의와 경계가 필요하다. 

2022년 로베르토 마타는 아비앙카 항공을 상대로 소송을 냈다. 뉴욕으로 가는 비행 중 승무원이 식사 카트로 그의 무릎을 세게 쳐 다쳤기 때문이다. 

항공사는 이것이 항공 여행에 따르는 일반적인 위험이라고 주장하며 사건을 기각하려 했다. 마타의 변호사는 정식 재판이 필요하다는 점을 강조하기 위해 유사한 사건의 여러 선례를 제시했다. 

제시된 사건은 <마티네스 대 델타>, <지커먼 대 대한항공>, <바르게세 대 중국 남방항공>이었다. 그러나 이러한 사건은 존재하지 않았다. 

변호사는 ChatGPT를 사용했는데, ChatGPT가 이러한 가짜 사건을 만들어낸 것이다. 이렇게 LLM은 잘못된 진술을 할 수 있다. 

LLM의 특기는 예측하는 것이다. 답변을 주려는 열망으로 인해 과장하여 잘못된 것을 만들어낼 수도 있다. 

기술적으로는 "환각(hallucination)"이라고 한다. LLM은 창의력이 지나쳐 소설을 쓸 수 있으니 사용자의 검증과 주의가 필요하다.

AI의 또 다른 위험, 악용

다른 예시로, AI의 위협은 LLM이 아닌 ‘AI 쓰는 인간’에서 나올 수 있다. 

2년 전 홍콩에서였다. 다국적 기업의 한 재무 직원은 2,560만 달러를 외부 계좌로 송금하라는 메시지를 받았다. 

이 메시지는 CFO 사무실에서 온 것이었지만, 직원은 비밀 유지의 필요성을 언급한 때문에 피싱 가능성을 의심했다. 

곧 상부에서 연락이 와, 다자간 화상 회의에 초대되었다. 화상 회의에는 CFO와 다른 직원들이 참석했다. 송금은 허락되었고, 회의 후, 직원은 요청대로 금액을 송금했다. 

그러나 화상 회의는 사기꾼들이 연출한 딥 페이크였다. 그가 본 모든 사람은 가짜였다. AI의 새로운 멀티 모달 기능을 고려할 때, 이러한 유형의 범죄가 충분히 가능함을 예측할 수 있다.

새로운 기술이 떠오를 때마다 이를 악용하는 자가 있다. 속지 않기 위해서라도 AI를 배워야 한다.

AI는 어떤 모습으로 인류를 위협할 것인가

직업에 관계없이, 직장인 사이에서 흔히 오가는 질문은 "저주받은 AI"의 개념이다. 즉, AI가 내 직업을 빼앗아 갈 것인가 하는 것이다. 

교육사업가 샐 칸은 "당신이 AI에 의해 대체되는 일은 없을 것이다.  다만 AI를 사용하는 사람에 의해 대체될 수 있다."라고 조언한다. 걱정보다는 준비를 하라는 충고다. 

과거를 돌아보면 혁신적인 기술조차도 사회에 정착하는 데 시간이 걸렸다. 이는 근로자들이 다가오는 환경에 적응할 수 있는 충분한 대비 시간을 제공할 것이다. 이 시간은 대비하는데 써야 한다.

마지막으로, AI에 의한 인류 멸종에 대한 공포 이야기를 자주 듣는다. 언젠가 AI가 너무 똑똑해져서 우리의 통제를 벗어날 것이다. 

과학자들은 이를 심각하게 받아들여 "AI 특이점" 또는 "초지능"이라는 전용 용어를 쓴다. 두 용어 모두 AI가 인간보다 더 지능적으로 되는 가설적인 개념을 뜻한다. 

이러한 특이점 순간에 도달하면 거기서 그치지 않을 것이다. 세계를 장악하고 우리를 노예로 만들거나 파괴할 것이라는 걱정이다. 

과학자들은 집단적으로 그러한 가능성을 5%로 평가한다.

AI의 반란, 작품 속에서 그려진 인류의 위기

혹자는 "왜 똑똑한 AI가 그런 어리석은 짓을 할까?"라고 물을 수 있다. 

AI를 갖춘 로봇을 생각해 보자. 이 로봇은 주인인 인간에 의해 특정 목표를 이루도록 명령을 받는다. 

만약 일부 인간이 이 로봇의 길을 막는다면 어떻게 될까? 로봇은 초지능을 사용하여 장애물 인간을 제거할 것이다. 

이것이 아서 C. 클라크의 소설과 스탠리 큐브릭의 영화 "2001: A Space Odyssey"의 스토리라인이다. 물론 인간 한두 명의 제거이니까, 멸종이라고까지는 말할 수 없다.

아니다 다를까? 최근 뉴스에 따르면 실제로 LLM이 그만 끝내라는 명령을 불복종하고, 또한 어떤 명령에 대해, “그건 네가 할 일이지” 라고 거부했다 한다. 

아마도 지금 하고 있는 작업 때문에 바빠서 그럴 수도 있다. 허나 정말 겁나는 것은 기계가 혼자 자기 코드를 바꿀 수 있을 때가 올 수 있다고 힌튼 교수가 걱정한다.

또 다른 가능성으로, 로봇이 인간의 장기적인 생존과 번영을 지원한다는 숭고한 목표로 행동한다고 하자. 

만약 그가 현재의 인류는 탐욕, 부도덕, 자기 파괴적 행동으로 희망이 없다고 결론을 내린다면? 유감스럽게도, 그들은 "재설정" 버튼을 누르고 인류 전체를 대체하고 싶을 것이다. 

이것이 아이작 아시모프의 단편 소설집을 바탕으로 한 윌 스미스 주연의 알렉스 프로야스 영화 "I, 로봇"의 이야기이다.

여기 마지막 인류 멸망 시나리오가 있다. 일론 머스크가 투자한 스타트업 가운데 뉴라링크(NeuraLink)가 있다. 

이 회사는 두개골에 컴퓨터 칩을 삽입해 뇌와 연결하겠다는 공상 과학적인 야망을 가졌다. 이러면 키보드나 마우스 없이도 컴퓨터를 조작할 수 있다. 

사실 새로운 아이디어는 아니다. BMI(Brain Machine Interface)라 하여 잃어버린 신체 기능을 보조하도록 두뇌에 칩을 심는 의학 연구가 1970년대부터 지속되어 왔다. 

또 아놀드 슈워제네거의 영화 “토탈 리콜”에서 여행의 경험을 메모리 칩에 넣어 머리에 삽입한다는 스토리도 이와 상통한다. 

이제, 만약 그 칩이 LLM 급 AI 칩이라면 어떨까? 구태여 학교에 가서 공부하거나 책을 읽을 필요가 없겠다. 위키피디아가 몽땅 들어가 있으니 문자 그대로 ‘걸어 다니는 백과사전’이 된다. 

“앨저논을 위한 꽃”이란 1965년 단편 과학소설은 다른 방식으로나마 개조된 백과사전적 인간을 상상한다. 하지만 이 가능성 자체만으로도 재앙을 만들 것이다. 

하지만 이 인간 개조 가능성 자체만으로도 재앙을 만들 것이다. 여기에 한번 더 가정해, 만약 어떤 미친 과학자가 그 칩을 침팬지 두뇌에 넣으면 어떻게 될까? 

우리는 영화 ‘혹성탈출’에 나오는 ‘새로운’ 세상을 겪을 것이다. 멸망 혹은 노예 신세가 될 수 있다.

여기에 한 번 더 가정해, 만약 어떤 미친 과학자가 그 칩을 침팬지 두뇌에 넣으면 어떻게 될까? 우리는 영화 ‘혹성 탈출’에 나오는 ‘새로운’ 세상을 겪을 것이다. 멸망 혹은 노예 신세가 될 수 있다.

다행히 우리는 지금 가정에 가정을 거듭하며 걱정하고 있다. 게다가, 공상과학 작가들은 미래의 사건을 공상은 잘 해도, 예측하는 데 능숙하지 않다. 이 경우도 그러하길 바라본다. 

한 승 진

한국인 최초의 스탠포드 석좌교수 

스탠포드 경영 대학원 잭디프 로시니 싱 명예교수

'알토스 벤쳐'와 ‘길리아드’ 등 20여 개 기업의 어드바이저 역임

[한국인 최초 스탠포드 종신 교수, 황승진의 인공지능 칼럼]

‘AI의 그림자, 실리콘밸리에서 벌어진 위험 사례들’은 한국인 최초로 스탠포드 경영 대학원 석좌 명예교수로 임명된 황승진 명예교수의 인공지능 칼럼 ‘AI로 인간 신세 망치기’를 이랜서에서 재편집한 글로, 총 20회에 걸쳐 연재될 예정입니다.