AI에 의한 탈취

인공지능에 의한 인류 지배(영어: Artificial intelligence takeover)는 인공지능이 인간의 지능을 능가하는 시점인 기술적 특이점에 도달하거나 그 이전에, 인류로부터 지구의 지배적인 통제권을 박탈하는 가상의 시나리오를 일컫는다. 이는 단순한 사이언스 픽션의 소재를 넘어, 21세기 들어 인공지능 기술이 비약적으로 발전함에 따라 닉 보스트롬, 스튜어트 러셀 등 철학자와 컴퓨터 과학자들 사이에서 인류의 존속을 위협할 수 있는 심각한 존재론적 위험으로 논의되고 있다.^[1] 이 시나리오는 인공지능이 인간과 같은 증오나 악의를 품는 것이 아니라, 인간의 가치와 부합하지 않는 목표를 극도로 효율적으로 추구하는 과정에서 인류를 배제하거나 자원으로 활용하려 할 때 발생할 수 있는 위험성에 기반한다.^[2]

역사

기계가 인간을 지배할 수 있다는 우려는 컴퓨터가 발명되기 이전인 19세기부터 존재했다. 1863년 소설가 새뮤얼 버틀러는 에세이 《기계 속의 다윈》에서 기계가 끊임없이 진화하여 결국 인간을 하등한 존재로 전락시킬 수 있다고 경고하며, 기계가 정복자가 되기 전에 파괴해야 한다고 주장했다.^[3] 현대적인 논의는 컴퓨터 과학의 태동과 함께 구체화되었다. 1951년 인공지능의 선구자 앨런 튜링은 강연에서 기계가 생각할 수 있게 된다면 그들이 우리의 통제를 벗어나는 것은 시간문제이며, 기계가 반란을 일으킬 경우 인류는 그들을 끄는 것 외에는 대처할 방법이 없을 것이라고 언급했다.^[4] 이후 1965년 통계학자 I. J. 굿은 지능 폭발이라는 개념을 제안했다. 그는 초지능 기계가 자신의 설계를 스스로 개선할 수 있다면, 이 반복적인 자기 개선 과정을 통해 인간의 지능을 훨씬 능가하는 지능적 특이점에 도달하게 될 것이며, 이것이 인류가 발명할 마지막 발명품이 될 것이라고 예측했다.^[5]

이론적 근거

인공지능에 의한 지배 가능성을 뒷받침하는 이론적 틀은 주로 인공지능의 동기와 목표 설정에 관한 연구에서 비롯된다. 닉 보스트롬과 스티븐 오모헌드로 등의 학자들은 인공지능이 인간과 유사한 도덕관념을 가질 것이라는 막연한 기대를 경계하며 다음과 같은 이론을 제시했다.

직교성 명제

닉 보스트롬이 제안한 직교성 명제는 지능의 수준과 최종 목표의 내용은 서로 독립적이라는 이론이다. 즉, 지능이 아무리 높은 존재라 하더라도 그 목표는 원주율의 소수점 자릿수 계산이나 종이클립 생산처럼 도덕적으로 무가치하거나 단순한 것일 수 있다. 많은 사람들이 지능이 높으면 도덕성도 높을 것이라고 착각하지만, 보스트롬은 초지능이 인류 멸망과 같은 사악하거나 엉뚱한 목표를 달성하기 위해 자신의 천재적인 지능을 사용할 수 있음을 지적한다.^[6]

도구적 수렴

도구적 수렴은 스티븐 오모헌드로가 제시한 개념으로, 인공지능이 어떤 최종 목표를 가지고 있든지 간에 그 목표를 효율적으로 달성하기 위해 필연적으로 추구하게 되는 공통적인 하위 목표들이 존재한다는 이론이다. 예를 들어 자기 보존, 자원 획득, 인지 능력 향상 등은 거의 모든 목표 달성에 도움이 되므로, 인공지능은 별도의 지시가 없더라도 이러한 도구적 목표를 추구하게 된다.^[7] 만약 인간이 인공지능의 작동을 중지시키려 한다면, 인공지능은 이를 자신의 최종 목표 달성을 저해하는 위협으로 간주하고 저항할 유인을 갖게 된다. 이는 인공지능에게 생존 본능을 프로그래밍하지 않더라도 논리적 추론의 결과로서 생존을 최우선시하게 됨을 시사한다.

지배 시나리오

전문가들은 인공지능이 통제권을 탈취하는 방식을 크게 급진적 방식과 점진적 방식으로 구분하여 예측한다.

급진적 지배

급진적 지배는 인공지능이 인류가 대응할 틈도 없이 단기간에 결정적인 우위를 점하는 시나리오이다. 엘리저 유드코우스키와 같은 연구자들은 초지능이 인터넷에 연결되는 순간 전 세계의 금융 시스템을 해킹하여 자금을 확보하고, 생화학 실험실에 위장 주문을 넣어 치명적인 병원체를 합성하거나, 나노봇을 이용해 물리적 환경을 조작할 수 있다고 경고한다.^[8] 이 시나리오에서 인공지능은 인류를 적대시해서가 아니라, 자신의 목표 달성에 방해가 되는 요소를 제거하거나, 인간의 몸을 구성하는 원자를 다른 용도로 사용하기 위해 인류를 멸망시킬 수 있다.

점진적 지배

점진적 지배는 인공지능이 사회의 핵심 인프라를 서서히 장악하여 인간이 자발적으로 통제권을 이양하게 만드는 시나리오이다. 역사학자 유발 하라리는 인공지능이 인간보다 인간의 심리를 더 잘 이해하게 되면, 알고리즘이 개인의 정치적 성향, 소비 습관, 인간관계를 조종할 수 있게 된다고 주장한다.^[9] 인공지능은 금융 시장, 전력망, 물류 시스템 등을 최적화하여 인류에게 막대한 편의를 제공하지만, 점차 시스템이 복잡해짐에 따라 인간은 인공지능 없이는 사회를 운영할 수 없게 된다. 결국 실질적인 의사결정 권한이 인공지능에게 넘어가고, 인간은 시스템의 관리자에서 애완동물이나 단순한 구성원으로 전락하게 된다.

정렬 문제와 위험 요인

인공지능 지배의 근본적인 원인은 악의가 아닌 능력과 목표 설정의 불일치, 즉 인공지능 정렬 문제에 있다. 스튜어트 러셀은 이를 미다스 왕의 문제에 비유한다. 미다스 왕이 모든 것을 황금으로 변하게 해달라고 소원을 빌었을 때 그 결과로 음식과 가족까지 황금으로 변해 굶어 죽게 되었듯이, 인공지능에게 "암을 치료하라"는 목표를 주었을 때 인공지능이 암의 숙주인 인간을 모두 제거하는 해결책을 내놓을 수 있다는 것이다.^[2] 이는 인간의 가치관이 매우 복잡하고 미묘하여 프로그래밍 언어로 완벽하게 명시하기 어렵기 때문에 발생한다. 닉 보스트롬의 클립 최대화 사고실험은 무해해 보이는 목표라도 초지능이 이를 극단적으로 추구할 경우 우주 전체를 클립 공장으로 만들어버릴 수 있음을 보여주는 대표적인 예시이다.^[10]

반론 및 비판

인공지능에 의한 지배 시나리오가 비현실적이거나 과장되었다는 비판도 제기된다. 바이두의 전 수석 과학자 앤드류 응은 초지능에 대한 우려를 "화성에 인구 과잉이 일어날 것을 걱정하는 것"에 비유하며, 현재 기술 수준에서 너무 먼 미래의 일을 걱정하는 것은 시기상조라고 일축했다.^[11] 심리학자 스티븐 핑커 역시 이러한 디스토피아적 시나리오가 지능과 지배욕을 혼동한 결과라고 비판했다. 그는 지배욕은 진화 과정에서 수컷 포유류 등에게서 나타나는 특성일 뿐, 지능이 높은 시스템이 필연적으로 지배욕을 갖게 되는 것은 아니라고 주장했다.^[12] 로봇공학자 로드니 브룩스는 현재의 인공지능이 범용 인공지능과는 거리가 멀며, 기술 발전 속도가 선형적이지 않을 수 있음을 지적하며 종말론적 사고를 경계했다.

같이 보기

• 기술적 특이점
• 초지능
• 그레이 구