9월의 약 일주일 동안, 거대 AI 기업 앤트로픽의 무명 연구원 제이컵 콕슨은 지구상에서 가장 유명한 사람이었다. 회사에서 사직한 직후, 콕슨은 소셜 미디어에 나서 자신의 옛 동료들이 초지능 컴퓨터가 “이번 10년이 끝나기 전에 우리 모두를 죽일 것”이라고 “진심으로 믿고 있다”며 대중에게 경고했다. 그 동료들 가운데 한 명인 에번 휴빙거는 콕슨을 지지하고 나서면서, 앤트로픽이 만드는 것과 같은 기계들이 앞으로 10년 안에 인류를 멸종시킬 확률이 10%를 넘는다고 선언했다.
걸려 있는 것이 무엇인지를 생각하면, 10%는 상당히 두려운 수치이다. 콕슨은 자신의 발표에 뒤이은 인터뷰에서 주로 두 가지 증거에 초점을 맞추었다. 첫째는 악명 높은 허깅페이스 해킹 사건이다. 이 기술 기업은 가상 샌드박스를 탈출한 오픈AI의 “에이전트들”에 의해 보안이 뚫렸다. 둘째는 지난 1년 동안 AI의 수학 능력이 놀랍게 향상되었다는 점이다.
그 정점은 오픈AI가 나비에–스토크스 방정식에서 “강제적 발산”을 입증하는 기계 생성 증명을 공개한 일이었다. 이 방정식에 관한 문제는 수십 년 동안 수학자들을 난관에 빠뜨려 온 일련의 문제들인 밀레니엄 상 문제 가운데 아직 해결되지 않은 여섯 문제 중 하나이다. 콕슨은 이러한 발전을 종합하여 휴빙거의 추정이 대체로 옳다고 확신하게 되었다.
나는 그들이 증거를 올바르게 저울질했다고 납득되지 않는다. 허깅페이스 공격의 실제 의미는 “AI 문명들”과 자신을 희생하는 기계들에 관한 선정적인 이야기들에 가려져 있다. 이 이야기들은 한 독립 보안 연구원이 서브스택에 올린 글에서 비롯되었다. 이러한 신화적 윤색을 걷어 내면, 역사적으로 중요한 사이버 침해 사건이 남는다. 그러나 그 사건은 발생한 전체 피해의 규모로 보면 비교적 낮은 수준에 속한다.
나비에–스토크스 문제에 관해서는, 또 다른 밀레니엄 문제인 푸앵카레 추측이 이미 2003년에 살과 피를 지닌 한 수학자에 의해 해결되었다는 점을 상기해야 한다. 그 수학자는 이후 대량 살인에 대한 어떠한 뚜렷한 성향도 보이지 않은 채 평범한 삶을 살아왔다.
그렇다면 살인 로봇에 의해 전멸할 확률은 10%보다 낮을지도 모른다. 그러나 “우리가 AI에 의해 살해될 확률은 X%이다”라는 형태의 명제가 실제로 의미 있다고 확신할 근거는 무엇인가? 경제학자 존 메이너드 케인스는 이 문제에 집요하게 매달렸고, 이를 해결하려고 확률에 관한 논저 한 권을 집필했다. 경제학자였던 그는 세계의 종말과 관련된 확률보다는 더 일상적인 확률에 관심을 가졌다. 이를테면 어떤 자본 투자의 미래 수익률을 조금이라도 알 수 있는가 하는 문제였다. 그의 답변은 1937년 『쿼털리 저널 오브 이코노믹스』에 실린 유명한 논문에서 가장 간결한 형태로 제시된다.
내가 말하는 “불확실한” 지식이란, 확실하게 알려진 것과 단지 개연성이 있는 것을 구별하려는 뜻만은 아니라는 점을 설명해 두겠다. 룰렛 게임은 이런 의미에서 불확실성의 지배를 받지 않는다. …… 날씨조차도 불확실성이 그리 크지는 않다. 내가 이 용어를 사용하는 의미는 유럽에서 전쟁이 일어날 전망, 또는 20년 뒤의 구리 가격과 이자율, 새로운 발명의 진부화, 혹은 1970년 사회 체제 안에서 개인 재산 소유자들이 차지할 지위가 불확실하다고 할 때의 의미이다. 이러한 사안들에 관해서는 계산 가능한 그 어떤 확률이라도 산출할 과학적 근거가 없다. 우리는 그저 모른다.
룰렛 바퀴의 경우, 우리는 앞으로 일어날 수 있는 모든 관련 상황을 알고 있으며, 각각에 정확한 확률을 부여할 수 있다. 그러나 복잡성의 단계를 따라 올라가 새로운 기술의 개발과 같은 문제에 이르면, 미래에 가능한 상태들의 전체 범위를 상상하는 것조차 불가능해진다. 만일 1945년의 과학자에게 점접촉 트랜지스터를 개발할 확률을 추정해 달라고 요청했다면, 그는 우선 점접촉 트랜지스터가 무엇인지 알아야 했을 것이다. 그러나 그것은 1947년에야 발명되었으므로 불가능한 일이었다.
불확실성에 관한 케인스의 견해는 오늘날 경제학자들 사이에서 인기를 잃었다. 켄 빈모어가 지적했듯이, 현대 경제학의 초석인 주관적 기대효용 이론의 공리들은 경제학자들로 하여금 세계의 모든 관련 상태에 확률을 부여할 수 있다고 믿게 한다. 그들이 예측 시장도 지지하는 경향을 보이는 이유가 여기에 있다.
많은 사람이 같은 사건에 돈을 걸면, 그들의 믿음은 결국 안정적인 확률분포로 수렴하게 되며, 이 분포는 어떤 식으로든 그들의 축적된 경험에서 나온 지혜를 나타낸다는 것이다. 나는 케인스라면 초기의 계량경제학적 예측 실험들을 일축했던 것과 거의 같은 방식으로, 이것도 한낱 인식론적 “흑마술”이라고 일축했으리라고 생각한다.
그렇다면 본질적으로 알 수 없는 미래에 직면했을 때 우리는 무엇을 해야 하는가? 나는 수학자 퍼시 다이어코니스가 들려준 이야기를 떠올린다. 그는 오늘날 AI 연구에서 널리 쓰이는 마르코프 연쇄 몬테카를로 방법의 선구자이다. 다이어코니스는 경력의 어느 시점에 스탠퍼드를 떠나 하버드 수학과의 제안을 받아들일 것인지 선택해야 했다.
그 문제를 두고 고심하느라 친구들이 “질릴 지경”이 되도록 하자, 한 친구가 저명한 확률론자인 그가 왜 자기 분야의 표준적인 방법을 사용하지 않느냐고 물었다. 불확실성을 수량화하고, 비용과 편익을 나열한 다음, 단위 시간당 효용을 최대화하는 행동을 선택하라는 것이었다. 다이어코니스는 생각할 겨를도 없이 불쑥 말했다. “이봐, 샌디, 이건 심각한 문제라고.”
그는 나중에 아마도 친구의 말을 들었어야 했다고 인정했다. 기대효용 이론의 형식 체계가 자신의 모든 걱정에 깔끔하고 수치적으로 정확한 해답을 내놓았을 것이기 때문은 아니었다. 편익과 비용을 냉정하게 비교한 다음 동전을 던지는 것이, 자신이 “정말로 추구하는 것”에 다가가는 가장 믿을 만한 방법이기 때문이었다. 어떤 의미에서 그것이야말로 궁극적인 의사결정 문제이며, 모든 “이론적 접근”의 범위를 넘어서는 문제이다.
AI의 미래에 관한 진지한 논의는 허울뿐인 확률을 피하고, 그 대신 차분한 숙고에서 출발할 것이다. 케인스가 언젠가 표현했듯이, “감정과 행동의 모든 분야에서 인간의 경험이 뒷받침하는 모든 것”을 고려하는 숙고 말이다. 인간 경험에 대한 지식이, 완곡하게 말하더라도 불완전한 소수의 억만장자와 조만장자들이 품은 공상과학적 환상만을 고려해서는 안 된다.
나는 이러한 논의가 이루어지고 있다는 증거를 거의 보지 못하며, 우리 내면의 삶이 점점 기계화되면서 그러한 논의가 거의 불가능해질까 두렵다. 그리고 우리가 시간과의 경주를 벌이고 있는 것은 바로 이런 의미에서이다.
콕슨과 휴빙거가 주장하듯 아직 태어나지도 않은 기계 신의 집단 학살 야망을 미리 저지하기 위해서가 아니라, 우리가 여전히 공동선에 대한 공통의 이해에 도달할 수 있을 만큼 인간다움을 지키기 위해서이다.
* 리베르타임즈에서는 '미국 가톨릭 지성(First Things)'의 소식을 오피니언란에 연재합니다. 한국 가톨릭 교회의 변화와 북한 동포를 위해 기도하는 교회가 되기를 소망합니다. - 편집위원실 -
;)
![[사설] 임은정 광주지방중수청장을 보노라면..](/news/upload/1791759786379_c.jpg)