• 일정: 8월 3일 목요일 저녁 7시 30분
• 장소: 카카오톡 <열린 세미나> 오픈채팅방

• 참고자료:

ㅈ) “지구”라고 번역되었지만, 원어는 earth이기 때문에 행성으로서의 지구보다는 넓은 개념으로 판단됩니다. 우주의 “대지”에 해당되는 개념으로 생각할 수 있을 것입니다.

ㅂ) 『AI 지도책』은 왜 '지구', 더 구체적으로는 '파헤쳐지고 황폐해지고 있는 대지' 이야기로 시작하고 있을까요? (위 의견을 참고하여 '대지'라는 표현을 써 보았어요.)

ㅈ) AI의 기반이 알고리즘이기보다 그보다 훨씬 심층에 있는 우주적 물질세계=대지라는 점을 환기하기 위해서가 아닐까요?

ㅂ) 네, 책의 곳곳에 AI를 '비물질적인 것'으로만 생각하고 바라보는 것을 경계하는 문구가 많았습니다.

ㅈ) 예컨대 "리튬 채굴 없이 AI 없다"가 1장의 핵심 메시지라고 생각됩니다.

ㅂ) 기업 주도의 AI의 확산(과 심화)이 물질세계인 대지를 바꿔놓고 있다는 것도 (부정적인 방향으로) 주요한 메시지인 것 같습니다.

ㄱ) 크로퍼드는 우리가 지능을 너무 편협하게 고려하거나 인식한다고 했습니다. 크로퍼드가 생각하는 지능은 무엇인지 궁금합니다.

ㅈ) 지금까지 우리는 AI가 ‘대지=자연 의존적’이라는 점에 관해 이야기했습니다. AI는 인공적이지 않다는 케이트 크로퍼드의 주장은 이런 생각에 기초합니다.

AI는 지능적이지 않다는 것이 크로퍼드의 두 번째 주장인데 AI가 연산기계라는 점에 착목하고 연산은 지능의 한 기능이지만 지능과 동일한 것이 아니라는 생각을 표현한다고 생각합니다.

ㅂ) 지능의 정의와 관련해서 서문의 내용(영리한 말 한스 이야기)이 인상적이었는데요, "한스는 이미 다른 종과의 소통, 공연, 적잖은 인내심 같은 놀라운 위업을 선보였지만 이것들은 지능으로 인정받지 못했다." (15) 라는 구절을 보면, 논리적 추론이나 계산뿐 아니라 소통, 공연, 인내심 등도 지능의 하나로 크로퍼드는 보는 것 같습니다. 최근에 '소셜 지능'이라는 말도 많이 나오던데, 생각나네요.

ㅈ) 연산은 기본적으로 자연의 양화를 전제로 하는 것이고 그것을 산술적으로 처리하는 기능인데 케이트는 양화 이전의 자연 자체가 갖고 있는 사유능력을 지능으로 보는 것이 아닌가 추정합니다.

ㄱ) 이런 대목도 있었습니다.

"마음이 컴퓨터와 같고 컴퓨터가 마음과 같다는 이 믿음은 '수십 년 동안 컴퓨터와 인지과학에 관한 사고에 영향을 미쳐' 이 분야에서 일종의 원죄가 되었다. 이것은 데카르트적 이분법을 인공지능에 대입한 격이다. AI는 물질세계와의 관계가 모조리 단절된 비실체적 지능이라는 지엽적 개념으로 쪼그라든다.“

ㅈ) 우리가 다중지성을 말할 때, 이성만이 아니라 감수성, 정동 등을 포함하는 것과 유사한 논리라고 생각됩니다. 여기서 컴퓨터가 마음과 같다는 믿음은 연산은 신체=대지와 무관한다는 믿음이고 이것을 깨뜨리려는 노력이 1, 2장에서 특별히 나타난다고 생각됩니다. 그런데 이러한 믿음은 연산을 신체로부터 분리시키는 데 멈추지 않고 신체=대지를 채굴, 수탈의 대상으로 삼는다는 점에 심각한 문제가 있다고 보아야 할 것입니다. 이 책 전체의 핵심논지이기도 하지요. 요컨대 AI 시스템의 생산과정에서의 채굴주의, 정치경제적 과정에서의 착취주의, 전 지구적 정치과정에서의 식민주의의 문제를 드러내는 것이 케이트의 관심사로 파악됩니다.

ㄱ) 이런 대목도 인상적이었습니다.

"이 책에서는 AI가 '인공'적이지도 않고 '지능'도 아니라고 주장한다. 오히려 인공지능은 체화되고 물질적인 지능이며 천연자원, 연료, 인간 노동, 하부 구조, 물류, 역사, 분류를 통해 만들어진다. ... 인공지능은 훨씬 폭넓은 정치적, 사회적 구조에 전적으로 의존한다. ... AI 시스템은 궁극적으로 기득권에 유리하게 설계된다. 인공지능은 권력의 등기부인 셈이다."

ㅂ) 현재 우리가 '인공지능'이라고 부르고 있는 것이 실은 '인공'도 아니고 '지능'도 아니라면, 크로퍼드의 관점에서 우리는 이것을 무엇이라고 부를 수 있을까요?

ㅈ) 글쎄요…연산기계? 챗GPT의 경우는 확률연산기계?

ㅂ) 저는 "이윤 추출을 위한 대규모 연산 네트워킹 시스템"이라는 꽤 긴 이름이 만들어졌습니다. '연산 기계'라는 큰 범주 아래 다양한 연산 기법이 요리조리 활용되는 다양한 기계들이 있는 것 같아요. 그런데 ‘3 데이터’장을 생각해보면 하나의 기법으로 수렴되고 있는 듯합니다.

ㅈ) 기계의 연산도 지능의 한 형태라고 볼 수 있으므로 AI 기계가 지능이 없다고 할 수는 없을 것입니다. 동물, 식물, 기계가 인간과 마찬가지로 지능을 갖고 있다고 봐야 하지 않을까 싶어요. 기계의 지능을 부정하면 결국 인간주의로 귀착되지 않을까 싶은데요.

ㅈㄱ) 저는 어떤 자원들을 효과적으로 이용할 수 없게 될까 봐 우려하는 글로 읽었습니다. 한편의 기존 뼈대는 부러지지 않았는데 지능 시스템의 효과적 논쟁이 과연 실효적으로, 저자가 말하듯 정치적으로 이뤄질지도 의문입니다. 마치 어딘가 빠져나가 있어서 그러모아낼 거리들을 뭉텅이 짓기 쉽게 하려는 것은 아닌지 모르겠고요.

[CIO] ‘RPA에 AI 더하기’··· IA 선도 기업 3곳의 조언↗

ㅂ) 오히려 기계의 지능을 '연산 능력'으로만 한정시키는 것이 문제가 아닌가 싶습니다. 서문에서 '한스'라는 말에게 사람들이 했던 것처럼요.

1장에서 '비용'에 대한 이야기도 인상적이었습니다. '인공지능' 기술과 관련한 여러 거대 기업이 어마어마한 이윤을 만들어낼 수 있는 이유는 환경 정화 비용 등 여러 비용을 주변과 미래에 떠넘겨 버리기 때문이라는 이야기였습니다.

ㅈ) 2012년에 출판한 『후쿠시마에서 부는 바람』에 시부야 노조무의 글 「사회적 비용의 전복」이 실려 있는데 이 글의 요지가 기업 이윤의 상당 부분이 노동 착취만이 아니라 비용을 사회나 자연에 전가하는 것에서 발생한다는 것이었던 것으로 기억합니다. AI만이 아니라 다른 산업영역도 그러하다는 취지로 읽을 수 있을 것 같습니다.

ㄱ) “예로부터 광업에서 이윤이 날 수 있었던 것은 환경 피해, 광부들의 질병과 사망, 지역사회 해체 같은 진짜 비용을 감당하지 않아도 되었기 때문이다. 광물학의 아버지로 불리는 게오르기우스 아그리콜라는 1555년에 이렇게 말했다. '광업으로 인한 손실이 광업에서 생산되는 금속의 가치보다 크다는 것은 누구나 아는 사실이다.' ”

“광업에서 이익이 남는 것은 오로지 비용을 남들에게, 지금 살아있는 사람들과 아직 태어나지 않은 사람들에게 떠넘기기 때문이다. 귀금속에 가격을 매기는 것은 쉬운 일이지만 야생지, 맑은 개울, 들이마실 수 있는 공기, 지역 주민의 건강이 가진 가치는 정확히 얼마큼일까?”

ㅂ) 발터 벤야민이 『기술복제시대의 예술작품』에서 억압당하는 기술(과 기계)의 반란을 이야기했었는데요, AI 기술도 같은 관점으로 바라볼 수 있지 않을까 하는 생각도 문득 들었습니다.

"생산력의 자연스러운 이용이 소유 질서에 의해 지장을 받게 되면, 기술적 수단, 속도, 에너지자원의 증대는 생산력의 부자연스러운 이용 쪽으로 내몰린다. 이 부자연스러운 이용의 장은 전쟁에서 얻어진다. ... 제국주의 전쟁은 기술의 반란이다. 자연자원을 제공하라는 기술의 요구를 사회가 거부했기 때문에, 기술은 '인적 자원'에서 그 징수를 행하고 있는 것이다. 기술은 이제 하천의 치수공사를 벌이기보다는 수많은 사람들을 전쟁 참호 속으로 향하게 하며, 비행기로 씨앗을 뿌리기보다는 도시들 위에 폭탄을 투하하고 있다." ( 『기술복제시대의 예술작품』. 발터 벤야민 지음, 심철민 옮김, 도서출판b, p.100)

ㄱ) 크로퍼드는 "노동의 여러 형태가 '인공지능'이라는 용어에 둘러싸인 탓에, 실제로는 사람들이 단순 작업을 수행하면서 기계가 그 작업을 할 수 있다는 인상을 떠받친다는 사실이 숨겨진다. 하지만 대규모 연산은 신체의 착취에 깊이 뿌리내리고 있으며 이를 토대로 작동한다"고 합니다.

ㅈ) AI가 대지채굴에 기초한다면 채굴노동이 AI의 다른 기반이라 할 수 있겠지요.

앞에 올린 다이어그램(Anatomy of an AI system↗)을 보면 콩고의 광산노동자와 중국의 광산노동자가 소득의 맨 밑바닥 자리에 놓여 있습니다. 한 달에 200달러(26만원) 이하의 소득으로 채굴노동을 하고 있다는 뜻입니다.

ㅂ) 앞서 '인공'에 관한 이야기가 나왔었는데요, 관련해 2장에서 AI 시스템이 실은 무수한 인간 노동으로 운영 유지되고 있다는 사실이 밝혀졌을 때 제프 베이죠스(아마존 회장)가 그걸 '인공 인공지능'이라고 이야기했다는 내용이 책 84쪽에 나옵니다. 참으로 뻔뻔한 기만술이라고 크로퍼드는 평가하고 있었습니다.

ㅈ) 그 노동성과물은 정제, 조립, 분배, 운송을 거쳐 아마존을 위해 쓰이게 되는데 이것을 케이트는 "공통자원(대지)의 사유화와 착취"라고 이름 붙이고 있습니다.

ㄱ) 이런 대목도 흥미로웠습니다.

"이따금 노동자들은 AI 시스템을 흉내내도록 직접 요구받기도 한다. ... AI를 흉내 내는 것은 고달픈 일이다. ... '자동화된 시스템은 이렇게 생겼다'라고 할 만한 모습을 (실제로는 뒤에서 인간 노동에 의존하면서) 투자자와 어수룩한 매체에 보여주기 위해 설계된 허울에 불과한 것이다."

요즘 어딜가나 있는 키오스크도 "자동화된 시스템이 직원 노동을 대체한 것처럼 보이지만 사실은 데이터 입력 노동이 유급 직원에게서 고객으로 이전되었을 뿐"이라고 합니다.

ㅂ) 저도 키오스크 이야기 인상적이었어요, 최근 키오스크 주문을 하면서 반강제적으로 브랜드 맴버쉽 가입을 해야 하는 매장들도 있더라고요,

ㅈ) 키오스크 이야기는 저도 흥미로웠는데요 데이터입력 노동 외에 영수증 발행이라거나 상품이 준비되면 드르륵 떠는 기계라거나 물건을 손님한테 배달해 주는 로봇이라거나 고객으로 환원될 수 없는 기계의 역할에 대해 생각할 지점이 좀 더 있는 것 같습니다.

"AI시스템이 실은 무수한 인간 노동으로 운영 유지되고 있다는 사실"이라는 표현은 은폐된 노동의 역할과 위치를 드러내는 데 꼭 필요한 관점이라고 생각됩니다. 그런데 "지능"을 논하는 대목에서도 약간 그랬지만 이런 관점이 "기계"의 역할과 위치를 부정하고 인간중심주의로 흐를 위험은 없을까요?

ㅂ) "기계노동 vs 인간노동" 의 구도로 논의가 흘러가면 이 또한 어느 순간 인간중심주의 (역시 인간의 노동이 제일 중요하다거나, 핵심이라거나...)로 흐를 수 있을 것 같습니다.

ㄱ) "마르크스는 ... 자동화가 최종 산물의 생산을 노동으로부터 추상화하며 노동자를 '기계의 부속물'로 전락시킨다고 주장"했다는 것을 크로퍼드가 인용합니다.

ㅂ) 2장에서는 작업장의 AI 도입의 역사를 공장 '자동화'라고 하는 측면에서 보여주고 있었는데요, 사실상 이 공장 '자동화'가 인간 노동을 '기계의 부속물'로 전락시키는 과정이었습니다.

ㄱ) 인간노동 착취를 강조하면서도 인간중심주의가 되지 않으려면 어떤 것을 경계해야 할까요?

ㅈ) 자연, 인간, 기계로 구성된 공통장의 수탈이라는 관점에서 인간노동 착취를 재조명하는 것이 필요하지 않을까 생각됩니다.

케이트는 자연(공통자원)의 착취와 사유화에 대해 이야기한 후에 인간 노동에 대한 착취로 넘어가는데, 기계에 대해서는 그 고유성을 인정하지 않는 것 같습니다. 기계는 인간의 집단지성과 사물세계의 융합체라고 할 수 있을 텐데요. 기계는 착취/수탈의 도구이기만 한 것일까요?(혹은 케이트가 이와는 다른 관점을 표현한 곳이 있을까요?)

ㅂ) 아마존 물류창고의 모습을 묘사할 때, 기계들에 대한 묘사가 흥미로웠는데요, 기계들이 자율적인 존재자들처럼 느껴져서요, 그런데 이것이 기계를 착취의 '도구'만이 아닌 다른 관점으로 적극적으로 저자가 표현한 것이라고까지 보기는 어려울 것 같아요.

'자동화' 된 공장은 사실상 인간중심주의가 아니라 기계중심주의로 이뤄지는 곳이잖아요, 기계중심주의적인 작업장을 만드는 사람들이 '인공'을 찬양할 때 여기서의 '인간'은 소수의 특별한 인간들(지배층)을 말하는 것이라는 생각도 들고요. 온갖 중심주의를 넘어서기 위해 공통장 관점이 필요하겠다는 생각도 들었습니다.

이제 3장 <AI와 데이터> 이야기로 넘어가봐도 좋을까요?

ㅈ) 케이트의 기계론에 대해서는 좀더 생각해 보기로 하고 3장으로 넘어가도 좋을 것 같습니다. 케이트의 기계론은 권력론(과 노동론)의 하위영역처럼 다루어지고 있는 것 같다는 느낌을 기록해 둔 것입니다.

ㄱ) 3장은 자본이 갖고 있는 "모든 것이 데이터이고 수집되기 위해 존재한다는 확고한 믿음"의 윤리적 문제를 다룬 것 같습니다. "전산학에서 데이터 수집이 선의의 행위라는 신화는 권력의 작동 실태를 가려, 가장 많은 이익을 얻으면서도 결과에 대한 책임을 모면하는 자들을 보호한다.“

ㅈ) 철학에서는 data/datum이 주어진 것, 소여라는 말로 새겨집니다. 아마도 "인간"에게 주어진다는 뜻이겠지요. 케이트에게서는 "자본"에게 주어진다는 계급적 의미가 부각되는 것 같습니다. 사실은 "주어진다"기보다 "주어지는 것으로 취급한다"가 더 정확한 표현이겠습니다. "할 수만 있다면 무엇이든 수집하고 이용하는 관행"(112)은 개미나 꿀벌에게, 아니 생명 모두에게 있다고 할 수 있을까요? 아니면 인간에게만 나아가 자본에게만 있다고 해야 할까요?

ㅈㄱ) 이용할 수 있어야 수집하기 때문에 지능 시스템에 속해있어야만 그 관행이 있다고 생각합니다. 그래서 중심화라기보다 어떤 덩어리들로 표현하는 게 전체 시스템들을 이어서 생각하기에 좋을 것 같습니다.

ㄱ) 자본이 그런 것 아닐까 하는 생각이 듭니다. 세계 일부 지역에서는 미래 세대가 이용할 수 있는 것을 남겨놓고(땅을 경작하지 않고 그대로 둔다거나), 동물을 위해 열매를 남겨놓는 등 인간의 관행들이 있습니다.

ㅂ) "할 수만 있다면 무엇이든 수집하고 이용하는 관행"을 만든 원인으로 저자는 기술적 고려만 있고 윤리적 고려는 사라진 현상을 들고 있는데요, 이를 달리 표현하면 공통장을 보는 눈이 어두워졌기 때문이라고도 볼 수 있을 것 같아요.

ㅈ) 김종영 교수가 쓴 <문두스>도 황우석 사건을 소재로 기술과 윤리의 관계 문제를 제기합니다. 자본이 수행하는 축적을 위한 축적도 "이용을 위한 수집"의 한 사례로 포함될 수 있을까요?

ㅈㄱ) 이용을 위한 수집이라기보다 끈이나 어떤 흐름에서 고여진 것들로 보입니다.

ㅈ) 자본주의가 이런 관행 영역을 폭력적으로 파괴하고 윤리 없는 기술, 반공통장의 기술, 사유화의 기술을 유일한 기술-기계로 정립했던 것이 아닐까요?

ㅈㄱ) 어떤 축적이 요동치는 것을 누가 수집하려 하는가로 보입니다. 그래서 이용을 위한 수집은 덩어리지는 형태로 귀착하는 것 같습니다.

ㅈ) 맑스는 "축적하라, 축적하라, 축적하라"가 자본에게 지상명령으로서 모세, 예언자가 되었다고 말하면서 그것이 사용으로부터 점점 분리되어 가는 측면을 강조했습니다.

ㄱ) "우리가 목도하는 것은 한 줌의 사기업들이 이 원천으로부터 통찰과 이윤을 뽑아낼 어마어마한 권력을 가지고 있다는 사실이다. 새로운 AI 골드러시는 인간의 앎, 느낌, 행동의 여러 분야, 즉 모든 유형의 가용 데이터로 이루어졌으며, 이 모든 것이 끝없는 수집의 팽창주의적 논리에 사로잡혀 있다. 이것은 공적 공간의 약탈이다.“

ㅈ) AI를 기술적 기능이나 결과물의 관점에서 보는 주류 AI론을 비판하면서 AI를 생산과 재생산(천연자원, 에너지, 노동력, 데이터)의 총 과정에서 분석한다는 것이 이 책의 특이한 지점이었고 무엇보다 AI를 기술로서보다는 정치(적 개입)이자 권력 현상으로 고찰하는 것이 흥미로웠습니다.

케이트의 많은 이야기가 공감되는데 그래도 공통장 개념과는 접속되지 않고 있는 것 같습니다. 여기서도 "공적 공간"public space이라고 표현할 뿐 commons라고 표현하지 않습니다. 그 결과 윤리 문제는 공통장에 내재적인 것으로 사고 되기보다 국가 규제로 될 가능성이 높아진 것 같은데 이 책의 뒷부분에서 이 문제가 어떤 논리로 발전되는지 유의해 보면 좋겠습니다.

ㄱ) "데이터 추출과 훈련 데이터 집합 구축의 관행은 이전에 공유재의 일부이던 것을 수집하여 상업적으로 이용하는 행위를 전제한다." 이런 문장에서 공유재가 commons일까요?

ㅈ) “The practices of data extraction and training dataset construction are premised on a commercialized capture of what was previously part of the commons”

commons로 표기되어 있습니다. commons는 이 책에서 8번 나오는 것으로 검색되는데 그것을 public과 어떻게 구별하느냐가 관건일 것입니다. 구별이 있는가, 있다면 어떻게 구별하는가?

ㅂ) 관련해서 케이트의 문제제기, 특히 3장에서의 문제제기는 프라이버시 이슈로 흐를 위험도 있다는 생각이 들었는데요, 개인의 사적 권리와 닿아있는 프라이버시 문제는 저작권 문제와도 얽혀 있어서 논의를 풀어가기가 쉽지 않겠다는 생각도 들었고요. 공public과 사Private의 대립을 넘어서는 (좀 더 뚜렷한) 다른 관점 (commons) 이 필요하다는 의견에 저도 공감합니다.