[시스템 에러―빅테크 시대의 윤리학]('System Error') 롭 라이히 외 2인

우리 손에 들어온 기계 시대의 성과들은 세 살 아이의 손에 있는 면도칼만큼이나 위험하다.
알베르트 아인슈타인, <더네이션> 1932

거울을 보면 자신이 잘 갖추어졌는지 확인해 볼 수 있다. 때때로 거울을 봐도 익숙한 모습 때문에 어디가 문제가 되는 건지 모를 때가 있다. 그래서 이 책은 단지 우리를 비출 뿐인 거울 보다 한 발 더 나간다. 이 책은 우리가 익숙해져서 당연하게 받아들이고 있는 것들이 어째서 문제인지를 생각해 보게 해준다.(ー신분제 시대나 일본제국주의 강제점령기에 태어나서 익숙해진 채로 원래 세상은 그런 거야라고 할 수도 있고, 자본주의 시대에 태어나 자본소득분배율이 노동소득분배율보다 점점 더 커져가도 원래 세상은 그런 거야라고 할 수도 있다. 승리 맨션에 살면서 빅 브라더에게 익숙해진 채로 원래 세상은 그런 거야라고 할 수도 있다. 일제강점기에 매국했던 사람들이 아무런 처벌도 없이 잘 사는 세상(매국으로 성공한 사람들을 본받을 수 있게 한다)에 익숙해진 채로 원래 세상은 그런 거야라고 할 수도 있다. 상위 계층일수록 원래 세상이 그런 거라고 넘어가면서 그 상태로 유지되는 게 제일 좋다. 세상에 단점만 있거나 또는 장점만 있는 제도, 사회, 협의방식 등(이득의 영향에 따라 대하는 입장이 달라지겠지만)은 아직 없는 것으로 알고 있다. 그 어떤 사회가 되었든지 세상은 우리가 정해서 약속한 대로 만들 수 있고 만들어진다.)


책 본문의 순서와는 다르지만, 나름대로 정리한 책의 내용은 다음과 같다. 빅테크 기술에 대해 소개하고 그로 인해 우리 인류가 추구하는 전통적인 가치에 무슨 영향을 미쳤는가를 생각해 본다. 기술 자체는 문제없이 작동하는가, 그 기술을 만들어내거나 적용하는 사람들은 믿을만한가, 기술기업들이 장악해가는 이 사회에서 어떤 문제가 일어나고 있으며 사람들을 위한 규제는 잘 작동하고 있는가로 볼 수 있다.

책의 저자들은 답을 주기보다는(답을 내리기 어렵다) 독자들이 여러 가지를 생각하고 문제를 인식하기를 바라고 있다.

오늘날은 효율과 최적화라는 관점이 우리 일상에 파고들었고, 이제는 새로운 기술로써 새로운 시스템을 구축하는 사람들이, 효율과 최적화 우선주의 사고로 무장한 삶을 지혜로운 삶으로서 바라보는 시대에 살고 있다. 다시 말해서 테크노크라시(Technocracy 과학 기술 분야의 전문가들이 많은 권력을 행사하는 정치, 사회 체제) 사회다.

삶에 대한 우리의 권한이 축소되는 미래가 다가오고 있다.
263p

우리는 잘 모르는 것에 대해서는 꺼낼 수 있는 말이 거의 없다. 무엇을 물어봐야 하고 어떤 대답이 누락되었는지 알려면 그만큼의 배경지식이 있어야 한다. 때문에 기술에 대해 문외한인, 정치를 담당하는 사람들이 기술의 발전에 선제적으로 대응해서 그에 관한 법률을 마련한다는 것은 요원한 일이다. 따라서 아래 인용구에 옮겨놓은 부분이 저자들이 하고 싶었던 말의 요약일 것이다.

새로운 기술이 야기한 긴장과 균형에 우리 모두가 참여할 수 있는 대안적 미래를 창출하기 위해서는 세 영역에서의 진전이 필요하다. 첫째, 기술자들의 윤리적 문제에 대한 인식과 이해를 높여야 한다. 둘째, 기업의 힘을 억제해야 한다. 셋째, 기술과 기술자들이 우리를 지배하게 놓아두는 수동적 자세를 버리고 시민과 민주주의 제도에 기술을 관리할 수 있는 권한을 부여해야 한다.
385p

---

책에서 다루지는 않았지만 인간의 편향과 차별의식을 제거한 중립적인 인공지능이 존재한다면, 그에 의한 판단을 그것이 옳은지 그른지 분별할 수 없는 인간이 받아들여도 되는 것일까. 만약에 우리 사회가 아직 신분제가 있는 상태에서 인공지능이 도입됐다고 가정한다면 인공지능이 신분제를 무시하는 판단을 내렸을 경우 우리는 그것을 받아들일 수 있을까? 반대로 기존의 인간 판단을 모방해서 신분제를 더 강화하는 방향의 판단을 내린 경우라면 어떨까? 더 나아가 현재 시대로 돌아와서 생각해 보자. 지각과 감정을 가진 동물들을 상대로 인간처럼 취급하는 판단을 인공지능이 내렸을 경우라면 받아들일 수 있을까? 모든 성 정체성을 망라하고 더 나아가 무성과 생물 전체를 아우르는 우리가 알 수 없는 존재에 대한 개념을 인간처럼 취급하는 판단을 내렸다면 어떨까? 우리가 노예제 사회에서 평등사회로 온 것처럼 인공지능은 인간이 가진 편향과 차별의식을 걷어내고 우리가 맞이할 미래의 관점에서 바라보는 시각으로 판단을 했을지도 모른다. 마치 체스나 바둑에서 사람은 모르지만 인공지능이 바라보는 착점의 시야일 수도 있다. 그러나 어쩌면 프로그램에서 보완해야 할 어떤 문제가 있어서 그런 판단을 내린 건지도 모른다. 책에서는 우리가 무슨 이유로 인공지능이 그러한 판단을 했는지 알기 어렵다는 이야기를 한다. 마치 비유하자면 신이 인간을 만들었지만 인간이 왜 그런 판단과 행동을 하는지는 신도 모른다고 할까. 그럼에도 불구하고 저자는 우리가 그것을 알 권리가 있다고 강조한다.

마치 비유하자면 신이 인간을 만들었지만 인간이 왜 그런 판단과 행동을 하는지는 신도 모른다고 할까.
본인

---

아래는 157~160p 발췌한 내용이다. 162,163p에 이 알고리즘을 무력화시키는 공공연한 방법에 대해서도 나온다.(그 방법은 흰색 글자로 흰 여백 안에 채용에 유리한 문구들 넣어놓기)


4장 누구의 편도 아닌 줄 알았던 알고리즘

1998년 몇 차례의 기업 인수와 상장 후, 아마존의 CEO 제프 베이조스는 회사의 핵심 가치를 명확히 규정하는 일에 착수했다. 그는 “인재에 대한 높은 기준"을 포함한 다섯 가지 가치를 제시했다. 회사는 초기 단계에 불과했지만 그는 "세계 최대의 온라인 서점"이라는 당시의 정체성을 훨씬 뛰어넘어 "모든 것을 파는 상점"이라는 원대한 비전을 실현하려면 반드시 고성과 조직을 만들어야 한다고 생각했다. 그 이후 25년 동안 아마존은 모든 예상을 뛰어넘었다. 아마존은 셀 수 없이 많은 새로운 시장에 진출했고, 온라인 소매의 고객 경험을 변화시켰으며, 시가총액 1조 달러가 넘는 미국의 2대 상장기업이 되었다. 기업의 가치가 치솟으면서, 종업원도 늘어났다. 1998년 614명이었던 직원 수는 현재 전 세계의 정규직과 임시직을 포함해 75만 명으로 증가했다. 하루 평균 337명을 고용하며 거의 3만 개의 일자리가 사람을 기다리고 있다.

이런 확장을 생각하면 의문이 떠오른다. 아마존이 인재에 대한 높은 기준을 유지하는 것이 아직도 가능할까? 아마존의 인사책임자 베스 갈레티 Bethe Galetti는 그렇다고 믿고 있다. 그녀는 회사의 혜성과 같은 부상에 연료가 되었던 혁신이 인재에 대한 야심찬 접근법에도 효과적일 것이라고 생각한다. 그녀는 "한 해에 수만 명(현재로서는 수십만 명)을 고용한다면 일일이 수동으로 채용 과정을 처리할 수는 없다"라고 말했다.

아마존은 2014년 이런 정신에 입각해 기술력을 새로운 도전에 적용하기 시작했다. 최고의 인재를 찾고 채용하는 일 말이다. 회사의 엔지니어들은 알고리즘을 이용해서 가장 유망한 후보를 찾는 새로운 도구를 구상했다. 그들은 강력한 머신러닝 기법으로 최고의 인재를 찾아낼 수 있기를 바랐다. 그들은 채용 모델을 보다 정확하게 만들기 위해 이전 10년간 회사가 받은 이력서는 물론 다른 내부 자료까지 이용해 새로운 시스템을 훈련시킬 계획을 세웠다. 시간이 흐르면서 이 시스템은 지원자가 아마존에서 성공하는 데 필요한 자질, 기술, 자격, 경험을 인식하는 법을 배우게 됐다. 시스템은 잠재력을 기반으로 후보자들에게 1~5개의 별을 준다. 소비자들이 소매업체 플랫폼에서 제품을 평가하는 것과 마찬가지다.

이 도구의 성공 가능성은 명확했고, 그 목적에는 설득력이 있었다. 아마존이 보다 지능적인 자동화 툴을 이용해 채용 과정을 극적으로 강화할 수 있다면, 채용 작업의 효율성을 높이고 “인재에 대한 높은 기준"이라는 오랜 약속을 더 강하게 밀어붙이는 동시에 핵심 사업에서도 이례적인 성장을 유지할 수 있을 것이다. 연간 수만 명에 달하는 지원자의 이력서를 사람이 일일이 검토하려면 큰 비용이 든다. 아마존이 고객을 위해 비용을 절약하려고 노력하는 것처럼 인사 업무에 관한 알고리즘을 구축하면 상당한 비용 절감 효과를 얻을 수 있다. 이 회사의 한 소식통에 따르면, “모든 사람이 이 성배를 원했다. 그들은 이것이 말 그대로 엔진이 되기를 원했다. 우리는 이 엔진에 100개의 이력서를 주고 그것이 내놓는 5개 이력서의 주인을 고용하면 되는 그림을 꿈꿨다."

이 시도는 효율 향상 이외에도 인간의 결정이 주도하는 과정에서 알고리즘과 데이터가 중심이 되는 과정으로 전환하는 흥미로운 가능성을 보여주었다. 인간의 편견으로부터 자유로운, 혹은 최소한 편견이 있는 인간의 의사결정을 개선할 수 있는 채용 시스템을 구축하는 것이다. 오랫동안 연구자들은 인종차별과 성차별이 채용 결정에 일상적으로 영향을 주며, 의사결정을 하는 인간은 의식적으로든 무의식적으로든 여러 가지 편견에 사로잡힌다는 것을 보여주었다. 똑같은 이력서를 다른 이름(예를 들어 아프리카계 미국인의 분위기가 진하게 풍기는 이름과 백인의 분위기가 풍기는 이름)으로 채용회사에 제출하자 인식된 인종을 기반으로 확연한 차이를 보이는 결과가 나왔다. 백인 이름이 면접 요청을 50퍼센트 더 받았던 것이다. 전혀 새로운 고용 도구를 구축하면 아마존은 인간이 살아온 경험에서 축적한 편견으로부터 해방됨으로써 사회 정의를 향한 큰 진전을 이룰 수 있을 것이다. 아마존은 보다 정확하고 효율적이고 객관적인 채용 결정을 내릴 수 있다. 어느 때이든 의미 있는 성과이지만, 갈레티가 회사의 인력을 세 배로 늘릴 준비를 하고 있는 지금과 같은 때라면 더 큰 의미를 갖는다.

하지만 채용 담당자들은 이 새로운 시스템의 추천 내용을 살펴보다가 이상한 점을 발견했다. 여성에 대해 이상한 편견이 있고 남성을 훨씬 선호하는 점수가 나온 것이다. 팀은 그 결과를 자세히 조사했다. 그랬더니 알고리즘이 지원자의 미래 성공 가능성을 예측하는 중립적인 패턴만 익힌 것이 아니라 회사의 채용 전력에서 학습한 대로 남성 후보자에 대한 선호까지 증폭시키고 있다는 것을 발견했다. 드러난 바에 따르면 이 알고리즘은 “여성 축구부 주장"에서 "사업을 하는 여성"까지 모든 것을 포착해 "여성"이라는 단어가 들어간 이력서에는 감점을 했고 여자 대학을 나온 지원자의 점수를 낮췄다. 엔지니어들은 성차별주의자가 아니었다. 그들은 편견을 주입하거나 적극적으로 '성차별적 알고리즘'을 프로그래밍하지 않았다. 그런데도 성 편견이 스며들었다. 팀은 편견을 중화시키기 위해 코드의 수정을 시도했지만, 그 도구에서 모든 잠재적 차별을 제거할 수는 없었다. 수년간의 노력 끝에 아마존은 그 도구에 대한 비전을 완전히 폐기하고 그것을 책임지고 있던 팀을 해체했다.

현실을 보여주는 이 아마존의 사례는 자동화 의사결정 도구들의 부상 앞에서 우리가 반드시 던져야 하는 질문을 상기시킨다. 세계에서 가장 강력한 회사가 편견에서 자유로운 알고리즘 도구를 성공적으로 만들 수 없다면, 다른 누가 할 수 있을까? 인간의 의사결정을 돕거나 대체하기 위해 새로운 기술이 채용되고 있는 이런 자동화 대체의 상황에서 우리는 어떤 객관적인 기준을 갖고 있어야 할까? 기계가 한, 혹은 기계가 정보를 제공한 의사결정에 문제가 있을 경우에는 누가 책임을 져야 할까? 애초에 이 새로운 도구를 사용할지 말지는 누가 결정해야 할까?

---

아래 링크는 강의 스피치할 때의 목소리나 내용의 구성에서 배울 점이 있을 뿐만 아니라 단순히 청취하는 입장에서도 시간가는 줄 모르고 듣게 만드는 매력이 있다.

일제강점기의 친일매국세력을 광복 후에 청산하지 못한 이유 - 황현필 강사, 역사학자