AI에게 트롤리 상황 판단을 맡길 수 있는가

알고리즘은 도덕 판단을 대신할 수 있을까

서론

자율주행차, 의료 진단 시스템, 자동화된 위험 관리 기술이 현실이 되면서 트롤리 문제는 더 이상 철학 교재 속 질문이 아니다. “이 상황에서 AI는 어떤 선택을 해야 하는가”라는 질문은 실제 시스템 설계의 문제로 등장하고 있다. 이때 많은 사람은 이렇게 묻는다. 인간보다 감정에 휘둘리지 않는 AI에게 판단을 맡기는 것이 더 합리적이지 않을까.

이 글에서는 트롤리 문제를 AI에게 맡길 수 있는지, 그리고 그 시도가 왜 반복적으로 한계에 부딪히는지를 살펴본다. 핵심은 AI의 성능 문제가 아니라, 판단과 책임의 구조가 인간과 근본적으로 다르다는 점에 있다.

AI는 무엇을 기준으로 판단하는가

AI는 기준을 선택하지 않는다

AI는 스스로 판단 기준을 만들지 않는다. 인간이 설정한 목표 함수와 규칙, 데이터에 따라 작동할 뿐이다. 다시 말해 AI는 “무엇이 옳은가”를 묻지 않고, “무엇을 최적화할 것인가”만 수행한다.

이 점에서 AI의 판단은 인간 판단의 대체라기보다, 인간 판단의 외주에 가깝다.

계산 가능한 요소만 처리한다

AI는 수치화할 수 있는 요소를 잘 처리한다. 생존 확률, 피해 규모, 속도 같은 변수는 계산할 수 있다. 그러나 행위의 상징적 의미, 책임의 무게, 도덕적 불편함 같은 요소는 수치로 환원하기 어렵다.

이 한계는 <트롤리 문제는 왜 결과만으로 설명되지 않는가>에서 다룬 결과 중심 판단의 한계가 기술적으로 고정된 형태다.

트롤리 문제를 AI에 적용하려는 시도

자율주행차의 윤리 문제

자율주행차는 현대판 트롤리 문제로 자주 언급된다. 충돌을 피할 수 없는 상황에서, 시스템은 어떤 선택을 해야 하는가. 이때 AI는 피해를 최소화하는 계산을 수행하도록 설계된다.

그러나 이 설계는 이미 특정 판단 기준을 전제한다. 누가 그 기준을 정했는가라는 질문은 여전히 남는다.

의료 AI의 우선순위 판단

의료 자원이 제한된 상황에서 AI가 환자의 치료 우선순위를 정하는 사례도 있다. 이 역시 트롤리 문제와 구조적으로 동일하다. AI는 데이터를 기반으로 판단하지만, 그 데이터가 반영하는 가치 판단은 인간의 것이다.

책임은 누구에게 있는가

판단을 맡긴다고 책임이 사라지지 않는다

AI가 결정을 내렸다는 사실은 책임을 제거하지 않는다. 오히려 책임의 위치를 불분명하게 만든다. 개발자, 운영자, 정책 결정자 중 누가 결과에 책임을 져야 하는가라는 문제가 발생한다.

이 구조는 <집단 책임은 개인 책임과 어떻게 다른가>에서 다룬 책임 분산 문제의 기술적 확장이다.

AI는 처벌의 대상이 될 수 없다

도덕 판단에는 책임과 처벌 가능성이 전제된다. 그러나 AI는 처벌의 대상이 될 수 없다. 이 점에서 AI는 도덕적 행위자라기보다 도구에 가깝다.

왜 AI 판단은 불편함을 제거하지 못하는가

불편함의 원천은 계산이 아니다

많은 사람이 AI에게 판단을 맡기면 도덕적 불편함이 사라질 것이라 기대한다. 그러나 트롤리 문제의 불편함은 계산 부족에서 비롯되지 않는다. 기준의 충돌에서 발생한다.

이 점은 <트롤리 문제는 왜 항상 불편함을 남기는가>에서 설명한 핵심 구조와 정확히 일치한다.

불편함은 인간에게 되돌아온다

AI가 계산을 대신하더라도, 그 결과를 승인하고 수용하는 주체는 인간이다. 따라서 불편함은 제거되지 않고, 다른 형태로 인간에게 되돌아온다.

AI 판단은 중립적인가

중립성은 설계의 환상이다

AI는 중립적으로 보이지만, 실제로는 설계자의 가치 판단을 반영한다. 어떤 데이터를 학습했는지, 어떤 목표를 최적화했는지가 판단을 결정한다.

이 점은 <트롤리 문제는 상황 설명에 따라 얼마나 달라지는가>에서 다룬 프레이밍 효과가 코드로 고정된 형태라고 볼 수 있다.

보이지 않는 기준의 위험

AI 판단의 가장 큰 위험은 기준이 보이지 않는다는 점이다. 인간 판단은 설명을 요구할 수 있지만, AI 판단은 블랙박스로 남기 쉽다.

그럼에도 AI를 사용하는 이유

일관성과 속도의 장점

AI는 인간보다 빠르고 일관된 판단을 내릴 수 있다. 감정 상태에 따라 판단이 흔들리지도 않는다. 이 장점은 <트롤리 문제는 감정 상태에 따라 달라지는가>에서 다룬 인간 판단의 변동성과 대비된다.

판단이 아니라 실행을 맡길 때

AI는 도덕 판단 자체보다, 이미 합의된 기준을 실행하는 역할에 더 적합하다. 문제는 이 기준이 어디에서 합의되었는가다.

트롤리 문제를 통해 본 AI 윤리의 핵심

질문을 AI에게 넘기지 말 것

AI에게 맡길 수 없는 것은 계산이 아니라 질문이다. “무엇이 옳은가”라는 질문은 여전히 인간의 몫이다. AI는 이 질문에 대한 답을 계산할 뿐이다.

책임의 위치를 분명히 할 것

AI를 사용할수록 책임의 구조를 더 명확히 해야 한다. 그렇지 않으면 판단은 자동화되지만, 책임은 공백으로 남는다.

이 관점은 <트롤리 문제는 도덕 교육을 통해 바뀔 수 있는가>에서 제시한 책임 의식의 중요성과도 자연스럽게 이어진다.

트롤리 문제는 AI가 계산은 대신할 수 있어도 책임을 대신할 수는 없음을 보여준다.

FAQ

Q1. AI가 트롤리 문제를 더 잘 풀 수 있나요
계산은 더 빠르지만, 도덕 판단의 기준을 스스로 정할 수는 없습니다.

Q2. AI 판단은 인간보다 공정한가요
설계와 데이터에 따라 공정해 보일 수 있지만, 중립적이라고 보장할 수는 없습니다.

Q3. 책임을 AI에게 넘길 수 있나요
아니요. 책임은 항상 인간에게 남습니다.

Q4. 이 문제는 이미 현실에서 나타나고 있나요
자율주행차, 의료 AI, 위험 관리 시스템에서 반복되고 있습니다.

 

책임의 문제는 <집단 책임은 개인 책임과 어떻게 다른가>에서 사회적 구조로 설명된다.
AI 판단의 불편함은 <트롤리 문제는 왜 항상 불편함을 남기는가>에서 철학적 구조로 이어진다.

이 글을 마무리하며 든 생각은, 판단을 AI에게 맡길 수 있는지보다 우리가 정말 그 결과를 받아들일 준비가 되어 있는지가 더 중요하다는 점이었다. 누군가 대신 결정해 주길 바라면서도, 그 선택의 무게만큼은 여전히 인간의 몫으로 남겨두고 싶어 하는 마음이 느껴졌다. 그래서 이 질문은 기술의 한계를 묻기보다, 책임을 끝까지 짊어질 주체가 누구인가를 다시 생각하게 만든다.