알고리즘에 의한 평가를 당사자가 이해하고 이의를 제기하려면 무엇이 보장되어야 하는가?
알고리즘은 대출과 보험, 채용, 복지, 교육, 치안에서 사람을 점수화하고 기회를 배분한다. 결정은 빠르고 일관돼 보이지만 당사자는 어떤 정보가 사용되었고 왜 낮은 평가를 받았는지 알기 어렵다. 이 질문이 문제가 되는 까닭은 평가를 이해하지 못하면 잘못된 자료를 수정하거나 차별을 입증할 수 없고, 기업은 영업비밀과 기술적 복잡성을 이유로 전체 구조를 설명하기 어렵다고 주장할 수 있기 때문이다. 설명 가능성과 시스템의 성능, 보안과 개인정보가 서로 긴장한다. 보장되어야 할 것은 자동 평가를 받았다는 사실, 사용된 주요 기준과 자료, 결정의 영향, 인간의 검토를 요청할 권리일 수 있다. 설명은 전문가만 이해하는 기술 문서보다 당사자가 자신의 상황과 오류를 확인할 수 있는 형태여야 한다. 다만 모델의 모든 계산을 공개해도 실제 의미를 이해하기 어려울 수 있고, 단순화된 설명이 중요한 요소를 숨길 수도 있다. 이의 제기 절차가 있어도 검토자가 알고리즘 결과를 그대로 따르거나 생활에 필요한 결정이 오래 지연되면 권리는 형식에 머문다. 대출이 거절된 사람이 어떤 거래와 지역 정보가 점수에 영향을 주었는지 알지 못하면 자료 오류를 고치기 어렵다. 채용 시스템이 장애와 성별에 편향된 결과를 내거나, 학생의 위험 점수가 교육 기회를 제한할 수 있다. 복지 부정수급 탐지 오류는 급여 중단으로 생계를 위협하고, 예측 치안은 특정 지역을 반복해서 감시한다. 의료 알고리즘의 우선순위와 보험료 산정, 플랫폼 노동자의 계정 정지도 당사자의 삶에 큰 영향을 준다. 무엇이 보장되어야 하는가라는 물음은 모든 알고리즘의 코드를 공개하거나 인간 판단으로 돌아가는 데 있지 않다. 인간도 편견과 불투명한 직관을 가지며, 자동화는 기록과 일관성을 제공할 수 있다. 질문의 핵심은 기술적 설명의 양을 늘리는 데 있지 않다. 평가받는 사람이 결정의 이유와 자료를 실제로 다툴 수 있고, 독립적인 검토와 피해 회복에 접근하며, 알고리즘을 선택한 기관이 최종 책임을 피하지 못하도록 만드는 절차가 무엇인지 이해하는 데 있다.
1. 론 풀러 - 공개되고 일관되게 적용되는 규칙
#### *The Morality of Law* (법의 도덕성)
풀러는 법이 사람의 행동을 이끄는 규칙으로 기능하려면 공개성, 이해 가능성, 미래지향성, 일관성, 준수 가능성, 안정성, 공표된 규칙과 실제 집행의 합치가 필요하다고 보았다. 결정 기준을 알 수 없거나 실제 적용이 설명과 다르면 사람은 자신의 행동을 계획하고 오류를 다툴 수 없다.
저작과 위치: ‘법의 내적 도덕성’과 여덟 가지 실패 방식을 설명하는 부분이다.
#### 중심 생각
알고리즘이 법률 그 자체는 아니더라도 대출, 채용, 복지처럼 중요한 기회를 배분한다면 규칙의 공개성과 집행의 합치라는 요구가 적용될 수 있다. 전체 소스코드를 공개하는 것과 당사자가 적용된 기준을 이해하는 것은 다른 문제다. 필요한 것은 자신의 사례에 어떤 자료와 규칙이 작용했는지 확인할 수 있는 설명이다.
> *법을 만드는 일에는 규칙을 알리고 이해 가능하게 하며, 서로 모순되지 않고 실제 행정과 합치되게 할 의무가 따른다.*
원문 보기
2. 필립 페팃 - 지배받지 않기 위한 이의 제기
#### *Republicanism: A Theory of Freedom and Government* (공화주의)
페팃은 자유를 간섭이 전혀 없는 상태보다 타인의 자의적인 권력에 지배받지 않는 상태로 설명했다. 권력자가 실제로 개입하지 않았더라도 이유를 설명할 필요 없이 언제든 중요한 결정을 내릴 수 있다면 상대방은 그 의지에 의존한다. 이의 제기 가능성은 권력을 비자의적으로 만드는 핵심 조건이다.
저작과 위치: 자유를 비지배로 정의하고, 권력의 통제와 ‘논쟁 가능성’을 설명하는 장들이다.
#### 중심 생각
알고리즘이 일관되게 작동해도 당사자가 기준을 알 수 없고 바꿀 통로가 없다면 자의적 권력이 될 수 있다. ‘기계가 결정했다’는 말은 판단의 주체를 없애지 않는다. 시스템을 선택하고 목적과 기준을 정한 기관이 이유를 제시하고, 독립적인 곳에서 이의를 다시 심사받게 해야 한다.
> *간섭은 그것이 영향을 받는 사람의 이해와 의견에 따라 통제되지 않을 때 자의적이다. 자유로운 시민은 그러한 권력에 이의를 제기할 수 있어야 한다.*
원문 보기
3. 유럽연합 개인정보보호법 - 자동결정에 대한 정보와 인간의 개입
#### *General Data Protection Regulation* (일반 개인정보보호법)
유럽연합의 일반 개인정보보호법은 개인정보에 기초한 자동화된 결정이 사람에게 법적 효과나 그와 비슷한 중대한 영향을 줄 때 특별한 보호를 둔다. 관련 정보에 대한 접근과 자동처리의 존재, 사용된 논리와 예상되는 결과에 관한 의미 있는 정보를 요구할 수 있도록 한다.
저작과 위치: 제15조와 제22조, 전문 71. 자동화된 의사결정과 프로파일링, 정보 접근과 보호조치를 다루는 대목이다.
#### 중심 생각
‘논리에 관한 의미 있는 정보’는 반드시 모델의 수학식 전체를 공개한다는 뜻으로 확정되어 있지 않다. 당사자가 결정의 주요 요인과 결과를 이해하고 다툴 수 있을 정도의 설명이 중요하다. 인간의 개입도 이름만 올린 승인자가 아니라 결과를 바꿀 권한과 역량을 가진 검토여야 한다.
> *정보주체는 자신에게 중대한 영향을 미치는 전적으로 자동화된 결정의 대상이 되지 않을 권리가 있으며, 적절한 경우 인간의 개입과 자신의 견해 표명, 결정에 대한 이의 제기가 보장되어야 한다.*
원문 보기