주희진 센터장, "AI 행정, 도입의 시대 지나 검증의 시대로"…알고리즘 편향·블랙박스 문제 지적[정책톡톡 시즌2]

주희진 한국지방행정연구원 스마트지방행정연구센터장은 "AI 행정은 도입의 시대를 지나 검증의 시대로 들어가고 있다"며 "AI는 공정한가, 그 결정은 설명 가능한가, 틀렸을 때 누가 책임지는가"라는 세 가지 질문을 던졌다.

주희진 센터장은 지방자치TV가 제작한 '정책톡톡 시즌2' 강연에서 이 같은 문제 제기로 AI 지방행정의 명암을 짚었다.

주 센터장은 이미 지역 곳곳에서 24시간 AI 민원 챗봇, 지능형 CCTV, 복지 위기가구 발굴 등에 AI가 활용되고 있다고 소개하며 "많이 쓰는 것과 잘 쓰는 것은 분명히 다르다"고 말했다. 이어 AI 행정의 이면으로 ▲과거 차별적 데이터를 학습해 편견이 내재화되는 알고리즘 편향 ▲결정 과정을 설명할 수 없는 블랙박스 문제 ▲오류 발생 시 책임 주체가 불분명한 책임의 공백 ▲주민이 배제되는 민주적 통제 약화 등 네 가지 문제를 제시했다.

특히 호주에서 복지 수당 자동 산정 시스템의 오류로 수십만 명이 부정수급자로 잘못 분류돼 정부가 막대한 배상을 해야 했던 사례를 언급하며 "이러한 문제는 검증 체계의 부재라는 하나의 뿌리에서 비롯된다"고 강조했다. 해외 대응 사례로는 세계 최초로 공개 알고리즘 등기소를 도입한 암스테르담, 이의제기 채널을 운영하는 헬싱키, AI 법을 제정한 유럽연합, 지역 주도로 편향성 감사를 의무화한 미국 콜로라도주·뉴욕시 등을 소개했다.

국내 동향에 대해서는 "올해 초 시행된 인공지능 기본법은 세계에서 두 번째로 포괄적인 일반법"이라며 서울시의 AI 윤리 가이드, 경기도의 AI 등록제, 수원시의 AI 답변 출처 공개 의무화 등을 예로 들었다. 주 박사는 "AI를 더 많이 쓰자는 추세에서 이제는 AI를 제대로 쓰자로 바뀌고 있다"며 알고리즘 영향평가 제도화, 정책 결정 과정의 투명한 공개, AI 윤리 교육 의무화, 시민·학계·공공이 참여하는 양방향 소통체계 마련 등을 제안했다.

주희진 센터장이 출연한 ‘한국지방행정연구원과 함께 하는 정책톡톡 시즌2’는 7월 27일 월요일 오전 9시 20분 지방자치TV에서 방송된다.

지방자치TV와 한국지방행정연구원이 공동 기획한 이번 프로그램은 매주 월요일 오전 9시 20분에 방송되며, 방송 후 지방자치TV 유튜브 채널(www.youtube.com/@지방자치TV)을 통해 다시 볼 수 있다.