서울시가 디지털 성범죄 영상을 포착해 삭제까지 지원하는 시스템을 전국 최초로 개발했다. 담당 공무원이 하면 3시간 걸리는 작업을 불과 6분 만에 끝낼 수 있는 시스템이다.

서울시 디지털성범죄안심지원센터는 21일 ‘인공지능(AI) 디지털 성범죄 삭제지원 시스템’을 실행한다고 발표했다. 2023년 서울연구원과 협력해 개발한 ‘디지털 성범죄 AI 삭제지원 기술’을 활용한 24시간 불법 영상물 감시·삭제 지원 시스템이다.

성범죄 영상을 발견한 인공지능(AI)이 자동으로 관련 보고서를 작성 중인 모습. [사진 서울시]

AI 디지털 성범죄 삭제 신고 시스템

인공지능(AI)이 온라인상 성착취 영상 삭제를 요청하는 이메일을 자동으로 생성하고 있다. [사진 서울시]

이번에 서울시가 새롭게 도입한 시스템은 디지털 성범죄 관련 영상을 AI가 자동으로 포착해 삭제 신고까지 진행하는 점이 특징이다. 지금까지 서울시 디지털성범죄안심지원센터는 불법 영상물을 수작업으로 검색·삭제했다. 센터 관계자가 200여개 불법 사이트나 페이스북·인스타그램 등 각종 소셜미디어(SNS)에 접속한 뒤, 음란물로추정되는 영상을 보면 회원으로 가입해 유료로 결제를 진행했다. 짧으면 1~2분에서 길면 1~2시간짜리 영상을 담당자가 직접 보면서 음란물 여부를 판단하고, 성범죄 영상을 경우 동영상을 캡쳐하는 방식으로 증거를 채증해 보고서를 작성하고 신고했다.

김지현 서울시 여성가족실 권익사업팀장은 “1명의 공무원이 불법 영상물 1개 찾아서 신고까지 하는데 평균 3시간 걸렸다”고 설명했다.

이렇게 지난한 과정을 거쳤던 디지털 성범죄 삭제지원 시스템은 AI 덕분에 소요되는 시간이 크게 줄어들었다. AI가 피해 영상물을 24시간 상시 검출한 뒤, 자동으로 영상물을 채증해 보고서를 만든 후 해당 사이트에 삭제를 요청하는 이메일을 자동으로 생성한다. 이메일은 영어·중국어·일본어·러시아어 등 7개 국어로 생성한다.

AI는 채증도 자동으로 담당한다. 기존에 사람이 일일이 작성하던 채증 보고서는 AI가 텍스트, 이미지, URL 등 콘텐트 핵심 정보를 자동 추출해 한글(HWP) 문서로 변환해 저장함으로써 향후 사법 절차에 필요한 증거자료로 활용한다. 이렇게 하면 불법 영상물을 찾아내 해당 사이트에 삭제 신고를 하는 데까지 소요되는 시간이 6분에 불과하다는 것이 김지현 팀장의 설명이다.

온라인상에 유포된 디지털 성범죄 영상을 발견한 인공지능(AI). [사진 서울시]

6분 만에 영상 검출해 신고

온라인 그루밍 피해 증가율. [사진 서울시]

이와 함께 서울시는 디지털 성범죄안심지원센터를 통해 수사·법률지원, 심리치료·의료 지원 등 디지털 성범죄 관련 피해자를 원스톱 지원하고 있다. 2022년 3월부터 지난 3월까지 3650명, 6만4677건을 지원했다. 아동·청소년의 경우 익명으로 상담할 수 있는 카카오톡 오픈채팅방(디지털 성범죄 SOS 상담)을 운영하며, 학부모를 대상으로도 심리 치료도 무료 지원하고 있다.

김선순 서울시 여성가족실장은 “n번방 사건부터 딥페이크 성범죄 사건까지 디지털 성범죄 기술이 고도화하는 상황에서 서울시가 전국 최초로 도입한 AI 모니터링 기술은 디지털 성범죄 사건을 처리하는 기간을 획기적으로 단축할 것”이라며 “디지털 성범죄로부터 아동·청소년이 안전한 서울을 만들겠다”고 말했다.

디지털 성범죄 영상으로 인한 아동청소년 피해 증가율. [그래픽 서울시]

◇서울AI재단 출범=한편 서울시 산하 서울디지털재단은 21일 서울AI재단으로 이름을 바꿨다. 서울AI재단은 AI 관련 연구·실증과 AI 인재 양성 등 서울시 AI 정책의 중추적 역할을 담당한다.

이날 서울 대한상공회의소에서 열린 서울AI재단 출범식에서 김만기 서울AI재단 이사장은 “서울 시민·기업·행정이 함께 만들어가는 AI 혁신 생태계 조성에 앞장서 AI로 서울의 산업·행정을 혁신하고 시민이 AI의 혜택을 누릴 수 있도록 최선을 다하겠다”고 말했다.

서울시 디지털성범죄안심지원센터 운영실적. [사진 서울시]