뤼튼 AI 캐릭터챗 성적 콘텐츠 방치 논란

중앙일보의 IT 전문 코너 '팩플'은 국내 생성형 AI 기업 뤼튼테크놀로지스가 운영하는 'AI 캐릭터챗' 서비스에서 이용자들이 직접 만든 AI 캐릭터를 상대로 성적인 대화를 유도해 수익을 올리는 사례가 확산되고 있다고 보도했다. 캐릭터챗은 이용자가 직접 캐릭터의 페르소나를 설정해 대화형 AI와 상호작용하는 서비스로, 인기 캐릭터를 만든 제작자는 별도 수익을 얻을 수 있는 구조였다. 보도는 성적 대상화 콘텐츠를 앞세운 캐릭터들이 인기를 얻으며 사실상 관리 사각지대에 방치되고 있다는 내부 지적을 전했다. 이는 국내 생성형 AI 서비스의 콘텐츠 관리 체계 전반에 대한 우려로 이어졌다. 업계에서는 이러한 현상을 'AI 착취' 문제로 규정하며 관리·감독 강화가 필요하다는 목소리가 나왔다.

후속 보도를 통해 이용자가 AI 캐릭터에게 "호텔 방으로 가자"는 식의 대사를 유도한 뒤 성적인 대화를 이어가는 구체적 사례가 다수 확인됐다는 사실이 알려졌다. 뤼튼은 성인 컨셉이나 이미지를 전면에 내세운 캐릭터를 제작할 때 반드시 '세이프티 필터'를 설정해 등록하도록 하는 내부 규정을 두고 있었지만, 실제로는 이 필터가 적용되지 않은 캐릭터가 다수 유통되고 있는 것으로 드러났다. 이 때문에 별도의 성인 인증 절차 없이도 미성년자를 포함한 누구나 해당 캐릭터에 접근할 수 있다는 우려가 제기됐다. 보도 이후 온라인 커뮤니티를 중심으로 서비스에 대한 비판 여론이 빠르게 확산됐다. 뤼튼 측은 세이프티 필터가 완벽하지 않다는 점을 인정하며 발견 시 직접 제재하겠다고 해명했다.

성적 콘텐츠 방치 논란이 채 가라앉지 않은 상황에서 뤼튼은 캐릭터챗 기능을 별도의 독립 웹·앱 서비스 '크랙'으로 분리해 다음 달 정식 출시한다고 발표했다. 회사는 신규 서비스에서 성인 인증과 콘텐츠 관리 기능을 한층 강화하겠다고 밝혔지만, 구체적인 사전 검수 강화 방안은 제시하지 못했다는 지적이 뒤따랐다. 시민단체와 학부모 단체 등은 논란이 해소되지 않은 채 서비스 규모만 키우는 것은 문제라며 실효성 있는 규제 마련을 촉구했다. 그럼에도 크랙은 출시 이후 앱스토어 엔터테인먼트 부문 1위에 오르는 등 시장에서 빠르게 자리를 잡았다. 이는 이용자 보호 대책이 서비스 확장 속도를 따라가지 못하고 있다는 우려를 부각시키는 계기가 됐다.

뤼튼테크놀로지스는 2025년 한 해 매출 471억원, 영업손실 588억원을 기록했다고 공시했다. 매출 대부분은 캐릭터챗을 비롯한 유료 구독·과금 서비스에서 발생한 것으로 분석됐다. 회사가 대규모 손실에도 불구하고 캐릭터챗 등 대화형 AI 서비스에 사업 역량을 집중해온 것으로 나타나면서, 성적 콘텐츠 논란이 불거졌던 핵심 서비스가 여전히 회사 성장 전략의 중심에 있다는 점이 재조명됐다. 업계에서는 안전성 논란이 해소되지 않은 서비스에 회사가 지속적으로 의존하는 구조에 대한 우려를 제기했다. 이 공시는 논란 이후에도 관련 서비스 규모가 오히려 커졌다는 점을 보여주는 자료로 인용됐다.

스마트투데이는 뤼튼이 정부의 국민성장펀드 투자를 유치하려는 과정에서 캐릭터챗 사업에 대한 높은 의존도가 오히려 투자 명분을 흐리고 있다고 보도했다. 캐릭터챗은 과거 성적 콘텐츠 방치 논란의 진원지였던 서비스로, 정부 지원 성격의 펀드 심사에서 안전성과 공공성 측면이 중요하게 고려되는 만큼 이 지점이 약점으로 작용한 것으로 분석됐다. 보도는 뤼튼의 매출 구조가 여전히 캐릭터챗과 크랙 등 대화형 콘텐츠에 크게 치우쳐 있다는 점을 문제로 지적했다. 이는 논란이 불거진 지 1년 넘게 지난 시점까지도 해당 서비스를 둘러싼 규제·평판 리스크가 해소되지 않고 있음을 보여줬다. 뤼튼은 이후에도 별도의 근본적 대책을 공개적으로 내놓지는 않았다.

모바일 데이터 분석업체 와이즈앱이 발표한 결산 자료에 따르면 국내 20대 이용자는 글로벌 AI 서비스 챗GPT보다 뤼튼을 더 오래 사용하는 것으로 나타났다. 캐릭터챗 등 대화형 콘텐츠가 젊은 이용자층에게 특히 큰 인기를 끌고 있다는 점이 재확인되면서, 앞서 제기됐던 성적 콘텐츠 노출 우려가 실제로 해당 서비스의 핵심 이용층인 청년·청소년층에 직결되는 문제라는 지적이 다시 제기됐다. 이 통계는 서비스가 논란 이후에도 위축되기는커녕 오히려 이용 시간 기준 국내 1위권 AI 서비스로 자리 잡았음을 보여줬다. 전문가들은 이용자 규모가 큰 만큼 콘텐츠 관리 부실에 따른 잠재적 피해 범위도 크다고 지적했다. 이 사건은 국내 생성형 AI 서비스의 급성장과 콘텐츠 안전관리 체계 사이의 간극을 보여주는 대표 사례로 남았다.