자체 LLM 도입으로 여는 서울시형 AI 행정 본격화

서울시는 공무원의 반복 행정업무를 생성형 AI가 대신 처리하는 새로운 지원 체계 ‘챗봇 2.0 사업’을 시작합니다. 이를 위해 올해 자체 LLM(초거대 언어모델)을 내부망에 도입하고, 시범 운영을 통해 본격적인 AI 기반 행정 전환에 나섭니다.

시민용 챗봇 ‘서울톡’에도 생성형 AI를 시범 적용해 응답 품질을 높이는 등, AI 기술을 공공 전반에 접목함으로써 서울은 세계를 선도하는 디지털 행정도시로 도약할 예정입니다.

서울시는 공공행정의 디지털 전환을 가속화하기 위해, 생성형 AI를 행정업무 전반에 도입하는 챗봇 2.0 사업을 추진합니다. 자체 LLM을 활용해 내부 문서 작성, 질의응답, 규정 조회 등을 AI가 처리하고, 시민용 챗봇 ‘서울톡’에도 시범 적용해 시민 만족도 제고를 기대하고 있습니다.

‘챗봇 2.0’으로 진화하는 행정지원

서울시는 기존 고정 응답 방식의 1세대 챗봇에서 벗어나, 맥락 이해와 대화 생성이 가능한 ‘챗봇 2.0’ 체계를 본격 도입합니다. 공무원용 업무 챗봇(‘서우리 주무관’)과 시민용 챗봇(‘서울톡’)의 활용도를 높이며, AI가 문서 작성과 규정 질의에 능동적으로 대응하는 디지털 행정 환경을 조성합니다.

예컨대 공유재산 계약 해지 조건 등 복합 질문에도 AI가 관련 규정을 종합해 답변하는 ‘디지털 행정 길잡이’ 역할을 수행하게 되며, 공무원이 직접 자료를 찾지 않아도 AI가 실시간 응답을 제공합니다.

자체 LLM 기반 AI 비서 도입

‘챗봇 2.0 사업’의 가장 큰 특징은 서울시가 자체 LLM을 내부망에 직접 도입한다는 점입니다. 시는 민감한 공공데이터를 안전하게 처리할 수 있는 독립형 인프라를 기반으로, 행정 수요에 최적화된 실용적인 생성형 AI 서비스를 구축해 공공행정 전반의 AI 전환을 선도할 계획입니다.

특히 핵심은 자체 폐쇄망에서 운영되는 LLM 기반 ‘AI 비서’입니다. 공공기관 특성상 내부 정보 보호가 중요한 만큼, 외부와 단절된 내부망 환경에서 안정성과 보안성을 갖춘 AI 서비스를 제공할 수 있도록 설계됐습니다.

올해 GPU 서버 1대를 도입하고, 2026년까지 서버를 총 4대 확보해 AI 서비스의 성능을 강화할 예정이며, 행정 전반의 디지털 전환 기반을 체계적으로 마련하고 있습니다.

직원 수요 맞춤형 기능 고도화

‘챗봇 2.0’ 시스템이 본격 도입되면 문서 작성, 규정 조회, 질의응답 등 반복적이고 정형화된 행정 업무를 AI가 대신 수행하게 됩니다. 이에 따라 행정의 효율성과 업무 속도가 크게 향상될 것으로 기대되며, 단순한 디지털 도구 도입을 넘어 행정 조직의 업무 방식과 체질을 전환하는 계기가 될 전망입니다.

서울시가 지난 6월 내부 직원을 대상으로 실시한 설문조사(응답자 342명)에서도 생성형 AI에 대한 수요가 뚜렷하게 나타났습니다. 문서 초안 자동 작성(23%), 문서 요약 및 정리(20%), 내부 문서 기반 질의응답(16%) 등 실무에 밀접한 기능에 대한 기대가 높았으며, 이는 AI가 실제 행정 현장에 실질적인 도움을 줄 수 있음을 보여줍니다.

시는 전문가의 자문에 따라 자체 LLM 도입을 기반으로 올해 연말까지 시범 운영을 완료한 뒤, 내년부터는 LLM API와 AI 에이전트를 단계적으로 도입해 기능을 고도화할 계획입니다. 전문가들은 보안성과 신뢰성 측면에서 적절한 방향이라고 평가하면서도, 대시민 서비스로의 확산은 신중하게 접근하고 인프라 및 운영체계는 확장성과 효율성을 고려해 설계해야 한다고 조언했습니다.

시민 챗봇 ‘서울톡’의 변화

한편 50만 명 이상이 이용 중인 시민용 챗봇 ‘서울톡’에도 생성형 AI를 시범 적용할 계획입니다. 기존에는 시나리오 기반의 정해진 답변만 가능했지만, 앞으로는 누리집 내 보도자료나 새소식 등의 자료를 활용해 LLM이 맥락을 이해하고 자연어로 응답하는 방식으로 진화하게 됩니다.

예를 들어 이전에는 “답을 찾기 어려운 질문이네요”로 종료되던 문의에도, 생성형 AI가 실시간으로 관련 정보를 탐색해 응답함으로써 민원 응대 품질이 크게 향상될 것으로 기대됩니다.

스마트 서울뷰 | 세계를 선도하는 스마트도시 서울

스마트 서울뷰는 서울비전2030을 통해 구현 중인 스마트도시 서울의 핵심 정책과 미래 전략을 시민들에게 알기 쉽게 전달하고 있습니다. ‘최초’, ‘최고’, ‘최대’의 타이틀을 가진 서울의 첨단 기술과 도시 혁신 사례를 스마트 서울뷰에서 직접 확인해보세요.

서울비전2030 - 세계를 선도하는 스마트도시 서울

세계를 선도하는 스마트도시 서울 바로가기