고객 사례
모바일 통신 서비스에 대한 고객 기대가 높아지면서, SK텔레콤은 개인형 AI 에이전트 서비스 ‘에이닷’ 을 통해 실시간 인사이트와 함께 초개인화된 디지털 경험을 천만명 이상의 고객에게 제공하고자 했습니다.
SK텔레콤은 Microsoft Foundry 의 멀티 에이전트 오케스트레이션 기능, 한국어 특화 언어 모델, 그리고 규정 준수 체계를 기반으로 에이전트 기반의 솔루션을 구축했습니다.
Azure AI의 높은 보안성과 규정 준수 역량을 바탕으로, 사용자 일상과 선호도, 위치 정보를 고려한 자연스러운 대화 경험을 제공해 구독자 천만 명 이상을 확보했습니다.
사용자들이 일상 속에서 더 개인화되고 향상된 디지털 경험을 기대하게 되면서, 글로벌 통신사들은 빠른 변화를 맞이하고 있습니다. 그들은 서비스 품질을 높이는 동시에 운영 복잡도와 비용을 줄여야 하는 이중 과제에 직면하고 있습니다. 그래서, 통신사들은 AI를 적극 도입해 데이터에서 인사이트를 추출하고 대규모 상호작용을 자동화하고 있습니다 . 동시에 한국처럼 데이터 현지화와 개인정보 보호 규제가 엄격한 시장에서는, 이러한 AI 전환 과정에서 규정 준수 역량이 매우 중요합니다.
한국의 주요 이동통신사인 SK텔레콤은 개인형 AI 에이전트 서비스인 ‘에이닷’을 통해 이미 AI 혁신의 기반을 다졌습니다.SK텔레콤의 다음 목표는 단순한 질문 응답을 넘어, 일정 관리나 일상 업무 지원, 다중 모드의 상호작용 등 실제 사용자 목표를 달성할 수 있도록 복잡한 다단계 작업을 오케스트레이션하는 것이었습니다.핵심은 대규모 사용자가 동시에 접속하는 환경에서도 빠르고 안정적이며 비용 효율적인 서비스를 제공하고, 동시에 규제 요건을 충족하고 현지 파트너들과의 협력을 통해 더욱 풍부한 기능들로 확장하는 것이었습니다.
SK텔레콤의 AI에이전트개발실 이정룡 부사장은 이렇게 말합니다. “우리는 고객의 이용 이력을 기억하고, 그 데이터를 바탕으로 개인에게 꼭 맞는 서비스를 제공하는 진정한 의미의 개인 비서를 만들고자 했습니다.” 이 비전은 ‘에이닷’이라는 AI 에이전트로 토대를 마련 했습니다.
SK 텔레콤의 솔루션은 다음 5가지의 핵심 요구 사항을 중심으로 형성되었습니다.
물론, 방대한 사용자 데이터를 관리하는 통신사로서 SK텔레콤은 보안과 규정 준수를 핵심 가치로 두고 있습니다. 한국의 개인정보보호법 및 산업별 지침은 데이터 처리 목적, 최소화 원칙, 저장 위치에 대해 엄격한 요건을 규정하고 있습니다. SK 텔레콤의 버티컬 에이전트 수석 기획자 고민석이 다음과 같이 말합니다. "법적으로 개인정보는 최소한으로 수집하고, 사용 목적은 명확히 해야 합니다.우리는 정부 지침을 철저히 준수하며 데이터 보호를 최우선으로 하고 있습니다.”
“우리는 고객의 이용 이력을 기억하고, 그 데이터를 바탕으로 개인에게 꼭 맞는 서비스를 제공하는 진정한 의미의 개인 비서를 만들고자 했고, ‘에이닷’이라는 AI 에이전트로 토대를 마련 했습니다.”
이정룡, 부사장, AI 에이전트 개발실, SK 텔레콤
SK텔레콤은 Microsoft와 긴밀히 협력해 Microsoft Foundry 기반의 AI 플랫폼을 구축했습니다. Azure OpenAI in Foundry Models GPT-4.1과 GPT-4.1 Mini 모델은 추론과 대화 기능의 핵심 역할을 맡고 있습니다.
기존 범용 AI 모델만으로는 통신 분야에 필요한 정확도와 언어적 뉘앙스를 충분히 구현하기 어려웠기 때문에 파인튜닝은 중요한 작업이였습니다. 튜닝 작업을 통해 Sk텔레콤은 한국어 및 통신사 특화 작업을 위한 정확도를 상당히 개선할 수 있었습니다.또한, Mini 모델로 응답 속도와 비용 효율성까지 최적화하여 일정 관리·검색·미디어 처리 등 복잡한 워크플로우를 위한 멀티 에이전트 방식으로 안정적인 오케스트레이션을 할 수 있게 되었습니다.
SK 텔레콤의 AI 에이전트 수석 개발자인 한성원이 다음과 같이 말했습니다. " 한국 시장에서 서비스를 제공하는 만큼, 한국어를 완벽히 지원하는 모델은 필수였습니다. Azure OpenAI in Foundry Models는 한국어를 이해하고 처리하는 데 매우 높은 역량을 보여주었기에 선택할 수 있었습니다." 그는 또한 정확도 향상을 위한 튜닝뿐 아니라, 응답 속도와 비용 최적화를 위해 Mini 모델이 중요한 역할을 했다고 강조했습니다.
엔지니어들이 전문 데이터를 선별하고 프롬프트 평가 도구를 사용하여 언어 모델의 성능을 철저하게 평가했습니다. 튜닝 과정은 반복적으로 진행되었으며, 비즈니스 목표와의 적합성을 유지하기 위해 기획자들과의 긴밀한 조정과 검증 절차를 거쳤습니다. Microsoft는 SK텔레콤 팀을 대상으로 언어 모델 평가 및 거버넌스 구조에 관한 3일간의 전용 교육 과정을 제공하며 지원했습니다.
에이닷의 아키텍처는 멀티 에이전트 오케스트레이션을 지원합니다. 사용자의 목표는 일정 관리·미디어·검색 등 전문화된 에이전트 단위로 세분화되며, Microsoft Foundry의 리소스 할당 및 모델 관리 기능을 통해 오케스트레이터가 이를 조정합니다.이는 정확도와 신뢰성을 높인 다단계 워크플로를 구현하고, 자연스러운 에이전트 협업을 가능하게 하여 사용자의 만족도를 향상시킵니다.
한성원 수석개발자는 런타임 동작에 대해 이렇게 덧붙입니다. “에이닷은 단 한 번의 호출로 답을 생성하지 않습니다. 여러 단계를 거치며 다양한 에이전트들이 협력해 최상의 답변을 도출하고, 이전 응답들을 반영해 더 정교한 다단계 처리 과정을 수행합니다.”
음성 상호작용은 Azure Speech in Foundry Tools를 통해 구현되며, 웹, 모바일,·Microsoft Teams 등 다양한 인터페이스에서 실시간 음성-텍스트 변환을 지원합니다.비용 최적화와 고성능을 위해 SK텔레콤은 PTU(Prepaid Token Unit) 프로비저닝 방식을 채택하였습니다. 최대 트래픽 상황에서도 예측 가능한 성능을 보장하고, 기존 종량제 모델 대비 상당한 비용 절감 효과를 거두었으며 이는 통신사와 같은 대규모 배포 환경에서 특히나 중요한 요소입니다.
책임감 있는 AI는 솔루션의 핵심 요소입니다. Content Safety in Foundry Control Plane 통해 유해 콘텐츠를 필터링하고, SK텔레콤은 자체 보안 기능을 추가로 개발하고 있습니다. RAG와 의미 기반 검색 임베딩 기술을 활용해 항상 최신 데이터에 근거한 정확한 응답을 제공하며, 정책 인식 보안 필터를 통해 거버넌스 규정 준수를 강화했습니다. 보안과 규정 준수 기능이 내재된 Azure 환경은 이러한 요구사항을 충족하며 높은 수준의 인증과 안전성을 제공합니다.
운영 품질은 언어 모델의 출력과 샘플 데이터를 분석해 빠른 개선과 체계적인 평가를 하는 prompt flow 도구를 통해 유지되고 있습니다.
프로젝트 전반에 걸쳐 SK텔레콤 엔지니어들은 Microsoft와 긴밀히 협력하여 한국어 및 특정 산업 분야에 최적화를 위해 모델을 튜닝하고, 텍스트 반복 및 불완전한 출력과 같은 문제를 신속하게 작업을 수행하고 해결했습니다.
“Azure OpenAI는 한국어를 이해하고 처리하는 데 매우 높은 역량을 보여주었기 때문에 선택하게 되었습니다.”
한성원, AI 에이전트 수석 개발자, SK 텔레콤
SK텔레콤의 AI 고도화는 눈에 띄는 성과를 가져왔습니다.해당 플랫폼은 천만 명 이상의 월간 활성 사용자를 지원하고 있으며, PTU 프로비저닝 방식을 통해 안정적인 성능을 유지하고 있습니다. SK 텔레콤은 Microsoft와의 협업을 통해 새로운 서비스 출시 기간을 3~4개월 단축시킬 수 있었습니다. 또한 티맵 모빌리티 서비스와 같은 타사 제품 전반에 걸쳐 에이전트 기반 구성 요소를 재사용할 수 있습니다.
‘에이닷’은 2023년 말 Azure OpenAI in Foundry Models 기반으로 새롭게 업데이트 된 이후, 단 3개월 만에 한국 앱 스토어 상위 10위권에 진입했습니다. 약 110만 명의 월간 활성 사용자로 시작한 AI 비서 ‘에이닷’은 기능 확장과 함께 2025년에는 천만 명 이상의 월간 활성 사용자를 돌파하며 2년도 채 되지 않아 10배 성장을 달성했습니다.PTU 모델은 트래픽이 급증할 때도 빠르고 안정적인 응답 속도를 제공했으며 기존의 종량제 모델 대비 비용 절감 효과를 거두었는데, 이는 대규모 사용자가 접속하는 환경에서 중요한 역할을 했습니다.
정기적인 배포와 지속적인 최적화, 그리고 Microsoft 엔지니어링 팀과의 긴밀한 협업을 통해 개발 시간을 3~4개월 단축할 수 있었습니다.결과적으로 SK텔레콤은 새로운 기능의 빠른 도입과 사용자 확산을 가속화할 수 있게 되었습니다.
“우리는 에이전트 기반 AI가 사람과 아주 자연스럽게 대화하고 협력할 수 있는 세상을 만들어 가기 위해 앞으로도 Microsoft Azure AI Foundry와의 협력을 이어갈 계획입니다.”
고민석, 버티컬 에이전트 수석 기획자, SK 텔레콤
SK텔레콤은 플랫폼 기반과 엔지니어링 역량을 탄탄히 다지며, 에이닷의 기능을 고객 접점은 물론 다양한 파트너 생태계로 확장할 준비를 마쳤습니다. 앞으로의 계획에는 Azure 환경에서 에이전트와 사람 간, 에이전트와 에이전트 간 경험, 진화된 음성 에이전트 기능 그리고 추론 모델의 지속적인 최적화도 포함되어 있습니다.
SK텔레콤은 전략적으로 깊이 있는 개인화 경험, 강력한 멀티 모달 경험, 그리고 핵심 통신 서비스와의 연동을 강화할 것입니다. 고민석님은 이렇게 말했습니다. “우리는 에이전트 기반 AI가 사람과 자연스럽게 대화하고 협력할 수 있는 세상을 만들고 있습니다. 이를 위해 앞으로도 Microsoft Foundry와의 협력을 이어갈 계획입니다.”
SK텔레콤의 여정은 명확한 비전, 엄격한 규정 준수, 심층적인 기술 협업이 어떻게 성공적인 성과로 이어질 수 있는지를 잘 보여줍니다. 오케스트레이션, 멀티 모달, 비용 효율적 성능을 위해 설계된 플랫폼과의 결합은 통신사 규모에서 지능형 비서 서비스를 운영할 수 있도록 해 주었습니다. 한국의 통신사 선두 주자인 SK 텔레콤은 더욱 원활하고 디지털 중심적이며 고도로 개인화된 경험을 제공하겠다는 약속을 이행하고 있습니다. 그 성과는 사용자 증가, 사용률 향상, 서비스 출시 속도 개선 등의 결과로 분명히 드러나고 있으며, 앞으로 새로운 혁신을 향한 로드맵으로 실행해 나갈 것 입니다.
Microsoft 팔로우