SK텔레콤(SKT)이 생성형 인공지능(AI) 시장이 확대되고 있는 가운데, 통신 서비스를 이해할 수 있는 ‘텔코 거대언어모델(LLM)’이 이르면 6월에 선보인다. 텔코LLM 개념도 (자료=SKT)
SK텔레콤(SKT)이 생성형 인공지능(AI) 시장이 확대되고 있는 가운데, 통신 서비스를 이해할 수 있는 ‘텔코 거대언어모델(LLM)’이 이르면 6월에 선보인다.
SKT는 5세대(5G) 이동통신 요금제나 T멤버십, 공시지원금 등 우리나라의 통신 전문 용어와 AI 윤리가치와 같은 통신사 내부 지침을 학습한 ‘텔코LLM’을 개발하고 있다고 30일 밝혔다. 텔코LLM은 오는 6월 중 개발을 완료할 전망이다.
'텔코LLM'은 GPT-4, 클로드와 같은 범용 LLM을 넘어 통신업에 특화된 LLM을 말한다.
SKT는 오픈AI, 앤트로픽 등과 협력해 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집, 정형·비정형 데이터를 선별해 이를 에이닷엑스, ‘GPT’, '클로드'에 학습시켜 통신에 특화된 LLM을 만들고 있다.
에릭 데이비스 SKT AI Tech Collaboration담당은 "1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않다"며, "통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 벤치마킹(모델평가)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티LLM 전략"이라고 설명했다.
통신사들이 AI컨택센터(AICC), 유통망, 네트워크 운용, 사내 업무 등 활용처와 특정 업무마다 최적화된 LLM을 쓸 수 있도록 하는 '멀티(다중) LLM' 전략이다.
이를 위해 오픈AI 등과 협력하고 있다. 오픈AI는 지난 5일 공식 블로그를 통해 기업의 특정 도메인에 맞게 AI 모델을 학습시키고 최적화할 수 있도록 지원하는 커스텀 모델을 공개했다.
오픈AI는 "SKT와 협력을 통해 GPT-4를 미세 조정하고 한국어로 된 통신 관련 대화 성능을 향상시켰다"고 밝혔다.
텔코 LLM 구축 과정 (자료=SKT)
범용LLM 대비 텔코LLM은 통신 영역에서 높은 수준의 생성형 AI작업을 수행할 수 있다.
SKT는 "텔코LLM을 구축하기 위해 우선 텔코 데이터를 수집하고 비정형·정형 데이터를 선별, 정제하는 작업을 한다"고 설명했다.
예를 들어 범용LLM은 통신사의 번호이동 방법이나 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어렵다. 텔코LLM은 통신 관련 데이터를 추가로 학습해 이 문제를 해결한 것이다.
텔코LLM이 답변한 내용에 대해서는 상담사들이 품질, 만족도 등을 평가하는 과정을 거친다. 고객의 문의에 대해 유용한 답변을 했는지, 문맥을 제대로 이해했는지 등을 평가하며 강화학습한다. 이후 텔코LLM의 언어 능력, 추론 능력, 통신 특화과제 수행 능력 등에 대해 벤치마킹하며 고도화한다.
현재 고객센터에서 상담 전화 한 건을 처리하는데 고객 상담에 약 3분, 상담 후 업무 처리하는데 30초 이상이 소요된다. 텔코LLM을 도입하면 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해주는 등 상담 후 처리까지 소요되는 시간을 크게 단축시켜줄 전망이다.
통신사들이 생성형 AI를 구축할 수 있도록 한 SKT 인텔리전스 플랫폼 (자료=SKT)
SKT는 통신사들이 생성형 AI 애플리케이션을 효율적으로 구축하고 개발할 수 있는 '인텔리전스 플랫폼'도 선보였다.
멀티LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG, Retrieval Augmented Generation) 등 일종의 '기업용 AI 개발·운용 패키지'다.
SKT는 "우리나라를 비롯해 글로벌 통신사들은 물론 상담업무 등 유사한 업무특성을 가진 기업들이 텔코LLM 인텔리전스 플랫폼을 활용할 수 있다"며 "거대 플랫폼 개발에 드는 비용과 시간을 절감할 수 있을 것으로 기대한다"고 밝혔다.