지난 1월 26일, VESSL AI는 AI in Finance라는 주제로 업계 전문가분들을 초청하여 MLOps Now 세미나를 개최했습니다. 이번 세미나에서는 총 5개의 세션이 진행되었는데 그 중에서도 가장 주목을 받은 세션은 유튜버 ‘뉴욕주민’이 창업한 <프로젝트플루토>의 CTO 기범님의 세션이었습니다. 이 세션에서는 “LLM 기반 금융 미디어”를 주제로 프로젝트플루토의 성장 과정과 이를 통해 이루어낸 혁신을 엿볼 수 있었습니다.
프로젝트플루토 회사 소개
프로젝트플루토는 복잡한 금융 콘텐츠를, AI를 활용하여 실시간 기사로 만들어주는 스타트업입니다. 이 회사는 LLM(Large Language Model)을 활용하여 금융과 AI 기술을 연결한 스타트업으로, 창업자들 역시 금융과 AI 기술의 전문성을 바탕으로 신뢰할 수 있는 금융 정보를 제공하는 것을 목표로 삼고 있는데요. 프로젝트플루토의 대표이자 유튜버 뉴욕주민으로 유명한 홍현님은 금융 컨텐츠 크리에이터로 활동하면서 단 2년 만에 200개의 비디오로 31만명의 구독자를 확보하고 조회수 2,500만회를 달성하였습니다. 뿐만 아니라 베스트셀러 작가로서 10만 부 이상의 책을 판매하였습니다. 그녀는 월 스트리트에서 10년 동안 기업 재무와 투자 업무를 담당하였으며, 이전에는 월 스트리트 투자은행 뱅커, 헤지펀드의 애널리스트, 시티그룹, JP 모건에서 M&A 뱅커로 근무하였습니다. 공동 창업자이자 김기범 CTO님은 실리콘 밸리에서 10년 동안 소프트웨어 엔지니어로 근무했는데요. 구글에서 텐서플로우, 구글 브레인 — 머신러닝 프레임워크 기술 리드를 맡으면서 구글 서치, 크롬, 애드몹, 텐서플로우 등 구글의 주요 제품들을 개발한 것으로 유명합니다.
프로젝트플루토는 지난 1년 반 동안 다양한 시도를 통해, 현재의 금융 미디어 서비스를 만들 수 있었습니다. 현재는 Wallstreet-now라는 서비스로 미국 주식시장에 대한 실시간 정보와 함께, AI를 활용한 기사를 작성하는 등 다양한 기능을 제공하고 있습니다.
놀라운 점은 프로젝트플루토가 AI가 작성한 기사들이 현직 기자들이 쓴 기사만큼이나 높은 완성도를 자랑한다는 점입니다. 김기범 CTO님의 말씀에 따르면 기자들 또한 ‘기자가 직접 쓴 것 같은 수준의 글’이라며 시장에서 이미 좋은 평가를 받고 있다고 합니다.
왜 금융 미디어 산업에 AI를 도입하였는가?
그렇다면 왜 프로젝트플루토는 AI 혁신 분야 중에서도 금융 미디어를 첫 번째로 선택하였을까요?
AI가 다양한 사업 영역에 영향을 미치게 될 것이라는 전망 속에서, 미디어 분야에서는 콘텐츠 생산 과정 전반이 AI로 자동화될 가능성이 큽니다. 이런 상황에서 프로젝트플루토는 The Wall Street Journal,The Times등으로 대표되는 현재의 금융 미디어 산업이 AI의 도입으로 크게 변화할 것이라고 생각했습니다.
현재 금융 미디어 시장의 규모는 약 1,300조 원(1T 달러)에 이르지만, 콘텐츠를 만드는 데는 아직도 많은 비용이 듭니다. 이런 문제를 AI를 통해 해결하면, 비용을 크게 줄일 수 있을 것이라는 판단 하에 프로젝트플루토는 금융 미디어를 첫 번째 타겟으로 선정하게 되었습니다.
프로젝트플루토는 현재는 금융 콘텐츠에 중점을 두고 있지만, 이후에는 스포츠, 엔터테인먼트 등 다양한 분야와 언어로 서비스를 확장하려는 계획도 가지고 있습니다. 나아가, 텍스트를 기반으로 한 오디오 팟캐스트나 비디오 클립, 짧은 쇼츠 영상 등을 만드는 것도 가능하다는 점에서 그 가능성은 더욱 확장될 것이라고 예상됩니다.
프로젝트플루토의 경쟁력
프로젝트플루토의 경쟁력은 바로 그들이 만드는 자체 기사 분석 및 생성 파이프라인에 있습니다. 이는 크게 세 단계로 이루어져있습니다.
- 1. 기사 분석 모달 — 이 단계에서는 단순히 AI로 기사를 작성하는 것을 넘어, 기사가 전달하고자 하는 사실만을 추출하는 것을 목표로 합니다. 원 기사의 표현이나 기자의 생각, 논리적 흐름 등과 사실을 분리함으로써 언론의 고유한 저작권과 지적 재산을 존중하면서, 이러한 요소들을 제외하여 순수한 사실만을 추려내는 과정을 포함합니다.
- 2. 기사 생성 모달 — 앞의 분석을 통해 나온 사실들을 바탕으로 팩트 데이터를 만들고, 그 사실만을 기반으로 다시 기사를 작성하는 과정입니다. 먼저 기사를 만들기 위해 필요한 정보와 데이터를 데이터베이스에서 수집하고, OpenAI GPT 또는 Google Gemini 기반의 대형언어모델의 특정 지시를 내리는 custom prompting(커스텀 프롬프팅)을 사용합니다. 커스텀 프롬프팅의 경우 모델에 기사의 구조와 필요한 데이터의 종류 등을 프롬프트 형태로 명확히 지시하여 주어진 정보를 재구성하여 원하는 형태의 기사를 생성하는 방식을 의미합니다. 나아가 기사 작성 시 중요한 부분 중 하나가 바로 시의성이지만, 프로젝트플루토에서 사용하는 두 모델은 2023년 9월 이후의 정보를 학습할 수 없습니다. 따라서 최신 정보가 학습되지 않았을 경우에도 최신 상황에 맞추어 정확하고 관련성 높은 기사를 작성할 수 있도록 프로젝트플루토는 RAG(Retriever, Answer Generator) 기법을 사용합니다. 이 기법을 통해 최신 출처와 다양한 정보를 검색하여 필요한 사실 데이터를 수집하고, 이를 기반으로 최신 정보에 맞게 기사를 작성할 수 있습니다.
- 3. 기사 검수 모달 — 기사 검수 과정에서는 ‘Human in the loop’ 접근 방식을 사용하여 AI가 생성한 기사의 정확성과 품질을 사람이 다시 한번 확인합니다. 이 과정에서 오류가 있는 기사의 경우 부정확한 정보를 수정하여 최종 기사의 정확도를 높이는 작업을 수행합니다. 실패한 기사 사례들은 따로 샘플로 만들어 프롬프트를 개선하고, 자동으로 학습되어 모델이 점수를 예측하는 AI 자동 채점 시스템으로 채점 데이터를 생성합니다. 이렇게 사람이 기사를 평가하고, 그 평가 기준에 맞게 모델이 튜닝되는 과정이 루프 형태로 반복됩니다. 프로젝트플루토는 지속적으로 개선된 평가 기준에 따라 채점하는 과정을 통해 서비스의 효율성이 높아지고 비용을 절감할 수 있었습니다. 이 과정에서 기범님은 Human in the loop, 즉 사람이 직접 검증하는 과정을 재차 강조했는데요. AI가 검수한 결과를 사람이 재검증함으로써, 기사의 정확성을 높이는 LLM 파이프라인을 구축함으로써 사용자의 만족도를 높일 수 있었기 때문입니다.
이와 같은 프로젝트플루토의 기사 분석 및 생성 파이프라인을 통한 AI 콘텐츠를 생성하는 방식은 실제 사용자들로부터 높은 리텐션을 얻게 해주었습니다. 첫날, 서비스를 사용한 사람들 중에서 2주 뒤에도 서비스를 사용하는 사람들의 비율이 약 30~40%인 것을 확인할 수 있었는데요. 그만큼 이 서비스가 사용자들에게 큰 가치를 제공하고 있음을 보여줍니다. 뉴욕주민 유튜브를 통해 유입된 한국 사용자들도 많이 있었기 때문에 구독자 bias가 발생할 수 있었으나, 현재는 서비스 내에서 영어로만 콘텐츠를 제공하고 있기 때문에, 영미권 유저가 훨씬 더 많아진 상황이라고 합니다. 기존 사용자 만족 뿐만 아니라, 새로운 사용자도 확보하기 위해 프로젝트플루토는 구글 서치 최적화도 진행하고 있습니다. 이를 통해 사용자들이 구글에서 금융 관련 검색을 했을 때, CNBC, Bloomberg 기사들과 나란히, 플루토의 기사가 보일 수 있도록 작업하고 있습니다. 이러한 노력을 통해 더 많은 고객들이 서비스로 유입되고 있었습니다.
프로젝트플루토가 직접 모델을 개발하지 않은 이유
프로젝트플루토는 개발 과정에서 주로 OpenAI의 GPT API를 활용하면서도 필요에 따라 Google Gemini와 병행하여 사용했습니다. 일반적으로는 GPT-4를 이용하지만, 작은 모델로도 충분할 때는 GPT-3 Turbo를 사용하는 등, 상황에 따라 적절한 모델을 선택하여 비용 효율성을 높였습니다. 이런 방식으로 프로젝트플루토는 기사 하나를 만드는데 드는 비용을 1달러 미만으로 줄였으며 이와 같은 효율적인 비용 관리로 지금도 서비스를 잘 운영하고 있었습니다. 프로젝트플루토는 제품의 실용성을 시장에서 빠르게 확인하는 것을 우선적으로 생각했습니다. 그래서 오픈 소스로 제공되는 LLM을 활용하여 모델을 직접 파인튜닝 하거나 sLLM(Small LLM)을 사용하기 보다는, 이미 시장에서 성능이 검증된 OpenAI와 Google Gemini와 같은 최적화된 모델을 사용하여 시장성을 확인하였습니다. 파인튜닝 대신 프롬프트 엔지니어링에 주력하여 제품을 개발한 결과, 장기적으로 비용을 최적화하여 서비스를 운영할 수 있었습니다.
구글과 OpenAI를 포함한 다양한 기업들이 AI API 가격을 매해 40% 이상 낮추며 적극적인 가격 경쟁을 벌이고 있는데요. 이러한 추세는 앞으로도 계속될 것으로 보이며 기사 한 개를 생성하는 비용도 이런 흐름에 따라 급격히 낮아질 것으로 예상됩니다.
프로젝트플루토의 또다른 시도들 — Finance GPT
기사 생성 서비스를 운영하기 전에는, Finance GPT라는 서비스를 베타로 운영했었는데요. 이 서비스는 금융과 관련된 질문에 대해 답변을 제공하는 서비스로 미국 주식 정보를 크롤링하여 답변을 생성합니다. 이 과정에서 프로젝트플루토는 사람이 읽을 수 있는 거의 모든 기사를 데이터로 활용하였고, 필요할 경우에는 구글 검색을 통해 추가 정보를 수집하여 실시간으로 답변을 작성했습니다. 이렇게 수집된 데이터는 현재의 기사 생성 서비스에도 사용되고 있다고 합니다.
참고로 해외에서도 Stock GPT라는 비슷한 서비스가 있었는데요. 이 서비스는 미국 기업 공시를 기반으로 분기, 연도, 섹터, 기업명을 선택한 후, 사용자가 묻는 질문에 SEC에서 미국 공식 원문을 가져와 답변해주는 서비스라고 합니다. 프로젝트플루토의 사례를 통해 LLM을 만들고 운영하는 기업의 방향성과 고민을 이해할 수 있었습니다. 프로젝트플루토는 금융 미디어 영역에서 LLM을 만들고 자체적인 파이프라인을 통해 새로운 영역을 개척하고 있었는데요. 시장의 반응과 피드백을 살펴가며, 완성도 높은 베타 서비스를 제공하는 것이 대단하다고 느꼈습니다.
프로젝트 플루토의 사례에서도 볼 수 있듯이, 오픈 소스로 제공되는 LLM을 이용해 모델을 파인튜닝 하거나 직접 LLM을 개발하지 않아도, LLMOps와 파이프라인 구축 등 인프라 단계는 필수적인데요. 프로젝트플루토가 시중에 나와있는 모델을 활용하면서도 금융 분야에서 두드러진 성과를 낼 수 있었던 것은 Human-in-the-loop와 LLMOps 파이프라인의 구축이 있었기에 가능했습니다. 시장에 나와있는 모델을 활용하더라도, LLM 생태계에서 인프라의 역할은 점점 더 중요해지고 있기에 이러한 인프라는 단순히 개념적인 수준에서 그치진 않을 것입니다.
대형 언어모델도 지탱할 수 있는 인프라 — VESSL AI
OpenAI GPT-4, Google Gemini를 넘어 LLM을 직접 개발하고 계신가요?
베슬에이아이는 이 분야의 선두주자인 스캐터랩, 뤼튼 등과 협력하여, 최신 모델을 빠르게 학습하고 배포할 수 있는 MLOps 플랫폼을 제공하고 있습니다. 최신 모델을 빠르게 학습, 배포할 수 있는 VESSL Hub와 기업 고유 데이터를 이용해 LLM을 손쉽게 만들 수 있는 VESSL LLM이 대표적인 예시입니다. 앞으로도 LLM을 기반으로 새로운 서비스를 개발하는 팀들이 더욱 빠르게 최신 모델을 개발하고 비즈니스 기회를 탐색할 수 있도록 베슬에이아이가 지원하겠습니다. 더 자세한 정보를 원하신다면, 여기에서 발표 자료를 확인해 보실 수 있습니다.
—
Kelly, Growth Manager
