지난 6월, 베슬에이아이가 Google for Startups Accelerator: Cloud North America 엑셀러레이터 프로그램의 첫 번째 기수로 선발됐다고 소식을 전해드렸습니다. 10주 간 진행된 이 프로그램은 북미에 본사를 둔 클라우드 기반의 테크 스타트업을 대상으로 제품 디자인부터 클라우드 파트너십, AI/ML 등 다양한 분야의 멘토링과 기술 자문을 지원하는 프로그램인데요. 이 프로그램을 통해 Harmonic Discovery, OneCup AI, RealKey와 같이 빠르게 성장 중인 AI 스타트업과 함께 클라우드와 산업 전반에 대한 새로운 시각을 얻고, 삼성전자 (Samsung C-Lab Outside), 오라클 (Oracle Cloud Infrastructure, OCI), 엔비디아 (NVIDIA Inception Program)에 더해 베슬에이아이의 파트너사 네트워크를 한 단계 더 넓힐 수 있었습니다.
특히, 프로그램 기간 동안 Stable Diffusion, Llama 2 등 최신 오픈소스 모델이 연이어 공개 되었는데요. 생성형AI와 대형언어모델을 향한 구글 멘토들과 같은 기수의 공동창업자들의 열정을 몸소 느끼고, Bard, Vertex AI 등 여러 구글 제품팀과 각 스타트업이 해당 모델들을 빠르게 테스트하고, 서비스 단에 적용하는 사례도 엿볼 수도 있었습니다. 베슬에이아이는 이 과정에서 MLOps 도입을 통해 초기 스타트업들이 더욱 빠르고 효율적으로 Generative AI & LLM 서비스를 개발 할 수 있는 방법과 함께 저희 제품을 소개하는 기회도 가졌습니다.
구글의 초기 AI 연구를 이끌었던 Peter Norvig 등의 구글 멘토들과, Google Cloud AI & Machine Learning 제품군의 초기 개발팀과 지속적으로 교류하며 베슬에이아이 제품 개발을 위한 다양한 최신 AI 인프라 트렌드와 인사이트도 얻을 수 있었습니다.
- Scalable AI infrastructure for LLMs — 대규모 GPU 클러스터를 활용해 대형언어모델을 효과적으로 학습하고, 클라우드 스토리지에서 데이터셋을 불러와 파인튜닝 후 API 형태로 배포할 수 있는 LLM 인프라
- Streamlined interface for training-to-deployment — 모델 학습부터 배포까지 일관된 개발자 경험을 제공하여 엔드유저인 머신러닝 엔지니어가 쉽고 빠르게 이용할 수 있는 MLOps 도구
- Techniques for computing cost optimization — 하이브리드 클라우드, 구글 TPU 연동, 스팟 인스턴스, 잡 컨테이너화 등을 통해 모델 학습 비용을 60~80% 절감하는 방법
보다 안정된 하이브리드 클라우드 인프라를 시작으로 위와 같은 피드백을 제품 개발에 실제로 적용하기도 하였는데요. 최근 릴리즈한 VESSL Run가 제공하는 일관된 모델 학습, 파인튜닝, 서빙 YAML 인터페이스가 그 결과이기도 합니다.
나아가, 이번 프로그램을 통해 구글 클라우드 팀의 기술지원을 받아 구글 클라우드 지원 또한 빠르게 마칠 수 있었습니다. 현재 베슬에이아이가 제공하는 관리형 클라우드의 경우 일부 구글 클라우드를 사용하고 있으며, 기존에 구글 클라우드를 이용해온 사용자 분들은 vessl cluster create 명령어 하나로 Private Google Cloud를 베슬에이아이에 빠르게 연동할 수 있고, 쿠버네티스를 전혀 몰라도 구글 쿠버네티스 엔진(Google Kubernetes Engine, GKE)이 제공하는 기능을 모두 이용할 수 있습니다. 물론 이 모든 기능은 구글 클라우드의 성능과 안정성과 함께 제공됩니다.
- Scalability — 최대 10,000개의 AI/ML 워크로드 동시에 실행할 수 있습니다.
- Reliability — 모델 학습 및 인퍼런스 워크로드가 중단되지 않도록 99.98% 업타임을 보장합니다.
- Cost-effectiveness — 스팟 인스턴스로 클라우드 비용을 최대 70% 절감할 수 있습니다.
프로그램이 종료된 후에도 구글의 여러 엑셀러레이팅 프로그램 수료 스타트업과 구글 클라우드의 수 많은 고객사를 대상으로 베슬에이아이의 MLOps 플랫폼을 제공할 수 있길 기대하고 있는데요. 현재 팀 내에서 구글 클라우드를 이용해 모델을 개발하고 있지만 온프레미스 및 타 클라우드 서비스와 보다 유기적으로 GPU 자원을 활용하고, automatic failover, model checkpointing, high-throughput serving 등 AI/ML에 특화된 AI 인프라를 도입하고 싶은 분들은 언제든지 growth@vessl.ai로 문의주시기 바랍니다.
