GPU 뜻, GPU CPU 차이점, GPU 도입시 고려사항 4가지

5 min readOct 26, 2024

안녕하세요 VESSL AI 팀입니다.

VESSL AI는 기업 및 인공지능(AI) 개발자가 대규모로 AI / LLM 모델을 빠르게 구축, 운영할 수 있게 해주는 end-to-end MLOps 플랫폼 ‘VESSL’을 제공합니다.

GPU 뜻과 GPU 서버는 무엇이며, GPU CPU 차이점 (역할, 목적, 처리방식 등)부터 GPU 사용 방식의 장단점까지 알아보겠습니다.

GPU의 뜻은 컴퓨터에서 그래픽이나 영상을 처리하는 데 사용되는 칩으로, 그래픽 처리 장치(Graphics Processing Unit)의 약자입니다. 우리가 컴퓨터나 스마트폰에서 영상을 보거나 게임을 할 때, 그 속에서 수많은 이미지와 영상들이 순식간에 처리되는데 그 작업을 GPU가 하는 것입니다.

그런데 최근 GPU는 단순한 그래픽 처리를 넘어 AI와 머신러닝 같은 복잡한 계산 작업에 많이 쓰이고 있습니다. GPU가 동시에 여러 작업을 빠르게 처리할 수 있기 때문입니다. 예를 들어, AI 모델을 훈련시킬 때 대용량의 데이터를 빠르게 계산해야 하는데, 이때 GPU가 뛰어난 성능을 발휘합니다. 대표적인 GPU의 종류에는 NVIDIA의 A100, V100, Tesla 시리즈 등이 있습니다.

(좌) NVIDIA A100 Tensor 코어 GPUㅣ(우) NVIDIA H100 Tensor 코어 GPU (출처: NVIDIA 홈페이지)

GPU vs. CPU 차이점 (역할, 목적, 처리방식, 활용 분야, 장점)

CPU는 중앙 처리 장치(Central Processing Unit)의 약자로, 여러 가지 복잡한 작업을 빠르게 처리하는 장치입니다. 예를 들어, 컴퓨터의 프로그램을 실행하거나, 문서 편집, 인터넷 브라우징 같은 일상적인 작업을 주로 처리하며, 순차적으로 작업을 처리하는 직렬 처리에 특화되어 있습니다. 반면, GPU는 앞서 설명했듯이 그래픽 처리에 특화된 장치로, 병렬 처리에 매우 강합니다.

정리하면, CPU는 복잡한 단일 작업에, GPU는 대규모 병렬 작업에 각각 최적화되어 있어, 두 장치는 서로 보완적으로 사용될 수 있습니다.

이미지: VESSL 서비스 내 자원(Resource) 선택 화면 (출처: VESSL AI 홈페이지)

GPU 사용 방식 3가지 (장점과 단점)

1. Purchase (직접 사기)

총판/유통사를 통해 GPU를 직접 사는 방식입니다.

이 경우에는 인프라 관리를 직접 해야 하고, GPU가 도착하기까지 시간이 오래 걸릴 수 있으며, 비용이 많이 들고, 자원 관리도 직접 해야합니다. 하드웨어 노후화와 업그레이드를 위한 유지보수 비용도 문제가 됩니다. GPU 성능은 빠르게 진화하기 때문에 구입한 GPU가 몇 년 뒤에는 성능적으로 뒤처질 수 있기 때문입니다.

2. Public Cloud (퍼블릭 클라우드)

AWS나 Google Cloud 같은 클라우드에서 GPU를 빌려 쓰는 방식입니다.

퍼블릭 클라우드를 소규모로 사용하기 시작하면, 초기 비용 부담은 상대적으로 낮습니다. 처음 사용할 때 필요한 만큼만 자원을 사용할 수 있기 때문이에요. 하지만 퍼블릭 클라우드는 사용량 기반 요금제이기 때문에 시간이 지남에 따라 비용이 빠르게 증가할 수 있습니다. GPU 같은 고성능 리소스를 계속 사용하거나, 데이터를 처리하는 양이 많아질 경우, 초기에는 저렴하게 사용하던 서비스가 장기적으로 상당한 비용을 발생시킬 수 있습니다.