머신러닝용 개인 PC를 맞추다 (라이젠 & RTX 3090 - Ubuntu)

ChatGPT 와 같은 인공지능 서비스가 나오면서

Stable Diffusion 과 같은 생성형 인공지능과 LLaMa, Alpaca 등 대규모 언어 모델을 통한 오픈소스 프로젝트들이 

정말로 하루가 다르게 쏟아져 나오는 느낌이다.

 

인텔 맥북을 쓰는 사용자로써는 그런 오픈소스를 돌려보는 것도 그림의 떡이라 간간히 Colab 으로 돌려보는 정도에 그쳤는데,

하다보니 조금은 욕심(?)이 생겨 자체적으로 구동을 돌릴 수 있는 홈서버를 간단하게(?) 구축해보기로 했다.

 

불을 지피게 된 계기는 KoAlpaca 를 보게 됨으로써 '나도 돌려볼 수 있겠다' 는 생각에..

 

구성

무엇보다 VRAM(메모리 용량) 이 24G 인 그래픽카드가 필요했다.

Colab 보다는 높은 VRAM 을 갖고 싶었고, 용량이 부족해서 실행을 못하는것보다 조금 더 오래 걸리더라도 돌릴 수만 있었으면 했다.

그래서 찾던 모델이 RTX 3090 이다.

 

RTX 4090 은 약 250~300만원, 생산이 중단된 미개봉 RTX 3090 은 약 120~150만원.

약 1년 정도 사용된 RTX 3090 은 약 80-90만원선 으로, VRAM 24G 를 꽤나 매력적인 가격에 가져볼 수 있는 시점이었다.

 

RTX 3090 은 당근마켓을 통해 괜찮은 가격으로 가져올 수 있었고, 나머지 부품들도 고민 끝에 아래와 같이 구성하였다.

그래픽카드를 제외한 각 부품들은 티몬, 네이버, 쿠팡, 11번가 등 배송비포함 최저가 로 구매 하였고 직접 조립하였다.

잘 아는 분이라면 '머신러닝 서버 구성이 아닌데?' 할 수 있다.

게이밍 PC 스펙에 윈도우가 아닌 우분투 OS 를 설치한 것 이고, 이러한 구성으로도 가능하다는 것을 공유하고 싶었다.

(효율적인 구성인지는 잘 모르겠지만, 머신러닝에 흥미를 잃으면 게임 용도로...)

 

트러블 슈팅

공식적으로 위 메인보드는 리눅스를 지원하지 않는다고 한다. (조립하고 Ubuntu 20.04 를 설치하면서 알았다.)

가지고 있던 Ubuntu Server 20.04 이미지로 설치를 했었는데, BIOS Error 및 유선 네트워크 미 인식 등 정상적으로 사용을 할 수가 없었다... (당근에 올릴 뻔)

 

커뮤니티 등의 도움을 받아 Ubuntu Server 22.04 버전을 설치하면서 이슈를 피할 수 있었고, 쾌적하게 세팅을 마무리 하였다.

 

준비

현재 CUDA 최신 버전은 12.1 으로 확인된다.

다만 PyTorch 의 최신 버전이 CUDA 11.8 을 지원하기에 그에 맞춰 CUDA 를 하향 설치 해야 한다.

PyTorch Start Locally

 

$ nvidia-smi

 

CUDA 사용가능 여부 확인

 

이제 개발을 해보자..