Ollama 원격 접속 허용하기

 

Ollama 를 설치하면 기본적으로 localhost 내에서만 호출이 가능하다.

개발 서버에 ollama 를 설치해두고 remote 환경에서 호출을 시도 할 경우 Connection refused 를 마주할 수 있는데, 이는 별도로 설정이 필요하다.

 

이번에 개발환경 세팅중 마주한 트러블 슈팅을 정리해두려 한다.

해당 작업은 Ubuntu Server 24.04 기준으로 작성 되었다.

 

1. 포트 열기

sudo ufw allow 11434
# 확인
sudo ufw status

 

2. 시스템 변수 추가

Ollama 공식 Github 를 통해 설치를 했다면, /etc/systemd/system/ollama.service 파일은 존재할 것이다.

기본 설정은 그대로 두고, systemd 로 서비스 설정을 오버라이드 하여 HOST 정보를 추가해준다.

### `systemd`로 서비스 설정 오버라이드
sudo mkdir -p /etc/systemd/system/ollama.service.d

### 시스템 서비스의 설정을 재정의하거나 확장하기 위해 environment.conf 파일을 생성
echo '[Service]' | sudo tee -a /etc/systemd/system/ollama.service.d/environment.conf

### 환경 변수 추가
echo 'Environment="OLLAMA_HOST=0.0.0.0:11434"' | sudo tee -a /etc/systemd/system/ollama.service.d/environment.conf

### CORS 설정을 통해 모든 도메인에서 접근을 허용
# echo 'Environment="OLLAMA_ORIGINS=*"' | sudo tee -a /etc/systemd/system/ollama.service.d/environment.conf

 

결과적으로 environment.conf 에는 아래와 같은 설정이 담기게 된다.

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

 

 

3. 데몬 재설정 및 시스템 재시작

sudo systemctl daemon-reload
sudo systemctl restart ollama