TensorFlow / PyTorch GPU 사용하여 병렬처리 하기

LSTM 을 사용하다보면 너무 느려서 답답할 때가 있다.
그래픽카드와 같은 GPU 를 사용하여 보다 빠르게 학습할 수 없는지 궁금하여 찾아보았다.

 

LSTM 모델은 순차적인 연산이 필요하므로 CPU로 학습을 수행하면 매우 느릴 수 있다.
따라서 GPU를 사용하여 병렬적으로 연산을 수행하면 보다 빠른 속도로 학습을 완료할 수 있는데, 일반적으로 많이 사용하는 딥러닝 라이브러리인 TensorFlow 나 PyTorch 등에서 GPU를 사용하여 학습을 수행하면 된다.

 

이를 위해서는 먼저 GPU를 사용할 수 있는 환경을 구성해야 한다.
적절한 NVIDIA GPU와 CUDA 툴킷을 설치하고, TensorFlow나 PyTorch 등의 라이브러리도 GPU 지원 버전을 설치해야 한다.

 

이후 아래와 같이 각각 사용하는 라이브러리에 맞게 함수를 사용하여 GPU 를 활성화 시킨 후 진행하면 된다.

TensorFlow 예시

import tensorflow as tf

# GPU 디바이스 사용 가능 여부 확인
if tf.test.gpu_device_name():
    print('Default GPU Device: {}'.format(tf.test.gpu_device_name()))
else:
    print("Please install GPU version of TF")

# GPU 사용 설정
config = tf.compat.v1.ConfigProto()
config.gpu_options.allow_growth = True
session = tf.compat.v1.Session(config=config)

 

tf.test.gpu_device_name() 함수를 사용하여 현재 사용 가능한 GPU 디바이스를 확인할 수 있다.

GPU를 사용하도록 설정하려면 tf.compat.v1.Session 객체를 생성할 때 gpu_options 속성을 설정하면 된다.
allow_growth 속성을 True로 설정하면 메모리가 동적으로 할당되어 GPU 메모리를 효율적으로 사용할 수 있다.

 

PyTorch 예시

import torch

# GPU 디바이스 사용 가능 여부 확인
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print('Using device:', device)

# GPU 사용 설정
if device.type == 'cuda':
    torch.backends.cudnn.benchmark = True
    torch.backends.cudnn.deterministic = True
    torch.backends.cudnn.enabled = True

 

torch.cuda.is_available() 함수를 사용하여 현재 사용 가능한 GPU 디바이스가 있는지 확인할 수 있다.

 

GPU를 사용하도록 설정하려면 torch.backends.cudnn 모듈의 함수를 호출하면 된다.

benchmark 속성을 True로 설정하면, 자동으로 최적화된 연산을 수행하여 보다 빠른 학습이 가능하다.
deterministic 속성을 True로 설정하면 연산의 결과를 재현 가능하게 만들어준다.
enabled 속성은 cuDNN 라이브러리를 사용하여 GPU 연산을 가속화할 것인지를 설정하는데, 기본적으로는 True로 설정된다.