Slurm에서 GPU Resource 관리: Shard 개념

Slurm을 사용하여 클러스터에서 GPU 자원을 효율적으로 관리할 때, gres(Generic Resource) 기능을 활용하여 특정 GPU 자원을 예약하고 할당할 수 있습니다. 최근에는 GPU 자원을 세밀하게 분할하여 활용할 수 있도록 shard 개념이 도입되었습니다.

1. 왜 GPU를 Shard로 나누어야 하는가?

GPU는 일반적으로 하나의 작업이 독점하는 방식으로 사용되지만, 일부 작업은 전체 GPU 성능을 필요로 하지 않을 수도 있습니다. 예를 들어, 작은 배치 크기로 수행되는 머신러닝 작업이나 여러 개의 경량 프로세스를 병렬로 실행해야 하는 경우, 하나의 GPU를 여러 개의 shard로 나누어 자원을 효율적으로 분배할 수 있습니다.

Shard 사용의 장점

• 자원 낭비 최소화: 단일 작업이 전체 GPU를 점유하지 않고 필요한 만큼만 사용하도록 조정 가능
• 동시 작업 증가: 여러 개의 경량 프로세스를 병렬로 실행할 수 있어 클러스터 활용도가 향상됨
• 유연한 스케줄링: Slurm이 작업별 GPU shard 요구량을 고려하여 보다 세밀한 스케줄링 가능

2. Shard 설정 확인하기

클러스터의 GPU 관련 리소스를 확인하려면 다음 명령어를 사용할 수 있습니다:

scontrol show node

또는 특정 노드의 상세 리소스를 보려면:

scontrol show node nodename

출력 예시는 다음과 같습니다:

CfgTRES=cpu=112,mem=250G,billing=112,gres/gpu=2,gres/shard=80
AllocTRES=cpu=64,mem=10G,gres/gpu=1

여기서 gres/shard=80은 해당 노드가 총 80개의 GPU shard를 제공할 수 있음을 의미합니다.

3. Shard를 사용하기 위한 Slurm 설정

GPU shard를 활용하려면 Slurm 설정 파일(slurm.conf)에서 GRES 항목을 추가해야 합니다.

예제 설정:

GresTypes=gpu,shard
NodeName=gpu-node Gres=gpu:2,shard:80

이 설정을 적용한 후 Slurm을 재시작하면 GPU shard를 활용할 수 있습니다.

4. Shard를 활용한 작업 제출

특정 개수의 GPU shard를 사용하여 작업을 실행하려면 sbatch나 srun 명령어에서 gres 옵션을 사용하면 됩니다:

sbatch --gres=shard:10 my_script.sh

위 명령어는 10개의 GPU shard를 사용하도록 Slurm에 요청하는 것입니다.

또는 srun을 사용할 수도 있습니다:

srun --gres=shard:5 python train_model.py

이 명령어는 5개의 GPU shard를 할당하여 스크립트를 실행합니다.

5. Shard를 활용한 효율적인 GPU 관리

GPU shard를 활용하면 다음과 같은 이점이 있습니다:

• 하나의 GPU를 여러 개의 작은 shard 단위로 나누어 다중 사용자 환경에서 효율적으로 활용 가능
• 특정 작업에 필요한 만큼만 GPU 연산 자원을 할당하여 GPU 낭비 최소화
• 보다 유연한 스케줄링을 통해 클러스터 자원을 최적화

6. Shard 사용 시 고려할 점

• 클러스터 관리자가 GPU를 shard 단위로 나눌 수 있도록 Slurm 설정이 필요함
• GPU 연산이 강하게 요구되는 작업의 경우 shard 사용이 적절하지 않을 수 있음 (예: 전체 GPU 메모리를 필요로 하는 작업)
• GPU shard를 지원하는 소프트웨어 및 프레임워크 사용 여부 확인 필요

결론

Slurm의 shard 기능을 활용하면 GPU 자원을 보다 효율적으로 관리하고, 여러 사용자가 동시에 GPU를 사용할 수 있도록 조정할 수 있습니다. 특히 대규모 클러스터 환경에서 GPU 리소스를 최적화하는 데 중요한 역할을 할 수 있으므로, 필요에 따라 shard 개념을 적용해보는 것이 좋습니다.