Multi-Task, Pytorch DDP

[신민서]

Multi-Task

You Only Look at Once for Real-Time and Generic Multi-Task

https://arxiv.org/pdf/2310.01641

https://github.com/JiayuanWang-JW/YOLOv8-multi-task

GitHub - JiayuanWang-JW/YOLOv8-multi-task

Multi-GPU

- Distributed Data Parallel ( DDP )

- 훈련시간 줄여보고자 시도해보려고 함..

현재 훈련에 사용하는 GPU 사양

여러 개 묶으면 더 좋아질 것 같다...

https://pytorch.org/tutorials/intermediate/ddp_tutorial.html

Getting Started with Distributed Data Parallel — PyTorch Tutorials 2.6.0+cu124 documentation

- jetson AGX orin을 서로 연결하기 위해 공유기 사용해보려고 함

- 각 보드의 이더넷 포트를 공유기에 연결하면 될 듯

- 보드에서 ip a로 eth0 인터페이스에 할당된 IP 주소 확인

$ ip a

보드마다 IP 설정해서 시작하면 될 듯...

- ping 테스트 해서 서로 연결되는지 확인

$ ping 203.234.XX.xx

- 모든 보드에서 같은 python 환경, 코드가 필요함 >> github

- https://pypi.jetson-ai-lab.dev/

devpi

- requirements.txt 활용해서 패키지 공유

코드 내에서 할 일

- train.py에서 변경하면 될 듯함...

import os import torch import torch.distributed as dist from ultralytics import YOLO   # DDP(Distributed Data Parallel) 환경을 설정하는 함수 def setup_ddp():     dist.init_process_group(         backend='mpi',  # Jetson에서는 gloo 또는 mpi 사용 가능, mpi 사용         init_method=f"tcp://{os.environ['MASTER_ADDR']}:{os.environ['MASTER_PORT']}",  # 마스터 노드의 주소와 포트         world_size=int(os.environ['WORLD_SIZE']),  # 전체 학습 노드 개수         rank=int(os.environ['RANK'])  # 현재 노드의 순서 (마스터는 0, 나머지는 1, 2, ...)     )     # 현재 노드에서 사용할 GPU 설정 (각 노드가 1개 GPU 사용하도록 설정)     torch.cuda.set_device(int(os.environ['RANK']) % torch.cuda.device_count())   # DDP 프로세스를 종료하는 함수 def cleanup_ddp():     """     DDP 프로세스 그룹을 정리하는 함수 (???)     학습이 끝나면 반드시 호출해야 한다고 함...     """     dist.destroy_process_group()   if __name__ == "__main__":     setup_ddp()  # DDP 환경 초기화          # YOLO 모델 로드     model = YOLO('/home/jiayuan/yolom/ultralytics/models/v8/yolov8-bdd-v4-one-dropout-individual-n.yaml', task='multi')          # YOLO 모델 학습 시작     model.train(         data='/home/jiayuan/yolom/ultralytics/datasets/bdd-multi.yaml',  # 학습 데이터셋 경로         batch=???,  # 배치 크기 (각 노드에서 처리할 이미지 개수)         # 각 노드에서 사용될 배치 크기를 총 배치 크기 ÷ 노드 개수로 설정하면 됨         epochs=300,         imgsz=(640, 640),         device=[0],  # 각 노드에서 사용할 GPU (RANK에 따라 자동 분배됨)         name='yolopm',          val=True,         task='multi',         classes=[2, 3, 4, 9, 10, 11],         combine_class=[2, 3, 4, 9],         single_cls=True     )          cleanup_ddp()  # DDP 정리   Colored by Color Scripter

cs

MPI 설치 방법

- 시스템에 mpich 혹은 openmi 설치하면 됨

$ sudo apt-get install openmpi-bin openmpi-common libopenmpi-dev

hostfile에 보드의 IP 주소 및 사용 가능한 GPU 수를 정의하면 됨

203.234.62.xx slots=1
203.234.62.yy slots=1
203.234.62.zz slots=1
203.234.62.vv slots=1

- slot은 GPU 개수 의미

Pytorch DDP 실행 - 모든 보드에서 실행

$ mpirun --hostfile hostfile 경로 -np 사용개수(n) python -m torch.distributed.launch --nproc_per_node=y --nnodes=n*y node_rank=0 --master_addr=마스터IP master_port=마스터포트 train.py

• --hostfile hostfile → 사용할 Jetson 리스트
• -np n → 총 n개의 GPU 사용 (각 노드당 1개)
• --nproc_per_node=1 → 각 노드에서 1개의 GPU 사용
• --nnodes=n*1 → 총 n*1개의 노드 사용
• --node_rank=0 → 마스터 노드 (첫 번째 Jetson에서 실행)
• --master_addr=203.234.62.xx → 마스터 노드의 IP 주소
• --master_port= → 통신 포트 설정

환경 변수 설정해야 함

export MASTER_ADDR=
export MASTER_PORT=
export WORLD_SIZE=
export RANK=0  # 각 노드에서 rank=0,1,2,3으로 변경 필요

실행 - 모든 보드에서 실행

$ mpirun --hostfile hostfile -np n python train.py

https://cafe.daum.net/SmartRobot/RoVa/2206