[딥러닝] 10. 객체 검출-yolo

[한윤지]

1. ultralytics 설치

GitHub - ultralytics/ultralytics: Ultralytics YOLO11 🚀

- git clone https://github.com/ultralytics/ultralytics.git으로 설치

2. yolo로 객체검출 훈련시키기 위해서는 yolo에 맞는 데이터셋을 갖추어야 함.

객체 감지 데이터 세트 개요

1)

dataset/
├── images/
│   ├── train/
│   └── val/
└── labels/
    ├── train/
    └── val/

--> 이런 구조를 띄어야함

- Fater R-CNN은 이미지 파일 경로, 이미지 크기(너비, 높이), 객체의 라벨(클래스), 객체의 바운딩 박스 좌표, 객체의 추가 속성(예: 그룹 ID, 설명, 플래그 등)을 json 파일로 저장하였음.

- 하지만 yolo는 class x_center y_center width height 형식으로 .txt 파일로 만들어야 한다.

따라서 Faster R-CNN으로 훈련할 때 만들어놓은 json파일을 yolo에서 쓰이는 형식으로 .txt로 만들어줘야 함.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67

import json import os   # 클래스 순서에 맞게 class_map 설정 class_map = {     "big robot": 0,  # big robot을 0으로 설정     "small robot": 1  # small robot을 1로 설정 }     def convert_labelme_to_yolo(json_path, output_txt_path):     """LabelMe JSON을 YOLO TXT 형식으로 변환"""     with open(json_path, "r", encoding="utf-8") as f:         data = json.load(f)       image_width = data["imageWidth"]     image_height = data["imageHeight"]       yolo_lines = []          for shape in data["shapes"]:         label = shape["label"]         points = shape["points"]           # YOLO는 바운딩 박스 좌표를 정규화된 (x_center, y_center, width, height)로 변환         x_min, y_min = points[0]         x_max, y_max = points[1]           x_center = (x_min + x_max) / 2 / image_width         y_center = (y_min + y_max) / 2 / image_height         width = (x_max - x_min) / image_width         height = (y_max - y_min) / image_height           class_id = class_map.get(label, -1)  # 클래스 ID 찾기 (없으면 -1)         if class_id == -1:             print(f"'{label}' 클래스가 class_map에 없음. 무시됨.")             continue           # YOLO 형식: <class_id> <x_center> <y_center> <width> <height>         yolo_lines.append(f"{class_id} {x_center:.6f} {y_center:.6f} {width:.6f} {height:.6f}")       # 변환된 YOLO 데이터 저장     with open(output_txt_path, "w", encoding="utf-8") as f:         f.write("\n".join(yolo_lines))       print(f"변환 완료: {output_txt_path}")   def main(input_dir,output_dir):     # 폴더 내 JSON 파일 변환 실행     for file in os.listdir(input_dir):         if file.endswith(".json"):  # JSON 파일만 처리             json_path = os.path.join(input_dir, file)             txt_filename = os.path.splitext(file)[0] + ".txt"  # 확장자를 .txt로 변경             txt_path = os.path.join(output_dir, txt_filename)  # 출력 폴더에 저장               convert_labelme_to_yolo(json_path, txt_path)          if __name__ == "__main__":       # 입력 및 출력 폴더 설정     input_train_dir = "deeplearning/dataset2/trainimg/"  # JSON 파일이 섞여 있는 폴더     output_train_dir = "deeplearning/yolo_dataset2/train/labels/"  # YOLO TXT 파일을 저장할 폴더     # 입력 및 출력 폴더 설정     input_val_dir = "deeplearning/dataset2/valimg/"  # JSON 파일이 섞여 있는 폴더     output_val_dir = "deeplearning/yolo_dataset2/val/labels/"  # YOLO TXT 파일을 저장할 폴더     main(input_train_dir,output_train_dir)     main(input_val_dir,output_val_dir) Colored by Color Scripter

cs

위에 코드를 실행하면 

dataset/
├── images/
│   ├── train/
│   └── val/
└── labels/
    ├── train/
    └── val/

labels 폴더의 train과 val 폴더 안에 각각의 .txt 파일이 저장된다.

2) 그다음 data.yaml 파일을 만들어줘야 함.

--> data.yaml 파일은 yolo 모델이 학습할 데이터셋의 경로와 클래스 정보를 정의하는 파일이다. 이 파일을 통해 yolo가 데이터셋을 어디서 가져와야 하는지, 몇 개의 클래스를 예측해야 하는지를 알 수 있다.

- ultralytics/ultralytics/cfg/datasets 아래에 .yaml 파일들이 있는데 그중에 coco.yaml을 참고해 data.yaml를 작성하면 된다.

- data.yaml은 훈련 코드에서 경로만 지정해주면 되어 어디에 작성하든지 상관없지만 간단한 코드 작성을 위해 datasets 하위에 작성하였다.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license   # COCO 2017 dataset https://cocodataset.org by Microsoft # Documentation: https://docs.ultralytics.com/datasets/detect/coco/ # Example usage: yolo train data=coco.yaml # parent # ├── ultralytics # └── datasets #     └── coco  ← downloads here (20.1 GB)   # Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..] path: ../yolo_dataset2 # dataset root dir # Train/val 데이터 경로 (폴더 사용) train: /home/jetson/airlab/deeplearning/yolo_dataset2/images/train val: /home/jetson/airlab/deeplearning/yolo_dataset2/images/val # test: test-dev2017.txt # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794   # Classes names:   0: big robot   1: small robot   # Download script/URL (optional) download: |   from pathlib import Path     from ultralytics.utils.downloads import download     # Download labels   segments = True  # segment or box labels   dir = Path(yaml["path"])  # dataset root dir   url = "https://github.com/ultralytics/assets/releases/download/v0.0.0/"   urls = [url + ("coco2017labels-segments.zip" if segments else "coco2017labels.zip")]  # labels   download(urls, dir=dir.parent)   # Download data   urls = [       "http://images.cocodataset.org/zips/train2017.zip",  # 19G, 118k images       "http://images.cocodataset.org/zips/val2017.zip",  # 1G, 5k images       "http://images.cocodataset.org/zips/test2017.zip",  # 7G, 41k images (optional)   ]   download(urls, dir=dir / "images", threads=3)   Colored by Color Scripter

cs

그럼 완성된 데이터셋 구조는

dataset/
├── images/
│   ├── train/
│   └── val/

├── labels/
│   ├── train/
│   └── val/
└── data.yaml

이다.

3. 훈련코드 작성

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

from ultralytics import YOLO   # Load a pretrained YOLO11n model model = YOLO("yolo11n.pt")   # Train the model on the COCO8 dataset for 100 epochs train_results = model.train(     data="coco8.yaml",  # Path to dataset configuration file     epochs=100,  # Number of training epochs     imgsz=640,  # Image size for training     device="cpu",  # Device to run on (e.g., 'cpu', 0, [0,1,2,3]) )   # Eval‎uate the model's performance on the validation set metrics = model.val()   # Perform object detection on an image results = model("path/to/image.jpg")  # Predict on an image results[0].show()  # Display results   # Export the model to ONNX format for deployment path = model.export(format="onnx")  # Returns the path to the exported model

cs

--> 깃허브에 나와있는 훈련코드임.

--> Yolo 백본의 가중치는 고정하고 전이학습을 수행하라는 조건이 있었기 때문에 model.train에 freeze=10 추가

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

from ultralytics import YOLO import onnx import time import glob   # Load a pretrained YOLO11n model model = YOLO("yolo11n.pt")   # Train the model on the COCO8 dataset for 100 epochs train_results = model.train(     data="/home/jetson/airlab/deeplearning/yolo_dataset2/data.yaml",  # Path to dataset configuration file     epochs=100,  # Number of training epochs     freeze=10,   # 처음 10개 레이어(백본)를 고정정     imgsz=640,  # Image size for training     device="cuda",  # Device to run on (e.g., 'cpu', 0, [0,1,2,3]) )   # Eval‎uate the model's performance on the validation set metrics = model.val() Colored by Color Scripter

cs

4. 그래프 결과

- yolo에서는 훈련시 저장해주는 그래프가 있는데 그 그래프들은 ultralytics/run/detection 밑에 저장된다.

- 훈련이 진행될 때마다 yolo는 새로운 train 폴더를 만들고 숫자를 붙여 구분한다.

--> epoch 100번 돌렸을 때 그래프 결과

- cofusion_matrix 그래프를 해석하기 위해서 오차행렬을 읽을 수 있어야 함.

오차행렬

- 다중분류 일때는 자기 클래스는 Positive, 나머지는 모두 Negative로 하여 계산을 하면 됨.

1. cofusion_matrix.png

• 클래스별 예측 정확도를 보여주는 혼동 행렬
• 가로축(x): 예측된 클래스, 세로축(y): 실제 클래스
• 그래프 해석
  • (big robot, big robot)=11로 실제로 big robot인 경우를 11번 big robot으로 올바르게 예측하였음 ---> TP
  • (big robot, background)=3로 실제로 big robot이였지만 background로 잘못 예측한 경우 3번 ---> F
  • (small robot, small robot)=56로 실제로 small robot인 경우를 56번 smalll robot으로 올바르게 예측하였음 ---> TP
  • big robot은 background로 일부 잘못 예측된 것이 있고 small robot은 매우 정확하게 예측되었다는것을 알수 있음.

2. confusion_matrix_normalized.png

• confusion_matrix 그래프랑 비슷함 --> confusion_matrix_normalized는 정규화(Normalized)란, 각 행(실제 클래스)을 기준으로 전체 예측 값의 비율로 변환한 그래프임. 
• 셀 안의 값은 0~1 사이의 정확도 비율을 의미함.
• 그래프 해석
  • (big robot, big robot) = 1.00 → 실제 big robot 중 100%를 big robot으로 예측함
  • (small robot, small robot) = 1.00 → small robot도 100% 정확히 예측
  • (big robot, background) = 1.00 → 실제 big robot 중 100%를 background으로 예측함   
  • (background, _)는 다 0으로 나옴 → 모델이 background 예측을 아예하지않음.(background 샘플은 원래 없음.)                     
  • 의문점: 위에 confusion_matrix 그래프에서는 big robot을 backgroud로 잘못 예측한 경우도 있어서 완벽한 예측은 아니였는데 100%(1.00)로 나옴.

정규화된 혼동 행렬 값 계산 방법

3. P_curve.png (Precision Curve)

• Precision(정밀도) 변화 곡선
• 클래스별 Precision이 학습 동안 어떻게 변했는지를 보여줌.

정밀도 계산 공식

• big robot의 정밀도를 계산한다고 하면 정밀도는 모델이 양성으로 판단한 경우 분에 실제로 big robot인데 big robot이라 판단한 경우로 구하는 것이다.
• 그래프를 보면 FP 값이 점점 줄어들기 때문에 1로 수렴하는 모습이다.

4. R_curve.png (Recall Curve)

• Recall(재현율) 변화 곡선
• 모델이 실제 객체를 얼마나 잘 탐지했는지를 나타냄

재현율 계산 공식

• big robot의 재현율을 계산한다고 하면 재현율은 실제 모델인 경우 분에 실제로 big robot인데 big robot이라 판단한 경우로 구하는 것이다.
• 임계값이 높다고 가정할 때 훈련을 하면할수록 예측확률이 좋아지기 때문에 FN일 확률이 높아진다. 그러므로 훈련을 하면 할 수록 FN이 커져 0으로 수렴하는 모습을 띈다.                                                                                                                                                  ==> 임계값이 작으면 예측값이 작아 실제 클래스인데 잘못 예측하는 경우가 줄어들기 때문에 양성으로 판단하는것이 많아 FN 값이 낮아 1에 가깝지만 임계값이 높으면 실제 클래스에 맞아도 잘못 예측하는 경우가 많아져 FN 값이 증가하므로 0에 수렴한다.

★ Recall 그래프와 Precision 그래프 비교

• 두 개의 그래프가 왜 반대로 그려지는지?
  • 임계값이 높아지면 예측 확률이 높은것만 양성으로 판단하고 실제 음성인데 모델이 양성으로 판단한 경우(FP)가 줄어들기 때문에 Precision은 증가해 점점 1에 수렴하고 Recall은 임계값이 높으면 실제 클래스가 양성이어도 예측값이 낮으면 음성으로 판단하는(FN)이 증가하기 때문에 Recall은 감소해 0으로 수렴한다.
  • 반대로 임계값이 낮아지면 예측값이 낮아도 양성으로 판단하기 때문에 실제 음성인데 모델이 양성으로 판단하는 경우(FP)가 증가해 Precision은 감소하여 점점 0에 수렴하고 Recall은 예측값이 낮아 실제 클래스가 양성이어도 음성으로 판단하는(FN)이 줄어들기 때문에 Recall은 증가해 1로 수렴한다.
  • 임계값을 어떻게 지정하냐에 따라 Recall과 Precision 그래프가 그려지는게 다름                                                                         ==> 각각 Recall이 중요하냐 Precision이 중요하냐를 정하고 임계값을 정함.
    
    • Precision이 중요한 경우
      • 정확한 예측값이 필요한 경우
      • 암진단: 정확히 암인지 판단이 필요한 경우( 암이 아닌데 수술할 경우를 배제하기 위해 필요 )
    • Recall이 중요한 경우
      • 넓은 예측값이 필요한 경우
      • 검색결과: 검색 결과에서 최대한 많은 관련 문서를 보여줘야 할때 필요

5. F1_curve.png (F1 Score Curve)

• Precision과 Recall의 조화 평균인 F1-score 곡선
• 값이 높을수록 Precision과 Recall이 균형을 이루고 있음을 의미
• Precision과 Recall 중 하나가 지나치게 낮다면 F1-score도 낮아짐

F1 계산 공식

• 그래프 해석
  • 위에 Precision은 갈수록 증가하였고 Recall은 1에서 갈수록 감소하여 0으로 수렴되었기 때문에 F1 그래프는 초반에 증가하고 후반부에 Recall이 0으로 수렴하면서 Precision보다 지나치게 낮으므로 감소한다.

6. PR_curve.png (Precision-Recall Curve)

• Precision과 Recall의 관계를 나타낸 곡선
• 그래프가 우상단으로 갈수록 모델의 성능이 좋다는 의미
• 일반적으로 IoU임계값에 따라 다르게 측정됨. (임계값에 따라 Recall과 Precison 값이 다르게 측정되기 때문.
• 그래프 해석
  • Precision이 계속 1.0이라는 뜻은 양성으로 예측한 것들 중에 오답이 하나도 없다는 의미(FP = 0)

7. val_batch0_labels.jpg, val_batch1_labels.jpg, val_batch2_labels.jpg

• 검증데이터의 실제 라벨 의미.
• 학습 데이터셋에서 제공된 바운딩 박스와 클래스 라벨이 표시되어있음.

val_batch0_labels.jpg

8. val_batch0_pred.jpg, val_batch1_pred.jpg, val_batch2_pred.jpg

• YOLO 모델이 검증 데이터에서 예측한 결과
• 모델이 감지한 객체들의 바운딩 박스와 클래스 라벨이 표시됨.
• 실제 라벨(labels.jpg)과 비교하여 모델이 얼마나 정확하게 예측했는지 확인할 수 있음.

val_batch0_pred.jpg

5. test 결과

test 코드

훈련 때 돌린 이미지로 테스트 결과

직접 찍은 사진으로 테스트

[Sungryul Lee]

confusion matrix, 그래프의 의미 설명추가할것, 교재 6.5절 참고할것

[한윤지]

추가하였습니다