Neck 수정 결과

[김찬우]

기존 모델 구조.

새로운 모델 구조

기획 수정 내용

Lane line에서 Drivable area의 특성맵을 공급받으므로 Lane line의 AC block의 기준치 값 0.5를 늘려 AC_L block에 대한 기준치 값을 0.7로 수정하려 하였으나 모델 구조를 불러오는 과정에서 파라미터에 대한 정보가 정상적으로 처리되지 않아 기존의 AC Block을 그대로 사용.

Upsample과정에서 nearest대신 bilinear(인근 픽셀과 비교)하여 Upsample과정을 진행해봄.

전체 모델 구조.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123

# Parameters ######Jiayuan tnc: 3  # number of classes ####### scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'   # [depth, width, max_channels]   n: [0.33, 0.25, 1024]  # YOLOv10s를 가져옴 크기 자체는 동일함.   s: [0.33, 0.50, 1024]  # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients,  28.8 GFLOPs   m: [0.67, 0.75, 768]   # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients,  79.3 GFLOPs   l: [1.00, 1.00, 512]   # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPs   x: [1.00, 1.25, 512]   # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs   scale: n   # Conv args(ch_in, ch_out, kernel, stride, padding, groups, dilation, activation) # C2f args(self, c1, c2, n=1, shortcut=False, g=1, e=0.5):  # ch_in, ch_out, number, shortcut, groups, expansion) # SPPF args(self, c1, c2, k=5):  # equivalent to SPP(k=(5, 9, 13)) #   # YOLOv10.0n backbone backbone:   # [from, repeats, module, args]   # conv의 args에서 ch_in은 자동으로 이전 레이어에서 가져온다. 처음 리스트 값은 ch_out이다.   # 0번 레이어의 경우 Cov작업을 진행 ch_in은 이미지 채널 ch_out은 64, kernel_size는 3, stride는 2이다.   # Cov의 padding은 기본값으로 None값이 들어가 있다.   - [-1, 1, Conv, [64, 3, 2]]  # 0-P1/2   - [-1, 1, Conv, [128, 3, 2]]  # 1-P2/4   - [-1, 3, C2f, [128, True]] # 2   - [-1, 1, Conv, [256, 3, 2]]  # 3-P3/8   - [-1, 6, C2f, [256, True]] # 4   - [-1, 1, SCDown, [512, 3, 2]] # 5-P4/16   - [-1, 6, C2f, [512, True]] # 6   - [-1, 1, SCDown, [1024, 3, 2]] # 7-P5/32   - [-1, 3, C2fCIB, [1024, True]] # 8   - [-1, 1, SPPF, [1024, 5]]  # 9   - [-1, 1, PSA, [1024]] # 10     # YOLOv8.0n head head:   - [-1, 1, nn.Upsample, [None, 2, 'nearest']] #11   - [[-1, 6], 1, Concat, [1]] #12   - [-1, 3, C2f, [512]] #13     - [-1, 1, nn.Upsample, [None, 2, 'nearest']] # 14   - [[-1, 4], 1, Concat, [1]] #15   - [-1, 3, C2f, [256]] #16     - [-1, 1, Conv, [256, 3, 2]] # 17   - [[-1, 13], 1, Concat, [1]]  # [12 -> 13] 18   - [-1, 3, C2f, [512]] #19     - [-1, 1, Conv, [512, 3, 2]] #20   - [[-1, 10], 1, Concat, [1]] #21   - [-1, 3, C2fCIB, [1024]] #22     # lane neck   - [10, 1, nn.Upsample, [None, 2, 'bilinear']] #23   - [[-1, 6], 1, Concat_dropout, [1]] # 이 출력이 8이고 아래 C2f는 입력이 8 출력이 128이어야 함. 24   - [-1, 3, C2f, [512]] #25     - [-1, 1, nn.Upsample, [None, 2, 'bilinear']] #26   - [[-1, 4], 1, Concat_dropout, [1]] #27   - [-1, 3, C2f, [256]] #28     - [-1, 1, nn.Upsample, [None, 2, 'nearest']] #29   - [[-1, 2], 1, Concat_dropout, [1]] #30   - [-1, 3, C2f, [128]] #31     - [-1, 1, nn.Upsample, [None, 2, 'nearest']] #32   - [[-1, 0], 1, Concat_dropout, [1]] #33   - [-1, 3, C2fCIB, [64]] #34     # lane neck   #- [10, 1, nn.Upsample, [None, 2, 'bilinear']] #23   #- [[-1, 6], 1, Concat_dropout_lane, [1]] # 이 출력이 8이고 아래 C2f는 입력이 8 출력이 128이어야 함.   #- [-1, 3, C2f, [512]] #25     #- [-1, 1, nn.Upsample, [None, 2, 'bilinear']]   #- [[-1, 4], 1, Concat_dropout_lane, [1]]   #- [-1, 3, C2f, [256]] #28     #- [-1, 1, nn.Upsample, [None, 2, 'nearest']]   #- [[-1, 2], 1, Concat_dropout_lane, [1]]   #- [-1, 3, C2f, [128]] #31     #- [-1, 1, nn.Upsample, [None, 2, 'nearest']]   #- [[-1, 0], 1, Concat_dropout_lane, [1]]   #- [-1, 3, C2fCIB, [64]] #34       # drivable neck   - [10, 1, nn.Upsample, [None, 2, 'nearest']] #35   - [[-1, 6], 1, Concat_dropout, [1]] #36   - [-1, 3, C2f, [512]] #37     - [-1, 1, nn.Upsample, [None, 2, 'nearest']] #38   - [[-1, 4], 1, Concat_dropout, [1]] #39   - [-1, 3, C2f, [256]] #40     - [-1, 1, nn.Upsample, [None, 2, 'nearest']] #41   - [[-1, 2], 1, Concat_dropout, [1]] #42   - [-1, 3, C2f, [128]] #43     - [-1, 1, nn.Upsample, [None, 2, 'nearest']] #44   - [[-1, 0], 1, Concat_dropout, [1]] #45   - [-1, 3, C2fCIB, [64]] #46     #neck에 대한 정보 교환환   - [[34, 46], 1, Concat, [1]]          # lane-neck(34)과 drivable-neck(46)을 일반 Concat으로 결합 47   - [-1, 3, C2f, [64]]                  # 결합된 특성맵(128)을 64로 조정 -> Head에서 원래래 받는 크기로 조절하기 위함 48     # Neck end      # tasks   - [[16, 19, 22], 1, Detect, [1]] # 49     # drivable neck과 lane neck의 특성맵 결합   #- [[34, 46], 1, Concat, [1]]          # lane-neck(34)과 drivable-neck(46)을 일반 Concat으로 결합 48   #- [-1, 3, C2f, [64]]                  # 결합된 특성맵(128)을 64로 조정 -> Head에서 원래래 받는 크기로 조절하기 위함 49   - [[48], 1, Segment, [1, 32, 256]]    # lane segmentation 출력 50     - [[46], 1, Segment, [1, 32, 256]]    # drivable segmentation 출력 # 51 Colored by Color Scripter

cs

중간 C2f가 C2fCIB cov레이어로 변경된 부분이 있는데 해당 부분은 YOLOv10의 Neck 구조를 따라간 것이며 복잡한 객체에 대한 인식에 도움을 주는 역할을 한다. (C2f의 Bottleneck 대신 CIB 모듈이 대체하는 방식 - CIB는 특성맵의 채널들 사이에 대한 정보 교환을 진행하여 특성들 사이에 대한 정보를 공유하는 역할을 수행한다. -> 가로 선에 대한 특성과 세로 선에 대한 특성을 융합하여 새로운 특성 채널을 만들어내는 개념)

레이어 수와 parameters, gradients 출력값과 dataset호출

변경 이전

변경 이후

Drivable Area에 대한 mIoU값은 소량 늘어났으나 Lane Line에 대한 값은 유지.

연산량이 레이어 2개를 추가한 것에 대하면 부정적인 결과이다.

다른 방식으로 Neck 구조를 변경하는 방법이 필요. (+ Concat _ lane block에 대한 재시도가 필요함.)

이번 학습된 모델로 영상을 출력해보려 했으나 영상을 읽는 과정에서 문제가 있는지 코드가 정상 작동하지 않아 확인중.