Backbone 코드 수정 내용 및 진행 상황

[김찬우]

수정 파일
1. 모델 구조 yaml

중간중간 이전 레이어를 참조하는 영역에 대한 수정값을 추가.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114

# Ultralytics YOLO 🚀, AGPL-3.0 license # YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect   # Parameters ######Jiayuan tnc: 3  # number of classes ####### scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'   # [depth, width, max_channels]   n: [0.33, 0.25, 1024]  # YOLOv10s를 가져옴 크기 자체는 동일함.   s: [0.33, 0.50, 1024]  # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients,  28.8 GFLOPs   m: [0.67, 0.75, 768]   # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients,  79.3 GFLOPs   l: [1.00, 1.00, 512]   # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPs   x: [1.00, 1.25, 512]   # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs   scale: n   # Conv args(ch_in, ch_out, kernel, stride, padding, groups, dilation, activation) # C2f args(self, c1, c2, n=1, shortcut=False, g=1, e=0.5):  # ch_in, ch_out, number, shortcut, groups, expansion) # SPPF args(self, c1, c2, k=5):  # equivalent to SPP(k=(5, 9, 13)) #   # YOLOv8.0n backbone backbone:   # [from, repeats, module, args]   # conv의 args에서 ch_in은 자동으로 이전 레이어에서 가져온다. 처음 리스트 값은 ch_out이다.   # 0번 레이어의 경우 Cov작업을 진행 ch_in은 이미지 채널 ch_out은 64, kernel_size는 3, stride는 2이다.   # Cov의 padding은 기본값으로 None값이 들어가 있다.   - [-1, 1, Conv, [64, 3, 2]]  # 0-P1/2   - [-1, 1, Conv, [128, 3, 2]]  # 1-P2/4   - [-1, 3, C2f, [128, True]]   - [-1, 1, Conv, [256, 3, 2]]  # 3-P3/8   - [-1, 6, C2f, [256, True]]   - [-1, 1, Conv, [512, 3, 2]]  # 5-P4/16   - [-1, 6, C2f, [512, True]]   - [-1, 1, Conv, [1024, 3, 2]]  # 7-P5/32   - [-1, 3, C2f, [1024, True]]   - [-1, 1, SPPF, [1024, 5]]  # 9   - [-1, 1, PSA, [1024]] # 10   # YOLOv8.0n head head:   # detect neck   - [-1, 1, nn.Upsample, [None, 2, 'nearest']] #11   - [[-1, 6], 1, Concat, [1]]  # cat backbone P4 12   - [-1, 3, C2f, [512]]  # 13     - [-1, 1, nn.Upsample, [None, 2, 'nearest']] #14   - [[-1, 4], 1, Concat, [1]]  # cat backbone P3 15   - [-1, 3, C2f, [256]]  # 16 (P3/8-small)     - [-1, 1, Conv, [256, 3, 2]] #17   - [[-1, 13], 1, Concat, [1]]  # cat head P4 18   - [-1, 3, C2f, [512]]  # 19 (P4/16-medium)     - [-1, 1, Conv, [512, 3, 2]] #20   - [[-1, 9], 1, Concat, [1]]  # cat head P5 21   - [-1, 3, C2f, [1024]]  # 22 (P5/32-large)    # lane neck   - [9, 1, nn.Upsample, [None, 2, 'nearest']] #23   - [[-1, 6], 1, Concat_dropout, [1]]  # cat backbone P4 24   - [-1, 3, C2f, [512]]  # 25     - [-1, 1, nn.Upsample, [None, 2, 'nearest']] #26   - [[-1, 4], 1, Concat_dropout, [1]]  # cat backbone P3 27   - [-1, 3, C2f, [256]]  # 28 (P3/8-small)     - [-1, 1, nn.Upsample, [None, 2, 'nearest']]  #  for lane segmentation #29   - [[-1, 2], 1, Concat_dropout, [1]]  #  cat backbone P2 30   - [-1, 3, C2f, [128]]  # 31 (P2)      - [-1, 1, nn.Upsample, [None, 2, 'nearest']] # 32   - [[-1, 0], 1, Concat_dropout, [1]]  #  cat backbone P1 33   - [-1, 3, C2f, [64]]  # 34 (P1)    #  - [-1, 1, nn.Upsample, [None, 2, 'nearest']] #28 #  - [-1, 3, C2f, [32]]  # 29 (original)        # drivable neck   - [9, 1, nn.Upsample, [None, 2, 'nearest']] #35   - [[-1, 6], 1, Concat_dropout, [1]]  # cat backbone P4 36   - [-1, 3, C2f, [512]]  # 37     - [-1, 1, nn.Upsample, [None, 2, 'nearest']] #38   - [[-1, 4], 1, Concat_dropout, [1]]  # cat backbone P3 #39   - [-1, 3, C2f, [256]]  # 40 (P3/8-small)     - [-1, 1, nn.Upsample, [None, 2, 'nearest']]  # 30 for drivable segmentation 41   - [[-1, 2], 1, Concat_dropout, [1]] # 42   - [-1, 3, C2f, [128]]  # 43 (P2)      - [-1, 1, nn.Upsample, [None, 2, 'nearest']] # 44   - [[-1, 0], 1, Concat_dropout, [1]] #45   - [-1, 3, C2f, [64]]  # 46 (P1)    #  - [-1, 1, nn.Upsample, [None, 2, 'nearest']] #34 #  - [-1, 3, C2f, [32]]  # 35 (original) #   # Neck end    # tasks   # Detect Head의 구조 변경이 필요함.   - [[16, 19, 22], 1, Detect, [1]]  # 36 Detect(P3, P4, P5)    #  ㄴv10Detect의 args에서 1이라 들어갈게 class말고는 없음 Channel은 계산해서 받아가고.     - [[46], 1, Segment, [1, 32, 256]]  # 37 drivable-Segment [1,32,256] was not working, you should change the head.py      - [[34], 1, Segment, [1, 32, 256]]  # 38 lane-Segment [1,32,256] was not working, you should change the head.py       Colored by Color Scripter

cs

2. import관련해서 PSA를 각 모듈에서 인식할 수 있도록 수정.
models.block
yolo.engine

3. models.task.parse_model->yaml 읽고 모델 구조 설계해 주는 함수에서 PSA를 인식할 수 있도록 수정.

YOLOv10이자 Ultralytics 공식 github에서 PSA 클래스를 직접 끌어오는 방식 사용.

models.block

task.py의 parse_model함수 수정 코드

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92

# 인수를 불러오는 함수(PSA면 PSA에 대한 파라미터를 적용시키는 등(yaml에서) ) # 변수 초기화는 d : model_dict, ch : input_channels에서 model_dict에 yaml에서 설정해주는 값들이 모두 들어감. def parse_model(d, ch, verbose=True):  # model_dict, input_channels(3)     """Parse a YOLO model.yaml dictionary into a PyTorch model."""     import ast       # Args     max_channels = float('inf')     nc, act, scales = (d.get(x) for x in ('nc', 'act', 'scales'))     depth, width, kpt_shape = (d.get(x, 1.0) for x in ('depth_multiple', 'width_multiple', 'kpt_shape'))     if scales:         scale = d.get('scale')         if not scale:             scale = tuple(scales.keys())[0]             LOGGER.warning(f"WARNING ⚠️ no model scale passed. Assuming scale='{scale}'.")         depth, width, max_channels = scales[scale]       if act:         Conv.default_act = eval‎(act)  # redefine default activation, i.e. Conv.default_act = nn.SiLU()         if verbose:             LOGGER.info(f"{colorstr('activation:')} {act}")  # print       if verbose:         LOGGER.info(f"\n{'':>3}{'from':>20}{'n':>3}{'params':>10}  {'module':<45}{'arguments':<30}")     ch = [ch]     layers, save, c2 = [], [], ch[-1]  # layers, savelist, ch out       # 최신 버전에서 모듈 관리하는 방식.     base_modules = frozenset({         Classify, Conv, ConvTranspose, GhostConv, Bottleneck, GhostBottleneck, SPP, SPPF,          DWConv, Focus, BottleneckCSP, C1, C2, C2f, C3, C3TR, C3Ghost, nn.ConvTranspose2d,          DWConvTranspose2d, C3x, RepC3, PSA  # PSA 추가     })     repeat_modules = frozenset({         BottleneckCSP, C1, C2, C2f, C3, C3TR, C3Ghost, C3x, RepC3     })       for i, (f, n, m, args) in enumerate(d['backbone'] + d['head']):  # from, number, module, args         m = (getattr(torch.nn, m[3:]) if 'nn.' in m else globals()[m])  # get module         for j, a in enumerate(args):             if isinstance(a, str):                 with contextlib.suppress(ValueError):                     args[j] = locals()[a] if a in locals() else ast.literal_eval‎(a)           n = n_ = max(round(n * depth), 1) if n > 1 else n  # depth gain         if m in base_modules:             c1, c2 = ch[f], args[0]             if c2 != nc:  # if c2 not equal to number of classes                 c2 = make_divisible(min(c2, max_channels) * width, 8)             args = [c1, c2, *args[1:]]             if m in repeat_modules:                 args.insert(2, n)  # number of repeats                 n = 1         elif m is AIFI:             args = [ch[f], *args]         elif m in (HGStem, HGBlock):             c1, cm, c2 = ch[f], args[0], args[1]             args = [c1, cm, c2, *args[2:]]             if m is HGBlock:                 args.insert(4, n)  # number of repeats                 n = 1         elif m is nn.BatchNorm2d:             args = [ch[f]]         elif m is Concat:             c2 = sum(ch[x] for x in f)         elif m is Concat_dropout:  # Jiayuan의 Concat_dropout레이어 관련련             c2 = ch[-1]             ch_list = [ch[x] for x in f]         elif m in (Detect, Segment, Pose, RTDETRDecoder):             args.append([ch[x] for x in f])             if m is Segment:                 args[2] = make_divisible(min(args[2], max_channels) * width, 8)         else:             c2 = ch[f]           # Jiayuan의 Concat_dropout         if 'Concat_dropout' in str(m):             m_ = nn.Sequential(*(m(*args) for _ in range(n))) if n > 1 else m(*args, ch=ch_list)         else:             m_ = nn.Sequential(*(m(*args) for _ in range(n))) if n > 1 else m(*args)  # module           t = str(m)[8:-2].replace('__main__.', '')  # module type         m_.np = sum(x.numel() for x in m_.parameters())  # number params         m_.i, m_.f, m_.type = i, f, t  # attach index, 'from' index, type         if verbose:             LOGGER.info(f'{i:>3}{str(f):>20}{n_:>3}{m_.np:10.0f}  {t:<45}{str(args):<30}')  # print         save.extend(x % i for x in ([f] if isinstance(f, int) else f) if x != -1)  # append to savelist         layers.append(m_)         if i == 0:             ch = []         ch.append(c2)     return nn.Sequential(*layers), sorted(save) Colored by Color Scripter

cs

Train.py 실행 결과 모델 자체에 있어 PSA가 정상적으로 결합된 것을 확인이 가능.

학습이 진행 중