경진 대회 진행 보고서(2)

[김찬우]

각 객체별 색상 구별

바닥 외 통일

클래스 개수  : 4

floor, wall, ceiling, blockage

commend
 python my_train.py -j 6 --data-path D:\pytorch_cuda\segmentaion_data\dataset6 --lr 0.015 --dataset coco -b 4 --model deeplabv3_resnet101 --aux-loss --device cuda --epoch 40 --weights-backbone ResNet101_Weights.IMAGENET1K_V1 --output-dir D:\pytorch_cuda\segmentaion_data\dataset6\output

Use_V1
Train 데이터 증강 Compose 내역.
<transforms.ColorJitter object at 0x0000024E0D78EF50>
<transforms.RandomGrayscale object at 0x0000024E0D78EF90>
<transforms.RandomHorizontalFlip object at 0x0000024E0D4BAF90>
<transforms.RandomCrop object at 0x0000024E0D78F010>
<transforms.PILToTensor object at 0x0000024E0D78EF10>
<transforms.ToDtype object at 0x0000024E0D78F050>
<transforms.Normalize object at 0x0000024E0D769710>

transforms += [T.ColorJitter(brightness=(1.0, 1.2), saturation=(0.5,1.5), hue=(-0.3, 0.5))]
transforms += [T.RandomGrayscale(0.1)]

[_background_, ceiling, floor, wall, blockage]
global correct: 87.5
average row correct: ['0.1', '45.0', '98.0', '77.9', '91.0']
IoU: ['0.1', '41.4', '89.7', '66.3', '79.2']
mean IoU: 55.4
바닥 정확도 :  97.95003509521484

GPU 사용하지 않는 환경에서의 C++ onnx파일 실행 (영상 2배속 권장)

프레임당 약 1.6초 요구.

회전 및 이미지가 움직일 때 노이즈 현상 심함.

원본 및 수정 코드 응용.

원본

https://github.com/opencv/opencv/blob/4.x/samples/dnn/common.hpp

opencv/samples/dnn/common.hpp at 4.x · opencv/opencv

수정 코드 (lab)

https://github.com/downy25/Using_Opencv_segmentation/blob/main/main.cpp

경로만 변경하여 실행.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99

#include <opencv2/core/utils/filesystem.hpp>   #define _CRT_SECURE_NO_WARNINGS   using namespace cv;   std::string genArgument(const std::string& argName, const std::string& help,     const std::string& modelName, const std::string& zooFile,     char key = ' ', std::string defaultVal = "");   std::string genPreprocArguments(const std::string& modelName, const std::string& zooFile);   std::string findFile(const std::string& filename);   std::string genArgument(const std::string& argName, const std::string& help,     const std::string& modelName, const std::string& zooFile,     char key, std::string defaultVal) {     if (!modelName.empty())     {         FileStorage fs(zooFile, FileStorage::READ);         if (fs.isOpened())         {             FileNode node = fs[modelName];             if (!node.empty())             {                 FileNode value = node[argName];                 if (!value.empty())                 {                     if (value.isReal())                         defaultVal = format("%f", (float)value);                     else if (value.isString())                         defaultVal = (std::string)value;                     else if (value.isInt())                         defaultVal = format("%d", (int)value);                     else if (value.isSeq())                     {                         for (size_t i = 0; i < value.size(); ++i)                         {                             FileNode v = value[(int)i];                             if (v.isInt())                                 defaultVal += format("%d ", (int)v);                             else if (v.isReal())                                 defaultVal += format("%f ", (float)v);                             else                                 CV_Error(Error::StsNotImplemented, "Unexpected value format");                         }                     }                     else                         CV_Error(Error::StsNotImplemented, "Unexpected field format");                 }             }         }     }     return "{ " + argName + " " + key + " | " + defaultVal + " | " + help + " }"; }   std::string findFile(const std::string& filename) {     if (filename.empty() || utils::fs::exists(filename))         return filename;       const char* extraPaths[] = { getenv("OPENCV_DNN_TEST_DATA_PATH"),                                 getenv("OPENCV_TEST_DATA_PATH") };     for (int i = 0; i < 2; ++i)     {         if (extraPaths[i] == NULL)             continue;         std::string absPath = utils::fs::join(extraPaths[i], utils::fs::join("dnn", filename));         if (utils::fs::exists(absPath))             return absPath;     }     CV_Error(Error::StsObjectNotFound, "File " + filename + " not found! "         "Please specify a path to /opencv_extra/testdata in OPENCV_DNN_TEST_DATA_PATH "         "environment variable or pass a full path to model."); }   std::string genPreprocArguments(const std::string& modelName, const std::string& zooFile) {     return genArgument("model", "Path to a binary file of model contains trained weights. "         "It could be a file with extensions .caffemodel (Caffe), "         ".pb (TensorFlow), .t7 or .net (Torch), .weights (Darknet), .bin (OpenVINO).",         modelName, zooFile, 'm') +         genArgument("config", "Path to a text file of model contains network configuration. "             "It could be a file with extensions .prototxt (Caffe), .pbtxt (TensorFlow), .cfg (Darknet), .xml (OpenVINO).",             modelName, zooFile, 'c') +         genArgument("mean", "Preprocess input image by subtracting mean values.                     Mean values should be in BGR order and delimited by spaces.",             modelName, zooFile) +         genArgument("scale", "Preprocess input image by multiplying on a scale factor.",             modelName, zooFile, ' ', "1.0") +         genArgument("width", "Preprocess input image by resizing to a specific width.",             modelName, zooFile, ' ', "-1") +         genArgument("height", "Preprocess input image by resizing to a specific height.",             modelName, zooFile, ' ', "-1") +         genArgument("rgb", "Indicate that model works with RGB input images instead BGR ones.",             modelName, zooFile); }   Colored by Color Scripter

cs

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312

#include <fstream> #include <sstream>   #include <iostream> #include <opencv2/opencv.hpp> #include <time.h>   using namespace cv; using namespace dnn; using namespace std;   std::vector<std::string> classes; std::vector<Vec3b> colors;   /*"{ backend     | 0 | Choose one of computation backends: "                         "0: automatically (by default), "                         "1: Halide language (http://halide-lang.org/), "                         "2: Intel's Deep Learning Inference Engine (https://software.intel.com/openvino-toolkit), "                         "3: OpenCV implementation, "                         "4: VKCOM, "                         "5: CUDA }"     "{ target      | 0 | Choose one of target computation devices: "                         "0: CPU target (by default), "                         "1: OpenCL, "                         "2: OpenCL fp16 (half-float precision), "                         "3: VPU, "                         "4: Vulkan, "                         "6: CUDA, "                         "7: CUDA fp16 (half-float preprocess) }";*/   void showLegend();   void colorizeSegmentation(const Mat& score, Mat& segm);   int main(/*int argc, char** argv*/) {     int64 t1 = getTickCount();       float scale = 1 / 255.0;     Scalar mean(0.485 * 255.0, 0.456 * 255.0, 0.406 * 255.0);     //bool swapRB = parser.get<bool>("rgb");     int inpWidth = 256;     int inpHeight = 256;     String model = "D:\\pytorch_cuda\\segmentaion_data\\dataset6\\models\\model_0\\resnet101.onnx";     int backendId = 0; //automatically     int targetId = 0;  //cpu default     String file_path = "D:\\pytorch_cuda\\segmentaion_data\\dataset6\\video.mp4";         // Open file with classes names.     std::string file_c = "D:\\pytorch_cuda\\segmentaion_data\\dataset6\\models\\model_0\\classes.txt";     std::ifstream ifs(file_c.c_str());     if (!ifs.is_open())         CV_Error(Error::StsError, "File " + file_c + " not found");     std::string line;     while (std::getline(ifs, line))     {         classes.push_back(line);     }       //classes check     /*for (int i = 0; i < 38; i++) {         cout << classes[i] << endl;     }*/       //Load colors       ifstream ifp("D:\\pytorch_cuda\\segmentaion_data\\dataset6\\models\\model_0\\colors.txt");     if (!ifp.is_open()) {         cerr << "colors file load failed!" << endl;         return -1;     }     else {         string line;         while (getline(ifp, line)) {             istringstream colorStr(line);               int num, i = 0;             Vec3b color;               while (colorStr >> num) {                 color[i] = num;                 i++;             }             colors.push_back(color);         }     }       //check colors     /*for (int i = 0; i < 38; i++) {         cout << "colors " << i << " :" << colors[i] << endl;     }*/           CV_Assert(!model.empty());     //! [Read and initialize network]     Net net = readNet(model);     net.setPreferableBackend(0);     net.setPreferableTarget(0);       //! [Read and initialize network]       // Create a window     /*static const std::string kWinName = "Deep learning semantic segmentation in OpenCV";     namedWindow(kWinName, WINDOW_NORMAL);*/       //! [Open a video file or an image file or a camera stream]     //! camera stream cap(device_number)     /*VideoCapture cap;     cap.open(file_path);     if (!cap.isOpened()) {         cerr << "file is not open!" << endl;         //return -1;     }*/       // Process frames.     // 영상으로 변환한 코드.     Mat frame, blob, origin;     VideoCapture cap(file_path);     VideoWriter gray;     while (true) {         cap >> frame;         cap >> origin;         if (frame.empty()) {             cerr << "image load failed" << endl;             return -1;         }         clock_t start_time = clock();         //! [Create a 4D blob from a frame]         blobFromImage(frame, blob, scale, Size(inpWidth, inpHeight), mean, false, false);         //! [Create a 4D blob from a frame]           //! [Set input blob]         net.setInput(blob);         //! [Set input blob]         //! [Make forward pass]         Mat score = net.forward();           Mat segm;         colorizeSegmentation(score, segm);           cv::resize(segm, segm, frame.size(), 0, 0, INTER_NEAREST);         cv::addWeighted(frame, 0, segm, 0.9, 0.0, frame);           //int64 t2 = getTickCount();         //double ms = (t2 - t1) * 1000 / getTickFrequency();         clock_t end_time = clock();         std::cout << "time: " << (double)(end_time - start_time) / CLOCKS_PER_SEC << "sec" << endl;           gray << frame;         cv::imshow("mask", frame);         cv::imshow("img", origin);         cv::waitKey(25);     }     //원본 코드.     /*     frame = imread(file_path);     if (frame.empty()) {         cerr << "image load failed" << endl;         return -1;     }     //! [Create a 4D blob from a frame]     blobFromImage(frame, blob, scale, Size(inpWidth, inpHeight), mean, false, false);     //! [Create a 4D blob from a frame]     //! [Set input blob]     net.setInput(blob);     //! [Set input blob]     //! [Make forward pass]     Mat score = net.forward();     Mat segm;     colorizeSegmentation(score, segm);     resize(segm, segm, frame.size(), 0, 0, INTER_NEAREST);     addWeighted(frame, 0, segm, 0.9, 0.0, frame);     int64 t2 = getTickCount();     double ms = (t2 - t1) * 1000 / getTickFrequency();     cout << "time: " << ms << "ms" << endl;     imwrite("./output2.jpg", frame);     imshow("mask", frame);     waitKey();     */       return 0; }   void colorizeSegmentation(const Mat& score, Mat& segm) {     const int rows = score.size[2];     const int cols = score.size[3];     const int chns = score.size[1];       if (colors.empty())     {         // Generate colors.         colors.push_back(Vec3b());         for (int i = 1; i < chns; ++i)         {             Vec3b color;             for (int j = 0; j < 3; ++j)                 color[j] = (colors[i - 1][j] + rand() % 256) / 2;             colors.push_back(color);         }     }     else if (chns != (int)colors.size())     {         CV_Error(Error::StsError, format("Number of output classes does not match "             "number of colors (%d != %zu)", chns, colors.size()));     }       Mat maxCl = Mat::zeros(rows, cols, CV_8UC1);     Mat maxVal(rows, cols, CV_32FC1, score.data);     for (int ch = 1; ch < chns; ch++)     {         for (int row = 0; row < rows; row++)         {             const float* ptrScore = score.ptr<float>(0, ch, row);             uint8_t* ptrMaxCl = maxCl.ptr<uint8_t>(row);             float* ptrMaxVal = maxVal.ptr<float>(row);             for (int col = 0; col < cols; col++)             {                 if (ptrScore[col] > ptrMaxVal[col])                 {                     ptrMaxVal[col] = ptrScore[col];                     ptrMaxCl[col] = (uchar)ch;                 }             }         }     }       segm.create(rows, cols, CV_8UC3);     for (int row = 0; row < rows; row++)     {         const uchar* ptrMaxCl = maxCl.ptr<uchar>(row);         Vec3b* ptrSegm = segm.ptr<Vec3b>(row);         for (int col = 0; col < cols; col++)         {             ptrSegm[col] = colors[ptrMaxCl[col]];         }     } }   void showLegend() {     static const int kBlockHeight = 30;     static Mat legend;     if (legend.empty())     {         const int numClasses = (int)classes.size();         if ((int)colors.size() != numClasses)         {             CV_Error(Error::StsError, format("Number of output classes does not match "                 "number of labels (%zu != %zu)", colors.size(), classes.size()));         }         legend.create(kBlockHeight * numClasses, 200, CV_8UC3);         for (int i = 0; i < numClasses; i++)         {             Mat block = legend.rowRange(i * kBlockHeight, (i + 1) * kBlockHeight);             block.setTo(colors[i]);             putText(block, classes[i], Point(0, kBlockHeight / 2), FONT_HERSHEY_SIMPLEX, 0.5, Vec3b(255, 255, 255));         }         namedWindow("Legend", WINDOW_NORMAL);         imshow("Legend", legend);     } } //! [Make forward pass]     /*while (waitKey(20) < 0)     {         cap >> frame;         if (frame.empty())         {             waitKey();             break;         }         imshow(kWinName, frame);         //! [Create a 4D blob from a frame]         blobFromImage(frame, blob, scale, Size(inpWidth, inpHeight), mean, false, false);         //! [Create a 4D blob from a frame]         //! [Set input blob]         net.setInput(blob);         //! [Set input blob]         //! [Make forward pass]         Mat score = net.forward();         //! [Make forward pass]         /*         Mat segm;         colorizeSegmentation(score, segm);         resize(segm, segm, frame.size(), 0, 0, INTER_NEAREST);         addWeighted(frame, 0.1, segm, 0.9, 0.0, frame);         // Put efficiency information.         std::vector<double> layersTimes;         double freq = getTickFrequency() / 1000;         double t = net.getPerfProfile(layersTimes) / freq;         std::string label = format("Inference time: %.2f ms", t);         putText(frame, label, Point(0, 15), FONT_HERSHEY_SIMPLEX, 0.5, Scalar(0, 255, 0));         imshow(kWinName, frame);         if (!classes.empty())             showLegend();     }*/ Colored by Color Scripter

cs

2배속 권장...