[Jetson nano] 3. OpenCV 프로그래밍

[Sungryul Lee]

1. 카메라 테스트

*1절의 모든 실습은 모니터를 연결하고 실행해야함

1.1 웹캠 HD-3000(USB camera)
USB 포트에 카메라를 연결하면 디바이스파일 /dev/video0 이 생성됨, 카메라를 제거하면 바로 없어짐

카메라가 여러대 연결된 경우 /dev/video0, /dev/video1, ... 처럼 생성됨

드라이버 설치 필요없음(리눅스에 내장된 v4l driver사용함)

장치파일 확인 방법

$ ls -l /dev/video*

</dev 디렉토리 설명>

리눅스에 장치를 연결할때 장치파일의 생성여부를 확인하고 접근권한을 변경 후 작업해야 함

장치파일은 /dev 디렉토리 아래에 생성된다. 예: 카메라-> /dev/video0, U2D2 -> /dev/ttyUSB0 

장치파일은 장치가 제거되면 지워진다. 따라서 장치를 다시연결하면 매번 다시 장치파일 확인 및 필요한 설정을 해야함

/dev 디렉토리는 장치의 연결 및 제거에 따라 실시간으로 내용이 변한다.

gstreamer를 이용하여 간단히 동작 확인

Gstreamer는 Jetpack에 내장되어 이미 설치되어 있음

설치확인은 다음처럼 실행하면 도움말이 출력되어야 한다.

$ gst-launch-1.0 --help

gstreamer를 이용하여 카메라 영상을 재생하는 방법
$ gst-launch-1.0 v4l2src device=/dev/video0 ! 'video/x-raw, width=640, height=480, framerate=30/1' ! xvimagesink -ev
웹캠이용시 v4l2src 플러그인 사용할것

설치되어 있는 카메라앱 cheese를 이용하여 동작 확인
터미널이나 설치된 소프트웨어 목록에서 cheese 실행 -> 오류 발생
/usr/lib/aarch64-linux-gnu/tegra/libv4l2_nvargus.so 파일을 아래 사이트의 패치파일로 교체해야함, 원본은 지우고 원본과 같게 파일명을 수정하여 같은 폴더에 저장
https://forums.developer.nvidia.com/t/libv4l2-nvargus-so-source-code/168303/19
reboot후 cheese 실행하면 정상 동작함

1.2 Pi카메라 테스트(CSI 카메라)

보드에 2개의 CSI포트가 있음(0번, 1번)
CSI 0번 포트에 Pi카메라를 연결 후 부팅하면 디바이스 파일 /dev/video0이 추가됨

주의사항 : 보드 전원이 켜진 상태에서 Pi카메라를 연결 또는 분리하지 마시오. 반드시 리눅스를 정상적으로 종료(shutdown) 후 연결 또는 분리할 것, usb 카메라는 상관없음
Pi Cam 기준 모듈버전 V2부터 가능(V1 버전은 지원안됨)
디바이스 확인 후 카메라 사용 가능
$ ls -l /dev/video0

gstreamer를 이용하여 간단히 동작 확인
$ gst-launch-1.0 nvarguscamerasrc sensor-id=0 ! 'video/x-raw(memory:NVMM),width=3264, height=2464, framerate=21/1, format=NV12' ! nvvidconv flip-method=0 ! 'video/x-raw,width=1280, height=720' ! nvvidconv ! nvegltransform ! nveglglessink -ev

Pi카메라 이용시 nvarguscamerasrc 플러그인 사용할것

Pi카메라가 cam0 포트에 연결된 경우 -> sensor-id=0

Pi카메라가 cam1 포트에 연결된 경우 -> sensor-id=1

Camera : Raspberry Pi camera module v2, IMX219 사용가능

카메라앱 cheese에서 Pi카메라는 지원하지 않음(v4l2 driver가 Pi카메라를 지원하지 않음)

echo $DISPLAY -> :0.0 이 출력되어야함

Jetson nano에서 카메라 관련 더 많은 정보는 아래사이트에서 참고할것
https://docs.nvidia.com/jetson/l4t/#page/Tegra%20Linux%20Driver%20Package%20Development%20Guide/jetson_xavier_camera_soft_archi.html#

2. opencv설치방법

윈도우즈에서는 프로그램을 설치할때 설치파일을 실행하는 방식을 주로사용

리눅스에서는 apt 명령어로 설치파일을 실행하여 설치하는 방식이 있지만 여기서는 

gstreamer, CUDA  등을 사용해야하므로 원하는 옵션을 추가하여 빌드해야하기 때문에 소스를 다운로드하고 직접 빌드하여 프로그램을 설치하는 방식을 사용함

cuda, cudnn, gstreamer를 설치할것 -> jetpack에 포함되어 이미 설치되어 있고 확인만 할것

$ find /usr -name *cuda* -> CUDA 버전확인

아래 두문장을 /home/ncslab/.bashrc파일 마지막부분에 추가한다. xx.x 대신에 위에서 확인한 버전을 적는다.

$ cd ~

$ vi .bashrc

.......
export PATH=/usr/local/cuda-xx.x/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-xx.x/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

$ source .bashrc -> 변경내용 바로 적용

cuda 버전확인

$ nvcc --version

gstreamer 버전확인

$ gst-launch-1.0 --version

cudnn 버전확인

cudnn_version.h을 찾아서 define문에서 정의한 3개 기호상수(CUDNN_MAJOR, MINOR, PATCHLEVEL)가 버전 x.x.x을 의미함

레포지토리 추가 :
$ sudo add-apt-repository "deb http://security.ubuntu.com/ubuntu xenial-security main"
$ sudo apt-get update
$ sudo apt-get upgrade

코덱, 미디어 라이브러리 추가 :
$ sudo apt install ubuntu-restricted-extras

빌드 툴 추가 :
$ sudo apt install build-essential cmake git pkg-config
$ sudo apt install build-essential cmake git unzip pkg-config

이미지 :
$ sudo apt install libjpeg-dev libtiff5-dev libjasper-dev libpng-dev(libjasper-dev 없음, 빼고 설치)

비디오 :
$ sudo apt install libavcodec-dev libavformat-dev libswscale-dev
$ sudo apt install libdc1394-22-dev libxvidcore-dev libx264-dev x264
$ sudo apt install libxine2-dev libv4l-dev v4l-utils
$ sudo apt install libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev

GUI :
$ sudo apt install libgtk-3-dev

Optimization, Python3, etc. :
$ sudo apt install libatlas-base-dev libeigen3-dev gfortran
$ sudo apt install python3-dev python3-numpy libtbb2 libtbb-dev
$ sudo apt-get install libgtk2.0-dev libcanberra-gtk*
$ sudo apt-get install python3-dev python3-numpy python3-pip
$ sudo apt-get install libxvidcore-dev libx264-dev libgtk-3-dev
$ sudo apt-get install libtbb2 libtbb-dev libdc1394-22-dev
$ sudo apt-get install libv4l-dev v4l-utils
$ sudo apt-get install libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev
$ sudo apt-get install libavresample-dev libvorbis-dev libxine2-dev
$ sudo apt-get install libfaac-dev libmp3lame-dev libtheora-dev
$ sudo apt-get install libopencore-amrnb-dev libopencore-amrwb-dev
$ sudo apt-get install libopenblas-dev libatlas-base-dev libblas-dev
$ sudo apt-get install liblapack-dev libeigen3-dev gfortran
$ sudo apt-get install libhdf5-dev protobuf-compiler
$ sudo apt-get install libprotobuf-dev libgoogle-glog-dev libgflags-dev

Opencv 소스코드 다운로드
https://opencv.org/releases/ : 최신버전 확인, 아래에서 4.5.1을 설치할버전으로 수정할것
$ cd ~
$ wget -O opencv.zip https://github.com/opencv/opencv/archive/4.5.1.zip
$ wget -O opencv_contrib.zip https://github.com/opencv/opencv_contrib/archive/4.5.1.zip
$ unzip opencv.zip
$ unzip opencv_contrib.zip
$ mv opencv-4.5.1 opencv
$ mv opencv_contrib-4.5.1 opencv_contrib
$ rm opencv.zip
$ rm opencv_contrib.zip

소스코드 빌드
$ cd ~/opencv
$ mkdir build
$ cd build

Compute capability 버전확인, cmake실행시 옵션 수정할 것

Jetson nano -> CUDA_ARCH_BIN=5.3 

Jetson xavier nx ->  CUDA_ARCH_BIN=7.2

https://en.wikipedia.org/wiki/CUDA

$ cmake -D CMAKE_BUILD_TYPE=RELEASE \
-D CMAKE_INSTALL_PREFIX=/usr \
-D OPENCV_EXTRA_MODULES_PATH=~/opencv_contrib/modules \
-D EIGEN_INCLUDE_PATH=/usr/include/eigen3 \
-D WITH_OPENCL=OFF \
-D WITH_CUDA=ON \
-D CUDA_ARCH_BIN=5.3 \
-D CUDA_ARCH_PTX="" \
-D WITH_CUDNN=ON \
-D WITH_CUBLAS=ON \
-D ENABLE_FAST_MATH=ON \
-D CUDA_FAST_MATH=ON \
-D OPENCV_DNN_CUDA=ON \
-D ENABLE_NEON=ON \
-D WITH_QT=OFF \
-D WITH_OPENMP=ON \
-D WITH_OPENGL=ON \
-D BUILD_TIFF=ON \
-D WITH_FFMPEG=ON \
-D WITH_GSTREAMER=ON \
-D WITH_TBB=ON \
-D BUILD_TBB=ON \
-D BUILD_TESTS=OFF \
-D WITH_EIGEN=ON \
-D WITH_V4L=ON \
-D WITH_LIBV4L=ON \
-D OPENCV_ENABLE_NONFREE=ON \
-D INSTALL_C_EXAMPLES=OFF \
-D INSTALL_PYTHON_EXAMPLES=OFF \
-D BUILD_NEW_PYTHON_SUPPORT=ON \
-D BUILD_opencv_python3=TRUE \
-D OPENCV_GENERATE_PKGCONFIG=ON \
-D BUILD_EXAMPLES=OFF ..

make 전에 스왑 영역의 여유 메모리 늘리기 : freezing 방지
$ sudo fallocate -l 4096M /var/swap_temp
$ sudo chmod 600 /var/swap_temp
$ sudo mkswap /var/swap_temp
$ sudo swapon /var/swap_temp
$ free -h -> 확인, 전 : 1.xG, 후 : 5.xG
$ make -j2 -> 코어 4개 사용 시 freezing 확률 올라감

인스톨 : 헤더파일과 라이브러리파일을 정해진 시스템 디렉토리에 저장
$ sudo rm -r /usr/include/opencv4/opencv2 -> jetpack에 포함된 opencv버전의 헤더파일을 삭제
$ sudo make install -> 헤더파일과 라이브러리파일을 /usr 아래의 정해진 폴더에 설치
$ sudo ldconfig -> opencv 동적링크라이브러리 파일의(*.so) 설치경로 설정(업데이트)

설치확인

$ opencv_version -> 설치버전 출력

$ pkg-config opencv4 --cflags -> 헤더파일경로 출력

$ pkg-config opencv4 --libs ->라이브러리파일 출력

라이브러리 경로는 어떻게 아는가?

opencv 라이브러리는 동적라이브러리(확장자 so)로 생성된다.

동적 링크 라이브러리(*.so) 경로 검색 순서
1. 대상 코드를 컴파일할 때 지정한 동적 라이브러리 검색 경로(makefile에 지정)
2. 환경 변수 LD_LIBRARY_PATH가 지정한 동적 라이브러리 검색 경로
3. 구성 파일 /etc/ld.so.conf에서 지정한 동적 라이브러리 검색 경로
4. 기본 동적 라이브러리 검색 경로/lib
5. 기본 동적 라이브러리 검색 경로/usr/lib입니다.

<설치과정의 이해>

소스다운로드 -> 빌드 ->  라이브러리파일생성(정적 *.a, 동적 *.so) -> 헤더파일, 라이브러리파일을 시스템 디렉토리로 복사(보통 /usr 아래의 정해진 디렉토리), 동적링크라이브러리인 경우(확장자 so) /etc/ld.so.conf 파일안에 라이브러리 경로 저장 후 업데이트(ldconfig명령어 사용)

프로젝트 빌드시는 시스템 디렉토리 아래에 설치된 헤더파일과 라이브러리 파일을 사용하게 된다.

헤더파일과 라이브러리 파일이 어디에 설치되었는지 반드시 확인할것 -> Makefile 작성시 필요함

헤더파일명과 라이브러리 파일명을 안다면 find 명렁어로 검색하여 알아낼 것

예: find /usr -name 파일명

pkg-config 명령어를 이용하여 알아낼수 있음

3. 기본 예제 프로그래밍

Jetson 보드에 웹캠(HD-3000)을 연결 후 먼저 장치파일을 확인한다.

$ ls -l /dev/video*

Pi 카메라는 VideoCapture객체생성시 API를 Gstreamer로 설정하고 Gstreamer 명령어로 열어줘야한다.

3.1 소스파일작성

$ cd ~                -> 사용자홈폴더 이동
$ mkdir HelloCV   -> 작업폴더 생성
$ cd HelloCV       -> 작업폴더 이동
$ vi main.cpp 또는 Visual Studio에서 편집  -> vi 에디터 또는 비주얼 스튜디오이용해서 소스파일(main.cpp)작성

#include "opencv2/opencv.hpp"
#include <iostream>
using namespace cv;
using namespace std;
int main()
{
VideoCapture cap(0); 
if (!cap.isOpened()) { 
cerr << "Camera open failed!" << endl; 
return -1;
}
Mat frame;
while (true) {
cap >> frame;
if (frame.empty()){
cerr << << “frame empty!" << endl;
break;
}
imshow("frame", frame);
if (waitKey(10) == 27) break;
}
return 0;
}

3.2 Makefile작성

소스파일과 같은 폴더에 Makefile 이름으로 저장해야함(확장자없음),

기본적으로 공백없이 시작, 명령행(아래 Makefile에서 들여쓰기한 곳)은 반드시 Tab키로 시작해야함 

$ vi Makefile 또는 Visual Studio에서 편집  

CC = g++               # GNU c++ 컴파일러 지정, C소스일때는 gcc, C++소스일때는 g++ 이용
CFLAGS = -g -Wall    # 컴파일옵션정의, 디버그모드, 모든경고 메시지 출력
SRCS = main.cpp      # 소스파일 지정
PROG = HelloCV       # 실행파일명 지정

OPENCV = `pkg-config opencv4 --cflags --libs`    # opencv 헤더파일경로, 링크할 라이브러리 파일을 자동으로 찾아줌, ` 는 탭키위에 있는 grave accent 문자임
LIBS = $(OPENCV)

.PHONY: all clean

$(PROG):$(SRCS)
     $(CC) $(CFLAGS) -o $(PROG) $(SRCS) $(LIBS)   #Tab키로 들여쓰기

all: $(PROG)

clean:
     rm -f $(OBJS) $(PROG)  #Tab키로 들여쓰기

* pkg-config 

pkg-config : 헤더파일경로(-I), 라이브러리경로(-L),라이브러리파일(-l)을 검색해서 빌드 옵션을 자동으로 입력해준다. 경로나 파일이 많은 경우 프로그래머가 직접 작성하기가 힘든데 이경우 편리함, 이기능은 설치된 라이브러리(여기서는 opencv)에서 지원해줘야함, 이러한 정보를 관리하는 파일은 *.pc 파일이며, 이 파일들은 /usr/lib/pkgconfig, /usr/local/lib/pkgconfig에 저장되어 있음, opencv인 경우 opencv.pc에 저장되어 있음

--cflags : 헤더파일 경로

--libs : 라이브러리 파일

* 표준라이브러리에서 제공하는 헤더파일이나 라이브러리 파일의 경로는 컴파일러에 미리 지정되어 있으므로 별도로 옵션으로 지정할 필요없음( /usr/lib, /usr/include, /usr/local/lib, /usr/local/include 등)

3.3 빌드

make 프로그램 실행하여 빌드수행, Makefile에 기술된대로 빌드실행 여기서는 main.cpp를 빌드하여 같은 폴더에 HelloCV라는 실행파일 생성됨(확장자 없음)

$ make  

3.4 실행

먼저 카메라 연결 확인

$ ls -l /dev/video*

실행파일명앞에 ./ 붙여줘야함, 리눅스에서는 현재 작업경로가 PATH 지정이 안되어 있기 때문

$ ./HelloCV

3.5. 실행결과를 PC에서 확인하는 방법

Jetson보드에는 모니터가 없는 상태이고 텍스트 기반의 ssh로 원격접속시 영상출력은 확인이 불가능

Windows에 X server를 설치하고 Linux에서 X client(GUI 프로그램, 여기서는 opencv프로그램)를 실행후 Windows에서 실행결과를 확인한다.

왼쪽그림은 젯슨보드에 모니터를 연결한 경우 응용프로그램에서 리눅스에 포함된 Xserver로 데이터를 보내고 모니터에 출력됨 반면에 오른쪽 그림은 젯슨보드에 모니터가 없고 네트워크로 연결된 모니터 있는 다른 컴퓨터의 Xserver로 데이터를 보내 다른 컴퓨터의 모니터에 출력하게 하는 구성이다.

(1) Linux에서 DISPLAY 환경변수의 설정

• export DISPLAY=hostname:displaynumber.screennumber
• https://askubuntu.com/questions/432255/what-is-the-display-environment-variable
• https://unix.stackexchange.com/questions/503806/what-are-x-server-display-and-screen
• 예) export DISPLAY=192.168.0.1:0.0 -> X client 프로그램의 그래픽데이터를 192.168.0.1 주소를 가지는 컴퓨터의 0번 디스플레이(TCP포트 6000번)의 0번 스크린에 출력하겠다는 의미
• 디스플레이는 X서버의 번호를 의미 스크린은 하나의 X 서버에 연결된 모니터들 의미 
• 설정확인 방법 : echo $DISPLAY
• 초기값으로 복구방법 : export DISPLAY=:0.0 -> hostname이 없으면 localhost를 의미
• 로그인때마다 자동설정하려면 환경설정파일인 /etc/profile(전역설정, 모든사용자에게 적용) ~/.bash_profile(bash쉘사용시만실행됨, 지역설정, 해당사용자만 적용) 중 하나에 넣어준다.
• 로그인없이 bash쉘이 실행될때마다 자동설정하려면 환경설정파일인 /etc/bashrc,(전역설정, 모든사용자에게 적용) ~/.bashrc(지역설정, 해당사용자만 적용) 중 하나에 넣어준다.

(2) 윈도우즈에 X server 프로그램을 설치

• 윈도우즈용 X server 프로그램인 Xming 설치(Xming사이트에서는 다운로드시 로그인 필요함)
• 다음사이트( https://sourceforge.net/projects/xming/ )에 접속하여 다운로드후 기본설정대로 설치 
• 환경설정 프로그램인 XLaunch에서 no access control 설정후 자동실행(-ac 옵션) -> 모든 접근을 허용하겠다는 의미
• 환경설정 프로그램인 XLaunch프로그램을 마치면 자동으로 Xming이 실행되니 별도로 실행할 필요없음
• 방화벽 보안경고 뜨면 접근허용선택할것
• Xming을 별도로 실행하면 no access control 설정없이 실행되어 통신에러 발생함 반드시 Xlaunch프로그램으로 옵션설정후 자동실행하기 바람
• 명령프롬프트에서 실행하는 방법 : PATH환경변수에 C:\Program Files (x86)\Xming 추가 후 명령프롬프트에서 Xming :0 -multiwindow -clipboard -ac 실행

실행후 Xming 아이콘을 선택후 마우스 우측버튼을 누르고 View log 선택하면 new Address 뒤에 ip주소가 로컬PC(사용중인 PC)의 IP주소와 같아야 한다. 네트워크 인터페이스가 여러 개인경우(유선랜, 무선랜, 가상망 등) X클라이언트에서 접근할수 없는  네트워크인터페이스가 선택될 경우 문제가 됨 

(3) 리눅스에서 X client 프로그램(xclock, xeyes, gedit 등)을 실행하여 윈도우즈에서 실행결과가 출력되는지 확인

4. pi카메라를 이용한 예제

보드 전원을 끄고 pi카메라를 보드에 연결하시오.

주의사항 : 보드 전원이 켜진 상태에서 pi카메라를 연결 또는 분리하지 마시오. 반드시 리눅스를 정상적으로 종료(sudo shutdown -h now) 후 연결 또는 분리할것, usb 카메라는 상관없음

pi카메라는 리눅스 디바이스 드라이버에서 지원하지 않으므로 gstreamer패키지를 이용하여 카메라를 읽어야함

따라서 위 3절 예제에서 다음처럼 수정해야함

#include "opencv2/opencv.hpp"
#include<iostream>
using namespace cv;
using namespace std;
int main()
{

//pi카메라를 읽을때 사용하는 Gstreamer 명령어를 문자열로 정의해줌

//문자열이 길어서 여러줄로 작성할때는 끝에 역슬래쉬(\)를 붙여야함
string src = "nvarguscamerasrc sensor-id=0 ! video/x-raw(memory:NVMM), width=(int)1280, height=(int)720, format=(string)NV12 ! \
nvvidconv flip-method=0 ! video/x-raw, width=(int)640, height=(int)360, format=(string)BGRx ! videoconvert ! \
video/x-raw, format=(string)BGR !appsink";

VideoCapture source(src, CAP_GSTREAMER); //Gstreamer 명령어로 카메라를 열어줌
if (!source.isOpened()){ cout << "Video error" << endl; return -1; }

//나머지는 동일함

}

5 Pi카메라 사용시 X server 접속오류

PC에서 X server 를 먼저 실행하지 않고 리눅스에서 opencv 예제를 실행하면 다음과 같은 오류 발생

반드시 PC에서 X 서버를 먼저 실행하고 opencv 예제를 실행할것

위와 같은 오류가 한번 발생하면 X 서버를 먼저 실행하고 opencv예제를 실행하더라도 다음과 같은 오류가 발생함

같은 카메라를 사용하는 세션이 열려있어 새로운 세션을 만들수 없다는 오류임

이것은 처음 오류때문에 발생하는 것으로 다음 명령을 실행하여 열려있는 세션을 모두 닫아 주어야함

$ sudo systemctl restart nvargus-daemon

또는 $ sudo service nvargus-daemon restart

다시 opencv예제를 실행하면 오류 발생하지 않음

참고사이트

https://forums.developer.nvidia.com/t/error-generated-gstnvarguscamerasrc-cpp-execute-543-failed-to-create-capturesession/112431

IMX219 카메라의 영상에서 빨간색 제거하는 방법(Fix Red Tint with ISP Tuning)

$ wget https://www.arducam.com/downloads/Jetson/Camera_overrides.tar.gz

$ tar zxvf Camera_overrides.tar.gz

$ sudo cp camera_overrides.isp /var/nvidia/nvcam/settings/

$ sudo chmod 664 /var/nvidia/nvcam/settings/camera_overrides.isp

$ sudo chown root:root /var/nvidia/nvcam/settings/camera_overrides.isp

https://docs.arducam.com/Nvidia-Jetson-Camera/Application-note/Fix-Red-Tint-with-ISP-Tuning/

https://forums.developer.nvidia.com/t/arducam-8mp-imx219-red-tint/169408

IMX219카메라의 피쉬아이 왜곡 보정방법(IMX219 fisheye distortion correction)

https://forums.developer.nvidia.com/t/how-to-perform-fish-eye-lens-distortion-correction-in-gstreamer-pipeline-hfov-150/82808

6. 과제

1. 리눅스에서 프로그램 설치방법에 대하여 설명하라. 

2. opencv가 설치된 헤더파일 경로, 라이브러리 파일경로, 라이브러리 파일명을 각각 찾아서 쓰시오. 사용한 명령어와 실행결과를 첨부하시오.

3. pkg-config 명령어를 설명하시오.

4. makefile에서 opencv의 헤더파일 경로, 라이브러리 경로, 라이브러리 파일명을 설정하는 방법을 설명하시오.

5. 위 예제의 makefile에는 라이브러리 경로 설정하는 부분은 없다. 왜 없어도 되는지 설명하시오.

6. X server에 대하여 설명하시오.

7. X server가 왜 필요한지 설명하시오.

8. pi 카메라를 사용하는 경우 위 예제 코드를 수정하고 실행하시오. 소스코드, makefile, 실행결과를 첨부하시오.

힌트 : usb카메라는 리눅스 디바이스드라이버가 지원하므로 바로 위 예제처럼 사용하면 문제없지만 pi카메라는 리눅스 디바이스 드라이버에서 지원하지 않으므로 Gstreamer라는 라이브러리를 이용하여 접근해야한다. 아래 소스에서 Gstreamer명령어를 참고하라.  https://github.com/chosungwon1/object_recognize_linetracer

주의사항 : 보드 전원이 켜진 상태에서 pi카메라를 연결 또는 분리하지 마시오. 반드시 리눅스를 정상적으로 종료(shutdown) 후 연결 또는 분리할것, usb 카메라는 상관없음

[김홍필]

cuda 경로 설정하는 법
https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html

[Sungryul Lee]

13. Post-installation Actions
find /usr -name *cuda* -> CUDA 경로및 버전확인
export PATH=/usr/local/cuda-11.8/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
->11.8대신에 실제로 설치된 버전으로 변경, 64bit OS용임

[김홍필]

레포지토리 추가 :
$ sudo add-apt-repository "deb http://security.ubuntu.com/ubuntu xenial-security main"
해당 부분은 없어도 잘 되니 안되면 건너뛰면 됨.

[Sungryul Lee]

Pi카메라사용시 카메라오픈이 안될때 해결방법
$ ps -al | grep 실행파일명
gstreamer나 opencv 프로세스를 강제로 종료시킨후에 다시 실행해볼것

[Sungryul Lee]

설치시 에러발생하면
1. 설치할때 새로 만든 opencv폴더를 삭제후 다시 설치
2. 메모리 부족으로 중단되는 경우 있으니 vscode로 접속하지 말고 터미널로 접속하여 설치할 것
3. 추가한 환경변수 확인할것 echo $PATH, echo $LD_LIBRARY_PATH

[Sungryul Lee]

Linux ACL
https://www.bangseongbeom.com/linux-acl-guide.html

[이승현]

RTX 4070 SUPER

opencv : 4.5.1 -> 4.9.0
CUDA_ARCH_BIN : 5.3 -> 8.9
ENABLE_NEON : ON -> OFF