카메라 기하학 & 킬리브레이션 - 유동현박사 - 2014 세미나 - 6월28일
컴퓨터비젼/카메라/자동차측위의 3개 부서, 계측기, 알고리즘 개발
카메라 모델 및 캘리브레이션 방법
컴퓨터 비전: 얼굴검출, 스마일 샷, 얼굴인식, 로봇 인식, 제품 검사, KINECT, 강아지 로봇, 자동차 번호판 인식
ADAS: 고급차 사양, 차선 경고, 운전자 졸음 감시
2. 컴퓨터 비전의 콤포넌트
사람: 대상물 - 빛 - 사람의 눈 - 시신경 - 두뇌 - 인지
카메라: 물체 - 빛 - 카메라 - 인터페이스 - PC - 인지
중요요소: 빛, 물체, 카메라(렌즈, 본체 센서), 인터페이스(이더넷 등)
3. 카메라 디자인
물체가 필름에 투사되는 경우: 난반사로 빛이 흩어짐
해결방법1: <핀홀카메라>중간에 막을 두고 하나의 빛만 통과하도록 디자인하는 생각, blurring과 어두운 영상이 얻어짐. 구멍을 얼마나 작게 만들어야 하는지 연구함. 0.35mm가 적당한 선명도를 보여주나, 어두워짐. 0.35mm보다 작게 만들면 빛의 회절효과를 발생시켜 blurring이 다시 발생함
해결방법2: <렌즈> 빛을 모아주는 효과. 흩어지는 빛을 한곳에 모아줌. 밝기도 밝아짐.
용어설명: 촛점(focal point), 촛점거리 f(렌즈와 촛점거리가 짧을 수록 광각렌즈, 멀수록 망원렌즈)
4. 렌즈의 수식
1/D0 + 1/Di = 1/f [D0: 물체와 렌즈와의 거리, Di: 렌즈와 상과의 거리, f: 렌즈와 촛점간의 거리]
5. Image Geometry
좌표계가 4개가 있어야 함.
World Coordinate[U, V, W]
Camera Coordinate[X, Y, Z]
Film Coordinate(2차원 센서)[x, y]
Pixel Coordinate(2차원)[u, v] : 최근 Pixel 센서 사이즈는 3.5 마이크로미터
6. 변환 수식
World to Camera: Rotation Matrix, Translation Matrix
Perspective Projection(3D->2D): f 촛점거리 매트릭스
Film plan to pixels: scale factor와 offset스매트릭스
7. 카메라 파라메터: 아래를 다 알아야 카메라를 알게되었다고 이야기 할 수 있음.
Intrinsic parameter: Principal point coordinates, focal length, pixel magnification factors, skew, radial distortion.
Extrinsic parameter: Rotation and translation relative to world coordinate system
[2D point: 3x1] = [Camera to Pixel:3x3][Projection matrix: 3x4][World to Camera:4x4][3D point:4x1]
8. Distortion
No distortion
Pin cushion distortion
Barrel distortion
Radial distortion
Tangential distortion
9. Calibration
OpenCV: http://opencv.org/
Matlab calibration toolbox: http://www.vision.caltech.edu/bouguetj/calib_doc/
10. Calibration의 이유
왜곡을 펴줄 수 있다.
측면 view를 정면view로 바꿀 수 있다.
Rotation, Transformation 파라메터로 부터 물체의 자세를 추정할 수 있다.
11. 스테레오 카메라
Depth map을 얻기 위해서 사용함. 까만것/흰것/반복되는 무늬패턴은 Depth map을 구하기 힘듦.
12. Depthmap을 얻는 방법
좌, 우영상의 corresponding points를 찾아서, triangulation(back projected points 을 쏴서) 포인트를 찾아야 함. Rotation, Transformation의 변위량을 찾아냄. 기구적 Calibration 과 아울러 Software Calibration 을 한다. 의도적으로 두개의 카메라를 평행이 아닌, 각도를 주기도 한다. <질문> 이경우 피사체의 거리에 따른 가장 적절한 카메라 교차 각도가 있을 수 있다.
13. Rectification: 교차하는 영상을 나란한 수평상(Scanline)의 포인와 일치하게 영상으로 만드는 작업을 말함. 연산량을 줄여 주는 효과가 있음.
14. Correspondence via Correlation Measure: 두개의 이미지가 얼마나 비슷한가를 측정하는 기법.
SSD(Sum of Squared Difference): 두개의 이미지가 같으면 더욱 숫자가 작아짐.
15. NCC(Normalized Cross Correlation): 정확성은 올라가지만 연산량이 많이 늘어남.
16. Graph cuts: SSD, NCC보다 뛰어난 Depth map을 구해주지만 실시간 계산이 불가능한 컴퓨팅을 필요로 함.