2D Calibration Homography

[한창호]

본 페이지는 OpenCV 수업을 하기 이전에 강의했던 부분으로 순수 C코드로 구성한 영상처리 라이브러리로 캘리브레이션을 수행하기 위해 사용했던 방법이다. 현재에도 회사에서 사용하는 방법 중 하나이기도 하다.

호모그래피  http://www.slideshare.net/mimimau/introduction-to-homography

호모그래프  https://towardsdatascience.com/understanding-homography-a-k-a-perspective-transformation-cacaed5ca17

호모그래피  http://6.869.csail.mit.edu/fa17/lecture/lecture14sift_homography.pdf

Homography = Perspective projection transform

호모그래피를 사용하여 영상 보정을 해보자.  왼쪽 영상은 보정 전이고 좌표를 설정하여 H 변환하면 오른쪽 영상처럼 보정을 한다.

X는 실제 세계의 평면에 있는 한 점이고, x는 영상좌표에 있는 한 점이라고 하면 다음 그림과 같은 Homography와 같은 관계식으로 표현할 수 있다.

Homography의 식을 살펴보면 x'을 H로 변환하여 x를 구한다.

Ax=b 공식에서 A는 입력 영상 b는 출력 영상이라고 했을 때 x 계수를 구한다.

위 식에서 H를 구하기 위해서는 4개의 점 (x1,y1)~(x4,y4)이 필요하다. 이 점으로 식을 구성하면 다음과 같다.

위 식에서 h를 x 벡터라고 놓고 Ax=b에서 x를 구하고자 한다. 역행렬을 이용하여 구한다. (x = A^-1 * b)

x=A^-1b 식에서 유사 역행렬 (Pseudo Inverse Matrix) 을 이용하여 다음과 같이 변환한다.

보충설명

0. 프로그램에 필요한 수학 라이브러리

다음 소스를 다운받아 project 폴더에 복사하고 include "./ezmtl/Matrix.h" 를 소스에 추가한다. 혹 max,min관련 에러가 나면 다음과 같이 undefine 해준다.

#ifdef max
#undef max
#endif
#ifdef min
#undef min
#endif 
#include "./ezmtl/Matrix.h"

수학 라이브러리   (v6.0 사용가능)

ezMTL.zip

76.41KB

수학 라이브러리  (vs2013 사용가능) - 수정함. C.H.Han 

ezMTL_vs2013.zip

77.27KB

Homography계산   (vs2015 가능) - 콘솔에서 Homography 계산하기

HomoGraphy_console.zip

82.66KB

Homography_console 프로그램을 실행시킨 결과 영상이다.

다음 vfwCalib2D 프로그램에서는 왼쪽 입력 영상에서 4 개의 점을 마우스로 찍으면 ListBox에 좌표가 입력되며, 오른쪽 출력영상에서 찍으면 좌표가 입력 된다. 그리고 나서 Calibration 체크버튼을 누르면 영상보정이 시작된다.

VFW웹캠 캡쳐:  카페참조 (http://cafe.daum.net/smhan/darS/1) - 웹캠 구동 프로그램

실행 파일 (Visual Studio 6.0), 소스코드는 없음.

vfwCalib2D.zip

966.93KB

1. 호모그래피 구하기.  (p355)

#include "Matrix.h"

// 영상 보정 하기
// _x1[4] 네 개의 실측좌표
// _x2[4]  네 개의 영상좌표
// _x2 = H*_x1
Matrix<double> GetHomography(CPoint _x1[4], CPoint _x2[4])
{
 Matrix<double> A(10,8), x1(5,2), x2(5,2), b(10,1);
 int i;
 
 for(i=0;i<4;i++) {
  x1(i+1,1) = _x1[i].x;
  x1(i+1,2) = _x1[i].y;
  x2(i+1,1) = _x2[i].x;
  x2(i+1,2) = _x2[i].y;
 }
 
 for(i=0; i<4; i++)
 {
  A(2*i+1,3) = 1.0;
  A(2*i+1,4) = A(2*i+1,5) = A(2*i+1,6) = 0.0;
  
  A(2*i+2,1) = A(2*i+2,2) = A(2*i+2,3) = 0.0;
  A(2*i+2,6) = 1.0;
 }
  
 for(i=0; i<4; i++)
 {
  A(2*i+1,1) =  x1(i+1,1);
  A(2*i+1,2) =  x1(i+1,2);
  A(2*i+1,7) = -x2(i+1,1)*x1(i+1,1);
  A(2*i+1,8) = -x2(i+1,1)*x1(i+1,2);
  
  A(2*i+2,4) =  x1(i+1,1);
  A(2*i+2,5) =  x1(i+1,2);
  A(2*i+2,7) = -x2(i+1,2)*x1(i+1,1);
  A(2*i+2,8) = -x2(i+1,2)*x1(i+1,2);
  
  b(2*i+1,1) =  x2(i+1,1);
  b(2*i+2,1) =  x2(i+1,2);
 }
 
 A.Print(cout,"A = "); 
 int retCode;
 Matrix<double> x(8,1);
 x = Inv(Transpose(A) * A, &retCode) * Transpose(A) * b;
 x.Print(cout,"x = ");
 
 Matrix<double> hh(3,3), w(3,1), c(3,1);
 hh(1,1) = x(1,1); hh(1,2) = x(2,1); hh(1,3) = x(3,1);
 hh(2,1) = x(4,1); hh(2,2) = x(5,1); hh(2,3) = x(6,1);
 hh(3,1) = x(7,1); hh(3,2) = x(8,1); hh(3,3) = 1.0;
 hh.Print(cout, "H = ");
 return hh;
}

2. 호모그래피를 이용하여 변환된 좌표를 구한다.

Matrix<double> HH(3, 3);  // 위에서 이미 구한 Homography 행렬이다.

// _uv :  실측좌표
// _x,_y: 영상좌표

void uv2xy(int _u,int _v,double* _x,double* _y)  // 속도가 느리다.
{
 // xy=hh*uv
 Matrix<double> xy(3,1),uv(3,1);
 uv(1,1) = _u;
 uv(2,1) = _v;
 uv(3,1) = 1.0;

 xy = HH*uv;

 *_x = xy(1,1)/xy(3,1);
 *_y = xy(2,1)/xy(3,1); 
}

void uv2xy(int _u,int _v,double* _x,double* _y)  // 위 함수와 동일함
{
  double _z = HH(3, 1) * _u + HH2(3, 2) * _v + HH(3, 3) * 1.0;
 *_x = (HH(1, 1) * _u + HH(1, 2) * _v + HH(1, 3) * 1.0) / _z;
 *_y = (HH(2, 1) * _u + HH(2, 2) * _v + HH(2, 3) * 1.0) / _z;
}

 // 속도를 빠르게 하기위해 HH -> HH2로 변환하여 계산한다.
double HH2[9];
for(int r=0;r<3;r++) for(int c=0;c<3;c++) HH2[r*3+c] = HH(r+1,c+1);

void uv2xy(int _u,int _v,double* _x,double* _y)
{

  double _z = HH2[6]*_u + HH2[7]*_v + HH2[8]*1.0;
  *_x = (HH2[0]*_u + HH2[1]*_v + HH2[2]*1.0) / _z;
  *_y = (HH2[3]*_u + HH2[4]*_v + HH2[5]*1.0) / _z;
}

3. 영상을 복원한다.  (p203)

영상을 변형을 주면 다음 그림과 같이 비어있는 영상 픽셀들이 존재한다. 이부분을 메꿔줘야 한다. 양선형 보간법을 이용하여 보정해 보자.

확대/축소/회전의 보간법을 이용하여 영상을 복원할 수 있다.

void CWinTestDoc::m_ZoomOut(int height, int width, float zoomoutfactor)
{
 BYTE *pZoomImg;
 BYTE newValue;
 int new_height=(int)(height*zoomoutfactor);//새로운 이미지의 높이 계산
 int new_width=(int)(width*zoomoutfactor);//새로운 이미지의 폭 계산
 int heightm1=height-1;
 int widthm1=width-1;
 int where,org_where;
 int r,c;//타겟 이미지 좌표
 float r_orgr,r_orgc;//원 이미지 상의 해당 좌표 (실수값)
 int i_orgr,i_orgc;//원 이미지 상의 해당 좌표 (정수값)
 float sr,sc;// 예 1.24-1=0.24
 float I1,I2,I3,I4;

 //Zoom Image를 위한 동적 메모리 할당
 pZoomImg=new BYTE[new_height*new_width];
 for(r=0;r<new_height;r++)
  for(c=0;c<new_width;c++)
  {
   r_orgr=r/zoomoutfactor;   // 이부분을 변경해야 합니다. 즉, r_orgr과 r_orgc는 입력영상좌표 이므로 x=HX가 된다.
   r_orgc=c/zoomoutfactor;  // 따라서 uv2xy(c,r,&r_orgc,&r_orgr); 로 영상좌표 변환을 하여 구할 수 있다.
   i_orgr=floor(r_orgr);//예: floor(2.8)=2.0
   i_orgc=floor(r_orgc);
   sr=r_orgr-i_orgr;
   sc=r_orgc-i_orgc;
   //범위 조사
   //원이미지의 범위를 벗어나는 경우 0값 할당
   if(i_orgr<0 || i_orgr>heightm1 || i_orgc<0 || i_orgc>widthm1)
   {
    where=r*new_width+c;
    pZoomImg[where]=0;
   }
   //원 이미지의 범위 내에 존재 이중 선형 보간 수행
   else
   {
    I1=(float)m_InImg[i_orgr][i_orgc];//(org_r,org_c)
    I2=(float)m_InImg[i_orgr][i_orgc+1];//(org_r,org_c+1)
    I3=(float)m_InImg[i_orgr+1][i_orgc+1];//(org_r+1,org_c+1)
    I4=(float)m_InImg[i_orgr+1][i_orgc];//(org_r+1,org_c)
    //이중 선형 보간을 통한 새로운 밝기값 계산
    newValue=(BYTE)(I1*(1-sc)*(1-sr)+I2*sc*(1-sr)+I3*sc*sr+I4*(1-sc)*sr);
    where=r*new_width+c;
    pZoomImg[where]=newValue;
   }
  }
 //일단 영상의 일부만 복사하는 것으로 함.
 for(r=0;r<new_height;r++)
  for(c=0;c<new_width;c++)
  {
   m_OutImg[r][c]=pZoomImg[r*new_width+c];
  }
 //동적 할당 메모리 해제
 delete [] pZoomImg;
}

다음은 학생들 작품이다.