저해상도. 모자이크 이미지...AI로 복원한다?

[이은미]

출처 : techholic

https://arxiv.org/pdf/1702.00783.pdf

구글 인공지능 연구팀인 구글 브레인이 저해상도 이미지에서 고해상도 이미지를 생성하는 기술인 픽셀 리커시브 슈퍼 레졸루션(Pixel Recursive Super Resolution)을 발표했다. 8×8도트로 압축한 이미지에서 더 선명하게 세세한 사항이 그려진 원본 이미지를 예상할 수 있게 해주는 것.

저해상도에서 울퉁불퉁한 이미지를 고품질 이미지로 업그레이드하는 기술은 딥러닝 응용 분야다. 구글은 실시간으로 고해상도화하는 새로운 기술인 RAISR(Rapid and Accurate Image Super-Resolution)를 통해 사진을 깨지지 않게 확대해주는 서비스도 이미 시작한 상태다.

이번에 선보인 기술은 이미지를 보완한다기보다는 복원하는 수준에 올랐다는 게 특징이다. 8×8 도트와 모자이크 수준처럼 계단현상이 보이게 압축된 이미지라도 원본은 이랬을 것이라고 이미지를 추측해 보여주는 것. 이를 통해 32×32 고해상도로 이뤄진 압축 전 원본 소스 이미지와 비교해도 세세한 느낌에 차이는 있지만 대체로 같은 인물이라고 알 수 있는 복원을 해낸다.

이 기술은 신경망 기술 2가지를 활용한 것이다. 하나는 다른 고해상도 이미지를 8×8로 압축한 데이터군과 일치하는지 여부를 분석하는 컨디셔닝망(Conditioning network), 다른 하나는 이미지 내용을 그리는 픽셀CNN(PixelCNN)이다. 이를 통해 이전 도트와 색상에서 패턴을 판별하고 해상도에서 부족한 그림을 보완한다. 예를 들어 눈썹이라고 식별한다면 갈색 화소를 통해 틈새를 채우는 식의 절차를 진행하는 것이다.

이번에 선보인 기술은 이미지를 보완한다기보다는 복원하는 수준에 올랐다는 게 특징이다. 8×8 도트와 모자이크 수준처럼 계단현상이 보이게 압축된 이미지라도 원본은 이랬을 것이라고 이미지를 추측해 보여주는 것. 이를 통해 32×32 고해상도로 이뤄진 압축 전 원본 소스 이미지와 비교해도 세세한 느낌에 차이는 있지만 대체로 같은 인물이라고 알 수 있는 복원을 해낸다.

이 기술은 신경망 기술 2가지를 활용한 것이다. 하나는 다른 고해상도 이미지를 8×8로 압축한 데이터군과 일치하는지 여부를 분석하는 컨디셔닝망(Conditioning network), 다른 하나는 이미지 내용을 그리는 픽셀CNN(PixelCNN)이다. 이를 통해 이전 도트와 색상에서 패턴을 판별하고 해상도에서 부족한 그림을 보완한다. 예를 들어 눈썹이라고 식별한다면 갈색 화소를 통해 틈새를 채우는 식의 절차를 진행하는 것이다.

[정명자]

짱~만세~룰루~ 깜놀~러브