Removing window reflections (반사 제거 도구) in Adobe Camera Raw 7.1

[손오공/여운경]

Removing window Reflections in Adobe Camera Raw 7.1

Adobe Camera Raw에서 창 반사 제거

유리창에 반사된 빛으로 망가진 사진(왼쪽), 반사광을 제거한 사진(가운데), 그리고 뒷마당 정원의 모습이 반사된 사진(오른쪽).


유리창은 인류가 발명한 가장 유용한 발명품 중 하나로, 우리를 더위, 추위, 소음, 곤충과 같은 환영받지 못하는 방문객으로부터 보호해 다양한 기후에서 살아갈 수 있게 하면서도 창문 너머의 모든 것을 선명하게 볼 수 있게 해줍니다.

하지만 창문은 반사되기 때문에 창문을 통해 사진을 찍는 것은 어렵습니다. 반사는 차량 내부, 사무실 또는 주방 창문에서 바깥을 볼 때 발생하며, 특히 밝은 공간에 있을 때 더욱 그렇습니다. 또한, 거실 창문(위의 예와 같이), 상점, 진열장 또는 유명한 그림 위의 보호 유리를 통해 바깥을 볼 때도 반사가 발생합니다.

반사는 때때로 유용합니다. 예를 들어, 반사는 다양한 재료를 구별하는 데 도움이 됩니다. 그러나 알아볼 수 있는 물체를 보여주는 반사는 일반적으로 원치 않는 것이며 사진 촬영을 방해합니다. 실제로 우리는 반사로 인해 망가질 것으로 예상하는 독특한 사진을 찍는 것을 종종 포기합니다. 따라서 컬렉션에 있는 사진 중 원치 않는 반사가 포함된 사진은 거의 없지만, 이는 주로 많은 창의적인 기회를 놓쳤기 때문입니다. 일반적인 예로는 비행기 창문을 통해 공중 장면을 촬영하는 것입니다. 다른 방법으로는 달성하기 어려운 관점이지만 종종 기내 내부의 반사로 오염됩니다.

이 블로그에서는 창문을 통해 찍은 사진에서 한 번의 클릭으로 반사를 제거할 수 있는 새로운 기술인 반사 제거에 대해 설명합니다. 저희 기술은 AI로 구동되지만 생성 AI는 아닙니다. 이 기술의 첫 번째 반복은 시야의 대부분 또는 전체를 덮는 평판 유리창의 반사만 처리하도록 설계되었습니다. 작거나 멀리 있는 창문이나 시야 내에 창틀이 있는 창문의 반사나 와인잔, 자동차 차체 또는 호수에 반사된 구름과 같은 물체의 반사를 제거하도록 설계되지 않았습니다. 이러한 응용 프로그램 중 일부는 이후 업데이트에서 다룰 수 있습니다. 저희의 목표는 그렇지 않으면 삭제할 수 있는 사진을 공유할 만큼 좋은 사진으로 바꾸는 데 도움을 주는 것입니다. 반사 제거는 현재 커뮤니티의 피드백을 받기 위해 기술 미리 보기로 Camera Raw에서 사용할 수 있으며 곧 Lightroom에 제공될 예정입니다.



어떻게 작동하나요?

창문 반사가 포함된 사진이 주어지면 반사를 제거하는 방법이나 가능한지 여부가 명확하지 않습니다. 반사의 물리학에 대한 간략한 우회로를 통해 시작해 보겠습니다.

반사로 오염된 사진은 두 이미지의 합입니다. 첫 번째는 창문 반대편에서 촬영하고 싶은 장면입니다. 두 번째는 유리가 닿는 빛의 일부만 반사하기 때문에 약해진, 뒤에 있는 장면의 반사된 모습입니다. 아래 예에서 촬영된 사진은 취리히의 악기점 앞 창문을 통해 촬영한 턴테이블 이미지와 자갈길과 사진작가의 반사된 이미지를 합친 것입니다.

흥미롭게도 두 번째 이미지는 카메라를 돌려 거리로 향하게 하여 얻는 풍경과 다릅니다. 결국 반사에는 사진작가가 포함됩니다! 대신, 카메라를 매장 안에 두고 돌려서(그리고 유리를 제거해서) 얻는 풍경입니다. 기술적으로 두 번째 이미지는 카메라가 창문 앞에 있는 거리와 같은 창문 뒤의 가상 관점에 해당한다고 합니다.

반사는 이렇게 형성되지만, 어떤 모습일까요? 창문은 서로 다른 종류의 장면(실내와 실외)을 구분하기 때문에 창문에서 합산되는 이미지는 일반적으로 장면 내용, 화이트 밸런스, 초점 선명도 등이 다릅니다. 또한 반사가 포함된 사진에서 턴테이블의 가장자리와 사진작가의 다리처럼 두 모서리가 교차하는 경우, 이는 중첩된 반사 때문일 가능성이 높습니다. 불투명한 물체의 모서리는 자연에서 교차하지 않기 때문입니다.

반사 제거의 AI 모델은 이 두 이미지를 식별하고 풀어냅니다. 우리는 반사가 없는 다양한 피사체의 수천 장의 사진을 수집하여 모델을 훈련합니다. 그런 다음 그 중 쌍을 더하여 반사로 오염된 것처럼 보이는 수백만 장의 시뮬레이션 사진을 만듭니다. 아래에 예가 나와 있습니다.

우리의 훈련 사례 중 하나입니다. 실외 풍경과 실내 풍경의 일반 사진을 합쳐 반사로 오염된 시뮬레이션 이미지(오른쪽)를 형성합니다. 우리의 반사 제거 모델은 세 번째 이미지를 첫 번째와 두 번째 이미지로 분리하는 법을 배우고, 두 개의 원본 이미지는 기준 진실로 사용됩니다.
그런 다음 각 시뮬레이션 이미지를 모델에 실행하여 두 원본이 무엇인지 예측하도록 요청합니다. 우리는 실제 답을 알고 있으므로 모델의 성공에 보상을 주고 실수에 처벌을 줄 수 있습니다. 이 훈련 과정을 여러 예제에 걸쳐 반복함으로써 모델은 반사로 오염된 사진에서 두 이미지를 분리하는 방법을 배웁니다.



이 기능을 어떻게 사용해야 하나요?

현재 저희 기술은 원시 사진(DNG, CR2, ARW, ProRAW 등)에서만 작동합니다. 직접 이미지에서 시도하려면 Camera Raw 플러그인을 열고 환경 설정 패널의 기술 미리 보기 섹션으로 이동합니다. 그런 다음 새 AI 설정 및 기능 패널을 활성화하고 호스트 애플리케이션( Adobe Photoshop 또는 Adobe Bridge )을 다시 시작합니다.


1) 사진을 가져온 후 Remove 제거 패널(사용자 인터페이스 오른쪽에 있는 지우개 아이콘)로 이동하고

2) Distraction Removal (방해 제거 섹션)에서 "Reflections (반사)" 레이블이 붙은 상자를 체크합니다. 모델은 몇 초 안에 실행되고 반사 없이 장면이 어떻게 보이는지에 대한 최상의 예측을 제공합니다.

3) 모델이 완성되면 체크박스 아래의 슬라이더가 100으로 설정됩니다. 다시 0으로 옮기면 반사가 점차 다시 나타납니다.

4) 왼쪽으로, -100으로 계속 옮기면 창에 반사된 장면에 대한 모델의 예측이 표시됩니다. 그것이 드러내는 것에 놀랄 수도 있습니다!

5) 때때로 우리 모델은 창문 뒤의 장면과 반사된 장면을 섞습니다. 그래서 우리는 양쪽 끝이 있는 슬라이더를 제공합니다.
하지만 우리 모델은 생성 AI가 아니기 때문에 원래 사진에 없었던 객체를 결코 만들지 않습니다.

몇 가지 더 많은 예

반사 제거가 잘 작동할 가능성이 있는 경우와 그렇지 않을 가능성이 있는 경우를 이해하는 데 도움이 되도록 몇 가지 예를 더 살펴보겠습니다. 이는 전문적인 사진이 아닌 일상적인 스냅샷이며, 모두 스마트폰을 사용하여 촬영되었습니다. 이러한 예의 고해상도 버전을 보고 더 많은 예를 보려면 이 앨범을 참조하세요 .

기차 창문을 통해 촬영한 스위스의 디센티스(또는 로만슈어로 머스테르) 마을. 이 경우 반사가 완전히 제거되었고 창문에 먼지가 생겨 안개가 낀다.

레이니어 산과 태평양 북서부의 다른 화산을 비행기 창문을 통해 촬영했습니다. 이 경우 반사를 제거하면 반사의 한 형태인 대기 산란 효과도 약해집니다.

샌프란시스코의 동네 영화관을 광고하는 포스터. 보호용 플렉시글라스 시트를 통해 촬영. 복구된 반사에는 사진작가와 그 뒤의 거리 풍경이 보입니다. 저희 모델은 박물관의 그림을 보호하는 유리로 인한 반사를 제거하는 데도 효과적입니다.

예상치 못한 활용법이 있습니다. 캘리포니아 해안을 따라 조수 웅덩이를 촬영하는 것입니다. 카메라(또는 스마트폰)가 물 표면에 반사되지 않고 이런 사진을 찍는 것은 어렵습니다.

실패 사례. 정원 가게를 바라보는 이 사진 속 반사는 너무나 강렬해서 친애하는 독자 여러분조차도 두 장면을 구분하는 데 어려움을 겪을 것입니다.



몇 가지 전문가 팁

사진에서 반사를 제거하는 가장 좋은 방법은 처음부터 반사를 피하는 것입니다. 사실, 반사가 너무 강하거나 복잡해서 사진을 보는 사람이 무엇이 무엇인지 알아내는 데 어려움을 겪는다면, 우리 모델도 어려움을 겪을 수 있습니다. 방 밖을 바라보며 사진을 찍는 경우 방의 조명을 끄고 카메라가 있는 곳이 촬영하는 장면보다 어둡게 만들어 보세요. 진열장을 촬영하는 경우 필요한 경우 초광각 렌즈를 사용하여 카메라 렌즈를 유리에 대세요. 머리 위의 스포트라이트로 비춰진 박물관 그림의 경우 그림에서 물러나서 망원 렌즈를 사용하세요. 이렇게 하면 반사된 스포트라이트를 그림 프레임 밖으로 옮기는 데 종종 충분합니다. 이 방법이 효과가 없다면 옆에서 촬영하세요. 왜곡된 뷰가 나오지만 Camera Raw의 Geometry 도구를 사용하여 후반 작업에서 이를 수정할 수 있습니다.


반사를 처리해야 하는 경우 반사의 물리학에 따르면 유리창에 정면으로 촬영하면 각도에서 촬영하는 것보다 반사가 약해집니다. 또는 각도에서 촬영하고 편광 필터를 사용할 수도 있지만 원치 않는 방식으로 색상이 변경될 수 있습니다. 마지막으로 태양이나 인공 광원과 같이 카메라 센서를 포화시킬 정도로 밝은 반사는 피하십시오. 픽셀이 흰색으로 클리핑되면 모델은 반사 없이 해당 픽셀이 어떻게 보일지 전혀 알 수 없습니다. 이러한 영역에는 어둡거나 노이즈가 있는 것을 삽입하지만 무엇이 있었을지 추측하지는 않습니다. 원하는 경우 Photoshop의 생성 채우기를 사용하여 이러한 영역을 생성된 콘텐츠로 바꿀 수 있습니다.


워크플로에 대해 간단히 설명하겠습니다. 사진을 자르거나 조정하기 전이나 후에 반사를 제거하는지는 중요하지 않습니다.

모델은 조정 없이 원래의 자르지 않은 이미지에서 작동하기 때문입니다. 사진의 방향이 잘못된 경우(예: 90도 회전) 반사를 제거하기 전에 이를 수정해야 합니다. 그렇지 않으면 모델을 혼란스럽게 할 수 있습니다.
반사를 제거한 후에는 다른 사진을 보고 있으므로 화이트 밸런스, 블랙, 디헤이즈 또는 기타 컨트롤을 조정해야 할 수 있습니다! 

Adobe Adaptive Profile을 호출한 경우 이를 업데이트해야 합니다. 그렇지 않으면 프로필이 결과에 반사 흔적을 남길 수 있습니다. 걱정하지 마세요. Camera Raw에서 이를 수행하라고 알려줍니다.



반짝이는 부분과 거친 가장자리

Reflection Removal은 Eric Kee와 Adam Pikielny가 Jiawen Chen, Lars Jebe, Durga Ganesh Grandhi, Eric Chan, Thomas Knoll, Simon Chen, Frieder Ganz, Kevin Matzen의 도움을 받아 만들었습니다. 저희는 저희 기술이 이 종류 중 가장 성능이 뛰어난 기능이라고 믿으므로, 여러분이 이 기술로 무엇을 할지 기대됩니다!


그럼에도 불구하고 창문 반사를 제거하는 것은 어려운 문제이며, 이것이 우리의 첫 시도이기 때문에 불가피하게 몇 가지 거친 부분이 있습니다. 예를 들어, 우리는 현재 야간 도시 풍경을 잘 처리하지 못합니다. 사실, 반사를 제거하는 것은 수학자들이 잘못 제기된 문제라고 부르는 것으로, 주어진 사진에 대해 원래 장면과 반사된 장면에 어떤 물체가 있는지 확실하게 결정할 수 없다는 것을 의미합니다. 오염된 사진 하나에는 여러 가지 그럴듯한 분리가 있을 수 있습니다. 핵심은 실제 세계에 존재할 가능성이 있는 장면을 이해하도록 모델을 훈련하는 것입니다. 우리는 끊임없이 모델을 개선하고 있으니 계속 지켜봐 주세요!


때때로 모델은 원하는 반사를 제거합니다. 그럴 경우 슬라이더를 약간 뒤로 당기면 됩니다. 더 복잡한 옵션은 DNG를 Photoshop으로 세 번 가져오고, 슬라이더를 -100, 0, 100으로 설정한 다음 레이어에 로드하고, 이미지 모드를 32비트/채널로 변경하여 픽셀 값을 장면 밝기에 비례하게 하고, 하나 이상의 이미지에서 저장하려는 영역 주위에 마스크를 만드는 것입니다. -100 및 100 이미지를 함께 블렌딩하는 경우 "선형 닷지" 블렌딩 모드를 사용합니다. 이 두 가지 중 하나를 원본에 블렌딩하는 경우 "보통" 블렌딩 모드를 사용합니다. 다음은 예입니다.

우리 모델은 선플레어를 제거하도록 훈련되지 않았지만, 어쨌든 놀랍게도 잘 해냈습니다. 또한 텍스트에 설명된 대로, 사진작가가 Photoshop에서 마스크 블렌드를 사용하여 다시 삽입한 태양도 제거했습니다.


다음은 무엇인가요?

JPEG, HEIC 및 기타 비 RAW 파일을 지원할 계획입니다. 또한 안경 및 먼 창문과 같은 작은 반사를 제거하는 것도 고려하고 있습니다. 또한 도구를 확장하여 창문에 떨어지는 먼지, 긁힘, 비, 눈 또는 기타 물체(앞유리의 벌레?)를 제거하고 싶습니다. 마지막으로 이 베타는 Camera Raw를 통해서만 제공되지만 전체 Lightroom 생태계에 확장된 버전을 제공할 계획입니다.


모든 제품과 마찬가지로, 저희는 항상 사용자의 피드백을 구하고 있습니다. 이를 위한 좋은 장소는 공개 포럼 입니다 . 저희는 여러분이 사진에서 반사를 제거하여 얻는 결과를 보고 싶습니다.