계산하는 실리콘 이미지 센서 이 장치는 자율 차량 및 기타 애플리케이션을 위한 이미지 처리를 가속화하고 단순화합니다. 날짜:2022년 8월 26일 원천:Harvard John A. Paulson 공학 및 응용 과학 학교 요약: 연구원들은 시각적 정보를 캡처해야 하는 거의 모든 상업용 장치에 사용되는 CMOS(complementary metal-oxide-semiconductor) 이미지 센서로 알려진 상업용 실리콘 이미징 센서 칩에 통합될 수 있는 최초의 인센서 프로세서를 개발했습니다. 스마트폰을 포함하여.
운전자라면 누구나 알고 있듯이 사고는 눈 깜짝할 사이에 발생할 수 있습니다. 따라서 자율주행 차량의 카메라 시스템에서는 처리 시간이 매우 중요합니다. 시스템이 이미지를 촬영하고 이미지 처리를 위해 데이터를 마이크로프로세서에 전달하는 데 걸리는 시간은 장애물을 피하는 것과 큰 사고를 당하는 것의 차이를 의미할 수 있습니다.
별도의 마이크로프로세서가 아닌 이미지 센서 자체가 원시 데이터에서 중요한 특징을 추출하는 인센서 이미지 처리는 시각 처리 속도를 높일 수 있다. 지금까지 센서 내 처리의 시연은 최소한 현재로서는 상용 시스템에 통합하기 어려운 새로운 연구 자료로 제한되었습니다.
이제 Harvard John A. Paulson School of Engineering and Applied Sciences(SEAS)의 연구원들은 CMOS(Complementary Metal-Oxide-Semiconductor)로 알려진 상업용 실리콘 이미징 센서 칩에 통합될 수 있는 최초의 인센서 프로세서를 개발했습니다. 이미지 센서 -- 스마트폰을 포함하여 시각 정보를 캡처해야 하는 거의 모든 상업용 장치에 사용됩니다.
연구 결과는 네이처 일렉트로닉스( Nature Electronics )에 게재됐다 .
"우리의 연구는 주류 반도체 전자 산업을 활용하여 센서 내 컴퓨팅을 다양한 실제 응용 분야에 신속하게 도입할 수 있습니다."라고 SEAS의 전기 공학 및 응용 물리학 교수이자 이 논문의 수석 저자인 Donhee Ham이 말했습니다. .
Ham과 그의 팀은 실리콘 포토다이오드 어레이를 개발했습니다. 상업적으로 이용 가능한 이미지 감지 칩에는 이미지를 캡처하기 위한 실리콘 포토다이오드 어레이도 있지만 팀의 포토다이오드는 정전기로 도핑되어 있어 들어오는 빛에 대한 개별 포토다이오드 또는 픽셀의 감도가 전압에 의해 조정될 수 있습니다. 여러 전압 조정 가능 포토다이오드를 함께 연결하는 어레이는 많은 이미지 처리 파이프라인의 중심인 아날로그 버전의 곱셈 및 덧셈 작업을 수행하여 이미지가 캡처되는 즉시 관련 시각적 정보를 추출할 수 있습니다.
SEAS의 박사후 연구원이자 논문의 제1 저자인 장후크는 "이러한 동적 포토다이오드는 캡처되는 이미지를 동시에 필터링할 수 있어 비전 처리의 첫 번째 단계를 마이크로프로세서에서 센서 자체로 이동할 수 있습니다."라고 말했습니다.
실리콘 포토다이오드 어레이는 다양한 응용 분야에서 불필요한 세부 사항이나 노이즈를 제거하기 위해 다른 이미지 필터로 프로그래밍할 수 있습니다. 예를 들어, 자율 차량의 이미징 시스템은 차선 표시를 추적하기 위해 고역 통과 필터를 요구할 수 있지만 다른 애플리케이션에서는 노이즈 감소를 위해 흐리게 처리하는 필터를 요구할 수 있습니다.
"앞으로 우리는 머신 비전 애플리케이션뿐만 아니라 초기 정보 처리가 뇌"라고 SEAS의 대학원생이자 논문의 공동 제1저자인 Henry Hinton은 말했습니다.
다음으로 팀은 광다이오드의 밀도를 높이고 이를 실리콘 집적 회로와 통합하는 것을 목표로 합니다.
"상업용 실리콘 이미지 센서의 프로그래밍 불가능한 표준 픽셀을 여기에서 개발된 프로그래밍 가능한 픽셀로 교체함으로써 이미징 장치는 불필요한 데이터를 지능적으로 제거할 수 있으며, 따라서 에너지 및 대역폭 면에서 에너지와 대역폭 면에서 더 효율적으로 만들어 다음 세대의 요구 사항을 해결할 수 있습니다. 감각 응용"이라고 장 교수는 말했다.