KR20200140791A

KR20200140791A - 일정한 해상도의 연속 하이브리드 줌 시스템

Info

Publication number: KR20200140791A
Application number: KR1020207022460A
Authority: KR
Inventors: 패트리스 라우렛; 조슬린 페어런트; 자비어 달라이어; 피에르 코넨; 파스칼 니니
Original assignee: 임머비젼, 인코퍼레이티드
Priority date: 2018-01-09
Filing date: 2019-01-09
Publication date: 2020-12-16
Also published as: US20190213710A1; US11189011B2; US10607315B2; JP6967673B2; CN111954893A; JP2021509800A; EP3738096A1; US20220051366A1; US11734793B2; US20200193562A1; KR102376679B1; US20230394624A1; WO2019138342A1; EP3738096A4

Abstract

본 발명은 연속적인 파노모프 줌 왜곡 프로파일을 가지는 단일 카메라를 통해 와이드 앵글 장면의 이미지를 캡쳐하는 광학 장치에 관한 것이다. 처리 장치와 결합되면, 하이브리드 줌 시스템은 디지털 줌 시스템과 같은 보간 없이 또는 광학 줌 시스템과 같은 어떠한 이동 부품 없이 이미지의 시야각 및 배율에서 연속적인 조정을 허용하면서 일정한 해상도를 가진 출력 이미지를 생성한다.

Description

일정한 해상도의 연속 하이브리드 줌 시스템

본 출원은 “일정한 해상도의 연속 하이브리드 줌 시스템”이라는 제목으로 현재 계류 중인, 2018년 1월 9일에 출원된 미국 가특허 출원 62/615,252의 이익을 주장하며, 그 전체 내용이 본원에 참조로서 포함된다.

본 발명의 실시예는 연속적인 파노모프(panomorph) 줌 왜곡 프로파일을 가진 단일 카메라를 통해 와이드 앵글(wide-angle) 장면의 이미지를 캡쳐하는 광전자(optoelectronic) 장치에 관한 것이다. 인간 관찰자를 위한 연속 줌을 생성하려면, 최종 이미지에서 픽셀의 양을 유지하기 위하여 픽셀 보간을 이용하거나 배율을 변경하고 렌즈 시야각(field of view, “FoV”)을 줄이는 광학 소자를 움직이거나, 상이한 FoV를 가진 2개 이상의 카메라의 조합하는 대신, 본 발명의 실시예는 중심 영역에서 큰 상수 배율을 가진 왜곡 프로파일을 이용하고 시야각의 나머지에서는 떨어지는(dropping) 배율을 이용한다. 왜곡 프로파일은 픽셀 보간을 줄이고 거의 일정한 이미지 해상도를 유지하도록 설계된다.

몇몇 기존 연속 줌 시스템은 연속 줌 효과를 아카이브(archive)하기 위하여 상이한 FoV를 가진 다수의 카메라들은 이용한다. 2개의 카메라를 통해 캡쳐된 정보를 결합함으로써, 픽셀 보간에 의지하지 않고도 줌된(zoomed) 이미지를 생성하는 것이 가능하다. 그러나, 다수의 카메라들이 필요하다는 사실은 서로 다른 카메라들로부터 나온 이미지들의 융합에 의해 생성된 비용, 전력 소비, 크게 제한, 무게 제한 및 이미지 아티팩트(artifact)와의 트레이드오프(tradeoffs)를 의미한다. 오직 하나의 카메라를 이용하는 솔루션은 이러한 트레이트오프와 관계가 없다.

기존의 순수한 광학 줌 시스템은 광학 렌즈 내부의 일부 요소를 이동시킴으로써 렌즈들의 배율 및 시야각을 변화시킬 수 있다. 그러나, 광학 부품 내부에 이동부를 가지는 것은 크기 및 복잡성을 증가시킨다. 가전제품용 소형 와이드 앵글 렌즈들과 같은 일부 어플리케이션의 경우, 크기 제약이 매우 엄격하여 광학 줌을 생성하기 위한 일부 광학 소자의 이동이 허용되지 않는다.

다른 한편으로, 기존의 순수한 디지털 연속 줌 솔루션은 출력 시야각을 수정하기 위하여 이미지에 연산 작업을 적용하고 있는데, 이는 동일한 출력 크기로 표시해야 하는 부작용으로서 작업 중 어느 시점에서 원본 픽셀들로부터 새로운 픽셀을 생성한다. 이 프로세스는 업샘플링(upsampling), 오버 샘플링(oversampling) 또는 확장(expansion)이라고도 한다. 이는 외삽(extrapolation), 보간 또는 다른 수단들을 통해 수행될 수 있다. 디지털 줌으로부터 계산된 이러한 새로운 픽셀들은 원본 이미지보다 장면에 대한 더 많은 광학 정보를 포함하지 않는다. 이러한 계산 작업은 추가 정보를 생성할 수 없고 출력 이미지 품질을 높이는데 매우 제한적이다.

각각의 픽셀에서 원본 장면에 대한 정보의 고품질 레벨을 유지하기 위하여, 연속 해상도 줌 왜곡 프로파일 및 보간을 감소시키는 관련 알고리즘을 가진 카메라가 필요하다.

상기 언급된 모든 문제를 극복하기 위해, 본 발명의 실시예들은 중심으로부터 에지까지 강한 배율 변화를 가지는 와이드 앵글 광학 렌즈 및 처리 장치와 조합된 다수의 이미지 센서 필셀들을 가진 이미지 센서를 포함하는 이미저를 이용하는 방법을 설명한다. 도출된 연속 하이브리드 줌 시스템은 이미지의 시야각 및 배율의 연속적인 조정하는 동안 일정한 해상도를 가지는 이미지를 출력할 수 있고, 동시에 순수한 디지털 줌 시스템에 의해 생성된 보간을 제한하고 순수한 광학 줌 시스템에서와 같이 부품의 움직임을 제한한다. 본 발명에 따른 바람직한 실시예에서, 연속 줌 시스템은 이미징 시스템의 모든 것에서 이동 가능한 광학 소자를 포함하지 않는다. 본 발명에 따른 또 다른 실시예에서, 이미징 시스템의 이동만이 자동 초점 기능과 연관되고 이미지 센서, 광학소자 또는 상평면에 대한 전체 렌즈의 움직임을 포함할 수 있다. 자동 초점은 선택된 출력 이미지 시야각에 따른 출력 이미지에 보이거나 그렇지 않도록 장면 콘텐츠에 적응하는 스마트 자동 초점 또는 고정 설정을 활용할 수 있다.

일정한 해상도를 가진 연속적인 배율을 제공하기 위해, 와이드 앵글 렌즈는 특정한 왜곡 프로파일을 가져야 한다. 시야각의 중심 영역에서, 최대 배율 하이브리드 줌(또는 최소 설계 시야각)에 대응하여, 왜곡 프로파일은 이미지 센서 사용가능한 픽셀들과 출력 이미지 픽셀들 사이의 1:1 픽셀 비율에 근접하도록 일정한 해상도를 가진 출력을 생성하기 위해 거의 일정한 배율을 가져야 한다. 그러면, 최소 설계 시야각보다 와이드 앵글 렌즈의 시야각이 더 클 경우, 배율(왜곡 프로파일)은 출력 이미지 시야각이 증가하더라도 유사한 이미지 해상도를 유지하기 위해 떨어진다. 와이드 앵글 렌즈의 시야각의 에지에서, 배율은 최소이고 연속 하이브리드 줌 시스템의 최대 설계 시야각을 정의한다. 이러한 방식으로, 임의의 선택된 출력 이미지 시야각에 대해, 출력 이미지의 에지에서 pixels/degree 단위의 해상도는 그 위치에서 이미지 센서 픽셀들과 1:1 픽셀 비율을 가지도록 근접한다.

본 발명의 대안적인 실시예에서, 렌즈가, 중심에서 더 높은 배율을 가지고 에지를 향해 더 낮은 배율을 가지는 대신, 이미저로부터의 디지털 이미지는 이미지의 중심 이탈 영역에서 최대 배율의 영역을 가지고 하이브리드 줌 영역이 또한 중심 이탈(off-centered)되도록 한다.

본 발명의 대안적인 실시예에서, 카메라가, 중심에서 더 높은 배율과 에지를 향해 더 낮은 배율과 같은 특정 왜곡 프로파일을 가진 와이드 앵글 렌즈를 가지는 대신, 카메라는 임의의 와이드 앵글 렌즈를 이용할 수 있고 처리 장치, 전자 장치 또는 기타 적합한 하드웨어 및/또는 소프트웨어에 의한 중심에서 더 높은 배율 및 에지를 향하여 더 낮은 배율과 같은, 동일한 유형의 효과를 생성하기 위해 픽셀들을 비닝할 수 있다.

최소 시야각 설정에서, 처리장치 또는 센서 유닛은 출력 이미지를 생성하기 위해 입력 이미지의 크롭을 간단히 수행할 수 있고, 이는 일정한 배율이 이미지 센서 필셀들과 출력 이미지 픽셀들 사이의 거의 1:1 비율을 이미 생성하기 때문이다. 최소 시야각 이외의 하이브리드 줌 설정의 경우, 출력 이미지 및 잔류 양의 왜곡(residual positive distortion)에 비교하여 소스 이미지의 오버 샘플링이 있다. 그러면, 처리 장치는 오버 샘플링을 줄이고 입력 해상도에서 요구되는 출력 해상도까지 이미지 해상도를 낮추기 위해 이미지의 중심을 디지털 방식으로 압축할 수 있다. 이미지 처리 장치에 의해 이러한 압축은 FoV의 선택된 에지까지 점진적으로 더 부드러워지고, 여기서 비율은 와이드 앵글 렌즈에 대한 왜곡 프로파일의 설계에 의해 1:1이 된다.

본 발명의 일부 실시예에서, 스마트 비닝 처리 장치는 이미지 센서와 결합될 수 있고, 스마트 비닝 하드웨어는 처리 장치에 이미지를 보내기 전 이미지의 중앙 부분을 미리 압축하기 위해 이용될 수 있다. 스마트 비닝 이미지 센서는 소스 해상도와 출력 이미지 해상도 사이의 보간 비율을 항상 제한하는 동안 1x1, 2x2, 3x3, 1x2, 1x3, 2x3 또는 이미지의 선택된 영역에서 이미지 해상도를 더 낮추도록 요구되는 픽셀 비닝들의 임의의 다른 조합을 수행할 수 있다. 이러한 스마트 비닝 이미지 센서는 처리 장치에 의해 요구된 압축 또는 데이터 대역폭의 낮춤을 허용하고, 이는 처리 장치가 동일한 작업을 수행하기 위해 시간 및 전력을 대신 요구할 경우 특히 유용하다. 이러한 스마트 비닝 이미지 센서는 전송된 이미지 사이즈를 줄임으로써, 쓸모 없는 정보의 전송량을 줄일 수 있어 유용하다. 마지막으로 카메라의 프레임 레이트(frame rate) 또는 신호 대 잡음비(signal to noise ratio)를 증가시킬 수 있다.

본 발명에 따른 일부 실시예에서, 카메라는 또 다른 카메라와 결합될 수 있고, 이동 부품에 기초한 광학 줌을 포함하거나, 보간 또는 오버 샘플링에 기초한 디지털 줌 등을 포함할 수 있다.

전술한 요약과 본 발명의 바람직한 실시예에 대한 다음의 상세한 설명은 첨부된 도면과 함께 읽을 때 더 잘 이해될 것이다. 설명의 목적을 위해, 현재 바람직한 실시예가 도면에 도시되어 있다. 그러나, 본 발명이 도시된 정확한 배치 및 수단으로 제한되지 않음을 이해해야 한다.
도 1은 연속 하이브리드 줌 프로세스를 도시한 플로우 차트이다.
도 2는 중앙에서 일정한 배율을 가지고 에지를 향해 감소하는 와이드 앵글 렌즈로부터 캡쳐된 이미지를 도시하는 개략도이다.
도 3은 시야각의 기능으로서 예시적인 배율을 도시하는 그래프이다.
도 4는 시야각의 기능으로서 더 일반적인 배율 곡선을 도시하는 그래프이다.
도 5는 어떻게 스마트 비닝 센서가 이미지의 오버 샘플 부분에서 해상도를 더 낮게 압축하는지를 도시하는 개략도이다.
도 6은 시야각의 중심에서 에지까지 큰 배율 비율을 자기는 광학 렌즈의 예시적인 레이아웃이다.

청구 범위 및 명세서의 대응하는 부분에 사용된 “하나” 및 “한 개”라는 단어는 “적어도 하나”를 의미한다.

도 1은 본 발명에 따른 연속 하이브리드 줌 시스템의 전체 프로세스를 설명하는 플로우차트를 도시한다. 제1 단계(100)는 도 3을 참조하여 설명되는 왜곡 프로파일을 갖는 이미징 시스템 및 이미지 센서를 가지는 이미저를 이용하는 것이다. 이미징 시스템은 플라스틱 또는 글래스에 굴절 소자들(refractive elements)을 가진 전형적인 이미징 렌즈를 일반적으로 포함하나, 이에 제한되지 않고, 회절 소자(diffractive element)들, 거울, 필터들 등과 같은 다른 광학 소자들을 포함할 수 있다. 이러한 이미저(100)는 단계(110)에서 그 이미지 센서를 이용하여 이미징 시스템으로부터의 광학 이미지를 디지털 이미지 파일로 변환함으로써 장면을 캡춰하는데 이용된다. 이미지 센서는 다수의 이미지 센서 픽셀들을 포함하고 CCD, CMOS, NMOS 등과 같은 임의의 유형일 수 있으나, 이에 한정되지 않는다. 디지털 이미지 파일은 시야각의 중심에서 최소 설계 시야각까지 일반적으로 일정한 배율을 가지고 최소 설계 시야각에서 최대 설계 시야각까지 일반적으로 감소하는 배율을 가진 디지털 이미지 왜곡을 가진다. 디지털 이미지에서 왜곡은 이미징 시스템의 광학 왜곡으로부터 바람직한 실시예를 야기하지만, 이미저의 이미징 시스템에서 광학 왜곡 및 스마트 비닝 유닛(smart binning unit)에 의한 픽셀들의 스마트 비닝의 조합으로부터 또는 스마트 비닝 유닛에 의해 완료된 픽셀들의 스마트 비닝으로부터 다른 실시예를 야기할 수도 있다. 스마트 비닝 유닛은 이미지 센서 내부 또는 소프트웨어 또는 하드웨어가 이미지 센서로부터 로우 이미지(raw image)를 수신하고 디지털 이미지 파일을 생성하기 위하여 이를 처리하는 별도의 유닛에 배치된다. 그러면, 캡쳐된 디지털 이미지는 이미지 처리 장치(150)에 전송되고, 그 내부에서 최소 설계 시야각과 최대 설계 시야각 사이의 출력 시야각 값이 출력 시야각 선택 유닛을 이용하여 단계(120)에서 선택된다. 출력 시야각을 선택하기 위한 선택 유닛은 처리 장치에 기 저장된 값, 사용자의 의한 수동 입력, 디스플레이 또는 애플리케이션 또는 출력 시야각 또는 동등한 줌 레벨을 선택하기 위한 다른 소스에 의한 장면 내용 또는 요구 사항에 기반한 알고리즘 유닛으로부터의 자동 입력을 포함하는 모든 종류가 될 수 있다. 그러면, 이미지 처리 장치(150)는 이미저(100)로부터 디지털 이미지의 정확한 디지털 이미지 왜곡의 정보(knowledge)를 이용하고, 여기서 왜곡은 단계(130)에서 이를 디워핑하여 디지털 이미지를 처리하기 위해, 이미징 시스템 또는 스마트 비닝 이미지 센서에 기인한다. 디워핑은 선택된 줌 영역의 왜곡 없이 이미지를 생성하기 위해 이용된다. 일부 실시예에서, 디지털 이미지를 디워핑하는 프로세싱은 애플리케이션에 따라 알려진 투영에 따라 처리된 이미지를 생성한다. 임의의 형상의 이러한 알려진 투영은 직선 투영(rectilinear projection), 등거리 투영(equidistant projection), 입체 투영(stereographic projection), 등각 투영(equisolid angle projection), 직교 투영(orthographic projection) 및 다항식 계수에 의해 정의된 임의의 투영 등을 포함하나, 이에 한정되지 않는다. 디워핑 동안, 처리 장치는 이미지 센서 필셀들의 수와 처리된 이미지 픽셀들의 수 사이의 비율이 일반적으로 선택된 출력 시야각의 에지에 있는 영역에서 1:1에 근접하도록 유지하나, 이 영역은 일부 특정 어플리케이션을 위하여 시야각에서 어딘가에 위치될 수 있다. 선택된 출력 시야각이 최소 설계 시야각보다 큰 경우, 이미지 처리 장치는 선택된 값으로 시야각을 크롭(crop)하고 최종 처리된 이미지를 생성하기 위해 단계(140)에서 이미지의 출력 해상도를 조정한다. 그러면, 결과적으로 처리된 이미지는 단계(160)에서 처리 장치로부터 표시 장치 또는 알고리즘 유닛으로 선택적으로 출력될 수 있다.

도 2는 본 발명의 실시예에 따른 연속 하이브리드 줌을 위해 설계된 이미저를 이용하여 이미지 센서에 의해 캡쳐된 디지털 이미지의 예를 도시한다. 바람직한 실시예에서, 이미징 시스템은 상평면에서 장면의 광학 이미지를 생성하고 이미지 센서는 이러한 상평면에 위치된다. 직사각형(200)은 센서에 의해 캡쳐된 전체 디지털 이미지를 나타내고, 이미징 시스템에 의해 생성된 이미지 풋프린트(205)를 포함한다. 풋프린트(205)는 이미지 센서 수평 및 수직 치수(dimensions)가 이미징 렌즈 이미지 사이즈보다 크면 때때로 와이드 앵글 렌즈들로 원형일 수 있으나, 전체 디지털 이미지(200) 상의 이미지 풋프린트(205)의 정확한 형상은 직사각형, 타원형, 수직 또는 수평으로 크롭된 원의 부분 등을 포함하는 본 발명에 따른 임의의 형상일 수 있다. 이와 같이, 본 발명에 따른 일부 실시예에서, 센서에 의해 캡쳐된 전체 디지털 이미지를 나타내는 직사각형(200) 대신, 직사각형(220)은 이미지 센서의 활성 픽셀들을 가진 이미징 영역을 나타내고 디지털 이미지 파일은 블랙 코너(black corner)를 가지지 않는다. 이미지 센서가 직사각형(200) 또는 직사각형(220)에 의해 표현되는 두 경우 모두에서, 중앙 구역(210)은 바람직하게는 전체 시야각의 최대 배율 값인 일정한 배율을 가진다. 이러한 중앙 구역(210)의 외부에서, 배율은 시야각을 증가시킴으로써 낮아지고 떨어진다. 최대 줌 레벨을 나타내는 이미지 영역(215)은 거의 일정한 배율의 중앙 구역(210) 내에 위치된다. 선택된 출력 시야각이 최소 설계 시야각이면, 이러한 이미지 영역은 이상적으로 1:1에 근접한 소스 픽셀 대 출력 이미지 픽셀 비율을 가진다. 장면 내부에는, 일반 카메라에서 거의 동일한 크기로 표시되는 3개의 면(223, 225, 235)이 있다. 여기서, 면(223)은 더 큰 배율의 영역 (중앙 구역(210)) 내에 있기 때문에, 센서 상의 그 이미지는 면(225 또는 235)보다 더 크다. 이미지 처리 장치에 의해 처리된 후, 최종 출력은 선택된 줌 레벨 또는 선택된 출력 시야각에 따른다. 출력 이미지(250)는 줌 레벨이 최대일 때 출력을 나타낸다. 이 경우, 왜곡을 가진 렌즈에 의해 생성된 원본 이미지의 중앙에서의 높은 배율 때문에, 순수한 디지털 줌에 비교해 출력 해상도에 맞게 픽셀들의 수를 수정하기 위한 보간이 거의 필요하지 않고, 면(255)은 거의 1:1 픽셀 비율로 디스플레이된다. 반면, 출력 이미지(260)는 줌 레벨이 최소일 때 출력을 나타낸다. 여기서, 중앙 영역은 이미지 처리 장치에 의해 압축되어 면(27)의 픽셀들의 사이즈는 면(265, 275)의 사이즈와 거의 동일하다. 처리 장치에 의해 적용되는 정확한 압축은 애플리케이션에 따른 선택된 디워핑 투영에 의존한다. 시야각의 에지는 각각의 디스플레이된 픽셀에 대한 몇몇 캡쳐된 픽셀들을 이용하여, 중앙 영역이 압축된 동안 압축 없이 거의 1:1 픽셀 비율로 처리된다. 여기서 압축에 의해, 우리는 이러한 압축된 영역에서 더 적은 수의 픽셀들을 가진 처리된 이미지를 생성하기 위하여 압축할 영역에서 원본 디지털 이미지 파일로부터 더 많은 수의 픽셀들을 이용하는 프로세스를 언급하며, 이 프로세스는 픽셀 다운 샘플링(pixel downsampling), 픽셀 서브 샘플링(pixel subsampling) 또는 픽셀 데시메이션(pixel decimation)이라고 알려져 있다. 최대 줌과 최소 줌 사이의 모든 연속 줌 레벨은 동일한 방식으로 달성될 수 있고, 렌즈들로부터의 왜곡 프로파일의 특정 형상으로 인해 출력 이미지의 에지 영역에서 항상 거의 1:1 픽셀 비율을 가진다. 모든 줌 레벨에서, 입력 이미지의 픽셀들의 수는 전체 시야각에 대해 항상 1:1 이상이거나 1:1에 근접한다. 본 발명에 따른 일부 실시예에서, 처리 장치는 단일 디지털 이미지(200)를 상이한 선택된 출력 시야각 값을 가진 다수의 처리된 이미지들(250, 260)로 동시에 처리하고, 이는 이동하는 광학 소자들을 가진 일반적인 줌 시스템에서는 불가능하다.

도 3은 본 발명에 따른 시야각의 기능으로서 하이브리드 줌 왜곡을 가진 이미저의 배율(또는 왜곡)의 예시적인 그래프(300)를 도시한다. 바람직한 실시예에서, 디지털 이미지 왜곡은 배율이 이미지의 중앙 영역에서 최대가 되고 배율이 최대 설계 시야각에 근접한 영역에서 최소가 되도록 한다. 시야각(310)은 최대 줌 레벨에 대응하는 최소 설계 시야각을 나타낸다. 중심에서 최소 설계 시야각(310)까지의 모든 필드에 대해, 배율 값은 플래토(plateau, 330)와 같이 일정함에 이상적으로 근접한다. 그러나, 이러한 플래토(330)는 본 발명에 따른 엄격한 요건은 아니며 본 발명의 범위 내에서 일정한 플래토로부터 벗이남이 허용될 수 있다. 시야각(320)은 최소 줌 레벨에 따른 최대 설계 시야각을 나타낸다. 이러한 시야각에서, 배율(350)은 일반적으로 전체 이미지에서 가장 낮은 값이다. 최소 설계 시야각(310)과 최대 설계 시야각(320) 사이의 영역에 위치한 임의의 출력 시야각(315)에서, 배율(340)은 최대 배율(330)과 최소 배율(350) 사이에 있다. 본 발명에 따른 일부 실시예에서, 최소 설계 시야각 값(310)은 최대 설계 시야각(320)의 부분으로서 정의되며, 따라서 시야각의 비율(310/320)은 최대 배율(350/330)에 의한 최소 배율의 비율과 실질적으로 동일하다. 예시로서, 75°의 최대 설계 시야각(320), 50 pixels/degree의 최대 배율(330), 10 pixels/degree의 최소 배율(350)을 가진 렌즈의 경우, 최대 배율에 의해 나누어진 최소 배율의 비율은 10/50 또는 1/5의 비율이다. 최대 설계 시야각에 의한 최소 설계 시야각의 비율이 동등해야 하므로, 우리는 본 예시에서 최소 설계 시야각 값(310)이 15°인 것을 발견하였다. 본 발명에 따른 일부 다른 실시예에서, 최대/최소 배율 비율로부터 최소 설계 시야각을 정의하는 대신, 최소 설계 시야각(310)은 시야각으로서 대신 정의되고, 여기서 각도당 픽셀로 계산된 배율은 관심 영역이 중심을 벗어났을 때 관심 영역의 중심에서 또는 시야각의 중심에서 배율 값으로부터 ±10% 범위 밖에 있다. 본 발명에 따른 일부 실시예에서, 최대 배율과 최소 배율 사이의 비율은 적어도 2x이다. 이상적으로, 이미지 센서 픽셀들의 수와 처리된 이미지 픽셀들의 수 사이의 비율은 선택된 출력 시야각의 에지에 있는 영역에서 가능한 1:1에 가깝다. 그러나, 본 발명에 따른 일부 실시예에서, 이 비율은 선택된 출력 시야각의 에지에 있는 영역에서 2:1 또는 1:2까지 될 수 있다. 모든 연속줌 레벨들에서 1:1에 근접한 비율을 얻으려면, 심볼(θ)에 의해 표시되는 모든 출력 시야각 각도(315)에서 배율 값(340)은 조건을 준수해야 한다.

예를 들어, 최소 설계 FoV(310)는 15°의 값을 가지고 최대 배율(330)은 최소 배율(350)과 비교하여 5x의 값을 가지면, 60°의 출력 FoV(315)에서 배율(340)은 아래의 수학식에 의해 주어진 값보다 커야 한다:

결과적으로 75°의 최대 설계 시야각에서 최소 배율(350)과 비교하여 60° 에서 1.25z보다 큰 배율이 된다. 본 발명의 일부 실시예에서, 상기의 수학식으로부터 ±25%의 일부 이탈은 렌즈에서 렌즈까지의 제조 오류 또는 부드러운 왜곡 및 단순한 제조를 위한 설계 결정으로 설명될 수 있다. 이 경우, 최소 설계 시야각과 최대 설계 시야각 사이의 영역에서 주어진 출력 시야각에서의 배율은 다음과 같다:

일부 다른 실시예에서, 최소 설계 시야각과 최대 설계 시야각 사이의 모든 FoV(Field of View)에서 ±25% 조건을 만족하는 대신, 조건은 본 발명에 따른 시스템이 사용되는 복수의 이산적인 출력 시야각 값에서만 만족될 수 있다. 이러한 도 3은 본 발명에 따른 예시적인 실시예의 배율 그래프만을 도시하며 여기서 플레토(plateau, 330) 및 곡선(340)은 등거리 디워핑(f-theta projection)에 이상적이나, 다른 배율 그래프도 가능하다. 예를 들어, 본 발명에 따른 다른 실시예에서, 배율이 선형 배율(linear magnification) 대신 표면 배율(surface magnification)로 주어지면, 요구되는 배율은 θ의 1에 비례하는 방정식 대신에 θ의 제곱근의 1대응하는 방정식을 따라야 한다. 이러한 이유로, 도 4는 더 일반적인 그래프를 도시한다.

도 4는 본 발명에 따른 일부 다른 실시예에 따른 더 일반적인 배율 곡선(400)을 도시한다. 이러한 배율 곡선에서, 최소 설계 시야각(410)이 정의된다. 도 3의 예시에서와 같이 일정한 배율(330)의 플레토 대신, 중심 FoV와 이러한 최소 설계 FoV(410) 사이의 중심 영역에서 배율 곡선은 f-tan(theta) 투영 렌즈로 또한 알려진 직선 렌즈(rectilinear lens)를 포함하는 임의의 형상일 수 있으나 이에 한정되지 않는다. 이러한 중심 영역의 배율(430)은 도 2에서의 시야(250)처럼, 선택된 출력 시야각이 최소 설계 시야각일 때 원하는 출력 시야가 어떠한 디워핑 없이 직접 출력될 수 있도록 설계될 수 있으며, 이는 처리 장치에 의해 제거할 원치 않는 왜곡이 없기 때문이다. 최소 설계 시야각(410)에서 배율 값은 이미저의 최대 배율일 수 있으나, 본 발명의 이러한 실시예에서 엄격한 요구사항은 아니다. 배율 그래프(400)는 또한 최대 설계 FoV 값(420)을 가지고 여기서 배율 값(450)은 종종 최소이다. 도 2의 시야(260)에서처럼, 최대 설계 FoV(420)에서, 또는 최소 설계 FoV(410)와 최대 설계 FoV(420) 사이에 배치된 다른 시야각 값(415)에서, 디워핑은 디워핑 시야를 생성하기 위해 처리 장치에 의해 완료된다. 출력 시야각의 다른 위치에서, 처리 장치는 원하는 투영을 생성하기 위해 원본 디지털 이미지를 압축한다. 도 4의 일반적인 경우에서, 임의의 선택된 FoV 값(415)에서 배율 값(440)은 특정 수학식에 의해 제한되지 않고, 원하는 디워핑된 출력 시야 투영에 의해서만 제한되며 1:1 픽셀 비율 조건은 선택된 출력 FoV(415)에서 적어도 하나의 위치에 준수된다.

도 5는 본 발명에 따른 일부 실시예에서처럼 선택적인 스마트 비닝 센서 또는 처리 장치를 이용하는 실시예를 도시한다. 이러한 이미지 센서(500)에서, 픽셀의 수는 18x18이며, 가장 작은 사각형으로 표현된다. 18x18 센서는 컨셉을 체계화하기 위한 예시일 뿐이며, 아이디어는 많은 응용분야에서 사용되는 다수의 메가픽셀들의 이미지 센서들과 동일하다. 스마트 비닝 센서가 하이브리드 줌 왜곡을 가진 렌즈와 함께 사용되면, 선택된 줌 레벨에 따라 비닝을 사용하거나 사용하지 않을 수 있다. 최대 줌 레벨에서, 이미지의 중앙 부분이 사용되고 렌즈로부터의 배율이 그 부분에서 거의 일정하기 때문에, 센서에서 비닝이 거의 요구되지 않는다. 따라서, 모든 원본 픽셀은 선택된 출력 시야각에 의해 정의된 유용한 영역에서 판독된다. 다른 극단에서, 하이브리드 줌이 최대 설계 시야각을 의미하는, 최소 줌 레벨에 있으면, 배율이 최소인 시야각의 에지에서 거의 1:1 픽셀 비율이 있지만, 중앙 영역은 과도하게 샘플링된다. 이 경우, 스마트 비닝 센서는 예를 들어, 오버 샘플링이 수행되지 않은 에지를 향해 1x1 영역(530)에서 픽셀(535)을 이용할 수 있다. 오버 샘플링이 최대인 중심에서, 9개의 개별 픽셀(515)은 3x3 영역(510)에서 함께 비닝될 수 있다. 이러한 스마트 비닝 프로세스는 이미지 센서에 의해 판독되거나 처리 장치로 전송된 픽셀들의 수를 제한하기 위해 적용되며, 센서에서 판독 프레임 레이트를 증가시키거나 이미지를 전송하기 위한 요구되는 대역폭을 낮추는 것을 허용한다. 중앙과 에지 사이의 중간 영역에서, 4개의 개별 픽셀(525)은 2x2 영역(520)에서 함께 비닝될 수 있다. 실제 센서 또는 스마트 비닝 유닛에서, 스마트 비닝은 1x1, 2x2 또는 3x3의 사각 영역에 제한되지 않으며, 스마트 비닝 센서로부터의 최종 이미지가 선택된 줌 레벨에서 출력 이미지의 출력 해상도에 ±25% 이내에서 오버(over)하거나 근접(close)하기 위해 모든 지점에서 충분한 해상도를 가지는 한 1x2, 2x3, 1x3 또는 기타 조합의 사각 비닝일 수도 있다. 스마트 비닝이 캡쳐 프로세스에서 가능한 빨리 수행되는 것이 바람직하지만, 센서 레벨에서는, 스마트 비닝의 위치는 본 발명에서 제한되지 않는다. 센서에서 스마트 비닝이 수행되는 대신, 스마트 비닝은 디지털 이미지가 이미지 처리 장치에 전송되기 전에 이미지가 캡쳐되는 동안 언제든지 스마트 비닝 유닛에서 임의의 하드웨어 또는 소프트웨어 프로세스에 의해 수행될 수 있다.

대안적으로, 본 발명의 다른 실시예에서, 스마트 비닝 센서 자체는 높은 왜곡을 가지는 와이드 앵글 렌즈를 통해 광학적으로 이를 처리하는 대신 에지와 비교되는 FoV의 중앙 부분에서 더 많은 픽셀들을 가진 고도로 왜곡된 이미지를 생성하는데 이용될 수 있다. 대안적으로, 고도로 왜곡된 원본 이미지는 광학 렌즈에서 왜곡의 조합 및 함께 작동하는 스마트 비닝 센서로부터 생성될 수 있다. 스마트 비닝은 요구에 의해 그리고 심지어 실시간으로 외부 또는 내부 파라미터에 따라 배율 비율 및 위치를 변경할 수 있는 이점을 가진다.

도 6은 본 발명의 일 실시예에 따른 연속 하이브리드 줌 왜곡을 가진 이미징 렌즈의 예시적인 레이아웃을 도시한다. 이 예에서, 와이드 앵글(600)은 광학 소자들(602, 604, 606, 610, 612 및 614), 구경 조리가(aperture stop, 608), 잠재적으로 필터로서 작용하는 센서 커버 글래스(616) 및 상평면(618)을 포함한다. 그러나, 소자의 이러한 정확한 수는 본 발명에 따른 요구사항이 아니고 동일한 발명의 방법은 더 많거나 더 적은 광학 소자들로 달성될 수 있다. 이 예에서, 최대 전체 시야각은 렌즈축과 90°의 각도로 638에서 렌즈로 들어가는 수직 광선에 의해 표시되는 180°이나, 매우 좁은 각도에서 매우 넓은 각도까지, 본 발명에 따른 방법은 임의의 시야각과 호환이 가능하다. 이러한 예시적인 개략도에서, 광선은 630, 632, 634, 636 및 638으로 넘버링된 0°와 90° 사이의 다양하게 균등하게 이격된 각도로 렌즈에 들어가나, 실제 렌즈에서, 광선은 0°에서 최대 시야각 사이의 모든 연속된 각도들에서 렌즈에 들어간다. 630에서 빛의 광선은 650에서 이미지 센서에 부딛치고, 632에서 빛의 광선은 652에서 이미지 센서에 부딛치고, 634에서 빛의 광선은 654에서 이미지 센서에 부딛치고, 636에서 빛의 광선은 656에서 이미지 센서에 부딛치고, 638에서 빛의 광선은 658에서 이미지 센서에 부딛친다. 입력되는 광선(630, 632, 634, 636 및 638)이 각도에 따라 동일하게 이격되더라도, 각각이 이미지 센서에 도달하는 위치는 동일하게 이격되지 않는다. 도 2에 도시된 것처럼 에지를 향한 배율과 비교할 때 중심에서 더 높은 배율로 인해, 위치 650과 652 사이의 거리는 656과 658 사이의 위치보다 더 크다. 본 개략적인 실시예에서, 렌즈 소자들(602 및 604)는 이미징 렌즈의 왜곡 프로파일을 형상화하는 것을 돕기 위해 비구면을 포함한다. 그러나, 이는 본 발명에 따른 요구사항이 아니며 모든 표면들은 다른 실시예에서 구형일 수 있다. 또한, 광학 표면의 다른 일반적인 타입은 원하는 배율 곡선을 생성하거나 다른 광학적 성능을 개선하기 위한 렌즈 설계에 사용되고, 회절 표면(diffractive surfaces), 프레넬 표면(Fresnel surfaces), 코닉 표면(conic surfaces), 원통형 표면(cylindrical surfaces), 자유형 표면(freeform surfaces), 홀로그래픽 표면(holographic surfaces), 메타 물질을 가진 표면(surfaces with meta-material) 등을 포함하지만, 이에 제한되지 않는다. 본 실시예에서, 모든 광학 소자들은 굴절되고, 글래스, 플라스틱 또는 크리스탈로 만들어진다. 그러나, 본 발명에 따른 일부 실시예에서, 굴절 표면은 원하는 연속 줌 배율 곡선을 생성하거나 다른 광학적 성능을 개선하기 위해 이용될 수 있다. 마지막으로, 본 예시적인 실시예에서 렌즈 소자들(610, 612)은 이미징 시스템의 크로마틱 성능을 향상시키기 위해 이중선(doublet)을 형성한다. 본 발명의 실시예에 따르면, 하나 또는 다수의 더블렛 또는 트리플렛이 가능하나 필수적이진 않다.

본 발명에 따른 일부 실시예에서, 하이브리드 줌 시스템은 연속적인 하이브리드 줌 왜곡을 가진 렌즈를 이용하여 적어도 하나의 카메라를 통해 이미지들을 캡쳐하기 위해 다수의 카메라들을 이용할 수 있다. 이 경우, 이미저는 다수의 이미징 시스템, 다수의 디지털 이미지들을 생성하는 다수의 이미지 센서를 포함한다. 이러한 방식으로 각각의 이미징 시스템은 장면에서 방향 및 위치, 최대 줌이 가능한 최대 배율의 위치, 최대 배율 또는 최소의 강도 및 하이브리드 줌에 대한 최대 FoV를 포함하는 상이한 파라미터들을 가진다. 그러면, 이미지 처리 장치는 다수의 카메라들로부터 오는 다수의 이미지들을 수신하고, 각각은 그들의 관심영역에서 잠재적인 하이브리드 줌을 가진다. 본 발명에 따른 일부 실시예에서, 다수의 디지털 이미지들은 요구되는 경우, 처리 장치에 의해 처리되기 전에 함께 스티치된다. 그러면, 처리 장치는 관심 영역을 디워핑하고 최종 사용자에 대한 출력 이미지의 해상도를 조정할 수 있고, 연속 줌 시스템을 가진 단일 카메라의 경우도 같다.

본 발명에 따른 일부 다른 실시예에서, 연속줌 광학계는 연속줌과 디지털줌 모두의 장점을 이용한 하이브리드 시스템을 생성하기 위하여 디지털 줌과 조합된다.

본 발명에 따른 일부 실시예에서, 이미지 처리 장치는 이미지를 출력하기 전에 일부 선택적인 이미지 개선을 적용할 수 있다. 이는 예를 들어 대비(contrast), 선명도(sharpness), 노이즈 제거(de-noise), 화이트 밸런스(white-balance), 색 보정(color correction) 등과 같은 기본적인 개선을 포함할 수 있다. 또한 이는 연산 이미징, 이미징 프로세싱 또는 인공 지능 알고리즘과 같은 자동화된 컴퓨터 이미징 기법을 이용하여 자동화된 개선을 포함하는 진보된 개선 기법을 포함한다. 이는 딥러닝 신경망을 통해 자체 학습되거나 프로그램 될 수 있다. 이미지를 향상시키기 위해 AI를 이용하는 일 실시예는 캡쳐된 이미지로부터 3D 정보를 학습하기 위해 딥러닝을 이용하고 초점 포인트로부터 멀리 떨어진 물체에 대해 약간의 이미지 블러를 적용한다. 와이드 앵글 렌즈는 시야각을 통해 배율의 큰 변화를 가진 왜곡 프로파일을 가지기 때문에, 카메라의 어떠한 이동은 시야각에서 이의 위치 및 렌즈로부터 이의 거리에 따라 더 크게 또는 더 작게 물체의 외관을 만들 것이다. 이미지들의 변형은 거리를 측정하고 3D 정보를 계산하기 위해 AI 알고리즘이 이용될 수 있다. 마지막으로, 이러한 3D 정보는 최종 사용자에 의해 요구되는 임의의 방식에서 출력을 향상시키는데 이용될 수 있다.

본 발명에 따른 일부 다른 실시예에서, 연속 줌 광학 카메라는 카메라 3A 보정으로 알려진 기법인, 자동 초점(AF), 자동 노출(AE) 및 자동 화이트 밸런스(AWB)의 3개의 자동화 공통 설정 중 어느 것과 함께 이용된다. 이러한 3A 보정은 카메라 내부의 하드웨어 레벨에서, 카메라의 일부가 아닌 하드웨어 개선 장치에서, 스프트웨어 알고리즘에서 또는 상기 중 하나 이상의 조합에서 적용될 수 있다.

상기의 모든 것은 특정 이미지 왜곡 변환 유닛들 및 방법들의 도면들 및 예시들이다. 모든 이러한 예시들에서, 이미저는 와이드 앵글에 제한되지 않고 매우 좁은 것에서 극단적인 와이드 앵글까지 어떠한 시야각도 가질 수 있다. 이러한 예시들 모두에서, 상기 방법은 간략화를 위한 사진 모드에서 제공되지만, 상기 방법은 비디오 모드에서 작동하기 위하여 순차적으로 여러 번 적용될 수 있다. 이러한 예시들 모두는 완전한 목록이거나 본 발명의 범위 및 사상을 제한하려는 것은 아니다. 그 광범위한 발명의 개념으로부터 벗어나지 않고 상기에서 설명된 실시예에 대해 변경이 될 수 있음이 당업자에 의해 이해될 것이다. 그러므로, 본 발명이 개시된 특정 실시예에 의해 제한되지 않고, 첨부된 청구범위에 의해 정의된 바와 같이 본 발명의 사상 및 범위 내에서의 수정을 포함하도록 의도된 것임이 이해될 것이다.

Claims

선택된 출력 시야각의 에지(edge)에 있는 영역에서 복수의 이미지 센서 픽셀들과 복수의 출력 이미지 픽셀들 사이에서 비율을 1:1에 근접하기 위하여 시야각에 거처 가변 배율을 가지는 디지털 이미지 파일을 생성하는 이미저를 이용하는 연속 줌 광학계를 생성하는 방법에 있어서,
상기 방법은,
a. 적어도 하나의 이미징 시스템 및 이미지 센서를 가지는 이미저를 이용하여, 상평면(image plane)에서 장면의 광학 이미지를 생성하는 단계;
b. 상기 이미저의 상기 이미지 센서에 의해, 상기 광학 이미지를 디지털 이미지로 변환하는 단계, 상기 이미지 센서는 복수의 이미지 센서 픽셀들을 포함하고, 상기 디지털 이미지는 상기 시야각의 중심에서 최소 설계 시야각까지의 일반적으로 일정한 배율 및 상기 최소 설계 시야각에서 최대 설계 시야각까지의 일반적으로 감소하는 배율을 통해 디지털 이미지 왜곡을 가지고;
c. 처리 장치(processing unit)에 의해, 상기 최소 설계 시야각 값과 상기 최대 설계 시야각 값 사이의 출력 시야각 값의 선택을 수신하는 단계; 및
d. 상기 처리 장치에 의해, 처리된 이미지를 생성하기 위하여 디지털 이미지를 처리하는 단계를 포함하고, 상기 처리 장치는 이미지 센서 픽셀들의 수와 복수의 처리된 이미지 픽셀들의 수 사이의 비율이 상기 선택된 출력 시야각의 에지에 있는 영역에서 1:1에 근접하도록 유지하는 동안 상기 이미저에 의해 생성된 왜곡을 제거하기 위해 디지털 이미지를 디워핑(dewarping)하고, 상기 처리된 이미지는 상기 선택된 출력 시야각 값으로 크롭(crop)되는 시야각을 가지는; 방법.
제1항에 있어서,
e. 상기 처리된 이미지를 출력하는 단계를 더 포함하는 방법.
제1항에 있어서,
상기 최소 설계 시야각 값은 최대 배율과 최소 배율 사이의 비율이 상기 최소 설계 시야각과 상기 최대 설계 시야각 사이의 비율과 같도록 정의되는 방법.
제2항에 있어서,
상기 처리된 이미지는 표시 장치에 출력되는 방법.
제1항에 있어서,
상기 출력 시야각 값의 선택은 사용자로부터 수신되는 방법.
제1항에 있어서,
상기 출력 시야각 값의 선택은 알고리즘으로부터 자동적으로 수신되는 방법.
제1항에 있어서,
상기 출력 시야각 값의 선택은 알고리즘으로부터 자동적으로 수신되는 방법.
제1항에 있어서,
상기 디지털 이미지 왜곡은, 상기 이미저의 상기 이미지 시스템에서의 광학 왜곡으로부터 발생하는 방법.
제8항에 있어서,
스마트 비닝 프로세스(smart binning process)는 상기 이미지 센서에 의해 읽히거나 상기 처리 장치에 전송되는 복수의 픽셀들을 제한하기 위하여 적용되는 방법.
제1항에 있어서,
상기 디지털 이미지 왜곡은 상기 이미저의 이미지 센서의 의하거나 스마트 비닝 유닛에 의한 픽셀들의 스마트 비닝으로부터 발생하는 방법.
제1항에 있어서,
상기 디지털 이미지 왜곡은 상기 이미저의 상기 이미징 시스템의 광학 왜곡 및 픽셀들의 스마트 비닝의 조합으로부터 발생하는 방법.
제1항에 있어서,
상기 디지털 이미지 왜곡은,
상기 배율이 상기 이미지의 중심 영역에서 최대이고 상기 배율이 상기 최대 설계 시야각에 근접한 영역에서 최소인 방법.
제8항에 있어서,
상기 최소 설계 시야각 및 상기 최대 설계 시야각 사이의 영역에서 모든 출력 시야각(θ)에 대한 상기 배율은 다음과 같은 방법:
제8항에 있어서,
상기 최소 설계 시야각 및 상기 최대 설계 시야각 사이의 영역에서 주어진 출력 시야각(θ)에서의 상기 배율은 다음과 같은 방법:
제1항에 있어서,
이미지 센서 픽셀들의 수와 처리된 이미지 픽셀들의 수 사이의 비율은 상기 선택된 출력 시야각의 에지에 있는 영역에서 2:1 또는 1:2까지인 방법.
제1항에 있어서,
상기 이미저는 다수의 디지털 이미지들을 생성하기 위한 다수의 이미징 시스템들 및 다수의 이미지 센서들을 포함하는 방법.
제16항에 있어서,
상기 다수의 디지털 이미지들은 상기 처리 장치에 의한 프로세싱 전에 함께 스티치(stich)되는 방법.
제1항에 있어서,
상기 연속줌 광학계는 이동 가능한 광학 소자(optical element)를 가지지 않는 방법.
제1항에 있어서,
상기 연속줌 광학계는 디지털 줌과 결합되는 방법.
제1항에 있어서,
상기 처리 장치는, 단일의 디지털 이미지를 상이한 선택된 출력 시야각 값들을 가진 다수의 처리된 이미지들로 동시에 처리하는 방법.
제1항에 있어서,
상기 디지털 이미지의 디워핑은 알려진 투영에 따라 처리된 이미지를 생성하는 방법.
제1항에 있어서,
출력 시야각 값의 수신된 선택이 상기 최소 설계 시야각 값이면 상기 처리된 이미지는 왜곡을 제거하기 위해 디워핑 없이 상기 처리 장치에 의해 생성되는 방법.
제1항에 있어서,
상기 이미저로부터의 상기 디지털 이미지는 상기 이미지의 중심을 벗어난 영역(off-centered region)에서 최대 배율을 가지는 방법.
제1항에 있어서,
상기 연속줌 광학계는, 자동 초점, 자동 노출 또는 자동 화이트 밸런스 프로세스와 함께 이용되는 방법.
선택된 출력 시야각의 에지(edge)에 있는 영역에서 복수의 이미지 센서 픽셀들과 복수의 출력 이미지 픽셀들 사이에서 해상도 비율을 1:1에 근접하기 위하여 시야각에 거처 가변 배율을 가지는 디지털 이미징 시스템을 이용하는 연속 줌 광학계에 있어서,
상기 광학계는,
a. 상평면에 장면의 광학 이미지를 생성하는 이미징 시스템, 상기 이미징 시스템은 상기 광학 이미지가 시야각의 중심으로부터 최소 설계 시야각까지 일반적으로 일정한 배율을 가지고 상기 최소 설계 시야각으로부터 최대 설계 시야각까지 감소하는 배율을 가지도록 광학 왜곡을 가지고,
b. 광학 이미지를 디지털 이미지로 변환하는 이미지 센서, 상기 이미지 센서는 복수의 이미지 센서 픽셀들을 포함하고, 상기 디지털 이미지는 상기 이미징 시스템의 광학 왜곡으로부터 도출된 디지털 이미지 왜곡을 가지고;
c. 최소 설계 시야각 값과 최대 설계 시야각 값 사이의 출력 시야각 값의 선택을 수신하기 위한 출력 시야각 값 선택 유닛; 그리고
d. 처리된 이미지를 생성하기 위하여 상기 디지털 이미지를 처리하는 처리 장치를 포함하고, 상기 처리 장치는 선택된 출력 시야각의 에지에 있는 영역에서 이미지 센서 픽셀들의 수와 복수의 처리된 이미지 픽셀들 사이의 비율이 1:1에 근접하도록 유지하면서 디지털 이미지를 디워핑하고, 상기 처리된 이미지는 선택된 출력 시야각 값으로 크롭되는 그 시야각을 가지는 광학계.
선택된 출력 시야각의 에지(edge)에 있는 영역에서 복수의 이미지 센서 픽셀들과 복수의 출력 이미지 픽셀들 사이에서 해상도 비율을 1:1에 근접하기 위하여 시야각에 거처 가변 배율을 가지는 디지털 이미지 파일을 생성하기 위해 이미지 센서로부터 스마트 비닝을 이용하는 연속 줌 광학계에 있어서,
상기 광학계는,
a. 상평면에 장면의 광학 이미지를 생성하는 이미징 시스템;
b. 광학 이미지를 디지털 이미지로 변환하는 이미지 센서, 상기 이미지 센서는 복수의 이미지 센서 픽셀들을 포함하고;
c. 도출된 디지털 이미지가 시야각의 중심으로부터 최소 설계 시야각까지 일반적으로 일정한 배율을 가지고 상기 최소 설계 시야각으로부터 최대 설계 시야각까지 일반적으로 감소하는 배율을 가지도록 상기 이미지 센서 픽셀들을 스마트 비닝하기 위한 스마트 비닝 유닛;
d. 상기 최소 설계 시야각 값과 상기 최대 설계 시야각 값 사이의 출력 시야각 값의 선택을 수신하기 위한 출력 시야각 값 선택 유닛; 그리고
e. 처리된 이미지를 생성하기 위하여 상기 디지털 이미지를 처리하는 처리 장치를 포함하고, 상기 처리 장치는 선택된 출력 시야각의 에지에 있는 영역에서 이미지 센서 픽셀들의 수와 복수의 처리된 이미지 픽셀들 사이의 비율이 1:1에 근접하도록 유지하면서 디지털 이미지를 디워핑하고, 상기 처리된 이미지는 선택된 출력 시야각 값으로 크롭되는 그 시야각을 가지는 광학계.