KR102506363B1

KR102506363B1 - 정확히 2개의 카메라를 갖는 디바이스 및 이 디바이스를 사용하여 2개의 이미지를 생성하는 방법

Info

Publication number: KR102506363B1
Application number: KR1020217000982A
Authority: KR
Inventors: 바르바로스 키리스켄
Original assignee: 베스텔 일렉트로닉 사나이 베 티카레트 에이에스
Priority date: 2018-07-17
Filing date: 2018-07-17
Publication date: 2023-03-06
Also published as: US20210274108A1; WO2020015821A1; CN112262567A; EP3824617A1; KR20210029200A; JP2021532640A

Abstract

정확히(exactly) 2개의 카메라들(100, 102)를 갖는 디바이스가 제공된다. 제 1 카메라(100)는 RGB 이미지를 캡처하기 위한 적색-녹색-청색(RGB) 카메라이다. 제 2 카메라는 다음 중 하나이다: (i) RGB 이미지 및 적외선(IR) 이미지를 캡처하기 위한 RGB 및 IR 카메라(102), 제 2 카메라(102)가 RGB 이미지 또는 IR 이미지를 선택적으로 캡처하는데 사용될 수 있도록 상기 제 2 카메라(102)는 적외선(IR)만을 통과시키도록 선택적으로 동작할 수 있는 선택적으로 동작가능한 IR 통과 필터(116)를 가지며; 또는 (ii) IR 이미지를 캡처하기 위한 IR 카메라(300), 및 상기 디바이스(20)는 제 1 카메라(100)에 의해 캡처된 이미지로부터의 RGB 정보를 사용하여 제 2 카메라(300)에 의해 캡처된 IR 이미지로부터 RGB 이미지를 생성하도록 상기 제 2 카메라(300)에 의해 캡처된 IR 이미지를 프로세싱하는 프로세서를 포함한다. 상기 디바이스는 장면에 대한 2개의 RGB 이미지들 또는 장면에 대한 하나의 RGB 이미지 및 IR 이미지를 2개의 카메라들로부터 선택적으로 제공할 수 있다.

Description

정확히 2개의 카메라를 갖는 디바이스 및 이 디바이스를 사용하여 2개의 이미지를 생성하는 방법

본 발명은 정확히 2개의 카메라를 갖는 디바이스 및 이를 이용하여 2개의 이미지들을 생성하는 방법에 관한 것이다.

사용자가 고품질 사진을 찍는 것이 점점 더 바람직해지고 있으며, 특히 예를 들어, 복잡하거나 기술적으로 진보된 카메라를 사용하지 않고 스마트폰 및 기타 소비자 디바이스를 사용하여 고품질 사진을 찍는 것이 점점 더 바람직해지고 있다. 또한, 듀얼 카메라 사진에 대한 관심이 높아지고 있다.

일반적으로, 단일 카메라 또는 듀얼 카메라를 사용하여 촬영한 사진은 RGB(적색-녹색-청색) 이미지이다. 듀얼 카메라의 경우, 2개의 카메라에서 캡처한 정보를 사용하여 RGB 이미지가 생성된다. 예를 들어, 향상된 이미지 세부 정보, 향상된 편집 기능 및 소정의 특수 효과를 위해 적외선(IR) 정보와 IR 이미지를 사진에 사용하는 것도 관심이 높아지고 있다.

본 명세서에 개시된 제 1 양상에 따르면, 정확히 2개의 카메라들을 갖는 디바이스가 제공되며, 상기 디바이스는 제 1 카메라 및 제 2 카메라를 포함하며,

제 1 카메라는 RGB 이미지를 캡처하기 위한 적색-녹색-청색(RGB) 카메라이고;

제 2 카메라는 다음의 (i) 또는 (ii) 중 하나이되:

(i) RGB 이미지 및 적외선(IR) 이미지를 캡처하기 위한 RGB 및 IR 카메라, 제 2 카메라가 RGB 이미지 또는 IR 이미지를 선택적으로 캡처하는데 사용될 수 있도록 상기 제 2 카메라는 적외선(IR)만을 통과시키도록 선택적으로 동작할 수 있는 선택적으로 동작가능한 IR 통과 필터를 가지며; 또는

(ii) IR 이미지를 캡처하기 위한 IR 카메라, 및 상기 디바이스는 제 1 카메라에 의해 캡처된 이미지로부터의 RGB 정보를 사용하여 제 2 카메라에 의해 캡처된 IR 이미지로부터 RGB 이미지를 생성하도록 상기 제 2 카메라에 의해 캡처된 IR 이미지를 프로세싱하는 프로세서를 포함하며;

이에 의해서, 상기 디바이스는 장면에 대한 2개의 RGB 이미지들 또는 장면에 대한 하나의 RGB 이미지 및 하나의 IR 이미지를 2개의 카메라들로부터 선택적으로 제공할 수 있다.

일례에서, 상기 제 2 카메라가 IR 카메라인 경우, IR 카메라는 장면의 IR 정보를 캡쳐하기 위한 IR 센서 칩을 포함한다.

일례에서, 상기 디바이스는 장면의 단일 이미지를 생성하기 위해, 상기 장면의 2개의 RGB 이미지들 또는 상기 장면의 하나의 RGB 이미지 및 하나의 IR 이미지를 결합하는 프로세서를 포함한다.

일례에서, 상기 디바이스는 반사된 IR 방사가 제 2 카메라에 의해 캡처될 수 있도록 IR로 장면을 조명하는 IR 플래시를 포함한다.

일례에서, 상기 제 1 카메라와 제 2 카메라 중 적어도 하나는 장면의 이미지를 캡처하는 고정된 렌즈 어셈블리를 포함한다.

일례에서, 상기 제 2 카메라가 RGB 및 IR 카메라인 경우, 상기 선택적으로 동작가능한 IR 통과 필터는 마이크로 전자기계 시스템(MEMS) 셔터를 포함한다.

본 발명의 제 2 양상에 따르면, 정확히 2개의 카메라들을 갖는 디바이스를 사용하여 장면에 대한 2개의 이미지들을 생성하는 방법이 제공되며, 상기 방법은,

디바이스의 제 1 카메라에 의해 장면의 RGB 이미지를 캡처하는 단계;

디바이스의 제 2 카메라에 의해 장면의 제 2 이미지를 캡처하는 단계, 상기 제 2 이미지는 장면의 RGB 이미지 또는 IR 이미지이며;

상기 IR 제 2 이미지는 다음 중 하나에 의해 획득되되:

(i) 제 2 카메라가 오직 IR 이미지만을 캡처하도록, 제 2 카메라가 RGB 및 IR 카메라인 경우, 제 2 카메라(102)의 IR-통과 필터를 선택적으로 활성화함으로써 상기 IR 제 2 이미지가 획득되거나; 또는

(ii) 제 2 카메라가 IR 이미지를 캡처하기 위한 IR 카메라인 경우, 장면의 IR 이미지를 캡처함으로써 상기 IR 제 2 이미지가 획득되며; 그리고

상기 RGB 제 2 이미지는 다음 중 하나에 의해 획득되되:

(i) 제 2 카메라가 RGB 이미지를 캡처하도록, 제 2 카메라가 RGB 및 IR 카메라인 경우, 제 2 카메라의 IR-통과 필터를 선택적으로 비활성화함으로써 상기 RGB 제 2 이미지가 획득되거나; 또는

(ii) 제 2 카메라가 IR 이미지를 캡처하기 위한 IR 카메라인 경우, 장면의 IR 이미지를 캡처하고, 그리고 제 1 카메라에 의해 캡처된 이미지로부터의 RGB 정보를 이용하여 제 2 카메라에 의해 캡처된 IR 이미지로부터 RGB 이미지를 생성하도록 상기 디바이스의 프로세서에 의해 IR 이미지를 프로세싱함으로써 상기 RGB 제 2 이미지가 획득된다.

일례에서, 상기 방법은, 장면에 대한 단일 이미지를 생성하도록, 제 1 카메라에 의해 캡쳐된 장면의 RGB 이미지와 제 2 카메라에 의해 캡쳐된 장면의 제 2 이미지를 결합하는 단계를 더 포함한다.

일례에서, 상기 방법은, 반사된 IR 방사가 디바이스의 제 2 카메라에 의해 캡처될 수 있도록, 디바이스의 IR 플래시로부터 IR로 장면을 조명하는 단계를 더 포함한다.

일례에서, 디바이스는 모바일 사용자 디바이스이다.

본 개시 내용의 이해를 돕고 실시예들이 어떻게 실시될 수 있는지를 보여주기 위해, 첨부된 도면을 일례로서 참조한다.
도 1은 2개의 이미지를 캡처하기 위한 2개의 카메라를 포함하는 예시적인 디바이스를 개략적으로 도시한다.
도 2는 도 1의 2개의 카메라의 예시적인 배열을 개략적으로 도시한다.
도 3a 및 3b는 사용시에 도 2의 배열의 예시적인 구성을 개략적으로 도시한다.
도 4는 2개의 이미지를 캡처하기 위한 2개의 카메라를 포함하는 제 2의 예시적인 디바이스를 개략적으로 도시한다.
도 5는 도 4의 2개의 카메라의 예시적인 배열을 개략적으로 도시한다.
도 6은 사용시에 도 5의 배열의 예시적인 구성을 개략적으로 보여준다.

전술한 바와 같이, 듀얼 카메라 사진 및 IR 사진은 고품질 사진 및/또는 특정 시각 효과를 캡처하는데 있어서 점점 더 많은 관심을 받고 있으며, 이는 소비자 디바이스에서 점점 더 중요한 요구 사항이 되고 있다.

듀얼 카메라 시스템을 사용하면, 2개의 카메라로부터 수신된 이미지 정보를 결합하여 디바이스가 하나의 향상된 이미지를 생성할 수 있다. 예를 들어, 사용자 디바이스로 인물 사진을 찍을 때 듀얼 카메라 사진은 더 선명한 얼굴 피처들을 나타내거나, 또는 광 깊이 사진(light depth photography), 깊이 맵을 허용하거나, 또는 하나 이상의 초점 포인트를 이미지에 결합할 수 있다.

IR 이미지는 IR 방사를 사용하여 촬영된다. IR 이미지는 RGB 이미지와 비교할 때 예를 들어, 가시적 피처들을 강화시키고 사람의 눈으로 쉽게 감지할 수 없는 디테일들을 보여줌으로써 더 많은 디테일을 나타낼 수 있다.

본 명세서에 설명된 것은 정확히 2개의 카메라를 갖는 디바이스이다. 제 1 카메라는 RGB(적색-녹색-청색) 이미지를 캡처하기 위한 RGB 카메라이다. 제 2 카메라는 다음 중 하나이다: (i) RGB 이미지 및 IR 이미지를 캡처하기 위한 RGB 및 IR(적외선) 카메라, 상기 제 2 카메라는 RGB 이미지 또는 IR 이미지를 선택적으로 캡처하는데 제 2 카메라가 사용될 수 있도록 오직 적외선(IR)만을 선택적으로 통과시킬 수 있는, 선택적으로 작동가능한 IR 통과 필터를 가지고 있으며, 또는 (ii) IR 이미지를 캡처하기 위한 IR 카메라 및 상기 디바이스는 제 1 카메라에 의해 캡처된 이미지들로부터의 RGB 정보를 사용하여 제 2 카메라에 의해 캡처된 IR 이미지들로부터 RGB 이미지들을 생성하기 위해, 제 2 카메라에 의해 캡처된 IR 이미지들을 프로세싱하는 프로세서를 포함한다. 상기 디바이스는 선택적으로, 장면에 대한 2개의 RGB 이미지들을 제공하거나 또는 2개의 카메라로부터의 상기 장면에 대한 하나의 RGB 이미지와 하나의 IR 이미지를 제공할 수 있다.

듀얼 카메라 사진은 디바이스에 의해 캡처된 장면에 대해 더 많은 디테일들을 제공할 수 있다. 예를 들어, 본 명세서에 설명된 디바이스를 사용하면, 제 1 카메라 및 제 2 카메라가 장면의 이미지 정보를 캡처하는 약간 다른 각도들(marginally different angles)은 장면의 더 많은 깊이 정보 및/또는 더 많은 디테일들을 제공할 수 있다. 2개의 카메라들로 캡처한 이러한 정보는 이미지 프로세싱 방법들에 의해 결합되어, 매우 상세한 단일 이미지를 생성할 수 있다. 일례로서, 2개의 카메라들은 해당 기술 분야에서 알려진 보케(Bokeh) 사진을 캡처하도록 배열될 수 있다. 이러한 예에서 듀얼 카메라 사진은 예를 들어 사진에서 복수의 초점들을 허용할 수 있다. 대안적으로 또는 추가적으로, 2개의 카메라들은 초점이 맞춰진 피사체(들)를 더 자세하게 캡처할 수 있으며, 따라서 보케(Bokeh) 사진의 덜 초점이 맞춰진 영역들에 비하여 피사체가 훨씬 더 두드러지게 나타난다. 이러한 깊이 정보에 대한 필요성은, 예를 들어, 2개의 카메라들 중 적어도 한 카메라의 f-스톱(f-stop)이 보케 이미지(인-포커스 및 아웃-오브-포커스 영역들이 선명하게 구별가능함)를 캡처하도록 변경될 수 없는 경우에 중요할 수 있다.

또한, 다음과 같은 점이 알려져 있는바, IR 정보는 또한 장면 또는 피사체에서 이미지 및 미세 디테일들의 검출을 크게 향상시킬 수 있는데, 예를 들어, 카메라가 RGB 이미지를 캡처하도록 배열되는 경우 카메라에 의해 캡처되지 않았을 수 있는 디테일들을 제공함으로써 이미지 및 미세 디테일들의 검출을 크게 향상시킬 수 있다. IR 이미지가 제공하는 증가된 디테일로 인하여, IR 사진은 예를 들어, 신원 검출에 매우 유용하다. 예를 들어, 스마트폰의 콘텐츠에 사람이 액세스할 수 있도록 얼굴 인식을 요구하는 스마트폰은 사람 얼굴의 IR 정보를 캡처할 가능성이 높다. 디지털 카메라에 사용되는 센서 칩은 이미지 캡처시 IR 정보를 감지할 수 있는 경우가 많다.

따라서, 원하는 경우 환경의 IR 이미지 뿐만 아니라 RGB 이미지도 캡처할 수 있는 디바이스가 유용하다. 원칙적으로는, 이것이 허용되기 위해서는 총 3 대의 카메라가 이용될 수 있는바, 3개의 카메라들 중 2개는 RGB 카메라이고 1개는 IR 카메라이다. 하지만, 이것은 각각의 카메라의 제조 비용 때문에 고가의 솔루션이다. 본 명세서에 설명된 일례들은 단지 2개의 카메라를 사용하여 원하는 경우 듀얼 카메라 RGB 사진 및 IR 이미징을 가능케하는 디바이스를 제공한다.

상기 디바이스는 예를 들어 스마트폰, 전용 디지털 카메라, 태블릿 컴퓨터 등일 수 있으며, 디바이스의 제 1 카메라 및 제 2 카메라는 각각 장면의 이미지를 캡처하도록 배열된다. 일례에서 상기 이미지는 동시에 캡처될 수 있다. 결과적인 2개의 RGB 이미지들 또는 1개의 RGB 이미지와 IR 이미지는 별도의 이미지들로서 사용되거나 저장될 수 있다. 이후, 상기 별도의 이미지들은 나중에 편집 및/또는 결합될 수 있다. 대안적으로 또는 추가적으로, 듀얼 카메라 사진 및 선택적으로는 IR 이미징의 피처들을 포함하는, 장면에 대한 하나의 고품질 이미지를 유도하기 위해 상기 이미지들이 결합될 수 있다.

이제 도 1을 참조하면, 제 1 카메라(100)와 제 2 카메라(102)를 포함하는 예시적인 디바이스(10)가 도시되며, 여기서 제 1 카메라(100)는 제 1 RGB 이미지를 캡처하도록 구성되고, 제 2 카메라(102)는 RGB 이미지 또는 IR 이미지를 선택적으로 캡처하기 위한 RGB 및 IR 카메라이다. 2개의 카메라들(100, 102)의 일례는 아래에서 더 자세히 설명된다. 선택적으로, 디바이스(10)는 장면 또는 피사체를 조명하기 위해 IR을 생성하기 위한 IR 플래시(103)를 포함할 수 있다.

본 일례에서, 디바이스(10)는 스마트폰(10)이며, 이는 스마트폰(10)의 후면에 제 1 카메라(100), 제 2 카메라(102) 및 IR 플래시(103)를 포함한다. 추가적으로 또는 대안적으로, 스마트폰(10)은 2개의 카메라들(100, 102)를 포함할 수 있으며, 선택적으로는 스마트폰(10)의 전면에 있는 IR 플래시(103)를 포함할 수 있다. 다른 예에서, 디바이스(10)는 카메라, 태블릿, 개인용 컴퓨터, 랩톱 등일 수 있다. 각 카메라(100, 102)는 동일하거나 다른 유형의 렌즈를 가질 수 있다. 예를 들어, 제 1 카메라(100)는 광각 카메라이고, 제 2 카메라(102)는 망원(telephoto) 카메라일 수 있다.

도 2는 도 1의 디바이스(10)의 2개의 카메라(100, 102)의 예시적인 배열의 평면도이다. 제 1 카메라(100)는 장면의 RGB 이미지를 캡처하도록 구성된다. 이 예에서, 제 1 카메라(100)는 센서(104), 카메라 셔터(106) 및 렌즈 배열(108)을 포함한다. 카메라 셔터(106)는 예를 들어 MEMS(마이크로 전자기계 시스템) 셔터를 포함할 수 있다. 제 1 카메라(100)가 사진을 찍을 필요가 있을 때, 센서(104)는 장면의 RGB 정보를 수신하도록 구성된다.

종종, 카메라 센서 칩은 카메라가 RGB 이미지를 캡처하도록 배열된 경우에도 자동으로 IR 정보를 캡처한다. 이러한 원치않는 IR 정보의 존재를 최소화하거나 회피하기 위해, 일부 실시예들에서 제 1 카메라(100)는 IR을 차단하고 따라서 IR이 제 1 카메라(100)의 센서(104)에 도달하는 것을 방지하기 위한 IR-블록 필터(미도시)를 포함할 수 있다. 예를 들어, IR-블록 필터는 고정될 수 있으며, 따라서 IR-블록 필터는 항상 IR 정보를 차단하고 RGB 정보만 카메라를 통과할 수 있도록 구성된다. IR-블록 필터는 당 업계에 공지된 바와 같이, IR의 특정 파장 또는 특정 파장 범위를 반사 및/또는 차단하도록 구성될 수 있는 반면에, 가시광은 통과시킨다.

본 일례에서, 제 2 카메라(102)는 센서(110), 카메라 셔터(112), 렌즈 배열(114) 및 IR-통과 필터(116)를 포함하는 것으로 도시된다. 본 일례에서 제 2 카메라(102)는 RGB 및 IR 카메라(102)로 간주될 수 있다.

제 2 카메라(102)로부터 RGB 이미지가 요구되는 경우, IR-통과 필터(116)는 "개방(open)" 되도록 작동될 수 있으며 따라서, IR-통과 필터(116)는 임의의 방사가 카메라 센서(110)에 도달하는 것을 방해하지 않는다. 따라서, RGB(및 IR) 방사는 통과되어 카메라(100)에 의해 캡처될 수 있으며, 선택적으로 제 2 카메라(102)가 RGB 이미지를 캡처할 수 있게 한다.

제 2 카메라로부터 적외선 이미지가 요구되는 경우, IR-통과 필터(116)는 "폐쇄(close)" 되도록 작동될 수 있으며 따라서, IR-통과 필터(116)는 오직 IR 방사만이 센서(110)에 도달하는 것을 허용하며, RGB 광은 차단한다. 이에 의해 제 2 카메라(102)는 선택적으로 IR 이미지만을 캡처한다.

RGB(및 IR) 정보가 카메라에 도달하는 것을 선택적으로 허용하는 "개방된" IR-통과 필터(116) 및 RGB 정보를 선택적으로 차단하고 IR 정보만을 통과하도록 허용하는 "폐쇄된" IR-통과 필터(116)에 대한 전술한 정의들은, 본 명세서 전반에 걸쳐 적용될 것이다.

IR 플래시(103)가 존재하는 경우, IR 플래시(103)는 IR 이미지가 제 2 카메라(102)에 의해 캡처될 때, 적외선(IR)으로 캡처되도록 장면을 조명할 수 있다.

도 3a 및 3b는 장면의 이미지를 캡처하기 위한 두 가지 다른 예시적인 구성에서 도 2의 배열을 도시한다.

도 3a는 2개의 RGB 이미지를 캡처하기 위한 도 2의 배열에 대한 예시적인 구성을 도시한다. 제 1 카메라(100)의 셔터(106)가 개방된다. 이 경우, 제 1 카메라(100)는 제 1 RGB 이미지를 캡처하도록 배열된다. 제 2 카메라(102)의 셔터(112)도 개방되어 제 2 카메라(102)가 이미지를 캡처하도록 배열된다. 본 일례에서 제 2 카메라(102)의 IR-통과 필터(116)는 개방되며, 따라서 RGB(및 IR) 정보가 제 2 카메라(102)에 도달할 수 있다. 따라서, 본 일례에서, 제 2 카메라(102)는 장면의 제 2 RGB 이미지를 캡처하도록 배열된다.

도 3b는 하나의 RGB 이미지와 하나의 IR 이미지를 캡처하기 위한 도 2의 배열의 또 다른 구성예를 도시한다. 이전과 같이, 제 1 카메라(100)의 셔터(106)는 개방되고, 제 1 카메라(100)는 제 1 RGB 이미지를 촬영하도록 배열된다. 제 2 카메라(102)의 셔터(112)도 개방되며, 따라서 제 2 카메라(102)가 이미지를 캡처하도록 배열된다. 하지만, IR 통과 필터(116)가 폐쇄되므로, RGB 정보는 차단되고 오직 IR 정보만이 카메라(102)에 도달할 수 있다. 따라서, 제 2 카메라(102)의 센서(110)는 IR 정보만을 수신하고, 제 2 카메라(102)는 IR 이미지를 캡처하도록 배열된다.

도 4는 예시적인 제 2 디바이스(20)를 도시하며, 제 2 디바이스(20)는 제 1 RGB 이미지를 캡처하도록 배열된 제 1 카메라(100), 및 IR 이미지만을 캡처하기 위한 제 2 카메라(300)를 포함한다.

예시적인 디바이스(20)에서, 제 1 카메라(100)는도 1 내지 도 3b에 개시된 제 1 일례에 대해 전술한 바와 같다. 본 일례에서, 디바이스(20)는 스마트폰(20)이며, 스마트폰(20)의 후면에 제 1 카메라(100), 제 2 카메라(300) 및 IR 플래시(103)를 포함한다. 추가적으로 또는 대안적으로, 스마트폰(20)은 2개의 카메라들(100, 300)을 포함할 수 있으며 선택적으로, 스마트폰(20)의 전면 상의 IR 플래시(103)를 포함할 수 있다. 다른 일례에서, 디바이스(20)는 카메라, 태블릿, 개인용 컴퓨터, 랩톱 등일 수 있다. 선택적으로, 디바이스(20)는 전술한 바와 같이 IR 플래시(103)를 포함할 수 있다.

도 5는 도 4의 디바이스(20)의 2개의 카메라들(100, 300)의 예시적인 배열의 평면도이다. 전술한 바와 같이, 제 1 카메라(100)는 장면의 RGB 이미지를 캡처하도록 배열된다. 제 2 카메라(300)는 IR 이미지를 캡처하도록 배치된 IR 전용 카메라(300)이다. 제 2 카메라(300)는 센서(302), 카메라 셔터(304), 고정형 IR-통과 필터(306) 및 렌즈 배열(308)을 포함한다. 카메라 셔터(304)는 예를 들어 MEMS 셔터를 포함할 수 있다. 고정형 IR-통과 필터(306)는 IR 정보만이 센서(302)로 통과되도록 배열된다. 따라서, 고정형 IR 필터(116)는 제 2 카메라(300)가 오직 IR 이미지만을 캡처하도록 할 것이다. 앞서 사용된 문구들에 따르면, IR-통과 필터(116)는 IR 정보가 항상 제 2 카메라(300)에 도달하도록 하는 반면에 RGB 정보를 차단하도록 구성되기 때문에, 고정형 IR-통과 필터(116)는 영구적으로 폐쇄된 IR-통과 필터(116)로 간주될 수 있다.

도 6은 장면 이미지를 캡처하기 위한 예시적인 구성에서 도 5의 배열을 보여준다. 제 1 카메라(100)의 셔터(106)가 개방된다. 이 경우, 제 1 카메라(100)는 제 1 RGB 이미지를 캡처하도록 배열된다.

제 2 카메라(300)의 셔터(304)는 개방되고, 제 2 카메라(300)는 장면의 IR 이미지를 촬영하도록 배열된다. 제 2 카메라(300)의 고정형 IR-통과 필터(306)는 폐쇄 닫힌 상태로 유지되며, 따라서 제 2 카메라(300)는 IR만이 카메라(300)에 도달하고 RGB 정보는 차단하도록 배열된다.

도 6에 도시된 예시적인 구성은 2개의 RGB 이미지를 얻기 위해 사용될 수 있는데, 여기서 제 1 RGB 이미지는 제 1 카메라(100)의 RGB 이미지이고, 제 2 RGB 이미지는 제 1 카메라(100)의 RGB 이미지와 제 2 카메라의 IR 이미지를 이용한다. 특히, 일 실시예에서 제 1 카메라(100)의 RGB 이미지와 제 2 카메라(300)의 IR 이미지는 프로세서(미도시)로 전송될 수 있다. 프로세서는 제 1 카메라(100) 및 제 2 카메라(300)를 포함하는 디바이스(20)에 통합될 수 있거나, 또는 상기 프로세서는 별도의 엔티티에 존재할 수 있다. 프로세서는 제 1 카메라(100)에 의해 캡처된 RGB 이미지로부터의 색상 정보를 이용하여, 당업계에 공지된 이미지 채색법, 색 복원 프로세스 또는 예측 채색 프로세스에 의해, 제 2 카메라(300)의 IR 이미지를 채색하도록 구성될 수 있다. 즉, 제 1 카메라(100)에 의해 캡처된 RGB 이미지의 RGB 데이터는, 제 2 카메라(300)에 의해 캡처된 IR 이미지를 제 2 RGB 이미지로 변환하는 프로세스에서 이용된다.

IR 만을 센서로 통과시키는 고정된 IR-통과 필터(306)를 갖는 제 2 카메라(300)에 대한 대안으로서, 제 2 카메라(300)는 예를 들어 IR 센서 칩을 포함할 수 있다. IR 센서 칩 또는 IR 카메라(300)는 대략 700nm - 1mm의 IR 파장 범위 내에 속하는 방사만을 수신하도록 구성될 수 있다. IR 센서 칩(300)은 일 예에서 센서 칩, 및 IR 방사만을 통과시키도록 구성된 커버링 물질을 포함할 수 있다. 일례에서, 커버링 물질은 IR 방사만 통과시키도록 구성 IR 전용 유리를 포함할 수 있다. 다른 예에서, IR 센서 칩(300)은 모든 RGB 정보를 차단하고 IR 정보가 제 2 카메라(300)에 도달할 수 있도록 구성된 커버링 물질을 포함할 수 있다.

2개의 카메라들(100, 102; 100, 300) 중 적어도 하나는, 이미지가 캡처될 때 장면에 대한 이미지의 오토포커싱을 가능하게하는 오토포커스 액추에이터를 포함할 수 있다. 대안적으로 또는 추가적으로, 2개의 카메라들(100, 102; 100, 300) 중 적어도 하나는, 인쇄 배선 기판(printed wired board: PWB)/인쇄 회로 기판(PCB) 이미지 센서를 포함할 수 있다.

다음이 이해되어야하는바, 본 명세서에서 언급된 프로세서 또는 프로세싱 시스템 또는 프로세싱 회로는 실제로는 단일 칩 또는 집적회로 또는 복수의 칩들 또는 집적회로들로 의해 제공될 수 있으며, 선택적으로는 칩셋, 주문형 집적회로(ASIC), FPGA(Field-Programmable Gate Array), 디지털 신호 프로세서(Digital Signal Processor: DSP), 그래픽 프로세싱 유닛(Graphics Processing Unit: GPU) 기타 등등으로 제공될 수 있다. 칩 또는 칩들은 데이터 프로세서 또는 프로세서들, 디지털 신호 프로세서 또는 프로세서들, 기저 대역 회로 및 무선 주파수 회로 중 적어도 하나를 구현하기 위한 회로들(펌웨어 포함)을 포함할 수 있으며, 이들은 예시적인 실시예에 따라 동작하도록 구성될 수 있다. 이와 관련하여, 예시적인 실시예들은 (비일시적) 메모리에 저장되고 프로세서에 의해 실행가능한 컴퓨터 소프트웨어에 의해, 또는 하드웨어에 의해, 또는 유형적으로 저장된 소프트웨어와 하드웨어(및 유형적으로 저장된 펌웨어)의 조합에 의해 적어도 부분적으로 구현될 수 있다.

여기서는 데이터를 저장하기 위한 데이터 저장소를 참조할 것이다. 이것은 단일 디바이스 또는 복수 디바이스들에 의해 제공될 수 있다. 적합한 디바이스는 예를 들어 하드 디스크 및 비휘발성 반도체 메모리를 포함한다.

도면들을 참조하여 본 명세서에 설명된 실시예들의 적어도 일부 양상들은 프로세싱 시스템 또는 프로세서에서 수행되는 컴퓨터 프로세스를 포함하지만, 본 발명은 또한 본 발명을 실행하도록 적응된 컴퓨터 프로그램, 특히 캐리어 상의 또는 캐리어 내의 컴퓨터 프로그램으로 확장된다. 프로그램은 비일시적 소스 코드, 객체 코드, 코드 중간 소스 및 객체 코드(예: 부분적으로 컴파일된 형태)의 형태이거나 본 발명에 따라 프로세스를 구현하는데 사용하기에 적합한 기타 비일시적 형태일 수 있다. 캐리어는 프로그램을 운반할 수 있는 모든 엔티티 또는 디바이스일 수 있다. 예를 들어, 캐리어는 SSD(solid-state drive) 또는 다른 반도체 기반 RAM과 같은 저장 매체; 예를 들어, CD ROM 또는 반도체 ROM 과 같은 ROM; 예를 들어, 플로피 디스크 또는 하드 디스크와 같은 자기 기록 매체; 일반적인 광학 메모리 디바이스; 기타 등등을 포함할 수 있다.

본 명세서에 기재된 일례들은 본 발명의 실시예들의 예시적인 사례로서 이해되어야 한다. 추가적인 실시예 및 일례들이 예상된다. 임의의 하나의 일례 또는 실시예와 관련하여 설명된 임의의 피처는 단독으로 또는 다른 피처와 조합되어 사용될 수 있다. 또한, 임의의 하나의 일례 또는 실시예와 관련하여 설명된 임의의 피처는 또한 임의의 다른 일례 또는 실시예의 하나 이상의 피처들, 또는 임의의 다른 일례 또는 실시예의 임의의 조합과 조합되어 사용될 수 있다. 더욱이, 여기에 설명되지 않은 균등물 및 수정예들은 또한 청구 범위에 정의된 본 발명의 범위 내에서 사용될 수 있다.

Claims

정확히(exactly) 2개의 카메라들(100, 102; 100, 300)를 갖는 디바이스(10, 20)로서,
제 1 카메라(100)는 RGB 이미지를 캡처하기 위한 적색-녹색-청색(RGB) 카메라이고;
제 2 카메라(102, 300)는 아래의 (i) 또는 (ii) 중 하나이되,
(i) RGB 이미지 및 적외선(IR) 이미지를 캡처하기 위한 RGB 및 IR 카메라(102), 제 2 카메라(102)가 RGB 이미지 또는 IR 이미지를 선택적으로 캡처하는데 사용될 수 있도록 상기 제 2 카메라(102)는 적외선(IR)만을 통과시키도록 선택적으로 동작할 수 있는 선택적으로 동작가능한 IR 통과 필터(116)를 가지며; 또는
(ii) IR 이미지를 캡처하기 위한 IR 카메라(300), 및 상기 디바이스(20)는 제 1 카메라(100)에 의해 캡처된 이미지로부터의 RGB 정보를 사용하여 제 2 카메라(300)에 의해 캡처된 IR 이미지로부터 RGB 이미지를 생성하도록 상기 제 2 카메라(300)에 의해 캡처된 IR 이미지를 프로세싱하는 프로세서를 포함하며;
이에 의해서, 상기 디바이스(10, 20)는 장면에 대한 2개의 RGB 이미지들 또는 장면에 대한 하나의 RGB 이미지 및 IR 이미지를 2개의 카메라들(100, 102; 100, 300)로부터 선택적으로 제공할 수 있는 것을 특징으로 하는 디바이스.
제1항에 있어서,
상기 제 2 카메라(300)가 IR 카메라(300)인 경우, IR 카메라(300)는 장면의 IR 정보를 캡쳐하기 위한 IR 센서 칩을 포함하는 것을 특징으로 하는 디바이스.
제1항 또는 제2항에 있어서,
상기 장면의 단일 이미지를 생성하기 위해, 상기 장면의 2개의 RGB 이미지들 또는 상기 장면의 하나의 RGB 이미지 및 하나의 IR 이미지를 결합하는 프로세서를 포함하는 것을 특징으로 하는 디바이스.
제1항 또는 제2항에 있어서,
반사된 IR 방사가 제 2 카메라(102, 300)에 의해 캡처될 수 있도록 IR로 장면을 조명하는 IR 플래시(103)를 포함하는 것을 특징으로 하는 디바이스.
제1항 또는 제2항에 있어서,
상기 제 1 카메라(100)와 제 2 카메라(102, 300) 중 적어도 하나는 장면의 이미지를 캡처하는 고정된 렌즈 어셈블리를 포함하는 것을 특징으로 하는 디바이스.
제1항 또는 제2항에 있어서,
상기 제 2 카메라(102)가 RGB 및 IR 카메라(102)인 경우,
상기 선택적으로 동작가능한 IR 통과 필터(116)는 마이크로 전자기계 시스템(MEMS) 셔터를 포함하는 것을 특징으로 하는 디바이스.
제1항 또는 제2항에 있어서,
상기 디바이스(10, 20)는 모바일 사용자 디바이스(10, 20)인 것을 특징으로 하는 디바이스.
정확히 2개의 카메라들(100, 102, 100, 300)을 갖는 디바이스(10, 20)를 사용하여 장면에 대한 2개의 이미지들을 생성하는 방법으로서,
디바이스(10, 20)의 제 1 카메라(100)에 의해 장면의 RGB 이미지를 캡처하는 단계;
디바이스(10, 20)의 제 2 카메라(102, 300)에 의해 장면의 제 2 이미지를 캡처하는 단계, 상기 제 2 이미지는 장면의 RGB 이미지 또는 IR 이미지이며;
상기 IR 제 2 이미지는 다음 중 하나에 의해 획득되되:
(i) 제 2 카메라(102)가 오직 IR 이미지만을 캡처하도록, 제 2 카메라(102)가 RGB 및 IR 카메라(102)인 경우, 제 2 카메라(102)의 IR-통과 필터(116)를 선택적으로 활성화함으로써 상기 IR 제 2 이미지가 획득되거나; 또는
(ii) 제 2 카메라(300)가 IR 이미지를 캡처하기 위한 IR 카메라(300)인 경우, 장면의 IR 이미지를 캡처함으로써 상기 IR 제 2 이미지가 획득되며; 그리고
상기 RGB 제 2 이미지는 다음 중 하나에 의해 획득되되:
(i) 제 2 카메라(102)가 RGB 이미지를 캡처하도록, 제 2 카메라(102)가 RGB 및 IR 카메라(102)인 경우, 제 2 카메라(102)의 IR-통과 필터(116)를 선택적으로 비활성화함으로써 상기 RGB 제 2 이미지가 획득되거나; 또는
(ii) 제 2 카메라(300)가 IR 이미지를 캡처하기 위한 IR 카메라인 경우, 장면의 IR 이미지를 캡처하고, 그리고 제 1 카메라(100)에 의해 캡처된 이미지로부터의 RGB 정보를 이용하여 제 2 카메라(300)에 의해 캡처된 IR 이미지로부터 RGB 이미지를 생성하도록 상기 디바이스(20)의 프로세서에 의해 IR 이미지를 프로세싱함으로써 상기 RGB 제 2 이미지가 획득되는 것을 특징으로 하는 방법.
제8항에 있어서,
장면에 대한 단일 이미지를 생성하도록, 제 1 카메라(100)에 의해 캡쳐된 장면의 RGB 이미지와 제 2 카메라(102, 300)에 의해 캡쳐된 장면의 제 2 이미지를 결합하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제8항 또는 제9항에 있어서,
반사된 IR 방사가 디바이스(10, 20)의 제 2 카메라(102, 300)에 의해 캡처될 수 있도록, 디바이스(10, 20)의 IR 플래시(103)로부터 IR로 장면을 조명하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제8항 또는 제9항에 있어서,
상기 디바이스(10, 20)는 모바일 사용자 디바이스(10, 20)인 것을 특징으로 하는 방법.
제8항 또는 제9항에 있어서,
상기 IR 통과 필터(116)는 마이크로 전자기계 시스템(MEMS) 셔터를 포함하는 것을 특징으로 하는 방법.