KR102306304B1 - 듀얼 카메라 기반 이미징 방법과 장치 및 저장 매체 - Google Patents

듀얼 카메라 기반 이미징 방법과 장치 및 저장 매체 Download PDF

Info

Publication number
KR102306304B1
KR102306304B1 KR1020207009347A KR20207009347A KR102306304B1 KR 102306304 B1 KR102306304 B1 KR 102306304B1 KR 1020207009347 A KR1020207009347 A KR 1020207009347A KR 20207009347 A KR20207009347 A KR 20207009347A KR 102306304 B1 KR102306304 B1 KR 102306304B1
Authority
KR
South Korea
Prior art keywords
camera
image
depth information
blurring
dual
Prior art date
Application number
KR1020207009347A
Other languages
English (en)
Other versions
KR20200042536A (ko
Inventor
딴 오우양
궈휘 딴
Original Assignee
광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 filed Critical 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Publication of KR20200042536A publication Critical patent/KR20200042536A/ko
Application granted granted Critical
Publication of KR102306304B1 publication Critical patent/KR102306304B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/23232—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H04N5/22525—
    • H04N5/2254—
    • H04N5/2257—
    • H04N5/2258—
    • H04N5/23212—
    • H04N5/23245—
    • H04N5/2351—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

듀얼 카메라 기반 이미징 방법 및 장치가 제공되며, 상기 방법은 다음을 포함한다: 주변 휘도가 판단된 후, 메인 카메라 및 보조 카메라는 상기 주변 휘도에 따라 듀얼 카메라들로부터 판단되며, 상기 메인 카메라는 제1이미지를 촬영하는 데 사용되고, 상기 보조 이미지는 제2이미지를 촬영하는 데 사용되며, 제 1 이미지에 따라 제 3 이미지가 생성되고, 상기 제3이미지의 심도 정보는 상기 제1이미지 및 상기 제2이미지에 따라 계산되며, 및 상기 제3이미지의 상기 심도 정보에 따라 상기 제3이미지에 대해 블러링 처리가 추가로 수행되어 제4이미지를 획득한다.

Description

듀얼 카메라 기반 이미징 방법과 장치 및 저장 매체
본 발명은 이동 단말기들의 기술 분야에 관한 것으로, 더욱 자세하게는 듀얼 카메라 기반 이미징 방법과 장치 및 저장 매체에 관한 것이다.
듀얼 카메라들은 이동 단말 장치들에서 널리 사용되었다. 상기 듀얼 카메라들은 통상적으로 망원 렌즈들(telephoto lens)과 광각 렌즈들(wide-angle lens)을 포함한다. 상기 망원 렌즈들은 사진을 찍는 데 사용되지만, 상기 광각 렌즈들은 후속 이미지 블러링 처리를 위해 상기 사진의 심도 정보의 계산을 지원하는 데 사용된다.
종래의 듀얼 카메라들은 고-휘도 환경(high-luminance environment)에서 이미징 효과가 양호하지만, 어두운 환경(dark environment)에서는 이미징 효과가 불량하다.
본 발명 내용의 실시 예들의 제1측면에 따르면, 듀얼 카메라 기반 이미징 방법이 개시되며, 듀얼 카메라들은 제1카메라 및 제2카메라를 포함하고, 상기 제1카메라의 해상도는 상기 제2카메라의 해상도보다 높고, 상기 제2카메라의 ISO는 상기 제1카메라의 ISO보다 높다. 상기 방법은: 메인 카메라 및 보조 카메라는 상기 주변 휘도에 따라 상기 듀얼 카메라들로부터 판단되는 동작; 상기 메인 카메라로 촬영된 제1이미지에 따라 제3이미지가 생성되는 동작; 상기 제1이미지 및 상기 보조 카메라로 촬영된 제2이미지에 따라 상기 제3이미지의 심도 정보가 계산되는 동작; 상기 제3이미지의 상기 심도 정보에 따라 상기 제3이미지에 대해 블러링 처리가 수행되어, 제4이미지를 획득하는 동작을 포함한다.
본 발명의 상기 실시 예들의 듀얼 카메라 기반 이미징 방법에 따르면, 상기 메인 및 보조 카메라들의 성능은 상기 현재의 주변 휘도와 일치할 수 있고, 이미징 효과가 보장되며, 종래 기술의 어두운 환경에서 듀얼 카메라들의 비교적 열악한 이미징 효과의 기술적 문제가 해결된다.
본 발명의 상기 실시 예들의 제2측면에 따르면, 이동 단말기가 개시된다. 상기 이동 단말기는 제1카메라, 제2카메라, 프로세서, 컴퓨터 프로그램을 저장하는 메모리를 포함한다. 상기 제1카메라는 상기 제2카메라보다 해상도가 높고, 상기 제2카메라보다 감도가 낮으며, 상기 프로세서에 의해 실행될 때 상기 컴퓨터 프로그램은 상기 프로세서로 하여금 상기 방법을 구현하게 한다.
본 발명의 실시 예들의 제3측면에 따르면, 컴퓨터 판독 가능한 저장 매체가 개시되고, 컴퓨터 프로그램은 그 내부에 저장될 수 있고, 프로세서에 의해 실행되어, 상기 제1측면에 따른 듀얼 카메라 기반 이미징 방법을 구현할 수 있다.
본 발명의 추가적인 측면들 및 이점들은 아래 설명에서 부분적으로 제시될 것이며, 아래 설명들로부터 부분적으로 명백해지거나 본 발명을 구현함으로써 이해될 수 있다.
본 발명의 전술한 및/또는 추가적이 측면들 및 장점들은 상기 도면들과 조합하여 아래 실시 예들에 대한 상기 설명들로부터 명백하고, 쉽게 이해하게 될 것이다.
도 1은 본 발명의 일 실시 예에 따른 듀얼 카메라 기반 이미징 방법의 순서도를 도시한다.
도 2는 삼각 측량 레인징 원리의 개략도를 도시한다.
도 3은 시차 이미지의 개략도를 도시한다.
도 4는 본 발명의 일 실시 예에 따른 듀얼 카메라 기반 다른 이미징 방법의 순서도를 도시한다.
도 5는 본 발명의 일 실시 예에 따른 듀얼 카메라 기반 이미징 장치의 구조도를 도시한다.
도 6은 본 발명의 다른 실시 예에 따른 단말 장치의 구조도를 도시한다.
도 7은 일 실시 예에 따른 이미지 처리 회로의 개략도를 도시한다.
이하, 본 발명의 실시 예들에 대하여 상세하게 설명한다. 상기 실시 예들의 예들이 상기 도면들에 도시되어 있으며, 동일하거나 유사한 참조 부호는 반드시 동일하거나 유사한 컴포넌트들 또는 동일하거나 유사한 기능들을 가진 컴포넌트들을 나타낸다. 상기 도면들과 결합하여 아래에 설명될 상기 실시 예들은 예시적이고, 본 발명을 설명하기 위한 것이며, 본 발명에 대한 제한으로서 이해되어서는 안 된다.
본 발명의 상기 실시 예들에 따른 듀얼 카메라 기반 이미징 방법들 및 장치들이 상기 도면들과 함께 이하에서 설명될 것이다.
본 발명의 상기 실시 예들에 따른 상기 이미징 방법을 실행하기 위한 상기 장치는 듀얼 카메라들을 구비한 하드웨어 장치, 예를 들어, 모바일 폰, 태블릿 컴퓨터, 개인 휴대용 정보 단말기 및 웨어러블 장치일 수 있다. 상기 웨어러블 장치는 스마트 밴드, 스마트 워치, 스마트 글라스 등일 수 있다.
상기 듀얼 카메라들을 구비한 상기 하드웨어 장치는 촬영 세트(shooting set)를 포함하며, 상기 촬영 세트는 제1 카메라, 및 제2카메라를 포함한다. 상기 제1카메라 및 상기 제2카메라 각각에는 렌즈, 이미지 센서 및 보이스 코일 모터가 제공된다. 상기 듀얼 카메라의 상기 제1카메라와 상기 제2카메라는 각각 카메라 커넥터와 연결되어, 상기 보이스 코일 모터들은 상기 카메라 커넥터들에서 제공하는 전류 값들에 따라 구동되며, 상기 제1카메라 및 상기 제2카메라는 상기 보이스 코일 모터들에 의해 구동되어 상기 렌즈와 상기 이미지 센서들 사이의 거리를 조절하여 초점을 맞춘다.
본 실시 예들에서 제공되는 듀얼 카메라들에서, 상기 제1카메라의 해상도(resolution)는 상기 제2카메라의 해상도보다 높으며, 상기 제2카메라의 감도(예를 들어, ISO 값)는 상기 제1카메라의 감도(sensitivity)보다 높다. 따라서, 우선 상기 제2카메라만 포커싱에 사용될 수 있다. 상기 제2카메라의 포커싱이 완료되면, 상기 제2카메라의 상기 모터의 제2구동 전류 값이 획득된다. 또한, 상기 제1카메라와 상기 제2카메라가 상기 동일한 초점 거리를 가지는 조건 하에서, 상기 제1카메라의 상기 모터의 제1구동 전류 값(first driving current value)은 상기 제2구동 전류 값(second driving current value)에 따라 판단된다. 그리고, 상기 제1구동 전류 값은 포커싱을 위해 상기 제1카메라를 구동하는 데 사용된다. 상기 제2카메라의 해상도가 상대적으로 낮기 때문에, 이미지 처리 속도가 빠르고, 초점 속도가 증가하며, 종래 기술에서 듀얼 카메라들의 낮은 초점 속도의 기술적 문제가 해결된다.
제1측면에서, 듀얼 카메라 기반 이미징 방법이 제공되며, 상기 듀얼 카메라들은 제1카메라와 제2카메라를 포함하며, 상기 제1카메라는 상기 제2카메라보다 해상도가 높고, 제2카메라보다 감도가 낮으며, 상기 방법에는 다음 동작들을 포함한다. 메인 카메라 및 보조 카메라는 상기 주변 휘도에 따라 상기 듀얼 카메라들로부터 판단된다. 상기 메인 카메라로 촬영된 제1이미지에 따라 제3이미지가 생성된다. 상기 제3이미지의 심도 정보는 상기 제1이미지 및 상기 보조 카메라로 촬영된 제2이미지에 따라 계산된다. 상기 제3이미지의 상기 심도 정보에 따라 상기 제3이미지에 대해 블러링 처리가 수행되어, 제4이미지를 획득한다.
예를 들어, 상기 주변 휘도에 따라 상기 듀얼 카메라들로부터 상기 메인 카메라 및 보조 카메라를 판단하는 관점에서, 상기 주변 휘도가 임계 휘도보다 높은 경우, 상기 제1카메라는 상기 메인 카메라인 것으로 판단될 수 있고, 상기 제2카메라는 상기 보조 카메라인 것으로 판단될 수 있으며; 또는 상기 주변 휘도가 상기 임계 휘도보다 높지 않은 경우, 상기 제2카메라는 상기 메인 카메라인 것으로 판단되고, 상기 제1카메라는 상기 보조 카메라인 것으로 판단될 수 있다.
예를 들어, 상기 제1이미지에 따라 상기 제3이미지를 생성하는 관점에서, 상기 메인 카메라의 시야각(FOV)이 상기 보조 카메라의 시야각 이하인 경우, 상기 제1이미지는 상기 제3이미지인 것으로 판단될 수 있다.
예를 들어, 상기 제1이미지에 따라 상기 제3이미지를 생성하는 관점에서, 상기 메인 카메라의 시야각(FOV)이 상기 보조 카메라의 시야각보다 큰 경우, 상기 제1이미지는 크롭되어 상기 제2이미지와 동일한 뷰를 가지는 제3이미지를 획득할 수 있다.
예를 들어, 상기 주변 휘도를 판단하는 관점에서, 상기 제1카메라 및 상기 제2카메라의 상기 감도들에 대한 ISO(International Organization for Standardization) 값들이 판독될 수 있고, 상기 주변 휘도는 상기 ISO 값들에 따라 판단될 수 있다.
예를 들어, 상기 메인 카메라를 사용하여 상기 제1이미지를 촬영하고, 상기 보조 카메라를 사용하여 상기 제2이미지를 촬영하는 경우, 다음과 같은 동작들이 수행될 수 있다. 상기 제2카메라는 포커싱을 위해 구동될 수 있다. 상기 제2카메라의 포커싱이 완료되면, 상기 제2카메라의 모터의 제2구동 전류 값이 획득될 수 있다. 상기 제1카메라의 모터의 제1구동 전류 값은 상기 제2구동 전류 값에 따라 판단될 수 있다. 상기 제1카메라는 상기 제1구동 전류 값을 이용하여 포커싱을 위해 구동될 수 있다.
예를 들어, 상기 제1이미지 및 상기 제2이미지에 따른 상기 제3이미지의 심도 정보를 계산하는 관점에서, 상기 제1이미지 및 상기 제2이미지 모두의 다수의 포인트들에 대해, 상기 제1이미지와 상기 제2이미지 사이의 상기 다수의 포인트들 각각의 변위(displacement)가 계산될 수 있으며, 상기 변위들과 관련된 정보는 상기 심도 정보로 간주될 수 있다.
예를 들어, 상기 제3이미지의 상기 심도 정보에 따라 상기 제3이미지에 대해 블러링 처리를 수행하는 관점에서, 다음과 같은 동작들이 수행될 수 있다. 상기 제3이미지의 전경 영역 및 배경 영역이 판단될 수 있다. 상기 심도 정보 및 포커싱 영역에 따라 상기 전경 영역의 제1심도 정보 및 상기 배경 영역의 제2심도 정보가 획득될 수 있다. 상기 제1심도 정보 및 상기 제2심도 정보에 따라 블러링 강도(blurring intensity)가 생성될 수 있다. 블러링 처리는 상기 블러링 강도에 따라 상기 제3이미지의 상기 배경 영역에 대해 수행될 수 있다.
예를 들어, 상기 블러링 강도에 따라 상기 제3이미지의 상기 배경 영역에 대한 블러링 처리를 수행하는 관점에서, 상기 제3이미지의 상기 배경 영역에서 각 픽셀의 블러링 계수(blurring coefficient)는 상기 픽셀의 블러링 강도(blurring intensity) 및 심도 정보(depth information)에 따라 획득될 수 있고, 블러링 처리는 각 픽셀의 상기 블러링 계수에 따라 상기 제3이미지의 상기 배경 영역에 대해 수행될 수 있다. 상기 블러링 계수는 상기 블러링 강도와 관련이 있으며, 상기 블러링 계수가 높을수록, 상기 블러링 강도가 높아진다.
예를 들어, 상기 제3이미지의 상기 심도 정보에 따라 상기 제3이미지에 대한 블러링 처리를 수행하는 관점에서, 다음의 동작들이 수행될 수 있다. 상기 제3이미지의 배경 영역이 판단될 수 있다. 상기 배경 영역의 제2심도 정보는 상기 심도 정보 및 포커싱 영역에 따라 획득될 수 있다. 상기 제3이미지의 상기 배경 영역의 상기 제2심도 정보와 상기 포커싱 영역의 심도 정보 사이의 차이가 획득될 수 있다. 대응하는 블러링 강도를 획득하기 위해, 상기 차이들과 블러링 강도들 사이에 미리 저장된 맵핑 관계가 상기 차이들에 따라 조회될 수 있다. 블러링 처리는 상기 대응하는 블러링 강도에 따라 상기 제3이미지의 상기 배경 영역에 대해 수행될 수 있다.
예를 들어, 상기 메인 카메라를 이용하여 상기 제1이미지를 촬영하고, 상기 보조 카메라를 이용하여 상기 제2이미지를 촬영하는 관점에서, 다음과 같은 동작들이 수행될 수 있다. 상기 메인 카메라와 상기 보조 카메라는 연속적으로 뷰를 탐색하고 촬영하여, 상기 메인 카메라로 촬영된 n개 프레임들의 이미지들과 상기 보조 카메라로 촬영된 m개 프레임들의 이미지들을 각각 획득하기 위해, 동시에 사용될 수 있다. 상기 메인 카메라로 촬영된 상기 n개 프레임들의 이미지들에 대해 합성 노이즈 감소(Synthetic noise reduction)를 수행하여 상기 제1이미지를 획득할 수 있다. 상기 합성 노이즈 감소는 상기 보조 카메라로 촬영된 m개 프레임들의 이미지들에 대해 수행되어, 상기 제2이미지를 획득할 수 있고, 여기서 m 및 n은 1보다 큰 정수들이다.
예를 들어, 상기 합성 노이즈 감소를 수행하는 관점에서, 동일한 위치에서 상기 샷 이미지들의 픽셀들이 상기 픽셀들의 값들에 따라 노이즈 포인트(noise point)에 대응하는 것으로 판단될 수 있고, 상기 노이즈 포인트에 대해 정확한 컬러가 추정될 수 있고, 상기 노이즈 포인트에 대해 픽셀 대체(pixel replacement) 처리가 수행된다.
예를 들어, 상기 합성 노이즈 감소를 수행하는 관점에서, 동일한 위치에서 상기 샷 이미지들의 픽셀들의 g 값들이 판독될 수 있고, 상기 값들의 가중 평균은 상기 동일한 위치에서 상기 획득된 이미지의 픽셀의 값으로 계산될 수 있다.
예를 들어, 상기 값들의 가중 평균을 계산하는 관점에서, 고-해상도 샷 이미지는 상기 샷 이미지들로부터 기본 프레임이 되도록 선택될 수 있고, 상기 기본 프레임은 다른 샷 이미지들보다 가중치가 크다.
예를 들어, 상기 합성 노이즈 감소를 수행하는 동작 전에, 상기 방법은 상기 주변 휘도에 따라 m 및 n의 값들을 판단하는 동작을 더 포함할 수 있다.
예를 들어, 상기 메인 카메라로 촬영된 상기 n개 프레임들의 이미지들에 대해 합성 노이즈 감소를 수행하여 상기 제1이미지를 획득하는 것과 관련하여, 상기 합성 노이즈 감소는 상기 보조 카메라로 촬영된 상기 m개 프레임들의 이미지들에 대해 수행되어, 상기 제2이미지를 획득할 수 있고, 합성 노이즈 감소는 상기 메인 카메라로 촬영된 상기 n개 프레임들의 이미지들에 대해 제1스레드를 통해 수행되어 상기 제1이미지를 획득할 수 있으며, 다른 한편 상기 합성 노이즈 감소는 상기 보조 카메라로 촬영된 상기 m개 프레임들의 이미지들에 대해 제2스레드를 통해 수행되어 상기 제2이미지를 획득할 수 있다.
예를 들어, 상기 방법은, 상기 블러링 처리를 수행하는 동작 후에, 상기 제4이미지를 디스플레이하는 동작은 자동으로 또는 사용자의 조작에 응답하여 상기 듀얼 카메라들이 장착되거나 상기 듀얼 카메라들에 통신 가능하게 연결된 하드웨어 장치의 디스플레이 상에 디스플레이될 수 있는 것을 포함할 수 있다.
제2측면에서, 이동 단말기가 제공된다. 상기 이동 단말기는 제1카메라, 제2카메라, 프로세서, 컴퓨터 프로그램을 저장하는 메모리를 포함한다. 상기 제1카메라는 상기 제2카메라보다 해상도가 높고, 상기 제2카메라보다 감도가 낮으며, 상기 컴퓨터 프로그램은 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금 상기 제1측면 및 그 예들에서 상술된 바와 같은 하나 이상의 동작들을 구현하게 한다.
예를 들어, 상기 제1카메라는 상기 제2카메라와 동일한 시야각(FOV)을 가질 수 있고, 상기 제1카메라는 16M 카메라일 수 있고, 상기 제2카메라는 5M 카메라일 수 있다.
제3측면에서, 비 일시적 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 프로그램은 상기 비 일시적 컴퓨터 판독 가능 저장 매체에 저장되고, 프로세서에 의해 실행되어 상기 제1측면 및 그 예들에서 상술된 바와 같은 하나 이상의 동작들을 구현한다.
도 1은 본 발명의 일 실시 예에 따른 듀얼 카메라 기반 이미징 방법의 순서도를 도시한다. 도 1을 참조하면, 상기 듀얼 카메라 기반 이미징 방법은 블록들로 예시된 다음의 동작들을 포함한다. 상기 방법은 블록(101)에서 시작할 수 있다.
블록(101)에서, 주변 휘도가 판단된다.
구체적으로, 가능한 구현에서, 상기 주변 휘도를 측정하기 위해 독립적인 측광(photometric) 장치가 사용될 수 있다.
다른 가능한 구현에서, 감도들(sensitivities), 즉 제1카메라와 제2카메라에 의해 자동으로 조절되는 ISO(International Organization for Standardization) 값들을 판독하고, 상기 주변 휘도는 상기 판독된 ISO 값들에 따라 판단된다. 일반적으로, 상기 제1카메라와 상기 제2카메라는 상기 동일한 ISO 값을 사용해야 하므로, 상기ISO 값을 사용하여 상기 대응하는 주변 휘도가 판단될 수 있다. 하지만, 상기 제1카메라의 상기 판독된 ISO 값과 상기 제2카메라의 ISO 값이 서로 다르면, 상기 대응하는 주변 휘도는 상기 둘의 평균에 따라 판단될 수 있다.
ISO 값은 카메라의 상기 감도를 나타내는 데 사용된다. 일반적인 ISO 값들은 50, 100, 200, 400, 1,000 등을 포함한다. 카메라는 상기 주변 휘도에 따라 상기 ISO 값을 자동으로 조절할 수 있다. 따라서, 본 실시 예들에서, 상기 주변 휘도는 상기 ISO 값들로부터 추론될 수 있다. 일반적으로, 충분한 조명 조건에서 상기 ISO 값은 50 또는 100이고, 불충분한 조명 조건에서 상기 ISO 값은 400 이상일 수 있다.
블록(102)에서, 메인 카메라 및 보조 카메라는 상기 주변 휘도에 따라 상기 듀얼 카메라들로부터 판단된다.
구체적으로, 상기 주변 휘도가 임계 휘도보다 높은 경우, 상기 제1카메라는 상기 메인 카메라인 것으로 판단되고, 상기 제2카메라는 상기 보조 카메라인 것으로 판단된다. 상기 주변 휘도가 상기 임계 휘도보다 높지 않으면, 상기 제2카메라는 상기 메인 카메라인 것으로 판단되고, 상기 제1카메라는 상기 보조 카메라로 판단된다.
즉, 상기 주변 휘도가 상기 임계 휘도보다 높지 않은 상기 조건에서 촬영(photographing)을 위한 상기 메인 카메라로서 고-해상도의 카메라를 사용하면 불충분한 조명으로 인해 더 많은 노이즈가 발생하고, 그 결과 이미징 효과가 저하되기 때문이다. 따라서, 조명이 불충분한 경우, 상기 이미지의 노이즈를 줄이고, 상기 이미징 효과를 향상시키기 위해, 고-감도 카메라를 촬영용 상기 메인 카메라로 사용할 수 있다.
반대로, 상기 주변 휘도가 상기 임계 휘도보다 높은 상기 조건에서, 충분한 조명이 있고, 상기 고-해상도의 상기 카메라 해상도는 상대적으로 높으며, 이로써 노이즈가 적은 비교적 고-해상도의 이미지가 생성될 수 있다. 따라서, 상기 촬영을 위한 메인 카메라로서 상기 고-해상도의 카메라가 사용될 수 있고, 상기 고-감도의 카메라는 상대적으로 정확한 심도 정보를 계산하기 위한 상기 보조 카메라로 사용된다. 따라서, 이미징 효과가 개선된다.
블록(103)에서, 상기 메인 카메라는 제1샷 이미지를 촬영하는 데 사용되며, 상기 보조 카메라는 제2샷 이미지를 촬영하는 데 사용된다.
구체적으로, 상기 메인 카메라 및 상기 보조 카메라 각각은 뷰를 탐색하고, 촬영하여, 이미징을 위한 상기 제1샷 이미지 및 깊이 정보를 계산하기 위한 상기 제2샷 이미지를 각각 획득하기 위해 사용된다.
촬영하기 전에 이미징 이미지를 미리 보기할 수 있다. 가능한 구현에서, 상기 메인 카메라로 획득된 사진만을 미리 보기할 수 있고, 사용자는 만족스러운 미리 보기 사진(preview picture)을 뷰잉 할 때 촬영 버튼을 클릭하며, 이로써 상기 메인 카메라와 상기 보조 카메라를 모두 제어하여 상기 뷰를 탐색하고 촬영할 수 있다.
블록(104)에서, 상기 제1샷 이미지에 따라 이미징 이미지가 생성되고, 상기 이미징 이미지의 심도 정보는 상기 제1샷 이미지 및 상기 제2샷 이미지에 따라 계산된다.
구체적으로, 상기 제1샷 이미지와 상기 제2샷 이미지는 각각 상이한 카메라들로 촬영되므로, 상기 두 카메라들 사이에 일정한 거리가 있으면 시차(disparity)가 발생한다. 삼각 측량 레인징 원칙(triangulation ranging principle)에 따르면, 상기 제1샷 이미지와 상기 제2샷 이미지에서 상기 동일한 피사체의 깊이 정보, 즉, 상기 메인과 보조 카메라들이 위치하는 평면(plane)과 상기 피사체(object) 사이의 거리(distance)가 계산될 수 있다.
상기 프로세스를 명확하게 하기 위해 상기 삼각 측량 레인징 원칙을 간단히 소개한다.
실제 시나리오에서, 뷰 기능의 심도는 주로 양안시(binocular vision)에 의해 해결된다. 이것은 듀얼 카메라들로 상기 심도를 해결하는 원리와 동일하다. 본 실시 예에서, 상기 제2샷 이미지에 따라 상기 이미징 이미지의 상기 심도 정보를 계산하는 주요 방법은 삼각 측량 레인징 원리이다. 도 2는 삼각 측량 레인징 원리의 개략도를 도시한다.
도 2에서, 상기 두 카메라들의 이미징 피사체(imaging object), 상기 두 카메라들의 위치(OR 및 OT), 및 초점면(focal plane)이 실제 공간에 도시되어 있다. 상기 초점면과 두 카메라들이 위치한 상기 평면 사이의 거리는 f이다. 상기 두 카메라들은 상기 초점면의 위치에서 이미징을 수행하여, 두 샷 이미지들을 획득한다.
P와 P'는 각각 상이한 샷 이미지들에서 상기 동일한 피사체의 위치이다, P와 상기 대응하는 샷 이미지의 좌측 경계 사이의 거리는 XR이며, P'와 상기 대응하는 샷 이미지의 좌측 경계 사이의 거리는 XT이다. OR과 OT는 각각 상기 두 카메라들을 나타내고, 상기 두 카메라들은 상기 동일한 평면에 위치하고, 거리(B)에 있다.
상기 삼각 측량 레인징 원칙에 기초하여, 도 2에서 상기 두 카메라들이 위치한 평면과 상기 피사체 사이의 거리(Z)는 다음과 같은 관계에 있다.
Figure 112020033598778-pct00001
.
이러한 기준에 따라,
Figure 112020033598778-pct00002
이 계산될 수 있고, 여기서 d는 상이한 샷 이미지들에서 상기 동일한 피사체의 상기 위치들 사이의 거리 차이이다. B와 f는 고정된 값들이므로, 상기 피사체의 상기 거리(Z)는 d에 따라 판단될 수 있다.
물론, 메인 이미지의 심도 정보는 상기 삼각 측량 레인징 방법과 상이한 다른 방식으로 계산될 수 있다. 예를 들어, 상기 메인 카메라와 상기 보조 카메라가 상기 동일한 장면을 촬영할 때, 상기 장면 내의 피사체와 상기 카메라들 사이의 거리들은 상기 메인 카메라 및 상기 보조 카메라의 이미징의 변위 차이(displacement difference), 자세 차이(posture difference) 등과 비례 관계를 형성한다. 따라서, 본 발명의 실시 예에서, 상기 거리(Z)는 이러한 비례 관계에 따라 획득될 수 있다.
예를 들어, 도 3을 참조하면, 상기 메인 카메라로 획득된 메인 이미지 및 상기 보조 카메라로 획득된 상기 보조 이미지에서의 포인트들 차이들에 대한 이미지가 계산되고, 본 명세서에서 시차 이미지로 표현된다. 이러한 이미지는 상기 두 이미지들에서 상기 동일한 포인트들의 변위 차이들을 보여준다. 그러나 삼각 측량에서 변위 차이는 Z에 정비례한다. 따라서, 시차 이미지는 깊이 정보를 포함하는 피사계 심도 이미지로서 직접 사용된다.
전술한 분석을 바탕으로, 상기 듀얼 카메라들이 상기 깊이 정보를 획득할 때, 상이한 샷 이미지들에서 상기 동일한 피사체의 위치들이 획득된다는 것을 알 수 있다. 따라서, 상기 심도 정보를 획득하도록 구성된 상기 두 이미지들이 비교적 근접하면, 심도 정보 획득 효율 및 정확도가 향상될 수 있다.
블록(105)에서, 상기 이미징 이미지의 상기 심도 정보에 따라 상기 이미징 이미지에 대해 블러링 처리가 수행되어, 필요한 타깃 이미지를 획득한다.
구체적으로, 상기 이미징 이미지의 상기 심도 정보가 계산된 후, 각각의 피사체가 전경 피사체인지 또는 배경 피사체인지 여부는 상기 이미징 이미지 내의 상기 피사체의 상기 심도 정보에 따라 판단될 수 있다. 일반적으로, 상기 심도 정보가 상기 피사체가 상기 메인 및 보조 카메라들이 위치한 상기 평면에 상대적으로 가깝고, 심도 값이 상대적으로 작음을 나타내는 경우, 상기 피사체는 전경 피사체이고, 그렇지 않으면 상기 피사체는 배경 피사체인 것으로 판단될 수 있다.
상기 인식된 배경에 대해 블러링 처리를 수행하여, 타깃 이미지를 획득할 수 있다. 상기 타깃 이미지에서, 상기 전경이 더 강조 표시되고, 상기 배경이 블러링되어, 전경에 초점을 맞춘 이미징 효과가 나타난다.
상기 심도 정보에 따라 상기 이미징 이미지의 배경 영역에 블러링 처리가 수행될 때, 다음의 처리 방식이 사용될 수 있다.
상기 심도 정보 및 포커싱 영역에 따라 전경 영역의 제1심도 정보 및 상기 배경 영역의 제2심도 정보가 획득될 수 있다. 상기 제1심도 정보 및 상기 제2심도 정보에 따라 블러링 강도가 생성될 수 있다. 블러링 처리는 상기 블러링 강도에 따라 상기 이미징 이미지의 상기 배경 영역에 대해 수행된다. 이런 식으로, 상이한 심도 정보에 따라 상이한 블러링 정도들이 구현되어, 상기 블러링된 이미지에 대해 보다 자연스럽고 레이어링 효과(layering effect)를 달성할 수 있다.
샷 피사체에 초점을 맞춘 후, 상기 피사체가 위치하는 상기 포커싱 영역 전후의 눈에 고-해상도 이미지가 형성될 수 있는 공간 심도 범위는 피사계 심도이다. 상기 포커싱 영역 전의 이미징의 피사계 심도 범위는 상기 전경 영역의 상기 제1심도 정보이고, 상기 포커싱 영역 후의 고-해상도 이미징의 피사계 심도 범위는 상기 배경 영역의 상기 제2심도 정보인 것을 이해할 수 있다.
블러링 처리는 상이한 구현 모드들에서 상기 블러링 강도에 따라 상기 이미징 이미지의 상기 배경 영역에 대해 수행될 수 있다.
가능한 구현에서, 각 픽셀의 블러링 계수는 상기 이미징 이미지의 상기 배경 영역에서 각 픽셀의 블러링 강도 및 심도 정보에 따라 획득된다. 상기 블러링 계수는 상기 블러링 강도와 관련이 있으며, 상기 블러링 계수가 높을수록 상기 블러링 강도가 높아진다. 예를 들어, 상기 이미징 이미지의 상기 배경 영역에서 각 픽셀의 상기 블러링 강도 및 상기 심도 정보의 곱이 계산되어 각 픽셀의 상기 블러링 계수를 획득할 수 있고, 블러링 처리는 각 픽셀의 상기 블러링 계수에 따라 상기 이미징 이미지의 상기 배경 영역에 대해 수행된다.
다른 가능한 구현에서, 상기 제2심도 정보와 상기 포커싱 영역의 심도 정보 사이의 차이 값이 클수록, 상기 배경 영역과 상기 포커싱 영역 사이의 대응하는 거리가 길수록, 상기 배경 영역과 상기 포커싱 영역 사이의 관련성이 낮을수록, 따라서 상기 대응하는 블러링 강도가 높아진다. 본 예에서, 제2깊이 정보와 포커싱 영역의 심도 정보의 차이 값과 블러링 강도 사이의 매핑 관계가 미리 저장될 수 있다. 상기 매핑 관계에서, 상기 제2심도 정보와 상기 포커싱 영역의 상기 심도 정보 사이의 상기 차이 값이 클수록, 상기 대응하는 블러링 강도가 높아진다. 따라서, 상기 이미징 이미지의 상기 배경 영역의 상기 제2심도 정보와 상기 포커싱 영역의 상기 심도 정보 사이의 차이 값이 획득되고, 상기 대응하는 블러링 강도를 획득하기 위해 상기 차이 값에 따라 상기 매핑 관계가 질의되며, 상기 심도 정보에 대응하는 상기 배경 영역은 상기 블러링 강도에 따라 블러링된다.
본 실시 예에서, 상기 주변 휘도가 판단된 후, 상기 메인 카메라 및 보조 카메라는 상기 주변 휘도에 따라 상기 듀얼 카메라들로부터 판단된다. 상기 메인 카메라는 상기 제1샷 이미지를 촬영하는 데 사용되고, 상기 보조 이미지는 상기 제2샷 이미지를 촬영하는 데 사용된다. 상기 이미징 이미지는 상기 제1샷 이미지에 따라 생성된다. 상기 이미징 이미지의 상기 심도 정보는 상기 제2샷 이미지에 따라 계산된다. 상기 이미징 이미지의 상기 심도 정보에 따라 상기 이미징 이미지에 대해 블러링 처리가 더 수행되어, 상기 필요한 타깃 이미지를 획득한다. 상기 고-해상도의 카메라는 상기 제1카메라로 판단되고, 상기 고-감도의 카메라는 상기 제2카메라로 판단되며, 상기 제1카메라와 상기 제2카메라는 상기 주변 휘도에 따라 상기 메인 또는 보조 카메라들로 전환될 수 있어서, 상기 메인 및 보조 카메라들의 성능이 상기 현재의 주변 휘도와 매칭될 수 있고, 이미징 효과가 보장된다. 따라서, 종래 기술의 어두운 환경에서 상기 듀얼 카메라들의 비교적 열악한 이미징 효과의 기술적 문제점이 해결된다.
전술한 실시 예를 명확하게 설명하기 위해, 일 실시 예는 듀얼 카메라 기반 다른 이미징 방법을 제공한다. 도 4는 본 발명의 일 실시 예에 따른 듀얼 카메라 기반 다른 이미징 방법의 순서도를 도시한다.
도 4를 참조하면, 상기 방법은 블록들에 도시된 다음의 동작들을 포함할 수 있다. 상기 방법은 블록(101)에서 시작할 수 있다.
블록(301)에서, 주변 휘도가 판단되고, 메인 카메라 및 보조 카메라는 상기 주변 휘도에 따라 듀얼 카메라들로부터 판단된다.
상기 제1카메라의 해상도가 상기 제2카메라의 해상도보다 높으며, 상기 제2카메라의 감도(예를 들어, ISO 값)는 상기 제1카메라의 감도보다 높다.
상기 주변 휘도가 임계 휘도보다 높은 경우, 상기 제1카메라는 상기 메인 카메라인 것으로 판단되고, 상기 제2카메라는 상기 보조 카메라인 것으로 판단되며; 및 상기 주변 휘도가 상기 임계 휘도보다 낮은 경우, 상기 제2카메라는 상기 메인 카메라인 것으로 판단되고, 상기 제1카메라는 상기 보조 카메라인 것으로 판단된다.
예를 들어, 상기 제1카메라는 16M 카메라일 수 있고, 상기 제2카메라는 5M 카메라 또는 four-in-one 5M 카메라일 수 있다.
상기 four-in-one 5M 카메라는 4개의 5M 카메라들을 결합하여 얻을 수 있고, 단일 5M 카메라에 비해 더 높은 측광 성능(photometric performance)을 제공하는 것을 주목해야 한다.
블록(302)에서, 상기 메인 카메라는 제1샷 이미지를 촬영하는데 사용되고, 상기 보조 카메라는 제2샷 이미지를 촬영하는 데 사용된다.
구체적으로, 가능한 구현에서, 상기 주변 휘도가 상기 임계 휘도보다 높지 않은 조건, 즉 상기 주변 휘도가 너무 높지 않은 경우, 이미징 효과에 영향을 미칠 수 있고, 상기 메인 카메라와 상기 보조 카메라로 획득한 상기 이미지들에서 더 많은 노이즈가 발생할 수 있다.
이미징 품질을 향상시키기 위해, 상기 메인 카메라 및 상기 보조 카메라의 이미지 처리를 위해 멀티-프레임 합성 노이즈 감소 방식이 사용될 수 있다. 구체적으로, 상기 메인 카메라와 상기 보조 카메라가 판단되면, 상기 메인 카메라와 상기 보조 카메라는 상기 메인 카메라로 촬영된 n개 프레임들의 샷 이미지들과 상기 보조 카메라로 촬영된 m개 프레임들의 샷 이미즈들을 각각 획득하기 위해 연속적으로 뷰를 탐색하고 촬영하는데 사용될 수 있다.
상기 메인 카메라로 촬영된 n개 프레임들의 샷 이미지들에 대해 합성 노이즈 감소를 수행하여 상기 제1샷 이미지를 획득하고, 상기 보조 카메라로 촬영된 m개 프레임들의 샷 이미지들에 대해 합성 노이즈 감소가 수행되어 상기 제2샷 이미지를 획득한다.
멀티-프레임 합성 노이즈 감소 프로세스를 명확하게 이해하기 위해, 멀티-프레임 합성 노이즈 감소에 대해 간략하게 소개한다.
상기 주변 조명이 충분하지 않은 경우, 이동 단말기와 같은 상기 이미징 장치는 일반적으로 상기 감도를 자동으로 개선하는 방식을 사용한다. 그러나, 상기 감도를 향상시키기 위한 이러한 방식은 이미지에서 더 많은 노이즈를 발생시킨다. 멀티-프레임 합성 노이즈 감소는 상기 이미지에서 노이즈 포인트들을 줄이고, 고-감도 조건에서 촬영된 상기 이미지의 품질을 향상시키기 위한 것이다. 상가 원리는 상기 노이즈 포인트들은 무작위 순서로 배열된다는 선험적 지식에 있다. 구체적으로, 다중 프레임들의 샷 이미지들이 연속적으로 촬영된 후, 상기 동일한 위치에 나타나는 노이즈 포인트는 레드 노이즈 포인트이거나 그린 노이즈 포인트 또는 화이트 노이즈 포인트이거나 심지어 노이즈 포인트가 없을 수도 있으며, 따라서 비교 및 선택이 수행될 수 있다. 노이즈들(즉, 노이즈 포인트들)인 픽셀들은 상기 동일한 위치에서 상기 다중 프레임들의 샷 이미지들의 픽셀 값들에 따라 선택될 수 있다. 더욱이, 상기 노이즈 포인트들을 선택한 후, 노이즈 포인트 제거 효과를 달성하기 위해 추가 알고리즘에 따라 상기 노이즈 포인트들 대한 컬러 추측(color guessing)(즉, 상기 노이즈 포인트들에 대한 정확한 컬러를 추정함) 및 픽셀 교체(pixel replacement) 처리가 추가로 수행될 수 있다. 이러한 프로세스에 의해, 매우 낮은 이미지 품질 손실 정도로 노이즈 감소 효과가 달성될 수 있다.
예를 들어, 멀티-프레임 합성 노이즈 감소를 위한 비교적 편리한 방법으로, 샷 이미지들의 다중 프레임들을 획득한 후, 동일한 위치에서 샷 이미지들의 상기 다중 프레임들의 픽셀들의 값들이 판독될 수 있고, 이들 픽셀들의 값들의 가중 평균이 계산되어 합성 이미지 내의 상기 위치에서 상기 픽셀 값을 생성한다. 이러한 방식으로, 고-해상도 이미지가 획득될 수 있다.
상기 다중 프레임들의 상기 샷 이미지들은 최고-해상도 이미지의 프레임을 포함하고, 기본 프레임으로 판단될 수 있다. 상기 기본 프레임의 경우, 가능한 구현에서, 상기 기본 프레임의 가중치는 다른 샷 이미지들의 가중치들보다 높을 수 있다. 즉, 상기 다른 샷 이미지들을 참조로 하여 상기 기본 프레임의 노이즈 포인트들을 인식 및 제거하는 기능이 실질적으로 실현된다.
멀티-프레임 합성 노이즈 감소 이전에, 멀티-프레임 합성을 위한 상기 프레임 수들(m 및 n)은 상기 주변 휘도에 따라 판단될 수 있다. 상기 주변 휘도가 낮으면, 합성을 위한 상기 프레임들의 수가 커진다. 즉, m 및 n은 상기 주변 휘도와 역 관계(reversed relationship)에 있다. 가능한 구현에서, 상기 m 및 n의 값들은 동일하며, 2 내지 6의 범위이다.
예를 들어,
-주변 휘도 레벨(ambient luminance level)이 어두운 경우, m=n=6;
-상기 주변 휘도 레벨이 일반적인 경우, m=n=4; 및
-상기 주변 휘도 레벨이 밝은 경우, m=n=2;
상기 주변 휘도 레벨 및 상기 m 및 n의 값들의 전술한 분류는 단지 예시적인 것이며, 본 실시 예에 대한 제한들을 형성하려는 것이 아님에 유의해야 한다. 당업자는 최적의 주변 휘도 레벨 분류 방식 및 m 및 n의 값들이 테스트들의 제한된 수에 의해 판단될 수 있음을 이해할 수 있다.
가능한 적용 시나리오에서, 비교적 빠른 처리 속도가 필요하다. 멀티-프레임 합성 노이즈 감소의 사용은 처리 지속 시간을 연장시킬 수 있기 때문에, 멀티-스레드 병렬 처리 메커니즘(multi-thread parallel processing mechanism)이 상기 적용 시나리오에서 사용될 수 있다.
구체적으로, 멀티-스레드 병렬 처리 메커니즘이 시작될 때, 제1스레드를 통해 상기 메인 카메라로 촬영된 n개 프레임들의 샷 이미지들에 대해 합성 노이즈 감소가 수행되어, 상기 제1샷 이미지를 획득하고, 한편, 제2스레드를 통해 상기 보조 카메라로 촬영된 m개 프레임들의 샷 이미지들에 대해 합성 노이즈 감소가 수행되어, 상기 제2샷 이미지를 획득한다.
블록(303)에서, 상기 메인 카메라의 시야각(FOV)이 상기 보조 카메라의 FOV이하인지 여부가 판단되며, YES이면, 블록(304)이 실행되고, 그렇지 않으면 블록(305)이 실행된다.
구체적으로, FOV는 렌즈에 의해 커버될 수 있는 최대 각도(maximum angle)이다. 피사계(field)와 카메라 사이의 포함된 각도가 이러한 각도를 초과하면 이미징이 구현되지 않을 수 있다. 본 실시 예에서, 상기 메인 및 보조 카메라들의 FOVs는 같거나 다를 수 있다. 그러나 FOV 값들이 다르기 때문에 상기 제1샷 이미지와 상기 제2샷 이미지의 뷰 탐색 사이의 차이는 일치하지 않는다. 다시 말해, 상기 제1샷 이미지 및 상기 제2샷 이미지 중 하나에서만 이미지화된 상기 피사체들 중 일부가 있을 수 있다. 심도 계산 중에, 이러한 피사체들의 심도 정보가 계산되지 않을 수 있다. 상기 깊이 정보의 계산을 용이하게 하기 위해, 본 실시 예에서, 상기 제1샷 이미지 및/또는 상기 제2샷 이미지는 크롭될 수 있어서, 상기 크롭된 이미지는 상기 크롭되지 않은 이미지와 동일한 뷰를 가질 수 있거나, 또는 상기 크롭된 이미지들이 동일한 뷰를 가질 수 있어서, 상기 이미징 이미지의 상기 심도 정보의 정확성이 보장된다.
블록(304)에서, 상기 메인 카메라의 상기 FOV가 상기 보조 카메라의 상기 FOV 이하인 경우, 상기 제1샷 이미지는 이미징 이미지인 것으로 판단된다.
구체적으로, 상기 메인 카메라와 상기 보조 카메라는 일반적으로 상기 동일한 평면에 있기 때문에, 상기 메인 카메라의 상기 FOV가 상기 보조 카메라의 상기 FOV이하인 경우, 상기 메인 카메라의 뷰 탐색 범위는 상기 보조 카메라의 뷰 탐색 범위보다 좁거나 같다. 이러한 이유로, 상기 메인 카메라로 촬영된 상기 제1샷 이미지의 각 피사체는 상기 보조 카메라로 촬영된 상기 제2샷 이미지에서 이미지 되어야 한다. 이러한 경우, 상기 메인 카메라로 촬영된 상기 제1샷 이미지를 크롭할 필요가 없으며, 상기 제1샷 이미지는 이미징 이미지인 것으로 직접 판단될 수 있다.
블록(305)에서, 상기 메인 카메라의 상기 FOV가 상기 보조 카메라의 상기 FOV보다 큰 경우, 상기 제1샷 이미지가 크롭되어 상기 제2샷 이미지와 동일한 뷰로 상기 이미징 이미지를 얻는다.
구체적으로, 상기 메인 카메라와 상기 보조 카메라는 일반적으로 상기 동일한 평면에 있기 때문에, 상기 메인 카메라의 상기 FOV가 상기 보조 카메라의 상기 FOV보다 큰 경우, 상기 메인 카메라의 상기 뷰 탐색 범위는 상기 보조 카메라의 상기 뷰 탐색 범위보다 좁거나 같다. 이러한 근거로, 상기 메인 카메라로 촬영된 상기 제1샷 이미지 내의 상기 일부 피사체들은 상기 보조 카메라로 촬영되지 않을 가능성, 즉 상기 일부 피사체들이 상기 제2샷 이미지에 존재하지 않을 가능성이 있다. 이러한 경우, 상기 메인 카메라로 촬영된 상기 제1샷 이미지는 크롭되고, 상기 제2샷 이미지와 동일한 뷰를 가지는 크롭된 이미지는 상기 이미징 이미지로서 촬영된다.
블록(306)에서, 상기 이미징 이미지의 심도 정보는 상기 제2샷 이미지에 따라 계산된다.
구체적으로, 상기 이미징 이미지의 상기 심도 정보는 상기 제2샷 이미지 및 상기 제1샷 이미지 및 상기 듀얼 카메라들의 파라미터에서의 상기 동일한 피사체의 위치 편차(position deviation)에 따라 판단된다.
상기 구체적인 계산 프로세스는 전술한 실시 예의 블록(104)에 대한 관련 설명으로부터 알 수 있고, 본 실시 예에서는 상세하게 설명되지 않을 것이다.
블록(307)에서, 상기 이미징 이미지의 심도 정보에 따라 상기 이미징 이미지에 대해 블러링 처리가 수행되어 필요한 타깃 이미지를 획득한다.
구체적으로, 상기 이미징 이미지의 상기 심도 정보가 계산된 후, 상기 이미징 이미지 내의 상기 피사체의 심도 정보에 따라 각 피사체가 전경 또는 배경 피사체인지를 판단할 수 있다. 일반적으로, 상기 심도 정보가 상기 피사체가 상기 메인 카메라와 보조 카메라들이 위치한 상기 평면에 상대적으로 가깝고, 심도 값이 상대적으로 작음을 나타내는 경우, 상기 피사체는 전경 피사체이고, 그렇지 않으면 상기 피사체는 배경 피사체인 것으로 판단될 수 있다. 또한, 상기 인식된 배경에 대해 블러링 처리가 수행되어 상기 타깃 이미지를 획득할 수 있다.
본 실시 예에서, 상기 주변 휘도가 판단된 후, 상기 메인 카메라 및 보조 카메라는 상기 주변 휘도에 따라 상기 듀얼 카메라들로부터 판단된다. 상기 메인 카메라는 상기 제1샷 이미지를 촬영하는 데 사용되고, 상기 보조 이미지는 상기 제2샷 이미지를 촬영하는 데 사용된다. 상기 이미징 이미지는 상기 제1샷 이미지에 따라 생성된다. 상기 이미징 이미지의 상기 심도 정보는 상기 제2샷 이미지에 따라 계산된다. 상기 이미징 이미지의 상기 심도 정보에 따라 상기 이미징 이미지에 대해 블러링 처리가 추가로 수행되어 상기 필요한 타깃 이미지를 획득한다. 상기 고-해상도의 카메라는 상기 제1카메라로 판단되고, 고-감도의 카메라는 상기 제2카메라로 판단되며, 상기 제1카메라 및 상기 제2카메라 각각은 상기 주변 휘도에 따라 상기 메인 또는 보조 카메라들로 전환될 수 있어, 상기 메인 및 보조 카메라들의 성능이 상기 현재 주변 휘도와 일치할 수 있으며, 이미징 효과가 보장된다. 따라서, 종래 기술의 어두운 환경에서 상기 듀얼 카메라들의 비교적 열악한 이미징 효과의 기술적 문제점이 해결된다.
전술한 실시 예들을 구현하기 위해, 본 발명은 듀얼 카메라 기반 이미징 장치를 추가로 제공한다.
도 5는 본 발명의 일 실시 예에 따른 듀얼 카메라 기반 이미징 장치의 구조도를 도시한다. 상기 이미징 장치는 듀얼 카메라들을 구비한 이동 단말기에 적용될 수 있다. 상기 듀얼 카메라는 제1카메라 및 제2카메라를 포함하고, 상기 제1카메라의 해상도는 상기 제2카메라의 해상도보다 높으며, 상기 제2카메라의 감도(예를 들어, ISO 값)는 상기 제1카메라의 감도보다 높다.
도 5를 참조하면, 상기 이미징 장치는 측광 모듈(photometric module)(41), 스위칭 모듈(switching module)(42), 촬영 모듈(shooting module)(43), 생성 모듈(generation module)(44) 및 처리 모듈(processing module)(45)을 포함한다.
상기 측광 모듈(41)은, 주변 휘도를 판단하도록 구성된다.
구체적으로, 상기 측광 모듈(41)은, 상기 제1카메라 및 상기 제2카메라의 ISO 값들을 판독하여, 상기 주변 휘도를 판단하도록 구성된다.
상기 스위칭 모듈(42)은, 상기 주변 휘도에 따라 상기 듀얼 카메라로부터 메인 카메라 및 보조 카메라를 판단하도록 구성된다.
구체적으로, 스위칭 모듈(42)은, 상기 주변 휘도가 임계 휘도보다 높은 경우, 상기 제1카메라를 상기 메인 카메라로 판단하고, 상기 제2카메라를 상기 보조 카메라로 판단하며; 및 상기 주변 휘도가 상기 임계 임계보다 높지 않으면, 성기 제2카메라를 상기 메인 카메라로 판단하고, 상기 제1카메라를 상기 보조 카메라로 판단한다.
상기 촬영 모듈(43)은 상기 메인 카메라를 사용하여 제1이미지를 촬영하고, 상기 보조 카메라를 사용하여 제2이미지를 촬영하도록 구성된다.
상기 생성 모듈(44)은, 상기 제1이미지에 따라 제3이미지를 생성하고, 상기 제1이미지 및 상기 제2이미지에 따라 상기 제3이미지의 심도 정보를 계산하도록 구성된다.
상기 처리 모듈(45)은, 상기 제3이미지의 상기 심도 정보에 따라 상기 제3이미지에 대해 블러링 처리를 수행하여, 제4이미지를 획득하도록 구성된다.
또한, 본 발명의 상기 실시 예의 가능한 구현에서, 상기 생성 모듈 (44)은, 상기 메인 카메라의 FOV가 상기 보조 카메라의 FOV보다 작거나 같은 경우, 상기 제1이미지를 상기 제3이미지로 판단하고; 및 상기 메인 카메라의 상기 FOV가 상기 보조 카메라의 상기 FOV보다 큰 경우, 상기 제1이미지를 크롭하여 상기 제2이미지와 동일한 뷰를 가진 상기 제3이미지를 얻도록 구성될 수 있다.
전술한 방법 실시 예에 대한 설명들 및 기술들은 또한 본 실시 예의 장치에 적용되며, 본 명세서에서 상세하게 설명되지 않을 것임을 유의해야 한다.
본 실시 예에서, 상기 주변 휘도가 판단된 후, 상기 메인 카메라와 보조 카메라는 상기 주변 휘도에 따라 상기 듀얼 카메라들로부터 판단되고, 상기 메인 카메라는 상기 제1이미지를 촬영하는 데 사용되고, 상기 보조 이미지는 상기 제2이미지를 촬영하는 데 사용되며, 상기 제3이미지는 상기 제1이미지에 따라 생성되며, 상기 제3이미지의 상기 심도 정보는 상기 제1이미지 및 상기 제2이미지에 따라 계산되며, 상기 제3이미지의 상기 심도 정보에 따라 상기 제3이미지에 대해 블러링 처리가 추가로 수행되어 상기 제4이미지를 획득한다. 고-해상도의 카메라는 상기 제1카메라로 판단되고, 고-감도의 카메라는 상기 제2카메라로 판단되며, 상기 제1카메라와 상기 제2카메라는 상기 주변 휘도에 따라 상기 메인 또는 보조 카메라들로 전환될 수 있어서, 상기 메인 및 보조 카메라들의 성능이 상기 현재의 주변 휘도와 일치할 수 있고, 이미징 효과가 보장되며, 종래 기술의 어두운 환경에서 상기 듀얼 카메라들의 비교적 열악한 이미징 효과의 기술적 문제점이 해결된다.
전술한 실시 예들을 구현하기 위해, 본 발명은 이동 단말기를 추가로 개시한다. 도 6은 본 발명의 다른 실시 예에 따른 단말 장치의 구조도를 도시한다. 도 6을 참조하면, 상기 단말 장치(1000)는 하우징(housing)(1100), 및 상기 하우징(1100)에 위치한 제1카메라(first camera)(1112), 제2카메라(second camera)(1113), 메모리(memory)(1114) 및 프로세서(processor)(1115)를 포함한다.
실행 가능한 프로그램 코드는 상기 메모리(1114)에 저장되고, 상기 프로세서(1115)는 상기 메모리(1114)에 저장된 상기 실행 가능한 프로그램 코드를 판독하여, 상기 실행 가능한 프로그램 코드에 대응하는 프로그램을 실행하여 전술한 실시 예들의 상기 듀얼 카메라 기반 이미징 방법을 구현한다.
상기 제1카메라의 해상도는 상기 제2카메라의 해상도보다 높고, 상기 제2카메라의 감도는 상기 제1카메라의 감도보다 높다.
가능한 구현에서, 상기 제1카메라의 FOV는 상기 제2카메라의 FOV와 동일할 수 있다. 이러한 경우, 이미징 이미지를 얻기 위해 제1샷 이미지를 크롭하는 프로세스가 제거됨으로써, 상기 이미지 처리 속도를 증가시킨다.
상기 제1카메라에 고-해상도를 부여하기 위해, 16M 카메라가 사용될 수 있다. 물론, 고-해상도의 다른 카메라가 사용 수도 있다. 실시 예에서 이에 대한 제한은 없다.
또한, 상기 제2카메라에 높은 감도를 부여하기 위해, four-in-one 5M 카메라가 사용될 수 있다. 물론, 고-감도의 다른 카메라를 사용할 수도 있다. 실시 예에서 이에 대한 제한은 없다.
전술한 실시 예를 구현하기 위해, 본 발명은 컴퓨터 프로그램이 저장되는 컴퓨터 판독 가능 저장 매체를 추가로 개시한다. 상기 프로그램은 전술한 실시 예에서 듀얼 카메라 기반 이미징 방법을 구현하기 위해, 이동 단말기의 프로세서에 의해 실행된다.
상기 이동 단말기는 이미지 처리 회로(image processing circuit)를 더 포함하고, 상기 이미지 처리 회로는 하드웨어 및/또는 소프트웨어 컴포넌트들을 사용하여 구현될 수 있고, 또한, 이미지 신호 처리(ISP) 파이프 라인을 정의하는 다양한 처리 유닛을 포함할 수 있다. 도 7은 일 실시 예에 따른 이미지 처리 회로의 개략도를 도시한다. 도 7을 참조하면, 설명의 편의를 위해 본 발명의 실시 예들과 관련된 상기 이미지 처리 기술의 다양한 측면들이 예시된다.
도 7을 참조하면, 상기 이미지 처리 회로는 ISP 장치(940) 및 제어 로직 장치(950)를 포함한다. 이미징 장치(910)로 캡처된 이미지 데이터는 우선 상기 ISP장치(940)에 의해 처리되고, 상기 ISP 장치(940)는 상기 ISP 장치 및/또는 상기 이미징 장치(910)의 하나 이상의 제어 파라미터들을 판단하기 위한 이미지 통계 정보(image statistical information)를 캡처하기 위해 이미지 데이터를 분석한다. 상기 이미징 장치(910)는 구체적으로 두 카메라들을 포함할 수 있고, 각각의 카메라는 하나 이상의 렌즈(912) 및 이미지 센서(914)를 포함할 수 있다. 상기 이미지 센서(914)는 컬러 필터 어레이(예를 들어, 베이어 필터)를 포함할 수 있고, 상기 이미지 센서(914)는 상기 이미지 센서(914)의 각각의 이미징 픽셀로 캡처된 조명 강도(light intensity) 및 파장 정보(wavelength information)를 획득하고, 상기 ISP 장치(940)에 의해 처리 가능한 원본 이미지 데이터 세트를 제공할 수 있다. 센서(920)는 상기 센서(920)의 인터페이스 유형에 기초하여 상기 원본 이미지 데이터를 상기 ISP 장치(940)에 제공할 수 있다. 상기 센서(920)의 인터페이스는 SMIA(Standard Mobile Imaging Architecture) 인터페이스, 다른 직렬 또는 병렬 카메라 인터페이스 또는 상기 인터페이스들의 조합을 사용할 수 있다.
상기 ISP 장치(940)는 다중 포맷들에 따라 픽셀 단위로 상기 원본 이미지 데이터를 처리한다. 예를 들어, 각각의 이미지 픽셀은 8, 10, 12 또는 14 비트들의 비트 깊이를 가질 수 있다. 상기 ISP 장치(940)는 원본 이미지 데이터에 대해 하나 이상의 이미지 처리 동작들을 수행하고, 상기 이미지 데이터에 대한 상기 이미지 통계 정보를 수집할 수 있다. 상기 이미지 처리 동작들은 동일하거나 상이한 비트 깊이 정확도에 따라 실행될 수 있다.
상기 ISP 장치(940)는 이미지 메모리(930)로부터 상기 픽셀 데이터를 추가로 수신할 수 있다. 예를 들어, 상기 센서(920)의 상기 인터페이스는 상기 원본 픽셀 데이터를 상기 이미지 메모리(930)로 전송하고, 상기 이미지 메모리(930) 내의 상기 원본 픽셀 데이터는 처리를 위해 상기 ISP 장치(940)에 제공된다. 상기 이미지 메모리(930)는 전자 장치에서 메모리 장치, 저장 장치 또는 독립적인 전용 메모리의 일부일 수 있으며, DMA(Direct Memory Access) 특징을 포함할 수 있다.
상기 센서(920)의 상기 인터페이스로부터 또는 상기 이미지 메모리(930)로부터 상기 원본 이미지 데이터를 수신 할 때, 상기 ISP 장치(940)는 상기 하나 이상의 이미지 처리 동작들, 예를 들어 시간-도메인 필터링(time-domain filtering)을 실행할 수 있다. 상기 처리된 이미지 데이터는 디스플레이 전에 다른 처리를 위해 상기 이미지 메모리(930)로 전송될 수 있다. 상기 ISP 유닛(940)은 상기 이미지 메모리(930)로부터 상기 처리된 데이터를 수신하고, 원본 도메인에서 이미지 데이터를 처리를 수행하고, 및 상기 처리된 데이터에서 RGB(Red, Green and Blue) 및 YCbCr 컬러 공간을 처리한다. 상기 처리된 이미지 데이터는 GPU(Graphics Processing Unit)에 의해 사용자가 뷰 및/또는 추가 처리를 위해 디스플레이(970)에 출력될 수 있다. 또한, 상기 ISP 유닛(940)의 출력은 상기 이미지 메모리(930)로 더 전송될 수 있고, 상기 디스플레이(970)는 상기 이미지 메모리(930)로부터 상기 이미지 데이터를 판독할 수 있다. 본 실시 예에서, 상기 이미지 메모리(930)는 하나 이상의 프레임 버퍼들(frame buffers)을 구현하도록 구성될 수 있다. 더욱이, 상기 ISP 유닛(940)의 상기 출력은 상기 이미지 데이터를 코딩/디코딩하기 위해 코더/디코더(coder/decoder)(960)로 전송될 수 있다. 상기 코딩된 이미지 데이터는 저장될 수 있고, 상기 디스플레이(970)에 디스플레이되기 전에 압축 해제된다. 상기 코더/디코더(960)는 CPU(Central Processing Unit) 또는 GPU 또는 코 프로세서(coprocessor)에 의해 구현될 수 있다.
상기 ISP 유닛(940)에 의해 판단된 상기 통계 정보는 상기 제어 로직 유닛(950)으로 전송될 수 있다. 예를 들면, 상기 통계 정보는 상기 이미지 센서(914)의 자동 노출, 자동 화이트 밸런스, 자동 초점, 섬광 검출, 블랙 레벨 보상, 상기 렌즈(912)의 그림자 보정 등의 통계 정보를 포함할 수 있다. 제어 로직 유닛(950)은 하나 이상의 루틴들(예를 들어, 펌웨어)을 실행하는 프로세서 및/또는 마이크로 컨트롤러를 포함할 수 있고, 하나 이상의 루틴들은 상기 수신된 통계 데이터에 따라 상기 이미징 기기(910)의 상기 제어 파라미터 및 ISP 유닛의 상기 제어 파라미터를 판단할 수 있다. 예를 들면, 상기 제어 파라미터는, 상기 센서(920)에 대한 제어 파라미터(예를 들어, 이득 및 노출 제어를 위한 적분 시간), 카메라 섬광 제어 파라미터, 상기 렌즈(912)에 대한 제어 파라미터(예를 들어, 포커싱 또는 줌을 위한 초점 길이) 또는 이러한 파라미터들의 조합을 포함할 수 있다. 상기 ISP 장치에 대한 상기 제어 파라미터는 (예를 들어, RGB 처리 동안) 자동 화이트 밸런스 및 컬러 조절을 위해 구성된 이득 레벨 및 컬러 보정 매트릭스 및 렌즈(912)에 대한 그림자 보정 파라미터를 포함할 수 있다.
본 명세서의 상기 설명들에서, "실시 예", "일부 실시 예", "예시", "구체 예시", "일부 예시"등의 용어를 참조하여 이루어진 설명들은, 상기 실시 예 또는 상기 예시와 조합하여 기술된 특정 특징들, 구조들, 재료들 또는 특성들은 본 발명의 적어도 하나의 실시 예 또는 예시에 포함된다는 것을 의미한다. 본 명세서에서, 이들 용어는 반드시 동일한 실시 예 또는 예시에 대해 개략적으로 표현되는 것은 아니다. 또한, 구체적으로 설명된 특징들, 구조들, 재료들 또는 특성들은 임의의 하나 이상의 실시 예들 또는 예시들에서 적절한 방식으로 결합될 수 있다. 또한, 당업자는 본 명세서에 기술된 상이한 실시 예들 또는 예시들 및 상이한 실시 예들 또는 예시들의 특징들을 충돌없이 통합하고 결합할 수 있다.
또한, "제1" 및 "제2" 라는 용어들은 단지 설명을 위해 사용된 것으로서, 상대적 중요성을 나타내거나 암시하거나 상기 지시된 기술적 특징들의 수를 암시적으로 나타내는 것으로 이해되어서는 안 된다. 따라서, "제1" 및 "제2"에 의해 정의된 특징은 그러한 특징 중 적어도 하나의 포함을 명시적 또는 암시적으로 나타낼 수 있다. 본 발명의 상기 설명들에서, "다수"는 달리 명확하고 구체적으로 제한되지 않는 한, 적어도 둘 예를 들어 둘 및 셋을 의미한다.
상기 순서도들에서 또는 다른 방식으로 본 명세서에 기술된 임의의 프로세스 또는 방법은 상기 프로세스의 특정 논리 기능들 또는 동작들을 실현하도록 구성된 하나 이상의 실행 가능한 명령어들의 코드들을 포함하는 모듈, 세그먼트 또는 파트를 나타내는 것으로 이해될 수 있고, 또한, 본 발명의 바람직한 구현 모드의 범위는 상기 관련된 기능에 따른 기본적으로 동시에 또는 반대 순서로 상기 기능들의 실행을 포함하여, 본 명세서에서 도시되거나 논의된 순서가 아닌 다른 구현을 포함한다. 이는 본 발명의 실시 예들의 당업자에 의해 이해되어야 한다.
상기 순서도들에서 또는 다른 방법으로 본 명세서에 기술된 논리들 및/또는 동작들은, 예를 들어, 상기 논리 기능들을 실현하도록 구성된 실행 가능한 명령어들의 고정된 순서 목록으로서 간주될 수 있고, 명령어 실행 시스템, 장치 또는 장치가 명령어 실행 시스템, 장치 또는 장치(예를 들어, 컴퓨터 기반 시스템으로서, 상기 시스템은 명령어 실행 시스템, 장치 또는 장치로부터 명령어들을 읽고 상기 명령어들을 실행할 수 있는 프로세서 또는 다른 시스템을 포함함)와 함께 사용하거나 사용하기 위해 임의의 컴퓨터 판독 가능 매체에서 구체적으로 구현될 수 있다. 본 명세서에 대해서, "컴퓨터 판독 가능 매체"는 명령어 실행 시스템, 장치 또는 장치가 사용할 프로그램 또는 상기 명령어 실행 시스템, 장치 또는 장치와 조합하여 사용할 목적의 프로그램을 포함, 저장, 통신, 전파 또는 전송할 수 있는 임의의 장치일 수 있다. 상기 컴퓨터 판독 가능 매체의 보다 구체적인 예(비 제한 목록)는, 하나 이상의 전선을 가지는 전기 연결부(전자 장치), 휴대용 컴퓨터 디스크(자기 장치), 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 가능형 읽기 전용 메모리(EPROM) (또는 플래시 메모리), 광섬유 장치, 및 휴대용 콤팩트 디스크 읽기 전용 메모리(CD-ROM)를 포함한다. 또한, 상기 컴퓨터 판독 가능 매체는 심지어 종이 또는 프로그램이 인쇄될 수 있는 다른 매체일 수 있고, 이는 예를 들어, 상기 컴퓨터 메모리에 저장할 목적으로 전자 방식으로 프로그램을 획득하기 위해 상기 종이 또는 상기 다른 매체는 광학적으로 스캔된 후 편집, 설명 또는 필요할 때 다른 적절한 방식으로 처리될 수 있기 때문이다.
본 발명의 각 부분은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합에 의해 구현될 수 있음을 이해해야 한다. 전술한 구현 모드에서, 다중 동작들 또는 방법들은 메모리에 저장된 소프트웨어 또는 펌웨어에 의해 구현될 수 있고 적절한 명령 실행 시스템에 의해 실행될 수 있다. 예를 들어, 다른 구현 모드와 같이 하드웨어로 구현하는 경우, 당업계에 공지된 논리 게이트 회로를 가지는 이산 논리 회로(discrete logic circuit), 적절한 조합 논리 게이트 회로를 가지는 어플리케이션-특정 집적 회로(application-specific integrated circuit), 프로그래머블 게이트 어레이(PGA), FPGA (Field Programmable Gate Array) 등의 기술 중 임의의 하나 또는 조합이 구현에 사용될 수 있다.
당업자는 전술한 실시 예의 상기 방법에서 상기 동작들의 전부 또는 일부가 프로그램에 의해 지시된 관련 하드웨어를 통해 완료될 수 있음을 이해해야 하고, 상기 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있고, 상기 프로그램이 실행될 때, 상기 방법 실시 예의 동작들 중 하나 이상의 동작들이 포함된다.
또한, 본 발명의 각 실시 예에서의 각각의 기능 유닛은 처리 모듈에 통합될 수 있고, 각각의 유닛은 또한 물리적으로 독립적으로 존재할 수 있고, 둘 이상의 유닛들이 또한 하나의 모듈에 통합될 수 있다. 상기 통합 모듈은 하드웨어 형태로 구현될 수 있고, 소프트웨어 기능 모듈 형태로도 구현될 수 있다. 소프트웨어 기능 모듈의 형태로 구현되고, 독립적인 제품으로서 판매 또는 사용되는 경우, 상기 통합 모듈은 컴퓨터 판독 가능 저장 매체에 저장될 수 있다.
상기 저장 매체는 판독 전용 메모리, 자기 디스크, 광 디스크 등일 수 있다. 본 발명의 실시 예는 위에서 예시되거나 설명되었다. 그러나, 전술한 실시 예들은 예시적인 것이며 본 발명에 대한 제한으로서 이해되어서는 안 되며, 당업자는 본 발명의 범위 내에서 상기 언급된 실시 예에 대한 변형, 수정, 대체, 전환을 행할 수 있음을 이해할 수 있다.

Claims (15)

  1. 듀얼 카메라 기반 이미징 방법에 있어서,
    상기 듀얼 카메라들은 제1카메라 및 제2카메라를 포함하고,
    상기 제1카메라는 상기 제2카메라보다 해상도가 높고, 상기 제2카메라보다 감도가 낮으며,
    상기 방법은:
    주변 휘도에 따라 상기 듀얼 카메라들로부터 메인 카메라 및 보조 카메라를 판단하는 동작;
    상기 메인 카메라로 촬영된 제1이미지에 따라 제3이미지를 생성하는 동작;
    상기 제1이미지 및 상기 보조 카메라로 촬영된 제2이미지에 따라 상기 제3이미지의 심도 정보를 계산하는 동작; 및
    상기 제3이미지의 상기 심도 정보에 따라 상기 제3이미지에 대해 블러링 처리를 수행하여 제4이미지를 획득하는 동작;
    을 포함하는 것을 특징으로 하는, 듀얼 카메라 기반 이미징 방법.
  2. 제 1 항에 있어서,
    상기 주변 휘도에 따라 상기 듀얼 카메라들로부터 상기 메인 카메라 및 보조 카메라를 판단하는 동작은:
    상기 주변 휘도가 임계 휘도보다 높은 경우, 상기 제1카메라를 상기 메인 카메라로 판단하고, 상기 제2카메라가 상기 보조 카메라가 되도록 판단하는 동작; 또는
    상기 주변 휘도가 상기 임계 휘도보다 높지 않은 경우, 상기 제2카메라를 상기 메인 카메라로 판단하고, 상기 제1카메라가 상기 보조 카메라가 되도록 판단하는 동작;
    을 포함하는 것을 특징으로 하는, 듀얼 카메라 기반 이미징 방법.
  3. 제 1 항에 있어서,
    상기 메인 카메라로 촬영된 상기 제1이미지에 따라 상기 제3이미지를 생성하는 동작은:
    상기 메인 카메라의 시야각(FOV)이 상기 보조 카메라의 FOV 보다 작거나 같은 경우, 상기 제1이미지가 상기 제3이미지가 되도록 판단하는 동작;
    을 포함하는 것을 특징으로 하는 듀얼 카메라 기반 이미징 방법.
  4. 제 1 항에 있어서,
    상기 메인 카메라로 촬영된 상기 제1이미지에 따라 상기 제3이미지를 생성하는 동작은:
    상기 메인 카메라의 시야각(FOV)이 상기 보조 카메라의 FOV보다 큰 경우, 상기 제1이미지를 크롭하여 상기 제2이미지와 동일한 뷰를 가지는 상기 제3이미지를 얻는 동작;
    을 포함하는 것을 특징으로 하는, 듀얼 카메라 기반 이미징 방법.
  5. 제 1 항에 있어서,
    상기 제1카메라 및 상기 제2카메라의 ISO(International Organization for Standardization), 상기 감도들의 값들을 판독하는 동작; 및
    상기 ISO 값들에 따라 상기 주변 휘도를 판단하는 동작;
    을 더 포함하는 것을 특징으로 하는, 듀얼 카메라 기반 이미징 방법.
  6. 제 1 항에 있어서,
    상기 메인 카메라로 상기 제1이미지를 촬영하고, 상기 보조 카메라로 상기 제2이미지를 촬영하는 동작을 더 포함하고, 상기 동작은:
    포커싱을 위해 상기 제2카메라를 구동하는 동작;
    상기 제2카메라의 상기 포커싱이 완료되는 것에 응답하여, 상기 제2카메라의 모터의 제2구동 전류 값을 획득하는 동작;
    상기 제2구동 전류 값에 따라 상기 제1카메라의 모터의 제1구동 전류 값을 판단하는 동작; 및
    상기 제1구동 전류 값을 이용하여 포커싱을 위해 상기 제1카메라를 구동하는 동작;
    을 포함하는 것을 특징으로 하는, 듀얼 카메라 기반 이미징 방법.
  7. 제 1 항에 있어서,
    상기 제1이미지 및 상기 제2이미지에 따라 상기 제3이미지의 심도 정보를 계산하는 동작은:
    상기 제1이미지와 상기 제2이미지 모두의 다수의 포인트들에 대해, 상기 제1이미지와 상기 제2이미지 사이에서 상기 다수의 포인트들 각각의 변위(displacement)를 계산하는 동작; 및
    상기 변위와 관련된 정보는 상기 심도 정보가 되는 동작;
    을 포함하는 것을 특징으로 하는, 듀얼 카메라 기반 이미징 방법.
  8. 제 1 항에 있어서,
    상기 제3이미지의 상기 심도 정보에 따라 상기 제3이미지에 대해 블러링 처리를 수행하는 동작은:
    상기 제3이미지의 전경 영역 및 배경 영역을 판단하는 동작;
    상기 심도 정보 및 포커싱 영역에 따라 상기 전경 영역의 제1심도 정보 및 상기 배경 영역의 제2심도 정보를 획득하는 동작;
    상기 제1심도 정보 및 상기 제2심도 정보에 따라 블러링 강도를 생성하는 동작; 및
    상기 블러링 강도에 따라 제3이미지의 상기 배경 영역에 대해 블러링 처리를 수행하는 동작;
    를 포함하는 것을 특징으로 하는, 듀얼 카메라 기반 이미징 방법.
  9. 제 8 항에 있어서,
    상기 블러링 강도에 따라 상기 제3이미지의 상기 배경 영역에 대해 블러링 처리를 수행하는 동작은:
    상기 제3이미지의 상기 배경 영역에서 각 픽셀의 블러링 계수를 상기 픽셀의 상기 블러링 강도 및 심도 정보에 따라 획득하는 동작-상기 블러링 계수는 상기 블러링 강도와 관련이 있고, 상기 블러링 계수가 높을수록 상기 블러링 강도가 높음-; 및
    상기 각 픽셀의 블러링 계수에 따라 상기 제3이미지의 상기 배경 영역에 대해 블러링 처리를 수행하는 동작;
    을 포함하는 것을 특징으로 하는, 듀얼 카메라 기반 이미징 방법.
  10. 제 1항에 있어서,
    상기 제3이미지의 상기 심도 정보에 따라 상기 제3이미지에 대해 블러링 처리를 수행하는 동작은:
    상기 제3이미지의 배경 영역을 판단하는 단계;
    상기 심도 정보 및 포커싱 영역에 따라 상기 배경 영역의 제2심도 정보를 획득하는 동작;
    상기 제3이미지의 상기 배경 영역의 상기 제2심도 정보와 상기 포커싱 영역의 심도 정보 사이의 차이를 획득하는 동작;
    상기 차이에 따라, 상기 차이들과 블러링 강도들 사이에 미리 저장된 맵핑 관계를 조회하여 대응하는 블러링 강도를 획득하는 동작; 및
    상기 대응하는 블러링 강도에 따라 상기 제3이미지의 상기 배경 영역에 대해 블러링 처리를 수행하는 동작;
    을 포함하는 것을 특징으로 하는, 듀얼 카메라 기반 이미징 방법.
  11. 제 1 항에 있어서,
    상기 메인 카메라로 상기 제1이미지를 촬영하고, 상기 보조 카메라로 상기 제2이미지를 촬영하는 동작을 더 포함하고, 상기 동작은:
    상기 메인 카메라와 상기 보조 카메라를 동시에 사용하여 연속적으로 뷰를 탐색하고 촬영하여, 상기 메인 카메라로 촬영된 n개 프레임들의 이미지들과 상기 보조 카메라로 촬영된 m개 프레임들의 이미지들을 각각 획득하는 동작;
    상기 메인 카메라로 촬영된 상기 n개 프레임들의 이미지들에 대해 합성 노이즈 감소를 수행하여 상기 제1이미지를 획득하는 동작; 및
    상기 보조 카메라로 촬영된 상기 m개 프레임들의 이미지들에 대해 합성 노이즈 감소를 수행하여 상기 제2이미지를 획득하는 동작;
    을 포함하고,
    m 및 n은 1보다 큰 정수인 것을 특징으로 하는, 듀얼 카메라 기반 이미징 방법.
  12. 제 11 항에 있어서,
    상기 합성 노이즈 감소를 수행하는 동작은:
    동일한 위치에서 상기 샷 이미지들의 픽셀들은 상기 픽셀들의 값들에 따라 노이즈 포인트에 대응한다고 판단하는 동작; 및
    상기 노이즈 포인트에 대해 정확한 색상을 추정하고, 상기 노이즈 포인트에 대해 픽셀 교체 처리를 수행하는 동작;
    을 포함하는 것을 특징으로 하는, 듀얼 카메라 기반 이미징 방법.
  13. 제 11 항에 있어서,
    상기 합성 노이즈 감소를 수행하는 동작은:
    동일한 위치에서 상기 샷 이미지들의 픽셀들의 값들을 판독하는 동작; 및
    상기 동일한 위치에서 상기 획득된 이미지의 픽셀의 값으로서 상기 값들의 가중 평균을 계산하는 동작;
    을 포함하는 것을 특징으로 하는, 듀얼 카메라 기반 이미징 방법.
  14. 제1카메라,
    제2카메라,
    프로세서,
    컴퓨터 프로그램을 저장하는 메모리,
    를 포함하고,
    상기 제1카메라는 상기 제2카메라보다 해상도가 높고, 상기 제2카메라보다 감도가 낮으며, 및
    상기 컴퓨터 프로그램은 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금 제1항 내지 제13항 중 어느 한 항에 따른 방법을 구현하게 하는 것을 특징으로 하는, 이동 단말기.
  15. 컴퓨터 프로그램이 저장되는 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 프로그램은 프로세서에 의해 실행되어 제 1 항 내지 제 13 항 중 어느 한 항에 따른 방법을 구현하는 컴퓨터 판독 가능 저장 매체.
KR1020207009347A 2017-11-30 2018-11-09 듀얼 카메라 기반 이미징 방법과 장치 및 저장 매체 KR102306304B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201711242048.3A CN107959778B (zh) 2017-11-30 2017-11-30 基于双摄像头的成像方法和装置
CN201711242048.3 2017-11-30
PCT/CN2018/114921 WO2019105207A1 (en) 2017-11-30 2018-11-09 Method and device for dual-camera-based imaging and storage medium

Publications (2)

Publication Number Publication Date
KR20200042536A KR20200042536A (ko) 2020-04-23
KR102306304B1 true KR102306304B1 (ko) 2021-09-29

Family

ID=61962059

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207009347A KR102306304B1 (ko) 2017-11-30 2018-11-09 듀얼 카메라 기반 이미징 방법과 장치 및 저장 매체

Country Status (6)

Country Link
US (1) US10616459B2 (ko)
EP (1) EP3493519B1 (ko)
JP (1) JP7145208B2 (ko)
KR (1) KR102306304B1 (ko)
CN (1) CN107959778B (ko)
WO (1) WO2019105207A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107948500A (zh) 2017-11-01 2018-04-20 广东欧珀移动通信有限公司 图像处理方法和装置
CN108055452B (zh) * 2017-11-01 2020-09-18 Oppo广东移动通信有限公司 图像处理方法、装置及设备
CN107959778B (zh) 2017-11-30 2019-08-20 Oppo广东移动通信有限公司 基于双摄像头的成像方法和装置
KR20190139788A (ko) * 2018-06-08 2019-12-18 삼성전자주식회사 전자 장치에서 복수의 카메라들을 이용하여 미디어를 캡쳐하기 위한 방법 및 장치
EP4164237A1 (en) * 2018-06-08 2023-04-12 Samsung Electronics Co., Ltd. Methods and apparatus for capturing media using plurality of cameras in electronic device
CN108769545A (zh) * 2018-06-12 2018-11-06 Oppo（重庆）智能科技有限公司 一种图像处理方法、图像处理装置及移动终端
CN108600643A (zh) * 2018-07-13 2018-09-28 广州三星通信技术研究有限公司 图像拍摄方法和装置
KR102525000B1 (ko) * 2018-08-08 2023-04-24 삼성전자 주식회사 복수의 이미지들이 합성된 이미지를 깊이 정보에 기반하여 흐림 처리하는 전자 장치 및 상기 전자 장치의 구동 방법
KR102524982B1 (ko) * 2018-08-08 2023-04-24 삼성전자 주식회사 흐림 처리가 수행된 이미지에 노이즈 패턴을 반영하는 방법 및 장치
CN109377460A (zh) * 2018-10-15 2019-02-22 Oppo广东移动通信有限公司 一种图像处理方法、图像处理装置及终端设备
CN110300268A (zh) * 2019-07-26 2019-10-01 上海龙旗科技股份有限公司 摄像头切换方法及设备
US11483484B2 (en) * 2019-11-06 2022-10-25 Nec Corporation Of America Systems and methods for imaging of moving objects using multiple cameras
CN113395434B (zh) * 2020-03-11 2022-08-23 武汉Tcl集团工业研究院有限公司 一种预览图像虚化方法、存储介质及终端设备
CN112017137B (zh) * 2020-08-19 2024-02-27 深圳市锐尔觅移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112311985B (zh) * 2020-10-12 2021-12-14 珠海格力电器股份有限公司 一种多摄拍照处理方法、装置及存储介质
CN113206960A (zh) * 2021-03-24 2021-08-03 上海闻泰电子科技有限公司 拍摄方法、装置、计算机设备和计算机可读存储介质
CN113810598B (zh) * 2021-08-11 2022-11-22 荣耀终端有限公司 一种拍照方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080218611A1 (en) * 2007-03-09 2008-09-11 Parulski Kenneth A Method and apparatus for operating a dual lens camera to augment an image
CN105100615A (zh) * 2015-07-24 2015-11-25 青岛海信移动通信技术股份有限公司 一种图像的预览方法、装置及终端
US20170019616A1 (en) * 2014-05-15 2017-01-19 Huawei Technologies Co., Ltd. Multi-frame noise reduction method, and terminal

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018445A (ja) * 2001-07-05 2003-01-17 Fuji Photo Film Co Ltd 画像撮像装置
US8542287B2 (en) 2009-03-19 2013-09-24 Digitaloptics Corporation Dual sensor camera
JP5396231B2 (ja) * 2009-10-21 2014-01-22 オリンパスイメージング株式会社 撮像装置
JP2012160863A (ja) 2011-01-31 2012-08-23 Sanyo Electric Co Ltd 撮像装置、画像再生装置及び画像処理装置
JP5979837B2 (ja) * 2011-09-15 2016-08-31 キヤノン株式会社 交換レンズ、及びそれを有するカメラシステム
JP6031670B2 (ja) 2011-12-09 2016-11-24 パナソニックＩｐマネジメント株式会社 撮像装置
CN103871051B (zh) * 2014-02-19 2017-01-18 小米科技有限责任公司 图像处理方法、装置和电子设备
KR102251483B1 (ko) 2014-10-23 2021-05-14 삼성전자주식회사 영상을 처리하는 전자 장치 및 방법
CN104333700B (zh) * 2014-11-28 2017-02-22 广东欧珀移动通信有限公司 一种图像虚化方法和图像虚化装置
EP3234908A4 (en) * 2014-12-19 2018-05-23 Nokia Technologies OY Method, apparatus and computer program product for blur estimation
JP6436783B2 (ja) 2015-01-09 2018-12-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
US20160366398A1 (en) 2015-09-11 2016-12-15 Mediatek Inc. Image Frame Synchronization For Dynamic Image Frame Rate In Dual-Camera Applications
CN106550184B (zh) 2015-09-18 2020-04-03 中兴通讯股份有限公司 照片处理方法及装置
KR102480600B1 (ko) 2015-10-21 2022-12-23 삼성전자주식회사 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법
CN106060423B (zh) * 2016-06-02 2017-10-20 广东欧珀移动通信有限公司 虚化照片生成方法、装置和移动终端
CN106254682B (zh) 2016-09-22 2019-07-26 维沃移动通信有限公司 一种拍照方法及移动终端
CN106780330B (zh) 2016-12-08 2018-05-11 中国人民解放军国防科学技术大学 一种基于彩色与黑白双摄像头的超分辨率重建方法
CN106851104B (zh) 2017-02-28 2019-11-22 努比亚技术有限公司 一种根据用户视角进行拍摄的方法及装置
CN106993112B (zh) * 2017-03-09 2020-01-10 Oppo广东移动通信有限公司 基于景深的背景虚化方法及装置和电子装置
CN106952222A (zh) * 2017-03-17 2017-07-14 成都通甲优博科技有限责任公司 一种交互式图像虚化方法及装置
CN106960413A (zh) * 2017-03-24 2017-07-18 深圳市金立通信设备有限公司 一种图像虚化的方法及终端
CN106791341A (zh) * 2017-03-27 2017-05-31 上海与德科技有限公司 基于双摄像头的拍摄方法及装置
CN107194963A (zh) * 2017-04-28 2017-09-22 努比亚技术有限公司 一种双摄像头图像处理方法及终端
CN107959778B (zh) 2017-11-30 2019-08-20 Oppo广东移动通信有限公司 基于双摄像头的成像方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080218611A1 (en) * 2007-03-09 2008-09-11 Parulski Kenneth A Method and apparatus for operating a dual lens camera to augment an image
US20170019616A1 (en) * 2014-05-15 2017-01-19 Huawei Technologies Co., Ltd. Multi-frame noise reduction method, and terminal
CN105100615A (zh) * 2015-07-24 2015-11-25 青岛海信移动通信技术股份有限公司 一种图像的预览方法、装置及终端

Also Published As

Publication number Publication date
WO2019105207A1 (en) 2019-06-06
CN107959778B (zh) 2019-08-20
CN107959778A (zh) 2018-04-24
US20190166286A1 (en) 2019-05-30
EP3493519A1 (en) 2019-06-05
US10616459B2 (en) 2020-04-07
JP2020537382A (ja) 2020-12-17
JP7145208B2 (ja) 2022-09-30
KR20200042536A (ko) 2020-04-23
EP3493519B1 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
KR102306304B1 (ko) 듀얼 카메라 기반 이미징 방법과 장치 및 저장 매체
KR102306283B1 (ko) 이미지 처리 방법 및 장치
KR102293443B1 (ko) 듀얼 카메라를 이용한 이미지 처리 방법 및 이동 단말기
KR102306272B1 (ko) 듀얼 카메라 기반 이미징 방법, 이동 단말기 및 저장 매체
CN107948519B (zh) 图像处理方法、装置及设备
KR102279436B1 (ko) 이미지 처리 방법, 장치 및 기기
CN107977940B (zh) 背景虚化处理方法、装置及设备
KR102304784B1 (ko) 더블 카메라 기반 이미징 방법 및 장치
CN108024054B (zh) 图像处理方法、装置、设备及存储介质
CN108156369B (zh) 图像处理方法和装置
CN107872631B (zh) 基于双摄像头的图像拍摄方法、装置及移动终端
CN108053438B (zh) 景深获取方法、装置及设备
CN108052883B (zh) 用户拍照方法、装置及设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant