KR20200031168A - 듀얼 카메라를 이용한 이미지 처리 방법 및 이동 단말기 - Google Patents

듀얼 카메라를 이용한 이미지 처리 방법 및 이동 단말기 Download PDF

Info

Publication number
KR20200031168A
KR20200031168A KR1020207005965A KR20207005965A KR20200031168A KR 20200031168 A KR20200031168 A KR 20200031168A KR 1020207005965 A KR1020207005965 A KR 1020207005965A KR 20207005965 A KR20207005965 A KR 20207005965A KR 20200031168 A KR20200031168 A KR 20200031168A
Authority
KR
South Korea
Prior art keywords
camera
image
primary
images
depth information
Prior art date
Application number
KR1020207005965A
Other languages
English (en)
Other versions
KR102293443B1 (ko
Inventor
딴 오우양
궈휘 딴
Original Assignee
광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 filed Critical 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Publication of KR20200031168A publication Critical patent/KR20200031168A/ko
Application granted granted Critical
Publication of KR102293443B1 publication Critical patent/KR102293443B1/ko

Links

Images

Classifications

    • G06T5/002—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H04N5/2258—
    • H04N5/23229—
    • H04N5/23232—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Exposure Control For Cameras (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

이미지 처리 방법 및 이동 단말기 및 컴퓨터 판독 가능 매체가 개시된다. 일 방법에서, n개의 제1이미지 및 m개의 제2이미지가 획득된다. 상기 제1이미지 및 상기 제2이미지는 1차 카메라 및 2차 카메라에 의해 각각 캡처되고, n 및 m은 모두 2보다 큰 정수이다. 상기 n개의 제1이미지 및 상기 m개의 제2이미지 각각에 대해 합성-디노이즈 처리가 수행되어 1차 이미지 및 2차 이미지를 각각 획득한다. 상기 1차 이미지의 깊이 정보는 상기 1차 이미지 및 상기 2차 이미지에 기초하여 획득된다. 그리고 나서, 상기 1차 이미지의 블러링 처리가 상기 1차 이미지의 깊이 정보에 기초하여 수행되어 상기 타깃 이미지를 획득한다.

Description

듀얼 카메라를 이용한 이미지 처리 방법 및 이동 단말기
본 발명은 일반적으로 이동 단말기의 기술 분야에 관한 것으로, 특히 듀얼 카메라를 이용한 이미지 처리 방법 및 이동 단말기에 관한 것이다.
본 출원은 2017년 11월 1일에 출원된 중국 특허 출원 번호 201711060116.4에 우선권을 주장하며, 그 내용은 그 전체가 본원에 참조로 포함된다.
이동 단말기의 경우, 일반적으로 크기의 제한으로 인해 광학 모드에서 배경의 블러링 효과(blurring effect)를 얻을 수 없다. 종래 기술에서, 상기 이미지의 배경을 블러링 처리하기 위하여, 2개의 카메라가 각각 사진을 캡처하도록 채택될 수 있다. 두 사진 중 하나가 상기 이미징 사진으로 선택되고, 상기 이미징 사진의 깊이 정보는 다른 사진에 기초하여 계산된다. 이어서, 깊이 정보에 따라 상기 이미징 사진의 배경에 대해 블러링 처리가 수행된다.
그러나, 어두운 환경의 경우, 상기 이미징 사진의 상기 이미징 효과가 좋지 않고, 상기 깊이 정보가 충분히 정확하지 않아서, 상기 블러링 처리된 사진의 효과가 열악하다.
본 발명은 관련 기술의 상기 기술적 문제 중 적어도 하나를 해결하기 위한 것이다. 이를 위하여, 본 발명은 이미지들의 이미징 효과를 향상시키고, 깊이 정보의 정확성을 향상시키는 이미지 처리 방법 및 이동 단말기를 제안한다.
본 발명의 일 양상에 따르면, 이미지 처리 방법이 제공된다. 상기 방법은, n개의 제1이미지들 및 m개의 제2이미지들을 획득하는 단계로서, 상기 제1이미지들 및 상기 제2이미지들은 각각 1차 카메라 및 2차 카메라에 의해 캡처되고, 상기 n 및 상기 m 모두 2보다 큰 정수인 단계; 상기 n개의 제1이미지들 및 상기 m개의 제2이미지들 각각에 대해 합성-디노이징을 수행함으로써, 각각 1차 이미지 및 2차 이미지를 획득하는 단계; 상기 1차 이미지 및 상기 2차 이미지에 기초하여 상기 1차 이미지의 깊이 정보를 획득하는 단계; 및 상기 1차 이미지의 상기 깊이 정보에 기초하여 상기 1차 이미지에 대한 블러링 처리를 수행함으로써, 타깃 이미지를 획득하는 단계를 포함한다.
본 발명의 다른 양상에 따르면, 이동 단말기가 제공된다. 이동 단말기는 회로를 포함할 수 있다. 상기 회로는 전술한 양상에서 이미지 처리 방법을 수행하도록 구성될 수 있다.
본 발명의 또 다른 양상에 따르면, 비 일시적 컴퓨터 판독 가능 매체가 제공된다. 상기 비 일시적 컴퓨터 판독 가능 매체는 프로세서에 의해 실행될 때 프로세서로 하여금 전술한 양상에서 이미지 처리를 위한 방법을 수행하게 하는 명령어들을 저장할 수 있다.
본 발명의 실시 예에서 설명된 기술적 해결 수단을 보다 명확하게 하기 위해, 실시 예의 설명에 사용된 도면이 간략하게 설명될 것이다. 명백하게, 아래에 기술된 도면은 단지 예시를 위한 것이며 제한적인 것은 아니다. 당업자는 본 발명의 작업을 수행하지 않고도 이들 도면에 기초하여 다른 도면을 획득할 수 있음을 이해해야 한다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 순서도이다.
도 2는 삼각 측정의 원리를 나타내는 개략도이다.
도 3a는 본 발명의 일 실시 예에 따른 다른 이미지 처리 방법의 순서도이다.
도 3b는 카메라 모듈의 구조를 나타내는 개략도이다.
도 4는 본 발명의 일 실시 예에 따른 이미지 처리 장치의 구조를 나타내는 개략도이다.
도 5는 본 발명의 일 실시 예에 따른 다른 이미지 처리 장치의 구조를 나타내는 개략도이다.
도 6은 본 발명의 일 실시 예에 따른 이동 단말기의 구조를 나타내는 개략도이다.
도 7은 본 발명의 일 실시 예에 따른 이미지 처리 회로의 개략도이다.
본 발명의 다음의 실시 예들이 상세하게 설명될 것이며, 그 예는 첨부 도면에 도시되어 있으며, 동일하거나 유사한 참조 번호는 동일하거나 유사한 기능을 수행하는 동일하거나 유사한 요소 또는 요소를 나타 내기 위해 전체에 걸쳐 사용되었다. 첨부 도면을 참조하여 아래에 설명된 실시 예는 단지 예시적인 것이며, 이는 본 발명을 제한하기보다는 예시적인 것으로 의도된다.
이하, 본 발명의 실시 예들에서 제공되는 이미지 처리 방법 및 이동 단말기에 대하여 도면을 참조하여 설명한다.
본 발명의 실시 예들에서의 상기 이미지 처리 방법은 휴대폰, 테이블 PC, 개인 휴대 정보 단말기, 웨어러블 기기 등과 같은 듀얼 카메라를 구비한 하드웨어 장치에 의해 구현될 수 있다. 상기 웨어러블 기기는 스마트 팔찌, 스마트 시계, 스마트 안경 등일 수 있다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 순서도이다. 도 1을 참조하면, 상기 이미지 처리 방법은 다음 블록들을 포함할 수 있다.
블록(101)에서, n개의 제1이미지 및 m개의 제2이미지가 획득되고, 상기 제1이미지 및 상기 제2이미지는 각각 1차 카메라 및 2차 카메라에 의해 캡처된다. n과 m은 모두 2보다 큰 정수이다.
본 발명의 상기한 실시 예에서, 상기 제1이미지 및 상기 제2이미지 각각에 대해 합성-디노이징 처리를 수행함으로써 상기 이미징 품질(imaging quality)이 개선될 수 있다. 실제 적용에서, 저조도(low-light) 환경에서는 상기 듀얼 카메라의 상기 이미징 효과(imaging effect)가 나쁘기 때문에 상기 캡처된 제1이미지와 제2이미지에 노이즈가 많이 발생한다. 고조도(high-light) 환경에서 충분한 조명으로 인해 상기 듀얼 카메라의 상기 이미지 효과가 뛰어나다. 상기 n 및 m의 값은 상이한 환경 하에서 상기 듀얼 카메라의 상기 이미징 성능(imaging performance)에 기초하여 조정될 수 있다. 예를 들어, 상기 n 및 m의 값은 상기 저조도 환경에서 크게 조정되어, 상기 이미징 효과가 가능한 한 많이 개선된다. 또한, 상기 이미징 효과가 우수할 때 상기 전체 시스템의 상기 처리 압력을 감소시키기 위해, 상기 고조도 환경 하에서 상기 n 및 m의 값이 작게 조정된다.
일 실시 예에서, 촬영 동작이 검출되는 주변 조명의 휘도가 획득될 수 있다. 가령, 상기 주변 조명의 휘도는 상기 듀얼 카메라를 구비한 상기 하드웨어 장치의 광학 센서에 의해 획득될 수 있다. 다른 예로서, 상기 주변 조명의 휘도는 상기 듀얼 카메라의 국제표준화기구(International Standards Organization: ISO) 감도 값에 따라 획득될 수 있다. 상기 획득된 주변 조명의 휘도가 범위에 위치하면, 예를 들어, 상기 주변 조명의 휘도와 상기 n 및 m의 값 사이의 관계를 정의하는 룩업 테이블(lookup table)에서 해당 n 및 m의 값을 찾을 수 있다. 따라서, 상기 1차 카메라 및 상기 2차 카메라는 각각 n개의 제1이미지 및 m개의 제2이미지를 캡처하도록 제어된다.
상기 주변 조명의 휘도의 다양한 범위에 대응하는 상기 n 및 m의 값은 많은 테스트 데이터로부터 교정될 수 있다. 테스트 중에, 각각의 n개의 제1이미지 및 m개의 제2이미지 각각에 대해 합성-디노이징 처리가 수행된 후, 상이한 n 및 m의 값에 대한 상이한 이미징 효과(imaging effects) 및 상이한 처리 시간(processing time)이 테스트되며, 여기서 n 및 m의 각 쌍은 상기 주변 조명의 휘도의 각 범위에 대응한다. 사전 설정된 처리 시간이 충족될 때 상기 최적의 이미징 효과를 위한 특정 n 및 m의 값이 획득될 수 있다. 이때, 상기 최적의 이미징 효과를 위한 상기 n 및 m의 값과 상기 주변 조명의 휘도의 상기 해당 범위 사이의 관계가 수립될 수 있다.
상기 n 및 m의 값은 또한 상기 듀얼 카메라를 가지는 상기 하드웨어 장치의 이미징 하드웨어와 관련될 수 있음에 유의한다. 상기 이미징 하드웨어의 감도가 높을수록 상기 n 및 m의 값은 작아진다.
블록(102)에서, 1차 이미지를 획득하기 위해 상기 n개의 제1이미지들 및 2차 이미지를 획득하기 위해 상기 m개의 제2이미지들에 대해 합성-디노이징 처리가 수행된다.
일 실시 예에서, 상기 합성-디노이징 처리는 상기 1 차 이미지를 획득하기 위해 상기 n개의 제1이미지들 및 상기 2차 이미지를 획득하기 위해 상기 m개의 제2이미지들에 대한 디노이징 알고리즘으로 수행된다. 본 명세서에 설명된 상기 디노이징 알고리즘은 비국부 평균 디노이징 알고리즘(non-local means denoising algorithm)일 수 있고, 물론 다른 디노이징 알고리즘 중 하나일 수 있으며, 이는 본 실시 예에서 제한되지 않는다.
다중 프레임에 대한 상기 합성-디노이징 처리를 명확하게 이해하기 위해 다중 프레임에 대한 합성-디노이징 처리를 설명할 것이다.
저조도 환경에서, 단말 장치와 같은 이미징 장치는 일반적으로 그 감도를 자동 개선하는 모드를 채택하지만, 이러한 모드는 노이즈가 많은 이미지를 야기할 것이다. 상기 다중 프레임에 대한 합성-디노이징 처리는 상기 이미지들의 상기 노이즈 포인트들을 감소시켜 고감도 조건에서 촬영된 상기 이미지 품질을 향상시키도록 구성된다. 상기 원리는 공지된 상기 노이즈 포인트들이 순서 없이 배열된다는 것이다. 구체적으로, 복수의 이미지를 연속적으로 캡처한 후, 동일한 위치의 노이즈 포인트는 적색 노이즈 포인트, 녹색 노이즈 포인트 또는 화이트 노이즈 포인트일 수 있고; 특히 동일한 위치에 노이즈는 없다. 그러므로, 상기 복수의 이미지가 등록된 후, 상기 복수의 캡처된 이미지에서 동일한 위치에 대응하는 각 픽셀 포인트의 값에 따라 노이즈 (노이즈 포인트)에 속하는 픽셀 포인트를 필터링하기 위해 비교 및 필터링 조건이 주어진다. 또한, 상기 노이즈 포인트들을 필터링 한 후, 상기 노이즈 포인트들을 제거하기 위해 상기 노이즈 포인트들에 대해 컬러 지정(color-speculating) 및 픽셀-대체(pixel-replacing) 처리를 수행하도록 알고리즘이 더 채택될 수 있다. 전술한 공정 후에, 낮은 이미지-품질 손실로 디노이징 효과가 달성될 수 있다.
예를 들어, 다수의 프레임들에 대한 합성-디노이징 처리를 위한 간단한 방법에서, 다중 이미지들이 캡처된 다음, 상기 다수의 이미지들의 동일한 위치에 대응하는 픽셀 포인트들의 값들이 판독된다. 상기 픽셀 포인트들의 가중 평균 값이 계산되고, 합성된 이미지의 동일한 위치에서 해당 픽셀 포인트의 값이 생성된다. 이러한 방식으로, 고화질의 이미지가 달성될 수 있다.
상기 이미지들 중에서 가장 높은 화질을 가지는 하나의 이미지가 존재하며, 이는 베이스 이미지(base image)로 취급될 수 있다. 가능한 실시 예들로서, 상기 베이스 이미지의 가중치는 다른 이미지들의 가중치보다 클 수 있다. 다시 말해서, 상기 베이스 이미지에서의 상기 노이즈는 다른 이미지들을 실질적으로 참조하여 식별되고 제거될 수 있다.
블록(103)에서, 상기 1차 이미지 및 상기 2차 이미지에 기초하여 상기 1차 이미지의 깊이 정보(depth information)가 획득된다.
상기 1차 카메라와 상기 2차 카메라 사이에는 일정한 거리가 있기 때문에 이러한 카메라 사이의 시차(disparity)가 형성된다. 따라서 상이한 카메라들로 캡처한 상기 이미지들은 상이하다. 상기 1차 이미지와 상기 2차 이미지는 상이한 카메라들로 캡처한 상기 이미지들에 대해 합성-디노이징 처리를 수행하여 획득된다. 따라서 상기 1차 이미지와 상기 2차 이미지 사이에는 일부 차이도 존재할 것이다. 삼각 측정 원리에 따르면, 상기 1차 이미지의 오브젝트와 상기 2차 이미지의 오브젝트의 상기 차이에 기초하여 하나의 오브젝트의 깊이 정보가 획득될 수 있고, 이는 상기 오브젝트와 상기 1차 카메라와 2차 카메라가 있는 평면 사이의 거리를 나타낸다. 상기 1차 이미지의 상기 깊이 정보는 상기 1차 이미지의 다양한 오브젝트의 깊이 정보가 획득됨에 따라 획득된다.
이러한 과정을 명확하게 지정하기 위해 상기 삼각 측정의 원리는 다음과 같이 간단하게 설명될 것이다.
실제 시나리오에서, 장면의 눈을 구별하는 깊이 정보는 스테레오 비전을 기반으로 하며, 이는 상기 듀얼 카메라가 상기 깊이 정보를 구별하는 원리와 같다. 상기한 실시 예에서, 이미지의 깊이 정보를 획득하는 방법은 주로 삼각 측정 원리에 기초한다. 상기 삼각 측정의 원리는 도 2에 도시되어 있다.
도 2에서, 이미징 오브젝트, 상기 듀얼 카메라의 위치(OR 및 OT), 및 상기 듀얼 카메라의 초점면(focal plane)이 실제 공간에 도시되어 있다. 상기 초점면은 상기 듀얼 카메라가 각각 거리(f)로 위치하는 평면으로부터 떨어져 있고, 상기 듀얼 카메라 이미지는 2개의 이미지를 캡처하기 위해 각각 상기 초점면에 있다.
점(P)와 점(P')는 서로 다른 2개의 캡처된 이미지에서 동일한 오브젝트의 위치이다. 상기 점(P)는 이미지의 가장 왼쪽 경계로부터 이격되고, 상기 지점(P)은 거리(XR)에 위치하며; 그리고 상기 점(P')은 다른 이미지의 가장 왼쪽 경계로부터 이격되고, 상기 지점(P')은 거리(XT)에 위치한다. 점(OR) 및 점(OT)는 각각 2개의 카메라를 나타내며, 상기 2개의 카메라는 동일한 평면에 배치되어 거리(B)로 서로 이격된다.
상기 삼각 측정 원리에 따르면, 도 2에 도시된 바와 같이, 상기 오브젝트는 카메라들이 위치하는 상기 평면으로부터 거리(Z)만큼 이격된다; 상기 거리(Z)는 공식
Figure pct00001
을 충족한다.
따라서 공식
Figure pct00002
이 도출될 수 있고, 여기서 d는 2개의 상이한 캡처된 이미지에서 동일한 오브젝트의 위치 사이의 차이이다. B와 f는 일정한 값이므로, 상기 오브젝트의 상기 거리(Z)는 상기 차이(d)에 따라 결정될 수 있다.
블록(104)에서, 상기 1차 이미지에 대한 블러링 처리(blurring process)가 상기 1차 이미지의 상기 깊이 정보에 기초하여 수행되어 타깃 이미지를 회득한다.
일 실시 예에서, 상기 1차 이미지의 깊이 정보를 획득한 후, 배경 영역(background region) 및 전경 영역(foreground region)이 상기 깊이 정보에 기초하여 상기 1차 이미지 상에서 식별된다. 예를 들어, 상기 1차 이미지 상의 하나의 오브젝트가 전경 영역에 속하는지 또는 배경 영역에 속하는지 여부는 상기 1차 이미지 내의 상기 오브젝트의 깊이 정보에 따라 판단된다. 일반적으로, 하나의 오브젝트의 상기 깊이 정보는 상기 오브젝트의 깊이 값이 상기 1차 및 2차 카메라가 위치하는 평면에 가까운 물체만큼 작아질 때, 상기 오브젝트가 상기 전경 영역에 속하는 것으로 결정되었음을 나타낸다. 그렇지 않으면, 상기 오브젝트는 상기 전경 영역에 속하는 것으로 판단될 수 있다.
일 실시 예에서, 상기 블러링 처리는 타깃 이미지를 획득하기 위해 상기 배경 영역에서 수행될 수 있다. 따라서, 상기 타깃 이미지에서, 상기 전경 영역이 두드러지고 상기 배경 영역이 흐려져서, 상기 전경 영역의 초점 영역에 대한 상기 이미징 효과가 보다 우수하고 두드러지게 된다.
상기 1차 이미지의 상기 깊이 정보에 기초하여, 상기 블러링 처리는 다음과 같은 방식으로 상기 1차의 배경 영역에서 수행될 수 있다.
상기 1차 영상의 상기 깊이 정보는 상기 전경 영역에 대한 제1깊이 정보 및 상기 배경 영역에 대한 제2깊이 정보를 포함한다. 일 실시 예에서, 상기 전경 영역에 대한 상기 제1깊이 정보 및 상기 배경 영역에 대한 제2깊이 정보는 상기 1차 이미지의 상기 깊이 정보 및 초점 영역에 따라 획득된다. 블러링 레벨(blurring level)은 상기 제1깊이 정보 및 상기 제2깊이 정보에 기초하여 계산되고, 상기 블러링 레벨을 가지는 상기 블러링 처리는 상기 배경 영역에서 수행된다. 따라서, 상이한 깊이 정보에 따라 상이한 블러링 레벨을 가지는 상이한 블러링 처리가 수행될 수 있고, 그에 따라 상기 블러링 이미지가 더 자연스럽고 계층적 감각(hierarchical sense)을 가질 수 있다.
예를 들어, 상기 1차 이미지의 상기 깊이 정보는 상기 1차 이미지의 촬영된 주요 부분이 포커싱 된 후, 눈에 의해 명확하게 이미징 될 수 있고 상기 초점 영역 전후에 있는 공간 깊이 범위이다. 상기 초점 영역 이전의 상기 이미징 범위는 상기 전경 영역에 대한 상기 제1깊이 정보이고, 상기 초점 영역 이후의 상기 명확한 이미징 범위는 상기 배경 영역에 대한 상기 제2깊이 정보인 것으로 이해될 수 있다.
상기 블러링 처리 동안, 상기 배경 영역에서 상기 블러링 레벨로 상기 블러링 처리를 수행하는 상기 블록은 상이한 모드에 의해 달성될 수 있고, 이는 다음과 같이 예시된다.
상기 제2깊이 정보는 상기 배경 영역의 픽셀들에 대한 깊이 값들을 포함한다. 가능한 실시 예들로서, 상기 타깃 1차 이미지의 상기 배경 영역에서 상기 블러링 레벨 및 각 픽셀의 상기 깊이 값에 따라 각 픽셀의 블러링 계수가 획득된다. 상기 블러링 레벨은 상기 배경 영역에서 상기 픽셀들에 대한 상기 블러링 계수와 관련이 있다. 상기 블러링 계수가 클수록 상기 블러링 레벨이 높아진다. 예를 들어, 상기 블러링 레벨에 상기 타깃 1차 이미지의 상기 배경 영역에서 각 픽셀의 상기 깊이 값을 곱함으로써 얻어진 제품이 각 픽셀의 상기 블러링 계수를 획득하기 위해 계산될 수 있고, 그리고 각 픽셀의 상기 블러링 계수에 따라 상기 타깃 1차 이미지의 상기 배경 영역에 대한 상기 블러링 처리를 수행한다.
다른 가능한 실시 예들로서, 상기 제2깊이 정보는 상기 초점 영역의 상기 깊이 정보로부터 더 멀어지고, 이는 상기 해당 배경 영역이 상기 초점 영역에서 멀어지며, 상기 초점 영역과 더 관련이 없으므로 해당 블러링 레벨이 더 높다는 것을 의미한다. 상기한 실시 예에서, 상기 블러링 레벨과, 제2깊이 정보 및 상기 초점 영역의 깊이 정보 사이의 상기 차이 간의 대응 관계가 미리 저장될 수 있다. 상기 대응 관계에서, 상기 제2깊이 정보와 상기 초점 영역의 깊이 정보 사이의 차이가 클수록, 상기 대응하는 블러링 레벨이 더 높다. 따라서, 상기 타깃 1차 이미지의 상기 배경 영역의 상기 제2깊이 정보와 상기 초점 영역의 상기 깊이 정보 사이의 차이가 획득될 수 있고, 상기 대응 관계는 그 차이에 따라 해당 블러링 레벨을 획득하기 위해 검색되며, 상기 블러링 처리는 상기 블러링 레벨에 따라 상기 해당 깊이 정보로 상기 배경 영역에서 수행된다.
상기한 실시 예에서, 상기 1차 카메라가 상기 제1이미지들을 캡처하고 상기 2차 카메라가 상기 제2이미지들을 캡처한 후, 상기 n개의 제1 이미지들 및 상기 m개의 제2이미지들에 대해 합성-디노이징 처리가 각각 수행되어, 1차 이미지 및 2차 이미지를 각각 획득한다. 이때, 상기 1차 이미지 및 상기 2차 이미지에 기초하여 상기 1차 이미지의 깊이 정보가 획득되고, 마지막으로, 상기 1차 이미지의 상기 블러링 처리는 상기 1 차 이미지의 상기 깊이 정보에 기초하여 수행되어 상기 필요한 타깃 이미지를 획득한다. 상기 n개의 제1이미지들에 대해 상기 합성-디노이징 처리를 수행함으로써 상기 1차 이미지가 획득되고, 상기 m개의 제2이미지들에 대해 상기 합성-디노이징 처리를 수행함으로써 상기 2차 이미지가 획득되는 방식이 채택되기 때문에, 상기 1차 및 2차 이미지의 노이즈가 저감되어 상기 1차 및 2차 이미지의 화질(definition)이 높아진다. 상기 후속 블러링 처리는 상기 1차 이미지와 2차 이미지에서 고화질로 수행된다. 한편, 상기 이미지의 이미징 효과가 개선되고, 다른 한편, 상기 깊이 정보의 정밀도가 향상되어 상기 이미지 처리 효과가 양호 해져, 종래 기술에서 상기 블러링 처리를 수행한 후 저하되는 이미징 효과의 기술적 문제를 해결한다.
전술한 실시 예를 명확하게 설명하기 위해, 본 발명의 실시 예는 이미지 처리를 위한 다른 방법을 제공한다. 도 3a는 본 발명의 일 실시 예에 따른 다른 이미지 처리 방법의 순서도이다.
특히, 상기 이미지 처리 방법은 이동 통신, 테이블 PC, 개인 휴대 정보 단말기, 웨어러블 기기 등과 같은 듀얼 카메라를 구비한 하드웨어 장치에 의해 구현될 수 있다. 상기 듀얼 카메라를 구비한 하드웨어 장치는 카메라 모듈을 포함한다. 도 3b는 카메라 모듈의 구조적 개략도이다. 도 3b를 참조하면, 상기 카메라 모듈은 1차 카메라 및 2차 카메라를 포함한다. 상기 1차 카메라 및 상기 2차 카메라는 각각의 렌즈, 이미지 센서 및 보이스 코일 모터(voice coil motor)와 같은 모터를 가진다. 상기 듀얼 카메라의 상기 1차 카메라와 상기 2차 카메라는 각각 커넥터에 연결된다. 보이스 코일 모터를 예로 들어 보면, 상기 보이스 코일 모터들 상기 커넥터들로부터 제공된 상기 전류 값에 의해 제거되어, 상기 1차 카메라 및 2 차 카메라는 상기 보이스 코일 모터들에 의해 구동되어 각각의 렌즈와 각각의 이미지 센서 사이의 거리를 조정한다. 따라서, 상기 초점이 실현된다.
가능한 적용 시나리오로서, 상기 2차 카메라는 상기 1차 카메라보다 해상도가 낮다. 상기 포커싱 동안, 촬영 동작이 감지되면 상기 2차 카메라만 상기 1차 카메라와 상기 2차 카메라에 초점을 맞추도록 구성된다. 상기 2차 카메라에 초점을 맞추도록 구성된 상기 2차 카메라의 상기 보이스 코일 모터의 제2구동 전류는 상기 2차 카메라가 포커싱 될 때 판독된다. 상기 1차 카메라의 상기 보이스 코일 모터의 제1구동 전류는 상기 1차 카메라가 상기 2차 카메라와 동일한 포커싱 요건을 충족시킬 필요가 있을 때, 상기 제2구동 전류에 따라 판단된다. 이때, 상기 1차 카메라는 상기 제1구동 전류에 의해 포커싱 된다. 상기 2차 카메라의 해상도가 낮을수록 상기 이미지 처리 속도가 빨라지고 상기 포커싱 속도가 빨라져 종래 기술에서 상기 듀얼 카메라의 낮은 포커싱 속도에 대한 기술적 문제가 해결된다.
도 3b를 참조하면, 상기 1차 카메라와 상기 2차 카메라 사이의 거리가 존재한다. 전술한 실시 예에서 언급된 공식
Figure pct00003
로부터 알려진 바와 같이, 상기 1차 카메라와 상기 2차 카메라 사이의 거리가 너무 작으면, 계산 가능한 오브젝트는 밀접하게 이격된다. 상기 오브젝트에 대한 거리가 길어야 하는 경우 상기 1차 카메라와 상기 2차 카메라 사이의 거리가 길어야 한다. 그러나 상기 1차 카메라와 상기 2차 카메라 사이의 거리는 종종 장치 구조에 의해 제한된다. 따라서 상기 듀얼 카메라가 있는 하드웨어 장치를 제조하고 설계할 때 상기 1차 카메라와 상기 2차 카메라 사이의 거리는 최대한 커야 한다.
상기 듀얼 카메라의 특정 구현 동안, 상이한 카메라 그룹이 상기 듀얼 카메라로부터 상기 1차 카메라 및 상기 2차 카메라로서 선택될 수 있다. 이러한 방식으로 상이한 사용자 요구를 조정해야 한다.
일 실시 예에서, 상기 2차 카메라는 일반 카메라 및 듀얼-픽셀 카메라 중 하나이고, 상기 1차 카메라는 상기 일반 카메라 및 듀얼-픽셀 카메라 중 다른 카메라이다. 적용 시나리오에서, 상기 포커싱 속도가 높아야 한다. 상기 듀얼 카메라의 상기 1차 카메라는 일반 카메라이고, 상기 듀얼 카메라의 상기 2차 카메라는 듀얼-픽셀 카메라이다. 상기 듀얼-픽셀 카메라는 상기 일반 카메라보다 해상도가 낮다.
듀얼-픽셀 카메라의 각 픽셀은 2개의 유닛으로 구성되어 있다. 상기 2개의 유닛은 위상 초점 검출 포인트로 사용되거나, 혹은 단일 픽셀에 대한 이미지로 결합되어, 장면이 전자적으로 캡처될 때 상기 포커싱 성능을 크게 향상시킨다. 상기 듀얼-픽셀CMOS(Complementary Metal Oxide Semiconductor)와 상기 센서 카메라는 CMOS를 센서로 사용하는 상기 듀얼-픽셀 카메라로 일반적으로 사용되며, 이는 SLR 카메라에서 처음 사용된다.
다른 실시 예에서, 상기 2차 카메라는 광각(wide-angle) 카메라 및 망원(telephoto) 카메라 중 하나이고, 상기 1차 카메라는 상기 광각 카메라 및 상기 망원 카메라 중 다른 하나이다. 다른 적용 시나리오에서, 상기 이미징 효과가 양호해야 한다. 상기 듀얼 카메라로는 광각 카메라와 망원 카메라 그룹이 선택된다. 촬영 요구로 인해 상기 1차 카메라와 상기 2차 카메라가 서로 전환된다. 예를 들어, 근거리 장면을 캡처해야 할 경우, 광각 렌즈가 상기 1차 카메라로 사용되고 망원 렌즈가 상기 2차 카메라로 사용된다. 원거리 장면을 캡처해야 할 경우, 상기 망원 렌즈가 상기 1차 카메라로 사용되고 상기 광각 렌즈가 2차 카메라로 사용된다. 따라서, 광학 줌 기능이 실현될 뿐만 아니라 이미징 품질 및 후속 블러링 효과가 보장된다.
상기 듀얼 카메라의 선택에 관한 많은 다른 가능한 실시 예들이 있으며, 여기에 제한되지 않는다.
도 3a를 참조하면, 본 발명의 실시 예에 의해 제공되는 다른 이미지 처리 방법은 상기 듀얼 카메라를 구비한 상기 하드웨어 장치에 의해 구현될 수 있다. 상기 방법은 다음 블록들을 포함할 수 있다. 블록(301)에서, 촬영 동작이 검출된다.
일 실시 예에서, 사용자가 이동 단말기에서 상기 프리뷰 인터페이스에 의해 디스플레이 된 이미지가 예상된다고 판단하면, 사용자는 상기 프리뷰 인터페이스 위에 떠있는 촬영 위젯(shooting widget)을 클릭할 수 있다. 이때, 상기 이동 단말기는 상기 촬영 동작을 검출한다.
블록(302)에서, 상기 1차 카메라 및 상기 2차 카메라의 ISO 감도 값이 각각 판독된다.
일 실시 예에서, 상기 1차 카메라와 상기 2차 카메라는 종종 동일한 ISO 감도 값을 채택해야 한다. 주변 조명의 해당 휘도는 상기 ISO 감도 값에 의해 판단될 수 있다. 하지만, 일 실시 예에서, 상기 1차 카메라와 상기 2차 카메라의 판독 ISO 감도 값이 동일하지 않으면, 상기 1차 카메라 및 상기 2차 카메라의 이들 ISO 감도 값의 평균은 주변 조명의 해당 휘도인 것으로 판단될 수 있다.
블록(303)에서, 상기 주변 조명의 휘도는 상기 1차 카메라 및 상기 2차 카메라의 상기 판독 ISO 감도 값에 기초하여 획득된다.
상기 ISO 감도 값은 카메라의 감도를 나타내도록 구성된다. 상기 ISO 감도 값은 종종 50, 100, 200, 400, 1000 등으로 설정된다. 상기 카메라는 상기 주변 조명의 휘도에 따라 그 ISO 감도 값을 조정할 수 있다. 따라서, 상기한 실시 예에서, 상기 주변 조명의 휘도는 ISO 감도 값에 따라 도출될 수 있다. 고조도 환경의 경우, 상기 ISO 감도 값이 50 또는 100으로 설정된다. 저조도 환경의 경우, 상기 ISO 감도 값이 400 이상으로 설정될 수 있다.
가능한 실시 예로서, ISO 감도 값의 범위는 여러 간격으로 나누어질 수 있고, 각 간격은 상기 주변 조명의 휘도에 대한 레벨에 해당한다.
예를 들면, 상기 간격 [0,100)은 상기 주변 조명의 휘도에 대한 고조도 레벨에 해당하고; 상기 간격 [100,400)은 상기 주변 조명의 휘도에 대한 통상적인 레벨에 해당하고; 그리고 400을 초과하는 상기 간격은 상기 주변 조명의 휘도에 대한 저조도 레벨에 해당한다.
블록(304)에서, n 및 m의 값은 상기 주변 조명의 휘도에 기초하여 판단된다. 상기 1차 카메라는 상기 n개의 제1이미지들을 캡처하고 상기 2차 카메라는 상기 m개의 제2이미지들을를 캡처한다.
일 실시 예에서, 상기 합성-디노이징 처리가 수행되는 이미지의 수, 예를 들어 n 또는 m은 상기 주변 조명의 휘도에 따라 판단된다. 상기 주변 조명의 휘도가 높을수록 상기 합성-디노이징 처리가 수행되는 이미지의 수가 더 많아진다. 즉, 상기 n 및 m의 각각의 값은 상기 주변 조명의 밝기와 반비례 관계에 있다.
가능한 실시 예로서, 상기 n 및 m의 값은 동일하다. 상기 n 및 m의 값은 2 내지 6의 범위에 있다.
예를 들면, 상기 주변 조명의 휘도가 고조도 레벨인 경우 m = n = 6 이고; 상기 주변 조명의 휘도가 통상적인 레벨인 경우 m = n = 4 이며; 및 상기 주변 조명의 휘도가 저조도 레벨인 경우 m = n = 2 이다.
상기 주변 조명의 휘도에 대한 전술한 레벨들은 단지 예시적인 것이며 제한하려는 것이 아님에 유의한다. 당업자는 상기 주변 조명의 휘도 및 n 및 m의 값에 대한 최적의 레벨이 한정된 테스트에 의해 판단됨을 인식해야 한다.
블록(305)에서, 상기 1차 카메라와 상기 2차 카메라가 동시에 사진 촬영하여, 복수의 이미지를 각각 획득한다.
상기 1차 카메라와 상기2차 카메라 사진은 동시에 상기 2차 카메라 사진이 상기 1차 카메라 사진과 동시에 촬영 함을 의미한다. 상기 1차 카메라와 상기 2차 카메라 모두 다중 이미지를 캡처한다.
블록(306)에서, n 개의 이미지들은 상기 1차 카메라의 상기 복수의 이미지 중에서 n개의 제1이미지들로서 선택되고, m개의 이미지들은 상기 2차 카메라의 상기 복수의 이미지 중에서 m개의 제2이미지들로서 선택되며, 상기 n개의 제1이미지들 및 상기 m개의 제 2 이미지들은 각각 연속적이다.
또는, 상기 연속적인 n개의 제1이미지는 상기 복수의 이미지들로부터 선택되고, 상기 연속적인 제2이미지는 이들 이미지들의 화질에 기초하여 상기 복수의 이미지로부터 선택된다.
n = m 인 경우, 상기 선택된 제1이미지들 및 제2이미지들은 동시에 촬영함으로써 획득될 수 있고, 비동 시적으로 촬영함으로써 획득할 수도 있으며, 여기에 제한되지 않음에 주의하여야 한다.
블록(307)에서, 상기 n개의 제1이미지들 및 상기 m개의 제2이미지들 각각에 대해 합성-디노이징 처리가 수행되어, 1차 이미지 및 2차 이미지를 각각 획득한다.
상기 합성-디노이징 처리는 전술한 실시 예에서 설명되며, 여기에서는 반복되지 않는다.
블록(308)에서, 상기 1차 이미지는 상기 2차 이미지와 동일한 이미징 영역을 가지도록 상기 1차 이미지가 크롭(crop)된다.
일 실시 예에서, 상기 1차 카메라의 필드 각도가 상기 2차 카메라의 필드 각도보다 큰 경우, 상기 1차 카메라와 상기 2차 카메라가 동일 평면에 있기 때문에 상기 1차 카메라의 시야 범위가 상기 2차 카메라의 시야 범위보다 크다. 따라서, 상기 1차 카메라에 대한 이미지의 각 오브젝트가 상기 2차 카메라에 의해 캡처되지 않을 수 있다. 즉, 상기 2차 카메라에 의해 상기 캡처된 이미지에 상기 오브젝트가 존재하지 않을 수 있다. 이러한 경우, 상기 1차 카메라의 상기 1차 이미지는 상기 2차 이미지와 동일한 이미징 영역을 가지도록 크롭 된다.
상기 1차 카메라의 필드 각도가 상기 2차 카메라의 필드 각도 이하인 경우, 상기 1차 카메라와 상기 2차 카메라는 동일 평면에 있기 때문에 상기 1차 카메라의 시야 범위는 상기 2차 카메라의 시야 범위 이하인 점에 주목할 것이다. 그러므로, 상기 블라인드 영역을 고려하지 않고, 상기 1차 카메라 용 이미지의 각 오브젝트가 상기 2차 카메라 용 이미지에 위치하는 것이 가능하다. 즉, 상기 2차 카메라에 의해 캡처된 이미지에 상기 오브젝트가 동시에 존재할 수 있다. 이러한 경우 상기 1차 카메라의 상기 1차 이미지를 크롭할 필요가 없다.
블록(309)에서, 상기 1차 이미지의 깊이 정보는 상기 1차 이미지 및 상기 2차 이미지에 기초하여 획득된다.
일 실시 예에서, 상기 1차 이미지와 상기 2차 이미지가 등록된 후, 상기 1차 이미지의 각 오브젝트의 깊이 정보는 상기 1차 이미지의 오브젝트와 상기 2차 이미지의 동일한 오브젝트 사이의 위치 편차와 상기 듀얼 카메라의 파라미터들에 따라 획득된다. 상기 1차 이미지의 상기 깊이 정보는 상기 1차 이미지의 모든 오브젝트의 깊이 정보가 획득됨에 따라 획득된다.
블록(310)에서, 상기 1차 이미지에 대한 블러링 처리는 상기 1차 이미지의 상기 깊이 정보에 기초하여 수행되어 타깃 이미지를 획득한다.
상기 1차 이미지의 깊이 정보를 획득한 후에, 상기 깊이 정보에 기초하여 배경 영역 및 전경 영역이 상기 1차 이미지 상에서 식별된다. 예를 들면, 상기 1차 이미지에서 하나의 오브젝트가 상기 1차 이미지에서 상기 오브젝트의 깊이 정보에 따라 전경 영역 또는 배경 영역에 속하는지 여부. 일반적으로, 하나의 오브젝트의 상기 깊이 정보는 상기 오브젝트의 깊이 값이 상기 1차 및 2차 카메라가 위치하는 평면에 가까운 물체만큼 작아질 때, 상기 오브젝트가 상기 전경 영역에 속하는 것으로 결정되었음을 나타낸다. 그렇지 않으면, 상기 오브젝트는 상기 전경 영역에 속하는 것으로 판단될 수 있다. 상기 블러링 처리는 상기 배경 이미지에 대해 수행되어 상기 타깃 이미지를 획득할 수 있다.
본 실시 예에서, 상기 1차 카메라가 상기 제1이미지들을 캡처하고 상기 2차 카메라가 상기 제2이미지들을 캡처한 후, 1차 이미지 및 2차 이미지를 각각 획득하기 위해 상기 n개의 제1이미지들 및 m개의 제2이미지들에 대해 합성-디노이징 처리가 각각 수행된다. 이때, 상기 1차 이미지의 깊이 정보는 상기 1차 이미지 및 상기 2차 이미지에 기초하여 획득되고, 마지막으로 상기 1차 이미지의 상기 블러링 처리는 상기 1차 이미지의 상기 깊이 정보에 기초하여 수행되어 상기 필요한 타깃 이미지를 획득한다. 상기 n개의 제1이미지들에 대해 합성-디노이징 처리를 수행하여 상기 1차 이미지를 획득하고, 상기 m개의 제2이미지들에 대해 합성-디노이징 처리를 수행하여 상기 2차 이미지를 획득하는 방식이 채택되기 때문에, 상기 1차 및 2차 이미지의 노이즈가 감소되어, 종래 기술에서 상기 블러링 처리를 수행한 후 저하되는 이미징 효과의 기술적 문제를 해결한다.
상기 실시 예들을 구현하기 위해, 본 발명에는 이미지 처리 장치가 제공된다.
도 4는 본 발명의 일 실시 예에 따른 이미지 처리 장치의 개략적인 구조도이다. 상기 장치는 이동 단말기에 적용될 수 있다.
도 4를 참조하면, 상기 장치는 획득 모듈(acquiring module)(41), 디노이징 모듈(denoising module)(42), 계산 모듈(calculating module)(43) 및 처리 모듈(processing module)(44)을 포함한다.
상기 획득 모듈(41)은 n개의 제1이미지들 및 m개의 제2이미지들을 획득하도록 구성되고, 상기 제1이미지 및 상기 제2이미지는 각각 1차 카메라 및 2차 카메라에 의해 캡처된다. n과 m은 모두 2보다 큰 정수이다.
구체적으로, 상기 획득 모듈(41)은 촬영 동작이 검출될 때, 복수의 이미지를 각각 획득하기 위해 동시에 촬영하도록 구성되고, 상기 1차 카메라에 대한 상기 복수의 이미지로부터 n개의 이미지들 n개의 제 1 이미지들로 선택하고, 그리고 2차 카메라에 대한 상기 복수의 이미지로부터 m개의 이미지들 m개의 제2이미지들로 선택하며, 상기 n개의 제1이미지들 및 상기 m개의 제2이미지들은 각각 연속적이다.
상기 디노이징 모듈(42)은 상기 n개의 제1이미지들 및 m개의 제2이미지들 각각에 대해 합성-디노이징 처리를 수행하여, 각각 1차 이미지 및 2차 이미지를 획득하도록 구성된다.
상기 계산 모듈(43)은 상기 1차 이미지 및 상기 2차 이미지에 기초하여 상기 1차 이미지의 깊이 정보를 획득하도록 구성된다.
상기 처리 모듈(44)은 상기 1차 이미지의 상기 깊이 정보에 기초하여 상기 1차 이미지에 대한 블러링 처리를 수행하여, 필요한 타깃 이미지를 획득하도록 구성된다.
이미지 처리를 위한 다른 장치가 본 발명의 실시 예에서 제공된다. 도 4를 기초로 한 도 5를 참조하면, 상기 장치는 판단 모듈(45)을 더 포함한다.
상기 판단 모듈(45)은 주변 조명의 휘도를 판단한 다음, 상기 주변 조명의 휘도에 기초하여 n 및 m의 값을 판단하도록 구성된다.
상기 n 및 m의 각각의 값은 상기 주변 조명의 휘도와 반비례 관계에 있다. 또는, 상기 n 및 m의 값은 동일하다. 상기 n 및 m의 값은 포괄하여 2 내지 6의 범위에 있다.
상기 판단 모듈(45)은 상기 1차 카메라 및 상기 2차 카메라의 ISO 감도 값을 각각 판독하고, 상기 1차 카메라 및 2차 카메라의 상기 판독 ISO 감도 값에 기초하여 상기 주변 조명의 휘도를 획득하도록 구성된다.
본 실시 예에서, 상기 1차 카메라가 상기 제1이미지들을 캡처하고 상기 2차 카메라가 상기 제2이미지들을 캡처한 후, 상기 n개의 제1이미지들 및 상기 m개의 제2이미지들에 대해 합성-디노이징 처리가 각각 수행되어 1차 이미지 및 2차 이미지를 각각 획득한다. 그리고 나서, 상기 1차 이미지의 깊이 정보는 상기 1차 이미지 및 상기 2차 이미지에 기초하여 획득되고, 결국 상기 1차 이미지의 블러링 처리는 상기 1차 이미지의 상기 깊이 정보에 기초하여 수행되어 필요한 타깃 이미지를 획득한다. 상기 n개의 제1이미지들에 대해 합성-디노이징 처리를 수행하여 상기1차 이미지를 획득하고, 상기 m개의 제2이미지들에 대해 합성-디노이징 처리를 수행하여 상기 2차 이미지를 획득하는 방식이 채택되기 때문에, 상기 이미지의 노이즈가 감소되어 종래 기술에서 상기 블러링 처리를 수행한 후 저하되는 이미징 효과의 기술적 문제를 해결한다.
전술한 실시 예들에서의 방법들에 대한 상기 설명들은 본 명세서에서 설명되지 않은 본 발명의 예시적인 실시 예의 장치에도 적합하다는 점에 유의해야 한다.
상기 실시 예들을 달성하기 위해, 본 발명은 이동 단말기를 더 제공한다. 도 6은 본 발명의 일 실시 예에 따른 이동 단말기의 개략적인 구조도이다. 도 6을 참조하면, 상기 이동 단말기(1000)는 하우징(1100) 그리고 상기 하우징(1100)에 배치되는 1차 카메라(1112), 2차 카메라(1113), 메모리(1114) 및 프로세서(1115)를 포함한다.
상기 메모리(1114)는 실행 가능한 프로그램 명령어들을 저장하도록 구성된다. 상기 프로세서(1115)는 상기 메모리(1114)에서 실행 가능한 프로그램 명령어들을 판독하여, 상기 실행 가능한 프로그램 명령어들에 대응하는 절차를 구현하여, 이전 실시 예에서의 상기 듀얼 카메라에 기초한 이미지 처리 방법을 수행하도록 구성된다.
상기 1차 카메라(1112)의 필드 각도는 상기 2차 카메라(1113)의 필드 각도 이하이다. 따라서, 상기 1차 카메라(1112)의 상기 이미징 영역은 상기 2차 카메라(1113)의 상기 이미징 영역에 포함된다. 그러면, 상기 1차 카메라(1112)에 대한 주요 부분의 상기 깊이 정보가 계산된다.
상기 실시 예들을 달성하기 위해, 본 발명은 메모리 매체에 저장된 명령어들이 이동 단말기의 프로세서에서 실행될 때, 상기 실시 예의 이미지 처리 방법이 구현되는 비 휘발성 컴퓨터 판독 가능 메모리 매체를 더 제공한다.
전술한 이동 단말기는 또한 하드웨어 또는 소프트웨어 컴포넌트에 의해 달성될 수 있는 ISP(Image Signal Processing) 파이프 라인을 가지는 다양한 처리 유닛을 포함하는 이미지 처리 회로를 포함한다. 도 7은 본 발명의 일 실시 예에 따른 이미지 처리 회로의 개략도이다. 도 7을 참조하면, 설명의 편의를 위해, 본 발명의 실시 예에서 이미지 처리 기술과 관련된 구성 요소만을 도시한다.
도 7을 참조하면, 상기 이미지 처리 회로는 ISP 프로세서(940) 및 로직 컨트롤러(950)를 포함한다. 이미지 장비(910)에 의해 캡처된 이미지 데이터는 먼저 상기 ISP 프로세서(940)에 의해 처리된다. 상기 ISP 프로세서(940)는 상기 이미지 데이터를 분석하여 상기 이미지 장비(910)의 하나 이상의 제어 파라미터를 판단하도록 구성된 이미지 통계 정보를 캡처한다. 상기 이미지 장비(910)는 1차 카메라 및 2차 카메라인 듀얼 카메라를 포함한다. 각각의 카메라는 하나 이상의 렌즈(912) 및 이미지 센서(914)를 포함한다. 상기 이미지 센서(914)는 컬러 필터 어레이(가령, 베이어 필터(Bayer filter))를 포함할 수 있다. 상기 이미지 센서(914)는 상기 이미지 센서(914)의 각각의 이미지 픽셀에 의해 캡처된 조명 강도 및 파장 정보를 획득하고, 상기 ISP 프로세서(940)에 의해 처리되어야 하는 원본 이미지 데이터를 제공할 수 있다. 상기 센서(920)는 상기 센서(920)의 인터페이스의 종류에 따라 상기 원본 이미지 데이터를 상기 ISP 프로세서(940)로 제공할 수 있다. 상기 센서(920)의 인터페이스는 SMIA(Standard Mobile Imaging Architecture) 인터페이스, 직렬 또는 병렬 카메라 인터페이스, 또는 상기 인터페이스들의 조합일 수 있다.
상기 ISP 프로세서(940)는 상기 원본 이미지 데이터를 다양한 포맷으로 픽셀로 처리할 수 있다. 예를 들면, 각각의 이미지 픽셀은 8, 10, 12 또는 14 비트의 비트 깊이를 가질 수 있고, 상기 ISP 프로세서(940)는 상기 원본 이미지 데이터에 대한 하나 이상의 이미지 처리 동작들을 수행하고, 상기 이미지 데이터의 상기 통계 정보를 수집할 수 있다. 상기 이미지 처리 동작들은 동일한 비트 깊이 또는 다른 비트 깊이에 따라 수행될 수 있다.
상기 ISP 프로세서(940)는 이미지 스토리지(930)로부터 픽셀 데이터를 더 수신할 수 있다. 예를 들어, 원본 픽셀 데이터는 상기 이미지 센서(914)의 상기 인터페이스를 통해 상기 이미지 스토리지(930)로 전송될 수 있고, 그리고 나서 상기 이미지 스토리지(930)에 저장된 원본 픽셀 데이터는 처리를 위해 상기 ISP 프로세서(940)로 전송된다. 상기 이미지 스토리지(930)는 저장 장치의 일부이거나 저장 장치 또는 전자 장치의 독립적인 특수 저장 장치일 수 있으며, DMA (Direct Memory Access) 속성을 가질 수 있다.
상기 이미지 센서(920) 또는 상기 이미지 스토리지(930)의 상기 인터페이스로부터 상기 원본 이미지 데이터를 수신할 때, 상기 ISP 프로세서(940)는 시간 도메인 필터링 동작과 같은 상기 하나 이상의 이미지 처리 동작을 수행할 수 있다. 상기 처리된 이미지 데이터는 디스플레이 되기 전에 다른 프로세스를 수행하기 위해 상기 이미지 스토리지 (930)로 전송될 수 있다. 상기 ISP 프로세서(940)는 상기 이미지 스토리지(930)로부터 상기 처리된 데이터를 수신한 후, 상기 원시 도메인 및 상기 처리된 데이터에 대한 상기 RGB 및 YCbCr 컬러 공간의 이미지 처리 동작을 수행하며, 이로써 상기 처리된 데이터는 시청자에 의해 보여지고 및/또는 그래픽 엔진 또는 GPU(Graphics Processing Unit)에 의해 추가 처리되도록 디스플레이(970)로 전송될 수 있다. 또한, 상기 ISP 프로세서(940)의 상기 출력은 이미지 스토리지(930)로 전송될 수 있고, 상기 디스플레이(970)는 이미지 스토리지(930)로부터 상기 이미지 데이터를 판독할 수 있다. 예시적인 실시 예에서, 상기 이미지 스토리지(930)는 하나 이상의 프레임 버퍼를 포함하도록 구성될 수 있다. 또한, 상기 ISP 프로세서(940)의 출력은 상기 이미지 데이터를 인코딩/디코딩하기 위해 인코더/디코더(960)로 전송될 수 있다. 상기 인코딩된 이미지 데이터는 상기 디스플레이(970)에 디스플레이 하기 전에 저장되고 디코딩될 수 있다. 상기 인코더/디코더(960)는 CPU, GPU 또는 코프로세서(coprocessor)에 의해 달성될 수 있다.
상기 ISP 프로세서(940)에 의해 판단된 상기 통계 데이터는 로직 컨트롤러(950)로 전송될 수 있다. 예를 들면, 상기 통계 데이터는 자동 노출, 자동 화이트 밸런스, 자동 초점, 플리커 검출, 블랙 레벨 보상, 상기 렌즈(912)의 그림자 보정 등과 관련된 상기 이미지 센서(940)의 통계 정보일 수 있다. 상기 로직 컨트롤러(950)는 하나 이상의 쓰레드(thread)를 수행하기 위한 CPU 또는 마이크로 컨트롤러를 포함할 수 있고, 그리고 하나 이상의 쓰레드는 상기 수신된 통계 데이터에 따라 상기 이미지 장비(910)의 제어 파라미터들을 판단할 수 있다. 예를 들면, 상기 제어 파라미터들은 상기 이미지 센서(914)의 제어 파라미터들(가령, 그레인(grain), 노출 제어의 필수 시간), 상기 카메라의 플리커 제어 파라미터들, 상기 렌즈(912)의 제어 파라미터들(가령, 초점 또는 줌의 초점 길이), 또는 이들 파라미터의 조합을 포함할 수 있다. ISP 제어 파라미터들은 자동 화이트 밸런스 및 컬러 조정(가령, RGB 처리 기간과 같은)을 위한 이득, 컬러 보정 매트릭스 및 상기 렌즈(912)의 그림자 보정 파라미터를 포함할 수 있다.
본 명세서의 설명에서, 실시 예 또는 예와 관련하여 "일 실시 예", "일부 실시 예", "예", "구체 예"또는 "일부 예"라는 용어는 본 명세서의 실시 예 또는 예에 포함되는 특정 특징, 구조, 재료 또는 특성에 의해 설명된다. 상기 용어의 개략적인 표현은 반드시 동일한 실시 예 또는 예에 대한 것은 아니다. 또한, 특정 특징, 구조, 재료 또는 특성은 적절한 방식으로 결합된 실시 예 또는 예 중 임의의 하나 이상일 수 있다. 또한, 서로 일치하지 않는 경우, 당업자는 상이한 실시 예 또는 예를 조합하거나 결합할 수 있다.
또한, "제1"및 "제2"라는 용어는 설명의 목적으로만 사용되며, 상대적 중요성을 나타내거나 암시하거나 기술적 특징의 수를 암시적으로 나타내도록 해석되어서는 안 된다. 따라서, 특징 "제1" 및 "제2"를 정의하는 것은 특징 중 적어도 하나를 명시적으로 또는 암시적으로 포함할 수 있다. 본 발명의 설명에서, "복수"는 명확하게 구체적으로 정의되지 않는 한, 적어도 2, 예를 들어 2 또는 3을 의미한다.
순서도, 상이한 방식으로 기술된 임의의 프로세스 또는 방법은 특정 논리 기능 또는 단계를 구현하기 위한 실행 가능한 명령 코드의 유닛, 단편 또는 부분을 이해할 수 있다. 관련 기술 분야의 통상의 기술자라면, 본 발명의 실시 예는 기능을 수행하기 위해 실질적으로 동시 방식 또는 역순으로 구현될 수 있다는 것을 알아야 한다.
순서도의 블록에서 논리 단위 및 조치는 논리 기능을 구현하기 위한 실행 가능 명령들의 시퀀스 테이블로 정의된다. 상기 실행 가능한 명령들의 시퀀스 테이블은 명령 실행 시스템, 장치 또는 장치(가령, 컴퓨터 기반 시스템, 프로세서를 가지는 시스템, 또는 명령 실행 시스템, 장치 또는 상기 명령들에 액세스하여 상기 명령들을 실행하는 장치)를 위한 임의의 컴퓨터 판독 가능 매체로 구현될 수 있다. 본 발명에서, "컴퓨터 판독 가능 매체"는 저장, 통신, 전파, 전송 프로그램 또는 조합을 포함할 수 있다. 상기 컴퓨터 판독 가능 매체는, 전기 유선 연결부(가령, 전자 장치), 휴대용 컴퓨터 디스켓(가령, 자기 장치), 임의 접근 메모리(RAM), 읽기 전용 메모리(ROM), 소거 가능형 읽기 전용 메모리(가령, EPROM 혹은 플래시 메모리), 광섬유 장치, 및 휴대용 컴팩트 디스크 읽기 전용 메모리(가령, CDROM) 중 적어도 하나를 포함한다. 또한, 상기 컴퓨터 판독 가능 매체는 그 위에 프로그램을 인쇄할 수 있는 종이 또는 적절한 매체일 수도 있다. 예를 들어, 상기 종이 또는 적절한 매체가 광학적으로 스캔된다. 상기 종이 또는 적절한 매체 상의 프로그램은 컴파일되고 해석된 방식을 사용하여 전자적으로 획득되며 컴퓨터 메모리에 저장된다.
본 발명의 일부는 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합으로 실현될 수 있음을 이해해야 한다. 전술한 실시 예들에서, 복수의 동작들 또는 방법들은 상기 메모리에 저장될 수 있고 적절한 명령 실행 시스템에서 구현된 소프트웨어 또는 펌웨어에 의해 실행될 수 있다. 상기 블록들 또는 방법들에서의 동작들이 예를 들어, 다른 실시 예에서와 같이 하드웨어로 구현될 수 있다면, 관련 기술에서 다음 기술 또는 이들의 조합 중 임의의 하나가 사용될 수 있다. 상기 기술들은 데이터 신호들 상에 논리 기능들을 구현하기 위한 논리 게이트 회로들의 개별 논리 회로, 적절한 조합 논리 게이트 회로들을 갖는 어플리케이션 특정 집적 회로, 프로그램 가능 게이트 어레이(PGA), 및 필드 프로그램 가능 게이트 어레이(FPGA)를 포함한다.
관련 기술 분야의 통상의 기술자는 상술된 실시 예에서의 동작들의 전부 또는 일부가 하드웨어에서 실행 가능한 프로그램 명령어들에 의해 구현될 수 있다는 것을 알아야 한다. 상기 프로그램 명령어들은 컴퓨터 판독 가능 매체에 저장되고, 상기 프로그램 명령어들은 상기 블록들에서의 동작들 중 적어도 하나에 대해 수행된다.
또한, 각각의 기능 유닛은 하나의 처리 유닛에 통합되거나 별도의 물리적 유닛일 수 있다. 예를 들어, 둘 이상의 유닛들이 단일 유닛에 통합되어 있다. 상기 통합 유닛은 하드웨어 또는 소프트웨어 유닛의 형태로 구현될 수 있다. 일 실시 예에서, 상기 통합 유닛이 독립 제품으로서 판매되거나 사용되는 소프트웨어 유닛의 형태로 구현될 때, 상기 통합 유닛은 컴퓨터 판독 가능 저장 매체에 저장될 수 있다.
상기 컴퓨터 판독 가능 저장 매체는 읽기 전용 메모리, 자기 디스크 또는 광 디스크 일 수 있다. 당업자에게 이해되는 바와 같이, 본 발명의 상기 바람직한 실시 예는 본 발명을 제한하기 보다는 예시적인 것이다. 이들은 다양한 수정을 포함하고 본 발명의 사상 및 범위 내에 유사한 배열이 포함되도록 의도되며, 그 범위는 모든 그러한 수정 및 유사한 구조를 포함하도록 가장 넓은 해석에 따라야 한다.

Claims (15)

  1. n개의 제1이미지들 및 m개의 제2이미지들을 획득하는 단계;-상기 제1이미지들 및 상기 제2이미지들은 각각 1차 카메라 및 2차 카메라에 의해 캡처되고, 상기 n 및 상기 m 모두 2보다 큰 정수임,-
    상기 n개의 제1이미지들 및 상기 m개의 제2이미지들 각각에 대해 합성-디노이징을 수행함으로써, 각각 1차 이미지 및 2차 이미지를 획득하는 단계;
    상기 1차 이미지 및 상기 2차 이미지에 기초하여 상기 1차 이미지의 깊이 정보를 획득하는 단계; 및
    상기 1차 이미지의 상기 깊이 정보에 기초하여 상기 1차 이미지에 대한 블러링 처리를 수행함으로써, 타깃 이미지를 획득하는 단계;
    를 포함하는 것을 특징으로 하는, 이미지 처리 방법.
  2. 제 1 항에 있어서,
    주변 조명의 휘도를 획득하는 단계; 및
    상기 주변 조명의 휘도에 기초하여 상기 n 및 상기 m의 값을 판단하는 단계;
    를 포함하고,
    상기 n 및 상기 m의 각각의 값은 상기 주변 조명의 휘도와 반비례 관계에 있는 것을 특징으로 하는, 이미지 처리 방법.
  3. 제 2 항에 있어서,
    상기 주변 조명의 휘도를 획득하는 단계는,
    상기 1차 카메라 및 상기 2차 카메라의 ISO 감도 값을 각각 판독하는 단계; 및
    상기 1차 카메라의 상기 ISO 감도 값 및 상기 2차 카메라의 상기 ISO 감도 값에 기초하여 상기 주변 조명의 휘도를 획득하는 단계;
    를 포함하는 것을 특징으로 하는, 이미지 처리 방법.
  4. 제 1 항에 있어서,
    상기 1차 카메라의 시야각이 상기 2차 카메라의 시야각보다 크고; 및
    상기 1차 이미지 및 상기 2차 이미지에 기초하여 상기 1차 이미지의 상기 깊이 정보를 획득하기 전에, 상기 방법은,
    상기 1차 이미지를 크롭하여 상기 1차 이미지가 상기 2차 이미지와 동일한 이미징 영역을 가지도록 하는 단계를 포함하는 것을 특징으로 하는, 이미지 처리 방법.
  5. 제 1 항에 있어서,
    상기 1차 이미지에 대한 상기 블러링 처리를 수행하는 단계는,
    상기 깊이 정보에 기초하여 상기 1차 이미지 상의 배경 영역 및 전경 영역을 식별하는 단계; 및
    상기 배경 영역에 상기 블러링 처리를 수행하는 단계;
    를 포함하는 것을 특징으로 하는, 이미지 처리 방법.
  6. 제 5 항에 있어서,
    상기 깊이 정보는 상기 전경 영역에 대한 제1깊이 정보 및 상기 배경 영역에 대한 제2깊이 정보를 포함하고;
    상기 배경 영역에서 상기 블러링 처리를 수행하는 단계는:
    상기 제1깊이 정보 및 상기 제2깊이 정보에 기초하여 블러링 레벨을 계산하는 단계; 및
    상기 배경 영역에 상기 블러링 레벨로 상기 블러링 처리를 수행하는 단계;
    를 포함하는 것을 특징으로 하는, 이미지 처리 방법.
  7. 제 6 항에 있어서,
    상기 제2깊이 정보는 상기 배경 영역의 픽셀들에 대한 깊이 값들을 포함하고;
    상기 블러링 레벨은 상기 배경 영역의 상기 픽셀들에 대한 블러링 계수와 관련이 있고, 각 픽셀에 대한 블러링 계수는 각 픽셀에 대한 블러링 레벨 및 깊이 값에 기초하여 계산되는 것을 특징으로 하는, 이미지 처리 방법.
  8. 제 7 항에 있어서,
    상기 배경 영역에서 각 픽셀에 대한 상기 블러링 계수는 상기 블러링 레벨에 각 픽셀의 상기 깊이 값을 곱하여 획득된 결과물인 것을 특징으로 하는, 이미지 처리 방법.
  9. 제 5 항에 있어서,
    상기 깊이 정보는 상기 배경 영역에 대한 제2깊이 정보를 포함하고;
    상기 블러링 레벨은 상기 제2깊이 정보와 상기 1차 카메라의 초점 영역에 대한 깊이 정보 사이의 차이와 관련되는 것을 특징으로 하는, 이미지 처리 방법.
  10. 제1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 2차 카메라는 상기 1차 카메라보다 해상도가 낮고, 촬영 동작이 감지되면 상기 2차 카메라는 상기 1차 카메라와 상기 2차 카메라를 위해 초점을 맞추도록 구성되는 것을 특징으로 하는 이미지 처리 방법.
  11. 제 10 항에 있어서,
    상기 1차 카메라 및 상기 2차 카메라는 각각 모터를 가지며;
    상기 1차 카메라는 하기 포함하는 방법에 의해 초점을 맞추어지는:
    상기 2차 카메라가 초점을 맞출 때 상기 2차 카메라의 초점을 맞추도록 구성된 상기 2차 카메라의 모터의 제2구동 전류를 판독하는 단계;
    상기 1차 카메라가 상기 2차 카메라와 동일한 포커싱 요건을 충족시킬 필요가 있을 때, 상기 제2구동 전류에 따라 상기 1차 카메라의 상기 모터의 제1구동 전류를 판단하는 단계; 및
    제1구동 전류에 의해 상기 1차 카메라의 초점을 맞추는 단계;
    것을 특징으로 하는, 이미지 처리 방법.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 2차 카메라는 일반 카메라 및 이중-픽셀 카메라 중 하나이고, 상기 1차 카메라는 일반 카메라와 이중-픽셀 카메라 중 하나이거나 2차 카메라는 광각 카메라와 망원 카메라 중 하나이며 상기 1차 카메라는 광각 카메라와 망원 카메라 중 다른 하나인 것을 특징으로 하는, 이미지 처리 방법.
  13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 n개의 제 1 이미지들 및 상기 m개의 제 2 이미지들을 획득하는 단계는,
    상기 1차 카메라 및 상기 2차 카메라로 동시에 촬영하여, 상기 n개의 제1이미지들 및 상기 m개의 제2이미지들을 각각 획득하는 단계를 포함하고, 상기 n개의 제1이미지들 및 상기 m개의 제2이미지들은 각각 연속적인 것을 특징으로, 하는 이미지 처리 방법.
  14. 제1항 내지 제13항 중 어느 한 항에 따른 이미지 처리 방법을 수행하도록 구성된 회로를 포함하는 이동 단말기.
  15. 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제1항 내지 제13항 중 어느 한 항에 따른 이미지 처리 방법을 수행하게 하는 명령어들을 저장하는 비 일시적 컴퓨터 판독 가능 매체.
KR1020207005965A 2017-11-01 2018-08-22 듀얼 카메라를 이용한 이미지 처리 방법 및 이동 단말기 KR102293443B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201711060116.4A CN107948500A (zh) 2017-11-01 2017-11-01 图像处理方法和装置
CN201711060116.4 2017-11-01
PCT/CN2018/101806 WO2019085603A1 (en) 2017-11-01 2018-08-22 Method for image-processing and mobile terminal using dual cameras

Publications (2)

Publication Number Publication Date
KR20200031168A true KR20200031168A (ko) 2020-03-23
KR102293443B1 KR102293443B1 (ko) 2021-08-25

Family

ID=61934088

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207005965A KR102293443B1 (ko) 2017-11-01 2018-08-22 듀얼 카메라를 이용한 이미지 처리 방법 및 이동 단말기

Country Status (6)

Country Link
US (1) US10757312B2 (ko)
EP (1) EP3481047A1 (ko)
JP (1) JP7015374B2 (ko)
KR (1) KR102293443B1 (ko)
CN (1) CN107948500A (ko)
WO (1) WO2019085603A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107948500A (zh) * 2017-11-01 2018-04-20 广东欧珀移动通信有限公司 图像处理方法和装置
CN108534760A (zh) * 2018-05-05 2018-09-14 福建汇川物联网技术科技股份有限公司 一种基于双目摄像机与激光测距传感器的图片测量方法
CN108833832B (zh) * 2018-06-20 2021-03-02 *** 一种眼镜摄录仪及摄录方法
CN108989671A (zh) * 2018-07-25 2018-12-11 Oppo广东移动通信有限公司 图像处理方法、装置和电子设备
CN109064504B (zh) * 2018-08-24 2022-07-15 深圳市商汤科技有限公司 图像处理方法、装置和计算机存储介质
CN109377460A (zh) * 2018-10-15 2019-02-22 Oppo广东移动通信有限公司 一种图像处理方法、图像处理装置及终端设备
CN109840475A (zh) * 2018-12-28 2019-06-04 深圳奥比中光科技有限公司 人脸识别方法及电子设备
CN109862262A (zh) * 2019-01-02 2019-06-07 上海闻泰电子科技有限公司 图像虚化方法、装置、终端及存储介质
KR102669938B1 (ko) * 2019-01-09 2024-05-27 삼성전자주식회사 이미지 처리 프로세서, 이미지 처리 시스템 및 이미지 처리 프로세서의 동작 방법
KR102597518B1 (ko) 2019-02-20 2023-11-03 삼성전자주식회사 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법
US10902265B2 (en) * 2019-03-27 2021-01-26 Lenovo (Singapore) Pte. Ltd. Imaging effect based on object depth information
CN112139997B (zh) * 2019-06-27 2021-10-19 宝山钢铁股份有限公司 一种圆钢修磨质量检测***中抑制环境光的方法
CN110243338B (zh) * 2019-07-16 2021-06-11 北京宇航时代科技发展有限公司 一种实时动态双目测距方法及***
CN112991242A (zh) * 2019-12-13 2021-06-18 RealMe重庆移动通信有限公司 图像处理方法、图像处理装置、存储介质与终端设备
CN112017137B (zh) * 2020-08-19 2024-02-27 深圳市锐尔觅移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
US11641456B2 (en) * 2020-09-14 2023-05-02 Himax Technologies Limited Image rendering method and apparatus
US11790545B2 (en) 2020-09-14 2023-10-17 Himax Technologies Limited Method and apparatus to control light source in structured light imaging
JP2022076407A (ja) * 2020-11-09 2022-05-19 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法、および撮像装置
KR20240011793A (ko) 2021-08-23 2024-01-26 삼성전자주식회사 장면의 자동 초점을 위한 방법 및 전자 디바이스
CN116405614B (zh) * 2022-06-10 2024-01-30 上海玄戒技术有限公司 一种镜头阴影校正方法、装置、电子设备、芯片及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170006277A1 (en) * 2013-08-07 2017-01-05 Google Inc. Devices And Methods For An Imaging System With A Dual Camera Architecture

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4378272B2 (ja) * 2004-12-15 2009-12-02 キヤノン株式会社 撮影装置
JP5206466B2 (ja) * 2009-02-13 2013-06-12 富士通株式会社 画像補正装置、画像補正プログラムおよび画像撮影装置
WO2013047405A1 (ja) * 2011-09-30 2013-04-04 富士フイルム株式会社 画像処理装置及び方法、並びにプログラム
US9185387B2 (en) * 2012-07-03 2015-11-10 Gopro, Inc. Image blur based on 3D depth information
US9578224B2 (en) * 2012-09-10 2017-02-21 Nvidia Corporation System and method for enhanced monoimaging
CN104253939A (zh) * 2013-06-27 2014-12-31 聚晶半导体股份有限公司 调整对焦位置的方法及电子装置
US10257450B2 (en) 2014-05-15 2019-04-09 Huawei Technologies Co., Ltd. Multi-frame noise reduction method, and terminal
TWI549500B (zh) 2014-09-12 2016-09-11 聚晶半導體股份有限公司 影像擷取方法及使用此方法之影像擷取裝置
KR102195311B1 (ko) 2014-09-15 2020-12-24 삼성전자주식회사 이미지의 잡음 특성 개선 방법 및 그 전자 장치
CN104333700B (zh) * 2014-11-28 2017-02-22 广东欧珀移动通信有限公司 一种图像虚化方法和图像虚化装置
CN105100615B (zh) * 2015-07-24 2019-02-26 青岛海信移动通信技术股份有限公司 一种图像的预览方法、装置及终端
CN105635575B (zh) * 2015-12-29 2019-04-12 宇龙计算机通信科技(深圳)有限公司 成像方法、成像装置和终端
CN105763813A (zh) * 2016-04-05 2016-07-13 广东欧珀移动通信有限公司 一种拍照方法、装置及智能终端
US10097765B2 (en) * 2016-04-20 2018-10-09 Samsung Electronics Co., Ltd. Methodology and apparatus for generating high fidelity zoom for mobile video
CN106127698A (zh) 2016-06-15 2016-11-16 深圳市万普拉斯科技有限公司 图像降噪处理方法和装置
KR102622754B1 (ko) * 2016-09-07 2024-01-10 삼성전자주식회사 이미지 합성 방법 및 이를 지원하는 전자 장치
CN106960413A (zh) 2017-03-24 2017-07-18 深圳市金立通信设备有限公司 一种图像虚化的方法及终端
CN107085825A (zh) 2017-05-27 2017-08-22 成都通甲优博科技有限责任公司 图像虚化方法、装置及电子设备
US20190001475A1 (en) * 2017-06-30 2019-01-03 Jeffrey S. Vitek Stapler for a Fence Post
CN109474780B (zh) * 2017-09-07 2023-07-25 虹软科技股份有限公司 一种用于图像处理的方法和装置
US10951834B2 (en) * 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
CN107948500A (zh) 2017-11-01 2018-04-20 广东欧珀移动通信有限公司 图像处理方法和装置
CN107959778B (zh) * 2017-11-30 2019-08-20 Oppo广东移动通信有限公司 基于双摄像头的成像方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170006277A1 (en) * 2013-08-07 2017-01-05 Google Inc. Devices And Methods For An Imaging System With A Dual Camera Architecture

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Anonymous:"Digital Bokeh - The Look and Feel of a Professional Camera", 13 September 2017,(http://corephotonics.com /products/digital-bokeh/) (2017.09.13.) 1부.* *
Samuel W Hasinoff, ET AL, "Burst photography for high dynamic range and low-light imaging on mobile cameras", ACM Transactions on Graphics, Article No.: 192, 11 November 2016(2016.11.11.) 1부.* *

Also Published As

Publication number Publication date
US10757312B2 (en) 2020-08-25
US20190130533A1 (en) 2019-05-02
WO2019085603A1 (en) 2019-05-09
KR102293443B1 (ko) 2021-08-25
JP2020528700A (ja) 2020-09-24
EP3481047A1 (en) 2019-05-08
JP7015374B2 (ja) 2022-02-02
CN107948500A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
KR102293443B1 (ko) 듀얼 카메라를 이용한 이미지 처리 방법 및 이동 단말기
KR102279436B1 (ko) 이미지 처리 방법, 장치 및 기기
KR102306283B1 (ko) 이미지 처리 방법 및 장치
JP7145208B2 (ja) デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体
KR102306272B1 (ko) 듀얼 카메라 기반 이미징 방법, 이동 단말기 및 저장 매체
CN107948519B (zh) 图像处理方法、装置及设备
CN107977940B (zh) 背景虚化处理方法、装置及设备
KR102266649B1 (ko) 이미지 처리 방법 및 장치
CN108712608B (zh) 终端设备拍摄方法和装置
KR102304784B1 (ko) 더블 카메라 기반 이미징 방법 및 장치
CN108156369B (zh) 图像处理方法和装置
CN108053438B (zh) 景深获取方法、装置及设备
US20200106948A1 (en) Focusing method, computer readable storage medium and mobile phone

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant