KR20230094103A - 이미지 처리 방법 및 이미지 처리 시스템 - Google Patents
이미지 처리 방법 및 이미지 처리 시스템 Download PDFInfo
- Publication number
- KR20230094103A KR20230094103A KR1020220039716A KR20220039716A KR20230094103A KR 20230094103 A KR20230094103 A KR 20230094103A KR 1020220039716 A KR1020220039716 A KR 1020220039716A KR 20220039716 A KR20220039716 A KR 20220039716A KR 20230094103 A KR20230094103 A KR 20230094103A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- sub
- depth
- lens array
- layer lens
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 40
- 239000010410 layer Substances 0.000 claims description 88
- 239000002355 dual-layer Substances 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 17
- 238000003491 array Methods 0.000 claims 4
- 238000010586 diagram Methods 0.000 description 13
- 230000009977 dual effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000000034 method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G06T5/003—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Studio Devices (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 디스플레이 스크린 아래의 카메라를 사용하여 제 1 이미지를 획득하는 단계; 프로세서를 사용하여 제 1 이미지를 처리하는 단계; 디스플레이 스크린 아래의 카메라를 사용하여 제 2 이미지를 획득하는 단계; 프로세서를 사용하여 제 2 이미지를 처리하는 단계; 및 제 1 서브-이미지와 제 2 서브-이미지를 중첩한 후 중첩 이미지를 생성하는 단계를 포함하는 이미지 처리 방법을 제공한다.
Description
본 발명은 일반적으로 이미지 처리 방법 및 이미지 처리 시스템에 관한 것이다. 특히, 본 발명은 선명한 이미지를 생성할 수 있는 이미지 처리 방법 및 이미지 처리 시스템에 관한 것이다.
디스플레이 스크린 아래에 배치된 카메라는 투명 디스플레이, 이미지 처리 및 카메라 설계 기술을 통합해야 한다. 그러나, 카메라 앞에 디스플레이 스크린을 배치하는 것과 관련하여 흐릿함, 눈부심 및 컬러 캐스트(color cast)와 같은 심각한 문제가 있다.
디스플레이 스크린의 주기적 슬릿 구조들(periodic slit structures)은 광이 디스플레이를 통과할 때 회절 및 간섭을 일으키고, 이로 인해 이미지가 중첩되고 흐릿해진다. 또한, 촬영되는 피사체가 카메라에서 멀리 떨어져 있으면, 회절 효과가 더 두드러져서, 피사체의 이미지가 훨씬 더 흐려진다.
따라서, 선명한 이미지를 생성할 수 있는 디스플레이 스크린 하에서의 이미지 처리 방법 및 이미지 처리 시스템이 요구된다.
본 발명의 일 실시예는 디스플레이 스크린 아래의 카메라를 사용하여 제 1 이미지를 획득하는 단계; 프로세서를 사용하여 제 1 이미지를 처리하는 단계; 디스플레이 스크린 아래의 카메라를 사용하여 제 2 이미지를 획득하는 단계; 프로세서를 사용하여 제 2 이미지를 처리하는 단계; 및 제 1 서브-이미지와 제 2 서브-이미지를 중첩한 후 중첩 이미지를 생성하는 단계를 포함하는 이미지 처리 방법을 제공한다. 프로세서를 사용하여 제 1 이미지를 처리하는 단계는, 제 1 이미지의 제 1 서브-이미지를 결정(determining)하고 제 1 이미지로부터 제 1 서브-이미지를 캡처하는 단계를 포함하며, 여기서 제 1 서브-이미지는 제 1 깊이를 갖는 제 1 이미지의 서브-이미지이다. 프로세서를 사용하여 제 2 이미지를 처리하는 단계는, 제 2 이미지의 제 2 서브-이미지를 결정하고 제 2 이미지로부터 제 2 서브-이미지를 캡처하는 단계 - 여기서 제 2 서브-이미지는 제 2 깊이를 갖는 제 2 이미지의 서브-이미지임 -; 제 1 서브-이미지와 제 2 서브-이미지를 중첩하는 단계를 포함한다. 제 1 깊이는 제 2 깊이와 상이하다.
일부 실시예들에서, 제 1 서브-이미지를 결정하는 단계는, 이중층 렌즈 어레이 CIS를 사용하여 제 1 이미지의 위치 정보 및 방향 정보를 획득하는 단계; 제 1 이미지의 복수의 서브-이미지들의 복수의 깊이들을 결정하는 단계; 및 제 1 깊이를 선택하여 제 1 서브-이미지를 획득하는 단계를 포함한다. 제 2 서브-이미지를 결정하는 단계는, 이중층 렌즈 어레이 CIS를 사용하여 제 2 이미지의 위치 정보 및 방향 정보를 획득하는 단계; 제 2 이미지의 복수의 서브-이미지들의 복수의 깊이들을 결정하는 단계; 및 제 2 깊이를 선택하여 제 2 서브-이미지를 획득하는 단계를 포함한다. 일부 실시예들에서, 이미지 처리 방법은, 제 1 서브-이미지 및 제 2 서브-이미지가 중첩되기 전에 사용자에 의해 제 1 서브-이미지 및 제 2 서브-이미지를 선택하는 단계; 및 중첩 이미지가 생성된 후 중첩 이미지를 출력하는 단계를 더 포함한다. 일부 실시예들에서, 이미지 처리 방법은 프로세서를 사용하여 중첩 이미지의 선명도를 결정하는 단계를 더 포함한다. 일부 실시예들에서, 이미지 처리 방법은 중첩 이미지가 선명한 것으로 결정한 것에 응답하여 중첩 이미지를 출력하는 단계를 더 포함한다. 일부 실시예들에서, 이미지 처리 방법은 중첩 이미지가 비선명한 것으로 결정한 것에 응답하여 디스플레이 스크린 아래의 카메라를 사용하여 제 3 이미지를 획득하는 단계를 더 포함한다. 일부 실시예들에서, 이미지 처리 방법은 프로세서를 사용하여 제 3 이미지를 처리하는 단계를 더 포함한다. 프로세서를 사용하여 제 3 이미지를 처리하는 단계는, 프로세서를 사용하여 제 3 이미지의 제 3 서브-이미지를 결정하고 제 3 이미지로부터 제 3 서브-이미지를 캡처하는 단계를 포함하며, 여기서 제 3 서브-이미지는 제 1 깊이 및 제 2 깊이와 상이한 제 3 깊이를 갖는다. 일부 실시예들에서, 중첩하는 단계는 제 1 서브-이미지, 제 2 서브-이미지 및 제 3 서브-이미지를 중첩하는 단계를 포함한다. 일부 실시예들에서, 제 3 깊이는 제 1 깊이와 제 2 깊이 사이에 있다.
또한, 본 발명의 일 실시예는 디스플레이 스크린, 이중층 렌즈 어레이 CIS 및 프로세서를 포함하는 이미지 처리 시스템을 제공한다. 이중층 렌즈 어레이 CIS는 디스플레이 스크린의 하부에 배치되며, 제 1 광 및 제 2 광을 수신하도록 구성된다. 제 1 광을 수신한 것에 응답하여, 이중층 렌즈 어레이 CIS는 제 1 이미지를 생성한다. 제 2 광을 수신한 것에 응답하여, 이중층 렌즈 어레이 CIS는 제 2 이미지를 생성한다. 프로세서는 제 1 이미지의 제 1 서브-이미지 및 제 2 이미지의 제 2 서브-이미지를 중첩하여 중첩 이미지를 생성하도록 구성된다. 제 1 서브-이미지는 제 1 깊이를 갖는 제 1 이미지의 서브-이미지이다. 제 2 서브-이미지는 제 2 깊이를 갖는 제 2 이미지의 서브-이미지이다. 제 1 깊이는 제 2 깊이와 상이하다.
일부 실시예들에서, 이중층 렌즈 어레이 CIS는 제 1 층 렌즈 어레이, 제 2 층 렌즈 어레이, 및 센서를 포함한다. 제 1 층 렌즈 어레이는 복수의 제 1 층 렌즈들을 포함한다. 제 2 층 렌즈 어레이는 제 1 층 렌즈 어레이 위에 배치되고 복수의 제 2 층 렌즈들을 포함한다. 센서는 복수의 픽셀들을 포함한다. 제 1 층 렌즈들 각각의 크기는 픽셀들 각각의 크기와 동일하다. 제 2 층 렌즈들 각각의 크기는 픽셀들 각각의 크기의 3배 이상이다. 일부 실시예들에서, 제 1 광 및 제 2 광은 디스플레이 스크린, 제 2 층 렌즈 어레이 및 제 1 층 렌즈 어레이를 통과한 다음 센서에 도달한다. 제 2 층 렌즈 각각의 면적은 센서의 감지 면적의 30%보다 작다. 일부 실시예들에서, 제 1 층 렌즈 어레이와 제 2 층 렌즈 어레이 사이의 배열은 삼각형 배열, 직사각형 배열, 육각형 배열, 또는 다각형 배열일 수 있다. 일부 실시예들에서, 제 1 서브-이미지가 프로세서에 의해 제 1 이미지로부터 캡처되고, 제 2 이미지로부터 캡처되는 제 2 서브-이미지가 중첩을 위해 프로세서에 의해 캡처된다. 일부 실시예들에서, 중첩 이미지의 선명도가 프로세서에 의해 결정된다. 일부 실시예들에서, 중첩 이미지가 비선명한 것으로 결정한 것에 응답하여 이중층 렌즈 어레이 CIS가 제 3 광을 수신한다. 제 3 광을 수신한 것에 응답하여, 이중층 렌즈 어레이 CIS는 제 3 이미지를 생성한다. 프로세서는 제 1 서브-이미지, 제 2 서브-이미지 및 제 3 이미지의 제 3 서브-이미지를 중첩하여 중첩 이미지를 생성하도록 구성된다. 제 3 서브-이미지는 제 3 깊이를 갖는 제 3 이미지의 서브-이미지이다. 제 3 깊이는 제 1 깊이 및 제 2 깊이와 상이하다. 일부 실시예들에서, 디스플레이 스크린은 중첩 이미지가 선명한 것으로 결정한 것에 응답하여 중첩 이미지를 출력한다. 일부 실시예들에서, 제 3 깊이는 제 1 깊이와 제 2 깊이 사이에 있다. 일부 실시예들에서, 중첩을 위한 제 1 서브-이미지 및 제 2 서브-이미지는 사용자에 의해 선택된다. 디스플레이 스크린은 중첩 이미지를 출력한다. 일부 실시예들에서, 제 1 피사체(a first object)의 이미지는 제 1 이미지에서 선명하고, 제 2 피사체의 이미지는 제 2 이미지에서 선명하다. 제 1 피사체의 이미지는 제 2 이미지에서 선명하지 않고, 제 2 피사체의 이미지는 제 1 이미지에서 선명하지 않다. 제 1 피사체는 이미지 처리 시스템에서 제 1 깊이 떨어져 있다. 제 2 피사체는 이미지 처리 시스템에서 제 2 깊이 떨어져 있다.
본 발명은 첨부된 도면을 참조하여 후속하는 상세한 설명 및 실시예를 읽음으로써 더 완전히 이해될 수 있다.
도 1은 본 개시의 일부 실시예들에 따른 이미지 처리 시스템 및 제 1 피사체, 제 2 피사체 및 제 3 피사체의 개략도를 도시한 것이다.
도 2는 본 개시의 일부 실시예들에 따른 이중층 렌즈 어레이 CIS의 개략도를 도시한 것이다.
도 3a, 도 3b 및 도 3c는 본 개시의 일부 실시예들에 따른 제 1 층 렌즈 어레이 및 제 2 층 렌즈 어레이의 개략도를 도시한 것이다.
도 4a, 도 4b 및 도 4c는 본 개시의 일부 실시예들에 따른 제 1 이미지, 제 2 이미지 및 제 3 이미지의 개략도를 도시한 것이다.
도 5a, 도 5b 및 도 5c는 본 개시의 일부 실시예들에 따라 이미지를 처리하는 개략도를 도시한 것이다.
도 6은 본 개시의 일부 실시예들에 따라 제 1 서브-이미지, 제 2 서브-이미지 및 제 3 서브-이미지를 중첩하는 개략도를 도시한 것이다.
도 7a 및 도 7b는 본 개시의 일부 실시예들에 따른 이미지 처리 방법의 흐름도를 도시한 것이다.
도 8a 및 도 8b는 본 개시의 일부 실시예들에 따른 다른 이미지 처리 방법의 흐름도를 도시한 것이다.
도 1은 본 개시의 일부 실시예들에 따른 이미지 처리 시스템 및 제 1 피사체, 제 2 피사체 및 제 3 피사체의 개략도를 도시한 것이다.
도 2는 본 개시의 일부 실시예들에 따른 이중층 렌즈 어레이 CIS의 개략도를 도시한 것이다.
도 3a, 도 3b 및 도 3c는 본 개시의 일부 실시예들에 따른 제 1 층 렌즈 어레이 및 제 2 층 렌즈 어레이의 개략도를 도시한 것이다.
도 4a, 도 4b 및 도 4c는 본 개시의 일부 실시예들에 따른 제 1 이미지, 제 2 이미지 및 제 3 이미지의 개략도를 도시한 것이다.
도 5a, 도 5b 및 도 5c는 본 개시의 일부 실시예들에 따라 이미지를 처리하는 개략도를 도시한 것이다.
도 6은 본 개시의 일부 실시예들에 따라 제 1 서브-이미지, 제 2 서브-이미지 및 제 3 서브-이미지를 중첩하는 개략도를 도시한 것이다.
도 7a 및 도 7b는 본 개시의 일부 실시예들에 따른 이미지 처리 방법의 흐름도를 도시한 것이다.
도 8a 및 도 8b는 본 개시의 일부 실시예들에 따른 다른 이미지 처리 방법의 흐름도를 도시한 것이다.
다음 개시는 본 개시의 상이한 특징들을 구현하기 위한 많은 다양한 실시예들 또는 예들을 제공한다. 구성 요소 및 배열의 특정 예들은 본 개시를 단순화하기 위해 아래에서 설명된다. 예를 들어, 다음의 설명에서 제 2 피처(feature) 위에 또는 제 2 피처 상에 제 1 피처를 형성하는 것은 제 1 피처와 제 2 피처가 직접 접촉하여 형성되는 실시예들을 포함할 수 있으며, 또한 제 1 피처와 제 2 피처가 직접 접촉하지 않을 수 있도록 제 1 피처와 제 2 피처 사이에 추가 피처가 형성될 수 있는 실시예들을 포함할 수도 있다.
또한, 본 개시는 다양한 예들에서 참조 번호 및/또는 문자를 반복할 수 있다. 이 반복은 단순함과 명료함을 위한 것이며 논의된 다양한 실시예들 및/또는 구성들 사이의 관계를 그 자체로 나타내는 것은 아니다. 또한, 도면의 형상, 크기 및 두께는 축척에 맞게 도시된 것이 아닐 수 있으며 설명의 명확성을 단순화될 수도 있고; 오히려, 이러한 도면들은 단지 예시를 위한 것이다.
본 개시의 일부 실시예들에 따른 이미지 처리 시스템(100) 및 제 1 피사체(O1), 제 2 피사체(O2) 및 제 3 피사체(O3)의 개략도를 도시하는 도 1을 참조한다. 이미지 처리 시스템(100)은 스마트 폰, 태블릿, 랩탑 등과 같은 전자 장치에 탑재될 수 있다. 이미지 처리 시스템(100)은 디스플레이 스크린(10), 이중층 렌즈 어레이 CIS (20) 및 프로세서(30)를 포함할 수 있다.
이중층 렌즈 어레이 CIS(20)와 프로세서(30)를 총칭하여 카메라라고 할 수 있다. 이중층 렌즈 어레이 CIS(20)(또는 카메라)는 디스플레이 스크린(10)의 밑 또는 아래에 배치될 수 있다. 프로세서(30)는 이중층 렌즈 어레이 CIS(20)와 전기적으로 연결될 수 있으며, 이러한 연결이 이중층 렌즈 어레이 CIS(20)와 프로세서(30)를 연결하는 선에 의해 표시되어 있다.
일부 실시예들에서, 이미지 처리 시스템(100)은 이미지 처리 시스템(100)에 입사하는 광들의 플렌옵틱 함수(plenoptic function, POF)를 얻을 수 있는 라이트 필드 카메라일 수 있다. 일부 실시예들에서, 이미지 처리 시스템(100)은 상이한 파장들을 갖는 입사광들에 대해 4D 플렌옵틱 함수(POF)를 얻을 수 있는 라이트 필드 카메라일 수 있다.
4D 플렌옵틱 함수는 입사광들의 평면 좌표들 및 방향들을 포함할 수 있다. 일부 실시예들에서, 평면 좌표들은 제 1 피사체(O1), 제 2 피사체(O2) 및 제 3 피사체(O3)의 X 및 Y 좌표들일 수 있으며, 이들은 위치 정보로 지칭될 수 있다. 일부 실시예들에서, 이미지 처리 시스템(100)에 대한 제 1 피사체(O1), 제 2 피사체(O2) 및 제 3 피사체(O3)의 수평 각도 및 수직 각도는 방향 정보로 지칭될 수 있다. 즉, 이미지 처리 시스템(100)은 제 1 피사체(O1), 제 2 피사체(O2) 및 제 3 피사체(O3)로부터 입사되는 광들의 플렌옵틱 함수를 획득할 수 있다.
도 1에 도시된 바와 같이, 제 1 피사체(O1)는 이미지 처리 시스템(100)으로부터 멀리 떨어져 있다. 이미지 처리 시스템(100)과 제 1 피사체(O1) 사이의 거리는 제 1 깊이(D1)이다. 이미지 처리 시스템(100)과 제 2 피사체(O2) 사이의 거리는 제 2 깊이(D2)이다. 이미지 처리 시스템(100)과 제 3 피사체(O3) 사이의 거리는 제 3 깊이(D3)이다. 일부 실시예들에서, 제 1 깊이(D1)는 제 2 깊이(D2)와 상이하다. 일부 실시예들에서, 제 3 깊이(D3)는 제 1 깊이(D1) 또는 제 2 깊이(D2)와 상이하다. 일부 실시예들에서, 제 3 깊이(D3)는 제 1 깊이(D1)와 제 2 깊이(D2) 사이에 있다.
도 1에 도시된 바와 같이, 제 1 광(L1)은 제 1 피사체(O1)로부터 이미지 처리 시스템(100)으로 입사되고; 제 2 광(L2)은 제 2 피사체(O2)로부터 이미지 처리 시스템(100)으로 입사되고; 제 3 광(L3)은 제 3 피사체(O3)로부터 이미지 처리 시스템(100)으로 입사된다.
이미지 처리 시스템(100)은 제 1 광(L1)을 수신하여 제 1 피사체(O1)의 위치 정보 및 방향 정보를 획득할 수 있다. 이미지 처리 시스템(100)은 제 2 광(L2)을 수신하여 제 2 피사체(O2)의 위치 정보 및 방향 정보를 획득할 수 있다. 이미지 처리 시스템(100)은 제 3 광(L3)을 수신하여 제 3 피사체(O3)의 위치 정보 및 방향 정보를 획득할 수 있다.
본 개시의 일부 실시예들에 따른 이중층 렌즈 어레이 CIS(20)의 개략도를 도시하는 도 2를 참조한다. 이중층 렌즈 어레이 CIS(20)는 제 1 층 렌즈 어레이(21), 제 2 층 렌즈 어레이(22), 센서(23) 및 중간 층(24)을 포함할 수 있다. 제 2 층 렌즈 어레이(22)는 제 1 층 렌즈 어레이(21) 위에 배치되고, 센서(23)는 제 1 층 렌즈 어레이(21) 아래에 배치된다. 즉, 제 1 층 렌즈 어레이(21)는 제 2 층 렌즈 어레이(22)와 센서(23) 사이에 배치된다. 중간 층(24)은 제 1 층 렌즈 어레이(21)와 제 2 층 렌즈 어레이(22) 사이에 배치된다.
도 2에 도시된 바와 같이, 일부 실시예들에서, 제 1 광(L1), 제 2 광(L2) 및 제 3 광(L3)은 디스플레이 스크린(10), 제 2 층 렌즈 어레이(22), 중간 층(24) 및 제 1 층 렌즈 어레이(21)를 순차적으로 통과한 다음, 센서(23)에 도달한다.
도 3a, 도 3b 및 도 3c를 참조하면, 도 3a, 도 3b 및 도 3c는 본 개시의 일부 실시예들에 따른 제 1 층 렌즈 어레이(21) 및 제 2 층 렌즈 어레이(22)의 개략도를 도시한 것이다. 도 2에는 하나의 제 2 층 렌즈(221)만이 도시되어 있지만, 제 2 층 렌즈 어레이(22)는 복수의 제 2 층 렌즈들(221)을 포함할 수 있다(도 3a, 도 3b 및 도 3c 참조). 도 2, 도 3a, 도 3b 및 도 3c에 도시된 바와 같이, 제 1 층 렌즈 어레이(21)는 복수의 제 1 층 렌즈들(211)을 포함할 수 있다. 제 2 층 렌즈(221)의 크기는 제 1 층 렌즈(211)의 크기보다 크다. 일부 실시예들에서, 제 2 층 렌즈(221)의 크기는 제 1 층 렌즈(211) 크기의 3배 이상이다. 그러나, 일부 실시예들에서, 제 2 층 렌즈(221) 각각의 면적은 센서(23)의 감지 면적의 30%보다 작다(또는 크지 않다). 센서(23)의 감지 면적은 광들(또는 이미지들)을 감지할 수 있는 센서(23)의 전체 면적으로 정의될 수 있다.
도 3a, 도 3b 및 도 3c는 제 1 층 렌즈 어레이(21)와 제 2 층 렌즈 어레이(22) 사이의 배열들의 몇몇 예시적인 실시예들을 도시한 것이다. 도 3a, 도 3b 및 도 3c에 도시된 바와 같이, 하나의 제 2 층 렌즈(221)는 여러 개의 제 1 층 렌즈(211)에 대응할 수 있다. 제 1 층 렌즈 어레이(21)와 제 2 층 렌즈 어레이(22) 사이의 배열들은 삼각형 배열(도 3a), 직사각형 배열(도 3b), 육각형 배열(도 3c) 또는 다각형 배열(도시되지 않음)일 수 있다.
다시 도 2를 참조하면, 센서(23)는 복수의 픽셀들(231)을 포함할 수 있다. 일부 실시예들에서, 픽셀들(231) 각각의 크기는 제 1 층 렌즈(211) 각각의 크기와 동일하다.
또한, 일부 실시예들에서, 중간 층(24)의 굴절률은 1 이상일 수 있으며, 중간 층(24)의 굴절률은 제 1 층 렌즈 어레이(21)의 굴절률보다 낮을 수 있다. 일부 실시예들에서, 중간 층(24)의 굴절률은 1 이상일 수 있으며, 중간 층(24)의 굴절률은 제 2 층 렌즈 어레이(22)의 굴절률 이하일 수 있다.
일부 실시예들에서, 제 1 층 렌즈 어레이(21)의 굴절률은 제 2 층 렌즈 어레이(22)의 굴절률과 동일할 수 있다. 일부 실시예들에서, 제 1 층 렌즈 어레이(21)의 굴절률은 제 2 층 렌즈 어레이(22)의 굴절률과 동일하지 않을 수 있다.
상술한 구성으로, 이중층 렌즈 어레이 CIS(20)는 이미지 처리 시스템(100)이 상이한 파장들을 갖는 입사광들에 대한 4D 플렌옵틱 함수(POF)를 획득할 수 있게 한다.
본 개시의 일부 실시예들에 따른 제 1 이미지(IM1), 제 2 이미지(IM2) 및 제 3 이미지(IM3)의 개략도를 도시하는 도 4a, 도 4b 및 도 4c를 참조하도록 한다. 이미지 처리 시스템(100)은 이미지 처리 시스템(100)이 서로 다른 깊이들에서 초점을 맞춘 상태에서 복수의 사진들을 촬영할 수 있다. 도 4a, 도 4b 및 도 4c에 도시된 실시예에서, 이미지 처리 시스템(100)은 제 1 이미지(IM1), 제 2 이미지(IM2) 및 제 3 이미지(IM3)일 수 있는 3개의 사진을 촬영할 수 있다.
도 4a는 제 1 깊이(D1)에 초점을 맞춘 이미지 처리 시스템(100)에 의해 획득된 제 1 이미지(IM1)를 도시한 것이다. 구체적으로, 제 1 이미지(IM1)는 이중층 렌즈 어레이 CIS(20)가 제 1 광(L1)을 수신한 것에 응답하여 이중층 렌즈 어레이 CIS(20)에 의해 생성된다. 제 1 피사체(O1)는 제 1 깊이(D1)만큼 이미지 처리 시스템(100)으로부터 떨어져 있고, 제 1 이미지(IM1)는 제 1 깊이(D1)에 초점을 맞춘 이미지 처리 시스템(100)에 의해 획득되기 때문에, 제 1 이미지(IM1) 내의 제 1 피사체(O1)는 선명하다.
도 5a, 도 5b 및 도 5c를 참조하면, 이것은 본 개시의 일부 실시예들에 따라 이미지들을 처리하는 개략도들을 도시한 것이다. 이미지 처리 시스템(100)에 의해 획득된 이미지들은 필터 함수(FF)에 의해 처리될 수 있다. 필터 함수(FF)는 서로 다른 깊이들의 이미지들을 처리하여 서브-이미지들을 생성하는 복수의 필터 함수를 포함할 수 있다. 일부 실시예들에서, 필터 함수(FF)는 제 1 깊이 필터 함수(FF1), 제 2 깊이 필터 함수(FF2) 및 제 3 깊이 필터 함수(FF3)를 포함할 수 있다. 제 1 깊이 필터 함수(FF1)는 제 1 깊이(D1)에서 얻은 이미지들을 처리하기 위한 것이고, 제 2 깊이 필터 함수(FF2)는 제 2 깊이(D2)에서 얻은 이미지들을 처리하기 위한 것이며, 제 3 깊이 필터 함수(FF3)는 제 3 깊이(D3)에서 얻은 이미지들을 처리하기 위한 것이다.
도 5a에서, 제 1 이미지(IM1)는 제 1 깊이 필터 함수(FF1)에 의해 처리된다. 제 1 깊이 필터 함수(FF1)는 제 1 깊이(D1)에 있지 않은 이미지들을 필터링하며, 제 1 서브-이미지(SIM1)가 남게 된다. 제 1 서브-이미지(SIM1)는 제 1 이미지(IM1)에서 선명하며, 이 제 1 서브-이미지(SIM1)가 제 1 이미지(IM1)에서 선명하기 때문에 이것은 제 1 피사체(O1)의 이미지를 포함한다. 즉, 제 1 이미지(IM1)에서 선명하지 않은 이미지(예를 들면, 제 2 피사체(O2) 및 제 3 피사체(O3)의 이미지들)는 필터링된다.
도 4b는 제 2 깊이(D2)에 초점을 맞춘 이미지 처리 시스템(100)에 의해 획득된 제 2 이미지(IM2)를 도시한 것이다. 구체적으로, 이중층 렌즈 어레이 CIS(20)가 제 2 광(L2)을 수신한 것에 응답하여 제 2 이미지(IM2)가 이중층 렌즈 어레이 CIS(20)에 의해 생성된다. 제 2 피사체(O2)는 제 2 깊이(D2)만큼 이미지 처리 시스템(100)으로부터 떨어져 있고, 제 2 이미지(IM2)는 제 2 깊이(D2)에 초점을 맞춘 이미지 처리 시스템(100)에 의해 획득되므로, 제 2 이미지(IM2) 내의 제 2 피사체(O2)는 선명하다.
도 5b에서, 제 2 이미지(IM2)는 제 2 깊이 필터 함수(FF2)에 의해 처리된다. 제 2 깊이 필터 함수(FF2)은 제 2 깊이(D2)에 있지 않은 이미지들을 필터링하고, 제 2 서브-이미지(SIM2)가 남게 된다. 제 2 서브-이미지(SIM2)는 제 2 이미지(IM2)에서 선명하며, 제 2 서브-이미지(SIM2)가 제 2 이미지(IM2)에서 선명하므로 이것은 제 2 피사체(O2)의 이미지를 포함한다. 즉, 제 2 이미지(IM2)에서 선명하지 않은 이미지(예를 들면, 제 1 피사체(O1) 및 제 3 피사체(O3)의 이미지들)는 필터링된다.
도 4c는 제 3 깊이(D3)에 초점을 맞춘 이미지 처리 시스템(100)에 의해 획득된 제 3 이미지(IM3)를 도시한 것이다. 구체적으로, 이중층 렌즈 어레이 CIS(20)가 제 3 광(L3)을 수신한 것에 응답하여 제 3 이미지(IM3)가 이중층 렌즈 어레이 CIS(20)에 의해 생성된다. 제 3 피사체(O3)는 제 3 깊이(D3)만큼 이미지 처리 시스템(100)으로부터 떨어져 있고, 제 3 이미지(IM3)는 제 3 깊이(D3)에 초점을 맞춘 이미지 처리 시스템(100)에 의해 획득되므로, 제 3 이미지(IM3)에서 제 3 피사체(O3)는 선명하다.
도 5c에서, 제 3 이미지(IM3)는 제 3 깊이 필터 함수(FF3)에 의해 처리된다. 제 3 깊이 필터 함수(FF3)은 제 3 깊이(D3)에 있지 않은 이미지들을 필터링하고, 제 3 서브-이미지(SIM3)가 남게 된다. 제 3 서브-이미지(SIM3)는 제 3 이미지(IM3)에서 선명하며, 제 3 서브-이미지(SIM3)가 제 3 이미지(IM3)에서 선명하므로 이것은 제 3 피사체(O3)의 이미지를 포함한다. 즉, 제 3 이미지(IM3)에서 선명하지 않은 이미지(예를 들면, 제 1 피사체(O1) 및 제 2 피사체(O2)의 이미지들)는 필터링된다.
도 6을 참조하면, 이것은 본 개시의 일부 실시예들에 따른 제 1 서브-이미지(SIM1), 제 2 서브-이미지(SIM2) 및 제 3 서브-이미지(SIM3)를 중첩하는 개략도를 도시한 것이다. 제 1 서브-이미지(SIM1), 제 2 서브-이미지(SIM2) 및 제 3 서브-이미지(SIM3)를 중첩한다는 것은 제 1 서브-이미지(SIM1), 제 2 서브-이미지(SIM2) 및 제 3 서브-이미지(SIM3)가 새로운 이미지로 "통합"된다는 것을 의미한다. 도 6에 도시된 바와 같이, 제 1 서브-이미지(SIM1), 제 2 서브-이미지(SIM2) 및 제 3 서브-이미지(SIM3)는 프로세서(30)에 의해서 중첩 이미지(SIIM)로 중첩될 수 있다.
중첩 이미지(SIIM)는 제 1 서브-이미지(SIM1), 제 2 서브-이미지(SIM2) 및 제 3 서브-이미지(SIM3)의 조합이기 때문에 모든 깊이에서 선명하다. 또한, 중첩 이미지(SIIM)에서, 제 1 피사체(O1), 제 2 피사체(O2) 및 제 3 피사체(O3)는 선명하다.
위에 나와 있는 실시예들은 단지 예시일 뿐이며, 일부 실시예들에서, 이미지 처리 시스템(100)은 제 3 이미지(IM3)를 획득할 필요가 없음을 유의한다. 즉, 일부 실시예들에서는, 이미지 처리 시스템(100)이 제 1 이미지(IM1) 및 제 2 이미지(IM2)만을 획득하여 중첩 이미지(SIIM)를 생성한다.
전술한 이미지 처리 시스템(100)은 상이한 깊이들에서 이미지들을 처리함으로써 모든 깊이에서 선명한 중첩 이미지가 생성되도록 한다. 또한, 전술한 이미지 처리 시스템(100)은 광들이 디스플레이 스크린을 통과한 후 회절 및 간섭 효과들에 의해 야기되는 이미지 오버레이 및 블러링의 문제를 해결할 수 있다.
본 개시의 일부 실시예들에 따른 이미지 처리 방법(200)의 흐름도를 도시하는 도 7a 및 도 7b를 참조한다. 일부 실시예들에서, 이미지 처리 방법은 단계 202에서 시작할 수 있다.
단계 202에서, 디스플레이 스크린(10) 아래의 카메라(이중층 렌즈 어레이 CIS(20) 및 프로세서(30))가 제 1 광(L1)을 수신하며, 제 1 깊이(D1)에 카메라의 초점을 맞춤으로써 제 1 이미지(IM1)가 획득된다. 그 다음, 이미지 처리 방법(200)은 단계 204로 진행한다.
단계 204에서는, 제 1 이미지(IM1)가 프로세서(30)에 의해 처리된다. 단계 204는 단계 2041 및 단계 2042를 포함할 수 있다. 단계 2041에서는, 제 1 이미지(IM1)의 제 1 서브-이미지(SIM1)가 제 1 깊이(D1)에 있는 것으로 프로세서(30)에 의해 결정된다. 단계 2041은 단계 2041a를 포함할 수 있다. 단계 2041a에서는, 제 1 서브-이미지(SIM1)의 위치 정보 및 방향 정보가 이중층 렌즈 어레이 CIS(20)에 의해 획득된다. 단계 2042에서는, 제 1 서브-이미지(SIM1)가 제 1 이미지(IM1)로부터 캡처된다. 그 다음, 이미지 처리 방법(200)은 단계 206으로 진행한다.
단계 206에서, 디스플레이 스크린(10) 아래의 카메라(이중 렌즈 어레이 CIS(20) 및 프로세서(30))가 제 2 광(L2)을 수신하며, 제 2 깊이(D2)에 카메라의 초점을 맞춤으로써 제 2 이미지(IM2)가 획득된다. 그 다음, 이미지 처리 방법(200)은 단계 208로 진행한다.
단계 208에서는, 제 2 이미지(IM2)가 프로세서(30)에 의해 처리된다. 단계 208은 단계 2081 및 단계 2082를 포함할 수 있다. 단계 2081에서는, 제 2 이미지(IM2)의 제 2 서브-이미지(SIM2)가 제 2 깊이(D2)에 있는 것으로 프로세서(30)에 의해 결정된다. 단계 2081은 단계 2081a를 포함할 수 있다. 단계 2081a에서는, 이중층 렌즈 어레이 CIS(20)에 의해 제 2 서브-이미지(SIM2)의 위치 정보 및 방향 정보가 획득된다. 단계 2082에서는, 제 2 서브-이미지(SIM2)가 제 2 이미지(IM2)로부터 캡처된다. 그 다음, 이미지 처리 방법(200)은 단계 210으로 진행한다.
단계 210에서, 사용자는 제 1 서브-이미지(SIM1) 및 제 2 서브-이미지(SIM2)를 선택한다. 그 다음, 이미지 처리 방법(200)은 단계 212로 진행한다.
단계 212에서는, 제 1 서브-이미지(SIM1) 및 제 2 서브-이미지(SIM 2)가 프로세서(30)에 의해 중첩된다. 그 다음, 이미지 처리 방법(200)은 단계 214로 진행한다.
단계 214에서는, 프로세서(30)가 제 1 서브-이미지(SIM1) 및 제 2 서브-이미지(SIM2)를 중첩한 후에 중첩 이미지(SIIM)가 프로세서(30)에 의해 생성된다. 그 다음, 이미지 처리 방법(200)은 단계 216으로 진행한다.
단계 216에서는, 중첩 이미지(SIIM)가 디스플레이 스크린(10)에 출력된다.
도 8a 및 도 8b를 참조하면, 이것은 본 개시의 일부 실시예들에 따른 이미지 처리 방법(300)의 흐름도를 도시한 것이다. 일부 실시예들에서, 이미지 처리 방법은 단계 302에서 시작할 수 있다.
단계 302에서는, 디스플레이 스크린(10) 아래의 카메라(이중 렌즈 어레이 CIS(20) 및 프로세서(30))가 제 1 광(L1)을 수신하며, 제 1 깊이(D1)에 카메라의 초점을 맞춤으로써 제 1 이미지(IM1)가 획득된다. 그 다음, 이미지 처리 방법(300)은 단계 304로 진행한다.
단계 304에서는, 제 1 이미지(IM1)가 프로세서(30)에 의해 처리된다. 단계 304는 단계 3041 및 단계 3042를 포함할 수 있다. 단계 3041에서는, 제 1 이미지(IM1)의 제 1 서브-이미지(SIM1)가 제 1 깊이(D1)에 있는 것으로 프로세서(30)에 의해 결정된다. 단계 3041은 단계 3041a를 포함할 수 있다. 단계 3041a에서는, 제 1 서브-이미지(SIM1)의 위치 정보 및 방향 정보가 이중층 렌즈 어레이 CIS(20)에 의해 획득된다. 단계 3042에서는, 제 1 서브-이미지(SIM1)가 제 1 이미지(IM1)로부터 프로세서(30)에 의해 캡처된다. 그 다음, 이미지 처리 방법(300)은 단계 306으로 진행한다.
단계 306에서는, 디스플레이 스크린(10) 아래의 카메라(이중 렌즈 어레이 CIS(20) 및 프로세서(30))가 제 2 광(L2)을 수신하며, 제 2 깊이(D2)에 카메라의 초점을 맞춤으로써 제 2 이미지(IM2)가 획득된다. 그 다음, 이미지 처리 방법(300)은 단계 308로 진행한다.
단계 308에서는, 제 2 이미지(IM2)가 프로세서(30)에 의해 처리된다. 단계 308은 단계 3081 및 단계 3082를 포함할 수 있다. 단계 3081에서는, 제 2 이미지(IM2)의 제 2 서브-이미지(SIM2)가 제 2 깊이(D2)에 있는 것으로 프로세서(30)에 의해 결정된다. 단계 3081은 단계 3081a를 포함할 수 있다. 단계 3081a에서는, 제 2 서브-이미지(SIM2)의 위치 정보 및 방향 정보가 이중 층 렌즈 어레이 CIS(20)에 의해 획득된다. 단계 3082에서는, 제 2 서브-이미지(SIM2)가 제 2 이미지(IM2)로부터 프로세서(30)에 의해 캡처된다. 그 다음, 이미지 처리 방법(300)은 단계 310으로 진행한다.
단계 310에서는, 서브-이미지들(제 1 서브-이미지(SIM1) 및 제 2 서브-이미지(SIM 2)를 포함할 수 있음)이 프로세서(30)에 의해 중첩된다. 그 다음, 이미지 처리 방법(300)은 단계 312로 진행한다.
단계 312에서는, 프로세서(30)가 제 1 서브-이미지(SIM1) 및 제 2 서브-이미지(SIM2)를 중첩한 후에 중첩 이미지(SIIM)가 프로세서(30)에 의해 생성된다. 그 다음, 이미지 처리 방법(300)은 단계 314로 진행한다.
단계 314에서는, 중첩 이미지(SIIM)의 선명도가 프로세서(30)에 의해 결정된다. 중첩 이미지(SIIM)가 비선명한 것으로 결정되면 이미지 처리 방법(300)은 단계 316으로 진행한다. 중첩 이미지(SIIM)가 선명한 것으로 결정되면 이미지 처리 방법(300)은 단계 320으로 진행한다.
단계 316에서는, 디스플레이 스크린(10) 아래의 카메라(이중 렌즈 어레이 CIS(20) 및 프로세서(30))가 제 3 광(L3)을 수신하며, 제 3 깊이(D3)에 카메라의 초점을 맞춤으로써 제 3 이미지(IM3)가 획득된다. 제 3 깊이(D3)는 제 1 깊이(D1) 및 제 2 깊이(D2)와 다르다. 일부 실시예들에서, 제 3 깊이(D3)는 제 1 깊이(D1)와 제 2 깊이(D2) 사이에 있다. 그 다음, 이미지 처리 방법(300)은 단계 318로 진행한다.
단계 318에서는, 제 3 이미지(IM3)가 프로세서(30)에 의해 처리된다. 단계 318은 단계 3181 및 단계 3182를 포함할 수 있다. 단계 3181에서는, 제 3 이미지(IM3)의 제 3 서브-이미지(SIM3)가 제 3 깊이(D3)에 있는 것으로 프로세서(30)에 의해 결정된다. 단계 3181은 단계 3181a를 포함할 수 있다. 단계 3181a에서는, 이중 층 렌즈 어레이 CIS(20)에 의해 제 3 서브-이미지(SIM3)의 위치 정보 및 방향 정보가 획득된다. 단계 3182에서는, 제 3 서브-이미지(SIM3)가 제 3 이미지(IM3)로부터 프로세서(30)에 의해 캡처된다. 그 다음, 이미지 처리 방법(300)은 단계 320으로 진행한다. 그 다음, 이미지 처리 방법(300)은 단계 310으로 돌아간다.
단계 310-318은 여러 번 반복될 수 있으며 선명한 중첩 이미지를 생성할 목적으로 복수의 서브-이미지들이 캡처될 수 있다.
단계 320에서는, 중첩 이미지(SIIM)가 디스플레이 스크린(10)에 출력된다.
단계들의 순서는 변경 가능하다는 점에 유의해야 한다. 예를 들어, 단계 206은 단계 204 이전에 수행될 수 있거나, 또는 단계 306은 단계 304 이전에 수행될 수 있다.
전술한 이미지 처리 방법(200) 및 이미지 처리 방법(300)은 상이한 깊이들을 갖는 이미지들을 처리함으로써 모든 깊이에서 선명한 중첩 이미지가 생성되도록 한다. 또한, 전술한 이미지 처리 방법(200) 및 이미지 처리 방법(300)은 광들이 디스플레이 스크린을 통과한 후 회절 및 간섭 효과들에 의해 야기되는 이미지 오버레이 및 블러링 문제를 해결할 수 있다.
본 발명이 바람직한 실시예들의 관점에서 예로서 설명되었지만, 본 발명은 개시된 실시예들에 제한되지 않는다는 것을 이해해야 한다. 반대로, 본 발명은 (당업자에게 자명할 수 있는) 다양한 수정 사항 및 유사한 구성을 포함하는 것으로 의도된다. 따라서, 첨부된 청구항들의 범위는 그러한 모든 수정 사항 및 유사한 구성을 포함하도록 가장 넓은 해석에 따라야 한다.
Claims (10)
- 이미지 처리 방법에 있어서,
디스플레이 스크린 아래의 카메라를 사용하여 제 1 이미지를 획득하는 단계;
프로세서를 사용하여 상기 제 1 이미지를 처리하는 단계로서,
상기 제 1 이미지의 제 1 서브-이미지를 결정하고, 상기 제 1 이미지로부터 상기 제 1 서브-이미지를 캡처하는 단계를 포함하는, 상기 제 1 이미지를 처리하는 단계;
상기 디스플레이 스크린 아래의 상기 카메라를 사용하여 제 2 이미지를 획득하는 단계;
상기 프로세서를 사용하여 상기 제 2 이미지를 처리하는 단계로서,
상기 제 2 이미지의 제 2 서브-이미지를 결정하고, 상기 제 2 이미지로부터 상기 제 2 서브-이미지를 캡처하는 단계, 및 상기 제 1 서브-이미지와 상기 제 2 서브-이미지를 중첩하는 단계를 포함하는, 상기 제 2 이미지를 처리하는 단계; 및
상기 제 1 서브-이미지와 상기 제 2 서브-이미지를 중첩한 이후에 중첩 이미지를 생성하는 단계;를 포함하며,
상기 제 1 서브-이미지는 제 1 깊이를 갖는 상기 제 1 이미지의 서브-이미지이고, 상기 제 2 서브-이미지는 제 2 깊이를 갖는 상기 제 2 이미지의 서브-이미지이고,
상기 제 1 깊이는 상기 제 2 깊이와 상이한, 이미지 처리 방법. - 제 1 항에 있어서,
상기 제 1 서브-이미지를 결정하는 단계는,
이중층 렌즈 어레이 CIS를 사용하여 상기 제 1 이미지의 위치 정보 및 방향 정보를 획득하는 단계;
상기 제 1 이미지의 복수의 서브-이미지들의 복수의 깊이들을 결정하는 단계; 및
상기 제 1 깊이를 선택하여 상기 제 1 서브-이미지를 획득하는 단계;를 포함하며,
상기 제 2 서브-이미지를 결정하는 단계는,
상기 이중층 렌즈 어레이 CIS를 사용하여 상기 제 2 이미지의 위치 정보 및 방향 정보를 획득하는 단계;
상기 제 2 이미지의 복수의 서브-이미지들의 복수의 깊이들을 결정하는 단계; 및
상기 제 2 깊이를 선택하여 상기 제 2 서브-이미지를 획득하는 단계;를 포함하는, 이미지 처리 방법. - 제 1 항에 있어서,
상기 제 1 서브-이미지 및 상기 제 2 서브-이미지가 중첩되기 이전에 사용자에 의해 상기 제 1 서브-이미지 및 상기 제 2 서브-이미지를 선택하는 단계; 및
상기 중첩 이미지가 생성된 이후에 상기 중첩 이미지를 출력하는 단계;를 더 포함하는, 이미지 처리 방법. - 제 1 항에 있어서,
상기 프로세서를 사용하여 상기 중첩 이미지의 선명도를 결정하는 단계;
상기 중첩 이미지가 선명한 것으로 결정한 것에 응답하여 상기 중첩 이미지를 출력하는 단계;
상기 중첩 이미지가 비선명한 것으로 결정한 것에 응답하여 상기 디스플레이 스크린 아래의 상기 카메라를 사용하여 제 3 이미지를 획득하는 단계;를 더 포함하는, 이미지 처리 방법. - 제 4 항에 있어서,
상기 프로세서를 사용하여 상기 제 3 이미지를 처리하는 단계를 더 포함하며,
상기 제 3 이미지를 처리하는 단계는,
상기 프로세서를 사용하여 상기 제 3 이미지의 제 3 서브-이미지를 결정하고, 상기 제 3 이미지로부터 상기 제 3 서브-이미지를 캡처하는 단계를 포함하고,
상기 제 3 서브-이미지는 상기 제 1 깊이 및 상기 제 2 깊이와 상이한 제 3 깊이를 가지고,
상기 중첩하는 단계는,
상기 제 1 서브-이미지, 상기 제 2 서브-이미지 및 상기 제 3 서브-이미지를 중첩하는 단계를 포함하고,
상기 제 3 깊이는 상기 제 1 깊이와 상기 제 2 깊이 사이에 있는, 이미지 처리 방법. - 이미지 처리 시스템에 있어서,
디스플레이 스크린;
상기 디스플레이 스크린의 하부에 배치되며, 제 1 광 및 제 2 광을 수신하도록 구성되는 이중층 렌즈 어레이 CIS; 및
프로세서;를 포함하며,
상기 제 1 광을 수신한 것에 응답하여, 상기 이중층 렌즈 어레이 CIS는 제 1 이미지를 생성하고, 상기 제 2 광을 수신한 것에 응답하여, 상기 이중층 렌즈 어레이 CIS는 제 2 이미지를 생성하며,
상기 프로세서는 상기 제 1 이미지의 제 1 서브-이미지와 상기 제 2 이미지의 제 2 서브-이미지를 중첩하여 중첩 이미지를 생성하도록 구성되고,
상기 제 1 서브-이미지는 제 1 깊이를 갖는 상기 제 1 이미지의 서브-이미지이고,
상기 제 2 서브-이미지는 제 2 깊이를 갖는 상기 제 2 이미지의 서브-이미지이며,
상기 제 1 깊이는 상기 제 2 깊이와 상이한, 이미지 처리 시스템. - 제 6 항에 있어서,
상기 이중층 렌즈 어레이 CIS는,
복수의 제 1 층 렌즈들을 포함하는 제 1 층 렌즈 어레이;
상기 제 1 층 렌즈 어레이 위에 배치되며, 복수의 제 2 층 렌즈들을 포함하는 제 2 층 렌즈 어레이; 및
복수의 픽셀들을 포함하는 센서;를 포함하며,
상기 제 1 층 렌즈들 각각의 크기는 상기 픽셀들 각각의 크기와 동일하고,
상기 제 2 층 렌즈들 각각의 크기는 상기 픽셀들 각각의 크기의 3배 이상이고,
상기 제 1 광 및 상기 제 2 광은 상기 디스플레이 스크린, 상기 제 2 층 렌즈 어레이 및 상기 제 1 층 렌즈 어레이를 통과한 후 상기 센서에 도달하고,
상기 제 2 층 렌즈 각각의 면적은 상기 센서의 감지 면적의 30%보다 작고,
상기 제 1 층 렌즈 어레이와 상기 제 2 층 렌즈 어레이 사이의 배열들은 삼각형 배열, 직사각형 배열, 육각형 배열, 또는 다각형 배열일 수 있는, 이미지 처리 시스템. - 제 6 항에 있어서,
상기 제 1 서브-이미지가 상기 프로세서에 의해 상기 제 1 이미지로부터 캡처되고, 상기 제 2 서브-이미지가 중첩을 위해 상기 프로세서에 의해 상기 제 2 이미지로부터 캡처되며,
상기 중첩 이미지의 선명도가 상기 프로세서에 의해 결정되고,
중첩을 위한 상기 제 1 서브-이미지 및 상기 제 2 서브-이미지가 사용자에 의해 선택되고,
상기 디스플레이 스크린이 상기 중첩 이미지를 출력하는, 이미지 처리 시스템. - 제 8 항에 있어서,
상기 중첩 이미지가 비선명한 것으로 결정한 것에 응답하여 상기 이중층 렌즈 어레이 CIS가 제 3 광을 수신하고,
상기 제 3 광을 수신한 것에 응답하여, 상기 이중층 렌즈 어레이 CIS가 제 3 이미지를 생성하고,
상기 프로세서는 상기 제 1 서브-이미지, 상기 제 2 서브-이미지 및 상기 제 3 이미지의 제 3 서브-이미지를 중첩하여 중첩 이미지를 생성하도록 구성되고,
상기 제 3 서브-이미지는 제 3 깊이를 갖는 상기 제 3 이미지의 서브-이미지이고,
상기 제 3 깊이는 상기 제 1 깊이 및 상기 제 2 깊이와 상이하고,
상기 중첩 이미지가 선명한 것으로 결정한 것에 응답하여 상기 디스플레이 스크린이 상기 중첩 이미지를 출력하며,
상기 제 3 깊이는 상기 제 1 깊이와 상기 제 2 깊이 사이에 있는, 이미지 처리 시스템. - 제 6 항에 있어서,
제 1 피사체의 이미지는 상기 제 1 이미지에서 선명하고, 제 2 피사체의 이미지는 상기 제 2 이미지에서 선명하고,
상기 제 1 피사체의 이미지는 상기 제 2 이미지에서 선명하지 않고, 상기 제 2 피사체의 이미지는 상기 제 1 이미지에서 선명하지 않으며,
상기 제 1 피사체는 상기 이미지 처리 시스템으로부터 상기 제 1 깊이 떨어져 있고,
상기 제 2 피사체는 상기 이미지 처리 시스템으로부터 상기 제 2 깊이 떨어져 있는, 이미지 처리 시스템.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/555,676 US11832001B2 (en) | 2021-12-20 | 2021-12-20 | Image processing method and image processing system |
| US17/555,676 | 2021-12-20 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230094103A true KR20230094103A (ko) | 2023-06-27 |
| KR102611713B1 KR102611713B1 (ko) | 2023-12-11 |
Family
ID=80999284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220039716A KR102611713B1 (ko) | 2021-12-20 | 2022-03-30 | 이미지 처리 방법 및 이미지 처리 시스템 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11832001B2 (ko) |
| EP (1) | EP4198880A1 (ko) |
| JP (1) | JP7429731B2 (ko) |
| KR (1) | KR102611713B1 (ko) |
| CN (1) | CN116320700A (ko) |
| TW (1) | TWI796236B (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11837617B2 (en) * | 2022-04-27 | 2023-12-05 | Visera Technologies Company Ltd. | Under-display camera system and operating method thereof |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015520992A (ja) * | 2012-05-09 | 2015-07-23 | ライトロ, インコーポレイテッドLytro, Inc. | ライトフィールドの取り込み及び操作を改善するための光学系の最適化 |
| KR20160121569A (ko) * | 2014-05-28 | 2016-10-19 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 이미지 처리 방법 및 이미지 처리 장치 |
| JP2018037998A (ja) * | 2016-09-02 | 2018-03-08 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、記憶媒体 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120019688A1 (en) | 2010-07-20 | 2012-01-26 | Research In Motion Limited | Method for decreasing depth of field of a camera having fixed aperture |
| JP5716465B2 (ja) | 2011-03-09 | 2015-05-13 | ソニー株式会社 | 撮像装置 |
| US9057931B1 (en) | 2012-06-14 | 2015-06-16 | Amazon Technologies, Inc. | Display integrated camera |
| US20140168471A1 (en) * | 2012-12-19 | 2014-06-19 | Research In Motion Limited | Device with virtual plenoptic camera functionality |
| JP6159097B2 (ja) * | 2013-02-07 | 2017-07-05 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、及びプログラム |
| US8849064B2 (en) | 2013-02-14 | 2014-09-30 | Fotonation Limited | Method and apparatus for viewing images |
| EP3916786A3 (en) * | 2013-05-21 | 2022-03-09 | Photonic Sensors & Algorithms, S.L. | Monolithic integration of plenoptic lenses on photosensor substrates |
| JP6757245B2 (ja) | 2016-12-26 | 2020-09-16 | キヤノン株式会社 | 動画再生装置、撮像装置、動画再生方法及びプログラム |
| CA3084679C (en) | 2017-12-05 | 2023-03-07 | Airy3D Inc. | Light field image processing method for depth acquisition |
| CN107967946B (zh) | 2017-12-21 | 2021-05-11 | 武汉楚精灵医疗科技有限公司 | 基于深度学习的胃镜操作实时辅助***及方法 |
| TWI691932B (zh) | 2018-06-12 | 2020-04-21 | 大陸商光寶電子（廣州）有限公司 | 影像處理系統及影像處理方法 |
| CN109379454B (zh) | 2018-09-17 | 2020-04-17 | 深圳奥比中光科技有限公司 | 电子设备 |
| WO2020062903A1 (en) | 2018-09-26 | 2020-04-02 | Shenzhen GOODIX Technology Co., Ltd. | Elecronic apparatus, and light field imaging system and method with optical metasurface |
| DE102019133642A1 (de) | 2018-12-12 | 2020-06-18 | Magna Closures Inc. | Digitales bildgebungssystem einschliesslich optischer plenoptik-vorrichtung und bilddaten-verarbeitungsverfahren zur erfassung von fahrzeughindernissen und gesten |
| CN110060215B (zh) | 2019-04-16 | 2021-09-10 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| US11595575B2 (en) | 2020-05-11 | 2023-02-28 | Samsung Electronics Co., Ltd. | Image sensor |
| US20210360154A1 (en) | 2020-05-14 | 2021-11-18 | David Elliott Slobodin | Display and image-capture device |
| US11863729B2 (en) * | 2021-09-21 | 2024-01-02 | Qualcomm Incorporated | Systems and methods for generating synthetic depth of field effects |
-
2021
- 2021-12-20 US US17/555,676 patent/US11832001B2/en active Active
-
2022
- 2022-03-29 EP EP22165113.6A patent/EP4198880A1/en active Pending
- 2022-03-30 KR KR1020220039716A patent/KR102611713B1/ko active IP Right Grant
- 2022-05-19 JP JP2022082140A patent/JP7429731B2/ja active Active
- 2022-06-07 TW TW111121005A patent/TWI796236B/zh active
- 2022-07-08 CN CN202210852709.9A patent/CN116320700A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015520992A (ja) * | 2012-05-09 | 2015-07-23 | ライトロ, インコーポレイテッドLytro, Inc. | ライトフィールドの取り込み及び操作を改善するための光学系の最適化 |
| KR20160121569A (ko) * | 2014-05-28 | 2016-10-19 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 이미지 처리 방법 및 이미지 처리 장치 |
| JP2018037998A (ja) * | 2016-09-02 | 2018-03-08 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、記憶媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230199325A1 (en) | 2023-06-22 |
| TWI796236B (zh) | 2023-03-11 |
| KR102611713B1 (ko) | 2023-12-11 |
| JP7429731B2 (ja) | 2024-02-08 |
| CN116320700A (zh) | 2023-06-23 |
| TW202326597A (zh) | 2023-07-01 |
| EP4198880A1 (en) | 2023-06-21 |
| US11832001B2 (en) | 2023-11-28 |
| JP2023091707A (ja) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Horstmeyer et al. | Flexible multimodal camera using a light field architecture | |
| US10311649B2 (en) | Systems and method for performing depth based image editing | |
| CN108141571B (zh) | 无掩模相位检测自动聚焦 | |
| KR102172992B1 (ko) | 이미지 촬영 장치 및 이미지 촬영 방법 | |
| EP2693756B1 (en) | Image pickup apparatus, image pickup device, image processing method, aperture control method, and program | |
| JP6918485B2 (ja) | 画像処理装置および画像処理方法、プログラム、記憶媒体 | |
| CN104717482A (zh) | 多光谱多景深阵列拍摄方法与拍摄相机 | |
| US8908054B1 (en) | Optics apparatus for hands-free focus | |
| JP2005521174A (ja) | イメージング装置 | |
| JP2011118235A (ja) | 撮像装置 | |
| KR20070121717A (ko) | 컬러 디지털 이미지를 사용하여 선명도 변경과 같은 액션을제어하는 방법 | |
| WO2017155622A1 (en) | Phase detection autofocus using opposing filter masks | |
| JP5766077B2 (ja) | ノイズ低減のための画像処理装置及び画像処理方法 | |
| CN112866549B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| US20190260963A1 (en) | Display panel, display device and image pickup method therefor | |
| Georgiev et al. | Rich image capture with plenoptic cameras | |
| CN103888641A (zh) | 图像处理装置及图像再对焦方法 | |
| KR102611713B1 (ko) | 이미지 처리 방법 및 이미지 처리 시스템 | |
| JP6611531B2 (ja) | 画像処理装置、画像処理装置の制御方法、およびプログラム | |
| KR102506363B1 (ko) | 정확히 2개의 카메라를 갖는 디바이스 및 이 디바이스를 사용하여 2개의 이미지를 생성하는 방법 | |
| US11323689B2 (en) | Image processing device, imaging device, image processing method, and recording medium | |
| US20220165052A1 (en) | Method and device for generating data and computer storage medium | |
| JP6961423B2 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、プログラムおよび記録媒体 | |
| JP2013085018A (ja) | 撮像装置 | |
| JP6263221B2 (ja) | 画像処理装置、画像処理方法、撮像装置および表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |