KR101901184B1 - 깊이 영상을 사용한 컬러 영상 처리 장치 및 방법 - Google Patents

깊이 영상을 사용한 컬러 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101901184B1
KR101901184B1 KR1020120104486A KR20120104486A KR101901184B1 KR 101901184 B1 KR101901184 B1 KR 101901184B1 KR 1020120104486 A KR1020120104486 A KR 1020120104486A KR 20120104486 A KR20120104486 A KR 20120104486A KR 101901184 B1 KR101901184 B1 KR 101901184B1
Authority
KR
South Korea
Prior art keywords
area
color
region
image
depth
Prior art date
Application number
KR1020120104486A
Other languages
English (en)
Other versions
KR20140038139A (ko
Inventor
이희세
김선권
이승규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120104486A priority Critical patent/KR101901184B1/ko
Priority to US14/012,219 priority patent/US9542728B2/en
Publication of KR20140038139A publication Critical patent/KR20140038139A/ko
Application granted granted Critical
Publication of KR101901184B1 publication Critical patent/KR101901184B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

깊이 영상을 사용한 영상 처리 장치 및 방법이 개시된다. 영상 처리 장치는 깊이 영상을 이용하여 컬러 영상에서 포그라운드 영역과 백그라운드 영역을 판단하는 영역 판단부; 상기 포그라운드 영역과 백그라운드 영역 각각에 대해 컬러를 보정하는 컬러 보정부를 포함할 수 있다.

Description

깊이 영상을 사용한 컬러 영상 처리 장치 및 방법{APPARATUS AND METHOD FOR PROCESSING COLOR IMAGE USING DEPTH IMAGE}
이하의 일실시예들은 영상 처리 장치 및 방법에 관한 것으로 깊이 영상을 사용하여 컬러 영상을 처리하는 장치 및 방법에 관한 것이다.
컬러 영상의 화질을 개선하거나, 컬러 영상에 부가 효과를 추가하여 컬러 영상의 품질을 향상시키기 위한 영상 처리 기술이 개발되고 있다. 예를 들어, 영상 처리 기술은 특정 오브젝트가 부각되도록 컬러 영상을 처리하거나, 컬러 영상에서 영상의 해상도를 낮추는 자연 현상을 제거하여 컬러 영상의 해상도를 높일 수 있다.
그러나, 부가 효과나 자연 현상 중에서는 카메라와의 거리에 따라 다르게 나타나는 효과도 있으며, 오브젝트와 카메라 간의 거리에 따라 영상에 포함된 오브젝트의 영역의 크기가 변화할 수도 있었다. 이때, 종래의 영상 처리 기술은 컬러 영상만을 사용하고 있으므로, 카메라와의 거리에 따른 효과나 오브젝트 추적이 어렵다는 한계가 있었다.
따라서, 영상에 포함된 오브젝트의 깊이 값을 사용한 영상 처리 기술이 필요할 수 있다.
일실시예에 따른 영상 처리 장치는 깊이 영상을 이용하여 컬러 영상에서 포그라운드 영역과 백그라운드 영역을 판단하는 영역 판단부; 및 상기 포그라운드 영역과 백그라운드 영역 각각에 대해 컬러를 보정하는 컬러 보정부를 포함할 수 있다.
일실시예에 따른 영상 처리 장치의 영역 판단부는 상기 깊이 영상의 깊이값과 관련된 깊이 히스토그램을 이용하여 컬러 영상에서 포그라운드 영역과 백그라운드 영역을 판단할 수 있다.
일실시예에 따른 영상 처리 장치의 영역 판단부는 상기 컬러 영상에 인물이 포함된 경우, 상기 깊이 영상에서 인물의 깊이값에 가장 근접한 깊이값을 가지는 영역을 포그라운드 영역으로 판단할 수 있다.
일실시예에 따른 영상 처리 장치의 영역 판단부는 상기 컬러 영상에 포함된 인물의 얼굴을 인식하고, 상기 깊이 영상에서 얼굴의 깊이값에 가장 근접한 깊이값을 가지는 영역을 포그라운드 영역으로 판단할 수 있다.
일실시예에 따른 영상 처리 장치의 컬러 보정부는 히스토그램 균등화 및 화이트밸런스 조정을 상기 포그라운드 영역과 백그라운드 영역에 적용할 수 있다.
일실시예에 따른 영상 처리 장치의 컬러 보정부는 상기 포그라운드 영역에 히스토그램 균등화를 적용하지 않고, 상기 백그라운드 영역에 대해 깊이값에 따라 차등적으로 히스토그램 균등화를 적용할 수 있다.
일실시예에 따른 영상 처리 장치의 컬러 보정부는 상기 히스토그램 균등화를 적용하지 않은 포그라운드 영역에서 추출한 화이트밸런스를 이용하여 백그라운드 영역의 왜곡된 컬러를 보정할 수 있다.
일실시예에 따른 영상 처리 장치의 컬러 보정부는 상기 포그라운드 영역과 백그라운드 영역에 대해 대비(contrast), 채도(saturation) 및 색상(hue) 중 적어도 하나를 다르게 적용하여 컬러를 보정할 수 있다.
일실시예에 따른 영상 처리 장치의 컬러 보정부는 포그라운드 영역의 대비를 증가시키고, 백그라운드 영역의 대비를 감소시킬 수 있다.
일실시예에 따른 영상 처리 장치의 컬러 보정부는 포그라운드 영역의 채도를 유지하고, 백그라운드 영역의 채도를 변경할 수 있다.
일실시예에 따른 영상 처리 장치의 컬러 보정부는 채도가 변경되지 않은 포그라운드 영역의 색상을 기준으로 백그라운드 영역의 색상을 보정할 수 있다.
일실시예에 따른 영상 처리 장치는 포커스 영역에 오브젝트가 배치된 컬러 영상과 깊이 영상을 획득하는 영상 획득부; 상기 깊이 영상에서 상기 오브젝트의 경계를 추출하는 경계 추출부; 및 상기 컬러 영상에서 오브젝트의 경계 이외의 영역을 블러링하는 영역 블러링부를 포함할 수 있다.
일실시예에 따른 영상 처리 장치는 미리 설정된 시간 동안 연속적으로 획득한 깊이 영상들 간의 움직임 정보를 결정하는 움직임 정보 결정부; 컬러 영상에서 움직임 정보가 존재하는 영역을 포커스 영역으로 설정하는 영역 설정부; 및 상기 컬러 영상에서 포커스 영역 이외의 영역을 블러링하는 영역 블러링부를 포함할 수 있다.
일실시예에 따른 영상 처리 장치는 포커스 영역에 포함된 오브젝트를 식별하는 오브젝트 식별부; 상기 오브젝트의 움직임 정보에 따른 깊이 정보를 이용하여 오브젝트 영역을 조절하는 영역 조절부; 및 컬러 영상에서 상기 조절된 오브젝트 영역 이외의 영역을 블러링하는 영역 블러링부를 포함할 수 있다.
일실시예에 따른 영상 처리 방법은 깊이 영상을 이용하여 컬러 영상에서 포그라운드 영역과 백그라운드 영역을 판단하는 단계; 및 상기 포그라운드 영역과 백그라운드 영역 각각에 대해 컬러를 보정하는 단계를 포함할 수 있다.
일실시예에 따른 영상 처리 방법은 포커스 영역에 오브젝트가 배치된 컬러 영상과 깊이 영상을 획득하는 단계; 상기 깊이 영상에서 상기 오브젝트의 경계를 추출하는 단계; 및 상기 컬러 영상에서 오브젝트의 경계 이외의 영역을 블러링하는 단계를 포함할 수 있다.
일실시예에 따른 영상 처리 방법은 미리 설정된 시간 동안 연속적으로 획득한 깊이 영상들 간의 움직임 정보를 결정하는 단계; 컬러 영상에서 움직임 정보가 존재하는 영역을 포커스 영역으로 설정하는 단계; 및 상기 컬러 영상에서 포커스 영역 이외의 영역을 블러링하는 단계를 포함할 수 있다.
일실시예에 따른 영상 처리 방법은 포커스 영역에 포함된 오브젝트를 식별하는 단계; 상기 오브젝트의 움직임 정보에 따른 깊이 정보를 이용하여 오브젝트 영역을 조절하는 단계; 및 컬러 영상에서 상기 조절된 오브젝트 영역 이외의 영역을 블러링하는 단계를 포함할 수 있다.
도 1은 일실시예에 따른 영상 처리 장치의 구조를 도시한 도면이다.
도 2는 일실시예에 따른 영역 판단부가 포그라운드 영역과 백그라운드 영역을 판단하는 과정의 일례이다.
도 2는 일실시예에 따른 영역 판단부가 포그라운드 영역과 백그라운드 영역을 판단하는 과정의 일례이다.
도 3은 일실시예에 따른 컬러 보정부가 포그라운드 영역과 백그라운드 영역에 히스토그램 균등화 및 화이트밸런스 조정을 적용하는 과정의 일례이다.
도 4는 일실시예에 따른 컬러 보정부가 포그라운드 영역과 백그라운드 영역에 대비 및 채도를 다르게 적용하는 과정의 일례이다.
도 5는 일실시예에 따른 컬러 보정부가 포그라운드 영역과 백그라운드 영역에 채도 및 색상을 다르게 적용하는 과정의 일례이다.
도 6은 일실시예에 따른 영상 처리 장치의 구조를 도시한 도면이다.
도 7은 일실시예에 따른 영상 처리 장치가 포커스 영역을 이용하여 오브젝트를 제외한 영역을 블러링하는 과정의 일례이다.
도 8은 일실시예에 따른 영상 처리 장치의 구조를 도시한 도면이다.
도 9는 일실시예에 따른 영상 처리 장치가 움직임 정보를 이용하여 오브젝트를 제외한 영역을 블러링하는 과정의 일례이다.
도 10은 일실시예에 따른 영상 처리 장치의 구조를 도시한 도면이다.
도 11은 일실시예에 따른 영상 처리 장치가 오브젝트의 위치 변화에 대응하여 오브젝트를 제외한 영역을 블러링하는 과정의 일례이다.
도 12는 일실시예에 따른 영상 처리 방법을 도시한 도면이다.
도 13은 일실시예에 따라 포커스 영역을 이용하여 오브젝트를 제외한 영역을 블러링하는 영상 처리 방법을 도시한 도면이다.
도 14는 일실시예에 따라 움직임 정보를 이용하여 오브젝트를 제외한 영역을 블러링하는 영상 처리 방법을 도시한 도면이다.
도 15는 일실시예에 따라 오브젝트의 위치 변화에 대응하여 오브젝트를 제외한 영역을 블러링하는 영상 처리 방법을 도시한 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 영상 처리 장치의 구조를 도시한 도면이다.
도 1을 참고하면, 영상 처리 장치(100)는 영역 판단부(110)와 컬러 보정부(120)를 포함한다.
영역 판단부(110)는 깊이 영상을 이용하여 컬러 영상에서 포그라운드 영역과 백그라운드 영역을 판단할 수 있다. 구체적으로 영역 판단부(110)는 깊이 영상의 깊이값과 관련된 깊이 히스토그램을 이용하여 컬러 영상에서 포그라운드 영역과 백그라운드 영역을 판단할 수 있다.
영역 판단부(110)가 포그라운드 영역과 백그라운드 영역을 판단하는 과정은 이하 도 2를 참조하여 상세히 설명한다.
그리고, 컬러 영상에 인물에 포함된 경우, 영역 판단부(110)는 깊이 영상에서 인물의 깊이값과 가장 근접한 깊이값을 가지는 영역을 포그라운드 영역으로 판단할 수 있다. 또한, 영역 판단부(110)는 깊이 영상에서 인물의 깊이값과 가장 근접한 깊이값을 가지는 영역보다 깊이값이 작은 영역들도 포그라운드 영역으로 판단할 수 있다.
또한, 컬러 영상에 인물에 포함된 경우, 영역 판단부(110)는 컬러 영상에 포함된 인물의 얼굴을 인식할 수도 있다. 이때, 영역 판단부(110)는 깊이 영상에서 얼굴의 깊이값과 가장 근접한 깊이값을 가지는 영역을 포그라운드 영역으로 판단할 수 있다. 그리고, 영역 판단부(110)는 깊이 영상에서 얼굴의 깊이값과 가장 근접한 깊이값을 가지는 영역보다 깊이값이 작은 영역들도 포그라운드 영역으로 판단할 수 있다.
컬러 보정부(120)는 영역 판단부(110)가 판단한 포그라운드 영역과 백그라운드 영역 각각에 대해 컬러를 보정할 수 있다.
이때, 컬러 보정부(120)는 포그라운드 영역과 백그라운드 영역에 히스토그램 균등화(Histogram equalization) 및 화이트밸런스(White balance) 조정을 적용할 수 있다. 구체적으로, 컬러 보정부(120)는 컬러 영상(310)에 히스토그램 균등화를 적용하고, 히스토그램 균등화를 적용한 컬러 영상(320)의 화이트밸런스를 조정하여 컬러 영상에서 안개를 제거할 수 있다.
컬러 보정부(120)가 포그라운드 영역과 백그라운드 영역에 히스토그램 균등화 및 화이트밸런스 조정을 적용하는 과정은 이하 도 3을 참조하여 상세히 설명한다.
그리고, 컬러 보정부(120)는 포그라운드 영역과 백그라운드 영역에 대해 대비(contrast), 채도(saturation) 및 색상(hue) 중 적어도 하나를 다르게 적용하여 컬러를 보정할 수 있다. 예를 들어, 컬러 보정부(120)는 백그라운드 영역의 대비를 감소하고 채도를 변경하여 컬러 영상 중에서 포그라운드 영역에 포함된 주제를 부각시킬 수 있다. 그리고, 컬러 보정부(120)는 백그라운드 영역의 채도와 색상을 보정하고, 거리에 따라 화이트 값을 추가함으로, 컬러 영상에 안개 효과를 추가할 수 있다.
컬러 보정부(120)가 포그라운드 영역과 백그라운드 영역에 대해 대비, 채도 및 색상 중 적어도 하나를 다르게 적용하여 컬러를 보정하는 과정은 이하 도 4와 도 5를 참조하여 상세히 설명한다.
도 2는 일실시예에 따른 영역 판단부가 포그라운드 영역과 백그라운드 영역을 판단하는 과정의 일례이다.
영역 판단부(110)는 깊이 영상(200)의 깊이값과 관련된 깊이 히스토그램(201)을 사용하여 포그라운드 영역(210)과 백그라운드 영역(220)을 판단할 수 있다. 이때, 영역 판단부(110)는 도 2에 도시된 바와 같이 깊이값에 대응하는 픽셀의 개수가 가장 적은 깊이값(202)을 기준으로 포그라운드 영역(210)과 백그라운드 영역(220)을 판단할 수 있다. 구체적으로 영역 판단부(110)는 깊이값(202)보다 깊이값이 작은 영역은 포그라운드(210)로 판단하고, 깊이값(202)보다 깊이값이 큰 영역은 백그라운드 영역(220)로 판단할 수 있다.
또한, 깊이 영상(200)에 인물에 포함된 경우, 영역 판단부(110)는 깊이 영상(200)에 포함된 인물의 얼굴을 인식할 수 있다. 이때, 영역 판단부(110)는 깊이 영상에서 얼굴의 깊이값과 가장 근접한 깊이값을 가지는 영역을 포그라운드 영역으로 판단할 수 있다.
그리고, 컬러 영상에 인물에 포함된 경우, 영역 판단부(110)는 깊이 영상에서 인물(211)의 깊이값을 식별할 수 있다. 이때, 영역 판단부(110)는 인물(211)의 깊이값과 깊이값이 유사한 적어도 하나의 영역 및 상기 영역보다 깊이값이 작은 영역들을 포그라운드 영역(210)으로 판단할 수 있다.
도 3은 일실시예에 따른 컬러 보정부가 포그라운드 영역과 백그라운드 영역에 히스토그램 균등화 및 화이트밸런스 조정을 적용하는 과정의 일례이다.
도 3은 컬러 보정부(120)가 포그라운드 영역과 백그라운드 영역에 히스토그램 균등화 및 화이트밸런스 조정을 적용하여 컬러 영상에서 안개를 제거하는 실시예이다.
먼저, 컬러 보정부(120)는 안개가 포함된 컬러 영상(310)에 히스토그램 균등화를 적용할 수 있다. 이때, 컬러 보정부(120)는 포그라운드 영역에 히스토그램 균등화를 적용하지 않고, 백그라운드 영역에 대해 깊이값에 따라 차등적으로 히스토그램 균등화를 적용할 수 있다.
다음으로 컬러 보정부(120)는 히스토그램 균등화를 적용한 컬러 영상(320)의 화이트밸런스를 조정하여 안개가 제거된 컬러 영상(330)을 출력할 수 있다. 구체적으로, 컬러 보정부(120)는 히스토그램 균등화를 적용하지 않은 포그라운드 영역에서 화이트밸런스를 추출할 수 있다. 다음으로 컬러 보정부(120)는 추출한 화이트 밸런스를 이용하여 히스토그램 균등화를 적용함에 따라 왜곡된 백그라운드 영역의 컬러를 보정할 수 있다.
도 4는 일실시예에 따른 컬러 보정부가 포그라운드 영역과 백그라운드 영역에 대비 및 채도를 다르게 적용하는 과정의 일례이다.
도 4는 컬러 보정부(120)가 포그라운드 영역과 백그라운드 영역에 대비 및 채도를 다르게 적용하여 컬러 영상에서 주제를 부각시키는 실시예이다.
먼저, 컬러 보정부(120)는 컬러 영상(410)에서 포그라운드 영역(411)과 백그라운드 영역(412)의 대비를 각각 다르게 보정할 수 있다. 구체적으로 컬러 보정부(120)는 포그라운드 영역의 대비를 증가시키고, 백그라운드 영역의 대비를 감소시킬 수 있다.
다음으로, 컬러 보정부(120)는 대비를 보정한 컬러 영상(420)에서 포그라운드 영역(411)과 백그라운드 영역(412)의 채도를 각각 다르게 보정하여 포그라운드 영역에 포함된 주제가 부각된 영상(430)을 출력할 수 있다. 구체적으로 컬러 보정부(120)는 포그라운드 영역의 채도를 유지하고, 백그라운드 영역의 채도를 변경할 수 있다. 이때, 컬러 보정부(120)는 백그라운드 영역의 채도를 감소시킴으로써, 포그라운드 영역에 포함된 주제를 부각시킬 수 있다.
　
도 5는 일실시예에 따른 컬러 보정부가 포그라운드 영역과 백그라운드 영역에 채도 및 색상을 다르게 적용하는 과정의 일례이다.
도 5는 컬러 보정부(120)가 포그라운드 영역과 백그라운드 영역에 채도 및 색상을 다르게 적용하여 컬러 영상에 안개 효과를 추가하는 실시예이다.
먼저, 컬러 보정부(120)는 컬러 영상(510)에 포함된 영역들 각각의 깊이 값에 따라 영역들의 채도(Saturation)를 조정할 수 있다. 구체적으로, 컬러 보정부(120)는 포그라운드 영역의 채도는 유지하고, 백그라운드 영역의 컬러 값을 변경하여 백그라운드 영역의 채도만을 조정할 수 있다.
그리고, 컬러 보정부(120)는 채도가 조정된 컬러 영상(520)에 포함된 영역들 각각의 깊이 값에 따라 영역들의 색상(Hue)을 조정할 수 있다. 구체적으로, 컬러 보정부(120)는 채도가 변경되지 않은 포그라운드 영역의 색상을 기준으로 백그라운드 영역의 색상을 보정할 수 있다.
마지막으로 컬러 보정부(120)는 색상이 보정된 컬러 영상(530)에 포함된 영역들 각각의 깊이 값에 따라 영역들 각각에 화이트 값을 추가함으로, 안개 효과가 부여된 컬러 영상(540)을 출력할 수 있다. 예를 들어, 컬러 보정부(120)는 색상이 보정된 컬러 영상(530)에서 포그라운드 영역에는 화이트 값을 추가하지 않고, 백그라운드 영역에 화이트 값을 추가할 수 있다. 또한, 컬러 보정부(120)는 색상이 보정된 컬러 영상(530)에서 깊이 값이 적을수록 적은 값의 화이트 값을 추가할 수 있다. 이때, 컬러 영상(530)은 백그라운드 영역 중에서 카메라와 거리가 가까운 영역은 안개에 의한 흐려짐이 적고, 카메라와 거리가 먼 영역은 안개로 인한 흐려짐이 커지므로 실제 안개 속에 있는 듯한 효과를 부여할 수 있다.
도 6은 일실시예에 따른 영상 처리 장치의 구조를 도시한 도면이다.
카메라가 포커스 영역에 오브젝트가 위치하도록 컬러 영상과 깊이 영상을 촬영한 경우, 도 6의 영상 처리 장치(600)는 포커스 영역에 포함된 오브젝트의 깊이 값을 이용하여 오브젝트와 다른 영역 간의 경계를 식별할 수 있다. 그리고, 영상 처리 장치(600)은 컬러 영상에서 오브젝트를 제외한 영역을 블러링하여 오브젝트에 초점을 맞출 수 있다. 이때, 포커스 영역은 자동 초점 지정 영역일 수 있다.
도 6을 참고하면, 영상 처리 장치(600)는 영상 획득부(610), 경계 추출부(620), 및 영역 블러링부(630)를 포함한다.
영상 획득부(610)는 포커스 영역에 오브젝트가 배치된 컬러 영상과 깊이 영상을 획득할 수 있다. 예를 들어 카메라는 포커스 영역에 오브젝트가 위치하도록 컬러 영상과 깊이 영상을 촬영하고, 영상 획득부(610)는 카메라로부터 포커스 영역에 오브젝트가 위치한 컬러 영상과 깊이 영상을 수신할 수 있다. 또한, 컬러 영상과 깊이 영상은 포커스 영역에 오브젝트의 일부가 배치될 수 있다.
경계 추출부(620)는 영상 획득부(610)가 획득한 깊이 영상에서 오브젝트의 경계를 추출할 수 있다. 구체적으로 경계 추출부(620)는 포커스 영역에 배치된 오브젝트의 깊이값을 이용하여 오브젝트와 다른 영역 간의 경계를 추출할 수 있다.
그리고, 영상 획득부(610)가 포커스 영역에 오브젝트의 일부가 배치된 컬러 영상과 깊이 영상을 획득한 경우, 경계 추출부(620)는 포커스 영역에 일부가 배치된 오브젝트 전체와 다른 영역 간의 경계를 추출할 수 있다.
영역 블러링부(630)는 컬러 영상에서 경계 추출부(620)가 추출한 깊이 영상의 경계 이외의 영역을 블러링할 수 있다. 구체적으로 영역 블러링부(630)는 컬러 영상에서 오브젝트를 제외한 나머지 영역을 블러링 처리할 수 있다.
도 7은 일실시예에 따른 영상 처리 장치가 포커스 영역을 이용하여 오브젝트를 제외한 영역을 블러링하는 과정의 일례이다.
도 7은 영상 처리 장치(600)가 컬러 영상에서 포커스 영역에 배치된 오브젝트의 영역을 식별하고, 오브젝트를 제외한 영역을 블러링함으로써, 오브젝트에 초점을 맞추는 실시예이다.
먼저, 영상 획득부(610)는 포커스 영역(711)에 오브젝트(712)가 배치된 컬러 영상(710)과 깊이 영상(720)을 획득할 수 있다.
다음으로 경계 추출부(620)는 포커스 영역(711)에 배치된 오브젝트(712)의 깊이값을 이용하여 깊이 영상(720)에서 오브젝트(712)와 다른 영역 간의 경계(721)를 추출할 수 있다. 이때, 경계 추출부(620)는 포커스 영역(711) 안의 오브젝트(712)와 깊이값이 가장 가까운 영역, 및 동일한 영역을 경계(721)로 추출함으로써, 오브젝트(712)에서 포커스 영역(711) 외부에 위치한 영역을 경계(721)에 포함시킬 수 있다.
영역 블러링부(630)는 컬러 영상(710)에서 경계(721) 이외의 영역을 블러링하여 오브젝트를 제외한 나머지 영역이 블러링된 컬러 영상(730)을 출력할 수 있다.
도 8은 일실시예에 따른 영상 처리 장치의 구조를 도시한 도면이다.
카메라가 오브젝트의 이동에 따라 연속적으로 컬러 영상과 깊이 영상을 촬영한 경우, 도 8의 영상 처리 장치(800)는 깊이 영상 간의 모션 정보를 사용하여 오브젝트를 식별할 수 있다. 그리고 영상 처리 장치(800)은 컬러 영상에서 오브젝트를 제외한 영역을 블러링하여 오브젝트에 초점을 맞출 수 있다.
도 8을 참고하면, 영상 처리 장치(100)는 움직임 정보 결정부(810), 영역 설정부(820) 및 영역 블러링부(830)를 포함한다.
움직임 정보 결정부(810)는 미리 설정된 시간 동안 연속적으로 획득한 깊이 영상들 간의 움직임 정보를 결정할 수 있다. 구체적으로 움직임 정보 결정부(810)는 연속적으로 획득한 깊이 영상들을 비교하여 깊이 값이 변경된 영역을 식별할 수 있다. 이때, 움직임 정보 결정부(810)는 깊이 영상 각각에서 식별한 영역의 위치와 깊이 영상 각각을 획득한 시간을 사용하여 움직임 정보를 결정할 수 있다. 예를 들어, 제1 시간에 획득한 제1 깊이 정보와 제1 시간에서 일정 시간이 경과한 제2 시간에 획득한 제2 깊이 정보 간에 깊이 값이 변경된 제1 영역이 깊이 영상들의 왼쪽에 위치할 수 있다. 또한, 제2 깊이 정보와 제2 시간에서 일정 시간이 경과한 제3 시간에 획득한 제3 깊이 정보 간에 깊이 값이 변경된 제2 영역이 깊이 영상들의 오른쪽에 위치할 수 있다. 이때, 움직임 정보 결정부(810)는 제1 영역과 제2 영역에 오브젝트가 왼쪽에서 오른쪽으로 이동하는 움직임 정보를 결정할 수 있다. 즉, 움직임 정보 결정부(810)가 움직임 정보를 결정하는 영역은 오브젝트에 대응할 수 있다.
영역 설정부(820)는 컬러 영상에서 움직임 정보가 존재하는 영역을 포커스 영역으로 설정할 수 있다. 구체적으로 영역 설정부(820)는 컬러 영상에서 깊이 영상의 깊이 값이 변경된 영역에 대응하는 영역을 식별하고, 식별한 영역을 포커스 영역으로 설정할 수 있다. 즉, 영역 설정부(820)는 깊이 영상을 사용하여 연속적으로 획득한 컬러 영상에서 움직이는 오브젝트를 식별하고, 오브젝트를 포커스 영역으로 설정할 수 있다.
영역 블러링부(830)는 컬러 영상에서 영역 설정부(820)가 포커스 영역으로 설정한 영역 이외의 영역을 블러링할 수 있다. 구체적으로 영역 블러링부(830)는 컬러 영상에서 오브젝트를 제외한 나머지 영역을 블러링 처리할 수 있다.
도 9는 일실시예에 따른 영상 처리 장치가 움직임 정보를 이용하여 오브젝트를 제외한 영역을 블러링하는 과정의 일례이다.
도 9는 영상 처리 장치(600)가 미리 설정된 시간 동안 연속적으로 획득한 깊이 영상들 간의 움직임 정보를 사용하여 오브젝트의 영역을 식별하고, 오브젝트를 제외한 영역을 블러링함으로써, 오브젝트에 초점을 맞추는 실시예이다.
먼저, 움직임 정보 결정부(810)는 미리 설정된 시간 동안 연속적으로 획득한 깊이 영상들 간의 움직임 정보를 결정할 수 있다.
예를 들어 가장 먼저 획득한 깊이 영상(910)에 포함된 오브젝트(911)의 위치 및 형태와 가장 마지막에 획득한 깊이 영상(920)에 포함된 오브젝트(921)의 위치 및 형태를 다를 수 있다. 이때, 움직임 정보 결정부(810)는 오브젝트(911), 및 오브젝트(921)의 움직임 정보를 결정할 수 있다.
다음으로 영역 설정부(820)는 컬러 영상(930)에서 움직임 정보가 존재하는 영역(931)을 포커스 영역으로 설정할 수 있다. 구체적으로 영역 설정부(820)는 컬러 영상(930)에서 오브젝트(911) 및 오브젝트(921)에 대응하는 영역(931)을 식별하고, 식별한 영역을 포커스 영역으로 설정할 수 있다.
마지막으로 영역 블러링부(630)는 컬러 영상(930)에서 영역(931) 이외의 영역을 블러링하여 오브젝트를 제외한 나머지 영역이 블러링된 컬러 영상(940)을 출력할 수 있다.
도 10은 일실시예에 따른 영상 처리 장치의 구조를 도시한 도면이다.
카메라가 포커스 영역에 오브젝트가 위치하도록 컬러 영상과 깊이 영상을 촬영한 경우, 도 10은 영상 처리 장치(1000)가 깊이 영상을 사용하여 오브젝트의 움직임 정보를 추적함으로써, 변경된 오브젝트의 영역을 식별하고, 오브젝트를 제외한 영역을 블러링하여 오브젝트에 초점을 맞추는 실시예이다.
도 10을 참고하면, 영상 처리 장치(100)는 오브젝트 식별부(1010), 영역 조절부(1020) 및 영역 블러링부(1030)를 포함한다.
오브젝트 식별부(1010)는 컬러 영상의 포커스 영역에 포함된 오브젝트를 식별할 수 있다.
영역 조절부(1020)는 오브젝트 식별부(1010)가 식별한 오브젝트의 움직임 정보를 이용하여 오브젝트 영역을 조절할 수 있다. 예를 들어 오브젝트의 위치가 카메라에서 멀어지는 경우, 오브젝트의 깊이 정보가 증가할 수 있다. 이때, 영역 조절부(1020)는 증가한 오브젝트의 깊이 정보에 따라 오브젝트 영역의 크기를 축소할 수 있다. 또한, 오브젝트의 위치가 카메라에서 접근하는 경우, 오브젝트의 깊이 정보가 감소할 수 있다. 이때, 영역 조절부(1020)는 증가한 오브젝트의 깊이 정보에 따라 오브젝트 영역의 크기를 증가할 수 있다.
영역 블러링부(1030)는 컬러 영상에서 영역 조절부(1020)가 조절한 오브젝트 영역 이외의 영역을 블러링할 수 있다.
도 11은 일실시예에 따른 영상 처리 장치가 오브젝트의 위치 변화에 대응하여 오브젝트를 제외한 영역을 블러링하는 과정의 일례이다.
도 11은 영상 처리 장치(600)가 깊이 영상을 사용하여 오브젝트의 움직임 정보를 추적함으로써, 변경된 오브젝트의 영역을 식별하고, 오브젝트를 제외한 영역을 블러링하여 오브젝트에 초점을 맞추는 실시예이다.
먼저, 오브젝트 식별부(1010)는 컬러 영상(1110)의 포커스 영역(1111)에 포함된 오브젝트(1112)를 식별할 수 있다.
다음으로 영역 조절부(1020)는 오브젝트(1112)의 움직임 정보를 이용하여 오브젝트 영역의 크기를 조절할 수 있다.
예를 들어, 오브젝트의 위치가 카메라에서 접근하는 경우, 오브젝트의 깊이 정보가 감소할 수 있다. 이때, 영역 조절부(1020)는 증가한 오브젝트의 깊이 정보에 따라 오브젝트 영역의 크기를 증가시킴으로써, 카메라에 접근한 오브젝트를 촬영한 컬러 영상(1120)에 포함된 오브젝트(1112)와 오브젝트 영역이 대응되도록 할 수 있다.
또한, 오브젝트의 위치가 카메라에서 멀어지는 경우, 오브젝트의 깊이 정보가 증가할 수 있다. 이때, 영역 조절부(1020)는 증가한 오브젝트의 깊이 정보에 따라 오브젝트 영역의 크기를 축소시킴으로써, 카메라에서 멀어진 오브젝트를 촬영한 컬러 영상(1130)에 포함된 오브젝트(1112)와 오브젝트 영역이 대응되도록 할 수 있다.
마지막으로 영역 블러링부(1030)는 컬러 영상에서 영역 조절부(1020)가 조절한 오브젝트 영역 이외의 영역을 블러링할 수 있다. 이때, 영역 조절부(1020)가 조절한 오브젝트 영역은 오브젝트(1112)의 이동에 따라 컬러 영상에서 변화한 오브젝트(1112)의 크기에 대응하므로 컬러 영상에서 오브젝트가 아닌 부분만을 블러링할 수 있다.
도 12는 일실시예에 따른 영상 처리 방법을 도시한 도면이다.
단계(1210)에서 영역 판단부(110)는 깊이 영상을 이용하여 컬러 영상에서 포그라운드 영역과 백그라운드 영역을 판단할 수 있다. 구체적으로 영역 판단부(110)는 깊이 영상의 깊이값과 관련된 깊이 히스토그램을 이용하여 컬러 영상에서 포그라운드 영역과 백그라운드 영역을 판단할 수 있다.
단계(1220)에서 컬러 보정부(120)는 단계(1210)에서 판단한 포그라운드 영역과 백그라운드 영역 각각에 대해 컬러를 보정할 수 있다.
이때, 컬러 보정부(120)는 포그라운드 영역과 백그라운드 영역에 히스토그램 균등화(Histogram equalization) 및 화이트밸런스(White balance) 조정을 적용할 수 있다. 그리고, 컬러 보정부(120)는 포그라운드 영역과 백그라운드 영역에 대해 대비(contrast), 채도(saturation) 및 색상(hue) 중 적어도 하나를 다르게 적용하여 컬러를 보정할 수 있다.
도 13은 일실시예에 따라 포커스 영역을 이용하여 오브젝트를 제외한 영역을 블러링하는 영상 처리 방법을 도시한 도면이다.
단계(1310)에서 영상 획득부(610)는 포커스 영역에 오브젝트가 배치된 컬러 영상과 깊이 영상을 획득할 수 있다. 예를 들어 카메라는 포커스 영역에 오브젝트가 위치하도록 컬러 영상과 깊이 영상을 촬영하고, 영상 획득부(610)는 카메라로부터 포커스 영역에 오브젝트가 위치한 컬러 영상과 깊이 영상을 수신할 수 있다.
단계(1320)에서 경계 추출부(620)는 단계(1310)에서 획득한 깊이 영상에서 오브젝트의 경계를 추출할 수 있다. 구체적으로 경계 추출부(620)는 포커스 영역에 배치된 오브젝트의 깊이값을 이용하여 오브젝트와 다른 영역 간의 경계를 추출할 수 있다.
단계(1330)에서 영역 블러링부(630)는 컬러 영상 중 단계(1320)에서 추출한 깊이 영상의 경계 이외의 영역을 블러링할 수 있다. 구체적으로 영역 블러링부(630)는 컬러 영상에서 오브젝트를 제외한 나머지 영역을 블러링 처리할 수 있다.
도 14는 일실시예에 따라 움직임 정보를 이용하여 오브젝트를 제외한 영역을 블러링하는 영상 처리 방법을 도시한 도면이다.
단계(1410)에서 움직임 정보 결정부(810)는 미리 설정된 시간 동안 연속적으로 획득한 깊이 영상들 간의 움직임 정보를 결정할 수 있다. 구체적으로 움직임 정보 결정부(810)는 연속적으로 획득한 깊이 영상들을 비교하여 깊이 값이 변경된 영역을 식별할 수 있다.
단계(1420)에서 영역 설정부(820)는 컬러 영상에서 단계(1410)에서 결정한 움직임 정보가 존재하는 영역을 포커스 영역으로 설정할 수 있다. 구체적으로 영역 설정부(820)는 컬러 영상에서 깊이 영상의 깊이 값이 변경된 영역에 대응하는 영역을 식별하고, 식별한 영역을 포커스 영역으로 설정할 수 있다.
단계(1430)에서 영역 블러링부(830)는 컬러 영상 중 단계(1410)에서 포커스 영역으로 설정한 영역 이외의 영역을 블러링할 수 있다. 구체적으로 영역 블러링부(830)는 컬러 영상에서 오브젝트를 제외한 나머지 영역을 블러링 처리할 수 있다.
도 15는 일실시예에 따라 오브젝트의 위치 변화에 대응하여 오브젝트를 제외한 영역을 블러링하는 영상 처리 방법을 도시한 도면이다.
단계(1510)에서 오브젝트 식별부(1010)는 컬러 영상의 포커스 영역에 포함된 오브젝트를 식별할 수 있다.
단계(1510)에서 영역 조절부(1020)는 단계(1520)에서 식별한 오브젝트의 움직임 정보를 이용하여 오브젝트 영역을 조절할 수 있다. 예를 들어 오브젝트의 위치 이동에 따라 오브젝트의 깊이 정보가 증가하는 경우, 영역 조절부(1020)는 증가한 오브젝트의 깊이 정보에 따라 오브젝트 영역의 크기를 축소할 수 있다. 또한, 오브젝트의 위치 이동에 따라 오브젝트의 깊이 정보가 감소하는 경우, 영역 조절부(1020)는 증가한 오브젝트의 깊이 정보에 따라 오브젝트 영역의 크기를 증가할 수 있다.
단계(1530)에서 영역 블러링부(1030)는 컬러 영상 중 단계(1520)에서 조절한 오브젝트 영역 이외의 영역을 블러링할 수 있다.
영역 블러링부(1030)는 컬러 영상에서 영역 조절부(1020)가 조절한 오브젝트 영역 이외의 영역을 블러링할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
　
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 영상 처리 장치
110: 영역 판단부
120: 컬러 보정부

Claims (35)

  1. 깊이 영상을 이용하여 컬러 영상에서 포그라운드 영역과 백그라운드 영역을 판단하는 영역 판단부; 및
    상기 포그라운드 영역과 백그라운드 영역 각각에 대해 컬러를 보정하는 컬러 보정부
    를 포함하고,
    상기 컬러 보정부는,
    상기 포그라운드 영역에 히스토그램 균등화를 적용하지 않고, 상기 백그라운드 영역에 히스토그램 균등화를 적용하며, 히스토그램 균등화를 적용하지 않은 포그라운드 영역에서 추출한 화이트밸런스를 이용하여, 히스토그램 균등화가 적용된 백그라운드 영역의 왜곡된 컬러를 보정하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 영역 판단부는,
    상기 깊이 영상의 깊이값과 관련된 깊이 히스토그램을 이용하여 컬러 영상에서 포그라운드 영역과 백그라운드 영역을 판단하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 영역 판단부는,
    상기 컬러 영상에 인물이 포함된 경우, 상기 깊이 영상에서 인물의 깊이값에 가장 근접한 깊이값을 가지는 영역을 포그라운드 영역으로 판단하는 영상 처리 장치.
  4. 제1항에 있어서,
    상기 영역 판단부는,
    상기 컬러 영상에 포함된 인물의 얼굴을 인식하고, 상기 깊이 영상에서 얼굴의 깊이값에 가장 근접한 깊이값을 가지는 영역을 포그라운드 영역으로 판단하는 영상 처리 장치.
  5. 제1항에 있어서,
    상기 컬러 보정부는,
    히스토그램 균등화 및 화이트밸런스 조정을 상기 포그라운드 영역과 백그라운드 영역에 적용하는 영상 처리 장치.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 컬러 보정부는,
    상기 포그라운드 영역과 백그라운드 영역에 대해 대비(contrast), 채도(saturation) 및 색상(hue) 중 적어도 하나를 다르게 적용하여 컬러를 보정하는 영상 처리 장치.
  9. 제8항에 있어서,
    상기 컬러 보정부는,
    포그라운드 영역의 대비를 증가시키고, 백그라운드 영역의 대비를 감소시키는 영상 처리 장치.
  10. 제8항에 있어서,
    상기 컬러 보정부는,
    포그라운드 영역의 채도를 유지하고, 백그라운드 영역의 채도를 변경하는 영상 처리 장치.
  11. 제8항에 있어서,
    상기 컬러 보정부는,
    채도가 변경되지 않은 포그라운드 영역의 색상을 기준으로 백그라운드 영역의 색상을 보정하는 영상 처리 장치.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 깊이 영상을 이용하여 컬러 영상에서 포그라운드 영역과 백그라운드 영역을 판단하는 단계; 및
    상기 포그라운드 영역과 백그라운드 영역 각각에 대해 컬러를 보정하는 단계
    를 포함하고,
    상기 컬러를 보정하는 단계는,
    상기 포그라운드 영역에 히스토그램 균등화를 적용하지 않고, 상기 백그라운드 영역에 히스토그램 균등화를 적용하며, 히스토그램 균등화를 적용하지 않은 포그라운드 영역에서 추출한 화이트밸런스를 이용하여, 히스토그램 균등화가 적용된 백그라운드 영역의 왜곡된 컬러를 보정하는 영상 처리 방법.
  19. 제18항에 있어서,
    상기 영역을 판단하는 단계는,
    상기 깊이 영상의 깊이값과 관련된 깊이 히스토그램을 이용하여 컬러 영상에서 포그라운드 영역과 백그라운드 영역을 판단하는 영상 처리 방법.
  20. 제18항에 있어서,
    상기 영역을 판단하는 단계는,
    상기 컬러 영상에 인물이 포함된 경우, 상기 깊이 영상에서 인물의 깊이값에 가장 근접한 깊이값을 가지는 영역을 포그라운드 영역으로 판단하는 영상 처리 방법.
  21. 제18항에 있어서,
    상기 영역을 판단하는 단계는,
    상기 컬러 영상에 포함된 인물의 얼굴을 인식하고, 상기 깊이 영상에서 얼굴의 깊이값에 가장 근접한 깊이값을 가지는 영역을 포그라운드 영역으로 판단하는 영상 처리 방법.
  22. 제18항에 있어서,
    상기 컬러를 보정하는 단계는,
    히스토그램 균등화 및 화이트밸런스 조정을 상기 포그라운드 영역과 백그라운드 영역에 적용하는 영상 처리 방법.
  23. 삭제
  24. 삭제
  25. 제18항에 있어서,
    상기 컬러를 보정하는 단계는,
    상기 포그라운드 영역과 백그라운드 영역에 대해 대비(contrast), 채도(saturation) 및 색상(hue) 중 적어도 하나를 다르게 적용하여 컬러를 보정하는 영상 처리 방법.
  26. 제25항에 있어서,
    상기 컬러를 보정하는 단계는,
    포그라운드 영역의 대비를 증가시키고, 백그라운드 영역의 대비를 감소시키는 영상 처리 방법.
  27. 제25항에 있어서,
    상기 컬러를 보정하는 단계는,
    포그라운드 영역의 채도를 유지하고, 백그라운드 영역의 채도를 변경하는 영상 처리 방법.
  28. 제25항에 있어서,
    상기 컬러를 보정하는 단계는,
    채도가 변경되지 않은 포그라운드 영역의 색상을 기준으로 백그라운드 영역의 색상을 보정하는 영상 처리 방법.
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 제18항 내지 제22항, 제25항 내지 제28항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
KR1020120104486A 2012-09-20 2012-09-20 깊이 영상을 사용한 컬러 영상 처리 장치 및 방법 KR101901184B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120104486A KR101901184B1 (ko) 2012-09-20 2012-09-20 깊이 영상을 사용한 컬러 영상 처리 장치 및 방법
US14/012,219 US9542728B2 (en) 2012-09-20 2013-08-28 Apparatus and method for processing color image using depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120104486A KR101901184B1 (ko) 2012-09-20 2012-09-20 깊이 영상을 사용한 컬러 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140038139A KR20140038139A (ko) 2014-03-28
KR101901184B1 true KR101901184B1 (ko) 2018-09-21

Family

ID=50274514

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120104486A KR101901184B1 (ko) 2012-09-20 2012-09-20 깊이 영상을 사용한 컬러 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US9542728B2 (ko)
KR (1) KR101901184B1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6173156B2 (ja) * 2013-10-02 2017-08-02 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
JP2017050830A (ja) * 2015-09-04 2017-03-09 パナソニックＩｐマネジメント株式会社 照明装置、照明システム、及びプログラム
CN106612393B (zh) * 2015-10-22 2019-10-15 努比亚技术有限公司 一种图像处理方法和装置、以及移动终端
KR101733125B1 (ko) * 2015-11-18 2017-05-08 (주)케이아이에스 배경스크린이 필요 없는 크로마키 영상 합성 방법
US10269098B2 (en) * 2016-11-01 2019-04-23 Chun Ming Tsang Systems and methods for removing haze in digital photos
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) * 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
US10979687B2 (en) 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
WO2018214067A1 (en) * 2017-05-24 2018-11-29 SZ DJI Technology Co., Ltd. Methods and systems for processing an image
CN107610046A (zh) * 2017-10-24 2018-01-19 上海闻泰电子科技有限公司 背景虚化方法、装置及***
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
KR102387429B1 (ko) 2017-12-18 2022-04-19 삼성디스플레이 주식회사 저계조 단색 영상 보상을 수행하는 표시 장치, 및 표시 장치의 구동 방법
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
JP7421273B2 (ja) * 2019-04-25 2024-01-24 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
JP2020204856A (ja) * 2019-06-17 2020-12-24 株式会社バンダイナムコアミューズメント 画像生成システム及びプログラム
WO2021040075A1 (ko) * 2019-08-27 2021-03-04 엘지전자 주식회사 영상표시장치 및 이의 영상처리방법
KR102347718B1 (ko) * 2020-11-24 2022-01-06 주식회사 아이닉스 컬러 필터링을 적용한 영상 처리 시스템 및 그 처리 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100829581B1 (ko) * 2006-11-28 2008-05-14 삼성전자주식회사 영상 처리 방법, 기록매체 및 장치
US20080260245A1 (en) * 2007-03-16 2008-10-23 Nikon Corporation Image processing apparatus, imaging apparatus and recording medium storing image processing program
US20120076361A1 (en) * 2009-06-03 2012-03-29 Hironobu Fujiyoshi Object detection device

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996005573A1 (en) * 1994-08-08 1996-02-22 Philips Electronics N.V. Image-processing system for handling depth information
US7551797B2 (en) * 2004-08-05 2009-06-23 Canon Kabushiki Kaisha White balance adjustment
KR100617659B1 (ko) 2004-12-06 2006-08-28 엘지전자 주식회사 디지털 카메라 기기 및 아웃포커싱 처리 방법
FR2888486B1 (fr) 2005-07-12 2007-10-19 Ekono Sarl Ustensile de cuisson comportant un recipient forme par superposition d'aluminium et d'acier inoxydable et un fond encastre dans ledit recipient
KR100748719B1 (ko) 2005-07-14 2007-08-13 연세대학교 산학협력단 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법
EP2041983B1 (en) 2006-07-17 2010-12-15 Thomson Licensing Method and apparatus for encoding video color enhancement data, and method and apparatus for decoding video color enhancement data
KR100931311B1 (ko) 2006-12-04 2009-12-11 한국전자통신연구원 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
JP5021338B2 (ja) * 2007-03-02 2012-09-05 富士フイルム株式会社 ホワイトバランス補正装置および方法
KR101468267B1 (ko) 2008-10-02 2014-12-15 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
US8254679B2 (en) * 2008-10-13 2012-08-28 Xerox Corporation Content-based image harmonization
TWI542190B (zh) 2008-11-04 2016-07-11 皇家飛利浦電子股份有限公司 編碼三維影像信號的方法及系統、經編碼之三維影像信號、解碼三維影像信號的方法及系統
KR101502598B1 (ko) 2008-11-12 2015-03-16 삼성전자주식회사 깊이감 인지 향상을 위한 영상 처리 장치 및 방법
JP5187241B2 (ja) * 2009-02-16 2013-04-24 株式会社リコー 撮像装置及び撮像方法
US8819622B2 (en) 2009-09-25 2014-08-26 Advanced Micro Devices, Inc. Adding signed 8/16/32-bit integers to 64-bit integers
KR20110047814A (ko) 2009-10-30 2011-05-09 한국전자통신연구원 동영상 시스템에서 동영상 데이터 분할 장치 및 방법
KR101636537B1 (ko) * 2009-11-12 2016-07-06 삼성전자주식회사 깊이감 인지 향상을 위한 영상 처리 장치 및 방법
KR101072945B1 (ko) 2009-11-17 2011-10-17 한국과학기술원 깊이 값 측정을 이용한 플래시 영상 색상 보정 장치 및 그 방법
KR20110060763A (ko) 2009-11-30 2011-06-08 한국전자통신연구원 3차원 비디오 서비스 제공 장치 및 방법
US8823745B2 (en) * 2011-06-02 2014-09-02 Yoostar Entertainment Group, Inc. Image processing based on depth information and color data of a scene
JP5950756B2 (ja) * 2012-08-21 2016-07-13 キヤノン株式会社 画像処理装置および画像処理方法
US9251574B2 (en) * 2013-12-17 2016-02-02 Adobe Systems Incorporated Image compensation value computation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100829581B1 (ko) * 2006-11-28 2008-05-14 삼성전자주식회사 영상 처리 방법, 기록매체 및 장치
US20080260245A1 (en) * 2007-03-16 2008-10-23 Nikon Corporation Image processing apparatus, imaging apparatus and recording medium storing image processing program
US20120076361A1 (en) * 2009-06-03 2012-03-29 Hironobu Fujiyoshi Object detection device

Also Published As

Publication number Publication date
KR20140038139A (ko) 2014-03-28
US9542728B2 (en) 2017-01-10
US20140079288A1 (en) 2014-03-20

Similar Documents

Publication Publication Date Title
KR101901184B1 (ko) 깊이 영상을 사용한 컬러 영상 처리 장치 및 방법
CN108122208B (zh) 用于对对象分割的前景掩模校正的图像处理设备和方法
US9118846B2 (en) Apparatus for generating an image with defocused background and method thereof
US9947077B2 (en) Video object tracking in traffic monitoring
US10621729B2 (en) Adaptive focus sweep techniques for foreground/background separation
US9036863B2 (en) Resuming tracking after losing target
US8488896B2 (en) Image processing apparatus and image processing method
KR101811718B1 (ko) 영상 처리 방법 및 장치
WO2017080237A1 (zh) 相机成像方法及相机装置
KR101929494B1 (ko) 영상 처리 방법 및 장치
KR102049080B1 (ko) 영상 처리 장치 및 방법
US20150213611A1 (en) Image processing apparatus that identifies image area, and image processing method
CN110191287B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
KR102069269B1 (ko) 영상 안정화 장치 및 방법
US9762773B2 (en) Image processing apparatus and method for increasing sharpness of images
US9258492B2 (en) Image processing apparatus, image pickup apparatus including image processing apparatus, image processing method, and storage medium in which program is stored for acquiring and processing images taken at different focus positions
US9652822B2 (en) Image correcting apparatus, image correcting method and computer readable recording medium recording program thereon
KR102315471B1 (ko) 영상 처리 방법과 장치
KR101651889B1 (ko) 극저조도 영상의 화질 개선 장치 및 방법
JP2015207090A (ja) 画像処理装置、及びその制御方法
KR102156410B1 (ko) 오브젝트 움직임을 고려한 영상 처리 장치 및 방법
US11115582B2 (en) Imaging control apparatus, imaging apparatus, and recording medium
Kumar et al. Resolving focal plane ambiguity in depth map creation from defocus blur using chromatic aberration
KR102003671B1 (ko) 영상 처리 방법 및 장치
KR101893142B1 (ko) 객체 영역 추출 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant