KR20140074238A - 이미지들 간의 색상 전환 방법 및 장치 - Google Patents
이미지들 간의 색상 전환 방법 및 장치 Download PDFInfo
- Publication number
- KR20140074238A KR20140074238A KR1020130151722A KR20130151722A KR20140074238A KR 20140074238 A KR20140074238 A KR 20140074238A KR 1020130151722 A KR1020130151722 A KR 1020130151722A KR 20130151722 A KR20130151722 A KR 20130151722A KR 20140074238 A KR20140074238 A KR 20140074238A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- color
- images
- compensated
- map
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000006243 chemical reaction Methods 0.000 claims description 33
- 238000013507 mapping Methods 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims 1
- 238000013144 data compression Methods 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 abstract 1
- 230000003247 decreasing effect Effects 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 19
- 239000003086 colorant Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 206010019233 Headaches Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
픽셀 데이터에 의해 제1 이미지 및 제2 이미지와 같은 적어도 두 개의 이미지들 간의 색상 차를 보상하기 위해 이미지들 간 색상 전환 방법 및 장치가 추천되고, 이미지들의 대응 특징점에 대해 색상 맵 및 기하학적 맵은 상기 기하학적 맵 및 상기 색상 맵을 제1 이미지에 적용함으로써 제1 이미지를 보상하기 위해 계산되고, 결과적으로 보상된 제1 이미지를 제2 이미지와 비교함으로써 보상이 실패한 영역을 검출하기 위한 보상된 제1 이미지를 생성하여, 보상이 실패했던 영역을 제외하고 색상 전환을 수행한다. 이 방법은 진행중에 수행될 수 있고, 기하학적 및 색상적으로 상이한 이미지들 간의 색상 차를 균등화할 수 있기에, 예를 들어, 데이터 전송, 데이터 압축 또는 3D 애플리케이션에서의 정확한 시차 추정뿐만 아니라 3D 객체의 질감의 향상된 색상 코히런스를 위한 비트레이트를 결과적으로 감소시키는데 유용하다.
Description
본 발명은, 예를 들어, 두 카메라의 이미지들이 기하학적으로 및 색상적으로 약간 상이한 이미지들을 제공하는 경우에, 이미지들 간의 색상 전환을 위한 방법 및 장치에 관한 것이다.
3D 비디오 콘텐츠는 종종 둘 이상의 캡쳐된 2D 비디오로부터 제작되기 때문에, 스테레오 또는 3D 재생을 위한 비디오 프로세싱에서의 하나의 이슈는 동일한 장면의 둘 이상의 뷰(view)들 간의 색상 차이이다. 이러한 차이는 예를 들면, 물리적 광학 효과가 원인이거나 또는 예를 들어, 각각의 카메라가 그것의 렌즈, 센서 및 다른 특정 동작을 갖는 것과 같이 완전히 동일하지는 않은 카메라가 원인일 수 있다. 특히, 3D 재생의 경우, 두 화상이 약간 상이한 색상을 갖는 것은 효과를 방해하여 시청자의 두통을 유발시킬 수 있다.
또한, 색상 차의 보상이 예를 들어, 필요한 비트레이트를 감소시키고, 보다 정확한 시차 추정(disparity estimation)을 허용하여, 뷰 보간(view interpolation) 또는 숨겨진 객체의 검출을 위해 3D 정보 또는 3D 정보를 이용한 2D 이미지를 생성하거나 또는 향상하기 때문에, 스테레오 이미지의 교정된 색상을 원하는 몇몇 기술적 양태들이 있다.
입력 이미지들 간의 색상 차를 보상하는 공지된 방법은 색상 맵핑(mapping)과 색상 전환의 두 개의 그룹으로 나눌 수 있다. 일반적으로, 두 개의 이미지가 프로세싱되며, 목표는 한 이미지의 색상들을 동일 장면의 다른 이미지의 색상들로 변환하는 것을 허용하는 색상 변환을 기술하는 것이다.
색상 맵핑에서, 입력 이미지들 간의 기하학적 대응(correspondence) - 소위 특징 대응 - 이 사용가능하다고 가정한다. 특징 대응에 대한 공지된 방법은 크기 불변 특징 변환(Scale Invariant Feature Transform; 소위 SIFT)이다. 이것은 입력 이미지들 내의 가우시안 차(Difference of Gaussian; 소위 DoG)에 기초한 디스크립터를 이용하여 대응 특징점을 검출한다. 기하학적 대응은, 예를 들면, 하늘, 인공 표면, 단일 색상 이미지 등의 낮은 질감의 이미지 또는 이미지의 일부에서는 종종 사용할 수 없다. 색상 전환에서는 기하학적 대응이 사용되지 않고 이미지들이 텍스처링될 필요가 없다. 두 개의 입력 이미지들이 동일한 의미의(semantic) 장면을 보여주는게 아니라 단지 의미적으로 가깝기 때문에, 정확한 기하학적 대응이 의미 없는 경우가 있다. 공지된 색상 전환 알고리즘에 따라, 1차 및 2차 이미지 신호 스태틱(static)들이 기준 이미지로부터 대응 목표 이미지로 전환된다. 색상 채널들을 개별적으로 프로세싱할 수 있도록, 경험적인 비-상관 색 공간이 사용된다.
이는, 공지된 색상 맵핑 알고리즘 적용시, 이미지의 일부분에서의 이미지 콘텐츠가 SIFT 알고리즘의 선택 기준에 대응하지 않는다면, 이미지의 이 부분으로부터의 색상은 활용되지 않을 것임을 의미한다. 이는, 예를 들면, 이미지의 낮은 질감 부분에서의 경우이다.
또한, 동일한 의미의 장면을 보여주는 이미지들에 색상 전환 방법을 적용시, 예를 들면, 다른 이미지와 대응점이 없는 영역에 의해 이미지 통계가 영향을 받을 것이기 때문에, 계산된 색상 변환의 정확도는 이러한 이미지 영역의 존재로 각각 어려움을 겪을 것이다. 이는, 좌측 이미지의 좌측 경계 부분은 우측 이미지에서 보이지 않을 수 있고 반대의 경우도 마찬가지인 스테레오 이미지에 대한 경우 또는 예이다. 다른 예는 카메라 모션(motion)이 이동하는 유형인 모션 픽쳐 장면(motion picture scene)으로부터의 이미지들이다. 이제, 각각의 이미지에서, 장면의 어떤 작은 부분은 더 이상 보이지 않고 전에는 보이지 않았던 장면의 다른 작은 부분은 보이게 된다.
본 발명의 일 양태는 적어도 두 이미지들 간의 색상 차를 보상하는 색상 전환을 제공하는 것으로, 한 이미지로부터 다른 이미지로의 크로핑(cropping)이 제공되더라도, 시차(parallax) 효과에 의해 커버되거나 커버되지 않은 이미지 영역들이 존재하거나 또는 이미지 영역들이 움직이는 객체나 이동하는 카메라에 의해 커버되거나 커버되지 않는다.
이 문제는 독립 청구항들에 개시된 방법 및 장치에 의해 해결된다. 본 발명의 유익한 부가 실시예들은 각각의 종속 청구항들에 개시된다.
본 발명에 따르면, 한 이미지가 다른 이미지와 기하학적 대응을 갖지 않기에 SIFT 알고리즘의 선택기준에 대응하지 않는 이미지의 일부로부터의 색상들은 활용되지 않을 것이라는 문제로 색상 맵핑은 어려움을 겪고, 두 개의 입력 이미지들이 정확히 동일한 의미의 장면을 보여주지 않고 단지 의미적으로 가깝고 기하학적 대응이 사용가능하지 않은 경우에, 기하학적 대응은 큰 의미가 없다는 문제로 색상 전환은 어려움을 겪는다는 모순은 해결된다.
따라서, 본 발명의 일 양태는, 제1 이미지를 기하학적으로 보상된 제2 이미지에 비교하고, 보상이 실패했던 이미지 영역을 제외하는 동안 색상 전환 방법을 두 이미지에 적용함으로써 기하학적 보상이 실패한 제1 이미지의 영역을 검출하는 것이다. 그것은 즉, 상기 제2 이미지를 기하학적으로 보상된 제1 이미지에 비교하고 기하학적 보상이 실패했던 이미지 영역을 제외하는 동안 두 이미지들에 색상 전환 방법을 적용함으로써 기하학적 보상이 실패한 제2 이미지의 영역을 검출하는 것이 장려된다는 것을 의미한다.
본 발명의 방법에 따라,
- 대응 특징점들의 세트를 제공하고,
- 상기 제1 이미지의 특징점의 색상을 상기 제2 이미지의 대응 특징점의 색상으로 맵핑할 수 있는 색상 맵핑 모델을 계산하고,
- 상기 제1 이미지의 특징점의 이미지 위치를 상기 제2 이미지의 대응 특징점의 이미지 위치로 맵핑할 수 있는 기하학적 맵핑 모델을 계산하고,
- 상기 기하학적 맵핑 모델과 상기 색상 맵핑 모델을 이용해 제1 이미지를 보상하여 보상된 제1 이미지를 생성하고,
- 상기 제2 이미지를 상기 보상된 제1 이미지에 비교함으로써 보상이 실패한 영역을 검출하고,
- 보상이 실패했던 이미지 영역을 제외하고 제1 이미지 및 제2 이미지에 색상 전환 방법을 적용함으로써,
상기 적어도 두 개의 이미지의 크기 불변 특징 변환이 이용된다.
그것은, 한 편으로, 색상 맵핑은 다른 이미지에 기하학적 대응이 없는 이미지의 일부분으로부터의 색상은 활용되지 않을 것이라는 문제로 어려움을 겪고, 다른 한 편으로, 색상 전환은, 두 개의 입력 이미지들이 동일한 의미의 장면을 보여주지 않고 단지 의미적으로 가까운 경우에, 기하학적 대응은 의미가 없다는 문제로 어려움을 겪는다는 모순은, 주 교정 패턴(prime calibration pattern) 없이 진행중에 수행될 수 있는 기하학적 및 색상 전환 단계의 적절한 조합으로써 해결된다는 것을 의미한다.
이 방법은, 제1 이미지의 색상을 제2 이미지의 색상으로 맵핑하는 색상 맵핑 모델을 계산하고, 상기 제1 이미지의 이미지 위치를 상기 제2 이미지 내의 대응 특징점의 이미지 위치에 맵핑하는 기하학적 맵핑 모델을 계산하고,
상기 기하학적 맵핑 및 상기 색상 맵핑 모델을 이용하여 제1 이미지를 보상하여 보상된 이미지를 낳고,
상기 제2 이미지를 상기 보상된 제1 이미지에 비교함으로써 보상이 실패한 영역을 검출하고,
보상이 실패했던 이미지 영역을 제외하고 두 이미지들에 색상 전환 방법을 적용하기 위한
프로세서에 제1 및 제2 이미지를 나타내는 데이터가 적용되는 대응 장치에 의해 구현된다.
본 발명의 추가 실시예에 따라, 보상이 실패한 영역은 상기 제1 이미지를 보상된 제2 이미지에 비교함으로써 검출된다.
본 발명의 장점은 크롭핑, 커버되지 않는 영역, 커버된 영역 및 이동하는 객체에 대해 로버스트(robust)하게 이미지의 모든 부분이 활용된다는 것이다.
원론적으로, 본 발명은 일련의 애플리케이션에 유익한 색상 차 균등화에 적합하다. 예를 들면, 스테레오 비디오 시퀀스가 압축되면, 좌우 이미지간 색상 차의 보상은 결과적으로 비트레이트를 감소시킬 수 있다. 다른 예는 스테레오 시퀀스의 3D 분석이다. 색상 차가 보상되면, 시차 추정은 더 정확해질 수 있다. 또 다른 예는 후반 작업에서 시각 효과를 위한 3D 자산 생성(asset creation)이다. 멀티 뷰(multi-view) 시퀀스의 색상 차가 보상되면, 3D 객체에 대한 추출된 질감은 향상된 색상 코히런스(coherence)를 가질 것이다.
본 발명의 예시적인 실시예들은 첨부 도면을 참조하여 설명된다.
도 1은 적어도 두 개의 이미지들 간의 색상 차를 보상하기 위한 색상 전환 방법 및 제1 실시예를 도시하는 블록도이고,
도 2는 적어도 두 개의 이미지들 간의 색상 차를 보상하기 위한 색상 전환 방법 및 제2 실시예를 도시하는 블록도이다.
도 1은 적어도 두 개의 이미지들 간의 색상 차를 보상하기 위한 색상 전환 방법 및 제1 실시예를 도시하는 블록도이고,
도 2는 적어도 두 개의 이미지들 간의 색상 차를 보상하기 위한 색상 전환 방법 및 제2 실시예를 도시하는 블록도이다.
도면들 전체를 통하여 유사한 번호 및 특성은 유사한 구성요소를 지칭한다.
이제, 도 1을 참조하면, 적어도 두 개의 이미지들 간의 색상 차를 보상하기 위한 색상 전환의 제1 실시예와 같이, 소프트웨어 또는 하드웨어로서 실행될 수 있는 모듈, 회로 또는 디바이스를 포함할 수 있는 방법을 도시하는 흐름도와 유사한 기본 블록이 일반적으로 블록도에 도시되어 있다.
도 1은, 제1 단계에서, 적어도 상기 두 개의 이미지들 간의 색상 차를 보상하기 위해, 제1 이미지(Fi)와 제2 이미지(Si) 간의 색상 전환을 위해 제1 이미지(Fi)와 제2 이미지(Si)로부터 대응 특징점(Corrfeapoi)이 계산되는 것을 도시한다. 예를 들어, 이것은 예를 들어 2012년 11월 12일부터 11월 16일까지 Los Angeles에서 Hasan Sheikh Faridul 등에 의해 "Optimization of Sparse Color Correspondences for Color Mapping, Color and Imaging Conference"에 개시되었고 공지된 바와 같이 소위 SIFT 알고리즘을 적용함으로써 수행될 수 있다. 제2 단계에서, 이득(gain), 오프셋 및 감마(gamma)에 기초한 색상 맵핑 방법 및 사영(projective) 기하학적 맵핑 모델이 상기 대응 특징점(Corrfeapoi)의 계산에 의해 제공된 특징점 대응에 병행하여 적용된다.
이득, 오프셋 및 감마에 기초한 색상 맵핑 방법은 공지되어 있고, Hasan Sheikh Faridul 등에 의해 개시된 바와 같이, 실험적 실시예에 대해 소위 GOG는 대응 특징점으로부터 사용되고 추정된다. GOG는 상기 대응 특징점(Corrfeapoi)의 색상 맵(Cacm)의 계산을 위해 사용되는 바와 같이 Gain, Offset 및 Gamma의 약자를 나타낸다.
공지된 사영 기하학적 맵핑 모델은 상기 대응 특징점(Corrfeapoi)의 기하학적 맵(Cagm)의 계산을 위해 선택된다. 6개의 파라미터들은, 예를 들어, 2000년 9월, 캐나다 뱅쿠버의 이미지 프로세싱에 대한 IEEE 국제 컨퍼런스 중에, Richard J. Radke 등에 의해 "Efficiently Estimating Projective Transformations"에서 공개된 바와 같이, 반복적인 최적화 절차를 이용해 특징점 대응으로부터 추정된다.
도 1에 도시된 제1 실시예에 따라, 제1 이미지(Fi)는 상술된 바와 같이 색상 맵(Cacm)의 계산에 의해 보상된 제1 이미지(CompFi)로 보상된 후에, 제1 이미지(Fi)는 사영 맵핑 모델을 이용해 기하학적으로 맵핑된다. 제2 이미지의 각각의 픽셀에 대해, 제1 이미지 내의 대응 기하학적 위치는 사영 맵핑 모델을 이용해 결정된다. 대응 기하학적 위치는 통상 제1 이미지의 한 픽셀의 위치가 아니라 픽셀들의 정수 위치들 사이의 중간 위치이다. 정수 픽셀 위치들을 설명하기 위해 삼선 보간(trilinear interpolation)이 이용된다. 삼선 보간은 균일 격자(regular grid) 상의 다변수(multivariate) 보간 방법이다. 그것은 픽셀들의 정수 격자의 색상 좌표들을 이용하여, 3개의 정수 픽셀 위치의 로컬 삼각형 내에 중간 위치의 색상 좌표들을 선형적으로 근사(approximate)시킨다. 공지된 삼선 보간에서, 중간 위치의 보간된 색상 좌표들을 제공하는 무게중심 좌표가 단순히 계산된다. 보상 실패 영역(Regcompfail)을 검출하는 다음 단계에서, 보상된 제1 이미지(CompFi)는 보상이 실패한 영역을 위해 분석된다. 이 단계는 제2 이미지(Si) 및 상기 보상된 제1 이미지(CompFi) 간의 픽셀 단위 절대 차(pixel-wise absolute difference)를 계산함으로써, 그리고 보상에 실패한 픽셀들을 검출하기 위해 상기 절대 차에 선정한 임계치를 적용함으로써 수행된다. 또한, 형태학적(morphological) 확대(blowing) 및 축소(shrinking) 연산자가 각각 적용되어 완만한 형태의 보상 실패 이미지 영역을 얻는다. 최종적으로, 예를 들어, 2001년 9월 - 10월에 IEEE Computer Graphics and Application의 Applied Perception의 특별 주제에서 E. Reinhard, M. Ashikhmin, B. Gooch, P. Shirley에 의해 "Color Transfer between Images"의 21장 5페이지 34 내지 41번째 행에서 개시된 바와 같은 색상 전환 방법은, 색상 전환을 위한 계산으로부터 보상 실패의 이미지 영역을 제외하며 사용된다.
따라서, 제1 이미지(Fi)의 픽셀 데이터, 제2 이미지(Si)의 픽셀 데이터 및 상기 보상 실패 영역(Regcompfail)의 검출 결과는, 예를 들어 상기 언급된 바와 같이 색상 전환 모델(Ctm)을 제공하기 위해 색상 전환 방법을 적용함으로써 색상 전환(Coltrans) 블록에서 조합된다. 이미지를 나타내는 상기 이미지의 픽셀 데이터는 일반적으로 이미지 파일로서 공급되어, 이들은 대응 특징점(Corrfeapoi)들을 계산하고 색상 전환 방법을 적용하는데 사용될 수 있다.
본 발명의 제2 실시예는 도 2에 도시되고, 이 방법에 내재하는 원리는 보상 실패 영역(Regcompfail)을 검출하기 위해 보상된 제2 이미지(CompSI)를 생성함으로써 구현될 수 있다. 보상된 제2 이미지(CompSI)는 제1 이미지(Fi) 및 제2 이미지(Si)의 픽셀 데이터로부터 대응 특징점(Corrfeapoi)들을 계산하기 위한 계산 수단 및 상기 대응 특징점(Corrfeapoi)들의 색상 맵(Cacm)의 계산과 기하학적 맵(Cagm)의 계산을 위한 계산 수단에 의해 생성되고, 상기 대응 특징점들은 보상된 제2 이미지(CompSI)를 제공하기 위한 수단에서 보상된 제2 이미지(CompSI)의 데이터를 제공하기 위해 제2 이미지(Si)의 픽셀 데이터와 조합된다. 따라서, 보상된 제2 이미지(CompSI)의 데이터는, 제1 이미지(Fi)의 픽셀 데이터가 또한 적용되는 보상 실패 영역(Regcompfail)을 검출하기 위한 계산 수단에 적용된다.
최종적으로, 예를 들어 두 개의 카메라의 이미지들이 기하학적으로 및 색상적으로 약간 상이한 이미지를 제공함에 따라, 색상 전환(Coltrans) 블록이 제1 이미지(Fi)의 픽셀 데이터와 제2 이미지(Si)의 픽셀 데이터 간에 색상 전환을 위해 보상 실패 영역(Regcompfail)을 검출하기 위한 수단의 출력부에 연결된다. 이후, 보상 실패 영역을 고려함으로써 제1 이미지(Fi) 및 제2 이미지(Si)에 색상 전환 방법을 적용하는 색상 전환 모델(Ctm)이 색상 전환(Coltrans) 블록의 출력부에 제공된다.
2보다 많은 이미지들 - 즉, n 개의 이미지들 - 간의 색상 전환이 수행되는 경우, n-1 개의 제1 이미지들은 상기 언급된 바와 같이 n-1 개의 색상 맵들의 계산으로써 n-1 개의 보상된 이미지로 보상되고, 그 다음에 n-1 개의 제1 이미지들은 n-1 개의 사영 맵핑 모델들을 이용해 기하학적으로 맵핑된다. 마지막 이미지 각각의 픽셀들 각각에 대해, n-1 개의 제1 이미지들 내의 대응 기하학적 위치는 상술한 바와 같이 사영 맵핑 모델 및 삼선 보간을 이용해 결정된다. 보상 실패 영역을 검출하는 다음의 단계에서, 보상된 n-1 개의 제1 이미지들은 기술된 바와 같이 보상 실패 영역을 위해 분석된다. 최종적으로, 상술한 바와 같이, n-1 개의 색상 전환 방법들을 사용하여 n-1 개의 제1 이미지들 각각으로부터 마지막 이미지까지 색상을 전환한다.
수개의 제1 이미지 및 수개의 제2 이미지들의 경우에, 이 방법은 다음 방식으로 수행될 것이다. 먼저, 수개의 제1 이미지들은 - 예를 들면, 이미지들을 함께 패칭(patching)함으로써 - 하나의 새롭고 더 큰 제1 이미지로 조합된다. 그 다음, 수개의 제2 이미지들은 - 예를 들면, 이미지들을 함께 패칭함으로써 - 하나의 새롭고 더 큰 제2 이미지로 조합된다. 이후, 새로운 제1 이미지 및 새로운 제2 이미지에 본 발명의 방법이 적용된다.
유리하게도, 추천된 색상 전환을 따르면, 이미지의 모든 부분들이 활용되고, 그로인해 이 방법은 크롭핑, 커버되지 않은 영역, 커버된 영역 및 움직이는 객체에 대해 로버스트하다. 또한, 색상 교정은 주 교정 패턴없이 수행될 수 있고 진행중에 수행될 수 있다.
도 1 및 도 2에 도시된 바와 같이, 블록도 내의 블록들은 소프트웨어 또는 하드웨어로서 실행될 수 있는 모듈, 회로 또는 디바이스를 포함할 수 있다. 본 발명의 다른 실시예에 따르면, 이미지 프로세서는 상기 설명된 방법 중 하나를 실행하기 위해 제공된다.
본 발명은, 예를 들어, 데이터 전환 또는 데이터 압축을 위해 결과적으로 비트레이트를 감소시키는데 유익한 기학학적 및 색상적으로 상이한 이미지들 간의 색상 차 균등화에 적용할 수 있거나, 또는 3D 애플리케이션에서 정확한 시차 추정뿐만 아니라 3D 객체 질감의 향상된 색상 코히런스에 적용할 수 있다.
본 발명은 본 발명의 두 개의 특정 실시예를 도시하고 기술하지만, 당업자는 본 발명의 형태 및 세부사항에서 상기 및 다양한 다른 변형, 생략 및 추가가 청구범위의 정신 및 범위에 벗어나지 않게 실시될 수 있음을 이해해야 한다.
Claims (10)
- 픽셀 데이터로 표현되는 적어도 두 개의 이미지들 간의 색상 차를 보상하기 위한 이미지들 간의 색상 전환(Coltrans) 방법으로서,
상기 적어도 두 개의 이미지들로부터 대응 특징점(Corrfeapoi)들을 생성하는 단계;
상기 적어도 두 개의 이미지들 중 제1 이미지(Fi) 내의 상기 특징점들의 색상들을 제2 이미지(Si) 내의 상기 대응 특징점들의 색상들로 맵핑할 수 있는 색상 맵(Cacm)을 계산하는 단계;
상기 제1 이미지(Fi) 내의 특징점들의 이미지 위치들을 상기 제2 이미지(Si) 내의 상기 대응 특징점들의 이미지 위치들에 맵핑할 수 있는 기하학적 맵(Cagm)을 계산하는 단계;
상기 기하학적 맵(Cagm) 및 상기 색상 맵(Cacm)을 이용해 상기 제1 이미지(Fi)를 보상하여 결과적으로 보상된 제1 이미지(CompFi)를 생성하거나 또는 상기 기하학적 맵(Cagm) 및 상기 색상 맵(Cacm)을 이용해 상기 제2 이미지(Si)를 보상하여 결과적으로 보상된 제2 이미지(CompSi)를 생성하는 단계;
상기 제2 이미지(Si)를 상기 보상된 제1 이미지(CompFi)에 비교함으로써 보상이 실패한 영역을 검출하거나 또는 상기 제1 이미지(Fi)를 상기 보상된 제2 이미지(CompSi)에 비교함으로써 보상이 실패한 영역을 검출하는 단계; 및
상기 보상이 실패했던 이미지 영역을 제외하고 상기 제1 이미지(Fi) 및 제2 이미지(Si)에 색상 전환(Coltrans) 방법을 적용하는 단계
를 포함하는 것을 특징으로 하는 색상 전환 방법. - 제1항에 있어서,
상기 이미지들의 대응 특징점(Corrfeapoi)들은 적어도 상기 제1 이미지(Fi) 및 상기 제2 이미지(Si)와 같은 상기 입력 이미지들에서 가우시안 차(Difference of Gaussian)에 기초한 크기 불변 특징 변환(Scale Invariant Feature Transform)에 의해 생성되는 방법. - 제1항에 있어서,
상기 색상 맵(Cacm)은 이득(gain), 오프셋(offset) 및 감마(gamma)에 기초하여 대응 특징점(Corrfeapoi)들에 대해 색상 맵핑 방법을 적용함으로써 계산되는 방법. - 제1항에 있어서,
상기 기하학적 맵(Cagm)은 사영 기하학적 맵핑 모델(projective geometric mapping model)의 반복적 최적화 절차에 의해 계산되는 방법. - 제1항에 있어서,
상기 제1 이미지(Fi)는 색상 맵(Cacm)의 계산에 의해 보상된 제1 이미지(CompFi)로 보상되고, 그 다음에, 상기 제1 이미지(Fi)는 사영 맵핑 모델을 이용해 기하학적으로 맵핑되는 방법. - 제1항에 있어서,
상기 제2 이미지(Si)는 색상 맵(Cacm)의 계산에 의해 보상된 제2 이미지(CompSi)로 보상되고, 그 다음에, 상기 제2 이미지(Si)는 사영 맵핑 모델을 이용해 기하학적으로 맵핑되는 방법. - 제1항에 있어서,
상기 보상 실패 영역(Regcompfail)의 검출은 상기 제2 이미지(Si) 및 상기 보상된 제1 이미지(CompFi) 간의 픽셀 단위 절대 차를 계산하거나 또는 상기 제1 이미지(Fi) 및 상기 보상된 제2 이미지(CompSi) 간의 픽셀 단위 절대 차를 계산하고, 보상에 실패한 픽셀들을 검출하기 위해 상기 절대 차들에 선정된 임계치를 적용함으로써 수행되는 방법. - 제1항에 있어서,
색상 전환 모델(Ctm)을 제공하기 위해 상기 보상이 실패했던 영역을 제외하고 상기 제1 이미지(Fi) 및 제2 이미지(Si)에 상기 색상 전환(Coltrans) 방법을 적용되는 방법. - 픽셀 데이터에 의해 나타나는 적어도 두 개의 이미지들 간의 색상 차를 보상하기 위한 이미지들 간의 색상 전환(Coltrans) 장치로서,
제1항 내지 제8항 중 어느 한 항을 따르는 방법들 중 한 방법을 실행하기 위해 이미지 프로세서가 제공되는 장치. - 제9항에 있어서,
상기 적어도 두 개의 이미지들 중 제1 이미지(Fi)의 색상을 제2 이미지(Si)의 색상에 맵핑하기 위해 픽셀 데이터로부터 색상 맵(Cacm)을 계산하고, 상기 제1 이미지(Fi)의 이미지 위치를 상기 제2 이미지(Si) 내의 대응 특징점(Corrfeapoi)의 이미지 위치에 맵핑하기 위해 기하학적 맵(Cagm)을 계산하여, 상기 제2 이미지(Si) 및 상기 보상된 제1 이미지(CompFi) 간의 또는 상기 제1 이미지(Fi) 및 상기 보상된 제2 이미지(CompSi) 간의 픽셀 단위 절대 차를 계산하기 위해 보상된 이미지(CompFi 또는 CompSi)의 픽셀 데이터를 제공하고, 보상 실패 영역(Regcompfail)을 제외하기 위해 상기 절대 차에 선정된 임계치를 적용하여 상기 이미지들 간의 색상 전환(Coltrans)을 형성하기 위한 계산기를 포함하는 장치.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP12306537.7A EP2741502A1 (en) | 2012-12-07 | 2012-12-07 | Method and apparatus for color transfer between images |
| EP12306537.7 | 2012-12-07 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20140074238A true KR20140074238A (ko) | 2014-06-17 |
Family
ID=47522364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130151722A KR20140074238A (ko) | 2012-12-07 | 2013-12-06 | 이미지들 간의 색상 전환 방법 및 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9208549B2 (ko) |
| EP (2) | EP2741502A1 (ko) |
| JP (1) | JP2014116012A (ko) |
| KR (1) | KR20140074238A (ko) |
| CN (1) | CN103871037A (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102281184B1 (ko) * | 2014-11-20 | 2021-07-23 | 삼성전자주식회사 | 영상 보정 방법 및 장치 |
| CN104851115B (zh) * | 2015-05-18 | 2017-09-22 | 成都平行视野科技有限公司 | 一种通过函数拟合计算任意图像颜色映射滤镜的方法 |
| EP3107287A1 (en) * | 2015-06-15 | 2016-12-21 | Thomson Licensing | Methods, systems and apparatus for local and automatic color correction |
| CN107945139B (zh) * | 2017-12-15 | 2020-01-07 | 深圳大学 | 一种图像处理方法、存储介质及智能终端 |
| JP7508932B2 (ja) * | 2020-07-31 | 2024-07-02 | 株式会社リコー | 画像処理装置、画像処理方法、及び画像処理システム |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5224701A (en) | 1975-08-20 | 1977-02-24 | Dainippon Screen Mfg | Method of correcting color of image signal |
| US5883632A (en) * | 1992-05-04 | 1999-03-16 | Hewlett-Packard Company | Coordinating color produced by two devices--using a hue-controlled machine color space, or surface scaling |
| US7317843B2 (en) * | 2004-04-01 | 2008-01-08 | Microsoft Corporation | Luminance correction |
| US7463296B2 (en) * | 2004-04-01 | 2008-12-09 | Microsoft Corporation | Digital cameras with luminance correction |
| US7508545B2 (en) * | 2004-09-27 | 2009-03-24 | Eastman Kodak Company | Color contour detection and correction |
| US7532752B2 (en) * | 2005-12-30 | 2009-05-12 | Microsoft Corporation | Non-photorealistic sketching |
| US7925117B2 (en) * | 2006-06-27 | 2011-04-12 | Honeywell International Inc. | Fusion of sensor data and synthetic data to form an integrated image |
| US7796812B2 (en) * | 2006-10-17 | 2010-09-14 | Greenparrotpictures, Limited | Method for matching color in images |
| JP5124583B2 (ja) | 2006-10-18 | 2013-01-23 | トムソン ライセンシング | 明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置 |
| US7959295B2 (en) | 2007-05-18 | 2011-06-14 | Dolby Laboratories Licensing Corporation | Spectral separation filters for 3D stereoscopic D-cinema presentation |
| US8031202B2 (en) * | 2008-03-11 | 2011-10-04 | Xerox Corporation | Color transfer between images through color palette adaptation |
| CN101820550B (zh) | 2009-02-26 | 2011-11-23 | 华为终端有限公司 | 多视点视频图像校正方法、装置及*** |
| CN101588439B (zh) * | 2009-07-10 | 2011-05-11 | 四川大学 | 一种多视差图偏色校正方法 |
| CN101720047B (zh) * | 2009-11-03 | 2011-12-21 | 上海大学 | 基于颜色分割的多目摄像立体匹配获取深度图像的方法 |
| JP5501084B2 (ja) * | 2010-04-28 | 2014-05-21 | 株式会社日立製作所 | 平面領域検出装置及びステレオカメラシステム |
| US8553045B2 (en) * | 2010-09-24 | 2013-10-08 | Xerox Corporation | System and method for image color transfer based on target concepts |
| US20120133733A1 (en) * | 2010-11-26 | 2012-05-31 | Hidenori Sakaniwa | Three-dimensional video image processing device, three-dimensional display device, three-dimensional video image processing method and receiving device |
| US20120140026A1 (en) | 2010-12-06 | 2012-06-07 | Himax Media Solutions, Inc. | 2D-to-3D COLOR COMPENSATION SYSTEM AND METHOD THEREOF |
| US9661299B2 (en) * | 2011-06-30 | 2017-05-23 | Thomson Licensing | Outlier detection for colour mapping |
| CN102364953A (zh) * | 2011-11-08 | 2012-02-29 | 北京新岸线网络技术有限公司 | 立体图像颜色校正方法及装置 |
| US8976191B1 (en) * | 2014-03-13 | 2015-03-10 | Qualcomm Incorporated | Creating a realistic color for a virtual object in an augmented reality environment |
-
2012
- 2012-12-07 EP EP12306537.7A patent/EP2741502A1/en not_active Withdrawn
-
2013
- 2013-11-18 EP EP13193264.2A patent/EP2741503A1/en not_active Withdrawn
- 2013-12-06 KR KR1020130151722A patent/KR20140074238A/ko not_active Application Discontinuation
- 2013-12-06 JP JP2013253305A patent/JP2014116012A/ja not_active Withdrawn
- 2013-12-06 US US14/099,587 patent/US9208549B2/en not_active Expired - Fee Related
- 2013-12-09 CN CN201310660126.7A patent/CN103871037A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20140161347A1 (en) | 2014-06-12 |
| CN103871037A (zh) | 2014-06-18 |
| US9208549B2 (en) | 2015-12-08 |
| EP2741503A1 (en) | 2014-06-11 |
| EP2741502A1 (en) | 2014-06-11 |
| JP2014116012A (ja) | 2014-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9299152B2 (en) | Systems and methods for image depth map generation | |
| KR101452172B1 (ko) | 깊이―관련 정보를 처리하기 위한 방법, 장치 및 시스템 | |
| KR101518531B1 (ko) | 스테레오스코픽 모션 픽쳐들의 잠재적인 아이스트레인을 측정하기 위한 시스템 및 방법 | |
| RU2431938C2 (ru) | Эффективное кодирование множества видов | |
| JP5153940B2 (ja) | 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法 | |
| CA2726208C (en) | System and method for depth extraction of images with forward and backward depth prediction | |
| US20090207238A1 (en) | Method and apparatus for determining view of stereoscopic image for stereo synchronization | |
| US9661307B1 (en) | Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D | |
| KR20060063558A (ko) | 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법 | |
| US9208549B2 (en) | Method and apparatus for color transfer between images | |
| US20100158482A1 (en) | Method for processing a video data set | |
| JP2004200973A (ja) | 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体 | |
| Zhang et al. | Interactive stereoscopic video conversion | |
| GB2585197A (en) | Method and system for obtaining depth data | |
| KR101103511B1 (ko) | 평면 영상을 입체 영상으로 변환하는 방법 | |
| Akin et al. | Real-time free viewpoint synthesis using three-camera disparity estimation hardware | |
| US9602708B2 (en) | Rectified stereoscopic 3D panoramic picture | |
| US11138795B2 (en) | Method and device for determining a characteristic of a display device | |
| EP3107287A1 (en) | Methods, systems and apparatus for local and automatic color correction | |
| Hu et al. | 3D View Synthesis with Feature-Based Warping | |
| KR20220071935A (ko) | 광학 흐름을 이용한 고해상도 깊이 영상 추정 방법 및 장치 | |
| Cheng et al. | Merging Static and Dynamic Depth Cues with Optical‐Flow Recovery for Creating Stereo Videos | |
| Jin et al. | Cooperatively resolving occlusion between real and virtual in multiple video sequences | |
| Cheng et al. | Research Article Merging Static and Dynamic Depth Cues with Optical-Flow Recovery for Creating Stereo Videos | |
| Hayashi et al. | Generation of a super-resolved stereo video using two synchronized videos with different magnifications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |