KR101134665B1 - 화상 생성 방법, 장치 및 그 프로그램과 프로그램을 기록한 기록매체 - Google Patents

화상 생성 방법, 장치 및 그 프로그램과 프로그램을 기록한 기록매체 Download PDF

Info

Publication number
KR101134665B1
KR101134665B1 KR1020107007425A KR20107007425A KR101134665B1 KR 101134665 B1 KR101134665 B1 KR 101134665B1 KR 1020107007425 A KR1020107007425 A KR 1020107007425A KR 20107007425 A KR20107007425 A KR 20107007425A KR 101134665 B1 KR101134665 B1 KR 101134665B1
Authority
KR
South Korea
Prior art keywords
image
color signal
unit
difference
corresponding point
Prior art date
Application number
KR1020107007425A
Other languages
English (en)
Other versions
KR20100051744A (ko
Inventor
히데아키 기마타
신야 시미즈
가즈토 가미쿠라
요시유키 야시마
Original Assignee
니폰덴신뎅와 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰덴신뎅와 가부시키가이샤 filed Critical 니폰덴신뎅와 가부시키가이샤
Publication of KR20100051744A publication Critical patent/KR20100051744A/ko
Application granted granted Critical
Publication of KR101134665B1 publication Critical patent/KR101134665B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6052—Matching two or more picture signal generators or two or more picture reproducers
    • H04N1/6055—Matching two or more picture signal generators or two or more picture reproducers using test pattern analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Color Image Communication Systems (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

화상(A)의 색신호(X)와 화상(B)의 색신호(X, Y)로부터 화상(A)의 색신호(Y)의 화상 정보를 생성하는 화상 생성 방법. 화상(A)의 색신호(X)의 각 화소 위치와 화상(B)의 색신호(X) 중의 대응점의 유무 및 대응점 위치를 추정하고, 추정된 화상(A) 중의 화소 위치에서의 색신호(Y)에 화상(B)의 대응 위치에서의 색신호(Y)의 화상 정보를 설정하며, 대응점이 없다고 추정된 화상(A) 중의 화소 위치에서의 색신호(Y)를 대응점이 있는 화소에 대해 설정된 색신호(Y)의 화상 정보로부터 작성한다.

Description

화상 생성 방법, 장치 및 그 프로그램과 프로그램을 기록한 기록매체{Image generation method, device, its program and program recorded medium}
본 발명은 복수의 화상으로부터 색신호의 화상 정보를 생성하는 기술에 관한 것이다.
본원은 2007년 10월 15일에 출원된 일본 특원 2007-267541호에 기초하여 우선권을 주장하고, 그 내용을 여기에 원용한다.
도 7은 직선 배열의 다시점 촬상계, 도 8은 평면 배열의 다시점 촬상계, 도 9는 아크형상 배열의 다시점 촬상계, 도 10은 구면 배열의 다시점 촬상계의 카메라 배치예를 도시하는 도면이다.
하나의 장면을 다른 방향에서 촬영하는 다시점 촬상계가 개발되어 있다. 다시점 촬상계에 있어서, 카메라 배치는 도 7에 도시된 바와 같이 직선상에 1차원 배열이거나, 도 8에 도시된 바와 같이 평면상에 2차원 배열이거나, 도 9에 도시된 바와 같이 아크형상으로 배열한 것이나, 도 10에 도시된 바와 같이 구면형상으로 배열한 것 등 다양하다. 이러한 다시점 촬상계를 이용하면, 다면적인 영상 장면을 아카이브하는(하나로 모으는) 것이 가능하게 된다.
또, 다시점으로 촬영된 카메라 영상으로부터 촬영되지 않은 가상 카메라 위치의 화상정보를 생성하는 기술이 있다. 이를 화상 합성 기술이라고 부른다. 화상 합성에서는, 원래의 카메라 영상은 공간 중의 어느 방향에서 촬영한 화상 정보인지를 나타내는 카메라 파라미터를 알 수 있다고 한다.
화상 합성에는 여러가지 방법이 있다. 예를 들면, 안길이 정보를 추정하여 합성하는 방법이 있다. 우선 원래의 카메라 영상 간에 화상 정보의 대응점 탐색을 하여 시차 정보를 구하고, 시차 정보로부터 장면(scene)의 깊이 정보를 추정한다. 그리고, 가상 카메라 위치의 안길이 정보를 추정하여, 대응하는 화상 정보를 원래의 카메라의 화상 정보로부터 작성한다(비특허문헌 1 참조).
또한, 안길이 정보의 추정까지 하지 않고, 원화상의 시차 정보를 이용하여 직접 가상 카메라 위치의 화상 정보를 작성하는 방법도 있다(비특허문헌 2 참조).
혹은, 복수의 카메라 영상으로부터 장면에 존재하는 오브젝트의 3차원 모델 정보를 추정해 두고, 가상 카메라 위치에서의 해당 모델의 투영 화상을 생성하는 방법도 있다(비특허문헌 3 참조).
이러한 촬상계에서는, 통상 Bayer 배열(각 화소에 대한 컬러 필터의 모자이크식 배치 방법)의 화상 신호로 촬영하고, Bayer 배열로부터 RGB신호나 YUV신호(휘도(Y), 색차(U, V))에 디모자이킹한다.
디모자이킹이란, Bayer 배열로 촬영된 화소 위치에서의 R 또는 G 또는 B신호로부터 각 화소 위치에 RGB의 3색 성분의 신호를 추정하는 처리이다(비특허문헌 4 참조). 디모자이킹은 해상도가 낮은 각 색성분의 신호를 고해상도화하는 것에 상당하기 때문에, 초해상기술과의 조합도 보고되어 있다(비특허문헌 5 참조).
또한, 이러한 촬상계에서는 통상 해상도가 같은 카메라를 이용하지만, 해상도가 다른 카메라를 이용해도 된다. 해상도가 높은 카메라와 해상도가 낮은 카메라를 조합하여 이용함으로써, 얻어지는 화상 정보의 정보량을 줄이는 것이 가능하다. 또한, 카메라의 포커스 위치나 시야각을 바꿔도 된다. 이 경우에는, 촬영되는 화상 신호의 해상도가 같아도 실제로 촬영되어 있는 영역 부분의 해상도가 다르다.
해상도가 낮은 화상으로부터 해상도가 높은 화상을 얻는 방법으로서, 저해상도의 화상 중의 화상 신호에 업샘플링 필터를 적용하는 확대 방법과 초해상을 이용하는 방법을 들 수 있다.
확대 방법에서는, 주변 근방의 화상 신호에 대해 적당한 필터를 적용하여 화상 신호를 얻는다. 한편, 초해상 방법에서는, 일반적으로 연속하여 촬영된 복수의 동일한 해상도의 화상 정보를 이용한다(비특허문헌 6 참조). 우선, 목적의 화상으로서 촬영된 화상보다도 큰 해상도의 화상을 정의해 둔다. 즉, 생성하는 대상의 화소 위치를 정의해 둔다. 그리고, 복수의 촬영된 화상 간에 대응 관계를 추정하고, 촬영하여 얻어진 화상 신호를 목적의 화소 위치에 메워 간다. 이에 의해, 높은 해상도의 화상 정보를 얻는다.
한편, 화상의 색신호의 표현 방법에는 RGB나 YUV라는 형식이 있다. 균등 색공간으로는 도 11에 도시된 바와 같은 먼셀이 고안한 먼셀 색공간을 들 수 있다. 먼셀 색공간에서는 색상?명도?채도로 색을 표현한다.
색상(Hue)은 색미를 나타내고, 적(R), 황(Y), 녹(G), 청(B), 자(P)의 5색상을 기본으로 하며, 중간에 황적(YR), 황록(GY), 청록(BG), 청자(PB), 적자(RP)를 더 배치하여 10색상을 정의한다.
명도(Value)는 밝기를 나타내고, 완전 흡수의 이상적인 흑을 0, 완전 반사의 이상적인 백을 1O으로 하며, 그 사이를 지각적으로 동일한 간격이 되도록 1O단계로 배열한다. 채도(Chroma)는 선명함을 나타낸다.
먼셀 기호는 HV/C(색상?명도/채도)로 나타낸다.
먼셀 색공간을 도면에서 나타내면, 색상은 원주 상에 순서가 올바르게 배열되어 색상환을 형성하고, 채도에 대해서는 중심에서 멀어짐에 따라 선명한 색이 되어 채도도 커진다. 이 먼셀 색공간의 근사 공간으로서 CIEL*a*b*공간이나 CIEL*u*v*공간 등이 제안되어 있다.
비특허문헌 1: Keita Takahashi and Takeshi Naemura, "Layered Light-Field Rendering with Focus Measurement", EURASIP Signal Processing: Image Communication, vol.21, no.6, pp.519-530(2006.7). 비특허문헌 2: M.Droese, T.Fujii and M.Tanimoto, "Ray-Space Interpolation Constraining Smooth Disparities Based On Loopy Belief Propagation", Proc.of IWSSIP 2004, pp.247-250, Poznan, Poland, Sept. 2004. 비특허문헌 3: 마츠야마 다카시, 다카이 다케시, Wu Xiaojun, 노부하라 쇼헤이, 「3차원 비디오 영상의 촬영?편집?표시」, 일본 버츄얼 리얼리티 학회 논문지, Vol.7, No.4, pp.521-532, 2002.12. 비특허문헌 4: 츠바키, 아이자와, 「화소 혼합 화상으로부터의 디모자이킹」, 정보과학기술 포럼, pp.219-222, Sep.2003. 비특허문헌 5: 고토 도모마사, 오쿠토미 마사토시, 「단판 컬러 촬상소자의 RAW 데이터를 이용한 고정세 화상 복원」, 정보처리학회 논문지: 컴퓨터와 이미지 미디어, vol.45, no.SIG 8(CVIM 9), pp.15-25, 2004. 비특허문헌 6: 다나카 마사유키, 오쿠토미 마사토시, 「재구성형 초해상 처리의 고속화 알고리즘과 그 정밀도 평가」, 전자정보통신학회 논문지 D-II vol.J88-D-II, no.11, pp.2200-2209, 2005
본 발명은 색수(色數)가 다른 다시점 영상을 다룬다는 발명자가 착안한 신규 기술에 대해, 해상도가 다른 복수의 카메라를 이용한 경우에 저해상도의 화상이 잃어버린 고주파 성분의 색신호의 정보를 복원함으로써, 주관적인 품질의 열화를 저감하는 방식을 제공하는 것을 목적으로 한다.
다시점 촬상계에서 해상도가 다른 복수의 카메라를 이용한 경우에는, 저해상도의 화상과 고해상도의 화상이 혼재하게 된다. 또한, 같은 해상도의 카메라로 촬영한 경우이어도, 예를 들면 일부의 카메라 영상의 해상도를 저감함으로써 정보량을 삭감할 수 있기 때문에, 다시점 화상의 압축에는 적합한 경우가 있다. 이 경우에서도 저해상도의 화상과 고해상도의 화상이 혼재하게 된다.
본 발명에서는 색신호마다 해상도가 다른 경우를 상정한다. 예를 들면, Y신호에 대해서는 해당 복수의 화상 간에 해상도는 동일하지만, U신호나 V신호에 대해서는 해상도가 다른 경우가 있다.
이상과 같은 경우에, 어떤 색신호에 대해서는 해상도는 동일하지만, 다른 색신호에 대해 저해상도의 화상 정보에서는 고주파 성분이 누락되어 있다.
이 때문에, 저해상도로 촬영된 카메라 위치의 화상 정보는 고해상도로 촬영된 카메라 위치의 화상 정보에 비해 주관 품질이 열화되는 문제가 있다.
본 발명은 상기 문제점의 해결을 도모하여, 저해상도의 화상이 잃어버린 고주파 성분의 색신호의 정보를 복원함으로써 주관적인 품질의 열화를 저감하는 기술을 제공한다.
본 발명의 개요에 대해서 설명한다.
예를 들면, 색수가 다른 복수의 카메라로 동일 장면을 촬영함으로써, 모든 색수를 다루는 경우보다도 다루는 화상 신호의 총수를 줄일 수 있다. 따라서, 다시점 영상에서의 일부의 영상 신호의 색수를 적게 하면, 다시점 영상의 부호량을 대폭으로 줄일 수 있다.
또, 색수란, 예를 들어 RGB 등의 3색을 가리킨다. 그러나, 촬영되지 않은 색이 있으면, 그 색의 부분만 정보가 누락되어 있고 주관 품질이 나빠지기 때문에, 다시점 영상의 부호량을 삭감하고자 한 경우에 문제가 된다.
본 발명은, 일부의 영상 신호에 대해 잃어버린 색의 정보를 다른 영상 신호를 이용하여 복원하는 기술 수단을 제공함으로써 이 문제를 해결한다. 애당초 색수가 다른 다시점 영상을 다루는 것은 종래에는 이루어지지 않았다. 본 발명의 과제는, 색수가 다른 다시점 영상을 다룬다는 새로운 기술적 착상에서 생긴 과제이다.
특히, 본 발명은 복수의 화상에서의 화소간의 대응점 정보를 이용함으로써, 다른 카메라로 촬영된 색정보를 사용하여 목적의 화상의 색정보를 복원한다. 본 발명의 구체적인 특징은 이하와 같다.
본 발명은, 화상(A)의 색신호(X)와 화상(B)의 색신호(X, Y)로부터 화상(A)의 색신호(Y)의 화상정보를 생성하는 화상 생성 방법으로서, 화상(A)의 색신호(X)의 각 화소 위치와 화상(B)의 색신호(X) 중의 대응점의 유무 및 대응점 위치를 추정하는 대응점 추정 단계; 대응점 추정 단계에서 대응점이 있다고 추정된 화상(A) 중의 화소 위치에서의 색신호(Y)에 화상(B)의 대응 위치에서의 제2 색신호(Y)의 화상 정보를 설정하는 대응 화상 설정 단계; 대응점 추정 단계에서 대응점이 없다고 추정된 화상(A) 중의 화소 위치에서의 색신호(Y)를 대응 화상 설정 단계에서 설정된 색신호(Y)의 화상 정보로부터 작성하는 화상 보간 단계;를 실행하는 것을 특징으로 한다.
이 화상 생성 방법에 따르면, 다른 화상에 포함되는 색신호의 정보를 사용하여 원하는 화상에 대한 다른 색신호의 화상 정보를 생성할 수 있다.
이 때, 생성하는 화소 위치에 대응하는 화상 신호가 다른 화상에 없는 경우에는, 주위에 있는 생성한 고해상도의 화상 신호로부터 보간하여 작성함으로써 화상 정보의 누락을 막는다.
대응점의 추정에서는, 대응점 정보를 별도 입력으로서 부여하는 경우와 대응점을 화상 정보를 사용하여 탐색하는 경우를 들 수 있다. 대응점 정보를 별도 부여하는 경우에는, 장면(scene)의 깊이 정보나 기하(幾何) 정보를 미리 추정해 두고, 거기부터 화상 간의 대응점을 추정하도록 해도 된다.
대응점의 탐색에서는, 대응하는 화소 간에 차분의 절대값을 구하여 그 값의 최소값이 미리 설정한 임계값(threshold value) 이하인 경우에는 그 최소값이 되는 점을 대응점으로 추정하고, 임계값보다도 큰 경우에는 대응점은 없다고 추정해도 된다.
이 경우의 임계값을 원래의 색신호의 화상 정보와 함께 파일화해 두는 것도 적합하다. 파일화된 원래의 색신호의 화상 정보로부터 다른 색신호의 화상 정보를 생성할 때에 파일에 포함되는 임계값을 사용함으로써, 생성할 때에 항상 같은 화상을 얻을 수 있음을 보장할 수 있다.
장면을 복수의 방향에서 촬영하는 경우에서, 색신호가 다른 카메라를 이용하는 경우에 다른 카메라의 화상을 이용하여 원하는 카메라의 색신호의 화상 정보를 생성할 수 있다.
이 방법은 다시점 화상뿐만 아니라 단안(單眼) 동영상에도 적용할 수 있다. 즉, 동영상 중의 각 프레임의 색신호가 다른 경우에, 다른 프레임의 색신호를 이용하여 원하는 프레임의 색신호의 화상 정보를 생성할 수 있다.
상기 화상 생성 방법에 있어서, 대응점 추정 단계에서의 대응점의 추정에 사용되는 임계값을 설정하는 임계값 설정 단계; 화상(A)의 색신호(X)와 대응 화상 설정 단계 및 화상 보간 단계에서 생성된 화상(A)의 색신호(Y)로부터 화상(A)의 색신호(M)를 생성하는 화상(A)의 색변환 단계; 화상(B)의 색신호(X)와 색신호(Y)로부터 화상(B)의 색신호(M)를 생성하는 화상(B)의 색변환 단계; 대응점 추정 단계에서 구한 대응점에서의 화상(A)의 색신호(M)와 화상(B)의 색신호(M)의 차분을 구하는 차분 작성 단계; 차분 작성 단계에서 얻어지는 차분의 합계를 산출하는 생성 차분 합계 단계;를 임계값 설정 단계에서 설정하는 임계값을 바꾸면서 실행하고, 생성 차분 합계 단계에서 얻어지는 차분의 합계가 가장 작아지는 임계값을 결정하는 임계값 결정 단계를 더 실행하도록 해도 된다.
이 화상 생성 방법에 따르면, 전술한 발명의 방법으로 색신호를 생성할 때에 대응점의 추정 오차에 따른 열화의 크기를 다른 색공간에서 검출하고, 열화가 가장 작아지도록 대응점의 추정에 이용하는 임계값을 결정할 수 있다.
다른 색공간으로 사상(寫像)하여 열화의 정도를 측정할 때에, 사상하는 색공간의 예로서는 먼셀 색공간에서의 명도나 채도나 색상을 들 수 있다.
생성되는 화상의 주관 품질상의 열화를 최소화함으로써, 주관 품질의 열화를 저감할 수 있다.
이 임계값 파라미터는 다음과 같이 이용할 수 있다. 우선, 이 임계값을 추정해 두고, 임계값 파라미터로서 원래의 화상 정보에 부수시켜 둔다. 예를 들면, 원래의 화상과 다른 화상과 함께 이 임계값 파라미터도 파일화해 둔다. 이 파일을 재생할 때는, 원래의 화상과 다른 화상으로부터 임계값 파라미터를 이용하여 원래의 화상의 색신호의 화상 정보를 생성할 수 있다. 이 때, 주관 품질의 열화를 최소화한 화상을 생성할 수 있다.
상기 화상 생성 방법에 있어서, 대응점 추정 단계에서의 대응점의 추정에 사용되는 임계값을 설정하는 임계값 설정 단계; 화상(A)의 색신호(O)와 화상(A)의 색신호(Y)의 차분을 구하는 차분 작성 단계; 차분 작성 단계에서 얻어지는 차분의 합계를 산출하는 생성 차분 합계 단계;를 임계값 설정 단계에서 설정하는 임계값을 바꾸면서 실행하고, 생성 차분 합계 단계에서 얻어지는 차분의 합계가 가장 작아지는 임계값을 결정하는 임계값 결정 단계;를 더 실행하도록 해도 된다.
이 화상 생성 방법에 따르면, 전술한 발명의 방법으로 색신호를 생성할 때에, 대응점의 추정 오차에 따른 열화의 크기를 검출하고, 열화가 가장 작아지도록 대응점의 추정에 이용하는 임계값을 결정할 수 있다. 이 때, 원래 갖고 있는 색신호(0)와의 차이가 최소가 되도록 색신호를 생성할 수 있다.
또한, 얻어지는 임계값 파라미터는 전술한 방법과 같이 임계값 파라미터로서 파일화하여 이용할 수 있다.
본 발명은 또한, 상기 각 방법에 의해 화상을 생성하는 화상 생성 장치도 제공한다.
본 발명에 따르면, 다른 색신호로 촬영된 카메라 위치의 화상 정보에 대해 다른 색신호로 촬영된 카메라 위치의 화상 정보를 이용하여 원하는 화상 정보의 색신호를 생성할 수 있다. 이에 의해, 주관 품질의 열화를 저감할 수 있다.
도 1은 본 발명의 제1 실시예인 화상 생성 장치의 구성을 도시하는 도면이다.
도 2는 동 실시예의 화상 생성 장치의 동작을 도시하는 흐름도이다.
도 3은 본 발명의 제2 실시예인 화상 생성 장치의 구성을 도시하는 도면이다.
도 4는 동 실시예의 화상 생성 장치의 동작을 도시하는 흐름도이다.
도 5는 본 발명의 제3 실시예인 화상 생성 장치의 구성을 도시하는 도면이다.
도 6은 동 실시예의 화상 생성 장치의 동작을 도시하는 흐름도이다.
도 7은 직선 배열의 다시점 촬상계의 예를 도시하는 도면이다.
도 8은 평면 배열의 다시점 촬상계의 예를 도시하는 도면이다.
도 9는 아크형상 배열의 다시점 촬상계의 예를 도시하는 도면이다.
도 10은 구면 배열의 다시점 촬상계의 예를 도시하는 도면이다.
도 11은 먼셀 색공간을 도시하는 도면이다.
도면을 이용하여 본 발명의 화상 생성 장치의 실시예를 설명한다.
[제1 실시예]
제1 실시예로서 다른 카메라로 촬영된 화상(A)의 색신호(X)와 화상(B)의 색신호(X, Y)로부터 화상(A)의 색신호(Y)를 생성하는 경우의 예를 나타낸다.
도 1에 장치 개요를 도시한다. 본 실시예에서의 화상 생성 장치는, 화상(A)의 색신호(X)의 각 화소 위치와 화상(B)의 색신호(X) 중의 대응점의 유무 및 대응점 위치를 추정하는 대응점 추정부(101); 대응점 추정부(101)에서 대응점이 있다고 추정된 화상(A) 중의 화소 위치에서의 색신호(Y)에 화상(B)의 색신호(Y) 중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정부(102); 대응점 추정부(101)에서 대응점이 없다고 추정된 화상(A) 중의 화소 위치에서의 색신호(Y)를 대응 화상 설정부(102)에서 설정된 색신호(Y)의 화상 정보로부터 작성하는 화상 보간부(103);를 구비한다.
여기서, 대응점 추정부(101)에서는, 카메라 파라미터 또는 공지된 매칭 기술을 이용하여 화상(A)의 색신호(X)의 각 화소에 대해 (화상(B)의 색신호(X) 중의)대응하는 화소의 후보를(1~복수) 가정하고, 대응하는 화소 간에 차분의 절대값을 구하여 이들 절대값의 최소값이 미리 설정한 임계값 이하인 경우에는 그 최소값이 되는 점을 대응점으로 추정하고, 임계값보다도 큰 경우에는 화상(A)의 색신호(X)의 해당 화소에 대해서는 대응점은 없다고 추정하는 것으로 한다.
화상 보간부(103)에서는, 화상(A)의 색신호(X) 중의 화소에서 대응점이 없다고 추정된 화소의 색신호(Y)의 화상 정보를 대응점이 있다고 하여 화상(B)의 색신호(Y)로부터 화상 정보가 작성된 화소 위치의 해당 화상 정보로부터 작성한다. 이 때, 화상(B)으로부터 화상 정보가 작성된 화소 위치로부터의 거리에 따라 선형 보간을 한다.
이상을 전제로 하여 도 1에 도시하는 화상 생성 장치는 다음과 같이 동작한다. 도 2는 그 흐름도를 도시한다.
우선, 대응점 추정부(101)는 화상(A)의 색신호(X)와 화상(B)의 색신호(X)의 대응점의 유무와 위치를 추정한다(단계 S10). 대응 화상 설정부(102)는, 대응점 추정부(101)에서 대응점이 있다고 추정된 화소 위치에 화상(B)의 색신호(Y)의 화상 정보를 화상(A)의 색신호(Y)로서 설정한다(단계 S11). 화상 보간부(103)는, 상술한 바와 같이, 대응 화상 설정부(102)에서 이미 설정된 화상 정보로부터 보간하여 화상 정보를 작성한다(단계 S12). 이상에 의해, 화상(A)의 색신호(Y)를 생성한다.
또한, 대응점 추정부(101)는 화소 간에 차분의 절대값을 구하였지만, 추정하는 대상의 화소를 중심으로 하는 복수 화소로 이루어지는 블록을 사용하여 추정해도 된다. 예를 들면, 화상(A)의 색신호(X)의 각 화소에 대해 화상(B) 중의 신호(X)의 대응하는 화소의 후보를(1~복수) 가정하고, 각 후보를 중심으로 하는 복수 화소로 이루어지는 블록 내의 화소와의 차분의 절대값의 합계를 구하여 그 합계값이 최소가 되는 후보의 위치를 대응점으로서 추정해도 된다.
또한, 화상 보간부(103)에서는 선형 보간에 의해 화상 정보를 생성하였지만, 비선형 처리를 이용하여 화상 정보를 생성해도 된다. 모두 대응 화상 설정부(102)에서 설정된 화상 정보를 이용하여 생성한다.
이상의 예에서는, 다른 카메라로 촬영된 화상(A)의 색신호(X)와 화상(B)의 색신호(X, Y)로부터 화상(A)의 색신호(Y)를 생성하였지만, 같은 카메라로 촬영한 어떤 시각의 화상(A)의 색신호(X)와 다른 시각의 화상(B)의 색신호(X, Y)로부터 화상(A)의 색신호(Y)를 생성해도 된다.
상기 실시예에서는 화상(A)의 색신호(X)와 화상(B)의 색신호(X, Y)로부터 화상(A)의 색신호(Y)를 작성하였지만, 화상(A)과 화상(B)에서의 색신호(Y) 이외의 신호는 복수 있어도 된다. 화상(A)과 화상(B)의 다른 색신호가 2개(X와 Z) 있는 경우의 예를 다음에 나타낸다. 구성은 같지만, 다음과 같이 동작한다.
우선, 대응점 추정부(101)는, 화상(A)의 색신호(X)와 화상(B)의 색신호(X)의 대응점의 유무와 위치를 상술한 바와 같이 추정한다. 대응 화상 설정부(102)는, 상술한 바와 같이 대응점 추정부(101)에서 대응점이 있다고 추정된 위치에서의 화상(B)의 색신호(Y)의 화상 정보를 화상(A)의 색신호(Y)로 설정한다. 다음에, 대응점 추정부(101)는, 화상(A)의 색신호(Z)와 화상(B)의 색신호(Z)의 대응점의 유무와 위치를 색신호(X)의 경우와 같이 추정한다. 그리고, 대응 화상 설정부(102)는, 대응점 추정부(101)에서 대응점이 있다고 추정된 위치에서의 화상(B)의 색신호(Y)의 화상 정보를 화상(A)의 색신호(Y)로 설정한다. 이상에 의해, 화상(A)의 색신호(Y)를 생성한다.
[제2 실시예]
다음에, 제2 실시예로서 제1 실시예와 같이 다른 카메라로 촬영된 화상(A)의 색신호(X)와 화상(B)의 색신호(X, Y)로부터 화상(A)의 색신호(Y)를 생성하는 경우의 예를 나타낸다.
단, 생성한 화상 정보를 다른 색공간에 사상하여 열화의 정도를 검출하여 열화의 정도를 최소화하도록 임계값을 구하는 경우의 예를 나타낸다.
도 3에 장치 개요를 도시한다. 본 실시예에서의 화상 생성 장치는,
?미리 설정한 범위에서 임계값을 설정하는 임계값 설정부(208);
?임계값 설정부(208)에서 설정된 임계값을 사용하여 화상(A)의 색신호(X)의 각 화소 위치와 화상(B)의 색신호(X) 중의 대응점의 유무 및 대응점 위치를 추정하는 대응점 추정부(201);
?대응점 추정부(201)에서 대응점이 있다고 추정된 화상(A) 중의 화소 위치에서의 색신호(Y)에 화상(B)의 색신호(Y) 중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정부(202);
?대응점 추정부(201)에서 대응점이 없다고 추정된 화상(A) 중의 화소 위치에서의 색신호(Y)를 대응 화상 설정부(202)에서 설정된 색신호(Y)의 화상 정보로부터 작성하는 화상 보간부(203);
?화상(A)의 색신호(X)와 대응 화상 설정부(202) 및 화상 보간부(203)에서 설정?생성된 화상(A)의 색신호(Y)로부터 화상(A)의 색신호(M)를 생성하는 화상(A) 색변환부(204);
?화상(B)의 색신호(X)와 색신호(Y)로부터 화상(B)의 색신호(M)를 생성하는 화상(B) 색변환부(205);
?대응점 추정부(201)에서 구한 대응점에서의 화상(A)의 색신호(M)와 화상(B)의 색신호(M)의 차분을 구하는 차분 작성부(206);
?차분 작성부(206)에서 얻어지는 차분의 합계(모든 대응점에 관함)를 산출하는 생성 차분 합계부(207);
?생성 차분 합계부(207)에서 얻어지는 차분의 합계가 가장 작아지는 임계값을 결정하는 임계값 결정부(209);를 구비한다.
임계값 설정부(208)에서는, 임계값으로서 10부터 50까지 10씩 임계값을 증가시키는 것으로 한다. 또한, 화상(A) 색변환부(204)와 화상(B) 색변환부(205)는, 색공간을 먼셀 색공간의 색상에 상당하는 색신호(M)로 변환하는 것으로 한다. 이 때 부족한 색성분(즉, 채도와 명도)은 고정값을 설정하는 것으로 한다.
이상을 전제로 하여 도 3에 도시하는 화상 생성 장치는 다음과 같이 동작한다. 도 4에 그 흐름도를 도시한다.
우선, 임계값 설정부(208)에서는 임계값을 10으로 설정한다(단계 S20).
그리고, 대응점 추정부(201)는, 설정된 임계값을 사용하여 화상(A)의 색신호(X)와 화상(B)의 색신호(X)의 대응점의 유무와 위치를 추정한다(단계 S21).
대응 화상 설정부(202)는, 대응점 추정부(201)에서 대응점이 있다고 추정된 위치에서의 화상(B)의 색신호(Y)의 화상 정보를 화상(A)의 색신호(Y)로 설정한다(단계 S22).
화상 보간부(203)는, 대응점 추정부(201)에서 대응점이 없다고 추정된 위치에 대해 대응 화상 설정부(202)에서 이미 설정된 화상 정보로부터 보간하여 화상(A)의 색신호(Y)의 화상 정보를 작성한다(단계 S23).
화상(A) 색변환부(204)는, 화상(A)의 색신호(X, Y)에서 색상 신호(색신호(M))로 변환한다(단계 S24).
화상(B) 색변환부(205)는, 화상(B)의 색신호(X, Y)에서 색상 신호(색신호(M))로 변환한다(단계 S25).
차분 작성부(206)는, 화상(A)과 화상(B)의 색상 신호에서의 차분을 작성한다(단계 S26).
생성 차분 합계부(207)는 차분의 합계를 구한다(단계 S27).
이상의 임계값 설정부(208)에서 생성 차분 합계부(207)의 처리를 임계값을 10씩 늘리면서 50까지 반복하여 실행한다(단계 S27, S28).
이어서, 임계값 결정부(209)는, 생성 차분 합계부(207)에서 얻어지는 값이 최소가 되는 경우의 임계값을 결정한다(단계 S29).
본 실시예에서, 화상(A) 색변환부(204)와 화상(B) 색변환부(205)는 먼셀 색공간의 색상에 상당하는 색신호로 변환하였지만, 먼셀 색공간의 다른 색신호, 즉 채도나 명도로 변환해도 된다.
[제3 실시예]
다음에, 제3 실시예로서 제1 실시예와 같이 다른 카메라로 촬영된 화상(A)의 색신호(X)와 화상(B)의 색신호(X, Y)로부터 화상(A)의 색신호(Y)를 생성하는 경우의 예를 나타낸다.
단, 원래 화상(A)의 색신호(O)(X와는 다름)를 갖고 있고, 생성되는 색신호(Y)는 색신호(O)의 근사된 신호로 한다.
그리고, 생성되는 색신호(Y)와 색신호(0)의 차이(열화의 정도)를 최소화하도록 임계값을 구하는 경우의 예를 나타낸다.
도 5에 장치 개요를 도시한다. 본 실시예에서의 화상 생성 장치는,
?미리 설정한 범위에서 임계값을 설정하는 임계값 설정부(308);
?임계값 설정부(308)에서 설정된 임계값을 사용하여 화상(A)의 색신호(X)의 각 화소 위치와 화상(B)의 색신호(X) 중의 대응점의 유무 및 대응점 위치를 추정하는 대응점 추정부(301);
?대응점 추정부(301)에서 대응점이 있다고 추정된 화상(A) 중의 화소 위치에서의 색신호(Y)에 화상(B)의 색신호(Y) 중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정부(302);
?대응점 추정부(301)에서 대응점이 없다고 추정된 화상(A) 중의 화소 위치에서의 색신호(Y)를 대응 화상 설정부(302)에서 설정된 색신호(Y)의 화상 정보로부터 작성하는 화상 보간부(303);
?화상(A)의 색신호(O)와 대응 화상 설정부(302) 및 화상 보간부(303)에서 설정?생성된 화상(A)의 색신호(Y)의 차분을 구하는 차분 작성부(306);
?차분 작성부(306)에서 얻어지는 차분의 합계를 산출하는 생성 차분 합계부(307);
?생성 차분 합계부(307)에서 얻어지는 차분의 합계가 가장 작아지는 임계값을 결정하는 임계값 결정부(309);를 구비한다.
임계값 설정부(308)에서는, 임계값으로서 10부터 50까지 10씩 임계값을 증가시키는 것으로 한다.
이상을 전제로 하여 도 5에 도시하는 화상 생성 장치는 다음과 같이 동작한다. 도 6에 그 흐름도를 도시한다.
우선, 임계값 설정부(308)에서는 임계값을 10으로 설정한다(단계 S30).
그리고, 대응점 추정부(301)는 설정된 임계값을 사용하여 화상(A)의 색신호(X)와 화상(B)의 색신호(X)의 대응점의 유무와 위치를 추정한다(단계 S31).
대응 화상 설정부(302)는, 대응점 추정부(301)에서 대응점이 있다고 추정된 위치에서의 화상(B)의 색신호(Y)의 화상 정보를 화상(A)의 색신호(Y)로 설정한다(단계 S32).
화상 보간부(303)는, 대응점 추정부(301)에서 대응점이 없다고 추정된 위치에 대해 대응 화상 설정부(302)에서 이미 설정된 화상 정보로부터 보간하여 화상(A)의 색신호(Y)의 화상 정보를 작성한다(단계 S33).
차분 작성부(306)는, 화상(A)의 색신호(O)와 화상(A)의 색신호(Y)에서의 차분을 작성한다(단계 S34).
생성 차분 합계부(307)는 차분의 합계를 구한다(단계 S35).
이상의 임계값 설정부(308)에서 생성 차분 합계부(307)의 처리를 임계값을 10씩 늘리면서 50까지 반복하여 실행한다(단계 S36, S37).
이어서, 임계값 결정부(309)는 생성 차분 합계부(307)에서 얻어지는 값이 최소가 되는 경우의 임계값을 결정한다(단계 S38).
이상의 실시예에서는 복수의 카메라 입력 영상에 대한 처리를 설명하였지만, 본원발명에 따른 방법은 이러한 다시점 화상뿐만 아니라, 단안 동영상에도 적용할 수 있다. 즉, 동영상 중의 각 프레임의 색성분이 다른 경우에, 다른 프레임의 화상의 색신호를 이용하여 원하는 화상의 색신호를 생성할 수 있다.
이상의 화상 생성 처리는 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있으며, 그 프로그램을 컴퓨터 판독 가능한 기록매체에 기록하여 제공하는 것도 가능하고, 네트워크를 통해 제공하는 것도 가능하다.
본 발명에 따르면, 다른 색신호로 촬영된 카메라 위치의 화상 정보에 대해 다른 색신호로 촬영된 카메라 위치의 화상 정보를 이용하여 원하는 화상 정보의 색신호를 생성할 수 있다. 이에 의해, 주관 품질의 열화를 저감할 수 있다.
101, 201, 301 대응점 추정부
102, 202, 302 대응 화상 설정부
103, 203, 303 화상 보간부
204 화상(A) 색변환부
205 화상(B) 색변환부
206, 306 차분 작성부
207, 307 생성 차분 합계부
208, 308 임계값 설정부
209, 309 임계값 결정부

Claims (8)

  1. 제1 화상(A)의 제1 색신호(X)와 제2 화상(B)의 제1 색신호(X)와 제2 색신호(Y)로부터 제1 화상(A)의 제2 색신호(Y)의 화상 정보를 생성하는 화상 생성 방법으로서,
    제1 화상(A)의 제1 색신호(X)의 각 화소 위치와 제2 화상(B)의 제1 색신호(X) 중의 대응점의 유무 및 대응점 위치를 추정하는 대응점 추정 단계;
    상기 대응점 추정 단계에서 대응점이 있다고 추정된 제1 화상(A) 중의 화소 위치에서의 제2 색신호(Y)에 제2 화상(B)의 대응 위치에서의 제2 색신호(Y)의 화상 정보를 설정하는 대응 화상 설정 단계;
    상기 대응점 추정 단계에서 대응점이 없다고 추정된 제1 화상(A) 중의 화소 위치에서의 제2 색신호(Y)를 상기 대응 화상 설정 단계에서 설정된 제2 색신호(Y)의 화상 정보로부터 보간하여 작성하는 화상 보간 단계;를 실행하는 것을 특징으로 하는 화상 생성 방법.
  2. 제1항에 있어서,
    상기 대응점 추정 단계에서의 대응점의 추정에 사용되는 임계값을 설정하는 임계값 설정 단계;
    제1 화상(A)의 제1 색신호(X)와 상기 대응 화상 설정 단계 및 상기 화상 보간 단계에서 생성된 제1 화상(A)의 제2 색신호(Y)로부터 제1 화상(A)의 제3 색신호(M)를 생성하는 제1 화상(A) 색변환 단계;
    제2 화상(B)의 제1 색신호(X)와 제2 색신호(Y)로부터 제2 화상(B)의 제3 색신호(M)를 생성하는 제2 화상(B) 색변환 단계;
    상기 대응점 추정 단계에서 구한 대응점에서의 제1 화상(A)의 제3 색신호(M)와 제2 화상(B)의 제3 색신호(M)의 차분을 구하는 차분 작성 단계;
    상기 차분 작성 단계에서 얻어지는 차분의 합계를 산출하는 생성 차분 합계 단계;
    상기 임계값 설정 단계에서 설정한 임계값을 미리 정해진 범위 내에서 바꾸면서 상기 대응점 추정 단계, 상기 대응 화상 설정 단계, 상기 화상 보간 단계, 상기 제1 화상(A) 색변환 단계, 상기 제2 화상(B) 색변환 단계, 상기 차분 작성 단계, 상기 생성 차분 합계 단계를 반복하여 실행한 결과로부터, 상기 생성 차분 합계 단계에서 얻어지는 차분의 합계가 가장 작아지는 임계값을 결정하는 임계값 결정 단계;를 더 실행하는 것을 특징으로 하는 화상 생성 방법.
  3. 제1항에 있어서,
    상기 대응점 추정 단계에서의 대응점의 추정에 사용되는 임계값을 설정하는 임계값 설정 단계;
    제1 화상(A)의 제1 색신호(X) 및 제2 색신호(Y)와는 다른 색신호(O)와 제1 화상(A)의 제2 색신호(Y)의 차분을 구하는 차분 작성 단계;
    상기 차분 작성 단계에서 얻어지는 차분의 합계를 산출하는 생성 차분 합계 단계;
    상기 임계값 설정 단계에서 설정한 임계값을 미리 정해진 범위 내에서 바꾸면서 상기 대응점 추정 단계, 상기 대응 화상 설정 단계, 상기 화상 보간 단계, 상기 차분 작성 단계, 상기 생성 차분 합계 단계를 반복하여 실행한 결과로부터, 상기 생성 차분 합계 단계에서 얻어지는 차분의 합계가 가장 작아지는 임계값을 결정하는 임계값 결정 단계;를 실행하는 것을 특징으로 하는 화상 생성 방법.
  4. 제1 화상(A)의 제1 색신호(X)와 제2 화상(B)의 제1 색신호(X)와 제2 색신호(Y)로부터 제1 화상(A)의 제2 색신호(Y)의 화상 정보를 생성하는 화상 생성 장치로서,
    제1 화상(A)의 제1 색신호(X)의 각 화소 위치와 제2 화상(B)의 제1 색신호(X) 중의 대응점의 유무 및 대응점 위치를 추정하는 대응점 추정부;
    상기 대응점 추정부에서 대응점이 있다고 추정된 제1 화상(A) 중의 화소 위치에서의 제2 색신호(Y)에 제2 화상(B)의 대응 위치에서의 제2 색신호(Y)의 화상 정보를 설정하는 대응 화상 설정부;
    상기 대응점 추정부에서 대응점이 없다고 추정된 제1 화상(A) 중의 화소 위치에서의 제2 색신호(Y)를 상기 대응 화상 설정부에서 설정된 제2 색신호(Y)의 화상 정보로부터 보간하여 작성하는 화상 보간부;를 구비하는 것을 특징으로 하는 화상 생성 장치.
  5. 제4항에 있어서,
    상기 대응점 추정부가 행하는 대응점의 추정에 사용되는 임계값을 설정하는 임계값 설정부;
    제1 화상(A)의 제1 색신호(X)와 상기 대응 화상 설정부 및 상기 화상 보간부에서 생성된 제1 화상(A)의 제2 색신호(Y)로부터 제1 화상(A)의 제3 색신호(M)를 생성하는 제1 화상(A) 색변환부;
    제2 화상(B)의 제1 색신호(X)와 제2 색신호(Y)로부터 제2 화상(B)의 제3 색신호(M)를 생성하는 제2 화상(B) 색변환부;
    상기 대응점 추정부에서 구한 대응점에서의 제1 화상(A)의 제3 색신호(M)와 제2 화상(B)의 제3 색신호(M)의 차분을 구하는 차분 작성부;
    상기 차분 작성부에서 얻어지는 차분의 합계를 산출하는 생성 차분 합계부;
    상기 임계값 설정부에서 설정한 임계값을 미리 정해진 범위 내에서 바꾸면서 상기 대응점 추정부, 상기 대응 화상 설정부, 상기 화상 보간부, 상기 제1 화상(A) 색변환부, 상기 제2 화상(B) 색변환부, 상기 차분 작성부, 상기 생성 차분 합계부에 의한 처리를 반복하여 실행한 결과로부터, 상기 생성 차분 합계부에서 얻어지는 차분의 합계가 가장 작아지는 임계값을 결정하는 임계값 결정부;를 더 구비하는 것을 특징으로 하는 화상 생성 장치.
  6. 제4항에 있어서,
    상기 대응점 추정부가 행하는 대응점의 추정에 사용되는 임계값을 설정하는 임계값 설정부;
    제1 화상(A)의 제1 색신호(X) 및 제2 색신호(Y)와는 다른 색신호(O)와 제1 화상(A)의 제2 색신호(Y)의 차분을 구하는 차분 작성부;
    상기 차분 작성부에서 얻어지는 차분의 합계를 산출하는 생성 차분 합계부;
    상기 임계값 설정부에서 설정한 임계값을 미리 정해진 범위 내에서 바꾸면서 상기 대응점 추정부, 상기 대응 화상 설정부, 상기 화상 보간부, 상기 차분 작성부, 상기 생성 차분 합계부에 의한 처리를 반복하여 실행한 결과로부터, 상기 생성 차분 합계부에서 얻어지는 차분의 합계가 가장 작아지는 임계값을 결정하는 임계값 결정부;를 구비하는 것을 특징으로 하는 화상 생성 장치.
  7. 삭제
  8. 제1항에 기재된 화상 생성 방법을 컴퓨터에 실행시키기 위한 화상 생성 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
KR1020107007425A 2007-10-15 2008-10-09 화상 생성 방법, 장치 및 그 프로그램과 프로그램을 기록한 기록매체 KR101134665B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007267541 2007-10-15
JPJP-P-2007-267541 2007-10-15
PCT/JP2008/068391 WO2009051064A1 (ja) 2007-10-15 2008-10-09 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
KR20100051744A KR20100051744A (ko) 2010-05-17
KR101134665B1 true KR101134665B1 (ko) 2012-04-09

Family

ID=40567331

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107007425A KR101134665B1 (ko) 2007-10-15 2008-10-09 화상 생성 방법, 장치 및 그 프로그램과 프로그램을 기록한 기록매체

Country Status (10)

Country Link
US (1) US8346019B2 (ko)
EP (1) EP2202682A4 (ko)
JP (2) JP4578567B2 (ko)
KR (1) KR101134665B1 (ko)
CN (1) CN101821768B (ko)
BR (1) BRPI0818593A2 (ko)
CA (1) CA2701890C (ko)
RU (1) RU2440615C2 (ko)
TW (1) TWI397023B (ko)
WO (1) WO2009051064A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101134665B1 (ko) * 2007-10-15 2012-04-09 니폰덴신뎅와 가부시키가이샤 화상 생성 방법, 장치 및 그 프로그램과 프로그램을 기록한 기록매체
JP5790944B2 (ja) 2010-02-26 2015-10-07 日本電気株式会社 画像処理方法、画像処理装置及びプログラム
JP5704984B2 (ja) * 2011-03-22 2015-04-22 キヤノン株式会社 撮像装置
EP2879372A1 (en) * 2013-11-29 2015-06-03 Thomson Licensing Method and device for processing a raw image acquired with a plenoptic camera
JP6790384B2 (ja) * 2016-03-10 2020-11-25 富士ゼロックス株式会社 画像処理装置及びプログラム
US10147218B2 (en) * 2016-09-29 2018-12-04 Sony Interactive Entertainment America, LLC System to identify and use markers for motion capture

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990045187A (ko) * 1997-11-12 1999-06-25 와다 아끼히로 표시색의 색배합 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4683496A (en) * 1985-08-23 1987-07-28 The Analytic Sciences Corporation System for and method of enhancing images using multiband information
EP0650299B1 (fr) * 1993-10-20 1998-07-22 Laboratoires D'electronique Philips S.A.S. Procédé de traitement des niveaux de luminance dans une image composite et système de traitement d'image appliquant ce procédé
US5583665A (en) * 1995-02-13 1996-12-10 Eastman Kodak Company Method and apparatus for performing color transformations using a reference image combined with a color tracer
KR970049856A (ko) * 1995-12-30 1997-07-29 김광호 복수개의 라이센서를 갖는 화상독취 장치에서 센서간 거리 보정 방법 및 회로
JP3233601B2 (ja) 1997-09-25 2001-11-26 シャープ株式会社 画像処理装置
EP0908847B1 (en) * 1997-10-06 2006-01-25 Canon Kabushiki Kaisha Image synthesis apparatus and image synthesis method
JPH11242737A (ja) 1998-02-26 1999-09-07 Ricoh Co Ltd 画像処理方法及び装置並びに情報記録媒体
FR2782438B1 (fr) * 1998-08-13 2002-01-04 Pierre Allio Procede d'affichage autostereoscopique et image autostereoscopique
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
JP4193292B2 (ja) * 1999-07-02 2008-12-10 コニカミノルタホールディングス株式会社 多眼式データ入力装置
US6993167B1 (en) * 1999-11-12 2006-01-31 Polartechnics Limited System and method for examining, recording and analyzing dermatological conditions
JP2004532430A (ja) * 2001-05-02 2004-10-21 ビットストリーム インコーポレーティッド 副画素最適化画像及びその様な画像を含むデジタルコンテンツを生成及び表示するための方法、システム、及びプログラム
WO2004057531A1 (ja) 2002-12-20 2004-07-08 Jicoux Datasystems, Inc. 画像合成装置、及びプログラム
US7474355B2 (en) * 2003-08-06 2009-01-06 Zoran Corporation Chroma upsampling method and apparatus therefor
JP2005130281A (ja) * 2003-10-24 2005-05-19 Canon Inc 画像処理システム、画像処理方法及びプログラム
RU2267232C1 (ru) 2004-06-11 2005-12-27 Федеральное государственное унитарное предприятие Научно-исследовательский институт комплексных испытаний оптико-электронных приборов и систем (ФГУП НИИКИ ОЭП) Способ преобразования изображений
US7483578B2 (en) * 2005-09-15 2009-01-27 Kabushiki Kaisha Toshiba Image data decoding apparatus and method
KR100809687B1 (ko) 2006-02-28 2008-03-06 삼성전자주식회사 영상신호에 포함된 잡음을 제거할 수 있는 영상신호처리장치 및 방법
JP2007267541A (ja) 2006-03-29 2007-10-11 Seiko Epson Corp フィードバック制御によるモータ制御回路の検査方法、モータ制御回路の検査装置、検査制御プログラム
TW200811758A (en) 2006-08-24 2008-03-01 Realtek Semiconductor Corp Method for edge detection, method for motion detection, method for pixel interpolation utilizing up-sampling, and apparatuses thereof
TWI342157B (en) 2006-09-19 2011-05-11 Realtek Semiconductor Corp De-interlacing methods and related apparatuses
KR101134665B1 (ko) * 2007-10-15 2012-04-09 니폰덴신뎅와 가부시키가이샤 화상 생성 방법, 장치 및 그 프로그램과 프로그램을 기록한 기록매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990045187A (ko) * 1997-11-12 1999-06-25 와다 아끼히로 표시색의 색배합 방법

Also Published As

Publication number Publication date
US8346019B2 (en) 2013-01-01
RU2010113344A (ru) 2011-11-27
TWI397023B (zh) 2013-05-21
KR20100051744A (ko) 2010-05-17
TW200926061A (en) 2009-06-16
EP2202682A1 (en) 2010-06-30
JP2011028760A (ja) 2011-02-10
EP2202682A4 (en) 2011-06-01
BRPI0818593A2 (pt) 2015-07-21
JP4578567B2 (ja) 2010-11-10
US20100208991A1 (en) 2010-08-19
JPWO2009051064A1 (ja) 2011-03-03
CA2701890C (en) 2013-07-30
CN101821768A (zh) 2010-09-01
CN101821768B (zh) 2012-05-30
CA2701890A1 (en) 2009-04-23
RU2440615C2 (ru) 2012-01-20
WO2009051064A1 (ja) 2009-04-23

Similar Documents

Publication Publication Date Title
JP7182907B2 (ja) カメラの画像データ処理方法およびカメラ
JP4233257B2 (ja) 撮像装置の効果的ダイナミックレンジを拡張する方法及び装置並びに残存画像の使用
US8363985B2 (en) Image generation method and apparatus, program therefor, and storage medium which stores the program
CA2627999C (en) Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
JP5574615B2 (ja) 画像処理装置、その制御方法、及びプログラム
KR101136506B1 (ko) 화상 생성 방법, 장치 및 그 프로그램 및 프로그램을 기록한 기록매체
KR101134665B1 (ko) 화상 생성 방법, 장치 및 그 프로그램과 프로그램을 기록한 기록매체
JP5704975B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR20150014453A (ko) 네이티브 3-컬러 이미지 및 hdr 이미지
CN110852953B (zh) 图像插值方法及装置、存储介质、图像信号处理器、终端
WO2019146419A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20100079582A1 (en) Method and System for Capturing and Using Automatic Focus Information
Guttosch Investigation of Color Aliasing of High Spatial Frequencies and Edges for Bayer-Pattern Sensors and Foveon X3® Direct Image Sensors
CN105049820A (zh) 图像处理设备、摄像设备和图像处理方法
KR100741517B1 (ko) 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법
JP2004253874A (ja) カラー画像処理装置およびカラー画像処理方法
JP2003179941A (ja) 単板式カラーディジタルカメラにおける撮像画像の補間装置および方法
JP2004153753A (ja) 単板式カラーディジタルカメラによる撮像画像の補間装置および補間方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150303

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160328

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170324

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee