KR20120005966A

KR20120005966A - 화상 처리 장치, 화상 처리 방법, 및 프로그램 프로덕트

Info

Publication number: KR20120005966A
Application number: KR1020110067358A
Authority: KR
Inventors: 요시쓰구 마나베
Original assignee: 가시오게산키 가부시키가이샤
Priority date: 2010-07-09
Filing date: 2011-07-07
Publication date: 2012-01-17
Also published as: US8570401B2; US20120008015A1; KR101247646B1; JP5136664B2; JP2012034340A; CN102316331B; CN102316331A

Abstract

노출 조건이 각각 상이한 복수 화상의 데이터는, 복수의 휘도 화상의 데이터와, 복수의 색차 화상의 데이터로 분리되어 합성부(11)에 입력된다. 휘도 성분 합성부(21)는, 노출 조건이 각각 상이한 복수 화상의 데이터를 평균화·평활화하고, 이 평활화된 평균 휘도 데이터를 사용하여, 노출 조건이 각각 상이한 복수 화상의 데이터의 합성 비율을 설정한다. 그리고, 분리 후의 복수의 휘도 화상의 데이터를, 이 설정된 합성 비율을 사용하여 주목 화소 단위로 합성한다. 한편, 색차 성분 합성부(22)는, 휘도 성분 합성부(21)에서 사용한 합성 비율로 분리 후의 복수의 색차 화상의 데이터를 합성한다.

Description

화상 처리 장치, 화상 처리 방법, 및 프로그램 프로덕트{IMAGE COMBINING APPARATUS, IMAGE COMBINING METHOD AND PROGRAM PRODUCT}

본 발명은, 노광(露光) 조건을 바꾸어서 연사(連寫)한 복수의 화상을 사용하여, 다이나믹레인지(dynamic range)를 확대시킨 합성 화상을 생성하는 기술에 관한 것이다.

최근, 감상 시의 연출 효과를 높일 목적으로, 촬영된 화상에 대하여 각종 화상 처리가 행해지고 있다. 그리고, 이와 같은 화상 처리로서 일본 특허출원 공개번호 2006-345509호 공보에 의해 소개된 바와 같이, 노광 조건을 달리한 화상을 적소에 합성하여, 백화 현상(whiteout)이나 흑화 현상(shadowing)이 없는 화상[이하, 이와 같은 화상을 HDR(High Dynamic Range) 화상이라고 함]을 생성하는 처리가 알려져 있다. 그러나, 전술한 합성 기술은 채도까지 적절하게 조정된 것은 아니다.

일본 특허출원 공개번호 2006-345509호 공보

본 발명은, 이와 같은 상황을 감안하여 이루어진 것이며, 백화 현상이나 흑화 현상이 적고, 또한 채도도 적절하게 조정된 HDR 화상을 제공하는 것을 목적으로 한다.

상기 목적 달성을 위하여, 본 발명의 제1 관점은, 노출 조건을 상이하게 하여 동일한 화각(畵角)으로 촬영된 복수 화상의 데이터에 대하여, 각각, 소정의 색공간(color space)에 있어서 규정되는 휘도 성분으로 이루어지는 복수의 제1 화상의 데이터와, 그 외의 성분으로 이루어지는 복수의 제2 화상의 데이터로 분리하는 분리 수단과, 이 분리 수단에 의해 분리된 후의, 각각 노출 조건이 상이한 복수의 제1 화상의 데이터를, 소정의 합성 비율을 사용하여 합성하는 제1 합성 수단과, 상기 제1 합성 수단에 의해 합성된 소정의 합성 비율을 사용하여, 각각 노출 조건이 상이한 복수의 제2 화상의 데이터를 합성하는 제2 합성 수단을 구비한 것을 특징으로 한다.

또한, 상기 목적 달성을 위하여, 본 발명의 제2 관점은, 노출 조건을 상이하게 하고 동일한 화각으로 촬영된 복수 화상의 데이터에 대하여, 각각, 소정의 색공간에 있어서 규정되는 휘도 성분으로 이루어지는 복수의 제1 화상의 데이터와, 그 외의 성분으로 이루어지는 복수의 제2 화상의 데이터로 분리하는 분리 단계와, 이 분리 단계에서 분리된 후의, 각각 노출 조건이 상이한 복수의 제1 화상의 데이터를, 소정의 합성 비율을 사용하여 합성하는 제1 합성 단계와, 상기 제1 합성 단계에서 합성된 소정의 합성 비율을 사용하여, 각각 노출 조건이 상이한 복수의 제2 화상의 데이터를 합성하는 제2 합성 단계를 포함하는 것을 특징으로 한다.

또한, 상기 목적 달성을 위하여, 본 발명의 제3 관점은, 컴퓨터를, 노출 조건을 상이하게 하고 동일한 화각으로 촬영된 복수 화상의 데이터에 대하여, 각각, 소정의 색공간에 있어서 규정되는 휘도 성분으로 이루어지는 복수의 제1 화상의 데이터와, 그 외의 성분으로 이루어지는 복수의 제2 화상의 데이터로 분리하는 분리 수단, 이 분리 수단에 의해 분리된 후의, 각각 노출 조건이 상이한 복수의 제1 화상의 데이터를, 소정의 합성 비율을 사용하여 합성하는 제1 합성 수단, 상기 제1 합성 수단에 의해 합성된 소정의 합성 비율을 사용하여, 각각 노출 조건이 상이한 복수의 제2 화상의 데이터를 합성하는 제2 합성 수단으로서 기능하게 하는 것을 특징으로 한다.

도 1은, 본 발명의 일실시예에 따른 촬상 장치의 회로 구성도이다.
도 2는, 본 발명에서의 합성 처리를 실행하는 기능에 대한 기능적 구성을 나타낸 기능 블록도이다.
도 3은, 합성 비율을 설정하는 테이블의 일례를 나타낸 도면이다.
도 4의 (A)는, 노출 부족의 휘도 화상의 일례를 나타내고 있다.
도 4의 (B)는, 연속 촬영에 의해 도 4의 (A)의 화상의 화각과 동일한 화각으로 촬영된, 적정 노출의 휘도 화상을 나타내고 있다.
도 4의 (C)는, 연속 촬영에 의해 도 4의 (A), 도 4의 (C)의 화상의 화각과 동일한 화각으로 촬영된, 노출 과다의 휘도 화상을 나타내고 있다.
도 4의 (D)는, 평균 휘도 화상을 나타내고 있다.
도 4의 (E)는, 평활화된 평균 휘도 화상을 나타내고 있다.
도 4의 (F)는, 합성 휘도 화상을 나타내고 있다.
도 5는, 조정 게인이 반영된 상태의 합성 비율의 테이블의 일례를 나타내고 있는 도면이다.
도 6의 (A) 및 (B)는, 조정 게인에 의한 밝기의 조정의 효과를 나타내고 있는 도면이다.
도 7의 (A)∼(C)는, 콘트라스트 강조의 효과를 나타내고 있는 도면이다.
도 8은, 도 2의 색차 성분 합성부가 실행하는 UV 성분 합성 처리의 흐름의 일례를 나타낸 흐름도이다.
도 9는 본 발명의 화상 처리 장치의 일실시예에 따른 화상 처리 장치의 하드웨어의 구성을 나타낸 블록도이다.

이하, 본 발명의 일실시예를 도면을 참조하여 설명한다.

도 1은, 본 발명의 일실시예에 따른 화상 처리 장치를 구비한 촬상 장치의 회로 구성도이다.

이 촬상 장치는, 촬상부(1), 구동 제어부(2), CDS/ADC(3), 키 입력부(4), 표시부(5), 화상 기록부(6), 프로그램 메모리(7), RAM(8), 제어부(9), 및 화상 처리부(10)를 구비하고 있다.

키 입력부(4)는, 촬영자의 기록 지시를 검출하기 위한 셔터 키(41)를 구비하고 있다. 화상 처리부(10)는, 본 발명의 특징적 구성에 대응하는 합성부(11)를 구비하고 있다. 이들은 버스 라인을 통하여 접속되어 있다.

도 1에 있어서, 촬상부(1)는, CMOS 등의 이미지 센서와, 이 이미지 센서 상에 설치된 RGB 컬러 필터와, 구동 제어부(2)로부터의 제어에 의해, 광의 강도를 전하의 축적으로서 일정 시간 유지하고, CDS/ADC(3)에 아날로그의 촬상 신호로서 이들을 출력하는 드라이버를 내장한다.

그리고, 촬상부(1)는, 셔터 키(41), 제어부(9), 구동 제어부(2)를 경유한 촬영자의 촬영 지시를 검출함으로써, 노광 조건(셔터 스피드, 또는 조리개값)을 변경하면서, 노출 부족(underexposure image data), 적정 노출(correct exposure image data), 노출 과다(overexposure image data)를 포함하는 복수 화상(컬러 화상)을 취득한다.

CDS/ADC(3)는, 촬상부(1)로부터 출력되는 피사체의 광학상에 따른 아날로그 촬상 신호가 입력되는 회로이다. CDS/ADC(3)는, 입력한 촬상 신호를 유지하는 CDS와, 이 촬상 신호를 증폭하는 게인 조정 앰프(AGC)와, 증폭된 촬상 신호를 디지털 촬상 신호로 변환하는 A/D 변환기(ADC)를 포함하도록 구성되어 있다.

그리고, 게인 조정 앰프의 조정와 관련된 제어에 대해서도, 구동 제어부(2)로부터의 지시에 따라 실행된다. 그러므로, 노광 조건을 동일하게 하여 복수 화상을 취득해도, RGB의 게인 조정 앰프나 화상의 색조(image hue)를 차례로 변경하는 것에 따라 복수 조건의 상이한 화상을 생성할 수 있다.

키 입력부(4)는, 전술한 셔터 키(41) 외에, 본 발명에 따른 화상의 취득이나 기록을 목적으로 하는 촬영 모드로의 전환, 표시의 전환 등을 검출하기 위한 각종 키를 구비하고 있다.

표시부(5)는, 합성 처리된 화상을 표시하는 기능을 가진다. 화상 기록부(6)는, 본 발명에 따른 합성 처리가 실행된 후, JPEG 방식으로 부호화된 화상 데이터(화상 파일)를 기억하고 저장한다.

프로그램 메모리(7)는, 제어부(9), 화상 처리부(10)에 의해 실행되는 프로그램을 기억하고, 필요에 따라 제어부(9)가 판독한다.

RAM(8)은, 각종 처리에 의해 발생하는 처리중의 데이터를 일시적으로 유지하는 기능을 가진다.

제어부(9)는 촬상 장치 전체의 처리 동작을 제어한다.

화상 처리부(10)는, 화상 데이터의 부호화/복호화 처리 외에, 본 발명에 따른 합성 처리를 실행하기 위한 합성부(11)를 구비하고 있다.

다음으로, 합성 처리를 실행하는 기능에 대하여, 도 2의 기능 블록도를 사용하여 설명한다.

본 실시예에서 기재한 합성 처리는, 노출 조건이 각각 상이한 복수 화상의 데이터(노출 부족), 적정 노출, 노출 과다를 적소에 합성 비율을 변경하면서 화소 가산 합성함으로써, HDR 화상의 데이터를 생성하는 처리를 일컫는다.

특히 본 실시예의 HDR 합성 처리에서는, 노광 조건을 변경하면서 연사함으로써 얻어진 복수 화상에 대하여, 이들 화상의 데이터 각각이, YUV 색공간에서 규정되는 휘도 성분을 나타내는 휘도 신호(Y)와, 그 외의 성분, 구체적으로는 청색 성분의 색차 차분 신호(U)와, 적색 성분의 색차 차분 신호(V)의 3요소의 성분 중, 휘도 성분과 색차 성분으로 분리되고, 이 분리 후의 복수의 휘도 성분에 대하여 화소 단위로 합성될 뿐만 아니라, 복수의 색차 성분에 대해서도 화소 단위로 합성된다.

이와 같은 합성의 결과 얻어지는 HDR 화상의 데이터는, 폭 넓은 다이나믹 레인지를 가지며, 또한 채도도 적절하게 조정된 데이터가 된다.

합성부(11)는, 적정 노출의 화상의 데이터와, 노출 과다의 화상의 데이터와, 노출 부족의 화상 데이터를 합성한다.

여기서, 적정 노출은, 촬상 조건에 있어서의 적정 노출만을 포함하는 것이 아니라, 노출 과다 화상의 데이터를 촬영했을 때의 노출 조건과 노출 부족 화상의 데이터를 촬영했을 때의 노출 조건의 중간의 노출을 의미한다.

또한, 상기 적정 노출 화상의 데이터에서의 휘도 성분만의 화상 데이터를 적정 노출의 휘도 화상의 데이터로 정의하고, 상기 노출 과다 화상의 데이터에 있어서의 휘도 성분만의 화상 데이터를 노출 과다의 휘도 화상의 데이터로 정의하고, 상기 노출 부족 화상의 데이터에 있어서의 휘도 성분만의 화상 데이터를 노출 부족의 휘도 화상의 데이터로 정의한다.

또한, 상기 적정 노출 화상의 데이터에 있어서의 색차 성분만의 화상 데이터를 적정 노출의 색차 화상의 데이터로 정의하고, 상기 노출 과다 화상의 데이터에 있어서의 색차 성분만의 화상 데이터를 노출 과다의 색차 화상의 데이터로 정의하고, 상기 노출 부족 화상의 데이터에 있어서의 색차 성분만의 화상 데이터를 노출 부족의 색차 화상의 데이터로 정의한다.

도 2에서는, 적정 노출의 휘도 화상의 데이터, 노출 과다의 휘도 화상의 데이터, 노출 부족의 휘도 화상의 데이터, 적정 노출의 색차 화상의 데이터, 노출 과다의 색차 화상의 데이터, 및 노출 부족의 색차 화상의 데이터는, 연사 후의 촬상 화상의 데이터를 각각 처리함으로써 입력되는 것으로 한다.

도 2에 나타낸 바와 같이, 합성부(11)는, 휘도 성분 합성부(21)와 색차 성분 합성부(22)를 구비하고 있다.

휘도 성분 합성부(21)는, 적정 노출의 휘도 화상의 데이터, 노출 과다의 휘도 화상의 데이터, 및 노출 부족의 휘도 화상의 데이터의 각각을 합성함으로써, 합성 휘도 화상의 데이터를 생성한다. 그리고, 합성 휘도 화상의 데이터가 생성되는 일련의 처리를, 이하, 휘도 성분 합성 처리라고 한다.

한편, 색차 성분 합성부(22)는, 적정 노출의 색차 화상의 데이터, 노출 과다의 색차 화상의 데이터, 및 노출 부족의 색차 화상의 데이터의 각각을 합성함으로써, 합성 색차 화상의 데이터를 생성한다. 그리고, 합성 색차 화상의 데이터가 생성되는 일련의 처리를, 이하, 색차 성분 합성 처리라고 한다.

합성부(11)로부터는, 휘도 성분 합성 처리에 의해 생성된 합성 휘도 화상의 데이터가 출력되고, 또한 색차 성분 합성 처리에 의해 생성된 합성 색차 화상의 데이터가 출력된다.

그리고, 휘도 성분 합성 처리에 있어서는, 적정 노출의 휘도 화상의 데이터, 노출 과다의 휘도 화상의 데이터, 및 노출 부족의 휘도 화상의 데이터의 각각은, 소정의 합성 비율에 따라 합성된다.

예를 들면, 적정 노출 휘도 화상, 노출 과다 휘도 화상, 및 노출 부족 휘도 화상의 각각의 데이터의 합성 비율이, 70%, 30%, 0%인 경우에는, 적정 노출 휘도 화상의 데이터의 70%와, 노출 과다 휘도 화상의 데이터의 30%가 혼합된 결과 얻어지는 데이터가, 합성 휘도 화상의 데이터가 된다.

한편, 색차 성분 합성 처리에 있어서도, 적정 노출의 색차 화상의 데이터, 노출 과다의 색차 화상의 데이터, 및 노출 부족의 색차 화상의 데이터의 각각은, 소정의 합성 비율에 따라 합성되어, 채도가 조정된다.

본 실시예에서는, 전술한 휘도 성분 합성 처리에 사용되는 합성 비율이 그대로 색차 성분 합성 처리의 합성 비율로서 사용된다.

그리고, 색차 성분 합성 처리에 사용되는 합성 비율은, 휘도 성분 합성 처리에 사용되는 합성 비율과 독립적으로 설정해도 된다.

다음으로, 합성부(11)를 구성하는 휘도 성분 합성부(21) 및 색차 성분 합성부(22)에 대하여, 이하에서 상세하게 설명한다.

처음에, 휘도 성분 합성부(21)에 대하여 상세하게 설명한다.

휘도 성분 합성부(21)는, 평균화부(31), ε 필터부(32), 합성부(33), 게인 설정부(34), 감산부(35), 콘트라스트 강조부(36), 및 에지 강조부(37)를 구비한다.

평균화부(31)는, 적정 노출의 휘도 화상의 데이터, 노출 과다의 휘도 화상의 데이터, 및 노출 부족의 휘도 화상의 데이터의 각각을 평균화하고, 그 결과 얻어지는 화상의 데이터(이하, "평균 휘도 화상의 데이터"라고 함)를 ε 필터부(32)에 공급한다.

ε 필터부(32)는, 평균화부(31)로부터 공급된 평균 휘도 화상의 데이터에 대하여, ε 필터(비선형 필터)로 처리하여, 평활화된 화상의 데이터를 생성하고, 합성부(33) 및 감산부(35)에 공급한다.

ε 필터부(32)로부터 출력되는 평활화된 평균 휘도 화상의 데이터는, 합성부(33)에 있어서의 합성 비율을 결정하는 재료로서 사용된다.

합성부(33)는, 적정 노출의 휘도 화상의 데이터, 노출 과다의 휘도 화상의 데이터, 및 노출 부족의 휘도 화상의 데이터의 각각을 소정의 합성 비율로 합성한다.

구체적으로는 예를 들면, 합성부(33)는, 적정 노출의 휘도 화상의 데이터, 노출 과다의 휘도 화상의 데이터, 및 노출 부족의 휘도 화상의 데이터 각각을 구성하는 각 화소 중, 동일 위치(좌표)에 존재하는 화소를, 각각 주목 화소로서 설정하고, 그리고, 각각의 주목 화소에 대하여 합성 비율을 각각 설정하고, 설정된 각각의 합성 비율로, 각각의 주목 화소를 화소값 레벨로 합성한다.

도 3은, 프로그램 메모리(7)에 저장되는 합성 비율을 설정하는 테이블의 일례를 나타내고 있다.

도 3에 있어서, 가로축은, 평균 휘도 화상의 휘도값(0∼255의 범위 내의 값)을 나타내고, 세로축은, 합성 비율(%)을 나타낸다.

실선으로 묘화된 선은, 적정 노출 휘도 화상에 적용되는 적정 노출 휘도 화상용 합성 비율 "Rate(correct)"를 나타낸다.

점선으로 묘화된 선은, 노출 과다 휘도 화상에 적용되는 노출 과다 휘도 화상용 합성 비율 "Rate(over)"를 나타낸다.

일점 쇄선으로 묘화된 선은, 노출 부족 휘도 화상에 적용되는 노출 부족 휘도 화상용 합성 비율 "Rate(under)"를 나타낸다.

합성부(33)는, 평균 휘도 화상의 데이터의 휘도값에 기초하여, "Rate(correct)", "Rate(over)", 및 "Rate(under)" 각각을 설정한다.

예를 들면, 평균 휘도 화상의 데이터의 휘도값이 낮은 경우, 노출 과다의 노출 조건으로 촬영된 화상의 데이터의 합성 비율이 높아지도록, "Rate(over)", "Rate(correct)", "Rate(under)"가 설정된다.

또한, 평균 휘도 화상의 데이터의 휘도값이 높은 경우, 노출 부족의 노출 조건으로 촬영된 화상의 데이터의 합성 비율이 높아지도록, "Rate(over)", "Rate(correct)", "Rate(under)"가 설정된다.

또한, 합성되는 주목 화소의 휘도의 합성값 "Y(mix)"는 이하의 식 (1)에서 연산되고 결정된다.

Y(mix) = Rate(under)*Y(under) + Rate(correct)*Y(correct) + Rate(over)* Y(over)…(1)

Y(under): 노출 부족의 휘도 화상의 데이터의 주목 화소의 휘도값

Y(correct): 적정 노출의 휘도 화상의 데이터의 주목 화소의 휘도값

Y(over): 노출 과다의 휘도 화상의 데이터의 주목 화소의 휘도값

그리고, 합성부(33)는, 적정 노출의 휘도 화상의 데이터, 노출 과다의 휘도 화상의 데이터, 및 노출 부족의 휘도 화상의 데이터 사이에서 동일 좌표에 존재하는 화소를 주목 화소에 차례로 설정하고, 그 때마다, 전술한 일련의 처리를 반복함으로써, 합성 휘도 화상의 데이터를 생성한다.

도 4의 (A)∼(F)는, 합성부(33)에서의 처리에 의해 얻어지는 화상을 나타내고 있다.

도 4의 (A)는, 노출 부족의 휘도 화상의 일례를 나타내고 있다.

도 4의 (B)는, 연속 촬영에 의해 도 4의 (A)의 화상의 화각과 동일 화각으로 촬영된, 적정 노출의 휘도 화상을 나타내고 있다.

도 4의 (C)는, 연속 촬영에 의해 도 4의 (A), 도 4의 (C)의 화상의 화각과 동일 화각으로 촬영된, 노출 과다의 휘도 화상을 나타내고 있다.

도 4의 (D)는, 평균 휘도 화상을 나타내고 있다.

도 4의 (E)는, 평활화된 평균 휘도 화상을 나타내고 있다.

도 4의 (F)는, 합성 휘도 화상을 나타내고 있다.

합성부(33)는, 이와 같이 하여 생성되는 합성 휘도 화상의 데이터의 밝기를 조정한다.

구체적으로는, 게인 설정부(34)는, 합성 휘도 화상의 데이터의 밝기를 조정하는 게인으로서 적정 노출의 휘도 화상의 데이터에 적용되는 조정 게인 "Gain(correct)"과, 노출 과다의 휘도 화상의 데이터에 적용되는 조정 게인 "Gain(over)"과, 노출 부족의 휘도 화상의 데이터에 적용되는 조정 게인"Gain(under)"을 설정한다.

게인 설정부(34)에 의해 설정된 각 조정 게인 "Gain(correct)", "Gain(over)", 및 "Gain(under)" 각각은, Rate(correct), Rate(over), 및 Rate(under)의 각각에 승산된다. 이로써, 합성 휘도 화상의 데이터의 밝기가 조정된다.

도 5는, 각 조정 게인 "Gain(correct)", "Gain(over)", 및 "Gain(under)"가 승산된 Rate(correct), Rate(over), 및 Rate(under)의 테이블의 일례를 나타내고 있다.

도 5의 테이블은, 도 3의 테이블에 대하여, "Gain(over)" = 2.0, "Gain(correct)" = 1.5, 및 "Gain(under)" = 1.0이 설정된 결과이다.

도 6의 (A)는, 각 조정 게인 "Gain(correct)", "Gain(over)", 및 "Gain(under)"이 승산되어 있지 않은 경우의 합성 화상의 데이터, 즉 도 3의 테이블에 기초하여 합성된 합성 화상을 나타내고 있다.

도 6의 (B)는, 각 조정 게인 "Gain(over)", Gain(over)", 및 "Gain(under)"이 승산된 경우의 합성 화상의 데이터, 즉 도 5의 테이블에 기초하여 합성된 합성 화상을 나타내고 있다.

도 6의 (B)의 합성 화상의 데이터는, 도 6의 (A)의 합성 화상의 데이터와 비교하여, 암부를 중심으로 밝게 되도록 조정되어 있다.

도 2에 있어서, 감산부(35)에는, 평균화부(31)로부터 출력되는 평균 휘도 화상의 데이터가 공급된다.

감산부(35)는, 평균 휘도 화상의 데이터와, 평활화된 평균 휘도 화상의 데이터와의 차분을 연산하고 그 결과 얻어지는 차분 데이터를, 콘트라스트 성분으로서, 콘트라스트 강조부(36)에 출력한다.

콘트라스트 강조부(36)는, 합성부(33)로부터 출력된 합성 휘도 화상의 데이터의 각 주목 화소에 대하여, 감산부(35)로부터 출력된 콘트라스트 성분을 가산한다.

또한, 콘트라스트 강조부(36)는, 전술한 바와 같이 콘트라스트 성분을 더함으로써 백화 현상이나 흑화 현상의 발생을 방지하기 위하여, 합성 휘도 화상의 데이터의 휘도값에 따라, 콘트라스트 성분의 더하는 양을 조정한다.

그리고, 더해져서 조정되는 콘트라스트 성분 "Y(c)"는 다음의 식 (2)에 의해 나타낸다.

Y(c) =Y(ave) - Y(ave)ε + C …(2)

Y(ave): 평균 휘도 화상의 데이터의 콘트라스트 성분

Y(ave)ε: 평활화된 평균 휘도 화상의 데이터의 콘트라스트 성분

C: 상수(=127)

또한, 이로써, 콘트라스트 강조부(36)로부터 출력된 합성 휘도 화상의 데이터의 주목 화소의 화소값 Y(r)은, 이하의 식 (3)에 의해 표시된다.

Y(r) = Y(mix) + (Y(c)-C)*add_lev …(3)

add_lev: 처리 대상의 주목 화소에 대한 가산량

이와 같이, 콘트라스트 강조부(36)는, 식 (3)에 따라, 콘트라스트 강조 후의 합성 화상의 주목 화소의 화소값 Y(r)을 연산한다.

이 경우의 가산량 add_lev는, 합성부(33)로부터 출력되는 합성 휘도 화상의 데이터의 주목 화소의 휘도값과, 미리 프로그램 메모리(7)에 준비된 가산량을 설정하기 위한 테이블에 의해 설정된다.

도 7의 (A)는, 콘트라스트 성분으로 표현되는 화상의 일례를 나타내고 있다.

도 7의 (B)는, 콘트라스트 강조부(36)에 의한 콘트라스트 강조 처리 전의 합성 휘도 화상을 나타내고 있다.

도 7의 (C)는, 콘트라스트 강조부(36)에 의한 콘트라스트 강조 후의 합성 휘도 화상을 나타내고 있다.

이와 같이 하여 콘트라스트 강조부(36)에 의해 생성된 콘트라스트 강조 후의 합성 휘도 화상의 데이터는, 에지 강조부(37)에 공급된다.

에지 강조부(37)는, 평균화부(31)에 의해 에지 성분이 부족한 합성 휘도 화상의 데이터에 대하여, 각 합성 비율끼리의 비에 따라, 주목 화소 단위로 에지 강조의 처리를 행한다.

구체적으로는, 에지 강조부(37)는, 적정 노출용 합성 비율 "Rate(correct)"와 노출 과다용 합성 비율 "Rate(over)"와의 비율, 또한 적정 노출용 합성 비율 "Rate(correct)"와 노출 부족용 합성 비율 "Rate(under)"와의 비율이 동일한 비율에 가까워질수록, 강조 레벨이 커지도록 설정하여 합성 휘도 화상의 데이터의 각 주목 화소에 대하여 에지 강조 처리를 행한다.

그리고, 사전에 적정 노출의 휘도 화상의 데이터, 노출 과다의 휘도 화상의 데이터, 및 노출 부족의 휘도 화상의 데이터 각각에 대하여 에지 강조가 행해져 있는 경우에는, 에지 강조부(37)의 처리는 생략된다.

에지 강조부(37)에 의해 에지 강조의 처리가 행해진 합성 휘도 화상의 데이터는, 휘도 성분 합성부(21)의 출력 데이터로서 출력된다.

다음으로, 색차 성분 합성부(22)에 대하여 상세하게 설명한다.

도 2에 나타낸 바와 같이, 색차 성분 합성부(22)는, 합성 비율 취득부(41), 합성부(42), 및 채도 강조부(43)를 구비하고 있다.

합성 비율 취득부(41)는, 휘도 성분 합성부(21)의 합성부(33)에 있어서 주목 화소의 합성에 사용된 합성 비율 "Rate(over)", "Rate(correct)", "Rate(under)"를 취득한다.

또한, 합성 비율 취득부(41)는, 게인 설정부(34)에 의해 설정되는 각 조정 게인 "Gain(correct)", "Gain(over)", 및 "Gain(under)"가 승산된 각 합성 비율"Rate(over)", "Rate(correct)", "Rate(under)"(도 5 참조)를 취득한다.

그리고, 합성 비율 취득부(41)는, 필요에 따라 도 3의 테이블에 기초하여 설정된 합성 비율, 즉 게인 설정부(34)에 의해 설정되는 조정 게인을 사용한 밝기 조정 전의 합성 비율을 취득하도록 해도 된다.

합성부(42)는, 합성 비율 취득부(41)에 의해 취득된 합성 비율, 즉 휘도 성분 합성부(21)의 합성부(33)에 있어서 주목 화소의 합성에 사용된 합성 비율을 그대로 사용하여, 적정 노출의 UV 화상의 데이터, 노출 과다의 색차 화상의 데이터, 및 노출 부족의 색차 화상의 화상 데이터 각각의 화소값을 주목 화소 단위로 합성한다.

합성부(42)는, 다음의 식 (4)를 연산함으로써, 합성되는 주목 화소의 색차 성분의 합성값 UV(mix)를 연산한다.

UV(mix) = Rate(under)*UV(under) + Rate(correct)*UV(correct) + Rate(over)*UV(over) …(4)

UV(under): 노출 부족의 휘도 화상의 데이터의 주목 화소의 휘도값

UV(correct): 적정 노출의 휘도 화상의 데이터의 주목 화소의 휘도값

UV(over): 노출 과다의 휘도 화상의 데이터의 주목 화소의 휘도값

이와 같이 하여 색차 성분 합성부(22)의 합성부(42)에 의해 생성된 합성 화상의 데이터를, 이하, "합성 색차 화상의 데이터"라고 한다.

그리고, UV합성부(22)는, 휘도 성분 합성부(21)와 동기하여 동작해도 되지만, 비동기로 동작해도 된다.

비동기로 동작하는 경우에는, 예를 들면, 휘도 성분 합성부(21)에 있어서 사용된 각 합성 비율 Rate(correct), Rate(over), 및 Rate(under)는 버퍼(도시하지 않음)에 일시적으로 축적되고, 합성 비율 취득부(41)는, 상기 버퍼에 축적된 합성 비율을 취득한다.

이 경우, 버퍼에 축적된 1 이상의 화소마다의 합성 비율 중에서, 색차 화상 측의 주목 화소와 동일한 좌표의 휘도 화상 내의 화소에 대하여 적용된 합성 비율을 합성부(42)가 인식할 수 있는 구조가, 합성부(11)에 설치된다.

합성부(42)에 의해 생성된 합성 색차 화상의 데이터는, 채도 강조부(43)에 공급된다.

채도 강조부(43)는, 합성 색차 화상의 주목 화소의 화소값에 대하여 소정의 게인을 승산함으로써, 주목 화소의 채도를 강조한다.

이와 같이, 채도 강조부(43)의 처리 단위도 주목 화소이며, 주목 화소로서 설정된 화소마다, 게인이 설정된다. 상세하게는, 채도 레벨이 낮은 경우와 높은 경우에 있어서는 강조의 게인이 억제된다.

그리고, 채도 강조부(43)가 행하는 강조 레벨은, YUV 공간으로부터 변환된 HSV 공간에 있어서 산출된 S값을 채용하여 강조하는 것이 바람직하다.

단, 처리의 부담을 고려하면, 식 (5)의 함수로 나타낸 바와 같이, U값과 V값의 각각의 절대값 중 큰 쪽을 채용한다.

S_lev = max(|U_mix|, |V_mix|) …(5)

S_lev: 채도 레벨

U_mix: 합성 색차 화상의 주목 화소의 U값

V_mix: 합성 색차 화상의 주목 화소의 V값

따라서, 합성 색차 화상의 데이터 중 저채도와 고채도의 영역의 화소가 주목 화소로 설정된 경우에, 게인이 억제된다.

이로써, 게인에 의한 색포화(色飽和)나, 회색 영역에 대한 불필요한 채도 강조를 방지할 수 있게 된다.

채도 강조부(43)에 의해 채도가 강조된 합성 색차 화상의 데이터는, 색차 성분 합성부(22)의 출력 데이터로서 출력된다.

도 8의 흐름도를 참조하여, 이와 같은 구성을 가지는 도 2의 색차 성분 합성부(22)가 실행하는 색차 성분 합성 처리에 대하여 설명한다.

단계 S1에 있어서, 색차 성분 합성부(22)는, 적정 노출의 색차 화상의 데이터, 노출 과다의 색차 화상의 데이터, 및 노출 부족의 색차 화상의 데이터의 각각을 구성하는 화소 중, 소정의 좌표에 위치하는 화소를 주목 화소로서 설정한다(색차 화상의 주목 화소의 좌표와 동일한 좌표에 위치하는 휘도 화상 내의 화소도, 휘도 화상의 주목 화소로서 설정되어 있는 것으로 함).

단계 S2에 있어서, 색차 성분 합성부(22)는, 휘도 화상의 주목 화소에 대한 휘도 성분 합성 처리가 실행되었는지의 여부를 판정한다.

휘도 화상의 주목 화소에 대한 휘도 성분 합성 처리가 실행중인 경우에는, 단계 S2에 있어서 NO인 것으로 판정되어, 처리는 단계 S2에 되돌려진다.

즉, 휘도 화상의 주목 화소에 대한 휘도 성분 합성 처리가 실행중인 경우에는, 단계 S2의 판정 처리가 반복적으로 실행되어 색차 성분 합성 처리는 대기 상태로 된다.

그 후, 휘도 화상의 주목 화소에 대한 휘도 성분 합성 처리가 종료한 경우에는, 단계 S2에 있어서 YES인 것으로 판정되어, 처리는 단계 S3으로 진행한다.

단계 S3에 있어서, 색차 성분 합성부(22)의 합성 비율 취득부(41)는, 휘도 화상의 주목 화소에 대한 휘도 성분 합성 처리에서 사용되는 합성 비율을 취득한다.

즉, 주목 화소에 대하여 전술한 식 (1)이 연산될 때, Rate(correct), Rate(over), Rate(under)의 각각이 합성 비율 취득부(41)에 의해 취득된다.

단계 S4에 있어서, 합성 비율 취득부(41)는, 노출이 각각 상이한 복수의 색차 화상의 데이터에 있어서 각 주목 화소의 데이터를 취득한다.

즉, 본 실시예에서는, 적정 노출의 색차 화상의 데이터, 노출 과다의 색차 화상의 데이터, 및 노출 부족의 색차 화상의 데이터에서의 각 주목 화소의 데이터가 취득된다.

단계 S5에 있어서, 합성 비율 취득부(41)는, 단계 S3의 처리에서 취득된 합성 비율 Rate(correct), Rate(over), Rate(under)를 사용하여, 적정 노출의 색차 화상의 데이터, 노출 과다의 색차 화상의 데이터, 및 노출 부족의 색차 화상의 데이터를 합성함으로써, 합성 색차 화상의 데이터를 생성한다.

단계 S6에 있어서, 채도 강조부(43)는, 합성 색차 화상의 데이터에 대하여, 채도 강조 처리를 행한다.

단계 S7에 있어서, 색차 성분 합성부(22)는, 모든 화소를 주목 화소로서 설정하여 처리했는지의 여부를 판정한다.

적정 노출의 색차 화상의 데이터, 노출 과다의 색차 화상의 데이터, 및 노출 부족의 색차 화상의 데이터의 각각을 구성하는 화소의 데이터 중, 아직 주목 화소로서 설정되어 있지 않아 처리되어 있지 않은 화소의 데이터가 존재하는 경우, 단계 S7에 있어서 NO인 것으로 판정되어, 처리는 단계 S2에 되돌려져 그 이후의 처리가 반복된다.

즉, 적정 노출의 색차 화상의 데이터, 노출 과다의 색차 화상의 데이터, 및 노출 부족의 색차 화상의 데이터의 각각을 구성하는 화소가 주목 화소로서 차례로 설정될 때마다, 단계 S1 내지 S7의 루프 처리가 반복적으로 실행되어, 합성 색차 화상의 데이터가 계속적으로 생성된다.

그리고, 마지막 화소가 단계 S1의 처리에서 주목 화소에 설정되어, 단계 S2내지 S6의 처리가 실행되면, 합성 색차 화상의 데이터가 완성되므로, 다음 단계 S7에 있어서 YES인 것으로 판정되어, 색차 성분 합성 처리는 종료로 된다. 그리고, 이 후, 합성 처리된 화상은 상기 합성 휘도 화상의 데이터와 함께 파일화되어, 화상 기록부(6)에 기록된다.

이상 설명한 바와 같이, 노출이 각각 상이한 복수 화상의 데이터가, 휘도 성분으로 이루어지는 복수의 휘도 화상의 데이터와, 색차 성분으로 이루어지는 복수의 색차 화상의 데이터로 분리되어 있는 경우, 도 2의 휘도 성분 합성부(21)는, 분리 후의 복수의 휘도 화상의 데이터를, 소정의 합성 비율을 사용하여 합성한다. 한편, 색차 성분 합성부(22)는, 분리 후의 복수의 색차 화상의 데이터를, 휘도 성분 합성부(21)와 동일(또는, 거의 동일)한 합성 비율을 사용하여 합성한다.

이로써, 휘도가 조정된 합성 휘도 화상의 데이터뿐만 아니라, 채도가 조정된 합성 색차 화상의 데이터도 얻을 수 있으므로, 이들을 합한 결과 얻어지는 HDR 합성 화상의 데이터는, 종래보다, 백화 현상이나 흑화 현상이 적은 폭넓은 다이나믹 레인지를 가지며, 또한 채도도 적절하게 조정된 화상의 데이터가 된다.

특히, 휘도 성분 합성부(21)가, 복수의 휘도 화상 내의 동일 좌표의 각 화소의 데이터를, 좌표마다 상이한 합성 비율을 사용하여 합성하고, 색차 성분 합성부(22)가, 복수의 색차 화상 내의 동일 좌표의 각 화소의 데이터를, 상기 좌표와 동일한 색차 화상 내의 좌표용의 합성 비율을 사용하여 합성함으로써, 화소마다의 적응적인 조정이 가능해지므로, 상기 효과가 현저하게 된다.

그리고, 본 발명은 상기 실시예에 한정되지 않고, 본 발명의 목적을 달성할 수 있는 범위에서의 변형, 개량 등은 본 발명에 포함되는 것이다.

예를 들면, 전술한 실시예에서는, 휘도 성분 합성 처리 시에 사용하는 평균 휘도 화상의 데이터로서는, 노출이 상이한 복수의 휘도 화상의 데이터가 평균화된 평균 휘도 화상의 데이터에 대하여, ε 필터에 의해 평활화된 데이터가 사용되었다.

그러나, 평균 휘도 화상의 데이터는, 특별히 이것으로 한정되지 않고, 평균 휘도 화상의 데이터에 대하여, ε 필터 대신 통상의 LPF(Low Pass Filter)로 처리된 데이터를 사용해도 된다.

단, 통상의 LPF보다, 본 실시예와 같이 ε 필터를 채용하는 것이 바람직하다. 이하, 바람직한 이유에 대하여 설명한다.

즉, 휘도 성분 합성부(21)에 의한 Y 성분 합성 처리에 있어서는, 콘트라스트 강조부(36)에 의한 콘트라스트 강조나, 그 전단(前段)의 합성부(33)에 의한 합성 휘도 화상의 데이터의 생성 시에, 오버슈트(overshoot) 또는 언더슈트(undershoot)가 발생한다.

이와 같은 오버슈트나 언더슈트의 발생을 경감하는 효과를 완수하는 것이, ε 필터이다. 즉, ε 필터는, 주목 화소와 그 주변의 화소와의 사이의 화소값의 차분을 국소 정보로서 사용함으로써, 통상의 LPF와 비교하여, 휘도 차가 큰 영역을 유지한 상태에서, 휘도 차가 작은 영역만을 효과적으로 흐릿하게 할 수 있다. 이로써, 오버슈트나 언더슈트의 발생의 경감 효과를 얻을 수 있게 된다.

그리고, 휘도 성분 합성부(21)가 Y 성분 합성 처리를 실행하여 바람직한 합성 휘도 화상의 데이터를 생성하기 위해서는, 흐릿한 양이 큰 평균 휘도 화상의 데이터가 필요하게 된다. 이와 같은 데이터를 생성하기 위한 ε 필터로서는, 큰 사이즈가 요구되므로, 처리량과 처리 시간의 증가가 문제로 되는 경우가 있다.

이와 같은 문제를 발생시키지 않거나 또는 경감시킬 필요가 있는 경우에는, 도시하지 않지만, 평균화부(31)로부터 출력된 평균 휘도 화상의 데이터의 사이즈를, 예를 들면, QVGA(Quarter VGA)로 축소시키는 축소부를 합성부(11)에 설치하도록 해도 된다. 이 경우,ε 필터(32)는, 축소 후의 화상의 데이터에 대하여 ε 필터로 처리하므로, 상기ε 필터의 사이즈를 작게 할 수 있고, 그 결과, 처리량과 처리 시간을 감소시킬 수 있게 된다. 그리고, ε 필터(32)의 출력 데이터의 사이즈도 QVGA인 상태에서, 상기 출력 데이터의 사이즈를 원래의 사이즈로 확대하는 확대부도 합성부(11)에 설치할 필요가 있다.

그리고, 이 경우에는, 축소부의 축소율 및 확대부의 확대율이 커지게 됨에 따라, 판정용 휘도 화상의 에지가 완만하게 되므로, 전술한 ε 필터에 의한 효과, 즉 오버슈트와 언더슈트의 경감의 효과가 약간 약해지는 점에 주의할 필요가 있다.

또한, 예를 들면, 전술한 실시예에서는, 노출이 각각 상이한 복수 화상의 데이터로서, 3개의 화상의 데이터가 합성되었지만, 합성 대상의 화상의 데이터 수는, 특별히 이에 한정되지 않는다. 즉, 본 발명은, 2장 이상의 임의의 수의 화상의 데이터를 합성하는 경우에 널리 적용할 수 있다.

또한, 전술한 실시예에서는, 합성 처리 시에 있어서 얼굴 화상 영역의 존재를 고려하고 있지 않지만, 공지의 얼굴 화상 영역 검출 기술을 사용하여, 적어도 촬상 시와 합성 처리 시 중 한쪽에 있어서 얼굴 화상 영역을 검출시켜, 이 검출된 얼굴 화상의 밝기를 고려한 촬상 제어, 또는 합성 처리 제어를 행해도 된다.

촬영 시에 있어서 얼굴 화상 영역을 검출하는 케이스에 있어서는, 얼굴의 밝기를 최적으로 하는 노출 설정을 중심으로 하여 적정 노출, 노출 부족, 및 노출 과다 화상 데이터를 촬상에 의해 취득하도록 제어한다. 그리고, 합성 시는, 얼굴 부분에 대해서는 적정 노출로 취득된 휘도화 데이터가 채용되도록, 합성 비율을 설정할 수 있다.

또한, 합성 처리 시에 있어서는, 취득된 모든 화상 데이터에 대하여 얼굴 화상 영역의 검출을 시도해도 된다.

적어도 하나로부터 얼굴 화상 영역을 검출할 수 있으면 되지만, 복수장 검출한 경우라도, 그 중에서 얼굴 화상 영역이 포함되어 있는 화상 데이터 중, 적정 노출이 되어 있는 화상 데이터에 가장 가까운 것을 선택한다.

그리고, 상기 선택 처리를 경감시키기 위하여, 적정 노출값으로 촬영된 화상 데이터에 노출값이 가까우면서, 또한 밝은 화상을 선택하도록 해도 된다.

그리고, 선택된 화상 데이터에서의 얼굴 화상 영역의 밝기 평균을 계측하고, 이 계측된 노출에 맞추어서, 비선형 감마 변환 등을 적용함으로써, 복수 화상 데이터 중, 합성 처리에 채용하는 노출 과다, 및 노출 부족의 각 휘도 화상 데이터를 선택한다.

또한, 합성 비율에 대해서는, 얼굴 화상 영역의 밝기를 중심으로 한 것으로 설정한다.

그리고, 이와 같이 휘도 화상 데이터에 대하여 합성 비율을 설정한 후, 이 합성 비율에 맞추어서 색차 화상에 대해서도 합성 처리하고, 채도 강조를 추가적으로 행한다.

그리고, 합성 대상으로 되는, 노출이 각각 상이한 복수 화상의 데이터는, 전술한 각 도면에 나타낸 구체예로 특별히 한정되지 않는다. 예를 들면, 합성 대상으로 되는 복수 화상의 데이터가 촬상될 때의 노출의 설정은, 전술한 각 도면에 나타낸 구체예로 한정되지 않고, 노출이 각각 다르면, 임의로 설정해도 된다.

또한, 전술한 실시예에서는 특별히 언급하지 않았지만, 노출이 각각 상이한 복수 화상의 데이터는, 합성되는 것을 고려하면, 위치 어긋남이 미리 보정되어 있는 것이 바람직하다.

또한, 예를 들면, 전술한 실시예에서는, 본 발명이 적용되는 화상 처리 장치는, 디지털 카메라로서 구성되는 예로서 설명하였다.

그러나, 본 발명은, 특별히 이에 한정되지 않고, 화상 처리 기능을 가지는 전자 기기에 일반적으로 적용할 수 있고, 예를 들면, 본 발명은, 디지털 포토 프레임, 퍼스널 컴퓨터, 휴대형 네비게이션 장치, 휴대용 게임기 등에 널리 적용할 수 있다.

환언하면, 전술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수 있다.

도 9는, 전술한 일련의 처리를 소프트웨어에 의해 실행시키는 경우, 본 발명이 적용되는 화상 처리 장치의 하드웨어 구성을 나타낸 블록도이다.

도 9의 예에서는, 화상 처리 장치는, CPU(Central Processing Unit)(201), ROM(Read Only Memory)(202), RAM(Random Access Memory)(203), 버스(204), 입출력 인터페이스(205), 입력부(206), 출력부(207), 기억부(208), 통신부(209), 및 드라이브(210)를 구비하고 있다.

CPU(201)는, ROM(202)에 기록되어 있는 프로그램에 따라 각종 처리를 실행한다. 또는, CPU(201)는, 기억부(208)로부터 RAM(203)에 로드된 프로그램에 따라 각종 처리를 실행한다.

RAM(203)에는, 또한, CPU(201)가 각종 처리를 실행하는데 있어서 필요한 데이터 등도 적절하게 기억된다.

예를 들면, 본 실시예에서는, 합성부(11)의 기능을 실현하는 프로그램이, ROM(202)이나 기억부(208)에 기억되어 있다. 따라서, CPU(201)가, 이들 프로그램에 따른 처리를 실행함으로써, 합성부(11)의 기능을 실현할 수 있다.

CPU(201), ROM(202), 및 RAM(203)은, 버스(204)를 통하여 서로 접속되어 있다. 이 버스(204)에는, 또한 입출력 인터페이스(205)도 접속되어 있다. 입출력 인터페이스(205)에는, 입력부(206), 출력부(207), 기억부(208), 및 통신부(209)가 접속되어 있다.

입력부(206)는, 각종 버튼 등의 조작부에 의해 구성되며, 사용자의 지시 조작을 받아들이는 것 외에, 각종 정보를 입력한다.

출력부(207)는, 각종 정보를 출력한다. 예를 들면, 출력부(207)에는, 도시하지 않은 표시부가 설치되어 있고, 합성부(11)의 출력 데이터에 의해 나타내어지는 합성 화상이 표시된다.

기억부(208)는, 하드디스크나 DRAM(Dynamic Random Access Memory) 등으로 구성되며, 각종 데이터를 기억한다.

통신부(209)는, 인터넷을 포함하는 네트워크를 통하여 다른 장치(도시하지 않음)와의 사이에서 행하는 통신을 제어한다.

입출력 인터페이스(205)에는, 또한 필요에 따라 드라이브(210)가 접속되고, 자기 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등으로 이루어지는 이동식 매체(211)가 적절하게 장착된다. 드라이브(210)에 의해 이동식 매체(211)로부터 판독된 프로그램은, 필요에 따라 기억부(208)에 인스톨된다. 또한, 이동식 매체(211)는, 기억부(208)에 기억되어 있는 화상 데이터 등의 각종 데이터도, 기억부(208)와 마찬가지로 기억할 수 있다.

일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터 등에 네트워크나 기록 매체로부터 인스톨된다. 컴퓨터는, 전용의 하드웨어에 내장되어 있는 컴퓨터라도 된다. 또한, 컴퓨터는, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행할 수 있는 컴퓨터, 예를 들면, 범용 퍼스널 컴퓨터라도 된다.

이와 같은 프로그램을 포함하는 기록 매체는, 사용자에게 프로그램을 제공하기 위해 장치 본체와는 별도로 배포되는 이동식 매체(211)에 의해 구성되는 경우 뿐만 아니라, 장치 본체에 미리 내장된 상태로 사용자에게 제공되는 기록 매체 등으로 구성될 수도 있다. 이동식 매체(211)는, 예를 들면, 자기 디스크(floppy disk를 포함함), 광디스크, 또는 광자기 디스크 등에 의해 구성된다. 광디스크는, 예를 들면, CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk) 등에 의해 구성된다. 광자기 디스크는, MD(Mini-Disk) 등에 의해 구성된다. 또한, 장치 본체에 미리 내장된 상태로 사용자에게 제공되는 기록 매체는, 예를 들면, 프로그램이 기록되어 있는 ROM(202)이나 기억부(208)에 포함되는 하드디스크 등으로 구성된다.

그리고, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술(記述)하는 단계는, 그 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적으로 또는 개별적으로 실행되는 처리도 포함하는 것이다.

Claims

노출 조건을 상이하게 하여 동일한 화각(畵角)으로 촬영된 복수 화상의 데이터에 대하여, 각각, 소정의 색공간(color space)에 있어서 규정되는 휘도 성분으로 이루어지는 복수의 제1 화상의 데이터와, 그 외의 성분으로 이루어지는 복수의 제2 화상의 데이터로 분리하는 분리 수단;
상기 분리 수단에 의해 분리된 후의, 각각 노출 조건이 상이한 복수의 상기 제1 화상의 데이터를, 소정의 합성 비율을 사용하여 합성하는 제1 합성 수단; 및
상기 제1 합성 수단에 의해 합성된 소정의 합성 비율을 사용하여, 각각 노출 조건이 상이한 복수의 상기 제2 화상의 데이터를 합성하는 제2 합성 수단
을 포함하는 화상 합성 장치.
제1항에 있어서,
노출 조건이 상이한 복수의 상기 제1 화상의 데이터를 평균화하는 평균화 수단;
평균화된 상기 화상의 데이터를 평활화하는 평활화 수단; 및
상기 평활화 수단에 의해 평활화된 화상의 데이터를 사용하여, 상기 소정의 합성 비율을 설정하는 합성 비율 설정 수단
을 더 포함하는 화상 합성 장치.
제1항에 있어서,
상기 제1 합성 수단에 의한 합성 후의 상기 제1 화상의 데이터의 밝기를 조정하는 게인을, 상기 복수의 제1 화상의 데이터마다 설정하는 게인 설정 수단; 및
상기 게인 설정 수단에 의해 설정된 상기 게인을 상기 합성 비율로 곱함으로써, 상기 합성 비율을 조정하는 합성 비율 조정 수단
을 더 포함하는 화상 합성 장치.
제3항에 있어서,
상기 제2 합성 수단은, 상기 합성 비율 조정 수단에 의해 조정된 상기 합성 비율을 사용하여 상기 제2 화상의 데이터를 합성하는, 화상 합성 장치.
제1항에 있어서,
상기 제2 합성 수단에 의한 합성 후의 상기 제2 화상의 데이터의 채도를 강조하기 위한 게인을, 상기 합성 후의 상기 제2 화상의 데이터에 대하여 곱하는 처리 수단을 더 포함하는 화상 합성 장치.
제1항에 있어서,
노출 조건을 상이하게 하여 동일한 화각으로 촬영된 복수 화상의 데이터 중 적어도 하나로부터 얼굴 화상 영역을 검출하는 제1 화상 영역 검출 수단을 더 포함하고,
상기 제1 합성 수단은, 상기 제1 화상 영역 검출 수단에 의해 얼굴 화상 영역을 검출하면, 상기 얼굴 화상 영역에 대하여 적정한 밝기가 되는 노출 조건의 화상 데이터의 밝기에 따라 상기 합성 비율을 조정하는, 화상 합성 장치.
제1항에 있어서
촬상되어 있는 화상 데이터로부터 얼굴 화상 영역을 검출하는 제2 화상 영역 검출 수단; 및
상기 제2 화상 영역 검출 수단에 의해 얼굴 화상 영역을 검출하면, 상기 얼굴 화상 영역에 대하여 적정한 밝기로 되도록 노출값을 조정하고, 또한 조정된 노출값을 중심으로 노출 조건이 각각 상이한 복수 화상의 데이터를 촬상하도록 제어하는 촬상 제어 수단
을 더 포함하는 화상 합성 장치.
제1항에 있어서,
상기 제1 합성 수단은, 상기 복수의 제1 화상에 있어서 동일한 위치에 존재하는 각각의 화소의 데이터를, 좌표마다 상이한 합성 비율을 사용하여 합성하고,
상기 제2 합성 수단은, 상기 복수의 제2 화소에 있어서 동일한 위치에 존재하는 각각의 화소의 데이터를, 상기 위치와 동일한 상기 제1 화상 내의 위치용의 상기 합성 비율을 사용하여 합성하는, 화상 합성 장치.
노출 조건을 상이하게 하여 동일한 화각으로 촬영된 복수 화상의 데이터에 대하여, 각각, 소정의 색공간에 있어서 규정되는 휘도 성분으로 이루어지는 복수의 제1 화상의 데이터와, 그 외의 성분으로 이루어지는 복수의 제2 화상의 데이터로 분리하는 분리 단계;
상기 분리 단계에서 분리된 후의, 각각 노출 조건이 상이한 복수의 제1 화상의 데이터를, 소정의 합성 비율을 사용하여 합성하는 제1 합성 단계; 및
상기 제1 합성 단계에서 합성된 소정의 합성 비율을 사용하여, 각각 노출 조건이 상이한 복수의 제2 화상의 데이터를 합성하는 제2 합성 단계
를 포함하는 화상 합성 방법.
컴퓨터를,
노출 조건을 상이하게 하여 동일한 화각으로 촬영된 복수 화상의 데이터에 대하여, 각각, 소정의 색공간에 있어서 규정되는 휘도 성분으로 이루어지는 복수의 제1 화상의 데이터와, 그 외의 성분으로 이루어지는 복수의 제2 화상의 데이터로 분리하는 분리 수단;
상기 분리 수단에 의해 분리된 후의, 각각 노출 조건이 상이한 복수의 제1 화상의 데이터를, 소정의 합성 비율을 사용하여 합성하는 제1 합성 수단; 및
상기 제1 합성 수단에 의해 합성된 소정의 합성 비율을 사용하여, 각각 노출 조건이 상이한 복수의 제2 화상의 데이터를 합성하는 제2 합성 수단
으로서 기능하게 하는 프로그램 프로덕트.