KR101544078B1 - 화상합성을 행하는 화상처리장치 및 화상처리방법 - Google Patents

Abstract

피사체에 대한 조명조건에 상관없이, 스트로브 발광 화상과 스트로브 비발광 화상을 적절하게 합성할 수 있는 화상처리장치. 스트로브 발광 촬영의 감도를 스트로브 비발광 촬영의 감도보다 낮게 설정하고, 그 설정된 감도로 스트로브 발광 화상과 복수매의 스트로브 비발광 화상을 연속적으로 촬영한다. 스트로브 발광 화상을 게인량으로 게인 처리하고, 복수매의 스트로브 비발광 화상의 스트로브 발광 화상에 대한 위치 어긋남을 보정한다. 게인 처리후의 화상과 위치 어긋남 보정후의 화상을 합성해서 얻은 평균화 화상을, 스트로브 발광 화상에 있어서의 스트로브 조명량을 고려해서 스트로브 발광 화상과 합성하여서, 합성 화상을 얻는다.

Description

화상합성을 행하는 화상처리장치 및 화상처리방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD FOR PERFORMING IMAGE SYNTHESIS}

본 발명은, 복수매의 화상을 합성하는 화상처리장치 및 화상처리방법에 관한 것이다.

소지한 디지털 카메라 등의 촬상장치로 야경을 촬영하기 위해, 손 흔들림을 억제하기 위해서 고감도로 촬영을 행하지만, 이것은 노이즈가 증가하게 된다. 따라서, 고감도로 촬영한 복수매의 화상을 위치 맞춤한 후, 화상의 화소값을 화소마다 산술적으로 평균해서 그 평균 화소값을 합성함으로써, 손 흔들림을 억제하면서 노이즈가 적은 화상을 얻는 것이 알려져 있다.

발광 장치(스트로브 장치)로부터 피사체에 광을 조사하면서 촬영한 1매의 스트로브 발광 화상과, 상기 발광 장치를 사용하지 않고 촬영한 복수매의 스트로브 비발광 화상과를 합성하는 촬상장치도 알려져 있다(예를 들면, 일본국 공개특허공보 특개2007-124292호 참조).

본 촬상장치에서는, 스트로브 장치를 발광시키면서 촬영할 때, 감도를 낮게 설정한다. 스트로브 장치를 발광시키지 않으면서 촬영할 때는, 감도를 높게 설정한다. 다음에, 스트로브 발광 화상과 스트로브 비발광 화상의 합성 비율을 화소마다 결정하고, 그 결정된 합성 비율에 의거하여 이들 화상을 합성한다. 예를 들면, 스트로브 발광 화상의 각 화소의 휘도값과 스트로브 비발광 화상의 대응한 화소의 휘도값의 대소를 비교하고, 휘도값이 큰 쪽의 화소를 사용해서 (즉, 휘도값이 큰 쪽의 화소의 합성 비율을 100%로 설정해서) 이들의 화상을 합성한다.

그렇지만, 예를 들면, 조명광으로 조명된 인물영역에 그림자영역이 존재하는 경우에, 그 인물영역에 대해서 스트로브 발광 화상을 사용하지 않는 경우가 있다. 그 경우에, 부자연스러운 합성 화상이 되어버린다.

본 발명은, 피사체를 조명하는 조건에 관계없이, 스트로브 발광 화상과 스트로브 비발광 화상을 적절하게 합성할 수 있는 화상처리장치 및 화상처리방법을 제공한다.

본 발명의 일 국면에 따른 화상처리장치는, 발광 장치에 의한 발광을 수반하는 제1 촬영에 의한 제1 화상과 상기 발광을 수반하지 않는 제2 촬영에 의한 복수매의 제2 화상을 연속적으로 촬영하는 촬영부와, 상기 제1 촬영의 감도를 상기 제2 촬영의 감도보다 낮게 설정하는 감도설정부와, 상기 제1 화상의 화상 데이터에 대하여 게인량을 곱하는 게인 처리를 행하는 게인 처리부와, 상기 게인 처리부에 의해 게인 처리된 상기 제1 화상과 상기 복수매의 제2 화상에 의거하여 평균화 화상을 작성하는 평균화부와, 상기 촬영부에 의해 촬영된 상기 제1 화상과 상기 평균화부에 의해 작성된 상기 평균화 화상을 합성해서 합성 화상을 작성하는 합성부를 구비한다.

본 발명에 의해, 피사체를 조명하는 조건에 관계없이, 스트로브 발광 화상과 스트로브 비발광 화상을 적절하게 합성할 수 있다.

본 발명의 또 다른 특징들은, 첨부도면을 참조하여 이하의 예시적 실시예들의 설명으로부터 명백해질 것이다.

도 1은, 본 발명의 일 실시예에 따른 화상처리장치의 일례인 디지털 스틸 카메라의 하드웨어 구성을 나타내는 블록도;
도 2는, 복수매의 화상을 합성하는 화상합성처리를 모식적으로 도시한 도면;
도 3a는, 복수매의 화상을 촬영해서 합성하는 전체 처리의 순서를 나타내는 흐름도;
도 3b는, 상기 전체 처리에서 행해진 합성 처리의 순서를 나타내는 흐름도;
도 4a 및 도 4b는, 복수매의 화상의 위치 어긋남을 보정하기 위한 위치 어긋남량 검출에 사용된 위치 얼라인먼트 기준화상에서의 위치 어긋남량 검출 기준 블록과 위치 얼라인먼트 대상 화상을 각각 도시한 도면;
도 5는, 위치 얼라인먼트 기준화상의 휘도값과 위치 얼라인먼트 대상 화상의 휘도값간의 차이로부터 화상에 있어서의 스트로브 조명량을 산출할 때 사용하기 위한 휘도차 대 스트로브 조명량 테이블의 예를 나타내는 도면;
도 6a∼도 6c는, 야경을 배경으로 한 인물촬영 씬(scene)의 예를 나타내는 도면;
도 7a∼도 7d는, 인물을 조명한 씬의 일례와, 촬영 화상의 예들 및 합성 화상의 일례를 나타내는 도면이다.

이하, 본 발명을 바람직한 실시예를 나타낸 도면을 참조하여 상세히 설명한다.

도 1은, 본 발명의 일 실시예에 따른 화상처리장치의 일례인 디지털 스틸 카메라의 하드웨어 구성을 나타내는 블록도다.

도 1에서, 참조번호 40은, 촬영 렌즈(400), 조리개(401), 셔터(402), 및 촬영 렌즈(400)에 입사하는 광속L(광학상)을 전기신호로 변환하는 촬상소자(403)를 구비한 디지털 스틸 카메라를 나타낸다. 상기 구성요소(400∼403)는 촬영부를 구성한다.

디지털 스틸 카메라(40)는, 촬상소자(403)의 아날로그 신호 출력을 디지털 신호로 변환하는 Ａ/D변환기(404)와, 상기 촬상소자(403), 상기 A/D변환기(404) 및 D/A변환기(406)에 클록 신호와 제어신호를 공급하는 타이밍 발생부(405)를 더 구비한다.

메모리 제어부(408)는, A/D변환기(404), 타이밍 발생부(405), D/A변환기(406), 화상표시용 메모리(409), 메모리(410), 압축/신장부(411), 및 화상처리부(413)를 제어한다. A/D변환기(404)로 A/D변환된 디지털 데이터는, 화상처리부(413) 및 메모리 제어부(408)를 통해서, 또는 메모리 제어부(408)를 통해서, 화상표시용 메모리(409) 또는 메모리(410)에 기록된다.

화상표시용 메모리(409)는, D/A변환기(406)를 통해 액정 디스플레이(ＬＣＤ)등의 제1 표시부(407)에 출력된 화상표시용 데이터를 기억하고 있다. 상기 제1 표시부(407)에는, (화이트 밸런스 선택 메뉴 등의) 각종 메뉴가 표시되고, 이로부터 제1 조작부(424)를 조작하여서 원하는 메뉴가 선택되어 표시될 수 있다.

메모리(410)는, 촬영한 정지화상을 소정 매수 격납하는 기억 용량을 갖고, 시스템 제어부(430)와 화상처리부(413)의 작업 영역으로서도 사용된다. 압축/신장부(411)는, 메모리(410)에 격납된 화상 데이터를 판독해서 압축 처리를 행하고, 또한 압축된 화상 데이터를 판독해서 신장 처리를 행하고, 그 처리된 데이터를 메모리(410)에 기록한다. 외부기억장치(412)는, 디지털 스틸 카메라(40)의 본체에 대하여 착탈가능한 외장형의 기억매체(이를테면, ＣＦ카드, ＳＤ카드등)다. 메모리(410)에 일시적으로 격납된 화상 데이터는, 최종적으로 외부기억장치(412)에 격납된다.

화상처리부(413)는, A/D변환기(404) 또는 메모리 제어부(408)로부터 공급된 데이터에 관해 여러 가지의 화상처리(이를테면, 화이트 밸런스 처리, ＲＧＢ베이어(Bayer) 패턴 ＲＧＢ신호를 3플레인 ＲＧＢ신호로 변환하기 위한 색보간처리, 감마처리, 채도처리, 및 색상처리)를 행한다. 또한, 화상처리부(413)는, 후술하는 것처럼, 복수매의 화상 데이터를 합성하는 합성 처리를 행한다.

디지털 스틸 카메라(40)는, 촬영면과 공역된 화소들의 휘도를 측정하는 측광 센서(419)를 갖는다. 측광 센서(419)의 출력에 의거하여, 시스템 제어부(430)는 적절한 노광량을 산출한다. 그 산출된 노광량에 의거하여, 노광 제어부(414)는, 조리개(401), 셔터(402) 및 촬상소자(403)의 ＩＳＯ감도를 제어한다. 측거 센서(418)는, 유저에 의해 임의로 선택된 측거 점의 거리정보를 검출한다. 측거 제어부(415)는, 측거 센서(418)의 출력에 의거하여, 촬영 렌즈(400)의 포커싱을 제어한다.

줌 제어부(416)는, 디지털 스틸 카메라(40)에 있어서 촬영 렌즈(400)의 수동 주밍량(촛점거리)을 검지하고, 주밍을 자동으로 행하는 경우의 촬영 렌즈(400)의 줌량을 제어한다. 스트로브 유닛(스트로브 발광 장치)(426)은, 디지털 스틸 카메라(40)의 ＡＦ보조광 투광기능과 스트로브 조광기능을 주관한다. 각속도 센서(417)는, 디지털 스틸 카메라(40)의 수평/수직의 흔들림을 검지한다. 검지된 정보는, 주지의 손 흔들림 보정, 인물/풍경 촬영 등의 판정에 사용된다.

시스템 제어부(430)는, 디지털 스틸 카메라(40)의 전체적 동작을 제어한다. 시스템 제어부(430)의 동작에 사용되는 정수, 변수 프로그램, 화상처리용 파라미터들은, 시스템 제어부(430)의 워크 메모리로서도 사용된 메모리(420)에 기억되어 있다.

시스템 제어부(430)에서의 프로그램의 실행 진척에 따라, 카메라의 동작 상태나 메시지가, 제2 표시부(421)를 구성하는 액정표시 유닛, 스피커 등에 의해, 문자, 화상, 음성등으로 촬영자에 통지된다. 제2 표시부(421)에는, 단일 촬영/연사 촬영/셀프 타이머 촬영, 압축율, 기록 화소수, 기록 매수, 잔여 기록 가능 매수, 셔터 스피드, 조리개 값, 노출 보정, 전지잔량, 에러, 외부기억장치(412)의 착/탈상태등이 표시된다. 상기 표시부(421)는, 표시된 내용이 바뀔 때나 경고시에 전자음을 발생한다.

참조번호 422는, 전기적으로 소거 및 기억이 가능한 ＥＥＰＲＯＭ등의 불휘발성 메모리를 나타낸다.

릴리즈 버튼(423)은, 제2 조작부(425)와 협력하여, 시스템 제어부(430)의 각종의 동작 지시를 입력하기 위한 조작부를 구성한다. 릴리즈 버튼(423)은, 제1스트로크(반가압)로 가압할 때 온 하는 스위치ＳＷ1과, 제2스트로크(완전 가압)로 온 하는 스위치ＳＷ2을 갖는다. 스위치ＳＷ1이 온 하면 측광이나 측거가 개시되고, 스위치ＳＷ2이 온 하면 노광 동작이 개시된다.

상기 제2 조작부(425)를 조작함으로써, 단일 촬영, 연사 촬영 및 셀프 타이머 촬영의 전환, 메뉴얼 포커싱과 오토 포커싱의 전환, 및 셔터 스피드, 조리개 값, 노출 보정의 설정 등을 행할 수 있다. 이때, 제2 조작부(425)의 조작에 의해 연사 촬영이 설정되어 있는 경우에는, 릴리즈 버튼(423)의 스위치ＳＷ2이 눌려져 있는 동안, 연사 촬영이 행해진다.

디지털 스틸 카메라(40)의 메인 전원은, 전원 스위치(427)에 의해 온 및 오프된다.

전원제어부(428)는, 시스템 제어부(430)의 제어하에서 동작되는, 전지검출부, ＤＣ/ＤＣ변환기, 통전하는 블록을 바꾸는 스위치들을 구비한다. 전원제어부(428)는, (전원 429가 되는) 전지의, 디지털 스틸 카메라(40)에 대한 착/탈, 전지의 종류, 전지잔량을 검출하고, 이 검출 결과에 의거하여 ＤＣ/ＤＣ변환기를 제어하여, 필요한 전압을 필요한 기간에 카메라 각 부에 공급한다. 또한, 전원(429)으로서는, 알칼리 전지나 리튬 전지등의 일차전지나, ＮｉＣｄ전지, ＮｉＭＨ전지 또는 Ｌｉ전지등의 이차전지나, 또는 ＡＣ어댑터등을 사용할 수 있다.

이하, 야경을 배경으로 한 인물촬영 씬을 적절하게 촬영하기 위해 스트로브 발광 화상(제1 화상)과 스트로브 비발광 화상(제2 화상)의 합성에 대해서 서술한다. 도 6a∼도 6c는, 야경을 배경으로 한 인물촬영 씬의 예를 나타낸다. 도 6a는, 인물을 적정한 밝기로 조명하도록 스트로브 장치(발광 장치)를 발광시키면서, 저감도로 촬영한 스트로브 발광 화상의 예를 나타낸다. 도 6b는, 그 스트로브 장치를 발광시키지 않으면서, 고감도로 촬영한 스트로브 비발광 화상의 예를 나타낸다. 도 6c는, 도 6a 및 도 6b에 도시된 화상을 합성하여 얻어진 합성 화상의 예를 나타낸다.

도 6b의 스트로브 비발광 화상을 산술 평균의 관점에서 복수매 합성함으로써, 고감도 촬영에 의해 발생하는 노이즈를 저감할 수 있다. 따라서, 도 6b의 스트로브 비발광 화상을 복수매 촬영하여, 그 촬영된 화상을 산술평균하여 합성 화상(이후, 비발광 합성화상이라고 한다)을 작성한다. 이렇게 작성된 비발광 합성 화상과 도 6a의 1매의 스트로브 발광 화상을, 화소값 데이터의 크기를 비교해서 합성한다. 이러한 합성에서, 스트로브 광으로 조명된 인물영역에는 스트로브 발광 화상이 사용되는 반면에, 스트로브 광으로 조명되지 않고 있는 배경영역에는 비발광 합성 화상이 사용된다. 이 때문에, 배경과 인물이 밝고, 게다가, 노이즈와 손 흔들림이 적은 화상을 얻을 수 있다.

이러한 화상합성에 대해서, 인물에 조명된 씬, 촬영 화상 및 합성 화상의 예를 각각 나타내는 도 7a∼도 7d를 참조해서 설명한다.

도 7a는, 야경을 배경으로 한 촬영 씬을 나타낸다. 도 7a에 나타낸 것처럼, 인물은, 조명(가로등)이 조사되는 조명 영역과 조명이 어둡게 되어 있는 그림자 영역이 존재한다. 도 7b는, 저감도로 촬영한 스트로브 발광 화상을 나타낸다. 도 7c는, 고감도로 촬영한 스트로브 비발광 화상을 나타낸다. 도 7d는, 도 7b의 스트로브 발광 화상과 도 7c의 스트로브 비발광 화상의 합성 화상을 나타낸다.

도 7b의 스트로브 발광 화상의 밝기와 도 7c의 스트로브 비발광 화상의 밝기를 화소마다 비교하면, 인물의 조명 영역에서는, 상기 스트로브 비발광 화상쪽이 상기 스트로브 발광 화상보다도 밝아지는 경우가 있다. 한편, 인물의 그림자 영역에서는, 도 7c의 스트로브 비발광 화상보다도 도 7b의 스트로브 발광 화상의 쪽이 밝아지는 경우가 있다.

도 7b의 화상의 화소값이나 도 7c의 화상의 화소값 중 밝은 쪽이 화소마다 사용되어 합성 화상을 작성하는 경우에, 도 7d의 합성 화상을 얻는다. 도 7d의 합성 화상에서는, 인물의 그림자 영역에 스트로브 발광 화상을 사용하고, 인물의 조명 영역에는 스트로브 비발광 화상을 사용한다. 이 때문에, 부자연스러운 화상이 작성된다.

이를 미연에 방지하기 위해서, 본 실시예에서는, 스트로브 발광 화상과 스트로브 비발광 화상과의 차분에 의거하여 스트로브 광의 영향을 나타내는 스트로브 조명량을 산출하고, 그 스트로브 조명량을 고려하면서 화상합성을 행한다. 그 때문에, 촬영 씬이 한 명 이상의 인물을 갖고 있는 경우에도 적절하게 스트로브 광의 영향을 고려할 수 있다. 예를 들면, 1명의 인물에 있어서 스트로브 발광 화상과 스트로브 비발광 화상이 혼재되지 않은 적절한 합성 화상을 얻을 수 있다.

도 7a의 씬에 대해서 스트로브 발광을 사용한 촬영(제1 촬영)과 스트로브 발광을 사용하지 않는 촬영(제2 촬영)으로 얻은 복수매의 화상을 합성하는 화상합성처리에 대해서, 도 2 내지 도 5를 참조해서 설명한다.

도 2는, 촬영된 복수매의 화상을 합성하는 처리를 개략적으로 도시한 것이다. 도 3a는 복수매의 화상을 촬영해서 합성하는 전체 처리의 순서를 흐름도로 나타내고, 도 3b는 전체 처리에서 행해진 합성 처리의 순서를 흐름도로 나타낸다.

도 3a의 전체처리에서는, 릴리즈 버튼(423)의 스위치ＳＷ1이 눌려지면, 측광 센서(419)에 의한 측광동작이 실행된다. 측광결과에 근거하여, 노광 제어부(414)에 의해 스트로브 발광 촬영의 노출 조건과 스트로브 비발광 촬영의 노출 조건이 결정된다(단계S301). 이때, 스트로브 비발광 촬영의 촬영 조건에 있어서의 ＩＳＯ감도, 조리개 및 셔터 초시는, 촬영 화상이 적정한 노출이 되도록 결정된다. 본 실시예에서, 스트로브 발광 화상의 촬영 조건에 있어서의 조리개와 셔터 초시는 스트로브 비발광 화상의 촬영 조건에 있어서의 것들과 동일한 값으로 결정되고, ＩＳＯ감도는 스트로브 비발광 화상의 촬영 조건에서의 것보다도 1단계 낮은 값으로 결정된다.

다음에, 릴리즈 버튼(423)의 스위치ＳＷ2가 눌려져, 스트로브 발광 촬영이 행해진다(단계S302). 노출 조건이 적정한 노출보다도 예를 들면, 1단계 어두운 값으로 설정된 상태에서, 스트로브 발광은, 주 피사체인 인물이 적정한 노출이 되는 발광량을 제공하도록 행해진다. 그 결과, 스트로브 광이 조명된 인물은 적정한 노출로 촬영되고, 배경은 적정한 노출보다도 1단계 어두운 노출로 촬영되어서, 도 2에 나타낸 화상(101)을 얻는다.

단계S303에서는, 단계S301에서 결정된 촬영 조건에 따라 적정한 노출로 스트로브 비발광 촬영이 행해지고, 도 2에 나타낸 화상(102)을 얻는다. 단계S304 및 S305에서는, 단계S303과 동일한 촬영 조건에서 스트로브 비발광 촬영이 2회 행해져서, 도 2에 나타낸 화상 103과 화상 104를 얻는다. 단계S302∼S305로 촬영된 4매의 화상의 데이터는, 메모리(410)에 일시적으로 기억된다.

이때, 본 실시예에서는 스트로브 비발광 촬영을 3회 행하였지만, 이것에 한정되는 것은 아니다. 스트로브 발광 촬영을 최초로 행하고나서 스트로브 비발광 촬영을 행하긴 했지만, 스트로브 발광 촬영과 스트로브 비발광 촬영이 행해진 순서를 변경하는 것이 가능하다. 예를 들면, 1회째 스트로브 비발광 촬영 후와 2회째 스트로브 비발광 촬영 전에 스트로브 발광 촬영을 행할 수 있거나, 최후의 스트로브 비발광 촬영 후에 스트로브 발광 촬영을 행할 수 있다.

다음에, 화상처리부(413)는, 메모리(410)에 데이터가 일시 기억된 4매의 화상의 합성 처리를 행한다(단계S306). 합성 처리의 상세 내용은, 도 3b에 도시되어 있다.

도 3b의 합성 처리에서는, 우선, 단계S302에서 촬영한 스트로브 발광 화상의 각 화상 데이터(화소값)에 대하여 디지털 게인량G를 곱하고 게인 처리된 화상값을 메모리(410)에 일시적으로 기억하도록 게인 처리를 행한다(단계S311). 단계S311에서 사용된 게인량G는, 단계S301에서 결정한 스트로브 발광 화상의 노출 조건과 스트로브 비발광 화상의 노출 조건에서의 감도차이를 보상하도록, 하기의 식(1)에 따라 결정된다.

G=2^(스트로브 발광 촬영과 스트로브 비발광 촬영의 감도 차이)...(1)

본 실시예에서는, 단계S301에서 스트로브 발광 촬영의 감도를 스트로브 비발광 촬영의 감도보다도 1단계 낮게 하고 있기 때문에, 식(1)에 따라 게인량G는 2배가 된다. 스트로브 발광 화상에 있어서의 인물영역은 스트로브 발광에 의해 적정한 노출이 된다. 게인 처리후, 배경영역은 적정한 노출(스트로브 비발광 화상과 같다)이 되는 반면에, 인물영역에서의 노출은 적정한 노출보다도 밝아진다. 도 2에 도시된 화상(105)은, 단계S311의 게인 처리 후의 화상을 나타낸다.

단계S312에서는, 메모리(410)에 데이터가 일시 기억된 5매의 화상(도 2의 화상 101∼105)의 현상 처리가 화상처리부(413)에 의해 행해진다. 보다 구체적으로, 화이트 밸런스 처리, ＲＧＢ베이어 패턴의 ＲＧＢ신호를 ＲＧＢ3플레인 신호로 변환하기 위한 색보간처리, 감마처리, 채도처리, 및 칼라 색상처리가 행해져서, ＹＵＶ화상이 생성된다. 기호 Y는 휘도신호, U는 휘도신호와 청색성분의 차이, V는 휘도신호와 적색성분의 차이를 나타낸다. 그 ＹＵＶ화상의 데이터는, 메모리(410)에 일시적으로 기억된다.

모든 화상에 대하여 같은 조건으로 현상 처리를 행함으로써, 화상간의 차분을 판정하기 쉬워져, 스트로브 발광 화상과 스트로브 비발광 화상의 합성 처리를 쉽게 행할 수 있다. 따라서, 단계S312의 현상 처리는, 처리 대상의 화상이 스트로브 발광 화상인지 스트로브 비발광 화상인지에 상관없이, 동일조건으로 행해진다. 예를 들면, 화이트 밸런스 처리에서는, 스트로브 발광 화상과 스트로브 비발광 화상의 쌍방에 대해서, 스트로브 발광 화상의 스트로브 광이 무채색이 되는 화이트 밸런스 계수를 사용함에 따라서, 주 피사체인 인물의 채색이 적절해진다. 그러나, 그러한 화이트 밸런스 계수를 사용하는 것은 필수적이지 않다.

단계S313에서는, 촬영된 4매의 화상(화상101∼104)사이에서 생성된 위치 어긋남을 보상하도록 흔들림 보정처리가 행해진다. 보다 구체적으로, 위치 얼라인먼트 기준화상에 대한 위치 얼라인먼트 대상 화상의 위치 어긋남량을 검출하고, 검출된 위치 어긋남량에 따라 상기 위치 얼라인먼트 대상화상의 위치 어긋남량을 보정한다.

본 실시예에서는, 첫째 촬영된 화상(즉, 스트로브 발광 화상)을 위치 얼라인먼트 기준화상으로서 사용하고, 둘째 이후의 촬영된 화상(즉, 스트로브 비발광 화상)을 각각 위치 얼라인먼트 대상화상으로서 사용한다. 이때, 스트로브 비발광 화상들 중 하나를 위치 얼라인먼트 기준화상으로서 사용하고, 나머지의 스트로브 비발광 화상과 스트로브 발광 화상을 각각 상기 위치 얼라인먼트 대상화상으로서 사용할 수 있다. 스트로브 발광 화상을 우선 촬영함으로써, 주 피사체를 촬영하는 셔터 기회를 잡기 쉬워진다.

흔들림 보정처리에서는, 위치 얼라인먼트 정밀도를 향상하기 위해서, 위치 얼라인먼트 기준화상의 밝기와 위치 얼라인먼트 대상화상의 밝기를 맞추어야 한다. 이를 위해, 위치 얼라인먼트에 사용하는 스트로브 발광 화상으로서, 단계S311에서 게인 처리된 화상을 사용한다. 스트로브 발광 화상과 스트로브 비발광 화상간에는 스트로브 발광의 광량만큼 밝기가 다르므로, 위치 얼라인먼트 정밀도가 저하된다. 따라서, 스트로브 발광 화상에 있어서의 스트로브 광으로 조명되어 있는 영역을 위치 어긋남량의 검출 대상으로부터 제외하고나서 위치 얼라인먼트를 행한다.

스트로브 광이 조명된 영역의 검출에서는, 게인 처리후의 스트로브 발광 화상과 스트로브 비발광 화상의 각각을 n×m(n과 m은 자연수)개, 예를들면 20×20개의 블록으로 분할한다. 그 후, 양쪽 화상의 대응한 블록의 밝기간의 차이가 소정값이상이면, 스트로브 발광 화상의 블록을 스트로브 광으로 조명된 영역이라고 판정한다.

다음에, 위치 얼라인먼트 기준화상과 위치 얼라인먼트 대상화상의 각각을 각 블록이 예를 들면 4×4 화소를 갖도록 복수의 엣지검출용 블록으로 분할하고, 엣지검출용 블록마다 위치 얼라인먼트 대상화상의 엣지검출처리를 행한다. 엣지검출에는, 화상으로부터 상기 화상에 관해 로패스 필터링을 행해서 얻어진 저주파 화상을 감산함으로써 엣지를 검출하는 방법, 또는, 미분 필터나 프리윗(Prewitt) 필터를 사용하는 공지의 엣지검출방법을 사용하는 것이 가능하다.

다음에, 위치 얼라인먼트 기준화상의 엣지검출용 블록 중, 엣지가 검출되고, 스트로브 광으로 조명되지 않고 있는 블록(이하, 위치 어긋남량 검출 기준 블록이라고 한다)을 판별하고, 상기 위치 어긋남량 검출 기준 블록에 대한 위치 얼라인먼트 대상화상의 위치 어긋남량을 검출한다. 위치 어긋남량 검출 기준 블록만에 대한 위치 어긋남량을 검출함으로써, 검출 정밀도가 향상할 수 있다.

위치 어긋남량 검출에서는, 위치 얼라인먼트 기준화상에 있어서의 위치 어긋남량 검출 대상 블록의 전체 화소의 화소값(휘도)과 위치 얼라인먼트 대상화상에 있어서의 화소값간의 절대차 총 합계(ＳＡＤ)를, 검출 대상 블록을 화소단위로 이동시키면서 산출한다. 그 후, 상기 산출된 ＳＡＤ가 가장 작아지도록 이동량과 이동 방향을 나타내는, 그 엣지검출용 블록의 움직임 벡터를 구한다. 이때, 위치 어긋남량 검출 방법은, 이것에 한정되는 것이 아니고, 주파수 해석으로 2매의 화상간의 위치 어긋남량을 검출하는 방법 등의, 임의의 다른 주지의 방법을 사용할 수 있다.

이하, 움직임 벡터에 근거한 위치 어긋남량 검출 처리에 대해서, 도4a 및 도 4b를 참조해서 설명한다. 도 4a는 위치 얼라인먼트 기준화상의 위치 어긋남량 검출 기준 블록의 화소값을 나타내고, 도 4b는, 위치 얼라인먼트 대상화상의 화소값을 나타낸다.

도시된 예의 경우, 도 4b의 좌상측 모퉁이의 좌표(0,0)를 기준으로 하면, 위치 얼라인먼트 기준화상에 있어서의 위치 어긋남량 검출 대상 블록내의 화소값과 위치 얼라인먼트 대상화상에 있어서의 화소값간의 절대차의 총 합계가 가장 작아지도록 움직임 벡터(1,2)를 구하는 것이 가능하다. 마찬가지로, 모든 엣지검출용 블록의 움직임 벡터를 구하고, 상기 구해진 움직임 벡터에 근거하여, 하기의 식(2)로 나타낸 아핀(affine)변환에 사용하기 위한 아핀 계수(위치 어긋남 정보)를 공지의 방법으로 산출한다.

...식(2)

식(2)에 있어서, (x, y)는 보정전 화상의 좌표를 나타내고, (x', y')는 보정후 화상의 좌표를 나타내고, 3×3 행렬이 아핀 계수를 나타낸다.

그 후, 위치 얼라인먼트 대상화상(스트로브 비발광 화상)의 각각에 대하여 식(2)로 나타낸 아핀변환을 실행하고, 이에 따라 흔들림 보정을 행한다.

단계S313의 흔들림 보정처리에 후속하는 단계S314에서는, 단계S311의 게인 처리후의 1매의 스트로브 발광 화상과 단계S313의 흔들림 보정처리후의 3매의 스트로브 비발광 화상에 대해서 화소값의 평균치를 화소마다 산출한다. 그 후, 상기 산출된 화소값의 평균치에 의거하여 평균화 화상(예를 들면, 도 1의 예시에 의해 도시된 화상 106)을 작성한다.

상술한 것과 같은 복수매의 화상을 평균화 함으로써, 배경의 밝기를 바꾸지 않고 노이즈가 적은 화상을 얻을 수 있다. 게인 처리후의 스트로브 발광 화상과 복수매의 스트로브 비발광 화상을 합성함으로써, 같은 밝기에서 촬영된 복수매의 스트로브 비발광 화상만을 합성하는 경우와 비교하여 노이즈 저감 효과를 더욱 향상시킬 수 있다.

단계S314의 화상합성에서는, 스트로브 발광 화상과 상기 스트로브 발광 화상과 밝기에 있어서 다른 스트로브 비발광 화상을 평균화하고 있기 때문에, 인물영역은 적절한 밝기로 되어 있지 않다. 이를 미연에 방지하기 위해서, 아래에 설명된 처리를 단계S315 및 S316에서 행한다.

단계S315에서는, 스트로브 발광 화상에 있어서의 스트로브 광의 영향의 정도를 의미하는 스트로브 조명량을 화소마다 산출한다.

우선, 단계S311에서 게인 처리된 스트로브 발광 화상을 로패스 필터링하여서 저주파 화상을 얻고, 2회째의 촬영으로 얻어지고 단계S313에서 흔들림 보정된 스트로브 비발광 화상을, 로패스 필터링하여서 저주파 화상을 얻는다. 상술한 것처럼 화상들을 로패스 필터링을 행함으로써, 노이즈에 의한 스트로브 조명량의 오산출을 억제할 수 있다. 스트로브 발광 촬영에 가장 가까운 2회째의 촬영 화상을 스트로브 발광 화상과 비교함으로써, 주 피사체인 인물을 포함한 촬영 영역에 대한 손 흔들림의 영향을 최소한으로 억제할 수 있다.

다음에, 이들 2매의 화상에서의 휘도값Y간의 차분을 화소마다 구하고, 미리 준비된 도 5에 나타내는 휘도차 대 스트로브 조명량 테이블을 참조해서 스트로브 조명량을 화소마다 산출한다. 도 5의 휘도차 대 스트로브 조명량 테이블에 의하면, 휘도차가 큰 화소에 있어서의 스트로브 조명량이 큰 값을 갖는 반면에, 휘도차가 적은 화소에 있어서의 스트로브 조명량이 작은 값을 가져서, 스트로브 조명량을 오산출할 우려가 저감한다.

이때, 본 실시예에서는, 2매의 화상간의 휘도차로부터 스트로브 조명량을 산출하고 있지만, 2매의 화상의 색차이 U,V의 차분으로부터 스트로브 조명량도 산출할 수 있다. 피사체의 움직임에 의한 어긋남이나 불충분한 손 흔들림 보정에 의한 어긋남에 의해 휘도차가 커지는 경우가 있다. 이를 미연에 방지하기 위해서, 휘도차를 스트로브 비발광 화상의 휘도값으로 나눈 값으로부터 스트로브 조명량을 산출하는 것이 가능하다.

화소마다 산출된 스트로브 조명량의 데이터는, 메모리(410)에 기억된다. 도 2의 화상(107)은, 단계S315에서 행해진 스트로브 조명량 산출 처리의 결과를 개략적으로 나타낸다. 화상(107)에 있어서의 우측의 흰 영역은, 스트로브 조명량이 큰 것을 보이고 있다. 이때, 좌측의 흰 영역은 가로등 영역이다.

다음에, 단계S316에서는, 단계S302에서 촬영한 스트로브 발광 화상(화상101)과 단계S314에서 작성한 평균화 화상(화상106)을, 단계S315에서 산출한 화소마다의 스트로브 조명량을 고려하면서, 이하의 식(3)에 따라, 화소마다 합성한다.

합성후의 화소값= (화상 101의 화소값×스트로브 조명량％)+{화상 106의 화소값×(100%-스트로브 조명량％)} ...(3)

도 2의 화상(108)은, 단계S316에서의 화상합성에 의해 얻어진 최종적인 합성 화상을 나타낸다.

단계S316에서의 화상합성이 종료하는 경우, 즉 도 3a의 전체 처리의 단계S306에서의 합성 처리가 종료하는 경우, 합성 화상(화상108)의 화상 데이터를 외부기억장치(412)에 기억해서(단계S307), 전체 처리를 종료한다.

상술한 것처럼, 본 실시예에서는 스트로브 발광 촬영의 노출 조건과 스트로브 비발광 촬영의 노출 조건을 단계S301에서 결정하고, 상기 노출 조건간의 감도차이에 의해 발생하는 밝기의 차이를 보상하도록 게인량G를 결정하고, 게인 처리후의 스트로브 발광 화상과 스트로브 비발광 화상으로부터 검출한 위치 어긋남량에 의거하여 흔들림 보정을 행하고, 스트로브 발광 화상에 대한 스트로브 광의 영향의 정도를 나타내는 스트로브 조명량을 단계S315에서 산출한다. 그 때문에, 인물에 조명된 촬영 씬에 있어서도 적절하게 스트로브 광의 영향을 고려할 수 있다. 이 결과, 적절한 합성 화상을 얻을 수 있다. 예를 들면, 1명의 인물의 화상에 있어서 스트로브 발광 화상과 스트로브 비발광 화상이 서로 혼재되지 않는다.

이때, 본 실시예에서는, 단계S303∼S305에서 3매의 스트로브 비발광 화상을 촬영하고 있지만, 스트로브 비발광 화상의 촬영 매수를 늘리는 것에 의해, 단계S314에서 작성된 평균화 화상에 있어서의 노이즈를 저감하는 효과를 향상시킬 수 있다. 스트로브 비발광 화상의 촬영 매수를 늘림으로써, 배경영역에서의 노이즈 저감 효과는 높일 수 있다. 한편, 최종적인 합성 화상에는 1매의 스트로브 발광 화상이 사용되기 때문에, 스트로브 광이 조명된 인물영역에서는 노이즈 저감 효과를 달성할 수 없다. 그 결과, 화상의 배경영역과 인물영역 사이에서 노이즈감에 차이가 있다. 이러한 문제를 회피하기 위해서, 예를 들면 스트로브 비발광 화상의 촬영(합성) 매수가 많아짐에 따라서, 단계S301에서 설정하는 스트로브 발광 촬영의 감도를 하강시키는 것이 바람직하다.

본 실시예에서는, 도 5의 휘도차 대 스트로브 조명량 테이블을 참조하여 스트로브 조명량을 산출하고, 식(3)에 따라서 스트로브 조명량을 고려하면서 결정된 화소값을 단계S316의 화상합성에 사용했지만, 이것에 한정되지 않는다. 예를 들면, 상기 식(1)에 따라 산출된 게인량G보다도 낮게 설정한 게인량을 사용해서 단계S311의 게인 처리를 행한 후, 단계S316의 화상합성을, 단계S302에서 촬영한 스트로브 발광 화상(화상101)의 화소값과 단계S314에서 합성한 합성 화상(화상106)의 화소값 중 어느 한쪽을 화소마다 선택하고, 그 선택된 화소에 근거해서 최종적인 합성 화상을 작성함으로써, 행하는 것이 가능하다.

(기타 실시예)

또한, 본 발명의 국면들은, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예들의 기능들을 수행하는 시스템 또는 장치(또는 CPU 또는 MPU 등의 디바이스들)의 컴퓨터에 의해서, 또한, 시스템 또는 장치의 컴퓨터에 의해 수행된 단계들, 예를 들면, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예들의 기능들을 수행하는 방법에 의해, 실현될 수도 있다. 이를 위해, 상기 프로그램은, 예를 들면, 네트워크를 통해 또는, 여러 가지 형태의 메모리 디바이스의 기록매체(예를 들면, 컴퓨터 판독 가능한 매체)로부터, 상기 컴퓨터에 제공된다.

본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 아주 넓게 해석해야 한다.

본 출원은, 여기서 전체적으로 참고로 포함된, 2012년 4월 20일에 제출된 일본국 특허출원번호 2012-096518의 이점을 청구한다.

Claims (10)

1. 발광 장치에 의한 발광을 수반하는 제1 촬영에 의한 제1 화상과 상기 발광을 수반하지 않는 제2 촬영에 의한 복수매의 제2 화상을 연속적으로 촬영하는 촬영부;
   상기 제1 촬영의 감도를 상기 제2 촬영의 감도보다 낮게 설정하는 감도설정부;
   상기 제1 화상의 화상 데이터에 대하여 게인량을 곱하는 게인 처리를 행하는 게인 처리부;
   상기 게인 처리부에 의해 게인 처리된 상기 제1 화상과 상기 복수매의 제2 화상에 의거하여 평균화 화상을 작성하는 평균화부; 및
   상기 촬영부에 의해 촬영된 상기 제1 화상과 상기 평균화부에 의해 작성된 상기 평균화 화상을 합성해서 합성 화상을 작성하는 합성부를 구비한, 화상처리장치.
   
2. 제 1 항에 있어서,
   상기 게인 처리부는, 상기 감도설정부에 의해 설정된 상기 제1 촬영의 감도와 상기 제2 촬영의 감도간의 감도차이를 보상하는 게인량을 상기 제1 화상에 곱하는, 화상처리장치.
   
3. 제 1 항에 있어서,
   상기 감도설정부는, 상기 제2 화상의 촬영 매수가 많아짐에 따라서 상기 제1 촬영에 있어서의 감도를 낮게 설정하는, 화상처리장치.
   
4. 제 1 항에 있어서,
   상기 복수매의 제2 화상의 상기 제1 화상에 대한 위치 어긋남량을 검출하고, 상기 검출된 위치 어긋남량에 의거하여 상기 복수매의 제2 화상의 위치 어긋남을 보정하는 위치 어긋남 보정부를 더 구비한, 화상처리장치.
   
5. 제 4 항에 있어서,
   상기 위치 어긋남 보정부는, 상기 복수매의 제2 화상의 상기 제1 화상에 대한 위치 어긋남량을 검출할 때에, 상기 제1 화상으로서 상기 게인 처리부에 의해 게인 처리된 제1 화상을 사용하는, 화상처리장치.
   
6. 제 1 항에 있어서,
   상기 제1 화상에 있어서의 조명량을 구하는 조명량 산출부를 더 구비하고,
   상기 촬영부는, 상기 제1 화상을 촬영한 후에, 상기 복수매의 제2 화상을 촬영하고,
   상기 조명량 산출부는, 상기 제1 화상과 상기 복수매의 제2 화상 중 최초에 촬영된 제2 화상과를 비교하고, 화소마다 휘도값간의 차분을 구하고, 미리 준비된 휘도차 대 조명량 테이블을 참조해서 상기 조명량을 화소마다 구하는, 화상처리장치.
   
7. 제 1 항에 있어서,
   상기 평균화부는, 상기 게인 처리부에 의해 게인 처리된 제1 화상과 상기 복수매의 제2 화상에 대해서 화소값의 평균치를 화소마다 산출하고, 그 산출된 화소값의 평균치에 의거하여 상기 평균화 화상을 작성하는, 화상처리장치.
   
8. 발광 장치에 의한 발광을 수반하는 제1 촬영에 의한 제1 화상과 상기 발광을 수반하지 않는 제2 촬영에 의한 복수매의 제2 화상을 연속적으로 촬영하는 촬영부;
   상기 제1 촬영의 감도를 상기 제2 촬영의 감도보다 낮게 설정하는 감도설정부;
   상기 제1 화상의 화상 데이터에 대하여 게인량을 곱하는 게인 처리를 행하는 게인 처리부;
   상기 게인 처리부에 의해 게인 처리된 상기 제1 화상과 상기 복수매의 제2 화상에 의거하여 평균화 화상을 작성하는 평균화부; 및
   상기 촬영부에 의해 촬영된 제1 화상의 화소값과 상기 평균화부에 의해 작성된 평균화 화상의 화소값을 비교해서 밝은 쪽의 화소값을 선택하고, 그 선택된 화소값에 의거하여 합성 화상을 작성하는 합성부를 구비한, 화상처리장치.
   
9. 화상처리장치로 실행된 화상처리방법으로서,
   발광 장치에 의한 발광을 수반하는 제1 촬영의 감도를 상기 발광을 수반하지 않는 제2 촬영의 감도보다 낮게 설정하는 감도설정 단계;
   상기 감도설정 단계에서 설정된 감도로, 제1 촬영에 의한 제1 화상과 제2 촬영에 의한 복수매의 제2 화상을 연속적으로 촬영하는 촬영 단계;
   상기 제1 화상의 각 화소값에 대하여 게인량을 각각 곱하는 게인 처리를 행하는 게인 처리 단계;
   상기 게인 처리 단계에서 게인 처리된 제1 화상과 복수매의 제2 화상에 의거하여 평균화 화상을 작성하는 평균화 단계; 및
   상기 촬영 단계에서 촬영된 제1 화상과 상기 평균화 단계에서 작성된 평균화 화상을 화소마다 합성해서 합성 화상을 작성하는 합성 단계를 포함하는, 화상처리방법.
   
10. 화상처리장치로 실행된 화상처리방법으로서,
    발광 장치에 의한 발광을 수반하는 제1 촬영의 감도를 상기 발광을 수반하지 않는 제2 촬영의 감도보다 낮게 설정하는 감도설정 단계;
    상기 감도설정 단계에서 설정된 감도로, 제1 촬영에 의한 제1 화상과 제2 촬영에 의한 복수매의 제2 화상을 연속적으로 촬영하는 촬영 단계;
    상기 제1 화상의 각 화소값에 대하여 게인량을 곱하는 게인 처리를 행하는 게인 처리 단계; 및
    상기 게인 처리 단계에서 게인 처리된 제1 화상과 복수매의 제2 화상에 의거하여 평균화 화상을 작성하는 평균화 단계; 및
    상기 촬영 단계에서 촬영된 제1 화상의 화소값과 상기 평균화 단계에서 작성된 평균화 화상의 화소값을 비교해서 밝은 쪽의 화소값을 선택하고, 선택된 화소값에 의거하여 합성 화상을 작성하는 합성 단계를 포함하는, 화상처리방법.

Images