KR20120027099A

KR20120027099A - 화상 처리 장치, 화상 처리 방법, 프로그램, 기록 매체 및 집적 회로

Info

Publication number: KR20120027099A
Application number: KR1020117002146A
Authority: KR
Inventors: 캉 구엔; 유스케 모노베; 유스케 단지
Original assignee: 파나소닉 주식회사
Priority date: 2009-06-04
Filing date: 2010-05-13
Publication date: 2012-03-21
Also published as: EP2439927B1; EP2439927A4; US8204337B2; EP2439927A1; JP2010283623A; CN102113308B; WO2010140302A1; US20110135219A1; JP5430234B2; CN102113308A

Abstract

시간 노이즈 제거 방식을 이용하여 화상의 노이즈를 경감할 때에, 출력 화상의 블록 왜곡 및 시간 방향의 깜박거림이나 흔들림 현상을 저감할 수 있는 화상 처리 장치를 제공한다.
입력 화상에 참조 화상을 가산함으로써, 입력 화상 중의 노이즈를 제거하는 화상 처리 장치(1)로서, 입력 화상의 움직임을 추정한 움직임 정보를 생성하는 움직임 추정부(20)와, 생성된 움직임 정보를 이용한 움직임 보상을 행함으로써, 움직임 보상 전의 참조 화상인 제1 화상에 대응하는 움직임 보상 후의 참조 화상인 제2 화상을 생성하는 움직임 보상부(30)와, 입력 화상의 평탄도를 산출하는 평탄도 산출부(40)와, 산출된 평탄도를 이용하여, 입력 화상, 제1 화상 및 제2 화상의 각각의 가산 비율을 산출하는 블렌딩 비율 산출부(53)와, 산출된 각각의 가산 비율에 따라, 입력 화상과 제1 화상과 제2 화상을 가산하는 화소 가산부(60)를 구비한다.

Description

화상 처리 장치, 화상 처리 방법, 프로그램, 기록 매체 및 집적 회로{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PROGRAM, RECORDING MEDIUM, AND INTEGRATED CIRCUIT}

본 발명은 입력 화상 중의 노이즈를 제거하여, 출력 화상의 깜박거림이나 흔들림을 억제할 수 있는 화상 처리 장치에 관한 것이다.

카메라의 고속화, 촬상 소자의 미세화의 진전에 따라 촬영 시의 노광량을 충분히 확보하는 것이 곤란해지고 있다. 이 때문에, 촬상된 화상은 노이즈가 많은 화상이 된다. 여기에서, 이 화상에 발생한 노이즈는 신호 처리로 제거할 수 있다. 이 노이즈 제거의 처리는, 공간 필터에 의한 처리와 시간 노이즈 제거 처리로 크게 나눌 수 있다.

그러나, 공간 필터로 노이즈를 제거하는 경우는, 화상의 에지가 흐릿해지기 쉬워지거나 채도가 떨어지거나 하는 문제가 있다. 한편, 시간 노이즈 제거 처리는, 노이즈를 효율적으로 제거하면서, 상기의 공간 필터로 노이즈를 제거하는 경우에서의 문제의 발생을 억제하는 것이 가능하다.

종래의 시간 노이즈 제거 처리로서는, 시간 방향으로 복수의 화상을 가산함으로써, 노이즈를 제거하는 것이 있다. 시간 노이즈 제거 처리 중에서는, 움직임 보상을 이용하지 않는 방법과, 움직임 보상을 이용하는 방법이 있다.

도 11은, 종래의 움직임 보상을 이용하지 않는 시간 노이즈 제거 처리를 행하는 화상 처리 장치의 기능 구성을 도시한 기능 블록도이다.

도 11에 나타낸 바와 같이, 화상 처리 장치(70)는, 메모리(71)와 가산 비율 산출부(75)와 화소 가산부(76)를 구비하고 있다.

우선, 가산 비율 산출부(75)는, 입력 화상과 메모리(71)에 저장되어 있는 참조 화상을 이용하여, 가산 비율을 산출한다. 이 가산 비율에 의거하여, 화소 가산부(76)는, 입력 화상과 참조 화상을 화소 가산한다.

입력 화상 중의 랜덤 노이즈와 참조 화상 중의 랜덤 노이즈는, 상이한 노이즈이다. 이 때문에, 입력 화상과 참조 화상을 가산함으로써, 당해 랜덤 노이즈가 통계적으로 소거된다(랜덤 노이즈가 시간적으로 평활화된다). 이에 의해, 랜덤 노이즈가 저감된다.

그러나, 이 방법에서는, 입력 화상과 참조 화상의 사이에서 피사체의 움직임이 발생한 경우는, 화소 가산함으로써 출력 화상에서는 잔상이 발생한다는 문제가 있다.

도 12는, 종래의 움직임 보상을 이용하는 시간 노이즈 제거 처리를 행하는 화상 처리 장치의 기능 구성을 도시한 기능 블록도이다.

상기 도면에 나타낸 바와 같이, 화상 처리 장치(70)는, 메모리(71)와 움직임 추정부(72)와 움직임 보상부(73)와 가산 비율 산출부(75)와 화소 가산부(76)를 구비하고 있다.

우선, 움직임 추정부(72)는, 입력 화상과 메모리(71)에 저장되어 있는 참조 화상을 이용해 움직임 추정을 행하여, 입력 화상의 각 블록에 대응하는 참조 화상 중의 위치를 구한다. 다음에, 움직임 보상부(73)는, 움직임 추정부(72)에서 구한 움직임 정보에 따라, 입력 화상에 대응하는 위치에 있어서의, 참조 화상의 블록 화상을 생성한다. 가산 비율 산출부(75)는, 입력 화상과 움직임 보상 후의 참조 화상을 이용하여, 가산 비율을 산출한다.

그리고, 화소 가산부(76)에서는, 당해 가산 비율에 의거하여, 입력 화상과 움직임 보상 후의 참조 화상을 화소 가산함으로써 노이즈를 경감한다. 이와 같이, 화소 가산부(76)에서는, 움직임 보상 후의 참조 화상을 이용함으로써, 움직임 피사체에 대해서는, 잔상이 없이 랜덤 노이즈를 경감할 수 있다.

그러나, 이 방법에서는, 화상 중에 포함되는 노이즈 등의 영향으로 정확하게 움직임 추정을 할 수 없는 경우가 있다. 이 때, 위치 대응하고 있지 않은 화상 영역이 가산되므로, 출력 화상에서는, 특히 정지(靜止)하는 영역이 요동하는 것처럼 보이는 부작용이 발생한다는 문제가 있다.

또, 시간 노이즈 제거 처리에서는, 상기의 움직임 보상을 이용하지 않는 방법과 움직임 보상을 이용하는 방법의 양쪽을 조합하여 이용하는 방법도 있다(예를 들면, 특허문헌 1 참조).

도 13은, 종래의 움직임 보상을 이용하지 않는 방법과 이용하는 방법을 조합한 시간 노이즈 제거 처리를 행하는 화상 처리 장치의 기능 구성을 도시한 기능 블록도이다.

도 13에 나타낸 바와 같이, 화상 처리 장치(70)는, 메모리(71)와 움직임 추정부(72)와 움직임 보상부(73)와 화소 가산부(76)와 선택 제어부(77)와 참조 화상 설정부(78)를 구비하고 있다.

우선, 움직임 추정부(72)와 움직임 보상부(73)는, 도 12에서의 설명과 동일하게, 움직임 추정, 움직임 보상을 행한다. 다음에, 선택 제어부(77)는, 입력 화상과 참조 화상을 이용하여 움직임 검출을 행하고, 그 검출 결과에 의거하여, 움직임이 있는 영역과 움직임이 없는 영역을 판별한다.

그리고, 참조 화상 설정부(78)는, 당해 움직임이 있는 영역과 움직임이 없는 영역에 따라, 참조 화상을 선택한다. 요컨대, 참조 화상 설정부(78)는, 움직임이 있는 영역에서는 움직임 보상 후의 참조 화상을 참조 화상으로서 선택하고, 움직임이 없는 영역에서는 움직임 보상하고 있지 않은 참조 화상을 참조 화상으로서 선택한다.

그리고, 화소 가산부(76)는, 입력 화상과 선택된 참조 화상을 화소 가산한다. 이에 의해, 랜덤 노이즈가 시간적으로 평활화됨으로써 노이즈가 경감된다. 또, 입력 화상의 움직임의 유무에 따라, 참조 화상을 선택함으로써, 움직임이 있는 영역에서도 잔상이 없으며, 노이즈가 경감된다.

특허문헌 1 : 일본국 특허 제3960258호 공보

그러나, 노이즈가 많은 화상에서는, 신호와 노이즈의 구별이 불가능하므로, 움직임 벡터를 올바르게 검출할 수 없는 경우가 있다. 이 때, 움직임 보상 후의 참조 화상은 입력 화상과 대응하고 있지 않게 된다. 또, 움직임 보상 처리는 블록 단위로 행해지므로, 상기의 대응하고 있지 않은 화상의 블록에서 처리함으로써, 움직임 보상 후의 화상에서는 블록 왜곡이 발생한다.

따라서, 종래의 처리에서는, 노이즈가 많은 화상에 대해, 움직임 벡터를 올바르게 검출할 수 없게 되어, 입력 화상의 블록에 대응하는 움직임 보상 후의 블록을 검출할 수 없음으로써, 처리 후의 화상은 블록 왜곡으로 화질 열화해 버린다는 과제가 있다.

또, 움직임 보상은 블록 단위로 행해지므로, 움직임 보상 후의 화상에서는, 이동량이 상이한 부분의 경계에 블록형상의 노이즈가 발생한다. 요컨대, 움직임 보상 후의 화상에서는, 정지 영역과 이동 영역의 경계에 블록 왜곡이 발생한다. 또 이동량이 변화한 경우는, 이동하는 영역들의 경계에서도 블록 왜곡이 발생한다.

또한, 참조 화상으로서 움직임 보상하고 있지 않은 참조 화상과 움직임 보상 후의 참조 화상을 전환함으로써, 화상이 급격하게 변화하게 되어, 출력 화상에서는 불연속인 부분이 발생한다.

이와 같이, 종래의 처리에서는, 1장의 화상 중에 블록 왜곡이나 불연속의 영역이 발생함으로써, 화질이 열화한다는 과제가 있다. 또, 동화상이나 시간적으로 연속하여 복수의 화상을 처리하는 경우, 상기의 열화 개소가 화상마다 변화하고 있으므로, 출력 영상에서는, 시간적으로 깜박거림이 발생하거나, 피사체의 동일한 부분이 요동하는 것처럼 보이는, 흔들림 현상이 발생하거나 한다.

본 발명은, 상기 종래의 과제를 해결하는 것으로, 시간 노이즈 제거 방식을 이용하여 화상의 노이즈를 경감할 때에, 출력 화상의 블록 왜곡 및 시간 방향의 깜박거림 현상이나 흔들림 현상을 저감할 수 있는 화상 처리 장치를 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위해, 본 발명에 따른 화상 처리 장치는, 입력 화상에 참조 화상을 가산함으로써, 상기 입력 화상 중의 노이즈를 제거하는 화상 처리 장치로서, 상기 입력 화상의 움직임을 추정한 움직임 정보를 생성하는 움직임 추정부와, 생성된 상기 움직임 정보를 이용한 움직임 보상을 행함으로써, 움직임 보상 전의 참조 화상인 제1 화상에 대응하는 움직임 보상 후의 참조 화상인 제2 화상을 생성하는 움직임 보상부와, 상기 입력 화상의 평탄도를 산출하는 평탄도 산출부와, 산출된 상기 평탄도를 이용하여, 상기 입력 화상, 상기 제1 화상 및 상기 제2 화상의 각각의 가산 비율을 산출하는 비율 산출부와, 산출된 각각의 상기 가산 비율에 따라, 상기 입력 화상과 상기 제1 화상과 상기 제2 화상을 가산함으로써 출력 화상을 생성하는 화소 가산부를 구비한다.

이에 의하면, 입력 화상의 평탄도를 이용하여, 입력 화상과 움직임 보상 전의 참조 화상과 움직임 보상 후의 참조 화상의 각각의 가산 비율이 산출되고, 당해 가산 비율에 따라, 각각의 화상이 가산된다. 여기에서, 평탄도가 낮으면 움직임 추정을 정확하게 행할 수 있는 경향이 있으므로, 평탄도의 크기를 움직임 추정을 정확하게 행할 수 있는지의 여부의 지표로서 이용하여, 당해 가산 비율을 산출할 수 있다. 그리고, 당해 평탄도로부터 산출된 가산 비율로, 입력 화상에 움직임 보상 전후의 참조 화상이 가산되므로, 입력 화상에 가산되는 참조 화상이 움직임 보상 전의 참조 화상과 움직임 보상 후의 참조 화상으로 전환되는 것과 같은 화상의 급격한 변화가 발생하지 않는다. 이 때문에, 시간 노이즈 제거 방식을 이용하여 화상의 노이즈를 경감할 때에, 화상 내에서는, 움직임 보상 처리를 행하는 블록간의 경계에서의 블록 왜곡을 저감하여, 양호한 화질을 얻을 수 있다. 또, 시간 방향으로 연속되고 있는 복수의 화상에서도 화상간의 급격한 변화가 없으므로, 깜박거림이나 흔들림과 같은 현상을 저감할 수 있다.

또, 바람직하게는, 상기 평탄도 산출부는, 상기 입력 화상의 화소치의 편차가 작을수록, 또는 상기 입력 화상에 포함되는 에지의 양이 적을수록, 상기 평탄도가 높아지도록, 상기 입력 화상의 평탄도를 산출한다.

이에 의하면, 화소치의 편차 또는 에지의 양으로부터 평탄도가 산출된다. 이 때문에, 간이하게 평탄도를 산출하면서, 출력 화상의 블록 왜곡 및 시간 방향의 깜박거림이나 흔들림 현상을 저감할 수 있다.

또, 바람직하게는, 상기 비율 산출부는, 상기 평탄도가 높을수록, 상기 제1 화상의 가산 비율이 높아짐과 더불어 상기 제2 화상의 가산 비율이 낮아지고, 상기 평탄도가 낮을수록, 상기 제1 화상의 가산 비율이 낮아짐과 더불어 상기 제2 화상의 가산 비율이 높아지도록, 각각의 가산 비율을 산출한다.

이에 의하면, 평탄도가 높을수록, 움직임 보상 처리를 행하는 정도를 낮게 하고, 평탄도가 낮을수록, 움직임 보상 처리를 행하는 정도를 높게 한다. 요컨대, 평탄하지 않은 영역일수록 움직임 추정을 정확하게 행할 수 있으므로, 평탄도가 낮을수록, 움직임 보상 처리를 행하는 정도를 높게 한다. 이에 의해, 움직임 보상 처리의 결과를 적절하게 반영하면서, 또, 평탄도의 변화에 따라 가산 비율을 연속적으로 변화시킬 수 있어, 출력 화상의 블록 왜곡 및 시간 방향의 깜박거림이나 흔들림 현상을 저감할 수 있다.

또, 바람직하게는, 상기 입력 화상과 상기 제1 화상의 일치 정도를 나타내는 제1 신뢰도를 산출하는 제1 신뢰도 산출부와, 상기 입력 화상과 상기 제2 화상의 일치 정도를 나타내는 제2 신뢰도를 산출하는 제2 신뢰도 산출부를 더 구비하고, 상기 비율 산출부는, 산출된 상기 제1 신뢰도와 상기 제2 신뢰도를 또한 이용하여, 상기 입력 화상, 상기 제1 화상 및 상기 제2 화상의 각각의 가산 비율을 산출한다.

이에 의하면, 평탄도에 더하여 신뢰도를 더 이용하여, 입력 화상과 움직임 보상 전의 참조 화상과 움직임 보상 후의 참조 화상의 각각의 가산 비율이 산출되고, 당해 가산 비율에 따라, 각각의 화상이 가산된다. 여기에서, 신뢰도의 크기로, 입력 화상에 가산되는 참조 화상의 비율의 크기를 판단할 수 있다. 그리고, 당해 평탄도 및 신뢰도로부터 산출된 비율로, 입력 화상에 움직임 보상 전후의 참조 화상이 가산되므로, 입력 화상에 가산되는 참조 화상이 움직임 보상 전의 참조 화상과 움직임 보상 후의 참조 화상으로 전환되는 것과 같은 화상의 급격한 변화가 발생하지 않는다. 이 때문에, 시간 노이즈 제거 방식을 이용하여 화상의 노이즈를 경감할 때에, 화상 내에서는, 움직임 보상 처리가 행해지는 블록간의 경계에서의 블록 왜곡을 저감하여, 양호한 화질을 얻을 수 있다. 또, 시간 방향으로 연속되고 있는 복수의 화상에서도 화상간의 급격한 변화가 없으므로, 깜박거림이나 흔들림과 같은 현상을 저감할 수 있다.

또, 바람직하게는, 상기 비율 산출부는, 상기 제1 신뢰도가 높을수록 상기 제1 화상의 가산 비율이 높아지고, 또한, 상기 제2 신뢰도가 높을수록 상기 제2 화상의 가산 비율이 높아지도록, 각각의 가산 비율을 산출한다.

이에 의하면, 입력 화상과의 신뢰도가 높은 화상일수록, 가산 비율을 높게 한다. 요컨대, 입력 화상과 유사한 화상일수록, 가산 비율을 높게 하여 가산을 행한다. 이에 의해, 움직임 보상 처리의 결과를 적절히 반영하면서, 또, 신뢰도의 변화에 따라 가산 비율을 연속적으로 변화시킬 수 있으며, 출력 화상의 블록 왜곡 및 시간 방향의 깜박거림이나 흔들림 현상을 저감할 수 있다.

또, 본 발명은, 이러한 화상 처리 장치로서 실현할 수 있을 뿐만 아니라, 당해 화상 처리 장치를 구성하는 각 처리부를 구비하고 당해 화상 처리 장치를 제어하는 집적 회로로서 실현하거나, 당해 각 처리부의 처리를 단계로 하는 방법으로서 실현하거나 할 수 있다. 또한, 본 발명은, 그들 단계를 컴퓨터에 실행시키는 프로그램으로서 실현하거나, 그 프로그램을 기록한 컴퓨터로 판독 가능한 CD-ROM 등의 기록 매체로서 실현하거나, 그 프로그램을 나타내는 정보, 데이터 또는 신호로서 실현하거나 할 수도 있다. 그리고, 그들 프로그램, 정보, 데이터 및 신호는, 인터넷 등의 통신 네트워크를 통해 배송해도 된다.

본 발명에 의하면, 시간 노이즈 제거 방식을 이용하여 화상의 노이즈를 경감할 때에, 화상 내에서는 블록 왜곡을 저감하여, 양호한 화질을 얻을 수 있다. 또, 이에 의해 시간 방향으로 연속되고 있는 복수의 화상에서도 화상간의 급격한 변화가 없으므로, 깜박거림이나 흔들림과 같은 현상을 저감할 수 있다.

도 1은, 본 발명의 실시 형태에 있어서의 화상 처리 장치의 기능 구성을 도시한 기능 블록도이다.
도 2는, 본 발명의 실시 형태에 있어서의 가산 비율 산출부의 상세한 구성을 도시한 기능 블록도이다.
도 3은, 본 발명의 실시 형태에 있어서의 화상 처리 장치의 동작의 일례를 도시한 흐름도이다.
도 4는, 본 발명의 실시 형태에 있어서의 평탄도 산출부가 평탄도의 산출 방법의 일례를 도시한 도면이다.
도 5는, 본 발명의 실시 형태에 있어서의 평탄도 산출부가 f_edge로부터 에지의 양을 산출하는 방법의 일례를 도시한 도면이다.
도 6은, 본 발명의 실시 형태에 있어서의 평탄도 산출부가 에지의 양으로부터 평탄도를 산출하는 방법의 일례를 도시한 도면이다.
도 7은, 본 발명의 실시 형태에 있어서의 제1 신뢰도 산출부가 MAD로부터 제1 신뢰도를 산출하는 방법의 일례를 도시한 도면이다.
도 8은, 본 발명의 실시 형태에 있어서의 블렌딩 비율 산출부가 행하는 선형 보간 방법의 일례를 도시한 도면이다.
도 9a는, 본 발명의 실시 형태에 있어서의 평탄도와 블렌딩 비율 산출부가 산출하는 가산 비율의 관계를 도시한 도면이다.
도 9b는, 본 발명의 실시 형태에 있어서의 신뢰도와 블렌딩 비율 산출부가 산출하는 가산 비율의 관계를 도시한 도면이다.
도 10은, 본 발명의 실시 형태에 있어서의 화상 처리 장치를 제어하는 화상 처리 집적 회로를 도시한 도면이다.
도 11은, 종래의 움직임 보상을 이용하지 않는 시간 노이즈 제거 처리를 행하는 화상 처리 장치의 기능 구성을 도시한 기능 블록도이다.
도 12는, 종래의 움직임 보상을 이용하는 시간 노이즈 제거 처리를 행하는 화상 처리 장치의 기능 구성을 도시한 기능 블록도이다.
도 13은, 종래의 움직임 보상을 이용하지 않는 방법과 이용하는 방법을 조합한 시간 노이즈 제거 처리를 행하는 화상 처리 장치의 기능 구성을 도시한 기능 블록도이다.

이하, 본 발명의 실시 형태에 대해, 도면을 참조하면서 설명한다.

도 1은, 본 발명의 실시 형태에 있어서의 화상 처리 장치(1)의 기능 구성을 도시한 기능 블록도이다.

화상 처리 장치(1)는, 입력 화상에 참조 화상을 가산함으로써, 입력 화상 중의 노이즈를 제거하는 장치이며, 상기 도면에 나타낸 바와 같이, 메모리(10), 움직임 추정부(20), 움직임 보상부(30), 평탄도 산출부(40), 가산 비율 산출부(50) 및 화소 가산부(60)를 구비하고 있다.

메모리(10)는, 움직임 보상 처리에 이용되는 참조 화상을 저장하고 있는 메모리이다. 구체적으로는, 메모리(10)는, 화소 가산부(60)로부터의 출력 화상을 참조 화상으로서 저장하고 있다.

움직임 추정부(20)는, 입력 화상의 움직임을 추정한 움직임 정보를 생성한다. 구체적으로는, 움직임 추정부(20)는, 입력 화상과 메모리(10)에 저장되어 있는 참조 화상인 제1 화상을 이용하여, 움직임 추정을 행한다. 여기에서 이용되는 참조 화상이란, 입력 화상의 1프레임 전의 출력 화상이며, 움직임 정보란, 시간적으로 연속되는 화상간에서의 각 화소의 이동량을 나타내는 정보이다.

움직임 보상부(30)는, 움직임 정보를 이용한 움직임 보상을 행함으로써, 움직임 보상 전의 참조 화상인 제1 화상에 대응하는 움직임 보상 후의 참조 화상인 제2 화상을 생성한다. 구체적으로는, 움직임 보상부(30)는, 움직임 추정부(20)가 생성한 움직임 정보를 이용하여 제1 화상의 움직임을 보상하고, 제2 화상을 생성한다.

평탄도 산출부(40)는, 입력 화상의 평탄도를 산출한다. 구체적으로는, 평탄도 산출부(40)는, 입력 화상의 화소치의 편차가 작을수록, 또는 입력 화상에 포함되는 에지의 양이 적을수록 평탄도가 높아지도록, 입력 화상의 평탄도를 산출한다. 여기에서, 평탄도란, 입력 화상 내의 변화의 적음의 정도를 나타내는 값이다.

가산 비율 산출부(50)는, 평탄도 산출부(40)가 산출한 평탄도를 이용하여, 입력 화상, 제1 화상 및 제2 화상의 각각의 가산 비율을 산출한다. 가산 비율 산출부(50)의 상세한 설명은 후술한다.

화소 가산부(60)는, 가산 비율 산출부(50)가 산출한 가산 비율에 따라, 입력 화상과 제1 화상과 제2 화상을 가산함으로써, 출력 화상을 생성한다.

다음에, 가산 비율 산출부(50)의 구성의 상세한 설명에 대해 설명한다.

도 2는, 본 발명의 실시 형태에 있어서의 가산 비율 산출부(50)의 상세한 구성을 도시한 기능 블록도이다.

상기 도면에 나타낸 바와 같이, 가산 비율 산출부(50)는, 제1 신뢰도 산출부(51), 제2 신뢰도 산출부(52) 및 블렌딩 비율 산출부(53)를 구비하고 있다.

제1 신뢰도 산출부(51)는, 입력 화상과, 메모리(10)에 저장되어 있는 제1 화상의 일치 정도를 나타내는 제1 신뢰도를 산출한다.

제2 신뢰도 산출부(52)는, 입력 화상과, 움직임 보상부(30)가 생성한 제2 화상의 일치 정도를 나타내는 제2 신뢰도를 산출한다.

블렌딩 비율 산출부(53)는, 평탄도 산출부(40)가 산출한 평탄도와, 제1 신뢰도 산출부(51)가 산출한 제1 신뢰도와, 제2 신뢰도 산출부(52)가 산출한 제2 신뢰도를 이용하여, 입력 화상, 제1 화상 및 제2 화상의 각각의 가산 비율을 산출한다. 또한, 블렌딩 비율 산출부(53)는, 청구의 범위에 기재된 「비율 산출부」의 기능을 갖는다.

구체적으로는, 블렌딩 비율 산출부(53)는, 평탄도가 높을수록, 제1 화상의 가산 비율이 높아짐과 더불어 제2 화상의 가산 비율이 낮아지고, 평탄도가 낮을수록, 제1 화상의 가산 비율이 낮아짐과 더불어 제2 화상의 가산 비율이 높아지도록, 각각의 가산 비율을 산출한다.

또, 블렌딩 비율 산출부(53)는, 제1 신뢰도가 높을수록 제1 화상의 가산 비율이 높아지고, 또한, 제2 신뢰도가 높을수록 제2 화상의 가산 비율이 높아지도록, 각각의 가산 비율을 산출한다. 그리고, 블렌딩 비율 산출부(53)는, 산출한 가산 비율을 화소 가산부(60)에 출력한다.

다음에, 화상 처리 장치(1)의 동작에 대해 설명한다.

도 3은, 본 발명의 실시 형태에 있어서의 화상 처리 장치(1)의 동작의 일례를 도시한 흐름도이다. 메모리(10)에는, 참조 화상이 저장되어 있는 것으로 한다.

우선, 입력 화상이 입력된다(S102).

그리고, 움직임 추정부(20)는, 메모리(10)에 저장되어 있는 참조 화상인 제1 화상과 입력 화상을 이용하여, 움직임 추정을 행한다(S104). 구체적으로는, 움직임 추정부(20)는 블록 매칭을 이용해 입력 화상의 움직임을 추정한 움직임 정보를 생성하여, 움직임을 추정한다.

여기에서, 블록 매칭이란, 입력 화상을 소정 크기의 블록으로 분할하고, 그 블록에 대한 참조 화상의 블록 위치를 찾아내는 방법이다. 요컨대, 움직임 추정부(20)는, 입력 화상의 블록에 대해, 참조 화상 중의 소정의 탐색 범위에서 동일한 크기의 블록을 움직여, 각각의 블록 위치에서 입력 화상의 블록과의 위치의 차를 산출한다.

그리고, 이 위치의 차가 최소가 되는 참조 화상의 블록은, 입력 화상의 블록에 대응하게 된다. 요컨대, 입력 화상의 블록과 이것에 대응한 참조 화상의 블록의 위치의 차가 움직임 추정의 결과가 된다. 이 때문에, 움직임 추정부(20)는, 당해 위치의 차를 움직임 정보로서 생성한다.

또한, 본 실시 형태에서는, 일반적인 블록 매칭 방법을 이용하였지만, 위상 한정 상관법에 의한 블록 매칭 등의 다른 움직임 추정 방법을 이용해도 된다.

다음에, 움직임 보상부(30)는, 상기의 움직임 추정의 결과에 의거하여, 참조 화상의 움직임 보상을 행한다(S106). 요컨대, 움직임 보상부(30)는, 움직임 추정부(20)가 생성한 움직임 정보를 이용한 움직임 보상을 행함으로써, 제1 화상에 대응하는 제2 화상을 생성한다.

여기에서는, 참조 화상이 입력 화상에 블록마다 대응지어져 있다. 요컨대, 움직임 보상부(30)는, 당해 입력 화상의 블록에 대응지어진 참조 화상의 블록을 제2 화상으로서 생성한다.

그러나, 상기의 움직임 추정의 결과가 올바르지 않은 경우가 있다. 예를 들면, 노이즈가 많은 화상에서는, 신호보다 노이즈가 지배적으로 되고, 동일한 노이즈 패턴을 갖고 있는 입력 화상의 블록과 참조 화상의 블록이 대응되어, 실제의 움직임과는 다른 움직임이 추정되는 경우가 있다.

또, 화상 중의 피사체의 형상이 변화한 경우에서, 참조 화상에서는 입력 화상의 블록에 대응하는 블록이 없는 경우는, 움직임이 올바르게 추정되지 않는다.

또한, 화상 중의 피사체가 정지하거나 이동하거나 하면, 움직임 보상 후의 화상에서는, 정지 영역과 이동 영역의 경계에 불연속이 발생하여, 블록형상의 노이즈가 나타난다. 이 블록형상의 노이즈 부분이 가산된 경우는 출력 화상에 블록 왜곡이 발생한다. 동화상과 같이 시간적으로 연속되고 있는 복수의 화상의 경우는, 각 프레임에 블록 왜곡이 상이한 위치에 출현하면, 출력 동화상에서는 깜박거림이나 흔들림이 발생한다.

이 때문에, 상기의 블록 왜곡, 깜박거림이나 흔들림을 억제하기 위해, 본 발명에서는, 움직임 보상 전의 참조 화상인 제1 화상과, 움직임 보상 후의 참조 화상인 제2 화상 모두에 입력 화상과의 가산을 행하여, 제1 화상과 제2 화상의 가산 비율이 연속이 되도록 제어한다.

또, 화상의 평탄한 영역에서는, 주목 블록과 주변의 블록은 동일한 특징을 갖고 있는 경우가 많으므로, 움직임 추정의 정밀도가 저하한다. 또한, 노이즈가 많은 경우는, 노이즈의 영향으로 정확하게 움직임 추정을 할 수 없다. 한편, 에지 등의 특징이 포함되는 평탄하지 않은 영역에서는, 주목 블록에는 화상의 특징이 있으므로, 움직임 추정을 정확하게 할 수 있다.

이 때문에, 상기의 화상의 평탄도와 움직임 추정의 정밀도의 관계를 이용하여, 제1 화상과 제2 화상의 가산 비율을, 이하와 같이 제어한다.

평탄도 산출부(40)는, 입력 화상의 영역마다의 평탄도를 산출한다(S108). 본 실시 형태에서는, 평탄도 산출부(40)는, 입력 화상의 화소치의 편차의 크기, 또는 입력 화상에 포함되는 에지의 양으로부터 평탄도를 산출한다.

우선, 평탄도 산출부(40)가 입력 화상의 화소치의 편차의 크기로부터 평탄도를 산출하는 처리에 대해 설명한다.

평탄도 산출부(40)는, 우선 주목 영역의 각 화소의 화소치의 평균치를 산출한다. 다음에, 평탄도 산출부(40)는, 주목 영역 내의 모든 화소에 대해, 상기 평균치와의 화소치의 차의 절대치를 산출하여, 그 평균 절대 오차를 구한다.

구체적으로는, 주목 영역의 각 화소의 화소치의 평균치를 f_mean, 평균 절대 오차를 f_diff로 하면, f_mean과 f_diff는 이하와 같이 산출된다. 또한, 주목 영역의 화소수는 N이며, 각 화소의 화소치는 f(i)(i=1?N)인 것으로 한다.

[식 1]

[식 2]

그리고, 평탄도 산출부(40)는 f_diff를 이용하여 평탄도를 산출한다.

도 4는, 본 발명의 실시 형태에 있어서의 평탄도 산출부(40)가 f_diff로부터 평탄도를 산출하는 방법의 일례를 도시한 도면이다.

상기 도면에 나타낸 바와 같이, 주목 영역의 f_diff가 작은 경우는, 주목 영역의 평균으로부터의 화소치의 편차가 작으므로, 평탄도 산출부(40)는 평탄도를 높게 설정한다. 반대로, 당해 f_diff가 큰 경우는, 주목 영역 내에서 평균으로부터의 화소치의 편차가 크므로, 평탄도 산출부(40)는 평탄도를 낮게 설정한다. 이와 같이, 평탄도 산출부(40)는, 입력 화상의 화소치의 편차가 작을수록 평탄도가 높아지도록, 입력 화상의 평탄도를 산출한다.

또한, 본 실시 형태에 있어서, 평탄도 산출부(40)가 평탄도를 구하는 변환은, f_diff가 작을수록 평탄도가 높고, f_diff가 클수록 평탄도가 낮아진다는 조건을 만족하고 있으면, 반드시 상기 도면에 나타낸 함수가 아니어도 된다.

또한, 평탄도 산출부(40)는 f_diff를 주목 영역의 화소치의 평균치로부터의 평균 절대 오차로 구하였지만, 표준 편차치 등 평균으로부터의 편차를 나타내는 양이면 반드시 상기의 식에서 나타낸 함수가 아니어도 된다.

다음에, 평탄도 산출부(40)가 입력 화상에 포함되는 에지의 양으로부터 평탄도를 산출하는 처리에 대해 설명한다.

요컨대, 상기에서, 평탄도 산출부(40)는 화상의 평탄도를 구하였지만, 평탄도가 높다는 것은 화상에 포함되는 에지의 양이 적은 것에 상당하며, 반대로, 평탄도가 낮다는 것은 화상에 포함되는 에지의 양이 많은 것에 상당한다. 그 때문에, 평탄도 산출부(40)는, 평탄도를 에지의 정도로부터 산출해도 된다. 이 평탄도의 산출에는, 예를 들면, 다음과 같이 에지의 양을 이용한다.

우선, 평탄도 산출부(40)는 주목 영역의 에지를 추출한다. 평탄도 산출부(40)는, 에지를 추출하기 위해서는, Prewitt 필터나 Sobel 필터나 Laplacian 필터 등의 일반적인 에지 추출 필터를 이용한다. 여기에서, 주목 영역의 각 화소의 화소치를 f(i)(i=1?N)로 하고, 평탄도 산출부(40)가 행한 각 화소에서의 필터 처리 결과를 f_filter(i)(i=1?N)로 한다.

다음에, 평탄도 산출부(40)는, 주목 영역에서 f_filter(i)를 평균함으로써, 주목 영역의 평균의 에지를 산출한다. 평균의 에지를 f_edge로 하면, 평탄도 산출부(40)는 f_edge를 이하와 같이 산출한다.

[식 3]

그리고, 평탄도 산출부(40)는 f_edge를 이용하여 주목 영역의 에지의 양을 산출한다.

도 5는, 본 발명의 실시 형태에 있어서의 평탄도 산출부(40)가 f_edge로부터 에지의 양을 산출하는 방법의 일례를 도시한 도면이다.

상기 도면에 나타낸 바와 같이, 주목 영역의 f_edge가 작은 경우는, 평탄도 산출부(40)는 에지의 양을 적게 설정한다. 반대로, 당해 f_edge가 큰 경우는, 평탄도 산출부(40)는 에지의 양을 많게 설정한다.

또한, 평탄도 산출부(40)가 에지의 양을 구하는 변환은, f_edge가 작을수록 에지의 양이 적고, f_edge가 클수록 에지의 양이 많아진다는 조건을 만족하고 있으면, 반드시 상기 도면에 나타낸 함수가 아니어도 된다.

그리고, 평탄도 산출부(40)는, 에지의 양으로부터 평탄도를 산출한다.

도 6은, 본 발명의 실시 형태에 있어서의 평탄도 산출부(40)가 에지의 양으로부터 평탄도를 산출하는 방법의 일례를 도시한 도면이다.

상기 도면에 나타낸 바와 같이, 주목 영역의 에지의 양이 적은 경우는, 평탄도 산출부(40)는 평탄도를 높게 설정한다. 반대로, 당해 에지의 양이 많은 경우는, 평탄도 산출부(40)는 평탄도를 낮게 설정한다. 이와 같이, 평탄도 산출부(40)는, 입력 화상에 포함되는 에지의 양이 적을수록 평탄도가 높아지도록, 입력 화상의 평탄도를 산출한다.

또한, 평탄도 산출부(40)가 평탄도를 구하는 변환은, 에지의 양이 적을수록 평탄도가 높고, 에지의 양이 많을수록 평탄도가 낮아진다는 조건을 만족하고 있으면, 반드시 상기 도면에 나타낸 함수가 아니어도 된다.

또, 여기에서는, 평탄도는 0 이상 1 이하의 수치이지만, 평탄도는, 0 이상 1 이하의 수치와는 상이한 범위에서의 값이어도 된다.

도 3으로 되돌아가, 가산 비율 산출부(50)는, 평탄도 산출부(40)가 산출한 평탄도를 이용하여, 입력 화상, 제1 화상 및 제2 화상의 각각의 가산 비율의 산출을 행한다(S110, S112).

구체적으로는, 가산 비율 산출부(50)는, 우선, 제1 화상과 제2 화상 각각의 신뢰도를 산출한다. 다음에, 가산 비율 산출부(50)는, 평탄도를 이용하여 블렌딩 비율을 산출하고, 최종적으로 제1 화상과 제2 화상과 입력 화상 각각의 가산 비율을 출력한다.

더욱 구체적으로는, 제1 신뢰도 산출부(51)는 입력 화상과 제1 화상의 신뢰도인 제1 신뢰도를 산출하고, 제2 신뢰도 산출부(52)는 입력 화상과 제2 화상의 신뢰도인 제2 신뢰도를 산출한다(S110). 여기에서, 신뢰도는 입력 화상과 제1 화상 또는 제2 화상의 영역마다의 일치 정도를 나타내는 것이다.

또, 제1 신뢰도와 제2 신뢰도는 동일하도록 산출된다. 이 때문에, 이하에서는, 제1 신뢰도 산출부(51)에 의한 제1 신뢰도의 산출에 대해 설명하고, 제2 신뢰도 산출부(52)에 의한 제2 신뢰도의 산출에 대해서는 생략한다.

제1 신뢰도 산출부(51)는, 제1 신뢰도를 MAD(Mean Absolute Deviation : 평균 절대 오차)의 값에 의해 산출한다. MAD는 오차를 나타내는 양이다. 그리고, 입력 화상과 제1 화상의 MAD는 이하에 나타내는 식으로 정의된다.

[식 4]

여기에서, f1(i)(i=1?N), f2(i)(i=1?N)는, 각각 입력 화상, 제1 화상의 화소치이며, N은 화소수이다.

그리고, 제1 신뢰도 산출부(51)는 MAD를 이용하여 제1 신뢰도를 산출한다.

도 7은, 본 발명의 실시 형태에 있어서의 제1 신뢰도 산출부(51)가 MAD로부터 제1 신뢰도를 산출하는 방법의 일례를 도시한 도면이다.

MAD가 작은 경우는, 입력 화상의 블록과 제1 화상의 블록의 차가 작으므로, 입력 화상의 블록과 제1 화상의 블록의 일치 정도가 높다고 생각된다. 이것을 이용하여, 상기 도면에 나타낸 바와 같이, 제1 신뢰도 산출부(51)는, MAD가 작을 때는 신뢰도를 높게 산출하고, MAD가 큰 경우는 입력 화상의 블록과 제1 화상의 블록이 상이하므로, 신뢰도를 낮게 산출한다.

또한, 본 실시 형태에 있어서, 신뢰도를 구하기 위해 MAD가 이용되고 있지만, SAD(Sum of Absolute Difference), SSD(Sum of Squared Difference) 등, 2개의 화상의 차를 나타내는 양이면 반드시 MAD가 아니어도 된다.

또한, 신뢰도의 산출은, 화상간의 차분이 작을수록 신뢰도가 높고, 차분이 클수록 신뢰도가 낮아진다는 조건을 만족하고 있으면, 반드시 상기 도면에 나타낸 함수로 산출되지 않아도 된다.

또, 여기에서는, 제1 신뢰도 및 제2 신뢰도의 각각은 0 이상 1 이하의 수치이지만, 제1 신뢰도 및 제2 신뢰도는 0 이상 1 이하의 수치와는 상이한 범위에서의 값이어도 된다.

도 3으로 되돌아가, 블렌딩 비율 산출부(53)는 산출된 제1 신뢰도와 제2 신뢰도와 평탄도를 이용하여, 제1 화상과 제2 화상과 입력 화상의, 각각의 가산 비율을 산출한다(S112).

화상의 평탄한 영역에서는, 주목 블록과 주변의 블록은 동일한 특징을 갖고 있으므로, 움직임 추정의 정밀도가 저하한다. 또한, 노이즈가 많은 경우는, 노이즈의 영향으로 정확하게 움직임 추정을 할 수 없다. 한편, 에지 등의 특징이 포함되는 평탄하지 않은 영역에서는, 주목 블록에는 화상의 특징이 있으므로, 움직임 추정을 정확하게 할 수 있다.

이 특징을 이용하여, 블렌딩 비율 산출부(53)는, 평탄한 부분에서는 움직임 추정의 영향이 적어지도록 제1 화상을 우선적으로 가산한다. 반대로, 평탄하지 않은 부분에서는 움직임 추정을 정확하게 행할 수 있으므로, 제2 화상을 우선적으로 가산한다.

요컨대, 블렌딩 비율 산출부(53)는, 평탄도가 높을수록 제1 화상의 가산 비율이 높아짐과 더불어 제2 화상의 가산 비율이 낮아지고, 평탄도가 낮을수록 제1 화상의 가산 비율이 낮아짐과 더불어 제2 화상의 가산 비율이 높아지도록, 각각의 가산 비율을 산출한다.

또, 화상간의 신뢰도가 높을수록 당해 화상들의 일치 정도가 높으므로, 블렌딩 비율 산출부(53)는 신뢰도가 높은 화상을 우선적으로 가산한다. 요컨대, 블렌딩 비율 산출부(53)는, 제1 신뢰도가 높을수록 제1 화상의 가산 비율이 높아지고, 또한, 제2 신뢰도가 높을수록 제2 화상의 가산 비율이 높아지도록, 각각의 가산 비율을 산출한다.

또, 블렌딩 비율 산출부(53)는, 화상을 가산할 때에 화소 단위로 화소치의 가산을 행하므로, 블록 단위로 산출한 평탄도, 제1 신뢰도, 제2 신뢰도를 각각 화소 단위로 변환할 필요가 있다. 본 실시 형태에서는, 블렌딩 비율 산출부(53)는 주목 블록의 정보와 주변 블록의 정보를 이용하여, 블록 단위로부터 화소 단위로 보간 처리를 행한다. 예를 들면, 도 8에 나타낸 보간 방법을 이용한다.

도 8은, 본 발명의 실시 형태에 있어서의 블렌딩 비율 산출부(53)가 행하는 선형 보간 방법의 일례를 도시한 도면이다. 여기에서는, 블록 단위의 신뢰도로부터 화소 단위의 신뢰도로의 산출 방법을 예로 하여 설명한다.

상기 도면에 나타낸 바와 같이, 블렌딩 비율 산출부(53)는 주목 블록의 화소 단위의 신뢰도를 산출하기 위해, 주목 블록의 블록 단위의 신뢰도 및 주변의 인접하고 있는 8블록의 블록 단위의 신뢰도를 이용하여 보간을 행한다. 구체적으로는, 블렌딩 비율 산출부(53)는 블록 단위의 신뢰도를 블록의 중앙 위치에서의 신뢰도로 하여 선형 보간을 행함으로써, 주목 블록의 각 화소의 신뢰도를 산출한다.

또한, 본 실시 형태에 있어서, 블렌딩 비율 산출부(53)가 신뢰도 및 평탄도를 블록 단위로부터 화소 단위로 산출할 때에 선형 보간을 이용하였지만, 반드시 선형 보간이 아니어도 된다.

블렌딩 비율 산출부(53)가 산출한 화소 단위의 평탄도를 Flat, 화소 단위의 제1 신뢰도를 Conf_ref, 화소 단위의 제2 신뢰도를 Conf_mc로 하면, 블렌딩 비율 산출부(53)는 각각의 가산 비율을 이하의 식으로 산출한다.

[식 5]

[식 6]

요컨대, 블렌딩 비율 산출부(53)는 평탄도에 제1 신뢰도를 곱함으로써 제1 화상의 가산 비율 R_ref를 산출하고, 또, 1에서 평탄도를 뺀 값에 제2 신뢰도를 곱함으로써 제2 화상의 가산 비율 R_mc를 산출한다.

또, 블렌딩 비율 산출부(53)는 처리 후의 화상의 평균 휘도가 변화하지 않도록, 이하와 같이, 1에서 제1 화상의 가산 비율과 제2 화상의 가산 비율을 뺌으로써 입력 화상의 가산 비율 R_curr를 산출한다.

[식 7]

이와 같이, 블렌딩 비율 산출부(53)는 평탄도와 신뢰도를 이용하여 가산 비율을 산출한다.

도 9a는, 본 발명의 실시 형태에 있어서의 평탄도와 블렌딩 비율 산출부(53)가 산출하는 가산 비율의 관계를 도시한 도면이다. 또한, 상기 도면에서는, 신뢰도를 일정치로 고정하였을 때의 제1 화상의 가산 비율을 실선 A로 나타내고, 제2 화상의 가산 비율을 점선 B로 나타내고 있다.

상기 도면에 나타낸 바와 같이, 신뢰도를 일정치로 고정한 경우, 평탄도가 높아질수록 제1 화상(실선 A)의 가산 비율이 높아진다. 또, 평탄도가 높아질수록 제2 화상(점선 B)의 가산 비율이 낮아진다. 이와 같이, 블렌딩 비율 산출부(53)는 가산 비율이 평탄도에 따라 연속적으로 변화하도록, 각각의 가산 비율을 제어할 수 있다.

도 9b는, 본 발명의 실시 형태에 있어서의 신뢰도와 블렌딩 비율 산출부(53)가 산출하는 가산 비율의 관계를 도시한 도면이다. 또한, 상기 도면은, 평탄도를 일정치로 고정하였을 때의 제1 화상 또는 제2 화상의 가산 비율을 나타내고 있다.

상기 도면에 나타낸 바와 같이, 평탄도를 일정치로 고정한 경우, 제1 신뢰도가 높아질수록 제1 화상의 가산 비율이 높아지고, 또, 제2 신뢰도가 높아질수록 제2 화상의 가산 비율이 높아진다. 이와 같이, 블렌딩 비율 산출부(53)는 가산 비율이 신뢰도에 따라 연속적으로 변화하도록, 각각의 가산 비율을 제어할 수 있다.

또한, 제1 신뢰도 Conf_ref와 제2 신뢰도 Conf_mc가 모두 1인 경우, 입력 화상의 가산 비율 R_curr가 0이 되므로, 제1 신뢰도 Conf_ref 또는 제2 신뢰도 Conf_mc에 상한치를 형성하는 것으로 해도 된다. 이 상한치는 0.8 정도가 바람직하지만, 1보다 작은 값이면 어떠한 수치여도 상관없다.

도 3으로 되돌아가, 마지막으로, 화소 가산부(60)는 블렌딩 비율 산출부(53)가 산출한 화소 단위의 가산 비율을 이용해, 제1 화상과 제2 화상과 입력 화상을 가산하여 출력 화상을 생성한다(S114).

구체적으로는, 입력 화상의 화소치를 I(i), 제1 화상의 화소치를 Ref(i), 제2 화상의 화소치를 MC(i)로 하면, 화소 가산부(60)는 출력 화상의 화소치 O(i)를 이하의 식으로 산출한다.

[식 8]

요컨대, 화소 가산부(60)는 입력 화상의 화소치에 입력 화상의 가산 비율을 곱한 값과, 제1 화상의 화소치에 제1 화상의 가산 비율을 곱한 값과, 제2 화상의 화소치에 제2 화상의 가산 비율을 곱한 값을 가산함으로써, 출력 화상을 생성한다.

이와 같이 하여, 화상 처리 장치(1)가 입력 화상 중의 노이즈를 제거하는 동작은 종료한다.

이러한 구성에 의하면, 입력 화상의 평탄도에 따라, 제1 화상과 제2 화상과 입력 화상의 가산 비율을 연속적으로 제어함으로써, 출력 화상의 화질 열화를 방지할 수 있으며, 노이즈를 제거하면서 양호한 화질을 얻을 수 있다. 또, 이에 의해 시간 방향으로 연속되고 있는 복수의 화상에서도 화상간의 급격한 변화가 없으므로, 깜박거림이나 흔들림과 같은 현상이 발생하지 않는다.

요컨대, 입력 화상의 평탄도를 이용하여, 입력 화상과 움직임 보상 전의 참조 화상과 움직임 보상 후의 참조 화상의 각각의 가산 비율이 산출되고, 당해 가산 비율에 따라 각각의 화상이 가산된다. 여기에서, 평탄도가 낮으면 움직임 추정을 정확하게 행할 수 있는 경향이 있으므로, 평탄도의 크기를 움직임 추정을 정확하게 행할 수 있는지의 여부의 지표로서 이용하여 당해 가산 비율을 산출할 수 있다. 그리고, 당해 평탄도로부터 산출된 가산 비율로 입력 화상에 움직임 보상 전후의 참조 화상이 가산되므로, 입력 화상에 가산되는 참조 화상이 움직임 보상 전의 참조 화상과 움직임 보상 후의 참조 화상으로 전환되는 것과 같은 화상의 급격한 변화가 발생하지 않는다.

또, 평탄하지 않은 영역일수록 움직임 추정을 정확하게 행할 수 있으므로, 평탄도가 낮을수록 움직임 보상 처리를 행하는 정도를 높게 한다. 이에 의해, 움직임 보상 처리의 결과를 적절히 반영하면서, 또, 평탄도의 변화에 따라 가산 비율을 연속적으로 변화시킬 수 있다. 또, 화소치의 편차 또는 에지의 양으로부터 평탄도가 산출된다. 이 때문에, 간이하게 평탄도를 산출할 수 있다.

또, 평탄도에 더하여 신뢰도를 더 이용하여, 입력 화상과 움직임 보상 전의 참조 화상과 움직임 보상 후의 참조 화상의 각각의 가산 비율이 산출되고, 당해 가산 비율에 따라 각각의 화상이 가산된다. 여기에서, 신뢰도의 크기로 입력 화상에 가산하는 참조 화상의 비율의 크기를 판단할 수 있다. 그리고, 당해 평탄도 및 신뢰도로부터 산출된 비율로, 입력 화상에 움직임 보상 전후의 참조 화상이 가산되므로, 입력 화상에 가산되는 참조 화상이 움직임 보상 전의 참조 화상과 움직임 보상 후의 참조 화상으로 전환되는 것과 같은 화상의 급격한 변화가 발생하지 않는다.

또, 입력 화상과의 신뢰도가 높은 참조 화상일수록 가산 비율을 높게 한다. 요컨대, 입력 화상과 유사한 참조 화상일수록 가산 비율을 높게 하여 가산을 행한다. 이에 의해, 움직임 보상 처리의 결과를 적절히 반영하면서, 또, 신뢰도의 변화에 따라 가산 비율을 연속적으로 변화시킬 수 있다.

이상에 의해, 본 발명에 따른 화상 처리 장치(1)에 의하면, 시간 노이즈 제거 방식을 이용하여 화상의 노이즈를 경감할 때에, 화상 내에서는, 움직임 보상 처리를 행하는 블록간의 경계에서의 블록 왜곡을 저감하여, 양호한 화질을 얻을 수 있다. 또, 시간 방향으로 연속되고 있는 복수의 화상에서도 화상간의 급격한 변화가 없으므로, 깜박거림이나 흔들림과 같은 현상을 저감할 수 있다.

여기에서, 본 발명에 따른 화상 처리 장치(1)가 구비하는 각 처리부는, 전형적으로는 집적 회로인 LSI로서 실현된다.

도 10은, 본 발명의 실시 형태에 있어서의 화상 처리 장치(1)를 제어하는 화상 처리 집적 회로(2)를 도시한 도면이다.

상기 도면에 나타낸 바와 같이, 도 1에 도시된 화상 처리 장치(1)의 메모리(10) 이외의 처리부가, 화상 처리 집적 회로(2)로서 구성된다. 또한, 화상 처리 집적 회로(2)에 포함되는 각 처리부는 개별적으로 1칩화되어도 되고, 일부 또는 모두를 포함하도록 1칩화되어도 된다.

여기에서는, LSI로 하였지만, 집적도의 차이에 따라, IC, 시스템 LSI, 슈퍼 LSI, 울트라 LSI로 호칭되는 경우도 있다.

또, 집적 회로화의 수법은 LSI에 한정되는 것은 아니며, 전용 회로 또는 범용 프로세서로 실현해도 된다. LSI 제조 후에, 프로그램하는 것이 가능한 FPGA(Field Programmable Gate Array)나, LSI 내부의 회로 셀의 접속이나 설정을 재구성 가능한 리컨피규러블?프로세서를 이용해도 된다.

또한, 반도체 기술의 진보 또는 파생되는 다른 기술에 의해 LSI로 치환되는 집적 회로화의 기술이 등장하면, 당연히 그 기술을 이용하여 기능 블록의 집적화를 행해도 된다. 바이오 기술의 적응 등이 가능성으로서 있을 수 있다.

이상, 본 발명에 따른 화상 처리 장치에 대해, 상기 실시 형태를 이용하여 설명하였지만, 본 발명은 이것에 한정되는 것은 아니다.

요컨대, 금회 개시된 실시 형태는 모든 점에서 예시로서 제한적인 것은 아니라고 생각되어야 한다. 본 발명의 범위는 상기한 설명이 아니라 청구의 범위에 의해 나타내어지며, 청구의 범위와 균등한 의미 및 범위 내에서의 모든 변경이 포함되는 것이 의도된다.

예를 들면, 본 실시 형태에서는, 가산 비율 산출부(50)는 제1 신뢰도 산출부(51)와 제2 신뢰도 산출부(52)를 구비하고, 블렌딩 비율 산출부(53)는 신뢰도와 평탄도로부터 가산 비율을 산출하는 것으로 하였다. 그러나, 가산 비율 산출부(50)는 제1 신뢰도 산출부(51)와 제2 신뢰도 산출부(52)를 구비하고 있지 않으며, 블렌딩 비율 산출부(53)는 평탄도로부터 가산 비율을 산출하는 것으로 해도 된다. 또한, 평탄도만으로부터에서는 입력 화상의 가산 비율을 산출할 수 없는 경우여도, 블렌딩 비율 산출부(53)는 입력 화상의 가산 비율을 미리 정해 둠으로써, 각각의 가산 비율을 산출할 수 있다.

또, 본 실시 형태에서는, 화상 처리 장치(1)가 구비하는 각 처리부는, 집적 회로에 의해 실현되고 있는 것으로 하였지만, 당해 각 처리부는 소프트웨어에 의해 실현되고 있어도 된다.

[산업상의 이용 가능성]

본 발명에 따른 화상 처리 장치 및 그 방법은, 시간 방향으로 화소를 가산하여 노이즈를 제거할 때, 입력 화상과, 움직임 보상 전의 참조 화상과, 움직임 보상 후의 참조 화상을 가산함으로써 고효율의 노이즈 제거를 실현한다. 또, 입력 화상의 평탄도를 이용하여, 움직임 보상 전의 참조 화상과 움직임 보상 후의 참조 화상의 가산 비율을 제어함으로써, 가산하는 화상의 성분이 급격하게 변화하지 않고, 출력 화상 중의 블록 왜곡을 억제할 수 있다. 이에 의해, 동화상이나 연속된 복수의 화상에 적용하는 경우는, 시간 방향의 깜박거림이나 흔들림과 같은 현상이 발생하지 않는다는 특징을 가지며, 동화상이나 연속된 복수의 화상으로부터 노이즈를 제거할 수 있는 화상 처리 장치 등에 적용할 수 있다.

1, 70 : 화상 처리 장치
2 : 화상 처리 집적 회로
10, 71 : 메모리
20, 72 : 움직임 추정부
30, 73 : 움직임 보상부
40 : 평탄도 산출부
50 : 가산 비율 산출부
51 : 제1 신뢰도 산출부
52 : 제2 신뢰도 산출부
53 : 블렌딩 비율 산출부
60 : 화소 가산부
75 : 가산 비율 산출부
76 : 화소 가산부
77 : 선택 제어부
78 : 참조 화상 설정부

Claims

입력 화상에 참조 화상을 가산함으로써, 상기 입력 화상 중의 노이즈를 제거하는 화상 처리 장치로서,
상기 입력 화상의 움직임을 추정한 움직임 정보를 생성하는 움직임 추정부와,
생성된 상기 움직임 정보를 이용한 움직임 보상을 행함으로써, 움직임 보상 전의 참조 화상인 제1 화상에 대응하는 움직임 보상 후의 참조 화상인 제2 화상을 생성하는 움직임 보상부와,
상기 입력 화상의 평탄도를 산출하는 평탄도 산출부와,
산출된 상기 평탄도를 이용하여, 상기 입력 화상, 상기 제1 화상 및 상기 제2 화상의 각각의 가산 비율을 산출하는 비율 산출부와,
산출된 각각의 상기 가산 비율에 따라, 상기 입력 화상과 상기 제1 화상과 상기 제2 화상을 가산함으로써 출력 화상을 생성하는 화소 가산부를 구비하는, 화상 처리 장치.
청구항 1에 있어서,
상기 평탄도 산출부는, 상기 입력 화상의 화소치의 편차가 작을수록, 또는 상기 입력 화상에 포함되는 에지의 양이 적을수록, 상기 평탄도가 높아지도록, 상기 입력 화상의 평탄도를 산출하는, 화상 처리 장치.
청구항 1 또는 청구항 2에 있어서,
상기 비율 산출부는, 상기 평탄도가 높을수록, 상기 제1 화상의 가산 비율이 높아짐과 더불어 상기 제2 화상의 가산 비율이 낮아지고, 상기 평탄도가 낮을수록, 상기 제1 화상의 가산 비율이 낮아짐과 더불어 상기 제2 화상의 가산 비율이 높아지도록, 각각의 가산 비율을 산출하는, 화상 처리 장치.
청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
상기 입력 화상과 상기 제1 화상의 일치 정도를 나타내는 제1 신뢰도를 산출하는 제1 신뢰도 산출부와,
상기 입력 화상과 상기 제2 화상의 일치 정도를 나타내는 제2 신뢰도를 산출하는 제2 신뢰도 산출부를 더 구비하고,
상기 비율 산출부는, 산출된 상기 제1 신뢰도와 상기 제2 신뢰도를 또한 이용하여, 상기 입력 화상, 상기 제1 화상 및 상기 제2 화상의 각각의 가산 비율을 산출하는, 화상 처리 장치.
청구항 4에 있어서,
상기 비율 산출부는, 상기 제1 신뢰도가 높을수록 상기 제1 화상의 가산 비율이 높아지고, 또한, 상기 제2 신뢰도가 높을수록 상기 제2 화상의 가산 비율이 높아지도록, 각각의 가산 비율을 산출하는, 화상 처리 장치.
청구항 4 또는 청구항 5에 있어서,
상기 평탄도 산출부는, 0 이상 1 이하의 수치인 상기 평탄도를 산출하고,
상기 제1 신뢰도 산출부는, 0 이상 1 이하의 수치인 상기 제1 신뢰도를 산출하고,
상기 제2 신뢰도 산출부는, 0 이상 1 이하의 수치인 상기 제2 신뢰도를 산출하며,
상기 비율 산출부는, 상기 평탄도에 상기 제1 신뢰도를 곱함으로써 상기 제1 화상의 가산 비율을 산출하고, 1에서 상기 평탄도를 뺀 값에 상기 제2 신뢰도를 곱함으로써 상기 제2 화상의 가산 비율을 산출하며, 1에서 상기 제1 화상의 가산 비율과 상기 제2 화상의 가산 비율을 뺌으로써 상기 입력 화상의 가산 비율을 산출하고,
상기 화소 가산부는, 상기 입력 화상의 화소치에 상기 입력 화상의 가산 비율을 곱한 값과, 상기 제1 화상의 화소치에 상기 제1 화상의 가산 비율을 곱한 값과, 상기 제2 화상의 화소치에 상기 제2 화상의 가산 비율을 곱한 값을 가산함으로써, 상기 출력 화상을 생성하는, 화상 처리 장치.
입력 화상에 참조 화상을 가산함으로써, 상기 입력 화상 중의 노이즈를 제거하는 화상 처리 방법으로서,
상기 입력 화상의 움직임을 추정한 움직임 정보를 생성하는 움직임 추정 단계와,
생성된 상기 움직임 정보를 이용한 움직임 보상을 행함으로써, 움직임 보상 전의 참조 화상인 제1 화상에 대응하는 움직임 보상 후의 참조 화상인 제2 화상을 생성하는 움직임 보상 단계와,
상기 입력 화상의 평탄도를 산출하는 평탄도 산출 단계와,
산출된 상기 평탄도를 이용하여, 상기 입력 화상, 상기 제1 화상 및 상기 제2 화상의 각각의 가산 비율을 산출하는 비율 산출 단계와,
산출된 각각의 상기 가산 비율에 따라, 상기 입력 화상과 상기 제1 화상과 상기 제2 화상을 가산함으로써, 출력 화상을 생성하는 화소 가산 단계를 포함하는, 화상 처리 방법.
입력 화상에 참조 화상을 가산함으로써 입력 화상 중의 노이즈를 제거하는 화상 처리를 행하기 위한 프로그램으로서,
상기 입력 화상의 움직임을 추정한 움직임 정보를 생성하는 움직임 추정 단계와,
생성된 상기 움직임 정보를 이용한 움직임 보상을 행함으로써, 움직임 보상 전의 참조 화상인 제1 화상에 대응하는 움직임 보상 후의 참조 화상인 제2 화상을 생성하는 움직임 보상 단계와,
상기 입력 화상의 평탄도를 산출하는 평탄도 산출 단계와,
산출된 상기 평탄도를 이용하여, 상기 입력 화상, 상기 제1 화상 및 상기 제2 화상의 각각의 가산 비율을 산출하는 비율 산출 단계와,
산출된 각각의 상기 가산 비율에 따라, 상기 입력 화상과 상기 제1 화상과 상기 제2 화상을 가산함으로써, 출력 화상을 생성하는 화소 가산 단계를 컴퓨터에 실행시키는, 프로그램.
입력 화상에 참조 화상을 가산함으로써 입력 화상 중의 노이즈를 제거하는 화상 처리를 행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체로서,
상기 입력 화상의 움직임을 추정한 움직임 정보를 생성하는 움직임 추정 단계와,
생성된 상기 움직임 정보를 이용한 움직임 보상을 행함으로써, 움직임 보상 전의 참조 화상인 제1 화상에 대응하는 움직임 보상 후의 참조 화상인 제2 화상을 생성하는 움직임 보상 단계와,
상기 입력 화상의 평탄도를 산출하는 평탄도 산출 단계와,
산출된 상기 평탄도를 이용하여, 상기 입력 화상, 상기 제1 화상 및 상기 제2 화상의 각각의 가산 비율을 산출하는 비율 산출 단계와,
산출된 각각의 상기 가산 비율에 따라, 상기 입력 화상과 상기 제1 화상과 상기 제2 화상을 가산함으로써, 출력 화상을 생성하는 화소 가산 단계를 컴퓨터에 실행시키는 프로그램을 기록한 컴퓨터로 판독 가능한, 기록 매체.
입력 화상에 참조 화상을 가산함으로써 상기 입력 화상 중의 노이즈를 제거하는 화상 처리 장치를 제어하는 집적 회로로서,
상기 입력 화상의 움직임을 추정한 움직임 정보를 생성하는 움직임 추정부와,
생성된 상기 움직임 정보를 이용한 움직임 보상을 행함으로써, 움직임 보상 전의 참조 화상인 제1 화상에 대응하는 움직임 보상 후의 참조 화상인 제2 화상을 생성하는 움직임 보상부와,
상기 입력 화상의 평탄도를 산출하는 평탄도 산출부와,
산출된 상기 평탄도를 이용하여, 상기 입력 화상, 상기 제1 화상 및 상기 제2 화상의 각각의 가산 비율을 산출하는 비율 산출부와,
산출된 각각의 상기 가산 비율에 따라, 상기 입력 화상과 상기 제1 화상과 상기 제2 화상을 가산함으로써, 출력 화상을 생성하는 화소 가산부를 구비하는, 집적 회로.