KR20150110722A - 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체 - Google Patents

화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체 Download PDF

Info

Publication number
KR20150110722A
KR20150110722A KR1020157022802A KR20157022802A KR20150110722A KR 20150110722 A KR20150110722 A KR 20150110722A KR 1020157022802 A KR1020157022802 A KR 1020157022802A KR 20157022802 A KR20157022802 A KR 20157022802A KR 20150110722 A KR20150110722 A KR 20150110722A
Authority
KR
South Korea
Prior art keywords
frame image
pixel
target
image
pixel value
Prior art date
Application number
KR1020157022802A
Other languages
English (en)
Other versions
KR101652658B1 (ko
Inventor
마사키 사토
슌 히라이
? 히라이
Original Assignee
가부시키가이샤 모르포
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 모르포 filed Critical 가부시키가이샤 모르포
Publication of KR20150110722A publication Critical patent/KR20150110722A/ko
Application granted granted Critical
Publication of KR101652658B1 publication Critical patent/KR101652658B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/911—Television signal processing therefor for the suppression of noise
    • H04N5/23264—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H04N5/225—
    • H04N5/23248—
    • H04N5/23251—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

화상 처리 장치는, 촬상 장치에 의해 얻어진 프레임 화상을 입력하여 처리하는 것에 의해 출력 프레임 화상을 생성하는 화상 처리 장치로서, 처리 대상이 되는 대상 프레임 화상보다 전에 입력된 전 프레임 화상 또는 전 프레임 화상의 출력 프레임 화상을 기록하는 기록부와, 전 프레임 화상 또는 전 프레임 화상의 출력 프레임 화상과, 대상 프레임 화상을 위치 맞춤하는 위치 맞춤부와, 기록부를 참조하여, 위치 맞춤부에 의해 위치 맞춤된 전 프레임 화상의 화소값 또는 전 프레임 화상의 출력 프레임 화상의 화소값을 이용하여 대상 프레임 화상의 화소값을 보정하는 시간적 보정 처리를 행하는 보정부와, 보정부에 의해 보정된 대상 프레임 화상을 이용하여, 대상 프레임 화상의 출력 프레임 화상을 생성하는 생성부를 구비한다.

Description

화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, IMAGE PROCESSING PROGRAM, AND RECORDING MEDIUM}
본 발명의 일 측면은, 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체에 관한 것이다.
종래, 화상 처리 장치로서, 동영상 촬상시의 노이즈를 제거하는 장치가 알려져 있다(예컨대, 특허 문헌 1 참조). 특허 문헌 1에 기재된 화상 처리 장치는, 1 프레임 전의 영상 신호와 현재의 영상 신호의 차분에 따라 순회형 노이즈 리덕션 회로의 귀환 계수를 제어한다. 피사체의 움직임에 대하여 귀환 계수가 적응되는 것에 의해, 움직임이 있는 피사체의 잔상이 억제되고, 움직임이 없는 피사체의 노이즈가 저감된다.
(선행 기술 문헌)
(특허 문헌)
(특허 문헌 1) 일본 특허 공개 2000-209507호 공보
그렇지만, 특허 문헌 1에 기재된 화상 처리 장치에 있어서는, 촬상 장치의 움직임과 움직이는 피사체의 움직임을 구별하는 일 없이 다루기 때문에, 카메라의 흔들림에 의한 프레임 사이의 차분이 광범위하게 생긴다. 이와 같은 상태에서 움직이는 피사체의 잔상을 억제하는 보정을 하는 경우에는, 노이즈 제거의 효과를 약하게 할 필요가 있어, 충분한 노이즈 제거 효과를 얻을 수 없을 우려가 있다. 본 기술 분야에서는, 우수한 노이즈 제거 효과를 나타내는 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체가 요구되고 있다.
본 발명의 일 측면과 관련되는 화상 처리 장치는, 촬상 장치에 의해 얻어진 프레임 화상을 입력하여 처리하는 것에 의해 출력 프레임 화상을 생성하는 화상 처리 장치로서, 처리 대상이 되는 대상 프레임 화상보다 전에 입력된 전 프레임 화상 또는 전 프레임 화상의 출력 프레임 화상을 기록하는 기록부와, 전 프레임 화상 또는 전 프레임 화상의 출력 프레임 화상과, 대상 프레임 화상을 위치 맞춤하는 위치 맞춤부와, 기록부를 참조하여, 위치 맞춤부에 의해 위치 맞춤된 전 프레임 화상의 화소값 또는 전 프레임 화상의 출력 프레임 화상의 화소값을 이용하여 대상 프레임 화상의 화소값을 보정하는 시간적 보정 처리를 행하는 보정부와, 보정부에 의해 보정된 대상 프레임 화상을 이용하여, 대상 프레임 화상의 출력 프레임 화상을 생성하는 생성부를 구비한다.
이 화상 처리 장치에서는, 전 프레임 화상의 출력 프레임 화상을 이용하여 대상 프레임 화상을 보정하는 것보다 전에, 전 프레임 화상의 출력 프레임 화상과 대상 프레임 화상을 위치 맞춤한다. 전 프레임 화상의 출력 프레임 화상과 대상 프레임 화상이 대상 프레임 화상의 보정 전에 위치 맞춤되는 것에 의해, 대상 프레임 화상과 전 프레임 화상의 사이의 촬상 장치의 움직임이 캔슬된다. 따라서, 움직임을 억제하기 위해 노이즈 제거의 효과를 약하게 하는 것을 회피할 수 있으므로, 우수한 노이즈 제거 효과를 나타내는 것이 가능하게 된다.
일 실시 형태에서는, 보정부는, 대상 프레임 화상의 화소의 화소값을, 해당 대상 프레임 화상에 있어서의 해당 화소를 포함하는 영역에 포함되는 복수의 화소의 화소값을 이용하여 보정하는 공간적 보정 처리를 더 행하더라도 좋다. 이것에 의해, 시간적 보정 처리 및 공간적 보정 처리를 조합하여, 보다 한층 우수한 노이즈 제거 효과를 나타낼 수 있다.
일 실시 형태에서는, 보정부는, 대상 프레임 화상의 대상 화소의 화소값과, 위치 맞춤부에 의해 위치 맞춤된 전 프레임 화상의 대응 화소의 화소값 또는 전 프레임 화상의 출력 프레임의 대응 화소의 화소값의 차분에 따른 계수를 이용하여, 대상 화소에 대하여 시간적 보정 처리를 행하더라도 좋다. 이와 같이 구성하는 것에 의해, 예컨대 차분에 따른 강약으로 움직이는 피사체에 대하여 시간적 보정 처리를 행할 수 있다.
일 실시 형태에서는, 생성부는, 보정부에 의해 보정된 대상 프레임 화상의 출력 프레임 화상을 기록부에 저장하더라도 좋다. 이것에 의해, 순회형의 보정 처리를 할 수 있으므로, 효율적으로 우수한 노이즈 제거 효과를 나타낼 수 있다.
일 실시 형태에서는, 생성부는, 촬상 장치의 움직임에 근거하여 보정부에 의해 보정된 대상 프레임 화상으로부터 잘라내는 영역을 결정하고, 결정된 영역을 잘라내는 것에 의해 대상 프레임 화상의 출력 프레임 화상을 생성하더라도 좋다. 또한, 일 실시 형태에서는, 보정부는, 대상 프레임 화상의 잘라내는 영역과는 상이한 영역의 적어도 일부에 포함되는 화소에 대해서는, 처리의 대상으로 하지 않더라도 좋다. 이와 같이 구성하는 것에 의해, 처리 효율을 향상시킬 수 있다.
일 실시 형태에서는, 보정부는, 대상 프레임 화상의 대상 화소의 화소값, 및, 복수의 전 프레임 화상의 대응 화소의 화소값의 가중 평균치를 이용하여, 대상 화소에 대하여 시간적 보정 처리를 행하더라도 좋다. 전 프레임 화상의 대응 화소의 화소값의 가중치는, 과거의 전 프레임 화상일수록 작게 설정되고, 복수의 전 프레임 화상 중, 대상 프레임 화상으로부터 과거로 소정 프레임 수만큼의 전 프레임 화상의 대응 화소의 화소값의 가중치는, 해당 전 프레임 화상보다 1 프레임 후의 전 프레임 화상의 대응 화소의 화소값의 가중치 또는 대상 화소의 화소값의 가중치와의 차분이, 대상 프레임 화상보다 소정 프레임 수만큼 전의 전 프레임 화상의 대응 화소의 화소값의 가중치와, 소정 프레임 수만큼 전의 전 프레임 화상보다 1 프레임 전의 전 프레임 화상의 대응 화소의 화소값의 가중치의 차분보다 작아지도록 설정되더라도 좋다. 이와 같이 구성하는 것에 의해, 과거의 입력 프레임 화상의 가중치를 어느 정도 억제하면서, 대상 프레임으로부터 과거로 소정 프레임 수만큼의 전 프레임 화상의 가중치를 대상 프레임의 가중치와 동일한 정도로 할 수 있다. 과거의 입력 프레임 화상의 가중치를 어느 정도 억제하는 것에 의해, 고스트(잔상)를 경감할 수 있다. 또한, 대상 프레임으로부터 과거로 소정 프레임 수만큼의 전 프레임 화상의 가중치를 대상 프레임의 가중치와 동일한 정도로 하는 것에 의해, 평균 효과를 얻을 수 있다. 그 결과, 고스트를 발생시키는 일 없이, 플리커 등의 진폭이 큰 노이즈를 제거하는 것이 가능하게 된다.
일 실시 형태에서는, 보정부는, 대상 프레임 화상의 대상 화소의 화소값 및 소정 프레임 수만큼의 전 프레임 화상의 대응 화소의 화소값에 직접 가중치를 부여하여 가중 평균치를 산출하고, 가중 평균치와, 소정 프레임 수만큼의 전 프레임 화상의 어느 하나의 출력 프레임 화상의 대응 화소의 화소값을 이용하여, 대상 화소에 대하여 시간적 보정 처리를 행하더라도 좋다. 이 구성에 의하면, 소정 프레임 수만큼의 전 프레임 화상 및 출력 프레임 화상만을 보존하여 두면 된다. 이 때문에, 가중 평균치의 산출에 이용되는 전 프레임 화상의 수를 적절히 설정하는 것에 의해, 보존하는 전 프레임 화상의 수를 줄일 수 있음과 아울러, 처리량을 저감할 수 있다. 이것에 의해, 리소스 삭감 및 처리 효율화를 도모하는 것이 가능하게 된다.
일 실시 형태에서는, 보정부는, 대상 프레임 화상의 대상 화소의 화소값 및 복수의 전 프레임 화상의 대응 화소의 화소값에 직접 가중치 부여를 하여, 대상 화소에 대하여 시간적 보정 처리를 행하더라도 좋다. 이 구성에 의하면, 움직이는 피사체를 포함하는 화소의 화소값의 영향을 작게 하는 등, 시간적 보정 처리의 자유도를 향상시킬 수 있다.
일 실시 형태에서는, 보정부는, 대상 프레임 화상의 대상 화소의 화소값 및 전 프레임 화상의 출력 프레임 화상의 대응 화소의 화소값을 이용하여, 대상 화소에 대하여 시간적 보정 처리를 행하는 제 1 보정 필터와, 대상 프레임 화상의 대상 화소의 화소값, 및, 복수의 전 프레임 화상의 대응 화소의 화소값의 가중 평균치를 이용하여, 대상 화소에 대하여 시간적 보정 처리를 행하는 제 2 보정 필터를 구비하더라도 좋고, 제 2 보정 필터에서는, 전 프레임 화상의 대응 화소의 화소값의 가중치는, 과거의 전 프레임 화상일수록 작게 설정되고, 복수의 전 프레임 화상 중, 대상 프레임 화상으로부터 과거로 소정 프레임 수만큼의 전 프레임 화상의 대응 화소의 화소값의 가중치는, 해당 전 프레임 화상보다 1 프레임 후의 전 프레임 화상의 대응 화소의 화소값의 가중치 또는 대상 화소의 화소값의 가중치와의 차분이, 대상 프레임 화상보다 소정 프레임 수만큼 전의 전 프레임 화상의 대응 화소의 화소값의 가중치와, 소정 프레임 수만큼 전의 전 프레임 화상보다 1 프레임 전의 전 프레임 화상의 대응 화소의 화소값의 가중치의 차분보다 작아지도록 설정되더라도 좋다. 보정부는, 대상 화소에 따라서, 제 1 보정 필터와, 제 2 보정 필터를 바꾸어, 대상 화소에 대하여 시간적 보정 처리를 행하더라도 좋다. 예컨대, 대상 화소가 플리커 등의 진폭이 큰 노이즈를 포함하는 경우에는, 제 2 보정 필터를 이용하는 것에 의해 노이즈를 제거하고, 대상 화소가 플리커 등의 진폭이 큰 노이즈를 포함하지 않는 경우에는, 제 1 보정 필터를 이용하는 것에 의해 노이즈를 제거할 수 있다. 이와 같이, 대상 화소에 따라서, 적절한 보정 필터를 선택하는 것이 가능하게 된다.
본 발명의 다른 측면과 관련되는 화상 처리 방법은, 촬상 장치에 의해 얻어진 프레임 화상을 입력하여 처리하는 것에 의해 출력 프레임 화상을 생성하는 화상 처리 방법으로서, 처리 대상이 되는 대상 프레임 화상보다 전에 입력된 전 프레임 화상 또는 해당 전 프레임 화상의 출력 프레임 화상과, 대상 프레임 화상을 위치 맞춤하는 위치 맞춤 스텝과, 전 프레임 화상 또는 전 프레임 화상의 출력 프레임 화상을 기록하는 기록부를 참조하여, 위치 맞춤 스텝에 의해 위치 맞춤된 전 프레임 화상의 화소값 또는 전 프레임 화상의 출력 프레임 화상의 화소값을 이용하여 대상 프레임 화상의 화소값을 보정하는 시간적 보정 처리를 행하는 보정 스텝과, 보정 스텝에 의해 보정된 대상 프레임 화상을 이용하여, 대상 프레임 화상의 출력 프레임 화상을 생성하는 생성 스텝을 구비한다.
본 발명의 또 다른 측면과 관련되는 화상 처리 프로그램은, 촬상 장치에 의해 얻어진 프레임 화상을 입력하여 처리하는 것에 의해 출력 프레임 화상을 생성하도록 컴퓨터를 기능시키는 화상 처리 프로그램으로서, 컴퓨터를, 처리 대상이 되는 대상 프레임 화상보다 전에 입력된 전 프레임 화상 또는 전 프레임 화상의 출력 프레임 화상을 기록하는 기록부, 전 프레임 화상 또는 전 프레임 화상의 출력 프레임 화상과, 대상 프레임 화상을 위치 맞춤하는 위치 맞춤부, 기록부를 참조하여, 위치 맞춤부에 의해 위치 맞춤된 전 프레임 화상의 화소값 또는 전 프레임 화상의 출력 프레임 화상의 화소값을 이용하여 대상 프레임 화상의 화소값을 보정하는 시간적 보정 처리를 행하는 보정부, 및, 보정부에 의해 보정된 대상 프레임 화상을 이용하여, 대상 프레임 화상의 출력 프레임 화상을 생성하는 생성부로서 기능시킨다.
본 발명의 또 다른 측면과 관련되는 기록 매체는, 촬상 장치에 의해 얻어진 프레임 화상을 입력하여 처리하는 것에 의해 출력 프레임 화상을 생성하도록 컴퓨터를 기능시키는 화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체로서, 컴퓨터를, 처리 대상이 되는 대상 프레임 화상보다 전에 입력된 전 프레임 화상 또는 전 프레임 화상의 출력 프레임 화상을 기록하는 기록부, 전 프레임 화상 또는 전 프레임 화상의 출력 프레임 화상과, 대상 프레임 화상을 위치 맞춤하는 위치 맞춤부, 기록부를 참조하여, 위치 맞춤부에 의해 위치 맞춤된 전 프레임 화상의 화소값 또는 전 프레임 화상의 출력 프레임 화상의 화소값을 이용하여 대상 프레임 화상의 화소값을 보정하는 시간적 보정 처리를 행하는 보정부, 및, 보정부에 의해 보정된 대상 프레임 화상을 이용하여, 대상 프레임 화상의 출력 프레임 화상을 생성하는 생성부로서 기능시키는 화상 처리 프로그램을 기록하여 구성된다.
상술한 화상 처리 방법, 화상 처리 프로그램 및 기록 매체에 의하면, 상술한 본 발명의 일 측면과 관련되는 화상 처리 장치와 동일한 효과를 나타낸다.
본 발명의 여러 가지의 측면 및 실시 형태에 의하면, 우수한 노이즈 제거 효과를 나타내는 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체가 제공된다.
도 1은 제 1 실시 형태와 관련되는 화상 처리 장치를 탑재한 휴대 단말의 기능 블록도이다.
도 2는 제 1 실시 형태와 관련되는 화상 처리 장치가 탑재되는 휴대 단말의 하드웨어 구성도이다.
도 3은 제 1 실시 형태와 관련되는 화상 처리 장치의 동작을 설명하는 플로차트이다.
도 4는 위치 맞춤 처리를 설명하는 개요도이다.
도 5는 공간적 보정 처리를 설명하는 개요도이다.
도 6은 시간적 보정 처리를 설명하는 개요도이다.
도 7은 시간적 보정 처리를 설명하는 개요도이다.
도 8은 시간적 보정 처리를 설명하는 개요도이다.
도 9는 출력 화상 프레임 및 손떨림 보정을 설명하는 개요도이다.
도 10은 입력 프레임 화상의 가중치의 일례를 나타내는 도면이다.
도 11은 입력 프레임 화상의 가중치의 다른 예를 나타내는 도면이다.
도 12는 제 2 실시 형태와 관련되는 화상 처리 장치의 시간적 보정 처리의 상세를 나타내는 플로차트이다.
도 13은 순회형 필터를 이용한 경우의 입력 프레임 화상의 가중치의 일례를 나타내는 도면이다.
이하, 첨부 도면을 참조하여 실시 형태에 대하여 설명한다. 또, 각 도면에 있어서 동일 또는 상당 부분에는 동일한 부호를 붙이고, 중복하는 설명을 생략한다.
본 실시 형태와 관련되는 화상 처리 장치는, 예컨대 노이즈가 제거된 프레임 화상을 출력하는 장치로서, 예컨대 복수의 화상의 연속 촬영이나 동영상 촬영의 경우에 적합하게 채용되는 것이다. 본 실시 형태와 관련되는 화상 처리 장치는, 예컨대, 휴대 전화, 디지털 카메라, PDA(Personal Digital Assistant) 등, 리소스에 제한이 있는 모바일 단말에 적합하게 탑재되는 것이지만, 이것들로 한정되는 것이 아니고, 예컨대 통상의 컴퓨터 시스템에 탑재되더라도 좋다. 또, 이하에서는, 설명 이해의 용이성을 고려하여, 일례로서, 동영상 촬상 기능을 구비한 휴대 단말에 탑재되는 화상 처리 장치를 설명한다.
[제 1 실시 형태]
도 1은 제 1 실시 형태와 관련되는 화상 처리 장치(1)를 구비하는 휴대 단말(2)의 기능 블록도이다. 도 1에 나타내는 휴대 단말(2)은, 예컨대 유저에 의해 휴대되는 이동 단말이고, 도 2에 나타내는 하드웨어 구성을 갖는다. 도 2는 휴대 단말(2)의 하드웨어 구성도이다. 도 2에 나타내는 바와 같이, 휴대 단말(2)은, 물리적으로는, CPU(Central Processing Unit)(100), ROM(Read Only Memory)(101) 및 RAM(Random Access Memory)(102) 등의 주 기억 장치, 카메라 또는 키보드 등의 입력 디바이스(103), 디스플레이 등의 출력 디바이스(104), 하드 디스크 등의 보조 기억 장치(105) 등을 포함하는 통상의 컴퓨터 시스템으로서 구성된다. 후술하는 휴대 단말(2) 및 화상 처리 장치(1)의 각 기능은, CPU(100), ROM(101), RAM(102) 등의 하드웨어상에 소정의 컴퓨터 소프트웨어를 판독시키는 것에 의해, CPU(100)의 제어의 아래에서 입력 디바이스(103) 및 출력 디바이스(104)를 동작시킴과 아울러, 주 기억 장치나 보조 기억 장치(105)에 있어서의 데이터의 판독 및 기입을 행하는 것에 의해 실현된다. 또, 상기의 설명은 휴대 단말(2)의 하드웨어 구성으로서 설명했지만, 화상 처리 장치(1)가 CPU(100), ROM(101) 및 RAM(102) 등의 주 기억 장치, 입력 디바이스(103), 출력 디바이스(104), 보조 기억 장치(105) 등을 포함하는 통상의 컴퓨터 시스템으로서 구성되더라도 좋다. 또한, 휴대 단말(2)은, 통신 모듈 등을 구비하더라도 좋다.
도 1에 나타내는 바와 같이, 휴대 단말(2)은, 동영상 카메라(촬상 장치)(20), 화상 처리 장치(1) 및 표시부(22)를 구비하고 있다. 동영상 카메라(20)는, 동영상을 촬상하는 기능을 갖고 있다. 동영상은, 시계열로 연속하는 프레임 화상을 포함한다. 또, 동영상 카메라(20)는, 유저 조작 등에 의해 지정된 타이밍으로부터 소정의 간격으로 반복하여 촬상하는 연속 촬상 기능을 갖고 있더라도 좋다. 동영상 카메라(20)는, 프레임 화상을 화상 처리 장치(1)에 출력한다.
화상 처리 장치(1)는, 동영상 카메라(20)에 의해 얻어진 프레임 화상을 입력하여 처리하는 것에 의해 출력 프레임 화상을 생성한다. 예컨대, 화상 처리 장치(1)는, 입력된 프레임 화상의 노이즈를 제거하고, 출력 프레임 화상을 출력하는 기능을 갖는다. 여기서 노이즈란, 예컨대 촬상된 영상상에 발생하는 깜박거림이다. 노이즈는, 예컨대, 프레임 화상간에서 시간 경과와 함께 랜덤으로 변경되는 화소값(시간 노이즈), 또는, 동일 프레임 내에 있어서 주위의 화소의 화소값과는 극단적으로 상이한 화소값(공간 노이즈)이더라도 좋다. 또, 화소값이란, 화소에 대응시켜진 정보이고, 예컨대 휘도값, 색차값, 채도 등이 포함된다.
화상 처리 장치(1)는, 예컨대, 프레임 화상 입력부(10), 위치 맞춤부(11), 보정부(12), 생성부(13) 및 출력 프레임 화상 기록부(14)를 구비하고 있다.
프레임 화상 입력부(10)는, 동영상 카메라(20)에 의해 촬상된 프레임 화상을 입력하는 기능을 갖고 있다. 프레임 화상 입력부(10)는, 입력한 프레임 화상을 위치 맞춤부(11)에 출력한다.
위치 맞춤부(11)는, 프레임 화상간의 위치를 맞추는 기능을 갖고 있다. 위치 맞춤부(11)는, 예컨대, 프레임 화상간의 좌표를 대응시킨다. 위치 맞춤부(11)는, 프레임 화상간의 차분을 산출하여, 프레임 화상간의 좌표를 대응시키더라도 졸고, 프레임 화상간의 원점의 위치 변화를 산출하여, 프레임 화상간의 좌표를 대응시키더라도 좋다. 혹은, 화상 처리 장치(1)가 자이로 센서를 구비하고, 자이로 센서에 의한 검출 결과를 이용하여, 위치 맞춤부(11)가 대상 프레임 화상과 전 프레임 화상의 사이의 움직임을 취득하더라도 좋다. 자이로 센서에 의한 검출 결과를 이용한 경우에는, 화상만의 데이터를 이용하는 경우에 비하여, 로버스트성(robustness)이 우수한 노이즈 제거를 할 수 있다.
화상간의 차분을 이용하는 경우에는, 예컨대, 위치 맞춤부(11)는, 처리 대상이 되는 대상 프레임 화상과, 해당 대상 프레임 화상보다 전에 화상 처리 장치(1)에 입력되어 노이즈가 제거된 전 프레임 화상을 이용하여, 위치 맞춤한다. 대상 프레임 화상은, 예컨대 이번에 입력된 프레임 화상이고, 전 프레임 화상은, 예컨대 대상 프레임 화상의 1 프레임 전의 프레임 화상이다. 출력 프레임 화상 기록부(14)에는, 전회의 처리에 의해, 노이즈가 제거된 전 프레임 화상이 저장되어 있다. 위치 맞춤부(11)는, 예컨대 출력 프레임 화상 기록부(14)를 참조하여 노이즈가 제거된 전 프레임 화상을 취득한다. 혹은, 위치 맞춤부(11)는, 처리 대상이 되는 대상 프레임 화상과, 노이즈가 제거되어 있지 않은 전 프레임 화상을 위치 맞춤하더라도 좋다. 이 경우, 프레임 화상 입력부(10)는, 화상 처리 장치(1)에 구비되는 기록부에 전 프레임 화상을 저장하고, 위치 맞춤부(11)는, 그 기록부를 참조하여 전 프레임 화상을 취득하면 된다. 혹은, 화상 처리 장치(1)가 자이로 센서를 구비하고, 자이로 센서에 의한 검출 결과에 의해, 대상 프레임 화상과 전 프레임 화상의 사이에 있어서의 움직임을 취득하더라도 좋다.
위치 맞춤부(11)는, 예컨대 위치 맞춤에 관한 데이터를 보정부(12)에 출력한다. 위치 맞춤에 관한 데이터란, 예컨대, 2개의 프레임 화상의 원점 위치를 대응시키는 데이터이다. 보정부(12)는, 위치 맞춤된 프레임 화상끼리를 이용하여 보정 처리를 행한다.
보정부(12)는, 대상 프레임 화상의 노이즈를 제거하는 보정을 행한다. 상술한 바와 같이, 노이즈를 포함하는 화소는, 프레임 화상간에서 시간 경과와 함께 랜덤으로 변경되는 화소값이 되거나, 동일 프레임 내에 있어서 주위의 화소의 화소 위치와는 극단적으로 상이한 화소값(색 노이즈를 포함하는 화소값)이 되는 경우가 있다. 이 때문에, 보정부(12)는, 2개의 보정 처리를 조합하여, 노이즈를 제거한다.
보정부(12)가 행하는 제 1 보정 처리는, 대상 프레임 화상의 정보만을 이용하여 보정을 행하는 처리이다. 즉, 제 1 보정 처리는, 위치 맞춤 처리의 전에 있어서도 실행될 수 있다. 제 1 보정 처리는, 대상 프레임 화상의 정보만을 이용하여 행하기 때문에, 2차원의 좌표 위치를 취득하면 실행 가능하게 된다. 이하에서는, 제 1 보정 처리를 공간적 보정 처리라고 한다. 공간적 보정 처리는, 대상 프레임 화상에 포함되는 노이즈(공간 노이즈)를 제거하는 보정이다. 노이즈에는, 색 성분이나 휘도 성분의 노이즈가 포함된다. 보정부(12)는, 평활화 필터 등을 이용하여, 대상 화소의 주위에 위치하는 화소의 화소값을 평균하고, 산출된 평균치를 이용하여 색 노이즈를 포함하는 화소값을 보정한다. 공간적 보정 처리의 장점은, 움직이는 피사체가 화상 프레임에 존재한 경우에도, 로버스트하게 노이즈를 제거할 수 있는 점에 있다. 그러나, 공간적으로 상이한 위치의 정보를 이용하기 때문에, 평균치가 현실의 화소값과 크게 상이한 경우도 있다. 이 때문에, 평활화 처리는, 어느 정도 화소값의 변화가 작은 영역, 예컨대, 화소값의 변화가 소정값 이하가 되는 영역에 대하여 행하더라도 좋다. 보정부(12)는, 색 노이즈에 따라서 제거 레벨을 설정하고, 설정한 레벨이 클수록, 보정 횟수를 증가시키더라도 좋다. 보정부(12)는, 대상으로 하는 화소를 1/4로 솎아내고, 보정 처리 후에 예컨대 바이리니어 보완 등에 의해 보완하더라도 좋다. 또한, 공간적 보정 처리와 함께 색을 강조하는 보정을 추가적으로 행하더라도 좋다. 이 경우, 공간적 보정 처리에 의해 퇴색한 화상의 화질을 개선할 수 있다.
보정부(12)가 행하는 제 2 보정 처리는, 위치 맞춤된 전 프레임 화상의 정보를 이용하여 보정을 행하는 처리이다. 즉, 제 2 보정 처리는, 위치 맞춤 처리의 후에 있어서 실행된다. 이하에서는, 제 2 보정 처리를 시간적 보정 처리라고 한다. 예컨대, 보정부(12)는, 대상 프레임 화상의 화소값과, 위치 맞춤 후의 대응하는 전 프레임 화상의 출력 프레임 화상의 화소의 화소값을 이용하여, 노이즈 제거 후의 대상 프레임 화상을 작성한다. 혹은, 예컨대, 보정부(12)는, 위치 맞춤 후의 대응하는 전 프레임 화상의 화소의 화소값과 대상 프레임 화상의 화소의 화소값을 이용하여, 대상 프레임 화상의 출력 프레임 화상의 화소값을 생성한다.
또, 보정부(12)는, 1 프레임 전의 전 프레임 화상뿐만 아니라, 그 전 프레임 화상보다 과거의 전 프레임 화상도 참조하여, 과거의 전 프레임 화상의 화소값을 취득하고, 취득한 화소값을 평균화하더라도 좋다. 예컨대, 보정부(12)는, 대상 프레임 화상의 대상 화소의 화소값, 및 위치 맞춤부(11)에 의해 위치 맞춤된 복수의 전 프레임 화상의 대응 화소의 화소값을 직접 이용하여, 대상 화소에 대하여 시간적 보정 처리를 행하더라도 좋다. 이 경우, 보정 필터는 이른바 비순회형 필터가 된다. 혹은, 보정부(12)는, 노이즈가 제거된 전 프레임 화상을 보존하여 두고, 보존된 전 프레임 화상을 이용하여, 대상 프레임 화상을 보정하더라도 좋다. 다시 말해, 보정부(12)는, 대상 프레임 화상의 대상 화소의 화소값 및 전 프레임 화상의 출력 프레임 화상의 대응 화소의 화소값을 이용하여, 대상 화소에 대하여 시간적 보정 처리를 행하더라도 좋다. 이 경우, 보정 필터는 이른바 순회형 필터가 되고, 노이즈가 제거된 전 프레임 화상만을 보존하여 두면 되기 때문에, 리소스 삭감 및 처리 효율화를 도모할 수 있다. 시간적 보정 처리의 장점은, 풍경 등의 경우, 거의 전 프레임 화상의 화소값을 채용할 수 있기 때문에, 텍스처를 남기면서 효과적으로 노이즈(시간 노이즈)를 제거할 수 있는 점에 있다. 그러나, 시간적으로 상이한 위치의 정보를 이용하기 때문에, 움직이는 피사체가 묘화된 프레임 화상의 경우, 평균치를 그대로 채용하면 부자연스러운 화상이 될 우려가 있다. 이 때문에, 대상 프레임 화상의 대상 화소의 화소값과, 위치 맞춤부에 의해 위치 맞춤된 전 프레임 화상의 출력 프레임의 대응 화소의 화소값의 차분에 따른 계수를 이용하여 대상 화소에 대하여 시간적 보정 처리를 행하더라도 좋다. 예컨대, 차분이 소정값 이상인 경우에는, 대상 화소에 대한 시간적 보정 처리가 약해지도록 계수를 설정하거나, 차분이 소정값 이상인 경우에는, 시간적 보정 처리를 행하지 않도록 계수를 설정하더라도 좋다.
보정부(12)는, 상술한 공간적 보정 처리 및 시간적 보정 처리를 어느 한쪽 혹은 조합하여 노이즈 제거를 행한다. 보정부(12)는, 공간적 보정 처리 및 시간적 보정 처리를 조합하여 보정하는 것에 의해, 서로의 처리의 장점을 살려, 한층 적절한 보정을 할 수 있다. 보정부(12)는, 보정된 대상 프레임 화상을 생성부(13)에 출력한다.
생성부(13)는, 보정된 대상 프레임 화상의 일부를 잘라내어, 출력 프레임 화상을 생성한다. 생성부(13)는, 예컨대, 출력 프레임 화상을 출력 프레임 화상 기록부(14)에 송신하여 저장함과 아울러, 표시부(22)에 표시시킨다. 표시부(22)는, 화상 또는 영상을 표시 가능한 장치이고, 예컨대 디스플레이 장치이다.
다음으로, 제 1 실시 형태와 관련되는 화상 처리 장치(1)의 동작에 대하여 설명한다. 도 3은 제 1 실시 형태와 관련되는 화상 처리 장치(1)의 동작을 나타내는 플로차트이다. 도 3에 나타내는 제어 처리는, 예컨대 휴대 단말(2)의 촬상 기능을 ON한 타이밍에 실행되고, 소정의 주기로 반복하여 실행된다. 또, 설명 이해의 용이성을 고려하여, 처리 대상의 입력 프레임 화상은, 2번째 이후의 입력 프레임 화상인 것으로 한다.
도 3에 나타내는 바와 같이, 최초로 화상 처리 장치(1)가 프레임 화상 입력 처리를 실행한다(S10). S10의 처리에서는, 프레임 화상 입력부(10)가, 동영상 카메라(20)로부터 대상 프레임 화상 framei_In을 입력한다. S10의 처리가 종료되면, 위치 맞춤 처리로 이행한다(S12 : 위치 맞춤 스텝).
S12의 처리에서는, 위치 맞춤부(11)가, 대상 프레임 화상 framei_In과 전 프레임 화상 framei -1_In의 출력 프레임 화상 framei -1_Out의 사이의 위치 맞춤을 행한다. 위치 맞춤은, 상술한 바와 같이, 여러 가지의 방법을 채용할 수 있지만, 여기서는, 화상 정보만으로 위치 맞춤하는 예를 설명한다. 도 4는 2매의 프레임 화상을 이용하여 행하는 위치 맞춤을 설명하는 도면이다. 도 4에 나타내는 바와 같이, 출력 프레임 화상 framei -1_Out의 원점 위치(0i-1, 0i-1, 1)와, 대상 프레임 화상 framei_In의 원점 위치(0i, 0i, 1)를 대응시키더라도 좋고, 소정의 특징점끼리, 점(xi-1, yi -1, 1)과 점(xi, yi, 1)을 대응시키더라도 좋다. S12의 처리가 종료되면, 공간적 보정 처리로 이행한다(S14 : 보정 스텝).
S14의 처리에서는, 보정부(12)가 대상 프레임 화상 framei_In의 화상 정보만을 이용하여 노이즈를 제거한다. 보정부(12)는, 예컨대, 대상 프레임 화상 framei_In의 전체에 대하여 평활화 필터를 적용한다. 평활화 필터에 의해, 대상 화소의 주위의 영역에 포함되는 화소의 화소값이 평균화된다. 주위의 영역이란, 대상 화소를 포함하는 소정 범위이다. 소정 범위는, 예컨대, 해당 화소의 8개의 근방의 화소, 24개의 근방의 화소, 또는, 48개의 근방의 화소 등이 이용된다. 도 5는 공간적 보정 처리를 설명하는 개요도이다. 도 5에 나타내는 바와 같이, 대상 프레임 화상 framei_In에 대상 화소 P1이 존재한다. 보정부(12)는, 일례로서, 대상 화소 P1의 8개의 근방의 화소의 화소값을 이용하여, 대상 화소 P1의 화소값을 보정한다. 예컨대, 보정부(12)는, 8개의 근방의 화소의 화소값의 평균치에 가까워지도록, 대상 화소 P1의 화소값을 보정한다. S14의 처리가 종료되면, 시간적 보정 처리로 이행한다(S16 : 보정 스텝).
S16의 처리에서는, 보정부(12)가 대상 프레임 화상 framei_In의 화상 정보와, 전 프레임 화상 framei -1_In의 출력 프레임 화상 framei -1_Out의 화상 정보를 이용하여, 노이즈를 제거한다. 도 6은 시간적 보정 처리를 설명하는 개요도이다. 도 6에 나타내는 바와 같이, 전 프레임 화상 framei -1_In의 출력 프레임 화상 framei -1_Out이, 과거의 전 프레임 화상 framei -2_In으로부터 전 프레임 화상 framei -n_In까지 참조하여 보정되고 있는 것으로 한다. 이 경우, 전 프레임 화상 framei -1_In의 출력 프레임 화상 framei -1_Out의 정보를 이용하여, 대상 프레임 화상 framei_In을 보정하는 것에 의해, 전 프레임 화상 framei -1_In으로부터 전 프레임 화상 framei -n_In까지 참조하여 보정한 경우와 동일한 효과를 나타낸다. 따라서, 전 프레임 화상 framei -1_In의 출력 프레임 화상 framei -1_Out의 화상 정보만을 보존하여 두면 되기 때문에, 그 외의 과거의 전 프레임 화상에 대해서는 보존하지 않아도 되게 된다. 따라서, 리소스 삭감 및 처리 효율화를 도모하면서, 우수한 노이즈 저감 효과를 제공할 수 있다.
보정부(12)는, 예컨대, 대상 프레임 화상 framei_In의 대상 화소와, 전 프레임 화상 framei -1_In의 출력 프레임 화상 framei -1_Out의 화소를 참조하여, 평균화한다. 도 7은 시간적 보정 처리를 설명하는 개요도이다. 도 7에서는, 대상 프레임 화상 framei_In에 대상 화소 P2i가 존재하고, 출력 프레임 화상 framei -1_Out에 대상 화소 P2i -1이 존재한다. 도 7에 나타내는 바와 같이, 보정부(12)는, 대상 프레임 화상 framei_In의 대상 화소 P2i의 화소값과, 대상 화소 P2i에 대응하는 위치에 있는 화소 P2i -1의 화소값을 이용하여, 노이즈를 제거한 대상 프레임 화상 framei_In을 생성한다.
또한, 보정부(12)는, 움직이는 피사체가 존재하는 경우에는 처리를 변경하더라도 좋다. 도 8은 움직이는 피사체가 존재하는 경우의 시간적 보정 처리를 설명하는 개요도이다. 도 8에서는, 대상 프레임 화상 framei_In에 대상 화소 P2i가 존재하고, 출력 프레임 화상 framei -1_Out에 대상 화소 P2i -1이 존재한다. 도 8에 나타내는 바와 같이, 대상 프레임 화상 framei_In에 있어서는, 대상 화소 P2i와 움직이는 피사체가 겹치지 않지만, 출력 프레임 화상 framei -1_Out에 있어서는, 대상 화소 P2i -1과 움직이는 피사체가 겹치고 있다. 이와 같이, 움직이는 피사체가 존재하는 경우에는, 대상 화소 P2i의 화소값과, 대상 화소 P2i -1의 화소값의 차분이 커진다. 따라서, 예컨대, 대상 화소 P2i의 화소값과, 대상 화소 P2i -1의 화소값의 차분이 소정값 이상인 경우에는, 시간적 보정 처리를 행하지 않도록 하더라도 좋다.
또한, 보정부(12)는, 대상 화소 P2i의 화소값과 화소 P2i -1의 화소값에 가중치를 부여하여 평균하더라도 좋다. 일반적으로, 전 프레임의 화소값의 가중치가 대상 프레임 화상의 화소값의 가중치보다 큰 경우에는, 노이즈 제거의 효과는 커진다. 대응하는 위치의 화소값의 차분이 큰 경우, 즉 소정값 이상의 차분이 존재하는 경우에는, 시간적 보정 처리를 행하지 않도록 하더라도 좋다. S16의 처리가 종료되면, 출력 프레임 화상 생성 처리로 이행한다(S18 : 생성 스텝).
S18의 처리에서는, 생성부(13)가, S16의 처리에서 얻어진 노이즈를 제거한 대상 프레임 화상 framei_In으로부터 출력 프레임 화상 framei_Out을 생성한다. 생성부(13)는, 특별히 처리를 하는 일 없이, S16의 처리에서 얻어진 노이즈를 제거한 대상 프레임 화상 framei_In을 출력 프레임 화상 framei_Out으로 하더라도 좋고, 잘라낸 영역을 출력 프레임 화상 framei_Out으로 하더라도 좋다. 예컨대, 생성부(13)는, 손떨림 보정을 하는 경우에는, 동영상 카메라(20)의 움직임에 근거하여 노이즈를 제거한 대상 프레임 화상 framei_In으로부터 잘라내는 영역을 결정하고, 결정된 영역을 잘라내는 것에 의해 대상 프레임 화상 framei_In의 출력 프레임 화상 framei_Out을 생성하더라도 좋다. 도 9는 영역의 잘라냄에 의한 출력 프레임 화상 framei_Out의 생성을 설명하는 설명도이다. 도 9의 (a), (b)에 나타내는 바와 같이, 동영상 카메라(20)에 의해 연속 촬상된 프레임 화상을 framei -1, framei로 하고, 그 중심 위치를 Cfi -1, Cfi로 한다. 화상 처리 장치(1)는, 프레임 화상 framei -1보다 작은 크기의 잘라내기 영역 Ki -1을 설정한다. 예컨대, 잘라내기 영역 Ki -1의 크기는, 프레임 화상 framei -1의 크기의 70~90%가 된다. 이 잘라내기 영역 Ki -1이 출력 프레임 화상이 된다. 다음으로, 동영상 카메라(20)가 (a)에서 나타내는 촬상 위치로부터 (b)에서 나타내는 촬상 위치로 변화한 것으로 한다(도 9의 (b)의 실선의 화살표로 나타내는 오른쪽 위 방향으로의 시프트). 이 경우, 프레임 화상 framei -1보다 오른쪽 위로 시프트한 프레임 화상 framei가 얻어진다. 여기서, 화상 처리 장치(1)는, 프레임 화상 framei -1과 프레임 화상 framei의 사이의 움직임을 상쇄하는 위치에, 잘라내기 영역 Ki를 설정한다(도 9의 (b)의 점선의 화살표로 나타내는 왼쪽 아래 방향으로의 시프트). 이것에 의해, 잘라내기 영역 Ki -1의 중심 위치 Cfi -1과 Cfi가 동일한 정도의 위치가 되기 때문에, 마치 정지하고 있는 것과 같은 출력 프레임 화상이 생성되어, 표시부(22)에 출력된다. 또, 영역의 잘라내기는, 단순한 잘라내기뿐만 아니라, 아핀 변환 또는 투시 변환 등과 조합한 잘라내기에 의해 행해지더라도 좋다.
이상으로 도 3에 나타내는 제어 처리를 종료한다. 도 3에 나타내는 제어 처리를 실행하는 것에 의해, 보정 전에 위치 맞춤을 행할 수 있으므로, 동영상 카메라(20)의 흔들림에 의한 프레임간의 차분이 광범위하게 발생하는 것을 회피하는 것이 가능하게 된다. 따라서, 우수한 노이즈 제거 효과를 나타낼 수 있다.
다음으로, 휴대 단말(컴퓨터)(2)을 상기 화상 처리 장치(1)로서 기능시키기 위한 화상 처리 프로그램을 설명한다.
화상 처리 프로그램은, 메인 모듈, 입력 모듈 및 연산 처리 모듈을 구비하고 있다. 메인 모듈은, 화상 처리를 통괄적으로 제어하는 부분이다. 입력 모듈은, 프레임 화상을 취득하도록 휴대 단말(2)을 동작시킨다. 연산 처리 모듈은, 위치 맞춤 모듈, 보정 모듈 및 생성 모듈을 구비하고 있다. 메인 모듈, 입력 모듈 및 연산 처리 모듈을 실행시키는 것에 의해 실현되는 기능은, 상술한 화상 처리 장치(1)의 프레임 화상 입력부(10), 위치 맞춤부(11), 보정부(12) 및 생성부(13)의 기능과 각각 동일하다.
화상 처리 프로그램은, 예컨대, ROM 등의 기록 매체 또는 반도체 메모리에 의해 제공된다. 또한, 화상 처리 프로그램은, 데이터 신호로서 네트워크를 통해서 제공되더라도 좋다.
이상, 제 1 실시 형태와 관련되는 화상 처리 장치(1), 화상 처리 방법 및 화상 처리 프로그램에 의하면, 전 프레임 화상의 출력 프레임 화상과 대상 프레임 화상을 대상 프레임 화상의 보정 전에 위치 맞춤할 수 있으므로, 대상 프레임 화상과 전 프레임 화상의 사이의 촬상 장치의 움직임을 캔슬할 수 있다. 따라서, 움직임을 억제하기 위해 노이즈 제거의 효과를 약하게 하는 것을 회피할 수 있으므로, 우수한 노이즈 제거 효과를 나타내는 것이 가능하게 된다.
[제 2 실시 형태]
그런데, 촬상된 동영상에는, 플리커가 발생하는 경우가 있다. 플리커란, 피사체의 명멸의 주파수와, 동영상 카메라(촬상 장치)의 샘플링 주파수가 상이한 경우에, 그 주파수의 차이에 의해 발생하는 동영상의 명멸이다. 이 플리커는 진폭이 크기 때문에, 무리하게 제거하고자 하면, 고스트(잔상)를 발생시키는 일이 있다. 이하에서는, 이 플리커와 같은 진폭이 큰 노이즈를 포함하는 노이즈를 제거하기 위한 화상 처리 장치를 설명한다. 또한, 진폭이 큰 노이즈로서는, 플리커를 예로 하여 설명한다.
제 2 실시 형태와 관련되는 화상 처리 장치(1)는, 제 1 실시 형태와 관련되는 화상 처리 장치(1)와 거의 동일하게 구성되고, 보정부(12)의 일부 기능이 상이하다. 구체적으로는, 보정부(12)가, 대상 프레임 화상으로부터, 보다 진폭이 큰 노이즈를 제거하기 위한 보정을 행하는 점이 상이하다. 이하에서는, 제 1 실시 형태와 관련되는 화상 처리 장치(1)와 상이한 점을 중심으로 설명하고, 중복하는 부분의 설명은 생략한다.
보정부(12)는, 대상 프레임 화상의 노이즈를 제거하는 보정을 행한다. 플리커는, 동영상의 명멸이므로, 시간 노이즈로 간주할 수 있다. 이 때문에, 보정부(12)는, 제 1 실시 형태와 동일하게, 공간적 보정 처리 및 시간적 보정 처리의 2개의 보정 처리를 조합하여, 노이즈를 제거한다. 공간적 보정 처리에 대해서는, 제 1 실시 형태와 동일하므로, 그 설명은 생략한다. 또, 본 실시 형태에 있어서, 위치 맞춤 후, 시간적 보정 처리를 행하기 전의 대상 프레임 화상 및 전 프레임 화상을 입력 프레임 화상이라고 부른다.
시간적 보정 처리는, 플리커를 포함하는 시간 노이즈를 제거하기 위한 보정 처리이다. 보정부(12)는, 대상 프레임 화상의 대상 화소의 화소값, 및, 복수의 전 프레임 화상의 대응 화소의 화소값의 가중 평균치를 이용하여, 대상 화소에 대하여 시간적 보정 처리를 행한다. 구체적으로는, 보정부(12)는, 복수의 입력 프레임 화상의 화소의 화소값에 직접적으로 또는 간접적으로 각각 가중치 부여를 하고, 가중치 부여한 화소값의 평균치를 산출하는 것에 의해 가중 평균치를 산출한다. 복수의 입력 프레임 화상의 화소의 화소값의 가중치의 합계가 1이 되도록, 각 가중치가 설정되어 있는 경우에는, 보정부(12)는, 가중치 부여한 화소값을 가산하는 것에 의해, 가중 평균치를 산출한다.
도 10은 입력 프레임 화상의 가중치의 일례를 나타내는 도면이다. 도 10에서는, 대상 프레임 화상의 프레임 번호를 i로 하고, 대상 프레임 화상을 기준으로 하여 과거로 거슬러 올라가는 차례로 입력 프레임 화상의 프레임 번호를 i-1, i-2, …로 하고 있다. 도 10에 나타내는 바와 같이, 복수의 입력 프레임 화상 중, 대상 프레임 화상의 화소값 및 대상 프레임 화상과 시간적으로 가까운 과거의 전 프레임 화상의 화소의 화소값에 대하여 가중치가 크게 설정되고, 대상 프레임 화상과 시간적으로 먼 과거의 전 프레임 화상의 화소의 화소값에 대하여 고스트가 커지지 않을 정도로 가중치가 설정된다. 다시 말해, 입력 프레임 화상의 대응 화소의 화소값의 가중치는, 과거의 입력 프레임 화상일수록 작게 설정되어 있고, 복수의 입력 프레임 화상 중, 대상 프레임 화상으로부터 과거로 소정 프레임 수만큼의 전 프레임 화상의 대응 화소의 화소값의 가중치는, 해당 전 프레임 화상보다 1 프레임 후의 전 프레임 화상의 대응 화소의 화소값의 가중치 또는 대상 화소의 화소값의 가중치와의 차분이, 대상 프레임 화상보다 소정 프레임 수만큼 전의 전 프레임 화상의 대응 화소의 화소값의 가중치와, 소정 프레임 수만큼 전의 전 프레임 화상보다 1 프레임 전의 전 프레임 화상의 대응 화소의 화소값의 가중치의 차분보다 작아지도록 설정된다. 바꿔 말하면, 대상 프레임 화상으로부터, 대상 프레임 화상보다 소정 프레임 수만큼 전의 전 프레임 화상까지의 입력 프레임 화상에 대해서는, 시간적으로 이웃하는 2개의 입력 프레임 화상의 대응 화소(대상 프레임 화상의 경우는 대응 화소)의 가중치의 차분(차이의 절대치)이, 대상 프레임 화상보다 소정 프레임 수만큼 전의 전 프레임 화상의 대응 화소의 화소값의 가중치와, 소정 프레임 수만큼 전의 전 프레임 화상보다 더 1 프레임 전의 전 프레임 화상의 대응 화소의 화소값의 가중치의 차분보다 작아지도록 설정된다. 소정 프레임 수는, 예컨대, 1~2 정도이다.
또, 화소값의 가중 평균을 행하는 보정 필터는, 복수의 입력 프레임 화상의 화소의 화소값에 직접 가중치 부여를 하고, 가중치 부여한 화소값을 직접 평균 처리하는 비순회형 필터, 및, 전 프레임 화상을 보정한 후의 출력 프레임 화상의 화소의 화소값을 이용하는 순회형 필터 등으로 구성될 수 있다. 여기서는, 내장형의 실장을 고려하여, 순회형 필터를 이용한 시간적 보정 처리에 대하여 설명한다.
보정부(12)는, 대상 프레임 화상의 대상 화소의 화소값 및 대상 프레임 화상과 시간적으로 가까운 과거의 소정 프레임 수만큼의 전 프레임 화상의 대응 화소의 화소값에 직접 가중치를 부여하여 가중 평균치를 산출하고, 가중 평균치 및 소정 프레임 수만큼의 전 프레임 화상의 어느 하나의 출력 프레임 화상의 대응 화소의 화소값을 이용한 순회형 필터에 의해, 대상 화소에 대하여 시간적 보정 처리를 행한다. 이 순회형 필터에 이용되는 출력 프레임 화상으로서는, 대상 프레임 화상의 1 프레임 전의 전 프레임 화상의 출력 프레임 화상이 바람직하다. 보정부(12)는, 예컨대, 대상 프레임 화상의 대상 화소의 화소값 및 대상 프레임 화상의 1 프레임 전의 전 프레임 화상의 대응 화소의 화소값의 가중 평균과, 대상 프레임 화상의 1 프레임 전의 전 프레임 화상의 출력 프레임 화상을 이용한 순회형 필터에 의해, 시간적 보정 처리를 행한다.
이 순회형 필터를 이용한 시간적 보정 처리는, j번째의 입력 프레임 화상 framej_In의 화소 Pj In의 화소값 Ij In과, 화소 Pi In을 보정한 후의 화소 Pi Out의 화소값 Ii Out과, 화소 Pi-1 In을 보정한 후의 화소 Pi-1 Out의 화소값 Ii-1 Out과, 각 화소값 Ij In의 가중치 wj와, 순회형 필터의 계수 α를 이용하여, 식 (1)로 표현된다. 여기서는, 대상 프레임 화상을 i번째의 입력 프레임 화상으로 하고 있다.
[수학식 1]
Figure pct00001
식 (1)의 우변 제 1 항에서는, 대상 프레임 화상을 포함하는 n개의 입력 프레임 화상이 이용되어, 대상 프레임 화상의 화소값 및 대상 프레임 화상과 시간적으로 가까운 과거의 전 프레임 화상의 화소의 화소값의 가중 평균치 Iwave가 연산된다. 이 연산에서는, 대상 프레임 화상과 시간적으로 먼 과거의 전 프레임 화상의 영향을 받는 것은 없으므로, 가중치 wj는 크게 설정된다. 식 (1)의 우변 제 2 항에서는, 대상 프레임 화상의 1 프레임 전의 전 프레임 화상의 화소를 보정한 후의 화소가 이용되어, 순회형 필터의 특징이 도입되고 있다. 이것에 의해, 대상 프레임 화상과 시간적으로 먼 과거의 전 프레임 화상의 화소의 화소값이, 대상 화소의 화소값의 평균화에 이용된다. 또, 식 (1)의 우변 제 1 항에 이용되는 입력 프레임 화상의 개수 n은, 화상 처리 장치(1)의 성능과 처리 부하의 밸런스를 고려하여 결정된다. 개수 n을 크게 하면, 버퍼의 용량이 커져, 처리 시간이 길어지므로, 개수 n은, 예컨대 2~3 정도이다.
가중치 wj는, 미리 정해진 상수이더라도 좋다. 시간적 보정 처리에서는, 시간적으로 상이한 위치의 정보를 이용하기 때문에, 움직이는 피사체가 묘화된 프레임 화상의 경우, 가중치 wj를 상수로 하여 연산하면 부자연스러운 화상이 될 우려가 있다. 이 때문에, 보정부(12)는, 대상 프레임 화상 framei_In의 대상 화소 Pi In의 화소값 Ii In과, 대상 프레임 화상 framei_In과 시간적으로 가까운 과거의 전 프레임 화상 framej_In의 대응 화소 Pj In의 화소값 Ij In의 차분에 따라서, 가중치 wj를 동적으로 산출하더라도 좋다. 예컨대, 보정부(12)는, 상술한 차분(차이의 절대치)이 소정값 이상인 경우에는, 대응 화소 Pj In의 화소값 Ij In이 시간적 보정 처리에 주는 영향을 작게 하기 위해 가중치 wj를 작게 설정하거나, 차분이 소정값 이상인 경우에는, 대응 화소 Pj In의 화소값 Ij In이 시간적 보정 처리에 이용되지 않도록 가중치 wj를 설정하더라도 좋다. 또, 차분의 산출시에, 대상 프레임 화상 framei_In과 시간적으로 가까운 과거의 전 프레임 화상 framej_In은, 대상 프레임 화상 framei_In에 대하여 위치 맞춤된다.
계수 α는, 0~1의 값이다. 계수 α는, 미리 정해진 상수이더라도 좋다. 가중치 wj와 동일하게, 움직이는 피사체가 묘화된 프레임 화상의 경우, 계수 α를 상수로 하여 연산하면 부자연스러운 화상이 될 우려가 있다. 이 때문에, 보정부(12)는, 대상 프레임 화상의 1 프레임 전의 전 프레임 화상 framei -1_In의 출력 프레임 화상 framei -1_Out의 대응 화소 Pi-1 Out의 화소값 Ii-1 Out과, 가중 평균치 Iwave의 차분에 따라서, 계수 α를 동적으로 산출하더라도 좋다. 예컨대, 보정부(12)는, 상술한 차분(차이의 절대치)이 소정값 이상인 경우에는, 대응 화소 Pi-1 Out의 화소값 Ii-1 Out이 시간적 보정 처리에 주는 영향을 작게 하기 위해 계수 α를 작게 설정하거나, 차분이 소정값 이상인 경우에는, 대응 화소 Pi-1 Out의 화소값 Ii-1 Out이 시간적 보정 처리에 이용되지 않도록 계수　α를 설정하더라도 좋다.　　또, 차분의 산출시에, 출력 프레임 화상 framei -1_Out은, 대상 프레임 화상 framei_In에 대하여 위치 맞춤된다.
또한, 움직이는 피사체가 있는 경우에는, 공간적 보정 처리가 강해지도록, 계수를 설정하더라도 좋다.　　또한, 시간적 보정 처리는, 블록 단위로 행해지더라도 좋다.　　블록으로서는, 대상이 되는 화소의 근방 8개의 화소, 24개의 화소, 48개의 화소　등의 소정의 화소가 이용될 수 있다.
도 11은 입력 프레임 화상의 가중치의 다른 예를 나타내는 도면이다.　　도 11에 나타내는 가중치의 분포는, 식　(1)에 있어서, 개수 n을 2, 계수　α를 1/2, 가중치 wi를 2/3, 가중치 wi-1을 1/3로 하는 것에 의해 얻어진다. 이 경우, 대상 프레임 화상 및 대상 프레임 화상의 1 프레임 전의 전 프레임 화상의 화소의 화소값에 대해서는 가중치가 1/3로 설정되고, 대상 프레임 화상의 2 프레임 이상 전의 전 프레임 화상의 화소의 화소값에 대해서는, 과거로 거슬러 올라감에 따라 가중치가 작아지도록 설정된다.
보정부(12)는, 상술한 시간적 보정 처리 혹은 상술한 공간적 보정 처리 및 시간적 보정 처리를 조합하여 노이즈 제거를 행한다. 보정부(12)는, 공간적 보정 처리 및 시간적 보정 처리를 조합하여 보정하는 것에 의해, 서로의 처리의 장점을 살려, 한층 적절한 보정을 할 수 있다. 보정부(12)는, 보정된 대상 프레임 화상을 생성부(13)에 출력한다.
다음으로, 제 2 실시 형태와 관련되는 화상 처리 장치(1)의 동작에 대하여 설명한다. 화상 처리 장치(1)의 동작은, 제 1 실시 형태와 관련되는 화상 처리 장치(1)의 동작(도 3)과 비교하여, 시간적 보정 처리 S16에 있어서 상이하다. 여기서는, 시간적 보정 처리 S16에 대해서만 설명을 행한다.
도 12는 제 2 실시 형태와 관련되는 화상 처리 장치(1)의 시간적 보정 처리 S16의 상세를 나타내는 플로차트이다. 도 12에 나타내는 바와 같이, 최초로 보정부(12)가 가중 평균치 Iwave의 산출에 이용되는 대상 프레임 화상 framei_In 및 대상 프레임 화상 framei_In과 시간적으로 가까운 과거의 전 프레임 화상 framej_In의 가중치 wj를 결정한다(S20). S20의 처리에서는, 예컨대, 보정부(12)가 대상 프레임 화상 framei_In의 대상 화소 Pi In의 화소값 Ii In과, 대상 프레임 화상 framei_In과 시간적으로 가까운 과거의 전 프레임 화상 framej_In의 대응 화소 Pj In의 화소값 Ij In의 차분에 따라서, 가중치 wj를 동적으로 산출한다. S20의 처리가 종료된면, 입력 프레임 화상의 평균 산출 처리(S22)로 이행한다.
S22의 처리에서는, 보정부(12)가, S20에 있어서 결정된 가중치 wj를 이용하여, 상술한 식 (1)의 제 1 항을 계산한다. 다시 말해, 보정부(12)는, 대상 프레임 화상 framei_In의 대상 화소 Pi In의 화소값 Ii In과, 대상 프레임 화상 framei_In과 시간적으로 가까운 과거의 전 프레임 화상 framej_In의 대응 화소 Pj In의 화소값 Ij In의 가중 평균치 Iwave를 연산한다. S22의 처리가 종료되면, 계수 α의 결정 처리(S24)로 이행한다.
S24의 처리에서는, 예컨대, 보정부(12)가, 전 프레임 화상 framei -1_In의 출력 프레임 화상 framei -1_Out의 대응 화소 Pi-1 Out의 화소값 Ii-1 Out과, 가중 평균치 Iwave의 차분에 따라서, 계수 α를 동적으로 산출한다. S24의 처리가 종료되면, 합성 처리(S26)로 이행한다.
S26의 처리에서는, 보정부(12)가, 위치 맞춤된 전 프레임 화상 framei -1_In의 출력 프레임 화상 framei -1_Out의 대응 화소 Pi-1 Out의 화소값 Ii-1 Out과, 가중 평균치 Iwave와, S24에 있어서 결정된 계수 α를 이용하여, 상술한 식 (1)을 계산한다.
이상으로 1개의 대상 화소 Pi In에 대한 시간적 보정 처리를 종료한다. 이상의 일련의 처리가, 각 대상 화소 Pi In에 대하여 반복하여 행해진다. 그리고, S16의 처리가 종료되면, 출력 프레임 화상 생성 처리(S18)로 이행한다.
다음으로, 순회형 필터를 이용한 화상 처리 장치와 비교하여, 제 2 실시 형태와 관련되는 화상 처리 장치(1)의 작용 효과를 설명한다. 비교예의 화상 처리 장치는, 예컨대, 식 (2)로 표현되는 순회형 필터를 이용하여, 시간적 보정 처리를 행하는 것으로 한다. 다시 말해, 비교예의 화상 처리 장치는, 대상 프레임 화상의 대상 화소의 화소값 및 대상 프레임 화상의 1 프레임 전의 전 프레임 화상에 대한 출력 프레임 화상의 대응 화소의 화소값을 이용하여, 대상 화소에 대하여 시간적 보정 처리를 행한다.
[수학식 2]
Figure pct00002
도 13은 순회형 필터를 이용한 경우의 입력 프레임 화상의 가중치의 일례를 나타내는 도면이다. 도 13에 있어서, 그래프 R1은, 계수 α를 크게 설정한 경우의 입력 프레임 화상의 가중치를 나타내고, 그래프 R2는, 계수 α를 작게 설정한 경우의 입력 프레임 화상의 가중치를 나타내고 있다. 그래프 R1에 나타내는 바와 같이, 계수 α가 클수록, 입력 프레임 화상의 평균 효과를 향상시킬 수 있지만, 과거의 입력 프레임 화상의 영향이 커지므로, 고스트도 커진다. 또한, 그래프 R2에 나타내는 바와 같이, 계수 α가 작을수록, 과거의 입력 프레임 화상의 영향이 작아지므로, 고스트를 억제할 수 있지만, 입력 프레임 화상의 평균 효과가 약해진다.
한편, 도 10에 나타내는 바와 같이, 제 2 실시 형태와 관련되는 화상 처리 장치(1)에서는, 입력 프레임 화상의 대응 화소의 화소값의 가중치는, 과거의 입력 프레임 화상일수록 작게 설정되어 있고, 복수의 입력 프레임 화상 중, 대상 프레임 화상으로부터 과거로 소정 프레임 수만큼의 전 프레임 화상의 대응 화소의 화소값의 가중치에 대해서는, 해당 전 프레임 화상보다 1 프레임 후의 전 프레임 화상의 대응 화소의 화소값의 가중치 또는 대상 화소의 화소값의 가중치와의 차분이, 대상 프레임 화상보다 소정 프레임 수만큼 전의 전 프레임 화상의 대응 화소의 화소값의 가중치와, 소정 프레임 수만큼 전의 전 프레임 화상보다 1 프레임 전의 전 프레임 화상의 대응 화소의 화소값의 가중치의 차분보다 작아지도록 설정된다. 이 때문에, 과거의 입력 프레임 화상의 가중치를 어느 정도 억제하면서, 대상 프레임으로부터 과거로 소정 프레임 수만큼의 전 프레임 화상의 가중치를 대상 프레임의 가중치와 동일한 정도로 할 수 있다. 과거의 입력 프레임 화상의 가중치를 어느 정도 억제하는 것에 의해, 고스트를 경감할 수 있다. 또한, 대상 프레임으로부터 과거로 소정 프레임 수만큼의 전 프레임 화상의 가중치를 대상 프레임의 가중치와 동일한 정도로 하는 것에 의해, 평균 효과를 얻을 수 있다. 그 결과, 고스트를 발생시키는 일 없이, 플리커 등의 진폭이 큰 노이즈를 제거하는 것이 가능하게 된다.
또한, 화상 처리 장치(1)는, 대상 프레임 화상을 포함하는 n개의 입력 프레임 화상의 대응하는 화소의 화소값에 직접 가중치를 부여하여 가중 평균치를 산출하고, 가중 평균치 및 대상 프레임 화상보다 1 프레임 전의 전 프레임 화상에 대한 출력 프레임 화상의 대응 화소의 화소값을 이용하여, 대상 화소에 대하여 시간적 보정 처리를 행하고 있다. 이 때문에, n개의 입력 프레임 화상 및 출력 프레임 화상만을 보존하여 두면 된다. 따라서, 가중 평균치의 산출에 이용되는 입력 프레임 화상의 수를 적절히 설정하는 것에 의해, 보존하는 입력 프레임 화상의 수를 줄일 수 있음과 아울러, 처리량을 저감할 수 있다. 이것에 의해, 리소스 삭감 및 처리 효율화를 도모하는 것이 가능하게 된다.
또, 상술한 실시 형태는 본 발명과 관련되는 화상 처리 장치의 일례를 나타내는 것이다. 본 발명과 관련되는 화상 처리 장치는, 실시 형태와 관련되는 화상 처리 장치(1)로 한정되는 것이 아니고, 각 청구항에 기재한 요지를 변경하지 않는 범위에서, 실시 형태와 관련되는 화상 처리 장치를 변형하거나, 또는 다른 것에 적용한 것이더라도 좋다.
예컨대, 상술한 실시 형태에서는, 동영상 카메라(20)가 동영상을 촬상하는 예를 설명했지만, 동영상 카메라(20)는, 정지 화상을 연속 촬상하는 것이더라도 좋다. 프레임 화상 입력부(10)가 입력하는 화상은, 다른 기기로부터 네트워크를 통해서 송신된 화상이더라도 좋다.
또한, 상술한 실시 형태에서는, 동영상 카메라(20)에 의해 촬상된 화상의 크기는 동일한 것으로 하여 설명했지만, 촬상된 화상의 크기는 촬상 때마다 상이한 크기이더라도 좋다.
또한, 상술한 실시 형태에서는, 보정부(12)가, 시간적 보정 처리 및 공간적 보정 처리의 2개의 보정 처리를 행하는 예를 설명했지만, 보정부(12)가, 시간적 보정 처리 및 공간적 보정 처리의 어느 한쪽을 행하는 경우이더라도 좋다.
또한, 상술한 실시 형태에서는, 보정부(12)가, 도 3의 처리에 있어서 위치 맞춤 처리(S12)의 후에 공간적 보정 처리(S14)를 행하는 예를 설명했지만, 공간적 보정 처리(S14)는, 위치 맞춤 처리(S12)의 전에 행하더라도 좋고, 시간적 보정 처리(S16)의 후에 행하더라도 좋다.
또한, 상술한 실시 형태에 있어서, 위치 맞춤 처리부의 후에, 생성부(13)가 잘라내기 영역을 결정하고, 그 후에 보정부(12)가 노이즈 제거를 행하더라도 좋다. 이 경우, 보정부(12)는, 적어도 잘라내기 영역 내의 화소를 대상으로 하여 보정하더라도 좋다. 즉, 보정부(12)는, 대상 프레임 화상의 영역과는 상이한 영역의 적어도 일부에 포함되는 화소에 대해서는, 처리의 대상으로 하지 않더라도 좋다. 이 경우, 처리 효율을 향상시킬 수 있다.
또한, 상술한 실시 형태의 공간적 보정 처리에 있어서의 보정은, 색차 성분만으로도 좋다. 또한, 상술한 실시 형태의 시간적 보정 처리에 있어서의 보정은, 색차 성분만으로도 좋다. 또한, 시간적 보정 처리 및 공간적 보정 처리 각각에 가중치를 부여하여, 보정 정도를 조정하더라도 좋다.
또한, 제 2 실시 형태와 관련되는 보정부(12)는, 비순회형 필터를 이용하여 시간적 보정 처리를 행하더라도 좋다. 다시 말해, 보정부(12)는, 입력 프레임 화상의 대응하는 화소의 화소값(대상 프레임 화상의 대상 화소의 화소값 및 복수의 전 프레임 화상의 대응 화소의 화소값)에 직접 가중치 부여를 하여, 대상 화소에 대하여 시간적 보정 처리를 행하더라도 좋다. 비순회형 필터를 이용한 시간적 보정 처리는, j번째의 입력 프레임 화상 framej_In의 화소 Pj In의 화소값 Ij In과, 화소 Pi In을 보정한 후의 화소 Pi Out의 화소값 Ii Out과, 각 화소값 Ij In의 가중치 wj를 이용하여, 식 (3)으로 표현된다. 여기서는, 화소 Pi In을 포함하는 m개의 입력 프레임 화상의 화소가 이용된다. 이 방법에서는, 복수의 프레임 화상이 직접 이용되므로, 버퍼의 용량이 커져, 처리 시간이 길어질 우려가 있지만, 입력 프레임 화상의 화소값에 각각 직접 가중치 부여하는 것이 가능하게 된다. 이 때문에, 움직이는 피사체를 포함하는 화소의 화소값의 영향을 작게 하는 등, 시간적 보정 처리의 자유도를 향상시킬 수 있다.
[수학식 3]
Figure pct00003
또한, 제 2 실시 형태와 관련되는 보정부(12)는, 식 (1) 또는 식 (3) 등으로 표현되는 플리커 제거용의 보정 필터(제 2 보정 필터)에 더하여, 식 (2)로 표현되는 보정 필터(제 1 보정 필터)를 구비하고 있더라도 좋다. 보정부(12)는, 대상 화소에 따라서, 제 1 보정 필터와, 제 2 보정 필터를 바꾸어, 대상 화소에 대하여 시간적 보정 처리를 행하더라도 좋다. 예컨대, 화상 처리 장치(1)가 휴대 단말(2)의 유저에 의해 설정 가능한 플리커 제거 모드를 갖고 있고, 플리커 제거 모드가 설정되어 있지 않은 경우에는, 보정부(12)는, 제 1 보정 필터를 이용하여 시간적 보정 처리를 행하고, 플리커 제거 모드가 설정되어 있는 경우에는, 보정부(12)는, 제 2 보정 필터를 이용하여 시간적 보정 처리를 행하더라도 좋다. 또한, 화상 처리 장치(1)는 플리커의 유무를 판정하는 플리커 판정부를 더 구비하더라도 좋고, 플리커 판정부에 의해 플리커가 없다고 판정된 경우에, 보정부(12)는, 제 1 보정 필터를 이용하여 시간적 보정 처리를 행하고, 플리커 판정부에 의해 플리커가 있다고 판정된 경우에, 보정부(12)는, 제 2 보정 필터를 이용하여 시간적 보정 처리를 행하더라도 좋다. 또, 플리커 판정부는 공지의 플리커 판정 방법을 이용하여 플리커의 유무를 판정한다. 플리커 판정부는, 예컨대, 화소의 화소값의 시간적인 변화량이 소정의 임계치 이상이면 해당 화소에 플리커가 있다고 판정하고, 화소의 화소값의 시간적인 변화량이 소정의 임계치 미만이면 해당 화소에 플리커가 없다고 판정한다. 이 구성에 의하면, 대상 화소에 따라서, 적절한 보정 필터를 선택하는 것이 가능하게 된다.
1 : 화상 처리 장치
10 : 프레임 화상 입력부
11 : 위치 맞춤부
12 : 보정부
13 : 생성부
14 : 출력 프레임 화상 기록부
20 : 동영상 카메라(촬상 장치)

Claims (13)

  1. 촬상 장치에 의해 얻어진 프레임 화상을 입력하여 처리하는 것에 의해 출력 프레임 화상을 생성하는 화상 처리 장치로서,
    처리 대상이 되는 대상 프레임 화상보다 전에 입력된 전 프레임 화상 또는 상기 전 프레임 화상의 출력 프레임 화상을 기록하는 기록부와,
    상기 전 프레임 화상 또는 상기 전 프레임 화상의 출력 프레임 화상과, 상기 대상 프레임 화상을 위치 맞춤하는 위치 맞춤부와,
    상기 기록부를 참조하여, 상기 위치 맞춤부에 의해 위치 맞춤된 상기 전 프레임 화상의 화소값 또는 상기 전 프레임 화상의 출력 프레임 화상의 화소값을 이용하여 상기 대상 프레임 화상의 화소값을 보정하는 시간적 보정 처리를 행하는 보정부와,
    상기 보정부에 의해 보정된 상기 대상 프레임 화상을 이용하여, 상기 대상 프레임 화상의 출력 프레임 화상을 생성하는 생성부
    를 구비하는 화상 처리 장치.
  2. 제 1 항에 있어서,
    상기 보정부는, 상기 대상 프레임 화상의 화소의 화소값을, 상기 대상 프레임 화상에 있어서의 상기 화소를 포함하는 영역에 포함되는 복수의 화소의 화소값을 이용하여 보정하는 공간적 보정 처리를 더 행하는 화상 처리 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 보정부는, 상기 대상 프레임 화상의 대상 화소의 화소값과, 상기 위치 맞춤부에 의해 위치 맞춤된 상기 전 프레임 화상의 대응 화소의 화소값 또는 상기 전 프레임 화상의 출력 프레임의 대응 화소의 화소값의 차분에 따른 계수를 이용하여, 상기 대상 화소에 대하여 상기 시간적 보정 처리를 행하는 화상 처리 장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 생성부는, 상기 보정부에 의해 보정된 상기 대상 프레임 화상의 출력 프레임 화상을 상기 기록부에 저장하는 화상 처리 장치.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 생성부는, 상기 촬상 장치의 움직임에 근거하여 상기 보정부에 의해 보정된 상기 대상 프레임 화상으로부터 잘라내는 영역을 결정하고, 결정된 영역을 잘라내는 것에 의해 상기 대상 프레임 화상의 출력 프레임 화상을 생성하는 화상 처리 장치.
  6. 제 5 항에 있어서,
    상기 보정부는, 상기 대상 프레임 화상의 상기 영역과는 상이한 영역의 적어도 일부에 포함되는 화소에 대해서는, 처리의 대상으로 하지 않는 화상 처리 장치.
  7. 제 1 항에 있어서,
    상기 보정부는, 상기 대상 프레임 화상의 대상 화소의 화소값, 및, 복수의 상기 전 프레임 화상의 대응 화소의 화소값의 가중 평균치를 이용하여, 상기 대상 화소에 대하여 상기 시간적 보정 처리를 행하고,
    상기 전 프레임 화상의 대응 화소의 화소값의 가중치는, 과거의 상기 전 프레임 화상일수록 작게 설정되고,
    상기 복수의 상기 전 프레임 화상 중, 상기 대상 프레임 화상으로부터 과거로 소정 프레임 수만큼의 상기 전 프레임 화상의 대응 화소의 화소값의 가중치는, 상기 전 프레임 화상보다 1 프레임 후의 상기 전 프레임 화상의 대응 화소의 화소값의 가중치 또는 상기 대상 화소의 화소값의 가중치와의 차분이, 상기 대상 프레임 화상보다 상기 소정 프레임 수만큼 전의 상기 전 프레임 화상의 대응 화소의 화소값의 가중치와, 상기 소정 프레임 수만큼 전의 상기 전 프레임 화상보다 1 프레임 전의 상기 전 프레임 화상의 대응 화소의 화소값의 가중치의 차분보다 작아지도록 설정되는
    화상 처리 장치.
  8. 제 7 항에 있어서,
    상기 보정부는, 상기 대상 화소의 화소값 및 상기 소정 프레임 수만큼의 상기 전 프레임 화상의 대응 화소의 화소값에 직접 가중치를 부여하여 가중 평균치를 산출하고, 상기 가중 평균치와, 상기 소정 프레임 수만큼의 상기 전 프레임 화상의 어느 하나의 출력 프레임 화상의 대응 화소의 화소값을 이용하여, 상기 대상 화소에 대하여 상기 시간적 보정 처리를 행하는 화상 처리 장치.
  9. 제 7 항에 있어서,
    상기 보정부는, 상기 대상 화소의 화소값 및 상기 복수의 상기 전 프레임 화상의 대응 화소의 화소값에 직접 가중치 부여를 하여, 상기 대상 화소에 대하여 상기 시간적 보정 처리를 행하는 화상 처리 장치.
  10. 제 1 항에 있어서,
    상기 보정부는,
    상기 대상 프레임 화상의 대상 화소의 화소값 및 상기 전 프레임 화상의 출력 프레임 화상의 대응 화소의 화소값을 이용하여, 상기 대상 화소에 대하여 상기 시간적 보정 처리를 행하는 제 1 보정 필터와,
    상기 대상 화소의 화소값, 및, 복수의 상기 전 프레임 화상의 대응 화소의 화소값의 가중 평균치를 이용하여, 상기 대상 화소에 대하여 상기 시간적 보정 처리를 행하는 제 2 보정 필터
    를 구비하고,
    상기 제 2 보정 필터에서는, 상기 전 프레임 화상의 대응 화소의 화소값의 가중치는, 과거의 상기 전 프레임 화상일수록 작게 설정되고, 상기 복수의 상기 전 프레임 화상 중, 상기 대상 프레임 화상으로부터 과거로 소정 프레임 수만큼의 상기 전 프레임 화상의 대응 화소의 화소값의 가중치는, 상기 전 프레임 화상보다 1 프레임 후의 상기 전 프레임 화상의 대응 화소의 화소값의 가중치 또는 상기 대상 화소의 화소값의 가중치와의 차분이, 상기 대상 프레임 화상보다 상기 소정 프레임 수만큼 전의 상기 전 프레임 화상의 대응 화소의 화소값의 가중치와, 상기 소정 프레임 수만큼 전의 상기 전 프레임 화상보다 1 프레임 전의 상기 전 프레임 화상의 대응 화소의 화소값의 가중치의 차분보다 작아지도록 설정되고,
    상기 보정부는, 상기 대상 화소에 따라서, 상기 제 1 보정 필터와, 상기 제 2 보정 필터를 바꾸어, 상기 대상 화소에 대하여 상기 시간적 보정 처리를 행하는
    화상 처리 장치.

  11. 촬상 장치에 의해 얻어진 프레임 화상을 입력하여 처리하는 것에 의해 출력 프레임 화상을 생성하는 화상 처리 방법으로서,
    처리 대상이 되는 대상 프레임 화상보다 전에 입력된 전 프레임 화상 또는 상기 전 프레임 화상의 출력 프레임 화상과, 상기 대상 프레임 화상을 위치 맞춤하는 위치 맞춤 스텝과,
    상기 전 프레임 화상 또는 상기 전 프레임 화상의 출력 프레임 화상을 기록하는 기록부를 참조하여, 상기 위치 맞춤 스텝에 의해 위치 맞춤된 상기 전 프레임 화상의 화소값 또는 상기 전 프레임 화상의 출력 프레임 화상의 화소값을 이용하여 상기 대상 프레임 화상의 화소값을 보정하는 시간적 보정 처리를 행하는 보정 스텝과,
    상기 보정 스텝에 의해 보정된 상기 대상 프레임 화상을 이용하여, 상기 대상 프레임 화상의 출력 프레임 화상을 생성하는 생성 스텝
    을 구비하는 화상 처리 방법.
  12. 촬상 장치에 의해 얻어진 프레임 화상을 입력하여 처리하는 것에 의해 출력 프레임 화상을 생성하도록 컴퓨터를 기능시키는 화상 처리 프로그램으로서,
    상기 컴퓨터를,
    처리 대상이 되는 대상 프레임 화상보다 전에 입력된 전 프레임 화상 또는 상기 전 프레임 화상의 출력 프레임 화상을 기록하는 기록부,
    상기 전 프레임 화상 또는 상기 전 프레임 화상의 출력 프레임 화상과, 상기 대상 프레임 화상을 위치 맞춤하는 위치 맞춤부,
    상기 기록부를 참조하여, 상기 위치 맞춤부에 의해 위치 맞춤된 상기 전 프레임 화상의 화소값 또는 상기 전 프레임 화상의 출력 프레임 화상의 화소값을 이용하여 상기 대상 프레임 화상의 화소값을 보정하는 시간적 보정 처리를 행하는 보정부, 및,
    상기 보정부에 의해 보정된 상기 대상 프레임 화상을 이용하여, 상기 대상 프레임 화상의 출력 프레임 화상을 생성하는 생성부
    로서 기능시키는
    화상 처리 프로그램.
  13. 촬상 장치에 의해 얻어진 프레임 화상을 입력하여 처리하는 것에 의해 출력 프레임 화상을 생성하도록 컴퓨터를 기능시키는 화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체로서,
    상기 컴퓨터를,
    처리 대상이 되는 대상 프레임 화상보다 전에 입력된 전 프레임 화상 또는 상기 전 프레임 화상의 출력 프레임 화상을 기록하는 기록부,
    상기 전 프레임 화상 또는 상기 전 프레임 화상의 출력 프레임 화상과, 상기 대상 프레임 화상을 위치 맞춤하는 위치 맞춤부,
    상기 기록부를 참조하여, 상기 위치 맞춤부에 의해 위치 맞춤된 상기 전 프레임 화상의 화소값 또는 상기 전 프레임 화상의 출력 프레임 화상의 화소값을 이용하여 상기 대상 프레임 화상의 화소값을 보정하는 시간적 보정 처리를 행하는 보정부, 및,
    상기 보정부에 의해 보정된 상기 대상 프레임 화상을 이용하여, 상기 대상 프레임 화상의 출력 프레임 화상을 생성하는 생성부
    로서 기능시키는
    상기 화상 처리 프로그램을 기록한 기록 매체.
KR1020157022802A 2014-02-07 2015-02-05 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체 KR101652658B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2014-022122 2014-02-07
JP2014022122 2014-02-07
PCT/JP2015/053278 WO2015119207A1 (ja) 2014-02-07 2015-02-05 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
KR20150110722A true KR20150110722A (ko) 2015-10-02
KR101652658B1 KR101652658B1 (ko) 2016-08-30

Family

ID=53778008

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157022802A KR101652658B1 (ko) 2014-02-07 2015-02-05 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체

Country Status (6)

Country Link
US (1) US10200649B2 (ko)
JP (1) JP5974250B2 (ko)
KR (1) KR101652658B1 (ko)
CN (1) CN104995908B (ko)
TW (1) TWI590661B (ko)
WO (1) WO2015119207A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180102639A (ko) * 2016-01-15 2018-09-17 가부시키가이샤 모르포 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체
KR20200022334A (ko) * 2018-08-22 2020-03-03 아크소프트 코포레이션 리미티드 영상 처리 방법과 장치

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6411768B2 (ja) * 2014-04-11 2018-10-24 Hoya株式会社 画像処理装置
JPWO2017064829A1 (ja) * 2015-10-15 2018-08-02 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
US9762893B2 (en) * 2015-12-07 2017-09-12 Google Inc. Systems and methods for multiscopic noise reduction and high-dynamic range
TWI604731B (zh) * 2016-08-05 2017-11-01 瑞昱半導體股份有限公司 影像濾波方法及其影像濾波裝置
US10504211B2 (en) * 2017-03-10 2019-12-10 Disney Enterprises, Inc. Sample-based video denoising
EP3462725A1 (en) * 2017-09-27 2019-04-03 Canon Kabushiki Kaisha Image processing method, image processing apparatus, imaging apparatus, and program
JP7118818B2 (ja) * 2017-09-27 2022-08-16 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、およびプログラム
US10740431B2 (en) * 2017-11-13 2020-08-11 Samsung Electronics Co., Ltd Apparatus and method of five dimensional (5D) video stabilization with camera and gyroscope fusion
CN109639931B (zh) * 2018-12-25 2022-08-19 努比亚技术有限公司 一种拍照降噪的方法、移动终端以及计算机可读存储介质
CN113962877B (zh) * 2019-07-17 2024-06-25 中国电子科技集团公司第十三研究所 一种像素畸变的校正方法、校正装置及终端
CN114679553A (zh) * 2020-12-24 2022-06-28 华为技术有限公司 视频降噪方法及装置
JP7253001B2 (ja) * 2021-03-30 2023-04-05 本田技研工業株式会社 情報処理装置及び方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008294601A (ja) * 2007-05-23 2008-12-04 Sony Corp 画像処理方法および画像処理装置
JP2009105533A (ja) * 2007-10-22 2009-05-14 Sony Corp 画像処理装置、撮像装置、画像処理方法および撮像画像処理方法
JP2010183127A (ja) * 2009-02-03 2010-08-19 Sony Corp 画像処理装置、画像処理方法および撮像装置
JP2012034361A (ja) * 2010-07-30 2012-02-16 Fujitsu Ltd 手ぶれ補正方法及び手ぶれ補正装置

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4090221A (en) * 1972-03-13 1978-05-16 Bell Telephone Laboratories, Incorporated Apparatus for improving video signal-to-noise ratio
GB1515551A (en) * 1975-04-25 1978-06-28 British Broadcasting Corp Noise reduction in electrical signals
US4240106A (en) * 1976-10-14 1980-12-16 Micro Consultants, Limited Video noise reduction
US4339803A (en) * 1976-10-14 1982-07-13 Micro Consultants Limited Video frame store and real time processing system
US4064530A (en) * 1976-11-10 1977-12-20 Cbs Inc. Noise reduction system for color television
JPS592227B2 (ja) * 1978-08-21 1984-01-17 株式会社日立製作所 雑音除去方式
GB2033190B (en) * 1978-09-21 1983-02-09 Sony Corp Video noise reduction system
JP2508078B2 (ja) * 1987-04-30 1996-06-19 株式会社島津製作所 Ｘ線画像処理装置
JP3159465B2 (ja) * 1991-05-17 2001-04-23 株式会社東芝 画像表示装置
US5384865A (en) * 1992-06-01 1995-01-24 Eastman Kodak Company Adaptive, hybrid median filter for temporal noise suppression
US5963675A (en) * 1996-04-17 1999-10-05 Sarnoff Corporation Pipelined pyramid processor for image processing systems
US6567564B1 (en) * 1996-04-17 2003-05-20 Sarnoff Corporation Pipelined pyramid processor for image processing systems
JP3773642B2 (ja) * 1997-12-18 2006-05-10 株式会社東芝 画像処理装置および画像形成装置
JP2000209507A (ja) 1999-01-12 2000-07-28 Toshiba Corp 固体撮像装置の低ノイズ化回路
US6681058B1 (en) * 1999-04-15 2004-01-20 Sarnoff Corporation Method and apparatus for estimating feature values in a region of a sequence of images
US7085318B2 (en) * 2000-06-15 2006-08-01 Sony Corporation Image processing system, image processing method, program, and recording medium
AU2003236261A1 (en) * 2002-05-02 2003-11-17 Honda Giken Kogyo Kabushiki Kaisha Image sensor output correction device
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
US7433540B1 (en) * 2002-10-25 2008-10-07 Adobe Systems Incorporated Decomposing natural image sequences
JP3960258B2 (ja) * 2003-04-28 2007-08-15 ソニー株式会社 信号処理装置および信号処理方法
US20050028073A1 (en) * 2003-07-28 2005-02-03 Henry Steven G. Method and system for automating workflows
GB2407226B (en) * 2003-10-18 2008-01-23 Hewlett Packard Development Co Image processing scheme
KR101092287B1 (ko) * 2004-02-13 2011-12-13 소니 주식회사 화상 처리 장치 및 화상 처리 방법
US8331723B2 (en) * 2004-03-25 2012-12-11 Ozluturk Fatih M Method and apparatus to correct digital image blur due to motion of subject or imaging device
US7199838B2 (en) * 2004-06-17 2007-04-03 Samsung Electronics Co., Ltd. Motion adaptive noise reduction apparatus and method for video signals
US7535517B2 (en) * 2005-04-14 2009-05-19 Samsung Electronics Co., Ltd. Method of motion compensated temporal noise reduction
WO2006122009A2 (en) * 2005-05-09 2006-11-16 Lockheed Martin Corporation Continuous extended range image processing
US7548659B2 (en) * 2005-05-13 2009-06-16 Microsoft Corporation Video enhancement
US7728909B2 (en) * 2005-06-13 2010-06-01 Seiko Epson Corporation Method and system for estimating motion and compensating for perceived motion blur in digital video
KR101179887B1 (ko) * 2006-02-09 2012-09-06 삼성전자주식회사 이동통신단말기의 화면설정 방법 및 그 장치
JP4178481B2 (ja) * 2006-06-21 2008-11-12 ソニー株式会社 画像処理装置、画像処理方法、撮像装置および撮像方法
JP4973031B2 (ja) * 2006-07-03 2012-07-11 ソニー株式会社 ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置
JP4750854B2 (ja) * 2006-09-14 2011-08-17 富士通株式会社 画像処理方法および装置とそのプログラム
JP5137380B2 (ja) 2006-11-07 2013-02-06 キヤノン株式会社 ぶれ補正装置及び方法
JP2008294696A (ja) * 2007-05-24 2008-12-04 Sony Corp 映像信号処理方法、映像信号処理方法のプログラム、映像信号処理方法のプログラムを記録した記録媒体及び映像信号処理装置
KR101442153B1 (ko) * 2008-01-15 2014-09-25 삼성전자 주식회사 저조도 영상 처리 방법 및 시스템
TWI381719B (zh) * 2008-02-18 2013-01-01 Univ Nat Taiwan 穩定全幅式視訊之方法
CN101262559B (zh) * 2008-03-28 2010-09-29 北京中星微电子有限公司 一种序列图像噪声消除的方法及装置
WO2010007777A1 (ja) * 2008-07-16 2010-01-21 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路
JP2010141755A (ja) * 2008-12-15 2010-06-24 Nippon Telegr & Teleph Corp <Ntt> 道路監視システム、道路監視方法および道路監視プログラム
US8903191B2 (en) * 2008-12-30 2014-12-02 Intel Corporation Method and apparatus for noise reduction in video
US8570386B2 (en) * 2008-12-31 2013-10-29 Stmicroelectronics S.R.L. Method of merging images and relative method of generating an output image of enhanced quality
JP2010200179A (ja) * 2009-02-26 2010-09-09 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体
JP2010219807A (ja) * 2009-03-16 2010-09-30 Panasonic Corp 画像処理装置および画像処理方法
JP5374217B2 (ja) * 2009-04-22 2013-12-25 キヤノン株式会社 画像処理装置およびその方法
US8350966B2 (en) * 2009-06-08 2013-01-08 Broadcom Corporation Method and system for motion compensated noise level detection and measurement
US8144253B2 (en) * 2009-07-21 2012-03-27 Sharp Laboratories Of America, Inc. Multi-frame approach for image upscaling
US8743287B2 (en) * 2009-07-24 2014-06-03 Broadcom Corporation Method and system for mitigating motion trail artifacts and improving low contrast contours in temporal filtering based noise reduction
US8610826B2 (en) * 2009-08-27 2013-12-17 Broadcom Corporation Method and apparatus for integrated motion compensated noise reduction and frame rate conversion
KR101616874B1 (ko) * 2009-09-23 2016-05-02 삼성전자주식회사 다중 영상 합성 방법 및 그 장치
US8588551B2 (en) * 2010-03-01 2013-11-19 Microsoft Corp. Multi-image sharpening and denoising using lucky imaging
JP5543280B2 (ja) 2010-06-01 2014-07-09 キヤノン株式会社 画像処理装置、画像処理方法
US8830360B1 (en) * 2010-08-25 2014-09-09 Sri International Method and apparatus for optimizing image quality based on scene content
JP2012142829A (ja) * 2011-01-05 2012-07-26 Sony Corp 画像処理装置および画像処理方法
JP2012142827A (ja) * 2011-01-05 2012-07-26 Sony Corp 画像処理装置および画像処理方法
JP5792990B2 (ja) 2011-04-28 2015-10-14 キヤノン株式会社 画像処理装置およびその制御方法
JP2013003610A (ja) 2011-06-10 2013-01-07 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
GB2497507B (en) * 2011-10-14 2014-10-22 Skype Received video stabilisation
US20130107064A1 (en) * 2011-10-27 2013-05-02 Qualcomm Incorporated Sensor aided image stabilization
TWI459810B (zh) * 2011-11-22 2014-11-01 Altek Corp 影像處理裝置及其處理方法
JP5362878B2 (ja) * 2012-05-09 2013-12-11 株式会社日立国際電気 画像処理装置及び画像処理方法
EP2680568B1 (en) * 2012-06-25 2016-05-25 ST-Ericsson SA Video stabilisation with deblurring
EP2680567A1 (en) * 2012-06-25 2014-01-01 Axis AB Video noise reduction
KR101910870B1 (ko) 2012-06-29 2018-10-24 삼성전자 주식회사 잡음 제거 장치, 시스템 및 방법
JP2014036401A (ja) * 2012-08-10 2014-02-24 Sony Corp 撮像装置、画像信号処理方法及びプログラム
JP2014187610A (ja) * 2013-03-25 2014-10-02 Sony Corp 画像処理装置、画像処理方法、プログラムおよび撮像装置
US9692975B2 (en) * 2013-04-10 2017-06-27 Microsoft Technology Licensing, Llc Motion blur-free capture of low light high dynamic range images
US10382674B2 (en) * 2013-04-15 2019-08-13 Qualcomm Incorporated Reference image selection for motion ghost filtering

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008294601A (ja) * 2007-05-23 2008-12-04 Sony Corp 画像処理方法および画像処理装置
JP2009105533A (ja) * 2007-10-22 2009-05-14 Sony Corp 画像処理装置、撮像装置、画像処理方法および撮像画像処理方法
JP2010183127A (ja) * 2009-02-03 2010-08-19 Sony Corp 画像処理装置、画像処理方法および撮像装置
JP2012034361A (ja) * 2010-07-30 2012-02-16 Fujitsu Ltd 手ぶれ補正方法及び手ぶれ補正装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180102639A (ko) * 2016-01-15 2018-09-17 가부시키가이샤 모르포 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체
US10931875B2 (en) 2016-01-15 2021-02-23 Morpho, Inc. Image processing device, image processing method and storage medium
KR20200022334A (ko) * 2018-08-22 2020-03-03 아크소프트 코포레이션 리미티드 영상 처리 방법과 장치
US11373279B2 (en) 2018-08-22 2022-06-28 Arcsoft Corporation Limited Image processing method and device

Also Published As

Publication number Publication date
JP5974250B2 (ja) 2016-08-23
US20160006978A1 (en) 2016-01-07
TW201537981A (zh) 2015-10-01
CN104995908A (zh) 2015-10-21
WO2015119207A1 (ja) 2015-08-13
KR101652658B1 (ko) 2016-08-30
JPWO2015119207A1 (ja) 2017-03-23
TWI590661B (zh) 2017-07-01
CN104995908B (zh) 2018-01-30
US10200649B2 (en) 2019-02-05

Similar Documents

Publication Publication Date Title
KR101652658B1 (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체
US9055217B2 (en) Image compositing apparatus, image compositing method and program recording device
US9191589B2 (en) Image processing device
US20090059017A1 (en) Imaging device and image processing apparatus
KR102141290B1 (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체
JP2010200179A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体
JPWO2006025396A1 (ja) 画像処理装置および画像処理プログラム
JP2003078807A (ja) 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置
JP5177284B2 (ja) 被写体動き検出装置および方法
JP2006197455A (ja) ノイズリダクション装置
JP2004088234A (ja) ノイズ低減装置
JP2011055259A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体
JP5496036B2 (ja) 画像処理装置および画像処理プログラム
JP5927051B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2014103626A (ja) 画像処理装置、画像処理方法及びプログラム
JP2005150903A (ja) 画像処理装置、ノイズ除去方法及びノイズ除去プログラム
US10567658B2 (en) Image processing device, image processing method, image processing program
JP6231816B2 (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体
JP2003078808A (ja) 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置
JPWO2007026452A1 (ja) 画像処理装置、及び画像処理方法
JPWO2006117844A1 (ja) 画像処理装置、画像処理方法、及び情報端末装置
JP2015195453A (ja) 画像処理装置および画像処理方法
JP2013258445A (ja) 画像処理装置、画像処理方法及びプログラム
JP4486487B2 (ja) スミア補正装置
JP7118818B2 (ja) 画像処理方法、画像処理装置、撮像装置、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190729

Year of fee payment: 4