KR100467375B1 - 화상신호처리장치및기록/재생장치 - Google Patents

화상신호처리장치및기록/재생장치 Download PDF

Info

Publication number
KR100467375B1
KR100467375B1 KR1019960036465A KR19960036465A KR100467375B1 KR 100467375 B1 KR100467375 B1 KR 100467375B1 KR 1019960036465 A KR1019960036465 A KR 1019960036465A KR 19960036465 A KR19960036465 A KR 19960036465A KR 100467375 B1 KR100467375 B1 KR 100467375B1
Authority
KR
South Korea
Prior art keywords
motion vector
image data
image
motion
block
Prior art date
Application number
KR1019960036465A
Other languages
English (en)
Other versions
KR970012605A (ko
Inventor
데쓰지로 곤도
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR970012605A publication Critical patent/KR970012605A/ko
Application granted granted Critical
Publication of KR100467375B1 publication Critical patent/KR100467375B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

손떨림 움직임벡터의 검출을 간단한 하드웨어에 의하여 가능하게 한다.
감산기(5)로부터는, 움직임보상프레임간 차분(差分)이 발생하고, 엔코더(8)에 의하여 부호화(符號化)되고, 다시 가변길이부호화 등의 처리를 받아서 기록매체에 기록된다. 움직임벡터검출회로(6)로부터 프레임간 차분 Pij 과 움직임벡터 Vhv가 손떨림검출회로(12)에 공급된다. 검출회로(12)는, 프레임간 차분을 적산하여 평가치 ∑Phv를 형성하고, TH1 및 TH2에 대하여, 1 화면의 전체블록이 (Vhv < TH1이고, ∑Phv > TH2)를 만족시키는 경우에, 손떨림이라고 검출한다. 블록마다의 움직임벡터를 매크로블록화하여, 매크로블록마다의 움직임벡터로 변환한다. 이 매크로블록마다의 움직임벡터로부터 화면전체의 손떨림 움직임벡터가 형성된다. 검출된 손떨림 움직임벡터로부터 보정신호를 회로(13)가 형성하고, 이 보정신호에 의하여 손떨림보정회로(4)가 손떨림보정처리를 행한다.

Description

화상신호처리장치 및 기록/재생장치
이 발명은, 핸디탑입의 비디오카메라의 촬영출력 등의 화상데이터를 압축하는 화상신호처리장치, 압축화상데이터를 기록매체에 기록하는 화상신호기록장치, 및 기록매체로부터 압축화상데이터를 재생하는 화상신호재생장치에 관한 것이며, 특히 비디오카메라의 손떨림을 보정하도록 한 것이다.
핸디타입의 비디오카메라를 사용하여 촬영을 행할 때에, 손떨림으로 재생화면의 흔들리는 문제가 있다. 이 문제를 해결하는데에, 움직임벡터를 검출하고, 이 움직임벡터에 의거하여, 화상메모리에 저장되어 있는 화상데이터를 보정하는 것을 생각할 수 있다. 움직임벡터의 검출은, 예를 들면 블록매칭으로 행해진다. 즉, 화면을 다수의 영역(블록이라고 함)으로 분할하고, 각 블록의 중심에 위치하는 전(前)프레임의 대표점과 현(現)프레임의 블록내의 화소데이터와의 프레임차의 절대치를 연산하고, 이 프레임차의 절대치를 1 화면에 관하여 적산하고, 적산프레임차 데이터의 최소치의 위치로부터 화면전체의 움직임벡터를 검출하고 있다. 이 검출된 움직임벡터를 보정신호로 변환하고, 이 보정신호에 의하여 원화상(原畵象)을 이동하는 보정을 행하고 있다.
예를 들면 도 23 A에 있어서, 파선으로 나타낸 화면테두리 La가 촬상된 화상이고, 손떨림보정에 의하여 실선으로 나타낸 화면테두리 Lb에 그 위치가 보정된다. 이 보정 후의 화면테두리 Lb내의 화상에 있어서, 사선을 그은 영역은, 촬영화상이 없으므로, 화상의 결락(缺落)이 생긴다. 이 문제를 해결하는 하나의 방법은, 화면테두리를 도 23 B에 있어서, Lc로 나타낸 바와 같이, 어느 정도 확대하는 것이다.
이로써, 화상의 결락을 방지할 수 있다.
그리나, 화상의 확대는, 화상메모리의 독출속도를 그 기입속도에 비하여 느리게 하고, 부족한 화상데이터를 내삽(內揷)하는 처리로 이루어진다. 따라서, 확대화상은, 원래의 화상에 비하여 해상도가 열화된다. 그러므로, 손떨림보정 후의 화질이 양호하지 않은 문제가 있었다.
다음에, 종래의 손떨림보정의 다른 문제점에 대하여 실명한다. 이것은, 화면중의 대면적의 움직임을 손떨림이라고 잘못 판정하는 문제이다. 1 화면을 (4×4 = 16)의 매크로블록으로 분할하고, 각 매크로블록에서 움직임벡터를 검출하는 방법을 채용하고 있을 때에, 예를 들면, 도 24 A에 나타낸 바와 같이, 인물이 화면을 우로부터 좌로 움직일 때에, 각 블록에서는, 화살표로 나타낸 움직임벡터가 검출된다. 인물(에지)이 포함되지 않은 다른 블록의 움직임벡터는, 0으로서 검출된다.
종래에는, 매크로블록마다의 움직임벡터를 다수결 판정하여, 다수인 움직임벡터를 손떨림보정용의 움직임벡터로서 채용하고 있다. 그러나, 전술한 예와 같이, 화면중앙에 그 면적이 큰 물체가 존재하고, 이 물체가 움직일 때에는, 이 물체의 움직임을 손떨림으로서, 잘못 판정할 가능성이 있다. 이러한 잘못된 판정을 회피할 필요가 있다.
또한, 매크로블록의 움직임벡터로서 복수의 움직임벡터가 존재하는 경우도 있다. 예를 들면 도 24 B에 나타낸 바와 같이, 손떨림에 의하여 생긴 움직임과 대응하는 움직임벡터와, 화면 중의 물체의 움직임에 의하여 생긴 것이 합성되는 결과, 복수의 움직임벡터가 검출되는 경우가 있다. 도 24 B의 예와 같이, 대면적의 물체의 움직임이 있을 때에는, 종래와 같이, 다수결 판정하면, 손떨림에 의한 움직임벡터를 정확히 검출할 수 없는 문제가 있다.
또한, 비디오카메라일체형 VTR과 같은 화상신호기록장치에서는, 기록되는 화상신호로서, 손떨림보정된 것을 기록하는 것이 보통이다. 그러나, 그 결과, 촬영된 화상 그것 자체를 재생할 수 없게 되고, 또 손떨림보정이 양호하게 되지 않을 때에는, 재생측에서 그 보정이 불가능하다는 문제점이 생긴다.
전술한 바와 같이, 종래의 움직임벡터를 검출하고, 검출된 움직임벡터에 의거하여 손떨림보정을 행하는 방법은, 여러가지 문제점을 가지고 있다. 또한, 전술한 문제점 외에, 움직임벡터를 검출하기 위한 하드웨어를 필요로 하여, 손떨림보정을 위한 하드웨어의 규모가 커지는 문제가 있다.
이 발명은. 하드웨어의 규모의 저감을 도모하는 것이다. 일반적으로, 디지탈화상데이터를 기록매체(자기테이프, 광디스크 등)에 기록하는 경우에, 기록데이터량을 압축하기 위한 고능률 부호화로서, 움직임보상예측부호화가 알려져 있다. 이것은, 입력화상신호와 예측화상신호와의 차분(差分)을 검출하여, 차분을 부호화하고, 다시 가변길이부호화하는 예측부호화에 있어서, 예측신호를 형성할 때에, 검출된 움직임벡터에 의한 움직임보상을 행하여, 그것에 의하여, 차분치를 작게 하는 것이다. 비디오카메라의 손떨림보정을 위하여, 움직임벡터를 사용하므로, 이 움직임벡터로서, 움직임보상예측부호화를 위하여 검출된 움직임벡터를 사용함으로써, 움직임벡터의 검출을 위한 하드웨어를 공용하는 것이 가능하게 된다.
따라서, 이 발명의 목적은, 움직임보상예측부호화를 위하여 검출된 움직임벡터를 손떨림보정을 위해서도 공용하는 것을 가능하게 한 화상신호처리장치 및 기록/재생장치를 제공하는 것에 있다.
이 발명은, 1 화면의 화상데이터를 복수의 블록으로 분할하고,
각각의 블록에 대하여 1 내지 수 프레인 전의 화상데이터로부터, 가장 합치하는 블록의 위치에 대응하는 움직임벡터를 검출하고,
움직임벡터를 사용하여 화상데이터를 압축하는 기능을 가지는 화상신호처리장치에 있어서,
각 블록의 움직임벡터를 검출하는 수단과,
각 블록의 움직임벡터로부터 손떨림 움직임벡터를 검출하는 수단과,
입력되는 화상신호를 손떨림벡터에 의거하여 보정하는 수단과,
각 블록의 움직임벡터를 손떨림 움직임벡터에 의하여 수정한 움직임벡터를 구하는 수단과,
수정된 움직임벡터에 의하여 움직임보상을 행하는 수단과,
손떨림보정된 화상데이터와 움직임보상이 행해진 화상데이터에 의하여 압축처리를 행하는 수단과
로 이루어지는 것을 특징으로 하는 화상신호처리장치이다.
또, 이 발명은, 1 화면의 화상데이터를 복수의 블록으로 분할하고,
각각의 블록에 대하여 1 내지 수 프레임 전의 화상데이터로부터, 가장 합치하는 블록의 위치에 대응하는 움직임벡터를 검출하고,
움직임벡터를 사용하여 화상데이터를 압축하는 기능을 가지는 화상신호기록장치에 있어서,
각 블록의 움직임벡터를 검출하는 수단과,
각 블록의 움직임벡터로부터 손떨림 움직임벡터를 검출하는 수단과,
움직임벡터에 의하여 움직임보상을 행하는 수단과,
입력화상데이터와 움직임보상된 화상데이터에 의하여 압축처리를 행하는 수단과,
압축된 화상데이터와 함께, 손떨림 움직임벡터를 기록하는 수단과
로 이루어지는 것을 특징으로 하는 화상신호기록장치이다.
또한, 이 발명은, 1 화면의 화상데이터를 복수의 블록으로 분할하고,
각각의 블록에 대하여 1 내지 수 프레임 전의 화상데이터로부터, 가장 합치하는 블록의 위치에 대응하는 움직임벡터를 검출하고,
움직임벡터를 사용하여 화상데이터를 압축하고,
움직임벡터로부터 손떨림 움직임벡터를 검출하고,
움직임벡터에 의하여 움직임보상을 행하고,
입력화상데이터와 움직임보상된 화상데이터에 의하여 압축처리를 행하고,
압축된 화상신호와 함께 손떨림 움직임벡터를 기록한 기록매체를 재생하는 화상신호재생장치에 있어서,
압축된 화상데이터를 복호(復號)하는 복호수단과,
재생신호로부터 손떨림 움직임벡터를 분리하는 수단과,
복호수단으로부터의 복호화상신호가 공급되어. 손떨림 움직임벡터에 의하여 손떨림보정을 행하는 수단과
로 이루어지는 것을 특징으로 하는 화상신호재생장치이다.
움직임보상예측부호화와 같이, 기록데이터의 압축을 위하여, 움직임벡터가 검출된다. 이 움직임벡터는, 블록단위로 검출된다. 이 움직임벡터와 화상데이터의 변화량을 사용함으로써, 손떨림 움직임벡터가 검출된다. 이 손떨림 움직임벡터에 의하여 보정된 화상데이터가 기록된다. 손떨림보정된 화상데이터를 기록하는 것에 한하지 않고, 손떨림 움직임벡터 또는 이로부터 형성된 보정신호를 압축화상 데이터와 함께, 기록매체에 기록하고, 재생시에 손떨림보정이 행해진다.
다음에, 이 발명의 일실시예에 대하여 도면을 참조하여 설명한다. 여기서의 실시의 형태는, 예를 들면 VTR일체형 비디오카메라로서, 촬영한 화상신호를 디지탈신호로 변환하고, 움직임보상예측부호화에 의하여 압축하고. 그리고 자기테이프 등의 기록매체에 기록하는 것이다.
도 1에 있어서, (1)은, 촬상소자로서의 CCD를 나타낸다. CCD(1)의 촬상출력이 카메라신호처리회로(2)에 공급되어, 비디오신호로 변환된다. 이 비디오신호가 A/D변환기(3)에 의하여 디지탈비디오신호로 변환된다. 예를 들면 13.5MHz의 샘플링주파수에 의하여 A/D 변환된다. 그리고, 이 발명은, 휘도신호와 2개의 색차신호로 이루어지는 콤포넌트신호, 또는 휘도신호와 반송색신호가 중첩된 콤포짓신호에 대해서도 적용할 수 있으나, 다음의 설명에서는, 간단화를 위하여 휘도신호의 처리에 대해서만 설명한다.
A/D변환기(3)로부터의 디지탈비디오신호가 지연회로(14)를 통하여, 이 발명이 적용된 손떨림보정회로(4)에 공급된다. 손떨림보정회로(4)는, 후술하는 바와 같이, 촬영시의 손떨림을 보정하기 위한 회로이다. 손떨림검출회로(12) 및 보정신호발생회로(13)가 손떨림보정을 위하여 배설되어 있다. 지연회로(14)는, 손떨림보정신호를 형성하기 위한 처리에 걸리는 시간, 디지탈비디오신호를 지연시키는 위상 맞춤을 위하여 배설되어 있다. 손떨림보정회로(4)의 출력신호가 감산회로(5)에 공급되고, 또 A/D변환기(3)의 출력신호가 움직임벡터검출회로(6)에 공급된다.
감산회로(5)에는, 움직임보상회로(7)로부터의 예측신호가 공급되고, 감산회로(5)로부터는, 실제의 비디오신호와 예측신호와의 차분이 화소마다 발생한다. 이 차분이 ADRC부호화의 엔코더(8)에 공급되어, 엔코더(8)의 부호화출력이 취출된다. 이와 동시에, 엔코더(8)의 출력이 ADRC디코더(로컬디코더)(9)에 공급되어, 그 출력에 차분치의 복호데이터가 취출된다. 그리고, 프레임내 부호화의 화상신호를 주기적으로 삽입함으로써, 복호측이 리프레시처리를 행하도록 해도 된다.
ADRC디코더(9)로부터의 복호치가 가산회로(1())에 공급되어, 움직임보상회로(7)로부터의 예측신호와 가산된다. 이 가산회로(10)로부터 얻어지는 복호신호가 프레임메모리(11)에 기입된다. 프레임메모리(11)의 출력이 움직임보상회로(7)에 공급된다. 움직임보상회로(7)에는 움직임벡터검출회로(6)로부터의 움직임벡터 Vhv가 움직임벡터수정회로(15)를 통하여 공급되어, 움직임보상이 이루어진다. 움직임보상회로(7)로부터의 예측신호가 전술한 가산회로(10)에 공급되는 동시에, 감산회로(5)에 공급된다. 감산회로(5)에 있어서. 실제의 비디오신호와 예측신호와의 화소의 차분이 형성된다.
움직임벡터검출회로(6)는, A/D변환기(3)의 출력비디오신호, 즉 손떨림보정 전의 디지탈비디오신호로부터 움직임보상을 위한 움직임벡터를 검출한다. 이 발명의 일실시예에서는. 움직임벡터 Vhv 및 평가치 Pij를 손떨림검출회로(12)에 공급하고, 후술하는 바와 같이, 손떨림 움직임벡터를 구하고, 이 손떨림 움직임벡터를 보정신호발생회로(13)에 공급하여, 보정신호를 형성한다. 이 보정신호가 손떨림보정회로(4)에 공급됨으로써 손떨림을 보정할 수 있다.
화상신호의 기록/재생을 위하여, 도 2에 나타낸 구성이 사용된다. 도 2에 있어서, (21)로 나타낸 입력단자에 움직임보상예측부호화의 엔코더(도 1의 예에서는, ADRC엔코더(8))로부터 부호화출력이 공급된다. 이 부호화출력이 가변길이부호화의 엔코더(22)에 공급되어, 가변길이부호화된다. 가변길이부호화의 출력이 기록버퍼(23)에 공급된다. 기록버퍼(23)는, 버퍼용량을 나타내는 신호를 전단(前段)에 피드백한다. 이로써 소정 기간의 기록데이터량이 일정하게 제어된다. 예를 들면 ADRC부호화의 양자화 비트수를 변화시킴으로써 전송데이터량을 제어할 수 있다.
이 예는, 피드백제어의 버퍼링회로이지만, ADRC엔코더에 있어서의 양자화 비트수로서, 복수의 것(예를 들면 0비트, 1비트, 2비트, 3비트, 4비트)을 준비하고, 소정의 기간의 발생데이터량을 견적하여, 목표데이터량을 넘지 않도록, 양자화 비트수를 블록마다 선택하는, 피드포워드제어의 버퍼링을 행하도록 해도 된다. 기록버퍼(23)의 출력이 멀티플렉서(24)에 공급되어, 오디오데이터, 제어용 데이터 등이 다중화된다.
멀티플렉서(24)의 출력이 기록처리회로(25)에 공급된다. 기록처리회로(25)에서는, 기록데이터에 대한 에러정정부호화, 채널변조 등의 처리가 이루어진다. 기록처리회로(25)로부터의 기록데이터가 기록앰프(26)와 기록/재생전환스위치(27)의 기록측 단자 R를 통하여 기록매체에 기록된다. 기록매체로서는, 자기테이프, 기록가능한 광디스크 등을 사용할 수 있다.
기록매체로부터 재생된 재생데이터가 기록/재생전환스위치(27)의 재생측 단자 P 및 재생앰프(28)를 통하여 재생처리회로(29)에 공급된다. 재생처리회로(29)는, 채널변조의 복조, 에러정정 등의 처리를 행한다. 재생처리회로(29)의 출력이 디멀티플렉서(30)에 공급되어, 오디오신호, 제어용 데이터 등이 분리된다. 디멀티플렉서(30)로부터의 비디오신호와 대응하는 재생데이터가 가변길이부호화의 디코더(31)에 공급되어, 가변길이부호의 복호가 이루어진다. 출력단자(32)에 취출된 재생데이터가 ADRC디코더 등의 고능률 부호화의 디코더에 공급된다.
ADRC는, 본원 발명자의 제안에 의한 고능률 부호화의 하나이다. ADRC엔코더(8)의 구성의 일예를 도 3에 나타낸다. 입력단자(34)로부터 디지탈비디오신호가 블록화회로(35)에 공급되고, 블록화회로(35)에 의하여 1 화면을 세분화한 블록마다의 순서를 가지는 데이터가 형성된다. 블록화회로(35)의 출력데이터가 검출회로(36) 및 지연회로(37)에 공급된다.
검출회로(36)는, 각 블록의 복수의 화소의 최대치 MAX, 최소치 MIN를 검출한다. 지연회로(37)는, 이 검출에 요하는 시간, 디지탈비디오신호를 지연시키기 위한 것이다. 검출된 최대치 MAX 및 최소치 MIN가 감산회로(38)에 공급되고, 감산회로(38)로부터(MAX - MIN = DR)로 나타내는 다이나믹레인지 DR가 얻어진다. 또, 지연회로(37)로부터이 디지탈비디오신호와 최소치 MIN가 감산회로(39)에 공급되고, 그 출력에 최소치가 제거된 수정화소데이터가 얻어진다. 블록내의 화소가 공유하는 최소치 MIN를 제거함으로써, 정규화(正規化)가 이루어진다.
감산회로(39)의 출력과 검출된 다이나믹레인지 DR가 양자화회로(40)에 공급된다. 양자화회로(40)에서는, 도 5에 나타낸 바와 같이, 다이나믹레인지 DR를 2n 등분한 양자화스텝 (n; 양자화 비트수이고, 도 5에서는, n=2)에 의하여, 감산회로(39)의 출력이 재양자화된다. 공간적으로 근접하는 화소는, 상관이 강하므로, 양자화 비트수 n를 원래의 양자화 비트수(예를 들면 8비트)보다 적게 해도, 복호화상의 열차가 적고, 전송데이터량을 압축할 수 있다. 양자화회로(40)로부터의 부호화 출력 DT이 전송되는 동시에, 블록마다의 다이나믹레인지 DR 및 최소치 MIN가 부가정보로서 전송된다.
도 4는, ADRC디코더(9)의 일예의 구성을 나타낸다. ADRC엔코더(8)로부터의 다이나믹레인지 DR 및 부호화출력이 DT이 역양자화회로(42)에 공급된다. 역양자화회로(42)는, 다이나믹레인지 DR와 양자화 비트수 n로 정해지는 양자화스텝을 부호화출력에 곱하여, 승산출력을 정수화(整數化)함으로써, 복원레벨을 발생한다. 도 5에 나타낸 바와 같이, 양자화시의 레벨범위의 각각의 중앙치가 복원레벨(대표레벨) L0, L1, L2, L3로 된다.
그리고, 역양자화회로(42)로부터의 복원레벨과 최소치 MIN와를 가산회로(43)에 의하여 가산함으로써, 복호치가 얻어진다. 이 복호치가 블록분해회로(44)에 공급되고, 화소데이터의 순서가 라스터순서로 되돌려진다. 블록분해회로(44)의 출력단자(45)에는, 복호비디오신호가 취출된다.
움직임벡터검출회로(6)에서는, 블록매칭법에 의하여 움직임벡터가 검출된다. 이것은, 도 6에 그 처리를 개략적으로 나타낸 바와 같이, 참조프레임 예를 들면 전 프레임 Fn-1의 검사블록 By을 소정의 서치에리어내에서 이동하여, 현프레임 Fn의 기준블록 Bx과 가장 합치하고 있는 검사블록을 검출함으로써 움직임벡터를 구하는 것이다. 따라서, 움직임벡터는, 블록마다 구해진다. 합치의 정도를 나타내는 평가치로서는, 기준블록 Bx내의 복수의 화소와 검사블록 By내의 복수의 화소와의 사이에서, 동일한 공간적 위치의 화소끼리의 값을 감산함으로써 프레임차를 구하여, 이 프레임차의 절대치합을 사용할 수 있다. 프레임차의 절대치합 이외에, 프레임차의 2승합 등을 사용할 수 있다.
도 7은, 움직임벡터검출회로(6)의 일예의 구성을 나타낸다. 도 7에 있어서, (51)이 현프레임의 화상데이터의 입력단자이고, 이 화상데이터가 현프레임메모리(53)에 축적된다. (52)가 전프레임의 화상데이터의 입력단자이고, 이 화상데이터가 전프레임메모리(54)에 축적된다.
현프레임메모리(53) 및 전프레임메모리(54)의 독출/기입은, 콘트롤러(55)에 의하여 제어된다. 현프레임메모리(53)로부터는, 현프레임의 기준블록의 화소데이터가 독출되고, 전프레임메모리(54)로부터는, 전프레임의 검사블록의 화소데이터가 독출된다. 전프레임메모리(54)와 관련하여 어드레스이동회로(56)가 배설된다. 콘트롤러(55)가 어드레스이동회로(56)를 제어하는 결과, 검사블록의 위치가 1 화소스텝으로, 서치에리어내에서 변화한다.
현프레임메모리(53)의 출력과 전프레임메모리(54)의 출력이 차분검출회로(57)에 공급되어, 1 화소마다의 차분(프레임차)이 검출된다. 차분검출회로(57)의 출력이 절대치화회로(58)에서 절대치로 변환되고, 이 절대치가 누산(累算)회로(59)에 공급된다. 누산회로(59)가 1 블록에서 발생한 절대치차분을 누산하고, 그 출력(프레임차 절대치합)이 평가치로서 판단회로(60)에 공급된다. 판단회로(60)는, 서치에리어내에서 검사블록을 이동했을 때에 각각 발생하는 차분의 절대치합으로부터 움직임벡터를 검출한다. 즉, 최소의 차분의 절대치합을 발생하는 검사블록의 위치를 움직임벡터로서 검출한다. 출력단자(61)에, 검출된 움직임벡터가 취출된다.
이 발명의 일실시예에서는, 이와 같이 검출된 움직임보상을 위한 움직임벡터를 손떨림보정을 위해서도 사용하는 것이다. 손떨림보정의 움직임벡터는, 화면전체, 또는 비교적 큰 블록의 움직임을 나타내는 것이며, 기존의 방법으로서, 도 8에 나타낸 바와 같이, 손떨림보정용의 움직임벡터를 검출하는 것이 알려져 있다.
즉, 현프레임 Fn을 서치에리어 Sx로 분할하고, 각 서치에리어 Sx내의 복수의 화소와, 전프레임 Fn-1의 대표점 화소 Ry (서치에리어의 중심위치의 화소)와의 프레임차의 절대치를 구한다. 또한, 각 서치에리어 Sx에서 구해진 프레임차 절대치를 동일한 공간적 위치에 있어서 적산하고, 그것에 의하여, 서치에리어 Sx와 동일한 크기의 평가치테이블을 작성한다. 이 평가치테이블중의 최소치를 검출함으로써, 화면전체의 움직임벡터를 구한다.
이와 같이, 움직임벡터검출회로(6)에서 구하는 움직임벡터는, 블록단위로 구해지는 것에 대하여, 손떨림보정에 있어서 필요한 움직임벡터는, 화면전체, 또는 비교적 큰 블록의 단위로 구해지는 것이다. 이 상위가 있으므로, 손떨림검출회로(12)는, 움직임벡터검출회로(6)로부터 프레임차 절대치합 Pij 및 움직임벡터 Vhv를 수취하여 , 손떨림보정용의 움직임벡터를 생성한다.
도 9는, 손떨림검출회로(12) 및 손떨림보정회로(4)의 일예의 구성을 나타낸다. 움직임벡터검출회로(6)로부터의 프레임차 절대치합 Pij이 적산회로(71)에 공급된다. 이 프레임차 절대치합 Pij에 대하여 도 10을 참조하여 설명한다. 도 6을 참조하여 설명한 바와 같이, 기준블록 Bx과 검사블록 By과의 프레임차의 절대치합은, 서치에리어내의 검사블록 By의 각 위치에서 계산된다. 일예로서, 서치에리어를 수평방향으로 ±4, 수직방향으로 ±3으로 하면, 9×7=63개의 검사블록과의 프레임차 절대치합이 계산된다.
현프레임의 어느 하나의 기준블록 Bx에 관해서의 프레임차 절대치합을 검사블록의 위치에 대응하여 배열한 것을 도 10에 나타낸다. 중심위치(i=4, j=3)의 프레임차 절대치합 P43은, 기준블록 Bx과 검사블록 By이 공간적으로 동일 위치의 경우의 것이다. 이 프레임차 절대치합 Pij이 각 기준블록마다 적산회로(71)에 있어서 적산되어, 평가치 ∑Phv가 형성된다. 일예로서, 블록사이즈를(16×16)으로 하고, 1 프레임의 유효화면사이즈를(704화소×480라인)으로 하면, 도 11에 나타낸 바와 같이, 1 프레임이(44×30)의 블록으로 분할되게 되어, 이 블록수와 동일한 평가치 ∑Phv가 얻어진다.
평가치 ∑Phv는, 그 블록내의 화상의 레벨분포를 반영한 것이다. 만일, 서치에리어내의 화상이 평탄한 레벨분포인 경우에는, 프레임차 절대치합의 레벨이 작아지고, 평가치 ∑Phv의 레벨도 작아진다. 한편, 레벨분포가 평탄하지 않고, 에지 등을 포함하는 경우에는, 평가치 ∑Phv의 레벨도 커진다. 이 일실시예에서는, 액티비티로서 화상의 레벨분포를 사용하고 있으며, 평탄한 레벨분포를 낮은 액티비티로 하고 있다. 단, 액티비티는, 공간경사에 한하지 않고. 주파수변환에 있어서의 주파수성분 등을 포함하는 것이다.
이 평가치 ∑Phv와 움직임벡터 Vhv가 손떨림판정회로(72)에 공급된다. 손떨림판정회로(72)는, 도 12의 플로차트에 나타낸 바와 같이, 손떨림판정을 행한다. 초기치로서(h=0, v=0)으로 되고(스텝 81), 다음의 스탭 82에 있어서 스레시 홀드치 TH1, TH2와 각각 비교된다. V00 < TH1이고, ∑P00 > TH2이면, 카메라 정지(즉, 손떨림이 아님)라고 판정된다(스텝 83).
이 스텝 82의 조건이 성립하는 것은, 블록 00이 에지 등의 레벨변화가 불연속의 위치의 화상(∑P00 > TH2)이고, 또한 블록 00에 대하여 움직임이 없다(V00 < TH1)라고 검출되어 있는 것을 의미한다. 손떨림이 발생하고 있는 경우에는. 전체화면이 움직이므로, 정지블록이 하나라도 존재하는 것은, 손떨림은 아니라고 결정할 수 있다.
스텝 82의 조건이 성립하지 않을 때에는, 스텝 84로 처리가 이행하여, h의 값이 수평방향의 최대치(43)인가 여부가 조사된다. 그렇지 않은 경우에는, 스텝 85에 있어서, h의 값이 +1되어, 스텝 82로 되돌아온다. 이와 같이 하여, 블록 00으로부터 이웃의 블록 10에 대해서의 처리로 이행하여, 이 블록 10이 정지블록인가 여부가 판정된다. 그리고, v=0의 모든 블록에 대해서의 처리가 완료되면, 스텝 84로부터 스텝 86으로 처리가 이행한다.
스텝 86은, v의 값이 29인가 여부를 결정하는 것이고, 그렇지 않은 경우에는, 스텝 87로 처리가 이행한다. 스텝 87에 있어서, v의 값이 +1되어, 스텝 82로 되돌아온다. v의 값이 29에 도달했을 때에, (44×30)개의 전체블록의 처리가 완료된다. 그리고, 전체블록에 대하여, 정지블록이 전혀 검출되지 않은 경우에는, 전체화면의 움직임, 즉 손떨림이라고 판단하고, 스텝 88에 있어서, 매크로블록마다의 움직임벡터검출의 처리로 이행한다. 도 9의 구성에서는, 손떨림판정회로(72)로부터 매크로블록화회로(73)에 대하여, 판단결과의 제어신호가 출력된다.
매크로블록화회로(73)는 움직임벡터검출회로(6)로부터의 움직임벡터 Vhv를 매크로블록마다 분리한다. 여기서는, 도 13에 나타낸 바와 같이, 1 프레임의 화면을 수평방향으로 4 분할하고, 수직방향으로 3 분 할하여, (11×10)블록의 사이즈의 12개의 매크로블록을 형성한다. 이 매크로블록의 예에 한하지 않고, 복수의 매크로블록을 얻기 위하여, 1 화면을 분할하는 방법은, 여러 가지 채용할 수 있다. 단, 서로 인접하지 않는 매크로블록이 생길 필요가 있고, 따라서, 화면을 동일하게 4 분할하는 방법은 채용해서는 안된다. 각 매크로블록마다 움직임벡터가 움직임벡터검출회로(740, 741, …, 7412)에 공급된다.
움직임벡터검출회로(740)는, 매크로블록 MB00에 포함되는 블록의 움직임벡터를 벡터가산함으로써, 합성움직임벡터 MV00를 검출한다. 마찬가지로, 움직임벡터 검출회로(741, 742, …, 7412)가 각 매크로블록의 합성움직임벡터 MV10, MV20, … MV32를 각각 검출한다. 검출된 합성움직임벡터 MV00~MV32가 통합벡터형성회로(75)에 공급된다.
통합벡터형성회로(75)는, 12개의 합성움직임벡터를 통합함으로써, 화면전체의 움직임벡터(통합벡터)를 발생한다. 이 통합벡터가 보정신호발생회로(13)에 공급된다. 그리고, 통합벡터는, 프레임간의 움직임으로부티 검출된 것이고, 손떨림의 보정량과 동일하지는 않다. 예를 들면 연속하는 3 프레임의 기간에서, 제2번째 및 제3번째의 프레임의 기간에서, 동일방향의 손떨림이 생기고 있을 때에는, 최초의 프레임과 다음의 프레임과의 사이의 통합벡터 V1가 얻어지고, 제2번째와 제3번째의 프레임간의 통합벡터 V2가 얻어진다. 제2번째의 프레임에 대한 보정량은, V1로 되지만, 제3번째의 프레임에 대한 보정량은, (V1+V2)의 필요가 있다. 보정신호발생회로(13)는, 일예로서, 통합벡터를 적분한 보정량을 발생한다. 보정신호발생회로(13)로부터의 손떨림보정신호가 보정회로(4)에 공급되어, 입력화상데이터의 손떨림보정이 이루어진다.
통합벡터형성회로(75)는, 도 14에 나타낸 흐름에 따라서 통합벡터를 형성한다. 각 매크로블록의 움직임벡터가 입력되고 (스텝 91), 전체매크로블록의 움직임벡터가 동일한가 여부가 조사된다 (스텝 92), 만일, 동일하다면, 이 움직임벡터가 통합벡터로서 출력된다(스텝 93). 이하의 경우도 동일하지만, 동일은 어느 정도의 톨러런스를 포함하고 있다.
스텝 92가 성립하지 않을 때는, 판정의 스텝 94로 이행하고, 공간적으로 분리된 복수의 매크로블록에 관하여, 움직임벡터가 동일한가 여부가 조사된다. 환언하면, 1 프레임전체에서, 동일한 움직임벡터를 가지는 매크로블록이 공간적으로 분리된 것인가 여부가 조사된다. 스텝 94를 만족하는 움직임벡터가 통합벡터로서 출력된다(스텝 95). 「공간적으로 분리되었다」는, 상하, 좌우, 경사의 각 방향에서 인접하는 것(예를 들면(MB00, MB10, MB01, MB11))을 제거하는 것을 의미한다. 따라서, 공간적 거리, 통일한 움직임벡터를 가지는 매크로블록의 개수 등에 대해서는, 필요로 하는 검출정밀도 등을 고려하여 적절히 설정된다. 이 판정의 스텝 94는, 비교적 대면적의 물체의 움직임을 손떨림이라고 하는 것 같은 오판정을 배제할 수 있다.
스텝 94가 성립하지 않을 때에는, 흐름이 스텝 96으로 이행하여, 동일 벡터를 가지는 매크로블록의 개수가 각각 합계된다. 이 매크로블록의 각 개수에 대하여, 다음의 스텝 97에서 가중이 이루어진다. 이 가중은, 화면의 비주변(非周)부근의 매크로블록에 관한 블록수에 대하여, 화면의 주변의 매크로블록에 관한 블록수를 우선시키기 때문이다. 일예로서, 주변에 관한 블록수에는, 1.5의 가중계수를 곱하고, 비주변 부근에 관한 블록수에는, 1의 가중계수를 곱한다 비교적 대면적의 물체의 움직임은, 중심 부근에 있는 것이 많은 것을 고려하여, 스텝 97의 가중이 이루어진다.
그리고, 흐름이 스텝 98로 이행하여, 가중이 된 블록수중에서의 최대치가 있는가 여부가 조사된다. 최대치가 있을 때에는, 그 최대치의 매크로블록의 움직임벡터가 통합벡터로서 출력된다(스텝 99). 만일, 블록수가 같든가, 또는 거의 같다면, 흐름이 스텝 100으로 이행한다. 그리고, 매크로블록의 개수에 관하여, 스텝 100에서 다수결 판정이 되어, 다수로 된 것의 움직임벡터가 통합벡터로서 출력된다. 다수결 판정은, 통합벡터를 발생하는 것에 있어서, 정밀도의 점에서 문제가 있어, 정밀도를 중시하는 경우에는, 이 판정을 생략하여, 통합벡터의 검출불능으로서 처리하는 것도 가능하다.
전술한 처리에 의하여, 움직임물체와 손떨림과의 특성의 상위를 이용하여 움직임벡터를 화면전체의 움직임벡터에 통합하고 있으므로, 검출된 손떨림 움직임벡터가 화면내의 대상물의 움직임에 영향받지 않는 고정밀도의 것으로 된다.
도 9로 되돌아가서 설명하면, 화면전체의 움직임을 나타내는 통합벡터가 보정신호발생회로(13)에 공급되어, 적분에 의하여 보정신호가 형성된다. 이 보정신호가 손떨림보정회로(4)에 공급되어, 손떨림이 보정된다. 손떨림보정회로(4)는, 지연회로(14)로부터의 화상데이터가 기입되는 메모리(101)와, 주변메모리(l02)와, 메모리(101) 및 주변메모리(102)의 독출출력을 선택하기 위한 셀렉터(103)와, 메모리(101) 및 주변메모리(102)의 어드레스를 제어하기 위한 어드레스제어회로(105)와, 셀렉터(103)를 제어하기 위한 셀렉트신호를 발생하는 셀렉트신호발생회로(106)로 구성되고, 손떨림보정된 비디오신호가 출력단자(104)에 취출된다.
메모리(101)는, 예를 들면 프레임메모리이고, 보정신호에 따라서 그 독출어드레스가 제어된다. 따라서, 메모리(101)로부터는, 보정신호에 따라서 이동된 화상데이터가 독출된다. 셀렉터(103)에서 선택된 데이터가 주변메모리(102)에 대하여 기입된다. 셀렉터(103)는, 셀렉트신호발생회로(106)로부터의 셀렉트신호에 응답하여, 손떨림보정된 메모리(101)로부터의 화상데이터와 주변메모리(101)에 기억되어 있는 주변데이터를 선택한다.
도 15 A에 있어서, 메모리(101)에 취입된 1 프레임의 화상(그 화면테두리를 (107)로 나타냄)의 주변부(1점쇄선의 외측의 영역)(108)가 주변메모리(102)에 격납된다. 주변부(108)의 폭은, 손떨림보정의 범위를 고려하여 설정되고, 예를 들면 수평 및 수직방향으로, 1 프레임의 화상의 10~20% 정도의 폭으로 된다. 도 15 B에 있어서, 화면테두리(107a)로 나타낸 바와 같이, 손떨림에 의하여 도 15 A의 위치이어야 할 화상이 도면에 향하여 예를 들면 우방향으로 움직였을 때에는, 손떨림보정량 V에 의하여 화상의 전체가 파선으로 나타낸 위치로 보정된다. 이 손떨림보정의 경우에는, 촬상된 화상중에는, 원래 존재하고 있지 않은, 이동 후의 화상의 좌측의 사선으로 나타낸 두분(109)의 화상이 결락된다. 이 결락부분(109)이 주변메모리(102)에 축적되어 있는 대응하는 위치의 화상으로 치환된다. 이 치환은, 어드레스제어회로(105)에 의한 어드레스제어와, 셀렉터(103)의 전환동작으로 실행된다. 또, 주변메모리(102)에는, 촬상된 화상데이터중의 결락부분(109) 이외의 주변의 화상데이터가 기입되어, 주변메모리(102)의 내용이 갱신된다.
이와 같이, 손떨림보정에서 생기는 화상의 결락을 주변메모리에 기억되어 있는 주변화상으로 치환하므로, 화상을 확대하는 처리와 달리, 화상의 해상도의 열화를 방지할 수 있다.
전술한 이 발명의 일실시예에서는, 손떨림 움직임벡터의 검출을 위한 움직임벡터는, 손떨림보정 전의 비디오신호를 처리하여 얻어진다. 한편, 움직임보상 등의 처리는, 손떨림보정회로(4)에 의하여 손떨림보정이 된 비디오신호에 대하여 이루어진다. 따라서, 움직임벡터검출회로(6)에서 검출된 움직임벡터에 의하여 움직임보상을 행할 수 없다. 이 문제를 해결하기 위하여, 움직임벡터수정회로(15)가 배설되어 있다. 움직임벡터수정회로(15)에 의하여, 움직임벡터에 포함되어 있는 손떨림성분이 제거된다.
움직임벡터수정회로(15)에 있어서의 처리에 대하여 도 16을 참조하여 설명한다. 도 16 A는, 각 블록에서 구해진 움직임벡터 V00, V01, V10, V11, … 등이 손떨림벡터의 성분을 포함하고 있는 것을 나타내고 있다. 손떨림이 없으면, 이들의 블록의 위치가 파선으로 나타낸 위치에 있다.
여기서, 움직임벡터 V00의 블록에 주목하면, 도 16 B에 나타낸 바와 같이, 손떨림성분을 제거한 경우에는, 이 블록의 위치는, 파선의 위치이다. 파선의 위치에 있어서의 블록에 대하여, 움직임벡터를 검출한 위치의 블록과 주변의 다른 블록에 포함되는 화소수가 구해진다. 도 16에서는, 블록의 전체화소수를 n으로 하고, 파선으로 나타낸 위치에서는, n1, n2, n3, n4로 나타낸 화소수가 각 블록에 포함되는 화소수로 하고 있다. 그리고, 다음의 식에서 나타낸 가중평균방식에 의하여, 수정 후의 움직임벡터 V00' 를 계산한다. 다른 블록의 움직임벡터에 대해서도 동일하게 수정된다.
V00' = (n1/n)·V00+(n2/n)·V10+(n3/n)·V01+(n4/n)·V11
이 복수의 블록에 각각 포함되는 화소수 n1~n4를 구하는 데에는, 손떨림보정의 x축에의 투영성분, 및 그 y축에의 투영성분이 사용된다. 이와 같이 하여 움직임벡터를 수정할 수 있다. 가중평균방식은, 수정의 한 방법이고, 이것 이외의 수정방법을 사용할 수 있다.
도 17은, 이 발명의 다른 실시예를 나타낸다. 도 1에 나타낸 일실시예에서는, 감산기(5)로부터의 프레임간 차분을 ADRC에 의하여 압축하고 있는 것에 대하여, 다른 실시예는, MPEG(Moving Pictures Expert Group) 규격의 부호화를 채용하고 있다. MPEG는, DCT(Discrete Cosine Transform)회로(16a) 및 양자화기(量子化器)(17a)에 의하여 공간적 상관을 이용한 압축을 행하고, 또 쌍방향의 움직임보상프레임간 예측을 행한다.
쌍방향의 예측부호화는, 프레임내 예측부호화와 순방향 예측부호화와 역방향 예측부호화이다. 순방향 예측부호화는, 과거의 화상으로부터 현재의 화상을 예측하는 프레임간 예측부호화이고, 역방향 예측부호화는, 미래의 화상으로부터 현재의 화상을 예측하는 프레임간 예측부호화이다. 또한, 전후 양방향의 예측에 의한 내삽적 프레임간 예측부호화도 이루어진다. 이들의 예측부호화의 방법에 대응하여, 픽처타입(I픽처, P픽처, B픽처)이 규정된다.
쌍방향의 움직임보상을 위하여, 움직임벡터검출회로(6)에 대하여, 프레임메모리(18)가 추가되고, 또 프레임메모리(11a),(11b)로부터의 과거, 현재, 미래의 예측화상을 사용하여, 역방향의 움직임보상회로(7r), 보간움직임보상회로(7i), 순방향 움직임보상회로(7f)가 각각의 움직임보상을 행한다. 로컬복호를 위해서는, 역양자화기(16b), 역DCT회로(17b), 역DCT회로(17b)의 출력과 스위치회로를 통한 신호와를 가산하는 가산회로(10)가 배설되어 있다. 또, 감산기(5)로부터의 차분신호와 감산기(5)를 통하지 않은 신호와를 선택하는 스위치회로가 배설되어 있다. 이들의 스위치회로는, 전술한 픽처타입에 따라서 콘트롤신호 S1, S2, S3에 의하여 제어된다. 부호화제어회로(19)로부터 콘트롤신호 S1, S2, S3가 발생한다.
이 발명의 다른 실시예는, 일실시예와 마찬가지로, 움직임벡터검출회로(6)로부터의 움직임벡터 Vhv 및 평가치 Pij를 손떨림검출회로(12)에 공급하여, 손떨림 움직임벡터를 구하고, 이 손떨림 움직임벡터를 보정신호발생회로(13)에 공급하여, 보정신호를 형성하고, 이 보정신호를 손떨림보정회로(4)에 공급함으로써 손떨림을 보정한다. 또, 손떨림벡터를 수정하기 위하여, 손떨림벡터수정회로(l5)가 배설되어 있다.
도 18은, 이 발명의 또 다른 실시예의 기록측의 구성을 나타낸다. 또 다른 실시예에서는, 기록측에서는, 손떨림보정을 위한 보정신호를 발생하고, 도 19에 나타낸 재생측에 있어서, 손떨림보정을 행한다. 따라서, 도 18에 나타낸 바와 같이, 기록측에는, 손떨림검출회로(12) 및 보정신호발생회로(13)가 배설되어 있으나, 손떨림보정회로(4)가 배설되어 있지 않다. ADRC엔코더(8)로부터의 부호화출력, 움직임벡터 및 손떨림보정신호가 프레임화회로(20)에 공급되어, 기록데이터가 형성된다. 이 기록데이터가 기록계를 통하여 기록매체에 기록된다.
도 19에 나타낸 바와 같이, 재생측에서는, 재생계에 의하여 형성된 재생데이터가 입력단자(62)로부터 프레임분해회로(63)에 공급되어, ADRC부호화출력, 손떨림벡터 Vhv, 보정신호가 분리된다. ADRC디코더(64)에 의하여 차분신호가 복호되어, 복호차분신호가 가산회로(65)에 공급된다. 가산회로(65)의 출력이 예측메모리(66)에 공급되어, 움직임벡터 Vhv에 의하여 기록측과 동일한 움직임보상이 이루어진다.
가산회로(65)로부터의 재생화상신호가 손떨림보정회로(4)에 공급된다. 이 손떨림보정회로(4)에 있어서, 재생신호로부터 분리된 보정신호에 의하여 손떨림보정이 이루어진다. 손떨림보정회로(4)로부터의 디지탈화상신호가 D/A 변환기(67)에 공급되어, 출력단자(68)에 재생화상신호가 취출된다. 그리고, 손떨림보정의 작동, 부작동을 선택하는 선택수단을 배설해도 된다. 또, 손떨림보정신호를 기록하고 있으나, 손떨림보정신호의 대신에, 평가치 ∑Pij를 기록하고, 재생측에서 움직임벡터와 평가치를 사용하여 손떨림보정신호를 형성해도 된다.
그리고, 손떨림보정신호를 기록하도록 한 이 발명의 또 다른 실시예는, MPEG를 사용하는 경우에 대해서도 적용할 수 있다.
또, 손떨림보정시의 화상의 결락을 보상하기 위하여, 주변메모리를 배설하고 있으나, 배경메모리에 의하여 화상의 결락의 보상을 행하도록 해도 된다. 배경메모리는, 프레임간의 화상의 변화중에서, 거의 변화하지 않는 화상이 선택적으로 기입되는 것이다. 배경메모리를 사용하여, 움직임보상을 행할 때의 언커버드백그라운드를 방지할 수 있고, 또는 배경데이터의 전송을 솎아내어 전송데이터량을 압축할 수 있다. 이 방식에 의한 압축부호화방식은, 본원 발명자에 의하여 제안되어, 예를 들면 일본국 특공평 7(1995)-97754호 공보에 기재되어 있다. 또, 프레임메모리에 비하여 큰 메모리를 배경메모리로서 사용함으로써, 손떨림에 의한 주변화상, 팬, 틸트에 의한 화상 등의 1 프레임내에 수용되지 않는 화상의 축적에 이용할 수 있다.
도 20은, 배경메모리에 축적되는 화상데이터를 개략적으로 설명한 것이고, 예를 들면 코트위에서 플레이하고 있는 테니스플레이어를 촬영한 경우에, 순차 변화하는 화상과, 촬영화상중의 배경화상(구체적으로는 테니스코트)이 배경메모리에 축적되는 것을 나타내고 있다. 즉, 배경메모리에는, 움직이고 있는 플레이어를 제외한 화상이 축적된다. 이 경우, 배경메모리의 영역을 촬상화상의 것보다 넓은 것으로 하고, 예를 들면 비디오카메라의 패닝시, 틸팅시의 움직임에 따라서 배경메모리의 영역을 가변함으로써, 도 20의 예와 같이, 넓은 범위의 배경화상의 취입이 가능하다.
도 21은, 배경메모리를 사용하도록 한 이 발명에 의하여 또 다른 실시예를 나타낸다. 도 1에 나타낸 일실시예와 대응하는 구성요소에 대해서는 동일한 참조부호를 붙이고, 그 설명은 생략한다. 로컬디코드되고, 움직임보상된 화상신호가 가산회로(10)로부터 손떨림보정회로(111)에 입력된다. 손떨림보정회로(111)에서는, 전술한 바와 같은 손떨림보정이 이루어진다. 즉, 보정신호발생회로(13)호부터의 손떨림보정신호에 의하여 로컬디코드된 화상데이터의 위치가 보정된다. 손떨림보정회로(111)로부터 출력되는 화상신호가 비교기(113)를 통하여 배경메모리(112)에 입력된다. 로컬디코드된 화상데이터는, 블록구조의 데이터로 된다.
한편, 로컬디코드된 화상데이터에 대응하는 위치의 화상데이터블록이 배경메모리(112)로부터 독출된다. 비교기(113)에서는, 로컬디코드된 화상데이터의 블록과, 배경메모리(112)로부터의 대응위치의 화상데이터와의 사이에서, 화소마다 차분치가 계산되고, 이 차분치의 절대치가 1 블록에서 누산된다. 각 블록의 차분의 누산치가 비교기(113)에 있어서 소정의 스레시홀드치와 비교된다. 비교기(113)의 비교출력이 갱신제어회로(114)에 입력된다.
갱신제어회로(114)는, 차분의 누산치가 스레시홀드치보다 작은 경우에는, 배경화상이라고 판단한다. 배경화상이라고 결정된 경우에는, 그 블록과 대응하는 위치의 블록의 배경메모리(112)의 데이터가 로컬디코드화상데이터에 의하여 갱신된다. 갱신시에는, 한번에 데이터의 갱신을 행하는 것보다, 서서히 배경메모리(112)를 갱신하는 것이 바람직하다. 만일, 차분의 누산치가 스레시홀드치 이상의 경우에는, 그 블록의 데이터는, 배경화상 이외의 화상정보가 포함되어 있는 것이라고 결정되어, 배경메모리(112)의 갱신을 위하여 사용되지 않는다. 또한, 배경메모리(112)로서, 도 20의 예와 같이, 프레임메모리보다 큰 메모리를 사용할 때에는, 전 프레임까지의 데이터에서는 넣어 있지 않은 새로운 배경데이터를 순차 축적한다.
이와 같이 하여 축적된 배경메모리(112)에 축적되어 있는 데이터와, 통상의 프레임메모리의 데이터를 선택적으로 이용하여 움직임보상을 행함으로써, 결락한 화상을 보상하는 것이 가능하다. 배경메모리(112)의 화상데이터가 도 22에 나타낸 구성의 움직임벡터검출회로(6' )에 공급된다.
전술한 도 7에 나타낸 움직임벡터검출회로(6)를 구비한 구성에 대하여, 차분검출회로(57' ), 절대치화회로(58' ), 누산회로(59' )가 배설되고, 누산회로(59' )의 출력이 누산회로(59)의 출력과 함께, 판단회로(60' )에 공급된다. 판단회로(60' )는, 움직임벡터 및 메모리플래그를 출력단자(61) 및 (61' )에 각각 출력한다.
차분검출회로(57' )는, 배경메모리(112)의 출력데이터와 현프레임메모리(53)의 출력데이터와의 사이에서, 동일한 위치의 화소데이터의 차분을 검출한다. 차분치가 절대치화회로(58' )에 의하여 절대치로 변환되고, 누산회로(59' )에 의하여 누산된다. 판단회로(60' )는, 누산회로(59)로부터의 누산출력 (현프레임과 전프레임과의 사이의 차분의 누산치)과, 누산회로(59' )로부터의 전술한 누산출력을 수취한다. 그리고, 판단회로(60' )는, 한쪽의 누산출력에 의거하여 보다 적절한 움직임벡터를 출력단자(61)에 출력한다. 또, 2개의 누산출력의 선택된 것을 나타내는 메모리플래그를 판단회로(60' )가 출력단자(61' )에 출력한다.
도 21에 나타낸 바와 같이, 움직임벡터가 움직임벡터수정회로(15)를 통하여 움직임보상회로(7)에 공급되고, 또 메모리플래그가 움직임보상회로(7)에 공급된다. 이들의 움직임벡터 및 메모리플래그는, 부호화데이터와 함께, 전송 또는 기록된다. 메모리플래그에 의하여 프레임메모리(11)에 축적되어 있는 화상데이터와, 배경메모리(112)에 축적되어 있는 배경화상데이터의 한쪽이 선택되고, 선택된 화상데이터에 대하여 움직임보상의 처리가 이루어진다.
그리고, 전술한 또 다른 실시예에 관하여, 엔코더측에 대하여 설명하였으나, 디코더측에도 배경메모리가 배설되어 있고, 메모리플래그에 따라서 프레임메모리의 화상과 배경메모리의 화상이 디코더측과 동일하게 선택된다.
이 발명은, 움직임보상을 위하여 생성된 움직임벡터로부터 손떨림 움직임벡티를 검출하므로, 하드웨어의 규모를 작게 할 수 있다.
도 1은 이 발명의 일실시예의 블록도.
도 2는 이 발명의 일실시예에 있어서의 기록계 및 재생계의 구성을 나타낸 블록도.
도 3은 이 발명의 일실시예에 있어서의 ADRC엔코디의 블록도.
도 4는 ADRC디코더의 블록도.
도 5는 ADRC부호화(符號化)처리를 나타낸 약선도.
도 6은 움직임벡터검출을 개략적으로 설명하는 약선도.
도 7은 움직임벡터검출회로의 일예의 블록도.
도 8은 손떨림 움직임벡터검출을 개략적으로 설명하는 약선도.
도 9는 손떨림보정회로 및 손떨림검출회로의 일예의 블록도.
도 10은 손떨림 움직임벡터의 검출처리의 설명에 사용하는 약선도.
도 11은 손떨림 움직임벡터의 검출처리의 설명에 사용하는 약선도.
도 12는 손떨림 움직임벡터의 검출처리의 설명에 사용하는 플로차트.
도 13은 화면을 매크로블록으로 분할하는 처리의 일예를 나타낸 약선도.
도 14는 이 발명의 일실시예에 있어서의 통합벡터의 형성동작을 나타낸 플로차트.
도 15는 이 발명의 일실시예에 있어서의 손떨림보정동작을 나타낸 약선도.
도 16은 이 발명의 일실시예에 있어서의 움직임벡터의 수정동작을 나타낸 약선도.
도 17은 이 발명의 다른 실시예의 블록도.
도 18은 이 발명의 또 다른 실시예의 기록계의 블록도.
도 19는 이 발명의 또 다른 실시예의 재생계의 블록도.
도 20은 이 발명의 또 다른 실시예에 있어서 사용하는 배경메모리의 개략적 설명에 사용하는 약선도.
도 21은 이 발명의 또 다른 실시예의 블록도.
도 22는 이 발명의 또 다른 실시예에 있어서의 움직임벡터검출회로의 일예의 구성을 나타낸 블록도.
도 23은 종래의 손떨림보정처리를 설명하기 위한 약선도.
도 24는 종래의 손떨림보정처리를 설명하기 위한 약선도.
<도면의 주요부분에 대한 부호의 설명>
5 : 감산기, 6 : 움직임벡터검출희로, 7 : 움직임보상회로, 12 : 손떨림검출회로, 13 : 보정신호발생회로, 15 : 움직임벡터수정회로.

Claims (18)

1 화면의 화상데이터를 복수의 블록으로 분할하고,
각각의 블록에 대하여 1 내지 수 프레임 전의 화상데이터로부터, 가장 합치하는 블록의 위치에 대응하는 움직임벡터를 검출하고,
상기 움직임벡터를 사용하여 화상데이터를 압축하는 기능을 가지는 화상신호처리장치로서,
각 블록의 움직임벡터를 검출하는 수단과,
상기 각 블록의 움직임벡터로부터 손떨림 움직임벡터를 검출하는 수단과,
입력되는 화상신호를 손떨림벡터에 의거하여 보정하는 수단과,
상기 각 블록의 움직임벡터를 손떨림 움직임벡터에 의하여 수정한 움직임벡터를 구하는 수단과,
상기 수정된 움직임벡터에 의하여 움직임보상을 행하는 수단과,
상기 손떨림보정된 화상데이터와 상기 움직임보상이 행해진 화상데이터에 의하여 압축처리를 행하는 수단을 가지는 것을 특징으로 하는 화상신호처리장치.
청구항 1에 있어서, 상기 손떨림벡터검출수단이,
각 블록의 화상데이터의 액티비티를 평가하는 수단과,
공간적으로 불연속의 위치에 있어서의 동일한 움직임벡터를 검출하는 수단을 가지는 것을 특징으로 하는 화상신호처리장치.
청구항 1에 있어서, 상기 손떨림벡터검출수단이,
각 블록의 화상데이터의 액티비티를 평가하는 수단과,
움직임벡터 0의 블록을 검출하는 수단으로 이루어지는
정지(靜止)블록판단수단을 가지고,
정지벡터가 검출된 경우는 손떨림보정을 행하지 않는 것을 특징으로 하는 화상신호처리장치.
청구항 1에 있어서, 상기 손떨림보정수단이,
손떨림보정을 할 대상의 화상데이터가 입력되는 제1의 화상정보기억수단과,
프레임화상데이터의 주변의 화상데이터를 축적한 제2의 화상정보기억수단과,
상기 손떨림 움직임벡터에 따라서 상기 2개의 화상정보기억수단으로부터 출력된 화상데이터의 한쪽을 선택하는 선택수단을 가지는 것을 특징으로 하는 화상신호처리장치.
청구항 1에 있어서, 상기 움직임벡터검출수단이,
현화상데이터가 입력되는 입력화상정보기억수단과,
1 내지 수 프레임 전의 화상데이터가 기억되어 있는 제1의 비교용 화상정보기억수단과,
복수 프레임에 걸치는 배경화상데이터를 축적한 제2의 비교용 화상정보기억수단과,
상기 현화상데이터와 상기 전화상데이터에 의하여 움직임벡터를 검출하는 제1의 수단과,
상기 현화상데이터와 상기 배경화상데이터에 의하여 움직임벡터를 검출하는 제2의 수단과,
상기 검출된 2개의 움직임벡터중 오차데이터가 적은 쪽의 움직임벡터를 선택하여, 상기 움직임벡터와, 상기 선택된 움직임벡터에 대응하는 비교용 화상정보기억수단을 나타내는 메모리지시플래그를 출력하는 수단을 가지는 것을 특징으로 하는 화상신호처리장치.
청구항 5에 있어서, 상기 손떨림보정수단이,
손떨림보정을 할 입력화상데이터와,
상기 제2의 비교용 화상기억수단으로부터 얻어지는 상기 배경화상데이터와를,
상기 손떨림 움직임벡터에 따라서 선택하여 출력하는 것을 특징으로 하는 화상신호처리장치.
1 화면의 화상데이터를 복수의 블록으로 분할하고,
각각의 블록에 대하여 1 내지 수 프레임 전의 블록의 화상데이터와의 화소마다의 차분(差分)에 의거한 평가치표를 형성하고,
상기 평가치표의 최소치의 좌표를 검출하고,
이 좌표에 의거하여 움직임벡터를 검출하고,
상기 움직임벡터를 사용하여 화상데이터를 압축하는 기능을 가지는 화상신호처리장치로서,
상기 평가치표와 상기 움직임벡터에 의거하여 손떨림 움직임벡터를 검출하는 수단과,
입력되는 화상신호를 상기 손떨림벡터에 의거하여 보정하는 수단과,
상기 움직임벡터를 상기 손떨림 움직임벡터를 사용하여 수정하는 수단과,
상기 수정된 움직임벡터에 의하여 움직임보상을 행하는 수단과,
상기 손떨림보정된 화상데이터와 움직임보상이 행해진 화상데이터에 의하여 압축처리를 행하는 수단을 가지는 것을 특징으로 하는 화상신호처리장치.
1 화면의 화상데이터를 복수의 블록으로 분할하고,
각각의 블록에 대하여 1 내지 수 프레임 전의 화상데이터로부터, 가장 합치하는 블록의 위치에 대응하는 움직임벡터를 검출하고,
상기 움직임벡터를 사용하여 화상데이터를 압축하는 기능을 가지는 화상신호기록장치로서,
각 블록의 움직임벡터를 검출하는 수단과,
상기 각 블록의 움직임벡터로부터 손떨림 움직임벡터를 검출하는 수단과,
상기 움직임벡터에 의하여 움직임보상을 행하는 수단과,
입력화상데이터와 움직임보상된 화상데이터에 의하여 압축처리를 행하는 수단을 가지고,
상기 압축된 화상신호와 함께 상기 손떨림 움직임벡터를 기록하는 것을 특징으로 하는 화상신호기록장치.
청구항 8에 있어서, 상기 움직임벡터검출수단이,
현화상데이터가 입력되는 입력화상정보기억수단과,
1 내지 수 프레임 전의 화상데이터가 기억되어 있는 제1의 비교용 화상정보기억수단과,
복수 프레임에 걸치는 배경화상데이터를 축적한 제2의 비교용 화상정보기억수단과,
상기 현화상데이터와 상기 전화상데이터에 의하여 움직임벡터를 검출하는 제1의 수단과,
상기 현화상데이터와 상기 배경화상데이터에 의하여 움직임벡터를 검출하는 제2의 수단과,
상기 검출된 2개의 움직임벡터중 오차데이터가 적은 쪽의 움직임벡터를 선택하여, 선택된 움직임벡터에 대응하는 비교용 화상정보기억수단을 나타내는 메모리지시플래그와 함께 출력하는 수단을 가지는 것을 특징으로 하는 화상신호기록장치.
1 화면의 화상데이터를 복수의 블록으로 분할하고,
각각의 블록에 대하여 1 내지 수 프레임 전의 블록의 화상데이터와의 화소마다의 차분에 의거한 평가치표를 형성하고,
상기 평가치표의 최소치의 좌표를 검출하고,
이 좌표에 의거하여 움직임벡터를 검출하고,
상기 움직임벡터를 사용하여 화상데이터를 압축하는 기능을 가지는 화상신호기록장치로서,
상기 평가치표와 상기 움직임벡터로부터 손떨림 움직임벡터를 검출하는 수단과,
상기 움직임벡터에 의하여 움직임보상을 행하는 수단과,
상기 입력화상데이터와 움직임보상된 화상데이터에 의하여 압축처리를 행하는 수단을 가지고,
상기 압축된 화상신호와 함께 상기 손떨림 움직임벡터를 기록하는 것을 특징으로 하는 화상신호기록장치.
1 화면의 화상데이터를 복수의 블록으로 분할하고,
각각의 블록에 대하여 1 내지 수 프레임 전의 화상데이터로부터, 가장 합치하는 블록의 위치에 대응하는 움직임벡터를 검출하고,
상기 움직임벡터를 사용하여 화상데이터를 압축하고,
상기 움직임벡터로부터 손떨림 움직임벡터를 검출하고,
상기 움직임벡터에 의하여 움직임보상을 행하고,
입력화상데이터와 움직임보상된 화상데이터에 의하여 압축처리를 행하고,
상기 압축된 화상신호, 상기 움직임벡터와 함께 상기 손떨림 움직임벡터를 기록한 기록매체를 재생하는 화상신호재생장치로서,
재생신호를 상기 압축된 화상신호, 상기 움직임벡터, 상기 손떨림 움직임벡터로 분리하는 수단과,
상기 압축된 화상데이터를 상기 움직임벡터를 사용하여 복호(復號)하는 복호수단과,
상기 복호수단으로부터의 복호화상신호가 공급되어, 상기 손떨림 움직임벡터에 의하여 손떨림보정을 행하는 수단을 가지는 것을 특징으로 하는 화상신호재생장치.
청구항 11에 있어서,
손떨림보정을 할 상기 복호화상데이터가 입력되는 제1의 화상정보기억수단과,
상기 복호화상중 프레임의 주변화상데이터를 축적한 제2의 화상정보기억수단과,
상기 손떨림 움직임벡터에 따라서 상기 2개의 화상정보기억수단으로부터 출력된 화상데이터의 한쪽을 선택하는 선택수단을 가지는 것을 특징으로 하는 화상신호재생장치.
청구항 5 기재의 화상신호처리장치에 의하여 기록된 화상데이터를 재생하는 화상신호재생장치로서,
재생신호를 상기 압축된 화상신호, 상기 움직임벡터, 상기 손떨림 움직임벡터, 상기 화상메모리지시플래그로 분리하는 수단과,
상기 압축된 화상데이터를 상기 움직임벡터를 사용하여 복호하는 복호수단과,
상기 복호수단으로부터의 복호화상신호가 공급되어, 상기 손떨림 움직임벡터에 의하여 손떨림보정을 행하는 수단으로 이루어지고,
상기 복호수단은,
1 내지 수 프레임 전의 화상데이터가 기억되어 있는 제1의 화상정보기억수단과,
복수 프레임에 걸치는 배경화상데이터를 축적한 제2의 화상정보기억수단과,
상기 화상메모리지시플래그에 따라서 화상정보기억수단을 선택하여, 움직임벡터보정을 행하는 수단을 가지는 것을 특징으로 하는 화상신호재생장치.
청구항 13에 있어서, 상기 손떨림보정수단이,
손떨림보정을 할 복호화상데이터와,
상기 제2의 화상정보기억수단으로부터 얻어지는 배경화상데이터와를,
상기 손떨림 움직임벡터에 따라서 선택하여 출력하는 것을 특징으로 하는 화상신호재생장치.
청구항 10 기재의 화상신호기록장치에 의하여 기록된 화상데이터를 재생하는 화상신호재생장치로서,
재생신호를 상기 압축된 화상데이터, 상기 손떨림 움직임벡터로 분리하는 수단과,
상기 압축된 화상데이터를 복호하는 복호수단과,
상기 복호수단으로부터의 복호화상신호가 공급되어, 상기 손떨림 움직임벡터에 의하여 손떨림보정을 행하는 수단을 가지는 것을 특징으로 하는 화상신호재생장치.
1 화면의 화상데이터를 복수의 블록으로 분할하고,
각각의 블록에 대하여 1 내지 수 프레임 전의 화상데이터로부터, 가장 합치하는 블록의 위치에 대응하는 움직임벡터를 검출하고,
상기 움직임벡터를 사용하여 화상데이터를 압축하는 기능을 가지는 화상신호기록방법으로서,
각 블록의 움직임벡터를 검출하는 스텝과,
상기 각 블록의 움직임벡터로부터 손떨림 움직임벡터를 검출하는 스텝과,
입력되는 화상신호를 손떨림벡터에 의거하여 보정하는 스텝과,
상기 각 블록의 움직임벡터를 손떨림 움직임벡터에 의하여 수정한 움직임벡터를 구하는 스텝과,
상기 수정된 움직임벡터에 의하여 움직임보상을 행하는 스텝과,
상기 손떨림보정된 화상데이터와 상기 움직임보상이 행해진 화상데이터에 의하여 압축처리를 행하는 스텝을 가지는 것을 특징으로 하는 화상신호기록방법.
1 화면의 화상데이터를 복수의 블록으로 분할하고,
각각의 블록에 대하여 1 내지 수 프레임 전의 화상데이터로부터, 가장 합치하는 블록의 위치에 대응하는 움직임벡터를 검출하고,
상기 움직임벡터를 사용하여 화상데이터를 압축하는 기능을 가지는 화상신호기록방법으로서,
각 블록의 움직임벡터를 검출하는 스텝과,
상기 각 블록의 움직임벡터로부터 손떨림 움직임벡터를 검출하는 스텝과,
상기 움직임벡터에 의하여 움직임보상을 행하는 스텝과,
입력화상데이터와 움직임보상된 화상데이터에 의하여 압축처리를 행하는 스텝을 가지고,
상기 압축된 화상신호와 함께 상기 손떨림 움직임벡터를 기록하는 것을 특징으로 하는 화상신호기록방법.
1 화면의 화상데이터를 복수의 블록으로 분할하고,
각각의 블록에 대하여 1 내지 수 프레임 전의 화상데이터로부터, 가장 합치하는 블록의 위치에 대응하는 움직임벡터를 검출하고,
상기 움직임벡터를 사용하여 화상데이터를 압축하고,
상기 움직임벡터로부터 손떨림 움직임벡터를 검출하고,
상기 움직임벡터에 의하여 움직임보상을 행하고,
입력화상데이터와 움직임보상된 화상데이터에 의하여 압축처리를 행하고,
상기 압축된 화상신호와 함께 상기 손떨림 움직임벡터를 기록한 기록매체를 재생하는 화상신호재생방법으로서,
재생신호로부터 상기 압축된 화상신호, 상기 손떨림벡터를 분리하는 스텝과,
상기 압축된 화상데이터를 복호하는 복호스텝과,
상기 복호수단으로부터의 복호화상신호가 공급되어, 상기 손떨림 움직임벡터에 의하여 손떨림보정을 행하는 스텝을 가지는 것을 특징으로 하는 화상신호재생방법.
KR1019960036465A 1995-08-30 1996-08-29 화상신호처리장치및기록/재생장치 KR100467375B1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP95-222749 1995-08-09
JP95-222748 1995-08-09
JP95-222750 1995-08-09
JP95-226068 1995-08-11
KR26592 1995-08-25
KR26956 1995-08-28
JP24543095 1995-08-30
JP95-245430 1995-08-30

Publications (2)

Publication Number Publication Date
KR970012605A KR970012605A (ko) 1997-03-29
KR100467375B1 true KR100467375B1 (ko) 2005-06-08

Family

ID=17133549

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960036465A KR100467375B1 (ko) 1995-08-30 1996-08-29 화상신호처리장치및기록/재생장치

Country Status (3)

Country Link
US (2) US5835138A (ko)
EP (2) EP0762774A3 (ko)
KR (1) KR100467375B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101027353B1 (ko) 2006-04-06 2011-04-11 퀄컴 인코포레이티드 전자 비디오 이미지 안정화
KR101357425B1 (ko) 2006-12-22 2014-02-11 고쿠리쓰다이가쿠호진 덴키쓰신다이가쿠 흔들림 측정 시스템 및 흔들림 측정 방법
KR20160002695U (ko) 2015-01-23 2016-08-03 이태하 배관용 벽체 마감캡

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322057A (ja) * 1996-05-28 1997-12-12 Canon Inc 撮像装置
US6573930B2 (en) * 1996-11-15 2003-06-03 Canon Kabushiki Kaisha Image pickup apparatus for storing, reading-out and processing a signal during predetermined time periods
US6348946B1 (en) * 1997-08-14 2002-02-19 Lockheed Martin Corporation Video conferencing with video accumulator array VAM memory
WO1999012355A1 (de) * 1997-08-29 1999-03-11 Siemens Aktiengesellschaft Verfahren zum komprimieren von bildinformationen
US6963361B1 (en) * 1998-02-24 2005-11-08 Canon Kabushiki Kaisha Image sensing method and apparatus capable of performing vibration correction when sensing a moving image
JPH11275587A (ja) * 1998-03-20 1999-10-08 Pioneer Electron Corp 動きベクトル生成装置、画像符号化装置、動きベクトル生成方法及び画像符号化方法
JPH11284588A (ja) * 1998-03-27 1999-10-15 Yamaha Corp 通信装置、通信方法及びプログラムを記録した媒体
US6317114B1 (en) * 1999-01-29 2001-11-13 International Business Machines Corporation Method and apparatus for image stabilization in display device
DE19909627A1 (de) * 1999-03-05 2000-09-07 Bosch Gmbh Robert Verfahren und Vorrichtung zur Bestimmung einer Verschiebung von Bildern einer Bildsequenz
DE19909622A1 (de) * 1999-03-05 2000-09-07 Bosch Gmbh Robert Verfahren und Vorrichtung zur Bestimmung einer Verschiebung von Bildern einer Bildsequenz
CN1185873C (zh) * 1999-03-12 2005-01-19 索尼公司 图像提供装置和***及其提供方法
DE50004426D1 (de) * 1999-05-07 2003-12-18 Siemens Ag Verfahren und anordnungen zur rechnergestützten bewegungskompensation eines digitalisierten bildes sowie computerprogramm-erzeugnisse und computerlesbare speichermedien
US6628711B1 (en) * 1999-07-02 2003-09-30 Motorola, Inc. Method and apparatus for compensating for jitter in a digital video image
JP4157234B2 (ja) * 1999-09-02 2008-10-01 株式会社東芝 動画像内の移動物体検出装置
DE50014846D1 (de) * 2000-02-22 2008-01-24 Siemens Ag Verfahren zum Betrieb einer Bildaufnahmeeinrichtung und Anordnung zur Durchführung des Verfahrens
JP2001285863A (ja) * 2000-03-30 2001-10-12 Sony Corp 画像情報変換装置及び方法
JP3603737B2 (ja) * 2000-03-30 2004-12-22 日本電気株式会社 移動体追尾方法及びその装置
JP3679988B2 (ja) * 2000-09-28 2005-08-03 株式会社東芝 画像処理装置及び画像処理方法
JP3849461B2 (ja) * 2001-06-07 2006-11-22 ソニー株式会社 撮像装置及び撮像方法
US7202981B2 (en) * 2001-11-01 2007-04-10 Kuo-Jeng Wang Method and system for increasing scanning speed
US7061524B2 (en) * 2001-11-13 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
US7420715B2 (en) * 2001-12-11 2008-09-02 Transpacific Ip, Ltd. Method and system for promoting scanning speed
EP1377040A1 (en) * 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Method of stabilizing an image sequence
EP1376471A1 (en) 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Motion estimation for stabilization of an image sequence
US7460257B2 (en) * 2002-11-04 2008-12-02 Chen-Ho Lee Technique for transferring image information from a scanning apparatus
US20040100563A1 (en) * 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
JP3925415B2 (ja) 2003-01-22 2007-06-06 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP3867680B2 (ja) * 2003-04-01 2007-01-10 ソニー株式会社 撮像装置および手振れ補正方法
US8824553B2 (en) 2003-05-12 2014-09-02 Google Inc. Video compression method
US7702236B2 (en) 2006-02-14 2010-04-20 Fotonation Vision Limited Digital image acquisition device with built in dust and sensor mapping capability
US7295233B2 (en) * 2003-09-30 2007-11-13 Fotonation Vision Limited Detection and removal of blemishes in digital images utilizing original images of defocused scenes
US7424170B2 (en) * 2003-09-30 2008-09-09 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images based on determining probabilities based on image analysis of single images
US7310450B2 (en) 2003-09-30 2007-12-18 Fotonation Vision Limited Method of detecting and correcting dust in digital images based on aura and shadow region analysis
US7340109B2 (en) * 2003-09-30 2008-03-04 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images dependent upon changes in extracted parameter values
US8369650B2 (en) 2003-09-30 2013-02-05 DigitalOptics Corporation Europe Limited Image defect map creation using batches of digital images
US7369712B2 (en) * 2003-09-30 2008-05-06 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images based on multiple occurrences of dust in images
US7676110B2 (en) * 2003-09-30 2010-03-09 Fotonation Vision Limited Determination of need to service a camera based on detection of blemishes in digital images
US7206461B2 (en) * 2003-09-30 2007-04-17 Fotonation Vision Limited Digital image acquisition and processing system
US7308156B2 (en) * 2003-09-30 2007-12-11 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images based on a dust map developed from actual image data
JP2005130159A (ja) * 2003-10-23 2005-05-19 Sony Corp 撮像装置および撮像装置の手振れ補正方法
DE602004016774D1 (de) * 2003-12-23 2008-11-06 Nxp Bv Verfahren und system zum stabilisieren von videodaten
US7742077B2 (en) * 2004-02-19 2010-06-22 Robert Bosch Gmbh Image stabilization system and method for a video camera
US7382400B2 (en) * 2004-02-19 2008-06-03 Robert Bosch Gmbh Image stabilization system and method for a video camera
JP2005252626A (ja) * 2004-03-03 2005-09-15 Canon Inc 撮像装置および画像処理方法
US8212872B2 (en) * 2004-06-02 2012-07-03 Robert Bosch Gmbh Transformable privacy mask for video camera images
US9210312B2 (en) * 2004-06-02 2015-12-08 Bosch Security Systems, Inc. Virtual mask for use in autotracking video camera images
US20050270372A1 (en) * 2004-06-02 2005-12-08 Henninger Paul E Iii On-screen display and privacy masking apparatus and method
US7705884B2 (en) * 2004-07-21 2010-04-27 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames
FI20045340A0 (fi) * 2004-09-14 2004-09-14 Nokia Corp Menetelmä, laite ja ohjelmisto video-otoksien laadun parantamiseksi
JP4079375B2 (ja) * 2004-10-28 2008-04-23 シャープ株式会社 手ぶれ補正装置
JP4401949B2 (ja) * 2004-11-26 2010-01-20 キヤノン株式会社 動画撮像装置及び動画撮像方法
US7489341B2 (en) * 2005-01-18 2009-02-10 Primax Electronics Ltd. Method to stabilize digital video motion
KR100723403B1 (ko) * 2005-02-28 2007-05-30 삼성전자주식회사 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치
US8705614B2 (en) * 2005-04-04 2014-04-22 Broadcom Corporation Motion estimation using camera tracking movements
US7605845B2 (en) * 2005-04-28 2009-10-20 Texas Instruments Incorporated Motion stabilization
US20070009034A1 (en) * 2005-07-05 2007-01-11 Jarno Tulkki Apparatuses, computer program product, and method for digital image processing
KR100739777B1 (ko) * 2005-08-11 2007-07-13 삼성전자주식회사 화상 보정 각도 생성 회로 및 이를 이용한 화상 보정 장치
JP4774265B2 (ja) * 2005-09-30 2011-09-14 富士通株式会社 画像符号化装置
JP5003991B2 (ja) * 2005-10-26 2012-08-22 カシオ計算機株式会社 動きベクトル検出装置及びそのプログラム
JP5044922B2 (ja) * 2005-11-08 2012-10-10 カシオ計算機株式会社 撮像装置及びプログラム
US7907217B2 (en) * 2006-10-31 2011-03-15 Siemens Medical Solutions Usa, Inc. Systems and methods of subtraction angiography utilizing motion prediction
US8130845B2 (en) * 2006-11-02 2012-03-06 Seiko Epson Corporation Method and apparatus for estimating and compensating for jitter in digital video
TW200922290A (en) * 2007-11-02 2009-05-16 Altek Corp Image capturing apparatus and method for providing image blur information
US8938005B2 (en) * 2007-11-05 2015-01-20 Canon Kabushiki Kaisha Image encoding apparatus, method of controlling the same, and computer program
JP4958756B2 (ja) * 2007-12-13 2012-06-20 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP4697276B2 (ja) * 2008-07-30 2011-06-08 ソニー株式会社 動きベクトル検出装置、動きベクトル検出方法及びプログラム
TWI392331B (zh) * 2008-09-30 2013-04-01 Htc Corp 影片顯示方法、其行動電子裝置、儲存媒體，及使用此方法之電腦程式產品
JP5500812B2 (ja) * 2008-10-20 2014-05-21 株式会社ソニー・コンピュータエンタテインメント 撮像画像記憶制御装置、撮像画像記憶制御方法、撮像画像記憶制御プログラム及び撮像画像記憶制御プログラムを記憶した記憶媒体
TWI390970B (zh) * 2009-07-22 2013-03-21 Altek Corp Use motion detection to adjust the digital camera's shooting settings
CN101729665B (zh) * 2009-12-11 2013-10-02 惠州Tcl移动通信有限公司 一种具有防抖功能的拍照手机及其在拍照中的防抖方法
US8970770B2 (en) 2010-09-28 2015-03-03 Fotonation Limited Continuous autofocus based on face detection and tracking
US8659697B2 (en) 2010-11-11 2014-02-25 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8648959B2 (en) 2010-11-11 2014-02-11 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8508652B2 (en) * 2011-02-03 2013-08-13 DigitalOptics Corporation Europe Limited Autofocus method
US20120281126A1 (en) * 2011-04-11 2012-11-08 Fossum Eric R Digital integration sensor
GB2492529B (en) 2011-05-31 2018-01-10 Skype Video stabilisation
GB201116566D0 (en) 2011-09-26 2011-11-09 Skype Ltd Video stabilisation
GB2497507B (en) * 2011-10-14 2014-10-22 Skype Received video stabilisation
JP6045254B2 (ja) * 2012-08-20 2016-12-14 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
CA3001480C (en) 2015-10-16 2019-06-18 Tribune Broadcasting Company, Llc Video-production system with dve feature
US10148964B2 (en) * 2016-11-03 2018-12-04 Ujet, Inc. Image quality management

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR910016202A (ko) * 1989-02-27 1991-09-30 시기 모리야 디지탈 신호처리 장치
KR910017850A (ko) * 1990-03-30 1991-11-05 이우에 사또시 손 흔들림 보정 기능을 갖고 있는 촬상 장치
KR910021128A (ko) * 1990-05-21 1991-12-20 다니오 아끼오 움직임벡터 검출장치 및 화상흔들림보정장치
JPH0522647A (ja) * 1991-07-15 1993-01-29 Sony Corp 画像処理装置
JPH0530407A (ja) * 1991-07-18 1993-02-05 Mitsubishi Electric Corp 被写体追尾装置
KR930023761A (ko) * 1992-05-25 1993-12-21 이헌조 캠코더의 손 떨림 보정 장치
KR940001733A (ko) * 1992-06-10 1994-01-11 강진구 화상데이타압축에서의 움직임추정방법 및 그 장치
KR940010705A (ko) * 1992-10-08 1994-05-26 이헌조 캠코더의 손떨림 보정방법 및 보정장치
KR940025333A (ko) * 1993-04-09 1994-11-19 배순훈 움직임 벡터 검출장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0797754B2 (ja) 1985-11-25 1995-10-18 ソニー株式会社 符号化伝送装置
DE68922610T2 (de) * 1989-09-25 1996-02-22 Rai Radiotelevisione Italiana Umfassendes System zur Codierung und Übertragung von Videosignalen mit Bewegungsvektoren.
EP0454481B1 (en) * 1990-04-27 1996-08-28 Canon Kabushiki Kaisha Movement vector detection device
JP2860702B2 (ja) * 1990-10-16 1999-02-24 シャープ株式会社 動きベクトル検出装置
JP2803072B2 (ja) * 1990-10-18 1998-09-24 富士写真フイルム株式会社 手振れ補正装置
JP3103894B2 (ja) * 1991-02-06 2000-10-30 ソニー株式会社 ビデオデータの手振れ補正装置およびその方法
US5259040A (en) * 1991-10-04 1993-11-02 David Sarnoff Research Center, Inc. Method for determining sensor motion and scene structure and image processing system therefor
US5453800A (en) * 1991-10-17 1995-09-26 Sony Corporation Apparatus for judging a hand movement of an image
JPH066667A (ja) * 1992-06-22 1994-01-14 Canon Inc ぶれ検出装置及びぶれ補正装置
JP3505199B2 (ja) * 1992-06-30 2004-03-08 株式会社リコー ビデオカメラジッタ補正装置、データ圧縮装置、データ伸長装置、データ圧縮方法及びデータ伸長方法
EP0672327A4 (en) * 1992-09-08 1997-10-29 Paul Howard Mayeaux VISION CAMERA AND VIDEO PRETREATMENT SYSTEM.
US5748231A (en) * 1992-10-13 1998-05-05 Samsung Electronics Co., Ltd. Adaptive motion vector decision method and device for digital image stabilizer system
JP3488271B2 (ja) * 1993-09-27 2004-01-19 三菱化学株式会社 吸音材
US5614945A (en) * 1993-10-19 1997-03-25 Canon Kabushiki Kaisha Image processing system modifying image shake correction based on superimposed images
US5473379A (en) * 1993-11-04 1995-12-05 At&T Corp. Method and apparatus for improving motion compensation in digital video coding
KR100292475B1 (ko) * 1993-12-08 2001-06-01 구자홍 디지탈 영상 흔들림 보상 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR910016202A (ko) * 1989-02-27 1991-09-30 시기 모리야 디지탈 신호처리 장치
KR910017850A (ko) * 1990-03-30 1991-11-05 이우에 사또시 손 흔들림 보정 기능을 갖고 있는 촬상 장치
KR910021128A (ko) * 1990-05-21 1991-12-20 다니오 아끼오 움직임벡터 검출장치 및 화상흔들림보정장치
JPH0522647A (ja) * 1991-07-15 1993-01-29 Sony Corp 画像処理装置
JPH0530407A (ja) * 1991-07-18 1993-02-05 Mitsubishi Electric Corp 被写体追尾装置
KR930023761A (ko) * 1992-05-25 1993-12-21 이헌조 캠코더의 손 떨림 보정 장치
KR940001733A (ko) * 1992-06-10 1994-01-11 강진구 화상데이타압축에서의 움직임추정방법 및 그 장치
KR940010705A (ko) * 1992-10-08 1994-05-26 이헌조 캠코더의 손떨림 보정방법 및 보정장치
KR940025333A (ko) * 1993-04-09 1994-11-19 배순훈 움직임 벡터 검출장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101027353B1 (ko) 2006-04-06 2011-04-11 퀄컴 인코포레이티드 전자 비디오 이미지 안정화
KR101357425B1 (ko) 2006-12-22 2014-02-11 고쿠리쓰다이가쿠호진 덴키쓰신다이가쿠 흔들림 측정 시스템 및 흔들림 측정 방법
KR20160002695U (ko) 2015-01-23 2016-08-03 이태하 배관용 벽체 마감캡

Also Published As

Publication number Publication date
US5926212A (en) 1999-07-20
EP2028842A3 (en) 2011-12-07
US5835138A (en) 1998-11-10
EP2028842A2 (en) 2009-02-25
KR970012605A (ko) 1997-03-29
EP0762774A2 (en) 1997-03-12
EP0762774A3 (en) 1999-03-17

Similar Documents

Publication Publication Date Title
KR100467375B1 (ko) 화상신호처리장치및기록/재생장치
KR101437196B1 (ko) 화상 재생 장치와 화상 재생 방법 및 촬상 장치와 그 제어 방법
US7613382B2 (en) Image processing apparatus
USRE35158E (en) Apparatus for adaptive inter-frame predictive encoding of video signal
US20090059031A1 (en) Image-Capturing Apparatus and Method, Recording Apparatus and Method, and Reproducing Apparatus and Method
EP1703739B1 (en) Image processing apparatus and method, computer program, and storage medium for selecting pixel block shapes based on camera shooting information
US6343097B2 (en) Noise reducer, noise reducing thereof, picture signal processing apparatus, and motion detecting method
US5926224A (en) Imaging, system, video processing apparatus, encoding apparatus, encoding method, and method of removing random noise
KR20040069208A (ko) 비디오 선명도 강화의 시간적인 일관성 개선
JP3951321B2 (ja) 画像信号処理装置および記録／再生装置
FI109395B (fi) Menetelmä ja järjestelmä videokuvan stabilisoimiseksi
JP2008113112A (ja) 撮像装置
JPH1051787A (ja) 動きベクトル検出装置
JP3362463B2 (ja) フレーム補間装置
JP4533089B2 (ja) 動画データ生成装置
JPH0888854A (ja) 動画像符号化方式
JP2883592B2 (ja) 動画像復号化装置及び動画像復号化方法
JPH1032824A (ja) 動画像の輝度変化検出方法、動画像の輝度変化補償方法、動画像の位置検出方法および動画像符号化・復号装置
JP2007228626A (ja) 画像信号処理装置及び方法
JP3060501B2 (ja) 映像信号伝送装置
JP2006166255A (ja) 画像符号化装置、撮像装置、画像記録方法、画像記録装置、画像記録媒体及び画像再生装置
JPH0865565A (ja) 撮像記録装置
JP2000041222A (ja) 映像再生装置とその方法および映像表示装置
JPH1042296A (ja) 動画像符号化装置及び動画像符号化方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130110

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140103

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee