JPH09130748A - 画像信号処理装置および記録/再生装置 - Google Patents

画像信号処理装置および記録/再生装置

Info

Publication number
JPH09130748A
JPH09130748A JP17411696A JP17411696A JPH09130748A JP H09130748 A JPH09130748 A JP H09130748A JP 17411696 A JP17411696 A JP 17411696A JP 17411696 A JP17411696 A JP 17411696A JP H09130748 A JPH09130748 A JP H09130748A
Authority
JP
Japan
Prior art keywords
motion vector
image data
camera shake
block
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP17411696A
Other languages
English (en)
Other versions
JP3951321B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP17411696A priority Critical patent/JP3951321B2/ja
Publication of JPH09130748A publication Critical patent/JPH09130748A/ja
Priority to US09/113,329 priority patent/US5926212A/en
Application granted granted Critical
Publication of JP3951321B2 publication Critical patent/JP3951321B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 手振れ動きベクトルの検出を簡単なハードウ
エアにより可能とする。 【解決手段】 減算器5からは、動き補償フレーム間差
分が発生し、エンコーダ8により符号化され、さらに、
可変長符号化等の処理を受けて記録媒体に記録される。
動きベクトル検出回路6からフレーム間差分Pijと動き
ベクトルVhvとが手振れ検出回路12に供給される。検
出回路12は、フレーム間差分を積算して評価値ΣPhv
を形成し、TH1およびTH2に対して、1画面の全ブ
ロックが(Vhv<TH1で、ΣPhv>TH2)を満たす
場合に、手振れと検出する。ブロック毎の動きベクトル
をマクロブロック化し、マクロブロック毎の動きベクト
ルに変換する。このマクロブロック毎の動きベクトルか
ら画面全体の手振れ動きベクトルが形成される。検出さ
れた手振れ動きベクトルから補正信号を回路13が形成
し、この補正信号により手振れ補正回路4が手振れ補正
処理を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、ハンディタイプ
のビデオカメラの撮影出力等の画像データを圧縮する画
像信号処理装置、圧縮画像データを記録媒体に記録する
画像信号記録装置、並びに記録媒体から圧縮画像データ
を再生する画像信号再生装置に関し、特に、ビデオカメ
ラの手振れを補正するようにしたものである。
【0002】
【従来の技術】ハンディタイプのビデオカメラを使用し
て撮影を行う時に、手振れで再生画面が揺れる問題があ
る。この問題を解決するのに、動きベクトルを検出し、
この動きベクトルに基づいて、画像メモリに貯えられて
いる画像データを補正することが考えられる。動きベク
トルの検出は、例えばブロックマッチングでなされる。
すなわち、画面を多数の領域(ブロックと称する)に分
割し、各ブロックの中心に位置する前フレームの代表点
と現フレームのブロック内の画素データとのフレーム差
の絶対値を演算し、このフレーム差の絶対値を1画面に
関して積算し、積算フレーム差データの最小値の位置か
ら画面全体の動きベクトルを検出している。この検出さ
れた動きベクトルを補正信号に変換し、この補正信号に
より原画像を移動する補正を行っている。
【0003】例えば図23Aにおいて、破線で示す画枠
Laが撮像された画像であり、手振れ補正によって破線
で示す画枠Lbにその位置が補正される。この補正後の
画枠Lb内の画像において、斜線を付した領域は、撮影
画像がないために、画像の欠落が生じる。この問題を解
決する一つの方法は、画枠を図23Bにおいて、Lcで
示すように、ある程度拡大するものである。これによっ
て、画像の欠落を防止することができる。
【0004】しかしながら、画像の拡大は、画像メモリ
の読出し速度をその書込み速度に比して遅くし、不足す
る画素データを内挿する処理でなされる。従って、拡大
画像は、元の画像に比して解像度が劣化する。そのた
め、手振れ補正後の画質が良好でない問題があった。
【0005】次に、従来の手振れ補正の他の問題点につ
いて説明する。これは、画面中の大面積の動きを手振れ
と誤って判定する問題である。1画面を(4×4=1
6)のマクロブロックへ分割し、各マクロブロックで動
きベクトルを検出する方法を採用している時に、例え
ば、図24Aに示すように、人物が画面を右から左へ動
く時に、各ブロックでは、矢印で示す動きベクトルが検
出される。人物(エッジ)が含まれない他のブロックの
動きベクトルは、0として検出される。
【0006】従来では、マクロブロック毎の動きベクト
ルを多数決判定し、多数である動きベクトルを手振れ補
正用の動きベクトルとして採用している。しかしなが
ら、上述の例のように、画面中央にその面積の大きい物
体が存在し、この物体が動く時には、この物体を動きを
手振れとして、誤って判定する可能性がある。かかる誤
った判定を回避する必要がある。
【0007】さらに、マクロブロックの動きベクトルと
して複数の動きベクトルが存在する場合もある。例えば
図24Bに示すように、手振れにより生じた動きと対応
する動きベクトルと、画面中の物体の動きにより生じた
ものとが合成される結果、複数の動きベクトルが検出さ
れる場合がある。図24Bの例のように、大面積の物体
の動きがある時には、従来のように、多数決判定する
と、手振れによる動きベクトルを正確に検出することが
できない問題がある。
【0008】さらに、ビデオカメラ一体型VTRのよう
な画像信号記録装置では、記録される画像信号として、
手振れ補正されたものを記録するのが普通である。しか
しながら、その結果、撮影された画像それ自体を再生で
きなくなり、また、手振れ補正が良好になされない時に
は、再生側でその補正が不可能であるという問題点が生
じる。
【0009】
【発明が解決しようとする課題】上述したように、従来
の動きベクトルを検出し、検出された動きベクトルに基
づいて手振れ補正を行なう方法は、種々の問題点を有し
ている。さらに、上述した問題点の他に、動きベクトル
を検出するためのハードウエアを必要とし、手振れ補正
のためのハードウエアの規模が大きくなる問題がある。
【0010】この発明は、ハードウエアの規模の低減を
図るものである。一般的に、ディジタル画像データを記
録媒体(磁気テープ、光ディスク等)に記録する場合
に、記録データ量を圧縮するための高能率符号化とし
て、動き補償予測符号化が知られている。これは、入力
画像信号と予測画像信号との差分を検出し、差分を符号
化し、さらに可変長符号化する予測符号化において、予
測信号を形成する時に、検出された動きベクトルによる
動き補償を行い、それによって、差分値を小さくするも
のである。ビデオカメラの手振れ補正のために、動きベ
クトルを使用するので、この動きベクトルとして、動き
補償予測符号化のために検出された動きベクトルを使用
することによって、動きベクトルの検出のためのハード
ウエアを共用することが可能となる。
【0011】従って、この発明の目的は、動き補償予測
符号化のために検出された動きベクトルを手振れ補正の
ためにも共用することを可能とした画像信号処理装置お
よび記録/再生装置を提供することにある。
【0012】
【課題を解決するための手段】この発明は、1画面の画
像データを複数のブロックに分割し、各々のブロックに
ついて1乃至数フレーム前の画像データから、最も合致
するブロックの位置に対応する動きベクトルを検出し、
動きベクトルを用いて画像データを圧縮する機能を有す
る画像信号処理装置において、各ブロックの動きベクト
ルを検出する手段と各ブロックの動きベクトルから手振
れ動きベクトルを検出する手段と、入力される画像信号
を手振れベクトルに基づいて補正する手段と、各ブロッ
クの動きベクトルを手振れ動きベクトルにより修正した
動きベクトルを求める手段と、修正された動きベクトル
により動き補償を行なう手段と、手振れ補正された画像
データと動き補償が行われた画像データにより圧縮処理
を行なう手段とからなることを特徴とする画像信号処理
装置である。
【0013】また、この発明は、1画面の画像データを
複数のブロックに分割し、各々のブロックについて1乃
至数フレーム前の画像データから、最も合致するブロッ
クの位置に対応する動きベクトルを検出し、動きベクト
ルを用いて画像データを圧縮する機能を有する画像信号
記録装置において、各ブロックの動きベクトルを検出す
る手段と、各ブロックの動きベクトルから手振れ動きベ
クトルを検出する手段と、動きベクトルにより動き補償
を行なう手段と、入力画像データと動き補償された画像
データにより圧縮処理を行う手段と、圧縮された画像デ
ータと共に、手振れ動きベクトルを記録する手段とから
なることを特徴とする画像信号記録装置である。
【0014】さらに、この発明は、1画面の画像データ
を複数のブロックに分割し、各々のブロックについて1
乃至数フレーム前の画像データから、最も合致するブロ
ックの位置に対応する動きベクトルを検出し、動きベク
トルを用いて画像データを圧縮し、動きベクトルから手
振れ動きベクトルを検出し、動きベクトルにより動き補
償を行ない、入力画像データと動き補償された画像デー
タにより圧縮処理を行い、、圧縮された画像信号ととも
に手振れ動きベクトルを記録した記録媒体を再生する画
像信号再生装置において、圧縮された画像データを復号
する復号手段と、再生信号から手振れ動きベクトルを分
離する手段と、復号手段からの復号画像信号が供給さ
れ、手振れ動きベクトルにより手振れ補正を行う手段と
からなることを特徴とする画像信号再生装置である。
【0015】動き補償予測符号化のように、記録データ
の圧縮のために、動きベクトルが検出される。この動き
ベクトルは、ブロック単位で検出される。この動きベク
トルと画像データの変化量とを使用することによって、
手振れ動きベクトルが検出される。この手振れ動きベク
トルによって補正された画像データが記録される。手振
れ補正された画像データを記録するのに限らず、手振れ
動きベクトルまたはこれより形成された補正信号を圧縮
画像データと共に、記録媒体に記録し、再生時に手振れ
補正が行われる。
【0016】
【発明の実施の形態】以下、この発明の一実施例につい
て図面を参照して説明する。ここでの実施の形態は、例
えばVTR一体型ビデオカメラであって、撮影した画像
信号をディジタル信号へ変換し、動き補償予測符号化に
より圧縮し、そして、磁気テープ等の記録媒体に記録す
るものである。
【0017】図1において、1は、撮像素子としてのC
CDを示す。CCD1の撮像出力がカメラ信号処理回路
2に供給され、ビデオ信号へ変換される。このビデオ信
号がA/D変換器3によってディジタルビデオ信号へ変
換される。例えば13.5MHzのサンプリング周波数に
よってA/D変換される。なお、この発明は、輝度信号
と二つの色差信号からなるコンポーネント信号、あるい
は輝度信号と搬送色信号とが重畳されたコンポジット信
号に対しても適用することができるが、以下の説明で
は、簡単のため輝度信号の処理についてのみ説明する。
【0018】A/D変換器3からのディジタルビデオ信
号が遅延回路14を介して、この発明が適用された手振
れ補正回路4に供給される。手振れ補正回路4は、後述
するように、撮影時の手振れを補正するための回路であ
る。手振れ検出回路12および補正信号発生回路13が
手振れ補正のために設けられている。遅延回路14は、
手振れ補正信号を形成するための処理にかかる時間、デ
ィジタルビデオ信号を遅延させる位相合わせのために設
けられている。手振れ補正回路4の出力信号が減算回路
5に供給され、また、A/D変換器3の出力信号が動き
ベクトル検出回路6に供給される。
【0019】減算回路5には、動き補償回路7からの予
測信号が供給され、減算回路5からは、実際のビデオ信
号と予測信号との差分が画素ごとに発生する。この差分
がADRC符号化のエンコーダ8に供給され、エンコー
ダ8の符号化出力が取り出される。これと共に、エンコ
ーダ8の出力がADRCデコーダ(ローカルデコーダ)
9に供給され、その出力に差分値の復号データが取り出
される。なお、フレーム内符号化の画像信号を周期的に
挿入することによって、復号側がリフレッシュ処理を行
うようにしても良い。
【0020】ADRCデコーダ9からの復号値が加算回
路10に供給され、動き補償回路7からの予測信号と加
算される。この加算回路10から得られる復号信号がフ
レームメモリ11に書込まれる。フレームメモリ11の
出力が動き補償回路7に供給される。動き補償回路7に
は、動きベクトル検出回路6からの動きベクトルVhvが
動きベクトル修正回路15を介して供給され、動き補償
がなされる。動き補償回路7からの予測信号が上述の加
算回路10に供給されるとともに、減算回路5に供給さ
れる。減算回路5において、実際のビデオ信号と予測信
号との画素の差分が形成される。
【0021】動きベクトル検出回路6は、A/D変換器
3の出力ビデオ信号、すなわち、手振れ補正前のディジ
タルビデオ信号から動き補償のための動きベクトルを検
出する。この発明の一実施例では、動きベクトルVhvお
よび評価値Pijを手振れ検出回路12に供給し、後述の
ように、手振れ動きベクトルを求め、この手振れ動きベ
クトルを補正信号発生回路13に供給し、補正信号を形
成する。この補正信号が手振れ補正回路4に供給される
ことによって手振れを補正することができる。
【0022】画像信号の記録/再生のために、図2に示
す構成が用いられる。図2において、21で示す入力端
子に動き補償予測符号化のエンコーダ(図1の例では、
ADRCエンコーダ8)から符号化出力が供給される。
この符号化出力が可変長符号化のエンコーダ22に供給
され、可変長符号化される。可変長符号化の出力が記録
バッファ23に供給される。記録バッファ23は、バッ
ファ容量を示す信号を前段へフィードバックする。これ
によって所定期間の記録データ量が一定に制御される。
例えばADRC符号化の量子化ビット数を変化させるこ
とによって伝送データ量を制御できる。
【0023】この例は、フィードバック制御のバッファ
リング回路であるが、ADRCエンコードにおける量子
化ビット数として、複数のもの(例えば0ビット、1ビ
ット、2ビット、3ビット、4ビット)を用意し、所定
の期間の発生データ量を見積り、目標データ量を越えな
いように、量子化ビット数をブロック毎に選択する、フ
ィードフォワード制御のバッファリングを行なうように
しても良い。記録バッファ23の出力がマルチプレクサ
24に供給され、オーディオデータ、制御用データ等が
多重化される。
【0024】マルチプレクサ24の出力が記録処理回路
25に供給される。記録処理回路25では、記録データ
に対するエラー訂正符号化、チャンネル変調等の処理が
なされる。記録処理回路25からの記録データが記録ア
ンプ26と記録/再生切替えスイッチ27の記録側端子
Rを介して記録媒体に記録される。記録媒体としては、
磁気テープ、記録可能な光ディスク等を使用できる。
【0025】記録媒体から再生された再生データが記録
/再生切替えスイッチ27の再生側端子Pおよび再生ア
ンプ28を介して再生処理回路29に供給される。再生
処理回路29は、チャンネル変調の復調、エラー訂正等
の処理を行なう。再生処理回路29の出力がディマルチ
プレクサ30に供給され、オーディオ信号、制御用デー
タ等が分離される。ディマルチプレクサ30からのビデ
オ信号と対応する再生データが可変長符号化のデコーダ
31に供給され、可変長符号の復号がなされる。出力端
子32に取り出された再生データがADRCデコーダ等
の高能率符号化のデコーダに供給される。
【0026】ADRCは、本願発明者の提案による高能
率符号化のひとつである。ADRCエンコーダ8の構成
の一例を図3に示す。入力端子34からディジタルビデ
オ信号がブロック化回路35に供給され、ブロック化回
路35によって1画面を細分化したブロック毎の順序を
有するデータが形成される。ブロック化回路35の出力
データが検出回路36および遅延回路37に供給され
る。
【0027】検出回路36は、各ブロックの複数の画素
の最大値MAX、最小値MINを検出する。遅延回路3
7は、この検出に要する時間、ディジタルビデオ信号を
遅延させるためのものである。検出された最大値MAX
および最小値MINが減算回路38に供給され、減算回
路38から(MAX−MIN=DR)で表されるダイナ
ミックレンジDRが得られる。また、遅延回路37から
のディジタルビデオ信号と最小値MINが減算回路39
に供給され、その出力に最小値が除去された修正画素デ
ータが得られる。ブロック内の画素が共有する最小値M
INを除去することによって、正規化がなされる。
【0028】減算回路39の出力と検出されたダイナミ
ックレンジDRとが量子化回路40に供給される。量子
化回路40では、図5に示すように、ダイナミックレン
ジDRを2n 等分した量子化ステップ(n;量子化ビッ
ト数であり、図5では、n=2)により、減算回路39
の出力が再量子化される。空間的に近接する画素は、相
関が強いので、量子化ビット数nを元の量子化ビット数
(例えば8ビット)より少なくしても、復号画像の劣化
が少なく、伝送データ量を圧縮することができる。量子
化回路40からの符号化出力DTが伝送されると共に、
ブロック毎のダイナミックレンジDRおよび最小値MI
Nが付加情報として伝送される。
【0029】図4は、ADRCデコーダ9の一例の構成
を示す。ADRCエンコーダ8からのダイナミックレン
ジDRおよび符号化出力DTが逆量子化回路42に供給
される。逆量子化回路42は、ダイナミックレンジDR
と量子化ビット数nとで定まる量子化ステップを符号化
出力に乗じ、乗算出力を整数化することによって、復元
レベルを発生する。図5に示すように、量子化の時のレ
ベル範囲のそれぞれの中央値が復元レベル(代表レベ
ル)L0、L1、L2、L3とされる。
【0030】そして、逆量子化回路42からの復元レベ
ルと最小値MINとを加算回路43により加算すること
によって、復号値が得られる。この復号値がブロック分
解回路44に供給され、画素データの順序がラスター順
序へ戻される。ブロック分解回路44の出力端子45に
は、復号ビデオ信号が取り出される。
【0031】動きベクトル検出回路6では、ブロックマ
ッチング法により動きベクトルが検出される。これは、
図6にその処理を概略的に示すように、参照フレーム例
えば前フレームFn-1 の検査ブロックByを所定のサー
チエリア内で移動し、現フレームFnの基準ブロックB
xと最も合致している検査ブロックを検出することによ
り動きベクトルを求めるものである。従って、動きベク
トルは、ブロック毎に求められる。合致の程度を表す評
価値としては、基準ブロックBx内の複数の画素と検査
ブロックBy内の複数の画素との間で、同一の空間的位
置の画素同士の値を減算することでフレーム差を求め、
このフレーム差の絶対値和を使用することができる。フ
レーム差の絶対値和以外に、フレーム差の二乗和等を使
用できる。
【0032】図7は、動きベクトル検出回路6の一例の
構成を示す。図7において、51が現フレームの画像デ
ータの入力端子であり、この画像データが現フレームメ
モリ53に蓄えられる。52が前フレームの画像データ
の入力端子であり、この画像データが前フレームメモリ
54に蓄えられる。
【0033】現フレームメモリ53および前フレームメ
モリ54の読出し/書込みは、コントローラ55によっ
て制御される。現フレームメモリ53からは、現フレー
ムの基準ブロックの画素データが読出され、前フレーム
メモリ54からは、前フレームの検査ブロックの画素デ
ータが読出される。前フレームメモリ54と関連してア
ドレス移動回路56が設けられる。コントローラ55が
アドレス移動回路56を制御する結果、検査ブロックの
位置が1画素ステップで、サーチエリア内で変化する。
【0034】現フレームメモリ53の出力と前フレーム
メモリ54の出力とが差分検出回路57に供給され、1
画素毎の差分(フレーム差)が検出される。差分検出回
路57の出力が絶対値化回路58で絶対値へ変換され、
この絶対値が累算回路59に供給される。累算回路59
が1ブロックで発生した絶対値差分を累算し、その出力
(フレーム差絶対値和)が評価値として判断回路60に
供給される。判断回路60は、サーチエリア内で検査ブ
ロックを移動した時にそれぞれ発生する差分の絶対値和
から動きベクトルを検出する。すなわち、最小の差分の
絶対値和を発生する検査ブロックの位置を動きベクトル
として検出する。出力端子61に、検出された動きベク
トルが取り出される。
【0035】この発明の一実施例では、このように検出
された動き補償のための動きベクトルを手振れ補正のた
めにも使用するものである。手振れ補正の動きベクトル
は、画面全体、あるいは比較的大きなブロックの動きを
表すもので、既存の方法として、図8に示すように、手
振れ補正用の動きベクトルを検出することが知られてい
る。
【0036】すなわち、現フレームFnをサーチエリア
Sxに分割し、各サーチエリアSx内の複数の画素と、
前フレームFn-1 の代表点画素Ry(サーチエリアの中
心位置の画素)とのフレーム差の絶対値を求める。さら
に、各サーチエリアSxで求められたフレーム差絶対値
を同一の空間的位置において積算し、それによって、サ
ーチエリアSxと同一の大きさの評価値テーブルを作成
する。この評価値テーブル中の最小値を検出することに
よって、画面全体の動きベクトルを求める。
【0037】このように、動きベクトル検出回路6で求
める動きベクトルは、ブロック単位で求められるもので
あるのに対して、手振れ補正にとって必要な動きベクト
ルは、画面全体、あるいは比較的大きなブロックの単位
で求められるものである。この相違があるために、手振
れ検出回路12は、動きベクトル検出回路6からフレー
ム差絶対値和Pijおよび動きベクトルVhvを受け取り、
手振れ補正用の動きベクトルを生成する。
【0038】図9は、手振れ検出回路12および手振れ
補正回路4の一例の構成を示す。動きベクトル検出回路
6からのフレーム差絶対値和Pijが積算回路71に供給
される。このフレーム差絶対値和Pijについて図10を
参照して説明する。図6を参照して説明したように、基
準ブロックBxと検査ブロックByとのフレーム差の絶
対値和は、サーチエリア内の検査ブロックByの各位置
で計算される。一例として、サーチエリアを水平方向に
±4、垂直方向に±3とすると、9×7=63個の検査
ブロックとのフレーム差絶対値和が計算される。
【0039】現フレームのある一つの基準ブロックBx
に関してのフレーム差絶対値和を検査ブロックの位置に
対応して配列したものを図10に示す。中心位置(i=
4,j=3)のフレーム差絶対値和P43は、基準ブロ
ックBxと検査ブロックByとが空間的に同一位置の場
合のものである。このフレーム差絶対値和Pijが各基準
ブロック毎に積算回路71において積算され、評価値Σ
Phvが形成される。一例として、ブロックサイズを(1
6×16)とし、1フレームの有効画面サイズを(70
4画素×480ライン)とすると、図11に示すよう
に、1フレームが(44×30)のブロックへ分割され
ることになり、このブロック数と等しい評価値ΣPhvが
得られる。
【0040】評価値ΣPhvは、そのブロック内の画像の
レベル分布を反映したものである。若し、サーチエリア
内の画像が平坦なレベル分布であるような場合では、フ
レーム差絶対値和のレベルが小さくなり、評価値ΣPhv
のレベルも小さくなる。一方、レベル分布が平坦でな
く、エッジ等を含む場合には、評価値ΣPhvのレベルも
大きくなる。この一実施例では、アクティビティーとし
て画像のレベル分布を使用しており、平坦なレベル分布
を低いアクティビティーとしている。但し、アクティビ
ティーは、空間傾斜に限らず、周波数変換における周波
数成分等を含むものである。
【0041】この評価値ΣPhvと動きベクトルVhvが手
振れ判定回路72に供給される。手振れ判定回路72
は、図12のフローチャートに示すように、手振れ判定
を行なう。初期値として(h=0、v=0)とされ(ス
テップ81)、次のステップ82において、しきい値T
H1、TH2とそれぞれ比較される。V00<TH1で、
ΣP00>TH2であれば、カメラ静止(すなわち、手振
れでない)と判定される(ステップ83)。
【0042】このステップ82の条件が成立すること
は、ブロック00がエッジ等のレベル変化が不連続な位置
の画像(ΣP00>TH2)であって、しかも、ブロック
00について動きがない(V00<TH1)と検出されてい
ることを意味する。手振れが発生している場合には、全
画面が動くので、静止ブロックが一つでも存在すること
は、手振れではないと決定できる。
【0043】ステップ82の条件が成立しないときに
は、ステップ84に処理が移り、hの値が水平方向の最
大値(43)であるかどうかが調べられる。そうでない
場合には、ステップ85において、hの値が+1され、
ステップ82へ戻る。このようにして、ブロック00から
隣のブロック10についての処理に移り、このブロック10
が静止ブロックかどうか判定される。そして、v=0の
全てのブロックについての処理が完了すると、ステップ
84からステップ86へ処理が移る。
【0044】ステップ86は、vの値が29かどうかを
決定するもので、そうでない場合には、ステップ87へ
処理が移る。ステップ87において、vの値が+1さ
れ、ステップ82へ戻る。vの値が29に到達した時
に、(44×30)個の全ブロックの処理が完了する。
そして、全ブロックについて、静止ブロックが全く検出
されない場合では、全画面の動き、すなわち、手振れと
判断し、ステップ88において、マクロブロック毎の動
きベクトル検出の処理に移る。図9の構成では、手振れ
判定回路72からマクロブロック化回路73に対して、
判断結果の制御信号が出力される。
【0045】マクロブロック化回路73は、動きベクト
ル検出回路6からの動きベクトルVhvをマクロブロック
毎に分離する。ここでは、図13に示すように、1フレ
ームの画面を水平方向に4分割し、垂直方向に3分割
し、(11×10)ブロックのサイズの12個のマクロ
ブロックを形成する。このマクロブロックの例に限ら
ず、複数のマクロブロックを得るために、1画面を分割
する方法は、種々採用できる。但し、互いに隣接しない
マクロブロックが生じる必要があり、従って、画面を等
しく4分割するような方法は、採用してはならない。各
マクロブロック毎に動きベクトルが動きベクトル検出回
路740 、741 、・・・、7412に供給される。
【0046】動きベクトル検出回路740 は、マクロブ
ロックMB00に含まれるブロックの動きベクトルをベク
トル加算することによって、合成動きベクトルMV00を
検出する。同様に、動きベクトル検出回路741 、74
2 、・・・・、7412が各マクロブロックの合成動きベ
クトルMV10、MV20、・・・MV32をそれぞれ検出す
る。検出された合成動きベクトルMV00〜MV32が統合
ベクトル形成回路75に供給される。
【0047】統合ベクトル形成回路75は、12個の合
成動きベクトルを統合することにより、画面全体の動き
ベクトル(統合ベクトル)を発生する。この統合ベクト
ルが補正信号発生回路13に供給される。なお、統合ベ
クトルは、フレーム間の動きから検出されたもので、手
振れの補正量と同一ではない。例えば連続する3フレー
ムの期間で、第2番目および第3番目のフレームの期間
で、同一方向の手振れが生じている時では、最初のフレ
ームと次のフレームとの間の統合ベクトルV1が得ら
れ、第2番目と第3番目のフレーム間の統合ベクトルV
2が得られる。第2番目のフレームに対する補正量は、
V1で良いが、第3番目のフレームに対する補正量は、
(V1+V2)の必要がある。補正信号発生回路13
は、一例として、統合ベクトルを積分した補正量を発生
する。補正信号発生回路13からの手振れ補正信号が補
正回路4に供給され、入力画像データの手振れ補正がな
される。
【0048】統合ベクトル形成回路75は、図14に示
す流れに従って統合ベクトルを形成する。各マクロブロ
ックの動きベクトルが入力され(ステップ91)、全マ
クロブロックの動きベクトルが同一か否かが調べられる
(ステップ92)。若し、同一ならば、その動きベクト
ルが統合ベクトルとして出力される(ステップ93)。
以下の場合も同様であるが、同一は、ある程度のトレラ
ンスを含んでいる。
【0049】ステップ92が成立しない時は、判定のス
テップ94に移り、空間的に分離された複数のマクロブ
ロックに関して、動きベクトルが同一かどうかが調べら
れる。言い換えると、1フレーム全体で、同一の動きベ
クトルを有するマクロブロックが空間的に分離されたも
のかどうかが調べられる。ステップ94を満足する動き
ベクトルが統合ベクトルとして出力される(ステップ9
5)。「空間的に分離された」は、上下、左右、斜めの
各方向で隣接するもの(例えば(MB00、MB10、MB
01、MB11))を除くことを意味する。従って、空間的
な距離、同一の動きベクトルを有するマクロブロックの
個数等については、必要とされる検出精度等を考慮して
適宜設定される。この判定のステップ94は、比較的大
面積の物体の動きを手振れとするような誤判定を排除で
きる。
【0050】ステップ94が成立しない時には、流れが
ステップ96に移り、同一ベクトルを有するマクロブロ
ックの個数がそれぞれ合計される。このマクロブロック
の各個数に対して、次のステップ97で重み付けがなさ
れる。この重み付けは、画面の非周辺付近のマクロブロ
ックに関するブロック数に対して、画面の周辺のマクロ
ブロックに関するブロック数を優先させるためである。
一例として、周辺に関するブロック数には、1.5の重
み係数を乗じ、非周辺付近に関するブロック数には、1
の重み係数を乗じる。比較的大面積の物体の動きは、中
心付近にあることが多いことを考慮して、ステップ97
の重み付けがなされる。
【0051】そして、流れがステップ98に移り、重み
付けがされたブロック数の中での最大値があるかどうか
が調べられる。最大値がある時には、その最大値のマク
ロブロックの動きベクトルが統合ベクトルとして出力さ
れる(ステップ99)。若し、ブロック数が等しいか、
又は略等しいならば、流れがステップ100に移る。そ
し、マクロブロックの個数に関して、ステップ100で
多数決判定がされ、多数とされたものの動きベクトルが
統合ベクトルとして出力される。多数決判定は、統合ベ
クトルを発生するうえで、精度の点で問題があり、精度
を重視する場合には、この判定を省略し、統合ベクトル
の検出不能として処理することも可能である。
【0052】上述の処理によって、動き物体と手振れと
の特性の相違を利用して動きベクトルを画面全体の動き
ベクトルに統合しているので、検出された手振れ動きベ
クトルが画面内の対象物の動きに影響されない高精度の
ものとなる。
【0053】図9に戻って説明すると、画面全体の動き
を表す統合ベクトルが補正信号発生回路13に供給さ
れ、積分によって補正信号が形成される。この補正信号
が手振れ補正回路4に供給され、手振れが補正される。
手振れ補正回路4は、遅延回路14からの画像データが
書込まれるメモリ101と、周辺メモリ102と、メモ
リ101および周辺メモリ102の読出し出力を選択す
るためのセレクタ103と、メモリ101および周辺メ
モリ102のアドレスを制御するためのアドレス制御回
路105と、セレクタ103を制御するためのセレクト
信号を発生するセレクト信号発生回路106とから構成
され、手振れ補正されたビデオ信号が出力端子104に
取り出される。
【0054】メモリ101は、例えばフレームメモリで
あり、補正信号に応じてその読出しアドレスが制御され
る。従って、メモリ101からは、補正信号に応じて移
動された画像データが読出される。セレクタ103で選
択されたデータが周辺メモリ102に対して書込まれ
る。セレクタ103は、セレクト信号発生回路106か
らのセレクト信号に応答して、手振れ補正されたメモリ
101からの画像データと周辺メモリ102に記憶され
ている周辺データとを選択する。
【0055】図15Aにおいて、メモリ101に取り込
まれた1フレームの画像(その画枠を107で表す)の
周辺部(一点鎖線の外側の領域)108が周辺メモリ1
02に格納される。周辺部108の幅は、手振れ補正の
範囲を考慮して設定され、例えば水平および垂直方向
で、1フレームの画像の10〜20%程度の幅とされ
る。図15Bにおいて、画枠107aで示すように、手
振れにより図15Aの位置であるべき画像が図面に向か
って例えば右方向へ動いた時では、手振れ補正量Vによ
り画像の全体が破線で示す位置に補正される。この手振
れ補正の場合には、撮像された画像中には、元々存在し
ていない、移動後の画像の左側の斜線で示す部分109
の画像が欠落する。この欠落部分109が周辺メモリ1
02に蓄えられている対応する位置の画像に置き換えら
れる。この置換は、アドレス制御回路105によるアド
レス制御と、セレクタ103の切替え動作で実行され
る。また、周辺メモリ102には、撮像された画像デー
タ中の欠落部分109以外の周辺の画像データが書込ま
れ、周辺メモリ102の内容が更新される。
【0056】このように、手振れ補正で生じる画像の欠
落を周辺メモリに記憶されている周辺画像で置き換える
ので、画像を拡大する処理と異なり、画像の解像度の劣
化を防止することができる。
【0057】上述したこの発明の一実施例では、手振れ
動きベクトルの検出のための動きベクトルは、手振れ補
正前のビデオ信号を処理して得られる。一方、動き補償
等の処理は、手振れ補正回路4によって手振れ補正がさ
れたビデオ信号に対してなされる。従って、動きベクト
ル検出回路6で検出された動きベクトルによって動き補
償を行うことができない。この問題を解決するために、
動きベクトル修正回路15が設けられている。動きベク
トル修正回路15によって、動きベクトルに含まれてい
る手振れ成分が除かれる。
【0058】動きベクトル修正回路15における処理に
ついて図16を参照して説明する。図16Aは、各ブロ
ックで求められた動きベクトルV00、V01、V10、V1
1、・・・等が手振れベクトルの成分を含んでいること
を表している。手振れがなければ、これらのブロックの
位置が破線に示す位置にある。
【0059】ここで、動きベクトルV00のブロックに注
目すると、図16Bに示すように、手振れ成分を除去し
た場合には、このブロックの位置は、破線の位置であ
る。破線の位置におけるブロックについて、動きベクト
ルを検出した位置のブロックと周辺の他のブロックに含
まれる画素数が求められる。図16では、ブロックの全
画素数をnとし、破線で示す位置では、n1 、n2 、n
3 、n4 で表す画素数が各ブロックに含まれる画素数と
している。そして、次の式で示す加重平均方式によっ
て、修正後の動きベクトルV00´を計算する。他のブロ
ックの動きベクトルについても同様に修正される。
【0060】V00´=(n1 /n)・V00+(n2 /
n)・V10+(n3 /n)・V01+(n4 /n)・V11
【0061】この複数のブロックにそれぞれ含まれる画
素数n1 〜n4 を求めるには、手振れ補正のx軸への投
影成分、およびそのy軸への投影成分が使用される。こ
のようにして動きベクトルを修正することができる。加
重平均方式は、修正の一方法であって、これ以外の修正
方法を使用することができる。
【0062】図17は、この発明の他の実施例を示す。
図1に示す一実施例では、減算器5からのフレーム間差
分をADRCにより圧縮しているのに対して、他の実施
例は、MPEG(Moving Pictures Expert Group)規格の
符号化を採用している。MPEGは、DCT(Discrete
Cosine Transform)回路16aおよび量子化器17aに
よって空間的相関を利用した圧縮を行い、また、双方向
の動き補償フレーム間予測を行う。
【0063】双方向の予測符号化は、フレーム内予測符
号化と順方向予測符号化と逆方向予測符号化とである。
順方向予測符号化は、過去の画像から現在の画像を予測
するフレーム間予測符号化であり、逆方向予測符号化
は、未来の画像から現在の画像を予測するフレーム間予
測符号化である。さらに、前後両方向の予測による内挿
的フレーム間予測符号化もなされる。これらの予測符号
化の方法に対応して、ピクチャタイプ(Iピクチャ、P
ピクチャ、Bピクチャ)が規定される。
【0064】双方向の動き補償のために、動きベクトル
検出回路6に対して、フレームメモリ18が追加され、
また、フレームメモリ11a、11bからの過去、現
在、未来の予測画像を使用して、逆方向の動き補償回路
7r、補間動き補償回路7i、順方向動き補償回路7f
がそれぞれの動き補償を行う。ローカル復号のために
は、逆量子化器16b、逆DCT回路17b、逆DCT
回路17bの出力とスイッチ回路を介された信号とを加
算する加算回路10が設けられている。また、減算器5
からの差分信号と減算器5を介さない信号とを選択する
スイッチ回路が設けられている。これらのスイッチ回路
は、上述のピクチャタイプに応じてコントロール信号S
1、S2、S3によって制御される。符号化制御回路1
9からコントロール信号S1、S2、S3が発生する。
【0065】この発明の他の実施例は、一実施例と同様
に、動きベクトル検出回路6からの動きベクトルVhvお
よび評価値Pijを手振れ検出回路12に供給し、手振れ
動きベクトルを求め、この手振れ動きベクトルを補正信
号発生回路13に供給し、補正信号を形成し、この補正
信号を手振れ補正回路4に供給することによって手振れ
を補正する。また、手振れベクトルを修正するために、
手振れベクトル修正回路15が設けられている。
【0066】図18は、この発明のさらに他の実施例の
記録側の構成を示す。さらに他の実施例では、記録側で
は、手振れ補正のための補正信号を発生し、図19に示
す再生側において、手振れ補正を行う。従って、図18
に示すように、記録側には、手振れ検出回路12および
補正信号発生回路13が設けられているが、手振れ補正
回路4が設けられていない。ADRCエンコーダ8から
の符号化出力、動きベクトルおよび手振れ補正信号がフ
レーム化回路20に供給され、記録データが形成され
る。この記録データが記録系を介して記録媒体に記録さ
れる。
【0067】図19に示すように、再生側では、再生系
により形成された再生データが入力端子62からフレー
ム分解回路63に供給され、ADRC符号化出力、手振
れベクトルVhv、補正信号が分離される。ADRCデコ
ーダ64により差分信号が復号され、復号差分信号が加
算回路65に供給される。加算回路65の出力が予測メ
モリ66に供給され、動きベクトルVhvによって記録側
と同様の動き補償がなされる。
【0068】加算回路65からの再生画像信号が手振れ
補正回路4に供給される。この手振れ補正回路4におい
て、再生信号から分離された補正信号によって手振れ補
正がなされる。手振れ補正回路4からのディジタル画像
信号がD/A変換器67に供給され、出力端子68に再
生画像信号が取り出される。なお、手振れ補正の作動、
不作動を選択する選択手段を設けても良い。また、手振
れ補正信号を記録しているが、手振れ補正信号の代わり
に、評価値ΣPijを記録し、再生側で動きベクトルと評
価値を使用して手振れ補正信号を形成しても良い。
【0069】なお、手振れ補正信号を記録するようにし
たこの発明のさらに他の実施例は、MPEGを使用する
場合に対しても適用することができる。
【0070】また、手振れ補正時の画像の欠落を補償す
るために、周辺メモリを設けているが、背景メモリによ
って画像の欠落の補償を行うようにしても良い。背景メ
モリは、フレーム間の画像の変化の中で、殆ど変化しな
い画像が選択的に書込まれるものである。背景メモリを
使用して、動き補償を行う際のアンカバードバックグラ
ンドを防止でき、あるいは背景データの伝送を間引いて
伝送データ量を圧縮することができる。この方式による
圧縮符号化方式は、本願発明者により提案され、例えば
特公平7−97754号公報に記載されている。また、
フレームメモリに比べて大きなメモリを背景メモリとし
て用いることにより、手振れによる周辺画像、パン、チ
ルトによる画像等の1フレーム内に収まらない画像の蓄
積に利用することができる。
【0071】図20は、背景メモリに蓄積される画像デ
ータを概略的に説明するもので、例えばコート上でプレ
ーしているテニスプレーヤを撮影した場合に、順次変化
する画像と、撮影画像の中の背景画像(具体的にはテニ
スコート)が背景メモリに蓄積されることを表してい
る。すなわち、背景メモリには、動いているプレーヤを
除いた画像が蓄積される。この場合、背景メモリの領域
を撮像画像のものより広いものとし、例えばビデオカメ
ラのパンニング時、チルティング時の動きに応じて背景
メモリの領域を可変することにより、図20の例のよう
に、広い範囲の背景画像の取込みが可能である。
【0072】図21は、背景メモリを使用するようにし
たこの発明のよりさらに他の実施例を示す。図1に示す
一実施例と対応する構成要素に対しては同一の参照符号
を付してその説明は、省略する。ローカルデコードさ
れ、動き補償された画像信号が加算回路10から手振れ
補正回路111に入力される。手振れ補正回路111で
は、上述したような手振れ補正がなされる。すなわち、
補正信号発生回路13からの手振れ補正信号によりロー
カルデコードされた画像データの位置が補正される。手
振れ補正回路111から出力される画像信号が比較器1
13を通って背景メモリ112に入力される。ローカル
デコードされた画像データは、ブロック構造のデータと
される。
【0073】一方、ローカルデコードされた画像データ
に対応する位置の画像データブロックが背景メモリ11
2から読出される。比較器113では、ローカルデコー
ドされた画像データのブロックと、背景メモリ112か
らの対応位置の画像データとの間で、画素毎に差分値が
計算され、この差分値の絶対値が1ブロックで累算され
る。各ブロックの差分の累算値が比較器113において
所定のしきい値と比較される。比較器13の比較出力が
更新制御回路114に入力される。
【0074】更新制御回路114は、差分の累算値がし
きい値より小さい場合では、背景画像と判断する。背景
画像と決定される場合では、そのブロックと対応する位
置のブロックの背景メモリ112のデータがローカルデ
コード画像データにより更新される。更新時では、一度
にデータの更新を行うよりも、除々に背景メモリ112
を更新することが好ましい。若し、差分の累算値がしき
い値以上の場合では、そのブロックのデータは、背景画
像以外の画像情報が含まれているものと決定され、背景
メモリ112の更新のために使用されない。さらに、背
景メモリ112として、図20の例のように、フレーム
メモリより大きいメモリを使用する時には、前フレーム
までのデータでは埋められていない新たな背景データを
順次蓄積する。
【0075】このようにして蓄積された背景メモリ11
2に蓄えられているデータと、通常のフレームメモリの
データを選択的に利用して動き補償を行うことにより、
欠落した画像を補償することが可能である。背景メモリ
112の画像データが図22に示す構成の動きベクトル
検出回路6’に供給される。
【0076】前述した図7に示す動きベクトル検出回路
6の備える構成に対して、差分検出回路57’、絶対値
化回路58’、累算回路59’が設けられ、累算回路5
9’の出力が累算回路59の出力と共に、判断回路6
0’に供給される。判断回路60’は、動きベクトルお
よびメモリフラグを出力端子61および61 ’にそれぞ
れ出力する。
【0077】差分検出回路57’は、背景メモリ112
の出力データと現フレームメモリ53の出力データとの
間で、同一の位置の画素データの差分を検出する。差分
値が絶対値化回路58’により絶対値に変換され、累算
回路59’により累算される。判断回路60’は、累算
回路59からの累算出力(現フレームと前フレームとの
間の差分の累算値)と、累算回路59’からの上述した
累算出力とを受け取る。そして、判断回路60’は、一
方の累算出力に基づいてより適切な動きベクトルを出力
端子61に出力する。また、二つの累算出力の選択され
たものを表すメモリフラグを判断回路60’が出力端子
61’に出力する。
【0078】図21に示すように、動きベクトルが動き
ベクトル修正回路15を介して動き補償回路7に供給さ
れ、また、メモリフラグが動き補償回路7に供給され
る。これらの動きベクトルおよびメモリフラグは、符号
化データと共に、伝送あるいは記録される。メモリフラ
グによってフレームメモリ11に蓄えられている画像デ
ータと、背景メモリ112に蓄えられている背景画像デ
ータの一方が選択され、選択された画像データに対して
動き補償の処理がなされる。
【0079】なお、上述したよりさらに他の実施例に関
して、エンコーダ側について説明したが、デコーダ側に
も背景メモリが設けられており、メモリフラグに従って
フレームメモリの画像と背景メモリの画像とがデコーダ
側と同様に選択される。
【0080】
【発明の効果】この発明は、動き補償のために生成され
た動きベクトルから手振れ動きベクトルを検出するの
で、ハードウエアの規模を小さくすることができる。
【図面の簡単な説明】
【図1】この発明の一実施例のブロック図である。
【図2】この発明の一実施例における記録系および再生
系の構成を示すブロックずである。
【図3】この発明の一実施例におけるADRCエンコー
ダのブロック図である。
【図4】ADRCデコーダのブロック図である。
【図5】ADRC符号化処理を示す略線図である。
【図6】動きベクトル検出を概略的に説明する略線図で
ある。
【図7】動きベクトル検出回路の一例のブロック図であ
る。
【図8】手振れ動きベクトル検出を概略的に説明する略
線図である。
【図9】手振れ補正回路および手振れ検出回路の一例の
ブロック図である。
【図10】手振れ動きベクトルの検出処理の説明に用い
る略線図である。
【図11】手振れ動きベクトルの検出処理の説明に用い
る略線図である。
【図12】手振れ動きベクトルの検出処理の説明に用い
るフローチャートである。
【図13】画面をマクロブロックへ分割する処理の一例
を示す略線図である。
【図14】この発明の一実施例における統合ベクトルの
形成動作を示すフローチャートである。
【図15】この発明の一実施例における手振れ補正動作
を示す略線図である。
【図16】この発明の一実施例における動きベクトルの
修正動作を示す略線図である。
【図17】この発明の他の実施例のブロック図である。
【図18】この発明のさらに他の実施例の記録系のブロ
ック図である。
【図19】この発明のさらに他の実施例の再生系のブロ
ック図である。
【図20】この発明のよりさらに他の実施例において使
用する背景メモリの概略的説明に用いる略線図である。
【図21】この発明のよりさらに他の実施例のブロック
図である。
【図22】この発明のよりさらに他の実施例における動
きベクトル検出回路の一例の構成を示すブロック図であ
る。
【図23】従来の手振れ補正処理を説明するための略線
図である。
【図24】従来の手振れ補正処理を説明するための略線
図である。
【符号の説明】
5 減算器 6 動きベクトル検出回路 7 動き補償回路 12 手振れ検出回路 13 補正信号発生回路 15 動きベクトル修正回路

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 1画面の画像データを複数のブロックに
    分割し、 各々のブロックについて1乃至数フレーム前の画像デー
    タから、最も合致するブロックの位置に対応する動きベ
    クトルを検出し、 上記動きベクトルを用いて画像データを圧縮する機能を
    有する画像信号処理装置において、 各ブロックの動きベクトルを検出する手段と上記各ブロ
    ックの動きベクトルから手振れ動きベクトルを検出する
    手段と、 入力される画像信号を手振れベクトルに基づいて補正す
    る手段と、 上記各ブロックの動きベクトルを手振れ動きベクトルに
    より修正した動きベクトルを求める手段と、 上記修正された動きベクトルにより動き補償を行なう手
    段と、 上記手振れ補正された画像データと上記動き補償が行わ
    れた画像データにより圧縮処理を行なう手段とからなる
    ことを特徴とする画像信号処理装置。
  2. 【請求項2】 上記手振れベクトル検出手段が各ブロッ
    クの画像データのアクティビティを評価する手段と、 空間的に不連続な位置における同一の動きベクトルを検
    出する手段を有することを特徴とする請求項1に記載の
    画像信号処理装置。
  3. 【請求項3】 上記手振れベクトル検出手段が各ブロッ
    クの画像データのアクティビティを評価する手段と、 静止ブロックの存在を検出する判断手段を有し、 静止ブロックが検出された場合は手振れ補正を行なわな
    いことを特徴とする請求項1に記載の画像信号処理装
    置。
  4. 【請求項4】 1画面の画像データを複数のブロックに
    分割し、 各々のブロックについて1乃至数フレーム前のブロック
    の画像データとの画素ごとの差分に基づく評価値表を形
    成し上記評価値表の最小値の座標を検出しこの座標に基
    づいて動きベクトルを検出し、 上記動きベクトルを用いて画像データを圧縮する機能を
    有する画像信号処理装置において、 上記評価値表と上記動きベクトルに基づいて手振れ動き
    ベクトルを検出する手段と、 入力される画像信号を上記手振れベクトルに基づいて補
    正する手段と、 上記動きベクトルを上記手振れ動きベクトルを用いて修
    正する手段と、 上記修正された動きベクトルにより動き補償を行なう手
    段と上記手振れ補正された画像データと動き補償が行わ
    れた画像データにより圧縮処理を行なう手段とからなる
    ことを特徴とする画像信号処理装置。
  5. 【請求項5】 1画面の画像データを複数のブロックに
    分割し、 各々のブロックについて1乃至数フレーム前の画像デー
    タから、最も合致するブロックの位置に対応する動きベ
    クトルを検出し、 上記動きベクトルを用いて画像データを圧縮する機能を
    有する画像信号記録装置において、 各ブロックの動きベクトルを検出する手段と、 上記各ブロックの動きベクトルから手振れ動きベクトル
    を検出する手段と、 上記動きベクトルにより動き補償を行なう手段と、 入力画像データと動き補償された画像データにより圧縮
    処理を行う手段と、 圧縮された画像データと共に、上記手振れ動きベクトル
    を記録する手段とからなることを特徴とする画像信号記
    録装置。
  6. 【請求項6】 1画面の画像データを複数のブロックに
    分割し、 各々のブロックについて1乃至数フレーム前のブロック
    の画像データとの画素ごとの差分に基づく評価値表を形
    成し上記評価値表の最小値の座標を検出しこの座標に基
    づいて動きベクトルを検出し、 上記動きベクトルを用いて画像データを圧縮する機能を
    有する画像信号記録装置において、 上記評価値表と上記動きベクトルから手振れ動きベクト
    ルを検出する手段と、 上記動きベクトルにより動き補償を行なう手段と、 上記入力画像データと動き補償された画像データにより
    圧縮処理を行う手段と、 圧縮された画像データと共に、手振れ動きベクトルを記
    録する手段とからなることを特徴とする画像信号記録装
    置。
  7. 【請求項7】 1画面の画像データを複数のブロックに
    分割し、 各々のブロックについて1乃至数フレーム前の画像デー
    タから、最も合致するブロックの位置に対応する動きベ
    クトルを検出し、 上記動きベクトルを用いて画像データを圧縮し、 上記動きベクトルから手振れ動きベクトルを検出し、 上記動きベクトルにより動き補償を行ない、 入力画像データと動き補償された画像データにより圧縮
    処理を行い、、 上記圧縮された画像信号とともに上記手振れ動きベクト
    ルを記録した記録媒体を再生する画像信号再生装置にお
    いて、 圧縮された画像データを復号する復号手段と、 再生信号から上記手振れ動きベクトルを分離する手段
    と、 上記復号手段からの復号画像信号が供給され、上記手振
    れ動きベクトルにより手振れ補正を行う手段とからなる
    ことを特徴とする画像信号再生装置。
  8. 【請求項8】 1画面の画像データを複数のブロックに
    分割し、 各々のブロックについて1乃至数フレーム前のブロック
    の画像データとの画素ごとの差分に基づく評価値表を形
    成し上記評価値表の最小値の座標を検出し この座標に基づいて動きベクトルを検出し、 上記動きベクトルを用いて画像データを圧縮し、 上記評価値表と上記動きベクトルから手振れ動きベクト
    ルを検出し、 上記動きベクトルにより動き補償を行ない、 上記入力画像データと動き補償された画像データにより
    圧縮処理を行い、 圧縮された画像信号と共に手振れ動きベクトルを記録し
    た記録媒体を再生する画像信号再生装置において、 圧縮された画像データを復号する復号手段と、 再生信号から上記手振れ動きベクトルを分離する手段
    と、 上記復号手段からの復号画像信号が供給され、上記手振
    れ動きベクトルにより手振れ補正を行う手段とからなる
    ことを特徴とする画像信号再生装置。
JP17411696A 1995-08-30 1996-06-13 画像信号処理装置および記録/再生装置 Expired - Fee Related JP3951321B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP17411696A JP3951321B2 (ja) 1995-08-30 1996-06-13 画像信号処理装置および記録/再生装置
US09/113,329 US5926212A (en) 1995-08-30 1998-07-10 Image signal processing apparatus and recording/reproducing apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP7-245430 1995-08-30
JP24543095 1995-08-30
JP17411696A JP3951321B2 (ja) 1995-08-30 1996-06-13 画像信号処理装置および記録/再生装置

Publications (2)

Publication Number Publication Date
JPH09130748A true JPH09130748A (ja) 1997-05-16
JP3951321B2 JP3951321B2 (ja) 2007-08-01

Family

ID=26495832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17411696A Expired - Fee Related JP3951321B2 (ja) 1995-08-30 1996-06-13 画像信号処理装置および記録/再生装置

Country Status (1)

Country Link
JP (1) JP3951321B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001313940A (ja) * 2000-02-08 2001-11-09 Deutsche Thomson Brandt Gmbh ビデオ又はオーディオ符号化器におけるビットレート制御のための方法及び装置
US6734902B1 (en) * 1997-12-12 2004-05-11 Canon Kabushiki Kaisha Vibration correcting device
JP2007208849A (ja) * 2006-02-03 2007-08-16 Casio Comput Co Ltd 動画再生装置及びそのプログラム
JP2008507899A (ja) * 2004-07-21 2008-03-13 ゾラン コーポレイション 取得された画像フレーム間の意図的でないカメラ運動を補正するためのビデオデータの処理
JP2009533009A (ja) * 2006-04-06 2009-09-10 クゥアルコム・インコーポレイテッド 電子ビデオ画像の安定化
KR100925319B1 (ko) * 2007-05-18 2009-11-04 가시오게산키 가부시키가이샤 화상흔들림의 검출기능을 구비한 촬상장치, 촬상장치의제어방법 및 촬상장치의 제어프로그램을 기록한 기록매체
JP4524922B2 (ja) * 1999-03-12 2010-08-18 ソニー株式会社 画像提供システム、画像提供方法、及び記憶媒体
US8208557B2 (en) 2007-07-31 2012-06-26 Samsung Electronics Co., Ltd. Video encoding and decoding method and apparatus using weighted prediction

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6734902B1 (en) * 1997-12-12 2004-05-11 Canon Kabushiki Kaisha Vibration correcting device
JP4524922B2 (ja) * 1999-03-12 2010-08-18 ソニー株式会社 画像提供システム、画像提供方法、及び記憶媒体
JP2001313940A (ja) * 2000-02-08 2001-11-09 Deutsche Thomson Brandt Gmbh ビデオ又はオーディオ符号化器におけるビットレート制御のための方法及び装置
JP4634622B2 (ja) * 2000-02-08 2011-02-16 ドイチェ トムソン−ブラント ゲーエムベーハー ビデオ又はオーディオ符号化器におけるビットレート制御のための方法及び装置
JP2008507899A (ja) * 2004-07-21 2008-03-13 ゾラン コーポレイション 取得された画像フレーム間の意図的でないカメラ運動を補正するためのビデオデータの処理
US8289401B2 (en) 2004-07-21 2012-10-16 Csr Technology Inc. Processing of video data to compensate for unintended camera motion between acquired image frames
JP2007208849A (ja) * 2006-02-03 2007-08-16 Casio Comput Co Ltd 動画再生装置及びそのプログラム
JP4548355B2 (ja) * 2006-02-03 2010-09-22 カシオ計算機株式会社 動画再生装置及びそのプログラム
JP2009533009A (ja) * 2006-04-06 2009-09-10 クゥアルコム・インコーポレイテッド 電子ビデオ画像の安定化
KR100925319B1 (ko) * 2007-05-18 2009-11-04 가시오게산키 가부시키가이샤 화상흔들림의 검출기능을 구비한 촬상장치, 촬상장치의제어방법 및 촬상장치의 제어프로그램을 기록한 기록매체
US8208557B2 (en) 2007-07-31 2012-06-26 Samsung Electronics Co., Ltd. Video encoding and decoding method and apparatus using weighted prediction

Also Published As

Publication number Publication date
JP3951321B2 (ja) 2007-08-01

Similar Documents

Publication Publication Date Title
KR100467375B1 (ko) 화상신호처리장치및기록/재생장치
US8903222B2 (en) Image reproducing apparatus, image reproducing method, image capturing apparatus, and control method therefor
JP3268306B2 (ja) 画像符号化方法
JP4123567B2 (ja) 画像信号処理装置及び方法
US20090059031A1 (en) Image-Capturing Apparatus and Method, Recording Apparatus and Method, and Reproducing Apparatus and Method
JP2000013643A (ja) ノイズ低減装置および方法、映像信号処理装置、並びに動き検出方法
JP3221785B2 (ja) 撮像装置
WO2006126694A2 (en) Video coding using an alternative reference frame for motion compensated prediction
JP2007134755A (ja) 動画像符号化装置及び画像記録再生装置
JP3951321B2 (ja) 画像信号処理装置および記録/再生装置
FI109395B (fi) Menetelmä ja järjestelmä videokuvan stabilisoimiseksi
JP4724639B2 (ja) 撮像装置
JP4365941B2 (ja) 符号化装置、画像処理装置、カメラ一体型画像記録装置、画像処理システム、符号化方法、及び記憶媒体
JP4533089B2 (ja) 動画データ生成装置
JP4605183B2 (ja) 画像信号処理装置及び方法
JP2004180345A (ja) 撮影画像記録装置
JPH09261530A (ja) 映像記録装置
JP2003023637A (ja) 画像符号化方法および画像符号化装置
JPH0888854A (ja) 動画像符号化方式
JP2883592B2 (ja) 動画像復号化装置及び動画像復号化方法
JP3937247B2 (ja) 静止画像データ生成装置および静止画像データ生成方法
JP2883585B2 (ja) 動画像符号化装置及び動画像符号化方法
JP3646424B2 (ja) ノイズリデューサおよびノイズリダクション方法
JPH1032824A (ja) 動画像の輝度変化検出方法、動画像の輝度変化補償方法、動画像の位置検出方法および動画像符号化・復号装置
JP2006086861A (ja) 画像符号化装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060314

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060515

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070416

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100511

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees