JP3505199B2 - ビデオカメラジッタ補正装置、データ圧縮装置、データ伸長装置、データ圧縮方法及びデータ伸長方法 - Google Patents
ビデオカメラジッタ補正装置、データ圧縮装置、データ伸長装置、データ圧縮方法及びデータ伸長方法Info
- Publication number
- JP3505199B2 JP3505199B2 JP12676693A JP12676693A JP3505199B2 JP 3505199 B2 JP3505199 B2 JP 3505199B2 JP 12676693 A JP12676693 A JP 12676693A JP 12676693 A JP12676693 A JP 12676693A JP 3505199 B2 JP3505199 B2 JP 3505199B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- frame
- video
- motion
- frame data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、ビデオカメラのジッタ
補正技術、それにより得られたビデオフレームデータの
圧縮及び伸長技術に係り、特に、ビデオシーンの全体的
な動き（グローバルモーション；global motion）に関
連した改良に関する。
補正技術、それにより得られたビデオフレームデータの
圧縮及び伸長技術に係り、特に、ビデオシーンの全体的
な動き（グローバルモーション；global motion）に関
連した改良に関する。
【０００２】
【従来の技術】ビデオカメラによるシーンの記録は従来
より知られている。ビデオカメラは多数枚のイメージつ
まりフレームを一定間隔で記録する。記録シーンの動き
は連続フレームの静止イメージの差となり、間隔が十分
短ければ、フレームの連続を表示することにより記録シ
ーンの動きが再現される。シーンの動き、すなわち連続
したフレーム間の差は、記録中の実シーンの現実の動
き、あるいはカメラの動きまたはズーム調整によって生
じる見かけの動き、のいずれかに起因する。見かけの動
きは、カメラの動きにより生じるので、一般にシーン全
体が移動するグローバルモーションとなる。これに対立
するものが、一定の背景に対しシーンの小部分が動くこ
とによるローカルモーション（local motion）である。
より知られている。ビデオカメラは多数枚のイメージつ
まりフレームを一定間隔で記録する。記録シーンの動き
は連続フレームの静止イメージの差となり、間隔が十分
短ければ、フレームの連続を表示することにより記録シ
ーンの動きが再現される。シーンの動き、すなわち連続
したフレーム間の差は、記録中の実シーンの現実の動
き、あるいはカメラの動きまたはズーム調整によって生
じる見かけの動き、のいずれかに起因する。見かけの動
きは、カメラの動きにより生じるので、一般にシーン全
体が移動するグローバルモーションとなる。これに対立
するものが、一定の背景に対しシーンの小部分が動くこ
とによるローカルモーション（local motion）である。
【０００３】しばしば、見かけの動きの量と方向は重要
な意義を持つ。例えば、見かけの動きはカメラの動きに
よって引き起こされるので、見かけの動きが分かってい
るならば、カメラの動きによる記録の不要なジッタを取
り除くことができる。すなわち、等しい量の逆向きの見
かけの動きを付加することにより、そのジッタを除去す
ることができるからである。
な意義を持つ。例えば、見かけの動きはカメラの動きに
よって引き起こされるので、見かけの動きが分かってい
るならば、カメラの動きによる記録の不要なジッタを取
り除くことができる。すなわち、等しい量の逆向きの見
かけの動きを付加することにより、そのジッタを除去す
ることができるからである。
【０００４】動きのゆっくりした、あるいは安定した記
録シーンを表わすのに必要なデータ量は、動きの速いシ
ーンに必要なデータ量より少ないから、見かけの動きの
情報のもう一つの用途はイメージ圧縮においてである。
例えば、静止シーンの多数のフレームは、単純に１フレ
ームだけを残して他のフレームを全部捨てることによっ
て圧縮できる。残された１つのフレームをコピーし取り
除かれた全てのフレーム（全く同一内容）を再構築する
ことにより、記録の伸長が可能である。動きのあるシー
ンの場合、記録は内容の異なる複数のフレームからなる
ので、圧縮はより面倒ではあるが不可能ではない。
録シーンを表わすのに必要なデータ量は、動きの速いシ
ーンに必要なデータ量より少ないから、見かけの動きの
情報のもう一つの用途はイメージ圧縮においてである。
例えば、静止シーンの多数のフレームは、単純に１フレ
ームだけを残して他のフレームを全部捨てることによっ
て圧縮できる。残された１つのフレームをコピーし取り
除かれた全てのフレーム（全く同一内容）を再構築する
ことにより、記録の伸長が可能である。動きのあるシー
ンの場合、記録は内容の異なる複数のフレームからなる
ので、圧縮はより面倒ではあるが不可能ではない。
【０００５】データ圧縮率は、データの複雑さに依存す
る。データが重複した情報を含む場合、重複データを、
その場所を示す非常に小さなデータに置き換えることが
できる。同様に、データ例えばイメージデータが、それ
自体より少ないデータで記述可能な単純なパターンを含
む場合、このデータは圧縮可能である。よって、単純な
イメージほど圧縮率は大きくなる。動画イメージデータ
の場合、その全体を一つの完全な初期イメージと複数の
差フレームに置き換えることによって、高い圧縮率を得
ることができる。差フレームとは、連続したフレーム間
の差からなるイメージである。初期フレームは置き換え
不可能であるが、それ以外の全フレームは、差フレーム
を初期フレームに順次加算することによって再生でき
る。言うまでもなく、動画を捕らえるカメラの視野内に
動くものがない場合、フレーム間に差はないので、差フ
レームは全てゼロである。差がゼロの場合、初期フレー
ムと動きがないことを示すデータだけを格納すればよい
ので、最高の圧縮率が得られる。
る。データが重複した情報を含む場合、重複データを、
その場所を示す非常に小さなデータに置き換えることが
できる。同様に、データ例えばイメージデータが、それ
自体より少ないデータで記述可能な単純なパターンを含
む場合、このデータは圧縮可能である。よって、単純な
イメージほど圧縮率は大きくなる。動画イメージデータ
の場合、その全体を一つの完全な初期イメージと複数の
差フレームに置き換えることによって、高い圧縮率を得
ることができる。差フレームとは、連続したフレーム間
の差からなるイメージである。初期フレームは置き換え
不可能であるが、それ以外の全フレームは、差フレーム
を初期フレームに順次加算することによって再生でき
る。言うまでもなく、動画を捕らえるカメラの視野内に
動くものがない場合、フレーム間に差はないので、差フ
レームは全てゼロである。差がゼロの場合、初期フレー
ムと動きがないことを示すデータだけを格納すればよい
ので、最高の圧縮率が得られる。
【０００６】静止シーンしか記録しないということは稀
であるが、シーンによっては、差フレームを得る前にフ
レーム間のグローバルモーションを除去することによ
り、ほぼ静止させることができる。したがって、記録の
圧縮性を上げるべくデータからグローバルモーションが
除去されるが、この除去と同時に伸長用にグローバルモ
ーションの方向や速度等のパラメータを記憶することに
よって、差フレームを単純化する。
であるが、シーンによっては、差フレームを得る前にフ
レーム間のグローバルモーションを除去することによ
り、ほぼ静止させることができる。したがって、記録の
圧縮性を上げるべくデータからグローバルモーションが
除去されるが、この除去と同時に伸長用にグローバルモ
ーションの方向や速度等のパラメータを記憶することに
よって、差フレームを単純化する。
【０００７】以上の理由から、カメラの動きを知ること
が望まれる。カメラの動きを測定するための一方法は、
記録フレームをデジタル処理して、記録フレーム間に検
出されたグローバルモーションを基にカメラの動きを決
定する方法である。この方法は、相当の計算能力を要
し、また、大きな移動物体がシーンの大半を占める場合
にカメラの動きの評価が不正確になる。移動物体に対す
る相対的なグローバルモーションを計算することが圧縮
のために有利であるかも知れないが、普通、グローバル
モーションは静止背景を基準にして計算される。
が望まれる。カメラの動きを測定するための一方法は、
記録フレームをデジタル処理して、記録フレーム間に検
出されたグローバルモーションを基にカメラの動きを決
定する方法である。この方法は、相当の計算能力を要
し、また、大きな移動物体がシーンの大半を占める場合
にカメラの動きの評価が不正確になる。移動物体に対す
る相対的なグローバルモーションを計算することが圧縮
のために有利であるかも知れないが、普通、グローバル
モーションは静止背景を基準にして計算される。
【０００８】さらに、カメラ内で可能な計算パワーは、
スペースや電力、リアルタイム処理が必要であることか
ら制限される。このため、カメラの動きの測定を単純化
する手段の改善が要請されよう。
スペースや電力、リアルタイム処理が必要であることか
ら制限される。このため、カメラの動きの測定を単純化
する手段の改善が要請されよう。
【０００９】多くのカメラは、グローバルモーション補
正をイメージ安定化という形で提供している。一般的
に、イメージの安定化は、カメラの回転を防ぐジャイロ
スコープによって、あるいは、モーションセンサとミラ
ーの組み合わせによって達成される。このモーションセ
ンサとミラーの組み合わせでは、カメラは自由に動くこ
とができるが、記録センサ（普通、電荷結合素子：ＣＣ
Ｄ）とカメラのレンズとの間に可動ミラーが置かれる。
このミラーは、グローバルモーションを打ち消すため
に、モーションセンサ（検知器）により検出された方向
と”逆”の方向に動かされる。
正をイメージ安定化という形で提供している。一般的
に、イメージの安定化は、カメラの回転を防ぐジャイロ
スコープによって、あるいは、モーションセンサとミラ
ーの組み合わせによって達成される。このモーションセ
ンサとミラーの組み合わせでは、カメラは自由に動くこ
とができるが、記録センサ（普通、電荷結合素子：ＣＣ
Ｄ）とカメラのレンズとの間に可動ミラーが置かれる。
このミラーは、グローバルモーションを打ち消すため
に、モーションセンサ（検知器）により検出された方向
と”逆”の方向に動かされる。
【００１０】このようなシステムは、カメラを持つ人の
手振れやカメラを据え付けた自動車の振動のような周波
数の高い不要な動きを、パンのような周波数の低い必要
な動きと弁別するための手段を必要とする。また、修正
はイメージを取り込んだ時点で行なわなければならず、
さもなくば修正がなされない。動きの信号（モーション
信号）が利用される場合、この信号を利用してＣＣＤ等
の記録センサーの前に配置されたミラーが動かされ、こ
の補正ミラーの働きにより記録イメージは動きが抑制さ
れたものとなる。
手振れやカメラを据え付けた自動車の振動のような周波
数の高い不要な動きを、パンのような周波数の低い必要
な動きと弁別するための手段を必要とする。また、修正
はイメージを取り込んだ時点で行なわなければならず、
さもなくば修正がなされない。動きの信号（モーション
信号）が利用される場合、この信号を利用してＣＣＤ等
の記録センサーの前に配置されたミラーが動かされ、こ
の補正ミラーの働きにより記録イメージは動きが抑制さ
れたものとなる。
【００１１】モーション信号が利用されない場合、モー
ション情報は捨てられるので、その後の処理で利用でき
ない。したがって、センサ−ミラーシステムは一つのシ
ーンを安定化するためだけにしか利用できない。イメー
ジ安定化は、一般的なビデオ愛好者にとっては便利なも
のであるが、シーンに低い周波数の動きが存在する時の
ビデオ圧縮の問題を考慮していない。さらに、ジャイロ
スタビライザーまたはセンサ−ミラーシステムの自動修
正は、記録時にユーザの調整できる幅を狭め、また、カ
メラが記録中に高精度記録と安定化記録を選択できる場
合でも、この選択が固定される。したがって、安定して
いるが処理された再生と、不安定であるが高精度の再生
のいずれも可能にする装置が求められる。
ション情報は捨てられるので、その後の処理で利用でき
ない。したがって、センサ−ミラーシステムは一つのシ
ーンを安定化するためだけにしか利用できない。イメー
ジ安定化は、一般的なビデオ愛好者にとっては便利なも
のであるが、シーンに低い周波数の動きが存在する時の
ビデオ圧縮の問題を考慮していない。さらに、ジャイロ
スタビライザーまたはセンサ−ミラーシステムの自動修
正は、記録時にユーザの調整できる幅を狭め、また、カ
メラが記録中に高精度記録と安定化記録を選択できる場
合でも、この選択が固定される。したがって、安定して
いるが処理された再生と、不安定であるが高精度の再生
のいずれも可能にする装置が求められる。
【００１２】センサ−ミラーシステムを備えたカメラに
おいて得られる記録それ自体は、デジタル補正カメラの
ようには、圧縮の点で最適化されない。センサ−ミラー
方式またはジャイロスコープ方式のカメラにおいて、カ
メラのパンを可能にするためには低い周波数の動きが無
視されなければならない。このような動きは、無視され
るため記録フレーム中に残るので、この見かけの動きを
圧縮前に除去する唯一の方法は、フレームデータから低
周波数のグローバルモーションを計算することである。
おいて得られる記録それ自体は、デジタル補正カメラの
ようには、圧縮の点で最適化されない。センサ−ミラー
方式またはジャイロスコープ方式のカメラにおいて、カ
メラのパンを可能にするためには低い周波数の動きが無
視されなければならない。このような動きは、無視され
るため記録フレーム中に残るので、この見かけの動きを
圧縮前に除去する唯一の方法は、フレームデータから低
周波数のグローバルモーションを計算することである。
【００１３】センサ−ミラー補正方法もジャイロスコー
プ補正方法も、記録される内容を変化させるので、カメ
ラのズーム補正には利用できない。利用すると、ズーム
効果が全く打ち消されるからである。
プ補正方法も、記録される内容を変化させるので、カメ
ラのズーム補正には利用できない。利用すると、ズーム
効果が全く打ち消されるからである。
【００１４】以上述べたことから分かることは、記録シ
ーンのグローバルモーション補正のための改良された方
法が必要とされることである。
ーンのグローバルモーション補正のための改良された方
法が必要とされることである。
【００１５】
【発明が解決しようとする課題】よって、本発明の目的
は、グローバルモーション補正のための改良された手段
を提供することである。本発明のもう一つの目的は、ビ
デオカメラにより取り込まれたビデオデータの圧縮及び
伸長のための改良された手段を提供することである。こ
れ以外の本発明の目的は、以下の実施例に関する説明や
その他部分の説明から理解されよう。
は、グローバルモーション補正のための改良された手段
を提供することである。本発明のもう一つの目的は、ビ
デオカメラにより取り込まれたビデオデータの圧縮及び
伸長のための改良された手段を提供することである。こ
れ以外の本発明の目的は、以下の実施例に関する説明や
その他部分の説明から理解されよう。
【００１６】
【課題を解決するための手段】本発明によれば、ビデオ
カメラは、内部にカメラの動きを測定するためのモーシ
ョンセンサが設けられ、カメラの動きが記録用レンズの
ズーム率とともにセンサデータとして出力される。
カメラは、内部にカメラの動きを測定するためのモーシ
ョンセンサが設けられ、カメラの動きが記録用レンズの
ズーム率とともにセンサデータとして出力される。
【００１７】ジッタ補正装置にて、ビデオカメラから出
力されるセンサデータは高域フィルタに入力し、ビデオ
カメラ内の電荷結合素子に実シーンを結像することによ
って得られたビデオフレームは、モーション補正器に入
力する。このモーション補正器において、高域フィルタ
の出力に応じてビデオフレームのシフト及びスケーリン
グが行なわれ、フレーム間のグローバルモーション（ジ
ッタ）が除去される。
力されるセンサデータは高域フィルタに入力し、ビデオ
カメラ内の電荷結合素子に実シーンを結像することによ
って得られたビデオフレームは、モーション補正器に入
力する。このモーション補正器において、高域フィルタ
の出力に応じてビデオフレームのシフト及びスケーリン
グが行なわれ、フレーム間のグローバルモーション（ジ
ッタ）が除去される。
【００１８】本発明の改良されたデータ圧縮装置におい
ては、ビデオカメラから出力されるビデオフレームは、
加算器に入力されるとともに、フレームバッファによっ
て１フレーム周期だけ遅延されてモーション補正器に入
力される。このモーション補正器には、ビデオカメラか
ら出力されるセンサデータも入力する。加算器は、ビデ
オカメラから入力する現フレームと、モーション補正器
によってグローバルモーションを除去された直前フレー
ムの反転したデータとを加算することにより、差フレー
ムを出力する。この差フレームはデータ圧縮器によって
圧縮される。
ては、ビデオカメラから出力されるビデオフレームは、
加算器に入力されるとともに、フレームバッファによっ
て１フレーム周期だけ遅延されてモーション補正器に入
力される。このモーション補正器には、ビデオカメラか
ら出力されるセンサデータも入力する。加算器は、ビデ
オカメラから入力する現フレームと、モーション補正器
によってグローバルモーションを除去された直前フレー
ムの反転したデータとを加算することにより、差フレー
ムを出力する。この差フレームはデータ圧縮器によって
圧縮される。
【００１９】
【作用】ジッタ補正装置において、高域フィルタを通さ
れたセンスデータは、カメラのパン等による低い周波数
のモーション成分が除去され、手振れ等による高い周波
数のグローバルモーション成分だけを含む。したがっ
て、この高域フィルタの出力に応じてモーション補正器
でフレームを前フレームに一致するように移動すること
によって、フレーム間ジッタ（グローバルモーション）
を除去することができる。得られたフレームをディスプ
レイに表示して得られる画像は、ビデオカメラで取り込
まれた生画像に比べ、ジッタが少なく安定している。こ
のようなジッタ補正もしくは画像安定化は、ビデオカメ
ラによる撮影と同時に行なわれる必要がなく、大量の計
算も必要としない。
れたセンスデータは、カメラのパン等による低い周波数
のモーション成分が除去され、手振れ等による高い周波
数のグローバルモーション成分だけを含む。したがっ
て、この高域フィルタの出力に応じてモーション補正器
でフレームを前フレームに一致するように移動すること
によって、フレーム間ジッタ（グローバルモーション）
を除去することができる。得られたフレームをディスプ
レイに表示して得られる画像は、ビデオカメラで取り込
まれた生画像に比べ、ジッタが少なく安定している。こ
のようなジッタ補正もしくは画像安定化は、ビデオカメ
ラによる撮影と同時に行なわれる必要がなく、大量の計
算も必要としない。
【００２０】本発明によるデータ圧縮装置において、加
算器より出力される差フレームは、モーション補正器に
よってグローバルモーションを除去後の前フレームと現
フレームの差を表わすフレームであるが、これはビデオ
カメラより出力されるビデオフレームに比べ、一般に単
純なイメージで、遥かに少ないビット数で表現可能であ
る。したがって、このような処理をデータ圧縮器による
データ圧縮の前で行なうことにより、ビデオフレームの
データ圧縮率が改善される。また、得られた圧縮データ
は、それとともにセンサデータを記憶または伝送するな
らば、伸長再生することができ、その際にフレーム間ジ
ッタ補正を行なうことも可能である。
算器より出力される差フレームは、モーション補正器に
よってグローバルモーションを除去後の前フレームと現
フレームの差を表わすフレームであるが、これはビデオ
カメラより出力されるビデオフレームに比べ、一般に単
純なイメージで、遥かに少ないビット数で表現可能であ
る。したがって、このような処理をデータ圧縮器による
データ圧縮の前で行なうことにより、ビデオフレームの
データ圧縮率が改善される。また、得られた圧縮データ
は、それとともにセンサデータを記憶または伝送するな
らば、伸長再生することができ、その際にフレーム間ジ
ッタ補正を行なうことも可能である。
【００２１】
【実施例】グローバルモーションとローカルモーション
の概念を図１によって説明する。図１においては、モー
ション（動き）は二つのフレームに関して示されてい
る。フレーム１とフレーム２はグローバルモーション並
びにローカルモーションを含んでいる。背景の地形４の
位置変化はグローバルモーションであり、領域６内の前
景人物の位置変化と領域７に誰もいなくなったことはロ
ーカルモーションである。背景全体が移動した場合を別
にすれば、グローバルモーションはカメラの動きによる
ものであり、ローカルモーションは実シーンの実際の動
きによるものである。
の概念を図１によって説明する。図１においては、モー
ション（動き）は二つのフレームに関して示されてい
る。フレーム１とフレーム２はグローバルモーション並
びにローカルモーションを含んでいる。背景の地形４の
位置変化はグローバルモーションであり、領域６内の前
景人物の位置変化と領域７に誰もいなくなったことはロ
ーカルモーションである。背景全体が移動した場合を別
にすれば、グローバルモーションはカメラの動きによる
ものであり、ローカルモーションは実シーンの実際の動
きによるものである。
【００２２】図１に示す如く、フレーム１中の画素とフ
レーム２中の対応した画素との差の大部分は、ローカル
モーションによるものではなく、グローバルモーション
によるものである。したがって、グローバルモーション
を取り除くだけで、フレーム１とフレーム２の間の差は
非常に少なくなる。
レーム２中の対応した画素との差の大部分は、ローカル
モーションによるものではなく、グローバルモーション
によるものである。したがって、グローバルモーション
を取り除くだけで、フレーム１とフレーム２の間の差は
非常に少なくなる。
【００２３】より厳密に述べれば、フレーム１とフレー
ム２は、１フレーム周期だけ離れた正確な時点での実シ
ーンの”スナップショット”であるとは限らないが、そ
うだとして扱うことができる。一つの完全なフレームを
記録するためには、ある有限の時間が必要であり、また
通常、フレームはフレーム周期中に連続的に記録される
が、この記録は左上の画素より開始して右下画素で終了
し、また一つのフレームを終了すると直ちに次のフレー
ムを開始するというものである。画素は毎回同じパター
ンでスキャンされるので、フレーム１のある画素を取り
込んでからフレーム２の対応画素を取り込むまでの時間
遅れは一定であって、フレーム周期に等しい。
ム２は、１フレーム周期だけ離れた正確な時点での実シ
ーンの”スナップショット”であるとは限らないが、そ
うだとして扱うことができる。一つの完全なフレームを
記録するためには、ある有限の時間が必要であり、また
通常、フレームはフレーム周期中に連続的に記録される
が、この記録は左上の画素より開始して右下画素で終了
し、また一つのフレームを終了すると直ちに次のフレー
ムを開始するというものである。画素は毎回同じパター
ンでスキャンされるので、フレーム１のある画素を取り
込んでからフレーム２の対応画素を取り込むまでの時間
遅れは一定であって、フレーム周期に等しい。
【００２４】このように時間遅れが一定であるため、ま
た、フレーム１の画素はフレーム２の対応画素に接近し
ていない画素とは頻繁に比較されないため、フレームの
画素は、ある１時点での実シーンの画素表現と考えるこ
とができる。この仮定によって、フレーム内のフレーム
周期に比べ高速に動く物体は歪むことになろうが、この
ような歪みは、フレームデータには、どのような処理が
施されたかに関係なく存在するものである。各フレーム
をある特定の１時点での実シーンのスナップショットで
あると仮定すれば、フレーム間モーションを連続フレー
ムの画素の間の差として定義することができる。
た、フレーム１の画素はフレーム２の対応画素に接近し
ていない画素とは頻繁に比較されないため、フレームの
画素は、ある１時点での実シーンの画素表現と考えるこ
とができる。この仮定によって、フレーム内のフレーム
周期に比べ高速に動く物体は歪むことになろうが、この
ような歪みは、フレームデータには、どのような処理が
施されたかに関係なく存在するものである。各フレーム
をある特定の１時点での実シーンのスナップショットで
あると仮定すれば、フレーム間モーションを連続フレー
ムの画素の間の差として定義することができる。
【００２５】一つのイメージを取り込む間の時間経過に
よって歪みが生じるので、科学的データの収集等のある
種のアプリケーションではシーン全体を単一時点で記録
するカメラを必要とする。本発明は、そのようなカメラ
にも有効である。
よって歪みが生じるので、科学的データの収集等のある
種のアプリケーションではシーン全体を単一時点で記録
するカメラを必要とする。本発明は、そのようなカメラ
にも有効である。
【００２６】フレーム間のグローバルモーションは単一
のベクトル、すなわちグローバルモーションベクトル８
で表わされる。図１には一つのローカルモーションベク
トル１０しか示していないが、フレームの他のエリア内
の他の物体も移動したのならば、それぞれに別々のロー
カルモーションベクトルを持つことになる。グローバル
モーションベクトル８はフレーム１からフレーム２への
背景の移動の仕方を完全に記述するので、フレーム１及
びフレーム２の圧縮表現に含める必要があるのは、フレ
ーム１、領域６、領域６の移動により生じた領域７、フ
レーム境界の移動により視野に現われた領域９、及びグ
ローバルモーションベクトル８だけである。伸長する時
に、フレーム１はフレーム２の再構築のためのベースに
なり、フレーム１の各エレメントはフレーム２におい
て、グローバルモーションベクトルで示される距離だ
け、同ベクトルで示される方向に移動させられ、そし
て、領域６，７，９内のイメージが再生される。同様の
グローバルモーションをズームについても決定すること
ができるが、ズームの場合にはスカラー量だけしか必要
でない。オリジナルのフレームの各点を、スカラー量で
示されたパーセントだけ、フレーム中心へ向かって、ま
たは逆向きに移動させることによって、ズームされたフ
レームを再構築できるからである。
のベクトル、すなわちグローバルモーションベクトル８
で表わされる。図１には一つのローカルモーションベク
トル１０しか示していないが、フレームの他のエリア内
の他の物体も移動したのならば、それぞれに別々のロー
カルモーションベクトルを持つことになる。グローバル
モーションベクトル８はフレーム１からフレーム２への
背景の移動の仕方を完全に記述するので、フレーム１及
びフレーム２の圧縮表現に含める必要があるのは、フレ
ーム１、領域６、領域６の移動により生じた領域７、フ
レーム境界の移動により視野に現われた領域９、及びグ
ローバルモーションベクトル８だけである。伸長する時
に、フレーム１はフレーム２の再構築のためのベースに
なり、フレーム１の各エレメントはフレーム２におい
て、グローバルモーションベクトルで示される距離だ
け、同ベクトルで示される方向に移動させられ、そし
て、領域６，７，９内のイメージが再生される。同様の
グローバルモーションをズームについても決定すること
ができるが、ズームの場合にはスカラー量だけしか必要
でない。オリジナルのフレームの各点を、スカラー量で
示されたパーセントだけ、フレーム中心へ向かって、ま
たは逆向きに移動させることによって、ズームされたフ
レームを再構築できるからである。
【００２７】図２は、本発明によるビデオカメラの一実
施例を示すブロック図である。従来のビデオカメラの場
合と同様、このビデオカメラ２０は、光を電荷結合素子
３０に収束するための固定レンズ２４とズームレンズ２
６を用いて実シーン２２を記録し、フレームの連続スト
リームをビデオデータバス３０に出力する。しかしなが
ら、センサデータバス３２にも付加的なデータストリー
ムが出力される。
施例を示すブロック図である。従来のビデオカメラの場
合と同様、このビデオカメラ２０は、光を電荷結合素子
３０に収束するための固定レンズ２４とズームレンズ２
６を用いて実シーン２２を記録し、フレームの連続スト
リームをビデオデータバス３０に出力する。しかしなが
ら、センサデータバス３２にも付加的なデータストリー
ムが出力される。
【００２８】モーション検出器３４，３６，３８は３軸
の各方向へのカメラ２０の移動をプロセッサ４０に指示
する。これらのモーション検出器３４，３６，３８は例
えば、直交した３個の速度センサとしてよい。プロセッ
サ４０に対し、ズームモニタ線４２を介しズーム情報も
与えられる。当該線４２はズームモータへの制御信号に
過ぎないこともある。ある実施例では３個未満のセンサ
が使用され、別の実施例では４個以上のセンサが使用さ
れる。
の各方向へのカメラ２０の移動をプロセッサ４０に指示
する。これらのモーション検出器３４，３６，３８は例
えば、直交した３個の速度センサとしてよい。プロセッ
サ４０に対し、ズームモニタ線４２を介しズーム情報も
与えられる。当該線４２はズームモータへの制御信号に
過ぎないこともある。ある実施例では３個未満のセンサ
が使用され、別の実施例では４個以上のセンサが使用さ
れる。
【００２９】プロセッサ４０は複雑な計算を実行する必
要はなく、センサ及びズームデータを記録し（ある実施
例ではデジタル化も行ない）、同データをデータストリ
ームとしてセンサデータバス３２に出力するにすぎな
い。ある実施例にあっては、ビデオデータバス３０上の
ビデオデータもデジタル化され、ビデオデータとそれに
関連したモーションデータとが同期化される。
要はなく、センサ及びズームデータを記録し（ある実施
例ではデジタル化も行ない）、同データをデータストリ
ームとしてセンサデータバス３２に出力するにすぎな
い。ある実施例にあっては、ビデオデータバス３０上の
ビデオデータもデジタル化され、ビデオデータとそれに
関連したモーションデータとが同期化される。
【００３０】図３は、ビデオカメラ２０から供給される
ビデオデータ及びセンサデータを利用する本発明による
ジッタ補正システムのブロック図である。図３に見られ
るように、ビデオデータバス３０はモーション補正器４
４に入力として結合され、センサデータバス３２はフィ
ルタ４６に入力として結合され、このフィルタ４６はま
たモーション補正器４４に入力として結合される。モー
ション補正器４４は、フィルタ４６の出力に応じて入力
フレームのシフト及びスケーリングを行なうことによっ
て、フレーム間グローバルモーション（ジッタ）の除去
を行なうものである。フィルタ４６は、センサデータの
形式に応じ、アナログフィルタまたはデジタルフィルタ
とされる。モーション補正器４４はチャネル４８に入力
として結合され、このチャネル４８の出力はモニタ４９
に入力として結合される。エッジバッファ４５はモーシ
ョン補正器４４の出力及びその一つの入力に接続され
る。
ビデオデータ及びセンサデータを利用する本発明による
ジッタ補正システムのブロック図である。図３に見られ
るように、ビデオデータバス３０はモーション補正器４
４に入力として結合され、センサデータバス３２はフィ
ルタ４６に入力として結合され、このフィルタ４６はま
たモーション補正器４４に入力として結合される。モー
ション補正器４４は、フィルタ４６の出力に応じて入力
フレームのシフト及びスケーリングを行なうことによっ
て、フレーム間グローバルモーション（ジッタ）の除去
を行なうものである。フィルタ４６は、センサデータの
形式に応じ、アナログフィルタまたはデジタルフィルタ
とされる。モーション補正器４４はチャネル４８に入力
として結合され、このチャネル４８の出力はモニタ４９
に入力として結合される。エッジバッファ４５はモーシ
ョン補正器４４の出力及びその一つの入力に接続され
る。
【００３１】モーション補正器４４は、引用によって本
明細書に組み込まれるところの「Ｔse，Ｙi Ｔong，and
Ｒichard Ｌ．Ｂaker， ”Ｃamera Ｚoom／ＰanＥstim
ation and Ｃompensation for Ｖideo Ｃompressio
n”，１９９１ ＤataＣompression Ｃonference，Ｓnow
bird，Ｕtah，１９９１」記載の手法のような通常のモ
ーション補正手法に従って動作する。フィルタ４６は、
引用によって本明細書に組み込まれる「Ｎetrivali，Ａ
run Ｎ.，and Ｂarry Ｇ．Ｈaskell,Ｄigital Ｐicture
s Ｒepresentation and Ｃompression，Ｐlenum Ｐress
（１９８９），pp．３３４−３４４」に記載されている
ようなデジタルフィルタである。
明細書に組み込まれるところの「Ｔse，Ｙi Ｔong，and
Ｒichard Ｌ．Ｂaker， ”Ｃamera Ｚoom／ＰanＥstim
ation and Ｃompensation for Ｖideo Ｃompressio
n”，１９９１ ＤataＣompression Ｃonference，Ｓnow
bird，Ｕtah，１９９１」記載の手法のような通常のモ
ーション補正手法に従って動作する。フィルタ４６は、
引用によって本明細書に組み込まれる「Ｎetrivali，Ａ
run Ｎ.，and Ｂarry Ｇ．Ｈaskell,Ｄigital Ｐicture
s Ｒepresentation and Ｃompression，Ｐlenum Ｐress
（１９８９），pp．３３４−３４４」に記載されている
ようなデジタルフィルタである。
【００３２】ある実施例においては、チャネル４８は衛
星回線や電話回線のような帯域幅が制限された通信チャ
ネルである。しかし別の実施例では、チャネル４８はデ
ジタルメモリ、磁気テープ、磁気ディスクのような有限
容量の記録媒体である。記憶装置及び通信回線がデータ
量を制限するように、カメラからのデータのサイズを制
限するチャネルを持ったシステム全てに、本発明は適用
できる。本発明はまた、グローバルモーションの検出が
必要な場合に適用できる。
星回線や電話回線のような帯域幅が制限された通信チャ
ネルである。しかし別の実施例では、チャネル４８はデ
ジタルメモリ、磁気テープ、磁気ディスクのような有限
容量の記録媒体である。記憶装置及び通信回線がデータ
量を制限するように、カメラからのデータのサイズを制
限するチャネルを持ったシステム全てに、本発明は適用
できる。本発明はまた、グローバルモーションの検出が
必要な場合に適用できる。
【００３３】モニタ４９は本発明に必ずしも必要なもの
ではないが、ビデオカメラ２０からのビデオデータの代
表的な利用例を提示するため示されている。他の実施例
にあっては、モニタ４９は、ビデオ処理コンピュータあ
るいは放送送信機と置き換えられる。
ではないが、ビデオカメラ２０からのビデオデータの代
表的な利用例を提示するため示されている。他の実施例
にあっては、モニタ４９は、ビデオ処理コンピュータあ
るいは放送送信機と置き換えられる。
【００３４】動作を説明する。ビデオカメラ２０はビデ
オデータとセンサデータをバス３０とバス３２にそれぞ
れ出力する。このセンサデータは高域フィルタ処理され
ることにより、高い周波数のカメラ移動データだけがモ
ーション補正器４４へ送られる。モーション補正器４４
は、このカメラの高い周波数の移動を除去し、低い周波
数の移動（これは普通、意識的なパン移動である）だけ
を残すようにビデオデータのフレームを調整する。ズー
ムは補正されない。
オデータとセンサデータをバス３０とバス３２にそれぞ
れ出力する。このセンサデータは高域フィルタ処理され
ることにより、高い周波数のカメラ移動データだけがモ
ーション補正器４４へ送られる。モーション補正器４４
は、このカメラの高い周波数の移動を除去し、低い周波
数の移動（これは普通、意識的なパン移動である）だけ
を残すようにビデオデータのフレームを調整する。ズー
ムは補正されない。
【００３５】エッジバッファ４５は、必要に応じてシー
ンを埋めるために前フレームのエッジデータを格納する
目的で設けられている。一般的に、モーション補正器４
４は、カメラ移動を修正するため、フレームを前フレー
ムに一致させるように移動させることにより、フレーム
間ジッタを取り除く働きをする。しかし、フレームを移
動させる時に、エッジを捨てる。カメラが記録中に移動
しなかった場合、エッジは記録シーンの一部であったは
ずである。廃棄されたエッジを無効（回避）にするため
に、カメラ２０でシーンを実際のフレームより広く記録
させることも可能であるが、エッジバッファ４５はより
簡単にエッジを補填する方法を提供する。
ンを埋めるために前フレームのエッジデータを格納する
目的で設けられている。一般的に、モーション補正器４
４は、カメラ移動を修正するため、フレームを前フレー
ムに一致させるように移動させることにより、フレーム
間ジッタを取り除く働きをする。しかし、フレームを移
動させる時に、エッジを捨てる。カメラが記録中に移動
しなかった場合、エッジは記録シーンの一部であったは
ずである。廃棄されたエッジを無効（回避）にするため
に、カメラ２０でシーンを実際のフレームより広く記録
させることも可能であるが、エッジバッファ４５はより
簡単にエッジを補填する方法を提供する。
【００３６】すなわち、エッジバッファ４５は、シーン
のエッジに沿った画素を１フレーム周期の間だけ記憶す
る。そして、フレームがモーション補正器４４によって
移動させられた時に、廃棄されたエッジが前フレームか
ら得られた対応画素で埋められる。ある実施例では、エ
ッジバッファ４５はモーション補正器４４の一部とされ
る。また、ある実施例にあっては、さらに単純化するた
め、エッジバッファ４５は前フレーム全体を記憶するフ
ルフレームバッファとされる。
のエッジに沿った画素を１フレーム周期の間だけ記憶す
る。そして、フレームがモーション補正器４４によって
移動させられた時に、廃棄されたエッジが前フレームか
ら得られた対応画素で埋められる。ある実施例では、エ
ッジバッファ４５はモーション補正器４４の一部とされ
る。また、ある実施例にあっては、さらに単純化するた
め、エッジバッファ４５は前フレーム全体を記憶するフ
ルフレームバッファとされる。
【００３７】モーション補正器４４の補正後ビデオデー
タ出力は、使用されるチャネル４８の種類に応じて記憶
されるか伝送され、モニタ４９に表示される。モニタ４
９に表示される映像は、カメラ２０により記録された生
映像より滑らかになる。それも、大量の計算を全くしな
いでである。
タ出力は、使用されるチャネル４８の種類に応じて記憶
されるか伝送され、モニタ４９に表示される。モニタ４
９に表示される映像は、カメラ２０により記録された生
映像より滑らかになる。それも、大量の計算を全くしな
いでである。
【００３８】図４は、本発明によるジッタ補正システム
の他の構成例を示すブロック図である。図４のシステム
は図３のシステムと似ているが、グローバルモーション
補正がチャネルの後で行なわれことが相違する。この例
では、ビデオサブチャネルとセンサデータサブチャネル
を有するチャネル５６が用いられる。
の他の構成例を示すブロック図である。図４のシステム
は図３のシステムと似ているが、グローバルモーション
補正がチャネルの後で行なわれことが相違する。この例
では、ビデオサブチャネルとセンサデータサブチャネル
を有するチャネル５６が用いられる。
【００３９】図５は、本発明によるデータ圧縮・伸長シ
ステムの一実施例のブロック図である。このシステム
は、データ圧縮に関連したビデオフレームバッファ５
０、モーション補正器５２、加算器５４及びデータ圧縮
器５５、圧縮データの伸長再生に関連したデータ伸長器
５７、加算器５８、モーション逆補正器（decompensato
r）６０、ビデオフレームバッファ６２及びモニタ６
４、それとチャネル５６からなる。モーション逆補正器
６０はフレームシフタ６０ａとフレームスケーラ（scal
er）６０ｂからなる。
ステムの一実施例のブロック図である。このシステム
は、データ圧縮に関連したビデオフレームバッファ５
０、モーション補正器５２、加算器５４及びデータ圧縮
器５５、圧縮データの伸長再生に関連したデータ伸長器
５７、加算器５８、モーション逆補正器（decompensato
r）６０、ビデオフレームバッファ６２及びモニタ６
４、それとチャネル５６からなる。モーション逆補正器
６０はフレームシフタ６０ａとフレームスケーラ（scal
er）６０ｂからなる。
【００４０】図３及び図４の場合と同様に、ある実施例
では、チャネル５６は衛星回線や電話回線のようなバン
ド幅の制限された通信チャネルであるが、他の実施例で
は、チャネル５６はセンタデータを伝送または記憶する
能力が付加されたデジタルメモリ、磁気テープ、ディス
ク等の記憶媒体である。
では、チャネル５６は衛星回線や電話回線のようなバン
ド幅の制限された通信チャネルであるが、他の実施例で
は、チャネル５６はセンタデータを伝送または記憶する
能力が付加されたデジタルメモリ、磁気テープ、ディス
ク等の記憶媒体である。
【００４１】動作を説明する。まずデータ圧縮に関する
部分について説明する。ビデオカメラ２０はビデオデー
タとセンサデータをバス３０，３２にそれぞれ出力す
る。ビデオフレームバッファ５０を用いてビデオデータ
が１フレームだけ遅延させられるので、加算器５４は連
続した２フレームに対し処理してローカルモーションに
よるフレーム差を決定できる。モーション補正器５２
は、ビデオフレームバッファ５０によってバス６６に出
力されたフレームからカメラのモーション（動き）を除
去する。バス６６上のフレームはバス３０上の現フレー
ムの直前フレームである。モーション補正器５２は必要
なカメラ移動データをセンサデータバス３２でカメラ２
０より与えられ、カメラ移動を除去した調整後フレーム
をバス６８に出力する。
部分について説明する。ビデオカメラ２０はビデオデー
タとセンサデータをバス３０，３２にそれぞれ出力す
る。ビデオフレームバッファ５０を用いてビデオデータ
が１フレームだけ遅延させられるので、加算器５４は連
続した２フレームに対し処理してローカルモーションに
よるフレーム差を決定できる。モーション補正器５２
は、ビデオフレームバッファ５０によってバス６６に出
力されたフレームからカメラのモーション（動き）を除
去する。バス６６上のフレームはバス３０上の現フレー
ムの直前フレームである。モーション補正器５２は必要
なカメラ移動データをセンサデータバス３２でカメラ２
０より与えられ、カメラ移動を除去した調整後フレーム
をバス６８に出力する。
【００４２】バス６８上の調整後フレームがビデオデー
タバス３０上の現フレームより減算され、差フレームが
得られるが、これは現フレームと前フレームとの間のロ
ーカルモーションの差からなる。この差フレームは、ビ
デオフレームより単純なイメージであるのが普通である
ので、完全なフレームイメージより遥かに少ないビット
で表現可能である。バス７０上の差フレームは次にデー
タ圧縮器５５によって圧縮され、圧縮されたフレームは
チャネル５６のビデオ入力に印加される。繰り返しにな
るが、チャネル５６は、ある実施例ではバンド幅が制限
された通信チャネルであり、他の実施例では有限容量の
記憶媒体である。
タバス３０上の現フレームより減算され、差フレームが
得られるが、これは現フレームと前フレームとの間のロ
ーカルモーションの差からなる。この差フレームは、ビ
デオフレームより単純なイメージであるのが普通である
ので、完全なフレームイメージより遥かに少ないビット
で表現可能である。バス７０上の差フレームは次にデー
タ圧縮器５５によって圧縮され、圧縮されたフレームは
チャネル５６のビデオ入力に印加される。繰り返しにな
るが、チャネル５６は、ある実施例ではバンド幅が制限
された通信チャネルであり、他の実施例では有限容量の
記憶媒体である。
【００４３】次に、データ伸長再生に関する部分を説明
する。チャネル５６のビデオ出力はデータ伸長器５７の
入力に結合され、このデータ伸長器５７は、受け取った
差フレームを伸長してから加算器５８の一方の入力へ出
力する。チャネル５６から出力されるセンスデータは、
モーション逆補正器６０の一方の入力に与えられる。モ
ーション逆補正器６０の他方の入力はフレームバッファ
６２の出力と結合される。フレームバッファ６２は圧縮
中のフレームの前フレームの画素を記憶している。この
ようにして、モーション逆補正器６０は前フレーム及び
センサデータから逆補正された参照フレームを生成す
る。
する。チャネル５６のビデオ出力はデータ伸長器５７の
入力に結合され、このデータ伸長器５７は、受け取った
差フレームを伸長してから加算器５８の一方の入力へ出
力する。チャネル５６から出力されるセンスデータは、
モーション逆補正器６０の一方の入力に与えられる。モ
ーション逆補正器６０の他方の入力はフレームバッファ
６２の出力と結合される。フレームバッファ６２は圧縮
中のフレームの前フレームの画素を記憶している。この
ようにして、モーション逆補正器６０は前フレーム及び
センサデータから逆補正された参照フレームを生成す
る。
【００４４】この逆補正された参照フレームは加算器５
８へ出力され、この加算器５８において、伸長器５７か
らの差フレームと結合されることによりバス３０からの
オリジナルのフレームを再構築する。この再構築された
フレームはバス７６に送出されてモニタ６４に表示さ
れ、あるいは処理され、また、再構築フレームのコピー
がフレームバッファ６２に入力される。かくして、チャ
ネル５６の入力側と逆の動作が遂行され、また、バス７
６上の再構築されたフレームはビデオデータバス３０上
のオリジナルのフレームに相当する。
８へ出力され、この加算器５８において、伸長器５７か
らの差フレームと結合されることによりバス３０からの
オリジナルのフレームを再構築する。この再構築された
フレームはバス７６に送出されてモニタ６４に表示さ
れ、あるいは処理され、また、再構築フレームのコピー
がフレームバッファ６２に入力される。かくして、チャ
ネル５６の入力側と逆の動作が遂行され、また、バス７
６上の再構築されたフレームはビデオデータバス３０上
のオリジナルのフレームに相当する。
【００４５】モニタ６４の出力はビデオデータバス３０
上のカメラ出力であるが、チャネル５６によって遅延さ
れている可能性がある。カメラのモーションは、好まし
いものも好まざるものも、モニタ６４の表示上に残る
が、チャネル５６を流れるデータ量及び必要なバンド幅
は大幅に削減される。
上のカメラ出力であるが、チャネル５６によって遅延さ
れている可能性がある。カメラのモーションは、好まし
いものも好まざるものも、モニタ６４の表示上に残る
が、チャネル５６を流れるデータ量及び必要なバンド幅
は大幅に削減される。
【００４６】図６は、本発明によるデータ圧縮・伸長及
びジッタ補正のための他の実施例のシステムのブロック
図である。このシステムは、図３に示されたシステムと
図５に示されたシステムを組み合わせものである。この
システムは、バス７６までは、図５で説明したと同様に
動作する。
びジッタ補正のための他の実施例のシステムのブロック
図である。このシステムは、図３に示されたシステムと
図５に示されたシステムを組み合わせものである。この
システムは、バス７６までは、図５で説明したと同様に
動作する。
【００４７】カメラモーションデータとローカルモーシ
ョン差データを加算することによってビデオフレームが
再構築された後、この再構築フレームはジッタ補正器７
９によって、周波数の高い動きやその他望ましくない動
きを除去するために移動させられる。センサデータは、
カメラの動きを示すものだが、チャネル５６のセンサ出
力によってジッタフィルタ８４に与えられる。ジッタフ
ィルタ８４は、ズームや、ゆっくりしたパンのような望
ましいカメラ移動を抽出しつつ、カメラのジッタを示す
センサデータをバス８０に送出する。このセンサデータ
は次に、ジッタ補正器７９によりフレーム中の上記のよ
うな望ましくない動きを打ち消すために用いられる。か
くして、安定化されたビデオシーンがモニタ６４へのバ
ス８２に得られるが、今まで通り最小のバンド幅を用い
てビデオフレームを記憶または伝送することが可能であ
り、しかも複雑な計算は全く用いない。フレームバッフ
ァ６２は、エッジバッファとしても働き、ジッタ補正器
７９によって除去されたエッジを補填するために前フレ
ームからのエッジ画素をバス８６に出力する。
ョン差データを加算することによってビデオフレームが
再構築された後、この再構築フレームはジッタ補正器７
９によって、周波数の高い動きやその他望ましくない動
きを除去するために移動させられる。センサデータは、
カメラの動きを示すものだが、チャネル５６のセンサ出
力によってジッタフィルタ８４に与えられる。ジッタフ
ィルタ８４は、ズームや、ゆっくりしたパンのような望
ましいカメラ移動を抽出しつつ、カメラのジッタを示す
センサデータをバス８０に送出する。このセンサデータ
は次に、ジッタ補正器７９によりフレーム中の上記のよ
うな望ましくない動きを打ち消すために用いられる。か
くして、安定化されたビデオシーンがモニタ６４へのバ
ス８２に得られるが、今まで通り最小のバンド幅を用い
てビデオフレームを記憶または伝送することが可能であ
り、しかも複雑な計算は全く用いない。フレームバッフ
ァ６２は、エッジバッファとしても働き、ジッタ補正器
７９によって除去されたエッジを補填するために前フレ
ームからのエッジ画素をバス８６に出力する。
【００４８】なお、本発明は、以上に述べた実施例に限
定されるものではなく、特許請求の範囲の記載により定
義された本発明の範囲内において様々な変形が許される
ものである。
定されるものではなく、特許請求の範囲の記載により定
義された本発明の範囲内において様々な変形が許される
ものである。
【００４９】
【発明の効果】以上の説明によって理解されるように、
本発明によれば、手振れ等によるグローバルモーション
の補正、並びにグローバルモーションのあるビデオデー
タの圧縮率の向上が可能になるとともに、グローバルモ
ーションの処理に関連した大量の計算が不要となる等々
の効果を得られるものである。
本発明によれば、手振れ等によるグローバルモーション
の補正、並びにグローバルモーションのあるビデオデー
タの圧縮率の向上が可能になるとともに、グローバルモ
ーションの処理に関連した大量の計算が不要となる等々
の効果を得られるものである。
【図１】二つの記録フレーム間のグローバルモーション
及びローカルモーションを示す説明図である。
及びローカルモーションを示す説明図である。
【図２】本発明によるカメラの概略構成図である。
【図３】本発明によるジッタ補正のためのシステムのブ
ロック図である。
ロック図である。
【図４】本発明によるジッタ補正のたるのシステムの別
構成を示すブロック図である。
構成を示すブロック図である。
【図５】本発明によるデータ圧縮及び伸長のためのシス
テムのブロック図である。
テムのブロック図である。
【図６】本発明によるデータ圧縮、伸長及びジッタ補正
のためのシステムのブロック図である。
のためのシステムのブロック図である。
１，２ フレーム
８ グローバルモーションベクトル
１０ ローカルモーションベクトル
２０ ビデオカメラ
２２ 実シーン
２４ 固定レンズ
２６ ズームレンズ
２８ 電荷結合素子
３０ ビデオデータバス
３２ センサデータバス
３４，３６，３８ モーション検出器（モーションセン
サ） ４０ プロセッサ ４２ ズームモニタ線 ４４ モーション補正器 ４５ エッジバッファ ４６ フィルタ ４８ チャネル ４９ モニタ ５０ フレームバッファ ５２ モーション補正器 ５４ 加算器 ５５ データ圧縮器 ５６ チャネル ５７ データ伸長器 ５８ 加算器 ６０ モーション逆補正器 ６０ａ フレームシフタ ６０ｂ フレームスケーラ ６２ フレームバッファ ６４ モニタ ７９ ジッタ補正器 ８４ ジッタフィルタ
サ） ４０ プロセッサ ４２ ズームモニタ線 ４４ モーション補正器 ４５ エッジバッファ ４６ フィルタ ４８ チャネル ４９ モニタ ５０ フレームバッファ ５２ モーション補正器 ５４ 加算器 ５５ データ圧縮器 ５６ チャネル ５７ データ伸長器 ５８ 加算器 ６０ モーション逆補正器 ６０ａ フレームシフタ ６０ｂ フレームスケーラ ６２ フレームバッファ ６４ モニタ ７９ ジッタ補正器 ８４ ジッタフィルタ
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 マイケル ゴーミッシュ
アメリカ合衆国 カリフォルニア州 ス
タンフォード クイレン ８Ｂ
(56)参考文献 特開 平３−49373（ＪＰ，Ａ)
特開 平２−76493（ＪＰ，Ａ)
特開 平５−37846（ＪＰ，Ａ)
特開 平４−302589（ＪＰ，Ａ)
特開 平２−150180（ＪＰ，Ａ)
特開 平３−117278（ＪＰ，Ａ)
特開 平１−241991（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 5/222 - 5/257
Claims (5)
- 【請求項１】 実シーンのビデオフレームデータ及びカ
メラのモーションを表わすセンサデータを出力するビデ
オカメラと、 前記センサデータを高域フィルタ処理するフィルタ手段
と、 前記フィルタ手段の出力データに応じて、前記ビデオフ
レームデータのシフトとスケーリング処理を行うモーシ
ョン補正手段と、 前記モーション補正手段から出力されるビデオフレーム
データのエッジデータを１フレーム周期の間保持し、前
記モーション補正手段において、前記シフトとスケーリ
ング処理によって廃棄されるエッジデータを埋めるため
に用いるエッジバッファ手段と、 を具備することを特徴とするビデオカメラジッタ補正装
置。 - 【請求項２】 請求項１記載のビデオカメラジッタ補正
装置を用いたデータ圧縮装置であって、 前記ビデオカメラから出力されるビデオフレームデータ
と前記モーション補正手段から出力されるシフトとスケ
ーリング処理後のビデオフレームデータとを減算して差
フレームデータを得る手段と、前記差フレームデータを
圧縮して圧縮フレームデータを得る手段と、前記圧縮フ
レームデータ及びセンスデータを出力する手段とを具備
することを特徴とするデータ圧縮装置。 - 【請求項３】 請求項１記載のビデオカメラジッタ補正
装置を用いたデータ圧縮方法であって、 前記ビデオカメラから出力されるビデオフレームデータ
と前記モーション補正手段から出力されるシフトとスケ
ーリング処理後のビデオフレームデータとを減算して差
フレームデータを得るステップと、前記差フレームデー
タを圧縮して圧縮フレームデータを得るステップと、前
記圧縮フレームデータ及びセンスデータを出力するステ
ップとを具備することを特徴とするデータ圧縮方法。 - 【請求項４】 請求項２記載のデータ圧縮装置を用いた
データ伸長装置であ って、 再生後の前フレームのビデオフレームデータを保持する
フレームバッファ手段と、圧縮フレームデータを伸長処
理して差フレームデータを得るデータ伸長手段と、前記
センスバッファ手段の前フレームのビデオフレームデー
タを入力し、センスデータに応じて逆補正された参照フ
レームデータを生成するモーション逆補正手段と、前記
データ伸長手段からの差フレームデータと前記モーショ
ン逆補正手段からの参照フレームデータとを加算してビ
デオフレームデータを再生する加算手段とを具備するこ
とを特徴とするデータ伸長装置。 - 【請求項５】 請求項３記載のデータ圧縮方法を用いた
データ伸長方法であって、圧縮フレームデータを伸長処
理して差フレームデータを得るステップと、再生後の前
フレームのビデオフレームデータを入力し、センスデー
タに応じて逆補正された参照フレームデータを生成する
ステップと、前記差フレームデータと前記参照フレーム
データとを加算してビデオフレームデータを再生するス
テップと、再生されたビデオフレームデータを出力する
とともにそのコピーを保持するステップとを有すること
を特徴とするデータ伸長方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US90662392A | 1992-06-30 | 1992-06-30 | |
| US07/906623 | 1992-06-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0670218A JPH0670218A (ja) | 1994-03-11 |
| JP3505199B2 true JP3505199B2 (ja) | 2004-03-08 |
Family
ID=25422721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12676693A Expired - Fee Related JP3505199B2 (ja) | 1992-06-30 | 1993-05-28 | ビデオカメラジッタ補正装置、データ圧縮装置、データ伸長装置、データ圧縮方法及びデータ伸長方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5430480A (ja) |
| JP (1) | JP3505199B2 (ja) |
Families Citing this family (64)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3221785B2 (ja) * | 1993-10-07 | 2001-10-22 | 株式会社日立製作所 | 撮像装置 |
| US5717611A (en) * | 1993-10-08 | 1998-02-10 | Nikon Corporation | Slight motion detecting device |
| US5889553A (en) * | 1993-11-17 | 1999-03-30 | Canon Kabushiki Kaisha | Image pickup apparatus capable of high resolution imaging |
| EP0698777B1 (en) * | 1994-07-22 | 2002-02-20 | Hughes Electronics Corporation | Satellite focal plane array imager |
| US5973733A (en) * | 1995-05-31 | 1999-10-26 | Texas Instruments Incorporated | Video stabilization system and method |
| US5926209A (en) * | 1995-07-14 | 1999-07-20 | Sensormatic Electronics Corporation | Video camera apparatus with compression system responsive to video camera adjustment |
| US5835138A (en) * | 1995-08-30 | 1998-11-10 | Sony Corporation | Image signal processing apparatus and recording/reproducing apparatus |
| US5742277A (en) * | 1995-10-06 | 1998-04-21 | Silicon Graphics, Inc. | Antialiasing of silhouette edges |
| US5706054A (en) * | 1995-12-01 | 1998-01-06 | Intel Corporation | Method and apparatus for adjusting video data to limit the effects of automatic focusing control on motion estimation video coders |
| US6314140B1 (en) * | 1995-12-28 | 2001-11-06 | Lucent Technologies Inc. | Dynamic video focus control |
| US6091767A (en) | 1997-02-03 | 2000-07-18 | Westerman; Larry Alan | System for improving efficiency of video encoders |
| US7206346B2 (en) * | 1997-06-25 | 2007-04-17 | Nippon Telegraph And Telephone Corporation | Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs |
| JP4280353B2 (ja) * | 1999-03-19 | 2009-06-17 | キヤノン株式会社 | 符号化装置、画像処理装置、符号化方法、及び記録媒体 |
| EP1177526B1 (de) * | 1999-05-07 | 2002-11-20 | Siemens Aktiengesellschaft | Verfahren und anordnung zur ermittlung einer bewegung, der ein digitalisiertes bild unterliegt, sowie computerprogramm-erzeugnis und computerlesbares speichermedium |
| GB2354656A (en) * | 1999-06-22 | 2001-03-28 | Snell & Wilcox Ltd | Electronic capture of moving images |
| JP2001251632A (ja) * | 1999-12-27 | 2001-09-14 | Toshiba Corp | 動きベクトル検出方法および装置並びに動きベクトル検出プログラム |
| DE50014846D1 (de) * | 2000-02-22 | 2008-01-24 | Siemens Ag | Verfahren zum Betrieb einer Bildaufnahmeeinrichtung und Anordnung zur Durchführung des Verfahrens |
| EP1273177A1 (en) * | 2000-03-30 | 2003-01-08 | Koninklijke Philips Electronics N.V. | Global motion estimation |
| US6842196B1 (en) * | 2000-04-04 | 2005-01-11 | Smith & Nephew, Inc. | Method and system for automatic correction of motion artifacts |
| KR100683849B1 (ko) * | 2000-06-28 | 2007-02-15 | 삼성전자주식회사 | 디지털 영상 안정화기능을 갖는 디코더 및 디지털영상안정화방법 |
| US7176962B2 (en) * | 2001-03-01 | 2007-02-13 | Nikon Corporation | Digital camera and digital processing system for correcting motion blur using spatial frequency |
| US7050500B2 (en) * | 2001-08-23 | 2006-05-23 | Sharp Laboratories Of America, Inc. | Method and apparatus for motion vector coding with global motion parameters |
| US7227896B2 (en) * | 2001-10-04 | 2007-06-05 | Sharp Laboratories Of America, Inc. | Method and apparatus for global motion estimation |
| US7119837B2 (en) * | 2002-06-28 | 2006-10-10 | Microsoft Corporation | Video processing system and method for automatic enhancement of digital video |
| US20040100563A1 (en) * | 2002-11-27 | 2004-05-27 | Sezai Sablak | Video tracking system and method |
| TW581858B (en) * | 2002-12-16 | 2004-04-01 | Ind Tech Res Inst | Method and apparatus for color depth inspection of a display |
| EP1711006B1 (en) | 2004-01-26 | 2018-12-12 | NEC Corporation | Video type judgment system, video processing system, video processing method, and video processing program |
| US7382400B2 (en) * | 2004-02-19 | 2008-06-03 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
| US7742077B2 (en) * | 2004-02-19 | 2010-06-22 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
| WO2005093654A2 (en) | 2004-03-25 | 2005-10-06 | Fatih Ozluturk | Method and apparatus to correct digital image blur due to motion of subject or imaging device |
| US20050213662A1 (en) * | 2004-03-29 | 2005-09-29 | James Owens | Method of compression and digital imaging device employing compression algorithm |
| US20050270372A1 (en) * | 2004-06-02 | 2005-12-08 | Henninger Paul E Iii | On-screen display and privacy masking apparatus and method |
| US9210312B2 (en) * | 2004-06-02 | 2015-12-08 | Bosch Security Systems, Inc. | Virtual mask for use in autotracking video camera images |
| US8212872B2 (en) * | 2004-06-02 | 2012-07-03 | Robert Bosch Gmbh | Transformable privacy mask for video camera images |
| US7684628B2 (en) * | 2004-08-12 | 2010-03-23 | Industrial Technology Research Institute | System and method for non-iterative global motion estimation |
| US20060078162A1 (en) * | 2004-10-08 | 2006-04-13 | Dynapel, Systems, Inc. | System and method for stabilized single moving camera object tracking |
| JP4618676B2 (ja) | 2005-04-28 | 2011-01-26 | 株式会社リコー | 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体 |
| WO2006122063A2 (en) * | 2005-05-09 | 2006-11-16 | Ultrachip Inc. | Turbo motion jpeg |
| US20070076982A1 (en) * | 2005-09-30 | 2007-04-05 | Petrescu Doina I | System and method for video stabilization |
| US7841967B1 (en) | 2006-04-26 | 2010-11-30 | Dp Technologies, Inc. | Method and apparatus for providing fitness coaching using a mobile device |
| US8902154B1 (en) | 2006-07-11 | 2014-12-02 | Dp Technologies, Inc. | Method and apparatus for utilizing motion user interface |
| US7982770B1 (en) | 2006-09-08 | 2011-07-19 | Dp Technologies, Inc. | Method and apparatus to provide improved image quality in a camera |
| US8620353B1 (en) | 2007-01-26 | 2013-12-31 | Dp Technologies, Inc. | Automatic sharing and publication of multimedia from a mobile device |
| US8949070B1 (en) | 2007-02-08 | 2015-02-03 | Dp Technologies, Inc. | Human activity monitoring device with activity identification |
| US8555282B1 (en) | 2007-07-27 | 2013-10-08 | Dp Technologies, Inc. | Optimizing preemptive operating system with motion sensing |
| US8040382B2 (en) * | 2008-01-07 | 2011-10-18 | Dp Technologies, Inc. | Method and apparatus for improving photo image quality |
| US8285344B2 (en) | 2008-05-21 | 2012-10-09 | DP Technlogies, Inc. | Method and apparatus for adjusting audio for a user environment |
| US8996332B2 (en) | 2008-06-24 | 2015-03-31 | Dp Technologies, Inc. | Program setting adjustments based on activity identification |
| DE102008042562A1 (de) | 2008-10-02 | 2010-04-08 | Robert Bosch Gmbh | Kamera und korrespondierendes Verfahren zur Auswahl eines aufzunehmenden Objekts |
| US8872646B2 (en) | 2008-10-08 | 2014-10-28 | Dp Technologies, Inc. | Method and system for waking up a device due to motion |
| US8064759B1 (en) | 2009-04-15 | 2011-11-22 | Dp Technologies, Inc. | Method and apparatus for motion-state based image acquisition |
| US9529437B2 (en) | 2009-05-26 | 2016-12-27 | Dp Technologies, Inc. | Method and apparatus for a motion state aware device |
| US8823813B2 (en) | 2011-06-06 | 2014-09-02 | Apple Inc. | Correcting rolling shutter using image stabilization |
| US8648919B2 (en) | 2011-06-06 | 2014-02-11 | Apple Inc. | Methods and systems for image stabilization |
| US8736664B1 (en) | 2012-01-15 | 2014-05-27 | James W. Gruenig | Moving frame display |
| US8988341B2 (en) | 2012-06-08 | 2015-03-24 | Apple Inc. | Camera-assisted motion estimation for application control |
| US9635257B2 (en) | 2014-05-12 | 2017-04-25 | Gopro, Inc. | Dual-microphone camera |
| US9762846B2 (en) | 2015-05-08 | 2017-09-12 | Microsoft Technology Licensing, Llc | Real-time hyper-lapse video creation via frame selection |
| WO2016181854A1 (ja) * | 2015-05-08 | 2016-11-17 | コニカミノルタ株式会社 | ガス濃度測定装置 |
| US10936881B2 (en) | 2015-09-23 | 2021-03-02 | Datalogic Usa, Inc. | Imaging systems and methods for tracking objects |
| EP3301928A1 (en) * | 2016-09-30 | 2018-04-04 | Thomson Licensing | Methods, devices and stream to encode global rotation motion compensated images |
| US10825010B2 (en) | 2016-12-30 | 2020-11-03 | Datalogic Usa, Inc. | Self-checkout with three dimensional scanning |
| EP3522539A1 (en) * | 2018-02-01 | 2019-08-07 | Vrije Universiteit Brussel | Method and apparatus for compensating motion for a holographic video stream |
| CN110557522A (zh) * | 2018-05-31 | 2019-12-10 | 阿里巴巴集团控股有限公司 | 一种去除视频抖动的方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2116397B (en) * | 1982-02-20 | 1985-11-06 | Mervyn Oliver Wilson | Video picture stabilising system |
| JPS60143330A (ja) * | 1983-12-29 | 1985-07-29 | Matsushita Electric Ind Co Ltd | 撮影装置 |
| EP0188269B1 (en) * | 1985-01-16 | 1994-04-20 | Mitsubishi Denki Kabushiki Kaisha | Video encoding apparatus |
| JP3143110B2 (ja) * | 1989-07-24 | 2001-03-07 | 株式会社リコー | 画像入力装置 |
| US5103306A (en) * | 1990-03-28 | 1992-04-07 | Transitions Research Corporation | Digital image compression employing a resolution gradient |
-
1993
- 1993-05-28 JP JP12676693A patent/JP3505199B2/ja not_active Expired - Fee Related
-
1994
- 1994-03-07 US US08/207,244 patent/US5430480A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0670218A (ja) | 1994-03-11 |
| US5430480A (en) | 1995-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3505199B2 (ja) | ビデオカメラジッタ補正装置、データ圧縮装置、データ伸長装置、データ圧縮方法及びデータ伸長方法 | |
| US20190364210A1 (en) | Video stabilization | |
| US7242850B2 (en) | Frame-interpolated variable-rate motion imaging system | |
| JP6140171B2 (ja) | 受信されたビデオの安定化 | |
| EP1269400A4 (en) | DIGITAL CAMERA WITH HIGH RESOLUTION AND HIGH SPEED | |
| US4494140A (en) | T.V. apparatus for movement control | |
| KR20090107911A (ko) | 화상 처리 장치, 촬상 장치, 화상 처리 방법 및 프로그램 | |
| JPS63166370A (ja) | 画像動き補正装置 | |
| JP2860702B2 (ja) | 動きベクトル検出装置 | |
| KR102003460B1 (ko) | 왜곡제거장치 및 방법 | |
| JP2009152802A (ja) | 映像処理装置及び映像処理システム及び映像処理方法及びプログラム | |
| JP3279342B2 (ja) | ビデオカメラにおける手振れ補正装置 | |
| JPH09130748A (ja) | 画像信号処理装置および記録／再生装置 | |
| JP2001078075A (ja) | 画像入力装置及び画像入力方法 | |
| JP2018182564A (ja) | 映像再生装置とその制御方法及びプログラム | |
| JP3799842B2 (ja) | 静的映像検出方法、及び装置 | |
| JP2001024932A (ja) | 画像入力装置及び画像入力方法 | |
| JPS61126407A (ja) | デイザ法を用いた移動体の追跡装置 | |
| GB2091970A (en) | Video processing system for bandwidth reduction | |
| JP3058767B2 (ja) | 移動体検出方法 | |
| JP4250229B2 (ja) | 画像処理装置 | |
| JPH10243341A (ja) | 画像検出装置及び画像検出方法 | |
| JP2000278588A (ja) | ビデオカメラ | |
| JPH08256342A (ja) | 動画像処理装置およびこれを利用した動画像伝送システム | |
| JPH04207480A (ja) | 動きベクトル検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20031209 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20031215 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071219 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081219 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081219 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091219 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |