JPH11252440A - 画像を整列させて目標点にカメラを固定する方法及び装置 - Google Patents
画像を整列させて目標点にカメラを固定する方法及び装置Info
- Publication number
- JPH11252440A JPH11252440A JP10322296A JP32229698A JPH11252440A JP H11252440 A JPH11252440 A JP H11252440A JP 10322296 A JP10322296 A JP 10322296A JP 32229698 A JP32229698 A JP 32229698A JP H11252440 A JPH11252440 A JP H11252440A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- current image
- target
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Closed-Circuit Television Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【課題】モータ付きマウント載置カメラを目標点に固定
する方法を提供する。 【解決手段】 シーンを表す複数の画像を受け取り、第
１の座標位置に目標点を含む第１の表示参照画像を複数
の画像から選択し、複数の画像中の現在の画像内で、現
在の画像を第１の表示参照画像に写像する変換を推定
し、変換を使用して現在の画像内の目標点の第２の座標
位置を推定し、現在の画像内の点と第１の表示参照画像
内の点との間の画像スリップを計算し、画像スリップを
カメラを固定する角度補正値に変換し、モータ付きマウ
ントに対して閉ループ制御を使い角度補正を修正し、現
在の画像を第１の表示参照画像に整列させる変換を使用
して現在の画像をワーピングする。このワーピングは、
機械的安定化を使用しても除去できないカメラの動きが
存在する場合も、測定遅延とアクチュエータ遅延のため
にモータ制御の遅延や発振が存在する場合もシーンの安
定な映像を提供する。
する方法を提供する。 【解決手段】 シーンを表す複数の画像を受け取り、第
１の座標位置に目標点を含む第１の表示参照画像を複数
の画像から選択し、複数の画像中の現在の画像内で、現
在の画像を第１の表示参照画像に写像する変換を推定
し、変換を使用して現在の画像内の目標点の第２の座標
位置を推定し、現在の画像内の点と第１の表示参照画像
内の点との間の画像スリップを計算し、画像スリップを
カメラを固定する角度補正値に変換し、モータ付きマウ
ントに対して閉ループ制御を使い角度補正を修正し、現
在の画像を第１の表示参照画像に整列させる変換を使用
して現在の画像をワーピングする。このワーピングは、
機械的安定化を使用しても除去できないカメラの動きが
存在する場合も、測定遅延とアクチュエータ遅延のため
にモータ制御の遅延や発振が存在する場合もシーンの安
定な映像を提供する。
Description
【０００１】
【発明の属する技術分野】本発明は一般的には画像処理
システムに関し、更に詳細には、画像を整列させて目標
点にカメラを固定する方法及び装置に関する。
システムに関し、更に詳細には、画像を整列させて目標
点にカメラを固定する方法及び装置に関する。
【０００２】
【従来の技術】航空機や自動車といった移動乗物からの
シーン（scene、場面）の撮影又はビデオ監視中の一般
的な問題は、どのように、カメラをシーン内の静止目標
にセンタ合せされたままにしておくかということであ
る。このようなセンタ合せは、安定して見えて、見やす
いビデオ映像をもたらすという理由で望ましい。一点に
固定されていないビデオは、プラットホーム（platfor
m）が移動しているためにかなり動く。この動きはビデ
オ映像を「ジッタリ（jittery）（小刻みに震えるよう
に）」に見せ、また所望のシーンの大部分を時には画像
から外してしまうことさえある。この問題は、視野が狭
く且つカメラプラットホームが空中監視等の方位の急激
な変化を受けるような場合に、特に激烈に現れる。
シーン（scene、場面）の撮影又はビデオ監視中の一般
的な問題は、どのように、カメラをシーン内の静止目標
にセンタ合せされたままにしておくかということであ
る。このようなセンタ合せは、安定して見えて、見やす
いビデオ映像をもたらすという理由で望ましい。一点に
固定されていないビデオは、プラットホーム（platfor
m）が移動しているためにかなり動く。この動きはビデ
オ映像を「ジッタリ（jittery）（小刻みに震えるよう
に）」に見せ、また所望のシーンの大部分を時には画像
から外してしまうことさえある。この問題は、視野が狭
く且つカメラプラットホームが空中監視等の方位の急激
な変化を受けるような場合に、特に激烈に現れる。
【０００３】カメラを一点にセンタ合せしておくという
作業は、一般的に、一点「固定（fixating）」と呼ばれ
る。一点固定の伝統的手法は、主としてカメラを安定に
保持するという機械的な安定化に依存してきた。通常こ
れらの手法は、カメラプラットホームの回転を感知する
ためにジャイロスコープを使い、その回転を補正するす
るためにモータを使用している。しかしながらこのよう
なシステムのコストは回転軸の軸数及び安定化の所望精
度によって急激に増加する。
作業は、一般的に、一点「固定（fixating）」と呼ばれ
る。一点固定の伝統的手法は、主としてカメラを安定に
保持するという機械的な安定化に依存してきた。通常こ
れらの手法は、カメラプラットホームの回転を感知する
ためにジャイロスコープを使い、その回転を補正するす
るためにモータを使用している。しかしながらこのよう
なシステムのコストは回転軸の軸数及び安定化の所望精
度によって急激に増加する。
【０００４】最近は、機械的な安定化を補うために電子
的画像整合装置を加える手法がとられている。この装置
は、画像の中心の回りの小画像領域（一般的にはサイズ
が３２×３２ピクセルの）上で動作し、一つのビデオフ
レームから次のビデオフレームまでのこの領域の並行的
画像移動を推定するために相関整合（correlation mat
ching）を使う。相関整合を使えば、「画像スリップ」
の量を測定できる。画像スリップは、現在の画像の中心
が所望の固定点から移動した距離である。この画像スリ
ップは、カメラを所望の固定点に再度センタ合せするた
めに、角度補正量に変換されて、モータ付きのパン／チ
ルト（pan/tilt）カメラに適用される。こうしてカメラ
固定は、画像スリップを測定するために相関整合を使う
機械的安定化と閉ループパン／チルト制御との組合せに
よって達成され得る。この相関整合手法の暗黙の前提
は、画像内のパッチ（patch）モーションが固定（rigi
d）＜ｘ，ｙ＞移動を使用して表せるということであ
る。パッチモーションが純粋な平行移動と異なっている
か、或いはパッチが不十分な構造（texture）を含む場
合には、この手法を使用して作成された運動の推定値は
誤差を含むことになるであろう。これらの誤差は時間の
経過に従って累積されるので、このパッチと固定点と
は、目標からドリフトして外れていくであろう。
的画像整合装置を加える手法がとられている。この装置
は、画像の中心の回りの小画像領域（一般的にはサイズ
が３２×３２ピクセルの）上で動作し、一つのビデオフ
レームから次のビデオフレームまでのこの領域の並行的
画像移動を推定するために相関整合（correlation mat
ching）を使う。相関整合を使えば、「画像スリップ」
の量を測定できる。画像スリップは、現在の画像の中心
が所望の固定点から移動した距離である。この画像スリ
ップは、カメラを所望の固定点に再度センタ合せするた
めに、角度補正量に変換されて、モータ付きのパン／チ
ルト（pan/tilt）カメラに適用される。こうしてカメラ
固定は、画像スリップを測定するために相関整合を使う
機械的安定化と閉ループパン／チルト制御との組合せに
よって達成され得る。この相関整合手法の暗黙の前提
は、画像内のパッチ（patch）モーションが固定（rigi
d）＜ｘ，ｙ＞移動を使用して表せるということであ
る。パッチモーションが純粋な平行移動と異なっている
か、或いはパッチが不十分な構造（texture）を含む場
合には、この手法を使用して作成された運動の推定値は
誤差を含むことになるであろう。これらの誤差は時間の
経過に従って累積されるので、このパッチと固定点と
は、目標からドリフトして外れていくであろう。
【０００５】よく知られているように、単にビデオ画像
の現在のフレームの各ピクセルの振幅から、記憶された
前のビデオ画像フレーム内の当該ピクセルの振幅を減算
することによって機能させる、静止プラットホームから
移動物体を指示するためのビデオ技術がある。これは、
静止物体を画成していたこれらのピクセルを実質的に除
去するものである。このフレーム差を使う手法に採用で
きるディジタル画像処理技術が、１９８７年９月８日に
付与された、Anderson等による米国特許第４，６９２，
８０６号明細書に開示されており、本明細書に援用され
ている。
の現在のフレームの各ピクセルの振幅から、記憶された
前のビデオ画像フレーム内の当該ピクセルの振幅を減算
することによって機能させる、静止プラットホームから
移動物体を指示するためのビデオ技術がある。これは、
静止物体を画成していたこれらのピクセルを実質的に除
去するものである。このフレーム差を使う手法に採用で
きるディジタル画像処理技術が、１９８７年９月８日に
付与された、Anderson等による米国特許第４，６９２，
８０６号明細書に開示されており、本明細書に援用され
ている。
【０００６】１９８９年３月にカリフォルニア州アーヴ
ィンで開催されたビジュアルモーション（視覚的運動）
に関するＩＥＥＥワークショップでの、「移動カメラに
よる目標追跡、動的運動解析の応用」と題する、Burt等
による論文も本明細書に援用されている。Burt等は、カ
メラが動いている場合は、フレーム差を計算する前に整
列させるために、連続する画像フレームを電子的にシフ
トさせて回転させることによって、結果として得られる
画像の動きを補正することが可能である場合が多いこと
を教示している。電子的整列は、カメラが回転はするが
平行移動はしないとき、或いはカメラの視野の領域内の
物体が比較的奥行きの狭い範囲内に現れるときといっ
た、シーンの動きが比較的小さい視差を含んでいるとき
に有効である単純な画像ワープ（warp）（例えば、アフ
ィン変換）に基づいている。
ィンで開催されたビジュアルモーション（視覚的運動）
に関するＩＥＥＥワークショップでの、「移動カメラに
よる目標追跡、動的運動解析の応用」と題する、Burt等
による論文も本明細書に援用されている。Burt等は、カ
メラが動いている場合は、フレーム差を計算する前に整
列させるために、連続する画像フレームを電子的にシフ
トさせて回転させることによって、結果として得られる
画像の動きを補正することが可能である場合が多いこと
を教示している。電子的整列は、カメラが回転はするが
平行移動はしないとき、或いはカメラの視野の領域内の
物体が比較的奥行きの狭い範囲内に現れるときといっ
た、シーンの動きが比較的小さい視差を含んでいるとき
に有効である単純な画像ワープ（warp）（例えば、アフ
ィン変換）に基づいている。
【０００７】更に、１９９７年５月１３日に発行された
BurtとHannaによる米国特許第５，６２９，９８８号明
細書の内容も、本明細書に援用されている。この特許
は、処理されて表示されたビデオから望ましくないカメ
ラの動きを除去する方法を開示している。この方法は、
カメラに誘起された動きを決定するために、連続するカ
メラ画像間で、或いは各画像と記憶された参照画像との
間で画像フレームを照合するものである。
BurtとHannaによる米国特許第５，６２９，９８８号明
細書の内容も、本明細書に援用されている。この特許
は、処理されて表示されたビデオから望ましくないカメ
ラの動きを除去する方法を開示している。この方法は、
カメラに誘起された動きを決定するために、連続するカ
メラ画像間で、或いは各画像と記憶された参照画像との
間で画像フレームを照合するものである。
【０００８】
【発明が解決しようとする課題】しかしながらこれらの
開示のいずれも、選択された目標点がカメラの視野内で
センタ合せを維持すべきであるという、カメラ固定の問
題を取り扱っていない。本発明の画像整列技術は、特に
モータの遅延時間の存在する場合にカメラ固定の問題を
克服することに向けられている。
開示のいずれも、選択された目標点がカメラの視野内で
センタ合せを維持すべきであるという、カメラ固定の問
題を取り扱っていない。本発明の画像整列技術は、特に
モータの遅延時間の存在する場合にカメラ固定の問題を
克服することに向けられている。
【０００９】
【課題を解決するための手段】この問題及び他の必要を
満たすため、並びに目的を考慮して、本発明は画像整列
を用いて目標点にカメラを固定するための方法及び装置
を提供する。一実施形態において本方法は、下記のステ
ップを含む。
満たすため、並びに目的を考慮して、本発明は画像整列
を用いて目標点にカメラを固定するための方法及び装置
を提供する。一実施形態において本方法は、下記のステ
ップを含む。
【００１０】即ち、ａ）一つのシーンを表す複数の画像
を受け取るステップと、ｂ）これら複数の画像の中か
ら、第１の座標位置に目標点を含む第１の表示参照画像
を選択するステップと、ｃ）これら複数の画像の中の現
在の画像から、その現在の画像を第１表示参照画像に写
像する変換を推定するステップと、ｄ）その変換を使用
して現在の画像内の目標点の第２の座標位置を推定する
ステップと、ｅ）現在の画像内の目標点と第１表示参照
画像内の目標点との間の画像スリップを計算するステッ
プと、ｆ）その画像スリップをカメラを固定するための
角度補正量に変換するステップと、ｇ）モータ付きマウ
ントに対して閉ループ制御を使うことによってこの角度
補正を修正するステップと、ｈ）安定な映像を得るため
に現在の画像を第１表示参照画像に整列させるために前
記変換を使用して現在の画像をワーピングするステップ
とを含む。
を受け取るステップと、ｂ）これら複数の画像の中か
ら、第１の座標位置に目標点を含む第１の表示参照画像
を選択するステップと、ｃ）これら複数の画像の中の現
在の画像から、その現在の画像を第１表示参照画像に写
像する変換を推定するステップと、ｄ）その変換を使用
して現在の画像内の目標点の第２の座標位置を推定する
ステップと、ｅ）現在の画像内の目標点と第１表示参照
画像内の目標点との間の画像スリップを計算するステッ
プと、ｆ）その画像スリップをカメラを固定するための
角度補正量に変換するステップと、ｇ）モータ付きマウ
ントに対して閉ループ制御を使うことによってこの角度
補正を修正するステップと、ｈ）安定な映像を得るため
に現在の画像を第１表示参照画像に整列させるために前
記変換を使用して現在の画像をワーピングするステップ
とを含む。
【００１１】前述の一般的説明及び下記の詳細説明は、
本発明に関する例示的説明であって本発明を限定するも
のではないことを理解されたい。
本発明に関する例示的説明であって本発明を限定するも
のではないことを理解されたい。
【００１２】
【発明の実施の形態】本発明は、添付図面と関連して読
むと、下記の詳細な説明から最もよく理解される。
むと、下記の詳細な説明から最もよく理解される。
【００１３】図１は、本発明を実施するために好適な、
目標にカメラを固定する装置１００のブロック図を示
す。本装置は、ジンバル付きマウント１０６上に安定設
置された画像源１０２と、コンピュータシステム１０４
と、１個以上の出力装置１２４と、１個以上の入力装置
１２６とを含んでいる。画像源１０２は、ビデオカメ
ラ、赤外線カメラ、或いは一つのシーンを表す一連の２
次元画像を生成するその他のセンサであってもよい。本
装置は一般的にディジタル画像を処理する。従って、画
像源がアナログ画像を生成する場合には、画像源とコン
ピュータシステムとの間でディジタイザ（図示せず）を
使うこともできる。
目標にカメラを固定する装置１００のブロック図を示
す。本装置は、ジンバル付きマウント１０６上に安定設
置された画像源１０２と、コンピュータシステム１０４
と、１個以上の出力装置１２４と、１個以上の入力装置
１２６とを含んでいる。画像源１０２は、ビデオカメ
ラ、赤外線カメラ、或いは一つのシーンを表す一連の２
次元画像を生成するその他のセンサであってもよい。本
装置は一般的にディジタル画像を処理する。従って、画
像源がアナログ画像を生成する場合には、画像源とコン
ピュータシステムとの間でディジタイザ（図示せず）を
使うこともできる。
【００１４】汎用コンピュータ１０４は、画像処理とシ
ーン解析と画像表示とを容易にする。具体的に言えば、
本コンピュータシステムは、データバッファ１１０と、
中央処理装置（ＣＰＵ）１１２と、サポート回路１１４
と、ランダムアクセスメモリ（ＲＡＭ）１１６と、リー
ドオンリーメモリ（ＲＯＭ）１１８と、ディスプレイド
ライバ１２０と、入出力バッファ１０８とを含んでい
る。更にユーザは、キーボード、マウス、トラックボー
ル、タッチパッド等といった１個以上の入力装置１２６
を介して、このコンピュータシステムと対話することが
できる。またコンピュータシステムは、コンピュータモ
ニタといった出力装置１２４に画像を表示する。またそ
の代わりとしてコンピュータシステムは、例えば１区切
りの画像をテレビ信号に変換できる画像処理システムや
コンピュータモニタ上に現れる表示の「ハードコピー」
を出力するプリンタといった他の出力装置と対話するこ
ともできる。
ーン解析と画像表示とを容易にする。具体的に言えば、
本コンピュータシステムは、データバッファ１１０と、
中央処理装置（ＣＰＵ）１１２と、サポート回路１１４
と、ランダムアクセスメモリ（ＲＡＭ）１１６と、リー
ドオンリーメモリ（ＲＯＭ）１１８と、ディスプレイド
ライバ１２０と、入出力バッファ１０８とを含んでい
る。更にユーザは、キーボード、マウス、トラックボー
ル、タッチパッド等といった１個以上の入力装置１２６
を介して、このコンピュータシステムと対話することが
できる。またコンピュータシステムは、コンピュータモ
ニタといった出力装置１２４に画像を表示する。またそ
の代わりとしてコンピュータシステムは、例えば１区切
りの画像をテレビ信号に変換できる画像処理システムや
コンピュータモニタ上に現れる表示の「ハードコピー」
を出力するプリンタといった他の出力装置と対話するこ
ともできる。
【００１５】データバッファ１１０は、画像源とＣＰＵ
との間のデータ速度の等化（フレームバッファリング）
を行う。通常は当該バッファは、先入れ先だし（ＦＩＦ
Ｏ）バッファである。このようなバッファは通常、一つ
の画像源によって生成され得るデータ速度に柔軟に対応
しながら、ＣＰＵに一定のデータ速度を供給するために
使用される。
との間のデータ速度の等化（フレームバッファリング）
を行う。通常は当該バッファは、先入れ先だし（ＦＩＦ
Ｏ）バッファである。このようなバッファは通常、一つ
の画像源によって生成され得るデータ速度に柔軟に対応
しながら、ＣＰＵに一定のデータ速度を供給するために
使用される。
【００１６】通常ＣＰＵ１１２は、パワーＰＣ、ペンテ
ィアム、その他一般的に入手可能なプロセッサといった
汎用プロセッサである。パワーＰＣはニューヨーク州ア
ーモンクのＩＢＭの登録商標であり、ペンティアムはカ
リフォルニア州サンタクララのインテル社の登録商標で
ある。本発明のソフトウエアの実施形態は、いずれかの
特定のプロセッサ上で実行することを必要としないの
で、本発明のルーチンは、いかなるタイプのプロセッサ
上でも、また或いは並列処理コンピュータ環境における
複数プロセッサのいかなる組合せ上でも実行できる。更
に、汎用コンピュータを使用せずに実時間画像処理装置
の中でシーン解析を完了することもできる。
ィアム、その他一般的に入手可能なプロセッサといった
汎用プロセッサである。パワーＰＣはニューヨーク州ア
ーモンクのＩＢＭの登録商標であり、ペンティアムはカ
リフォルニア州サンタクララのインテル社の登録商標で
ある。本発明のソフトウエアの実施形態は、いずれかの
特定のプロセッサ上で実行することを必要としないの
で、本発明のルーチンは、いかなるタイプのプロセッサ
上でも、また或いは並列処理コンピュータ環境における
複数プロセッサのいかなる組合せ上でも実行できる。更
に、汎用コンピュータを使用せずに実時間画像処理装置
の中でシーン解析を完了することもできる。
【００１７】ＣＰＵ１１２は、ＲＡＭ１１６と、ＲＯＭ
１１８と、そして双対プロセッサ（co-processor
(s)）、クロック回路、キャッシュ、電源、その他周知
の回路などのサポート回路１１４等の種々の回路ととも
に動作する。サポート回路はまた、画像ワーパやフィル
タリング回路といった画像処理を高速化するための専用
ハードウエアも含むことがある。このようなフィルタリ
ングチップの一つは、米国特許第５，５６１，６１７号
明細書でvan der Wal等によって述べられているＰＹＲ
−１回路である。これら種々のコンピュータコンポーネ
ントの動作と相互関係とは本技術ではよく知られいるた
めこれ以上説明はしない。ディスプレイドライバ１２０
は、ビデオカード、プリンタドライバ、或いはその他出
力装置が必要とする一般的なドライバのソフトウエア又
はハードウエアであってよい。
１１８と、そして双対プロセッサ（co-processor
(s)）、クロック回路、キャッシュ、電源、その他周知
の回路などのサポート回路１１４等の種々の回路ととも
に動作する。サポート回路はまた、画像ワーパやフィル
タリング回路といった画像処理を高速化するための専用
ハードウエアも含むことがある。このようなフィルタリ
ングチップの一つは、米国特許第５，５６１，６１７号
明細書でvan der Wal等によって述べられているＰＹＲ
−１回路である。これら種々のコンピュータコンポーネ
ントの動作と相互関係とは本技術ではよく知られいるた
めこれ以上説明はしない。ディスプレイドライバ１２０
は、ビデオカード、プリンタドライバ、或いはその他出
力装置が必要とする一般的なドライバのソフトウエア又
はハードウエアであってよい。
【００１８】ＲＡＭ１１６は、本発明のソフトウエア手
段を記憶する。通常、本発明のルーチンは、大容量記憶
装置（図示せず）に記憶されており、ＣＰＵ１１２が実
行されるときにＲＡＭ１１６内に一時記憶するために呼
び出される。図１において、本発明は画像整列ルーチン
１２２に具体的に実現されている。
段を記憶する。通常、本発明のルーチンは、大容量記憶
装置（図示せず）に記憶されており、ＣＰＵ１１２が実
行されるときにＲＡＭ１１６内に一時記憶するために呼
び出される。図１において、本発明は画像整列ルーチン
１２２に具体的に実現されている。
【００１９】入出力（Ｉ／Ｏ）バッファ１０８は、コン
ピュータシステム１０４とジンバル付きマウント１０６
との間の適当なデータインタフェースを提供する。Ｉ／
Ｏバッファ１０８は、コンピュータシステム内に常駐し
てもよく、コンピュータシステム外にあってもよいこと
は認められるであろう。画像整列ルーチン１２２は、パ
ンやチルト時に画像源１０２の観察角が変えられるよう
に、ジンバル付きマウント１０６の空間的整列状態を修
正する制御信号をそのマウント１０６に与える。これ
は、マウント１０６のパンモータとチルトモータ（図示
せず）がこの修正に比例した速度を達成するように指令
される在来型の比例積分（ＰＩ）負帰還ループによって
行うことができる。
ピュータシステム１０４とジンバル付きマウント１０６
との間の適当なデータインタフェースを提供する。Ｉ／
Ｏバッファ１０８は、コンピュータシステム内に常駐し
てもよく、コンピュータシステム外にあってもよいこと
は認められるであろう。画像整列ルーチン１２２は、パ
ンやチルト時に画像源１０２の観察角が変えられるよう
に、ジンバル付きマウント１０６の空間的整列状態を修
正する制御信号をそのマウント１０６に与える。これ
は、マウント１０６のパンモータとチルトモータ（図示
せず）がこの修正に比例した速度を達成するように指令
される在来型の比例積分（ＰＩ）負帰還ループによって
行うことができる。
【００２０】画像整列ルーチン１２２の説明を、まず定
義から始める。整列の計算時に使われるシーン表面は
「目標面」であり、当該シーンのカメラ内の画像は「目
標画像」である。カメラがセンタ合せされる（固定され
る）べき目標面上の点は、「目標点」である。目標面
は、カメラの視野内に存在するシーンのすべてであって
もよく、また目標点は目標面上に存在すると想定してよ
い。固定動作は、所望の固定点が既知の画像座標（例え
ば画像の中心）になっている画像から始める。この画像
は、以下に示すように、オペレータから与えられること
も、他の情報源から来ることも可能である。この画像
は、参照画像である。
義から始める。整列の計算時に使われるシーン表面は
「目標面」であり、当該シーンのカメラ内の画像は「目
標画像」である。カメラがセンタ合せされる（固定され
る）べき目標面上の点は、「目標点」である。目標面
は、カメラの視野内に存在するシーンのすべてであって
もよく、また目標点は目標面上に存在すると想定してよ
い。固定動作は、所望の固定点が既知の画像座標（例え
ば画像の中心）になっている画像から始める。この画像
は、以下に示すように、オペレータから与えられること
も、他の情報源から来ることも可能である。この画像
は、参照画像である。
【００２１】画像整列ルーチン１２２は、複数の異なる
視点から見た画像源１０２からの一連のビデオフレーム
に依存している。この一連のビデオフレームは次のよう
に、 ｛Ｆ0，Ｆ1，Ｆ2，…Ｆi，Ｆj，…Ｆc，…，Ｆn｝ と書くことができる。ここでＦ0は表示参照フレームで
あり、Ｆcは現在のフレームである。
視点から見た画像源１０２からの一連のビデオフレーム
に依存している。この一連のビデオフレームは次のよう
に、 ｛Ｆ0，Ｆ1，Ｆ2，…Ｆi，Ｆj，…Ｆc，…，Ｆn｝ と書くことができる。ここでＦ0は表示参照フレームで
あり、Ｆcは現在のフレームである。
【００２２】j iＭは、フレームＦiをワープしてフレー
ムＦjを整合させる変換を表すものとする。画像安定化
の問題は、すべての変換t 0Ｍｔ∈｛１，２，…，Ｎ｝を
見つけることと、各フレームが表示参照フレームと整列
するようにワープされる、「安定化された」画像、即ち
すべてのｔ∈｛０，１，…，Ｎ｝に関するt 0Ｍ（Ｆt）
を表示することとである。
ムＦjを整合させる変換を表すものとする。画像安定化
の問題は、すべての変換t 0Ｍｔ∈｛１，２，…，Ｎ｝を
見つけることと、各フレームが表示参照フレームと整列
するようにワープされる、「安定化された」画像、即ち
すべてのｔ∈｛０，１，…，Ｎ｝に関するt 0Ｍ（Ｆt）
を表示することとである。
【００２３】時間の経過につれて表示参照フレームとそ
の後に続くフレームとの間に累積される画像の大きな動
きのために（例えば、視点が徐々に変化するために）、
これらのフレーム間の動きを直接推定するのは容易でな
い。従ってr 0Ｍが推定される整列参照フレームＦrが維
持される。現在のフレームＦcは、c rＭを与えるこのフ
レームＦrに整列させられる。所望の変換c 0Ｍは、従っ
て式（１）によって与えられる。
の後に続くフレームとの間に累積される画像の大きな動
きのために（例えば、視点が徐々に変化するために）、
これらのフレーム間の動きを直接推定するのは容易でな
い。従ってr 0Ｍが推定される整列参照フレームＦrが維
持される。現在のフレームＦcは、c rＭを与えるこのフ
レームＦrに整列させられる。所望の変換c 0Ｍは、従っ
て式（１）によって与えられる。
【００２４】
【数１】 c rＭが「意味ある（significant）」画像変位が発生し
たことを示すときは何時でも、整列参照フレームは現在
のフレームに取り替えられる。平均ピクセル移動が５ピ
クセルを超えたときは何時でもこれが発生することは認
められるであろう。
たことを示すときは何時でも、整列参照フレームは現在
のフレームに取り替えられる。平均ピクセル移動が５ピ
クセルを超えたときは何時でもこれが発生することは認
められるであろう。
【００２５】参照フレームを与えれば、現在のフレーム
をその参照フレームに最もよく写像するパラメトリック
画像変換を推定するために電子的多重解像度画像処理法
を使うことができることも認められるであろう。これら
の方法は、本技術分野で今まで説明されてきており、周
知である。このような方法の一つは、１９９２年のコン
ピュータビジョンに関するヨーロッパ会議の議事録の
「階層的モデルに基づく動き推定」の中でJ.R.Bergen等
によって説明されており、本明細書に援用されている。
をその参照フレームに最もよく写像するパラメトリック
画像変換を推定するために電子的多重解像度画像処理法
を使うことができることも認められるであろう。これら
の方法は、本技術分野で今まで説明されてきており、周
知である。このような方法の一つは、１９９２年のコン
ピュータビジョンに関するヨーロッパ会議の議事録の
「階層的モデルに基づく動き推定」の中でJ.R.Bergen等
によって説明されており、本明細書に援用されている。
【００２６】もう一つ別の方法は、１９９４年のコンピ
ュータビジョンの応用に関するワークショップの「実時
間シーン安定化とモザイク構造」の中でM.Hansen等によ
って説明されており、本明細書に援用されている。更に
第３の方法は、１９９７年５月１３日に付与された特許
第５，６２９，９８８号明細書の中でBurt等によって説
明されており、本明細書に援用されている。
ュータビジョンの応用に関するワークショップの「実時
間シーン安定化とモザイク構造」の中でM.Hansen等によ
って説明されており、本明細書に援用されている。更に
第３の方法は、１９９７年５月１３日に付与された特許
第５，６２９，９８８号明細書の中でBurt等によって説
明されており、本明細書に援用されている。
【００２７】使用される特定のパラメトリック変換が観
察されているシーンのタイプとカメラの動きとに依存す
るということは理解されるであろう。使用される最も典
型的な変換は、平行移動的変換（画像に整列させられる
二つの直交座標方向の各画像変換ごとに１個で合計２個
のパラメータからなる）とアフィン変換（６個のパラメ
ータからなる）である。この推定は、必ずしも現在のフ
レームを参照フレームに直接整列させることによって得
る必要はない。これはまた、参照フレームとして使われ
た画像から開始して、連続するビデオ画像フレーム間の
整列を推定することによっても得られる。このような一
組のフレーム間整列を与えれば現在の画像と参照画像と
の間の整列は、フレーム間整列を順次段階的に行うこと
により導き出せる。画像整列は、１９９８年６月のコン
ピュータビジョンとパターン認識に関するＩＥＥＥ会議
の議事録の「精密なカメラの固定と照準のための画像整
列」の中でL.Wixson,J.Eledath,M.Hansen,R.Mandelbau
m,D.Mishraによって述べられている。
察されているシーンのタイプとカメラの動きとに依存す
るということは理解されるであろう。使用される最も典
型的な変換は、平行移動的変換（画像に整列させられる
二つの直交座標方向の各画像変換ごとに１個で合計２個
のパラメータからなる）とアフィン変換（６個のパラメ
ータからなる）である。この推定は、必ずしも現在のフ
レームを参照フレームに直接整列させることによって得
る必要はない。これはまた、参照フレームとして使われ
た画像から開始して、連続するビデオ画像フレーム間の
整列を推定することによっても得られる。このような一
組のフレーム間整列を与えれば現在の画像と参照画像と
の間の整列は、フレーム間整列を順次段階的に行うこと
により導き出せる。画像整列は、１９９８年６月のコン
ピュータビジョンとパターン認識に関するＩＥＥＥ会議
の議事録の「精密なカメラの固定と照準のための画像整
列」の中でL.Wixson,J.Eledath,M.Hansen,R.Mandelbau
m,D.Mishraによって述べられている。
【００２８】本明細書で説明した実施形態においては、
平均ピクセル移動が５ピクセルを超えるときは何時で
も、r 0Ｍ推定はそれをc 0Ｍに設定することによって更新
される。c 0Ｍが大きくなると、観察者である人間の混乱
を避けるために表示参照フレームをリセットすることが
しばしば役に立つ。この表示参照フレームは、現在の映
像に対するある明らかな類似性を持っていなくてはなら
ない。このリセットを行うために、表示参照フレームＦ
0と整列参照フレームＦrは両者とも現在のフレームに設
定され、またr 0Ｍとc rＭは両者とも同一に設定される。
このことを、以下に詳細に説明する。
平均ピクセル移動が５ピクセルを超えるときは何時で
も、r 0Ｍ推定はそれをc 0Ｍに設定することによって更新
される。c 0Ｍが大きくなると、観察者である人間の混乱
を避けるために表示参照フレームをリセットすることが
しばしば役に立つ。この表示参照フレームは、現在の映
像に対するある明らかな類似性を持っていなくてはなら
ない。このリセットを行うために、表示参照フレームＦ
0と整列参照フレームＦrは両者とも現在のフレームに設
定され、またr 0Ｍとc rＭは両者とも同一に設定される。
このことを、以下に詳細に説明する。
【００２９】安定化された３Ｄ（立体）表面が平面であ
るとき、フレームi jＭ間の画像移動は、フレームＦi内
の点（ｘ’，ｙ’，１）をフレームＦj内の点（ｘ”，
ｙ”，１）にワープする式（２）に示すように３×３マ
トリックスとしてモデル化できる。
るとき、フレームi jＭ間の画像移動は、フレームＦi内
の点（ｘ’，ｙ’，１）をフレームＦj内の点（ｘ”，
ｙ”，１）にワープする式（２）に示すように３×３マ
トリックスとしてモデル化できる。
【００３０】
【数２】 ここで
【００３１】
【数３】 であり、ｙ”に関しては同様に
【００３２】
【数４】 である。ここでi jＭkは、マトリックスi jＭの第ｋ番目
の行を表す。このマトリックスの種々の係数に制約をつ
けることにより、異なるパラメトリック移動モデルを使
うことができる。例えばｇとｈが０にされると、i jＭは
アフィン変換となる。
の行を表す。このマトリックスの種々の係数に制約をつ
けることにより、異なるパラメトリック移動モデルを使
うことができる。例えばｇとｈが０にされると、i jＭは
アフィン変換となる。
【００３３】一例として、空中査察のときに航空機が、
目標点を中心としてほぼ楕円形に飛び、その結果地表面
が斜めに観察されることがある。カメラの光軸に沿った
航空機の小さな速度は、カメラの狭い視野と結び付き、
画像移動がアフィン変換を使用してモデル化できること
を示唆している。このアフィン移動は、M.Hansen等によ
って説明された、先に参照した実時間多重解像度画像整
列手順を用いて推定される。そこには、カメラに平行移
動とパンとズーミングをさせながら二つの斜めの映像を
整列させるアフィンモデルの有用性が示されている。
目標点を中心としてほぼ楕円形に飛び、その結果地表面
が斜めに観察されることがある。カメラの光軸に沿った
航空機の小さな速度は、カメラの狭い視野と結び付き、
画像移動がアフィン変換を使用してモデル化できること
を示唆している。このアフィン移動は、M.Hansen等によ
って説明された、先に参照した実時間多重解像度画像整
列手順を用いて推定される。そこには、カメラに平行移
動とパンとズーミングをさせながら二つの斜めの映像を
整列させるアフィンモデルの有用性が示されている。
【００３４】カメラ固定は、閉ループ制御線１０７とし
て図１に示すカメラの閉ループ制御を電子的安定化と組
み合せることによって達成される。この制御ループは、
式（３）に示すように、センタ合せ誤差ｅを測定するこ
とによって、即ち現在のフレームＦcの中心と表示参照
フレームＦ0の中心に対応する点の位置との間の画像距
離を測定することによって駆動される。画像の中心が＜
０，０＞である画像座標系を使うと、
て図１に示すカメラの閉ループ制御を電子的安定化と組
み合せることによって達成される。この制御ループは、
式（３）に示すように、センタ合せ誤差ｅを測定するこ
とによって、即ち現在のフレームＦcの中心と表示参照
フレームＦ0の中心に対応する点の位置との間の画像距
離を測定することによって駆動される。画像の中心が＜
０，０＞である画像座標系を使うと、
【００３５】
【数５】 となる。マトリックス0 cＭは、c 0Ｍを反転することによ
って得られ、これは電子的安定化処理の一部として計算
された。
って得られ、これは電子的安定化処理の一部として計算
された。
【００３６】センタ合せ誤差ｅは、パン及びチルトの空
間を画像座標に写像する連鎖の知識を使用して、パン及
びチルトの補正値に変換できる。単純な比例積分（Ｐ
Ｉ）負帰還ループ内で、パン及びチルトのモータは、こ
の補正に比例する速度を達成するように指令されること
がある。カメラ固定とともに行われる電子的安定化によ
って、単純なＰＩ制御で十分である。これは、測定とア
クチュエータの遅延のために、或いはカメラプラットホ
ームの動揺のために、カメラ固定モータの制御ループが
遅れたり、発振したりしても、安定な映像を与えること
ができる。
間を画像座標に写像する連鎖の知識を使用して、パン及
びチルトの補正値に変換できる。単純な比例積分（Ｐ
Ｉ）負帰還ループ内で、パン及びチルトのモータは、こ
の補正に比例する速度を達成するように指令されること
がある。カメラ固定とともに行われる電子的安定化によ
って、単純なＰＩ制御で十分である。これは、測定とア
クチュエータの遅延のために、或いはカメラプラットホ
ームの動揺のために、カメラ固定モータの制御ループが
遅れたり、発振したりしても、安定な映像を与えること
ができる。
【００３７】通常なモータ構成がカメラのパン及びチル
トに対してのみ制御可能であり、従って画像の動きが平
行移動的であるときにのみ、即ち光軸を中心とするカメ
ラ回転が存在しないときにのみシーンを安定化できると
いう理由から、モータ固定を電子的安定化で増大するこ
とが有利であることも認められるであろう。電子的画像
整列は、更に複雑なカメラの動きを補正することがで
き、また視差と独立運動とに起因する残余の動きのみを
残して、主面を画像内に静止したまま保持することがで
きる。これは、人間によるか映像処理によるかいずれの
場合にも、精細なシーンの細部の観察を容易にする。電
子的安定化の更なる利点は、オペレータである人間が安
定な表示を使用して視野内に新しい固定点を指定するこ
とが可能になることである。これは、オペレータのシス
テムとの対話を助けることになる。
トに対してのみ制御可能であり、従って画像の動きが平
行移動的であるときにのみ、即ち光軸を中心とするカメ
ラ回転が存在しないときにのみシーンを安定化できると
いう理由から、モータ固定を電子的安定化で増大するこ
とが有利であることも認められるであろう。電子的画像
整列は、更に複雑なカメラの動きを補正することがで
き、また視差と独立運動とに起因する残余の動きのみを
残して、主面を画像内に静止したまま保持することがで
きる。これは、人間によるか映像処理によるかいずれの
場合にも、精細なシーンの細部の観察を容易にする。電
子的安定化の更なる利点は、オペレータである人間が安
定な表示を使用して視野内に新しい固定点を指定するこ
とが可能になることである。これは、オペレータのシス
テムとの対話を助けることになる。
【００３８】固定点の変更は、古いフレームからユーザ
指定のδｘとδｙだけシフトされた新しい表示参照フレ
ームを与えることによって行うことができる。このシフ
トは、整列参照フレームを表示参照フレームに写像する
変換r 0Ｍを変えることによって安定化と固定化の処理に
与えることができる。この新しい変換r 0Ｍ’は、式
（４）によって示される。
指定のδｘとδｙだけシフトされた新しい表示参照フレ
ームを与えることによって行うことができる。このシフ
トは、整列参照フレームを表示参照フレームに写像する
変換r 0Ｍを変えることによって安定化と固定化の処理に
与えることができる。この新しい変換r 0Ｍ’は、式
（４）によって示される。
【００３９】
【数６】 c 0Ｍ’＝r 0Ｍ・c rＭの逆マトリックスは、δｘとδｙと
に関する中心合せ誤差の測定値、即ち新しい固定点とし
て使うことができる。
に関する中心合せ誤差の測定値、即ち新しい固定点とし
て使うことができる。
【００４０】更に、制御ループにおける遅延による固定
誤差を引き入れることを避けるために変換マトリックス
は慎重に取り扱わなくてはならないことは認められるで
あろう。r 0Ｍが単に同一マトリックスであると再定義さ
れれば、安定化済みの現在のフレームの中心に存在する
ことになった点はどの点でも、新しい固定点になるであ
ろう。この中心点は、システム内のモータの遅延時間の
ために、前の固定点にはならないであろう。この誤差の
導入を避けるために旧固定点が新表示参照画像内の新固
定点になることを保証することが望ましい。これは、現
在の画像内の前の固定点の位置を測定する、センタ合せ
誤差ｅの推定を使うことによって行うことができる。表
示参照画像を現在の画像で置き換えた後に、前述のよう
に新表示参照フレームをｅだけシフトすることによっ
て、前の固定点を新表示参照フレームの中心に持ってく
ることができる。目標に対するこの固定は、式（５）に
示すようにr 0Ｍ’を設定することによって維持すること
ができる。
誤差を引き入れることを避けるために変換マトリックス
は慎重に取り扱わなくてはならないことは認められるで
あろう。r 0Ｍが単に同一マトリックスであると再定義さ
れれば、安定化済みの現在のフレームの中心に存在する
ことになった点はどの点でも、新しい固定点になるであ
ろう。この中心点は、システム内のモータの遅延時間の
ために、前の固定点にはならないであろう。この誤差の
導入を避けるために旧固定点が新表示参照画像内の新固
定点になることを保証することが望ましい。これは、現
在の画像内の前の固定点の位置を測定する、センタ合せ
誤差ｅの推定を使うことによって行うことができる。表
示参照画像を現在の画像で置き換えた後に、前述のよう
に新表示参照フレームをｅだけシフトすることによっ
て、前の固定点を新表示参照フレームの中心に持ってく
ることができる。目標に対するこの固定は、式（５）に
示すようにr 0Ｍ’を設定することによって維持すること
ができる。
【００４１】
【数７】 図２に、画像整列を用いて目標点にカメラを固定する方
法の流れ図を示す。本方法は、ステップ２０２から始ま
ってステップ２２０に進む実行可能なソフトウエアルー
チン２００として表される。ステップ２０６〜２２０
は、この制御ループの各反復ごとに繰り返される。ステ
ップ２０４でこのルーチンは、複数の入力画像フレーム
を備える。ステップ２０６で表示参照フレームが選択さ
れる。ステップ２０８で、現在のフレームは前述のよう
に、表示参照フレームに整列させられる。現在のフレー
ムを表示参照フレームに写像するパラメトリック変換の
係数の大きさが調べられる。選択された係数（例えば、
画像回転に対応する係数）の大きさがあらかじめ決めら
れたしきい値よりも大きければ、ステップ２１０でこの
表示参照フレームは現在のフレームに置き換えられる。
新表示参照フレーム内の固定点の座標は、前述のよう
に、前表示参照フレーム内の固定点の座標、及び現在の
フレームと前フレームとの間の推定された変換に基づい
ている。
法の流れ図を示す。本方法は、ステップ２０２から始ま
ってステップ２２０に進む実行可能なソフトウエアルー
チン２００として表される。ステップ２０６〜２２０
は、この制御ループの各反復ごとに繰り返される。ステ
ップ２０４でこのルーチンは、複数の入力画像フレーム
を備える。ステップ２０６で表示参照フレームが選択さ
れる。ステップ２０８で、現在のフレームは前述のよう
に、表示参照フレームに整列させられる。現在のフレー
ムを表示参照フレームに写像するパラメトリック変換の
係数の大きさが調べられる。選択された係数（例えば、
画像回転に対応する係数）の大きさがあらかじめ決めら
れたしきい値よりも大きければ、ステップ２１０でこの
表示参照フレームは現在のフレームに置き換えられる。
新表示参照フレーム内の固定点の座標は、前述のよう
に、前表示参照フレーム内の固定点の座標、及び現在の
フレームと前フレームとの間の推定された変換に基づい
ている。
【００４２】現在の画像から参照画像への写像が得られ
ると、簡単な数学を用いてこの変換を反転することによ
って参照フレームから現在のフレームへの写像を得るこ
とができる。この写像と、参照画像内の固定点の画像座
標とを使用して、現在の画像内の固定点の画像座標が計
算される。現在のフレームと参照フレームとの間の画像
スリップは、現在のフレーム内の固定点の座標から参照
フレーム内の固定点の座標を減算することによって計算
される。その代わりとして、画像スリップは、推定され
た写像を使用して最初の座標位置を現在の画像の座標系
に変換してから、そこで得られた位置を現在の画像内の
中心点或いはその他の特定点の位置から減算することに
よって計算することもできる。ステップ２１８で画像ス
リップを計算し終わると、ステップ２２０で出力として
モータコマンドが計算されて提供される。モータ付きカ
メラプラットホームの機構とプラットホームに対するカ
メラの位置と方位とを表す連鎖の知識を使うことによっ
て、画像スリップは、後続の画像内の固定点の画像座標
が参照フレーム内の画像座標と一致するようにカメラを
再整列させるカメラの角度及び位置の補正値に変換され
る。（これは下記で更に詳細に説明する。）これらのモ
ータは、ロボット学と制御理論でよく知られた二つのコ
ンセプトである位置制御又は速度制御のいずれかを使用
してこの補正値に達するように指令される。このカメラ
固定システムは、再び閉ループ負帰還制御からの原理に
従って、ＰＩＤ又はカルマンフィルタに基づく法則とい
った制御法則を使用して、閉ループ構成で動作する。
ると、簡単な数学を用いてこの変換を反転することによ
って参照フレームから現在のフレームへの写像を得るこ
とができる。この写像と、参照画像内の固定点の画像座
標とを使用して、現在の画像内の固定点の画像座標が計
算される。現在のフレームと参照フレームとの間の画像
スリップは、現在のフレーム内の固定点の座標から参照
フレーム内の固定点の座標を減算することによって計算
される。その代わりとして、画像スリップは、推定され
た写像を使用して最初の座標位置を現在の画像の座標系
に変換してから、そこで得られた位置を現在の画像内の
中心点或いはその他の特定点の位置から減算することに
よって計算することもできる。ステップ２１８で画像ス
リップを計算し終わると、ステップ２２０で出力として
モータコマンドが計算されて提供される。モータ付きカ
メラプラットホームの機構とプラットホームに対するカ
メラの位置と方位とを表す連鎖の知識を使うことによっ
て、画像スリップは、後続の画像内の固定点の画像座標
が参照フレーム内の画像座標と一致するようにカメラを
再整列させるカメラの角度及び位置の補正値に変換され
る。（これは下記で更に詳細に説明する。）これらのモ
ータは、ロボット学と制御理論でよく知られた二つのコ
ンセプトである位置制御又は速度制御のいずれかを使用
してこの補正値に達するように指令される。このカメラ
固定システムは、再び閉ループ負帰還制御からの原理に
従って、ＰＩＤ又はカルマンフィルタに基づく法則とい
った制御法則を使用して、閉ループ構成で動作する。
【００４３】最後に、現在のフレームから参照フレーム
への計算された画像の写像は、現在の画像を電子的に安
定化するためにも使うことができる。これは、計算され
たパラメトリック画像変換によって現在の画像をワーピ
ングすることによってステップ２１４で達成される。こ
のワープされた画像は、ステップ２１６で観察用の表示
装置へ、或いは更なる画像処理ステップへと送られる。
電子的ワーピングの実行には種々の重要な利点がある。
ワーピングは、機械的な手法或いは平行移動のみの動き
推定では得られない仕方でシーンを安定化できる。具体
的に言えば、これは、すべての機械的安定化システムで
は安定化できない、軸を中心とするカメラプラットホー
ムの回転に対応する画像回転を補正することができる。
更にこれは、カメラプラットホームの平行移動やカメラ
のズーミングによる画像の倍率変化と斜行を補正するこ
ともできる。また電子的安定化は、カメラの閉ループ制
御が完全でないときでもカメラが完全に固定されている
ように見せることもできる。これは、パン／チルト位置
の符号器の不正確さと、誤差測定の遅れと、モータコマ
ンドが発行された時刻とパン／チルトモータによってそ
のコマンドが実行される時刻との間の長い通信遅延と、
カメラプラットホームの揺れとによって、完全な閉ルー
プ制御が困難になることが多いという理由で重要であ
る。
への計算された画像の写像は、現在の画像を電子的に安
定化するためにも使うことができる。これは、計算され
たパラメトリック画像変換によって現在の画像をワーピ
ングすることによってステップ２１４で達成される。こ
のワープされた画像は、ステップ２１６で観察用の表示
装置へ、或いは更なる画像処理ステップへと送られる。
電子的ワーピングの実行には種々の重要な利点がある。
ワーピングは、機械的な手法或いは平行移動のみの動き
推定では得られない仕方でシーンを安定化できる。具体
的に言えば、これは、すべての機械的安定化システムで
は安定化できない、軸を中心とするカメラプラットホー
ムの回転に対応する画像回転を補正することができる。
更にこれは、カメラプラットホームの平行移動やカメラ
のズーミングによる画像の倍率変化と斜行を補正するこ
ともできる。また電子的安定化は、カメラの閉ループ制
御が完全でないときでもカメラが完全に固定されている
ように見せることもできる。これは、パン／チルト位置
の符号器の不正確さと、誤差測定の遅れと、モータコマ
ンドが発行された時刻とパン／チルトモータによってそ
のコマンドが実行される時刻との間の長い通信遅延と、
カメラプラットホームの揺れとによって、完全な閉ルー
プ制御が困難になることが多いという理由で重要であ
る。
【００４４】これまでは参照画像（フレーム）が変化す
る基本的な固定制御ループについで説明してきた。参照
画像は、ある時間的瞬間に現在の画像を単に捕獲するこ
とによって得られることは理解されるであろう。これは
観察者に有益である。プラットホームが動くにつれてシ
ーンの眺めが変化する。（例えば、地上の固定点を中心
として円形又は楕円形状に飛ぶ飛行機を考えて見るとよ
い。）観察者が安定化された出力を観察できるため、し
かし参照座標系は自分の現在の座標系にある程度類似の
ものにしておくために、参照画像は定期的に交換しなく
てはならない。参照画像を交換する別の理由は、パラメ
トリック変換の大きさが限られたハードウエア画像ワー
プ回路の能力を超えるのを防ぐことである。
る基本的な固定制御ループについで説明してきた。参照
画像は、ある時間的瞬間に現在の画像を単に捕獲するこ
とによって得られることは理解されるであろう。これは
観察者に有益である。プラットホームが動くにつれてシ
ーンの眺めが変化する。（例えば、地上の固定点を中心
として円形又は楕円形状に飛ぶ飛行機を考えて見るとよ
い。）観察者が安定化された出力を観察できるため、し
かし参照座標系は自分の現在の座標系にある程度類似の
ものにしておくために、参照画像は定期的に交換しなく
てはならない。参照画像を交換する別の理由は、パラメ
トリック変換の大きさが限られたハードウエア画像ワー
プ回路の能力を超えるのを防ぐことである。
【００４５】図２に示すアルゴリズムは、本発明の一実
施形態であって、純粋に表示参照画像（フレーム）に基
づく固定を使用している。しかしながら純粋に表示参照
画像（フレーム）に基づく固定を使うと、固定点は所望
の点から「ドリフト」する可能性がある。このドリフト
は、表示参照画像が交換されるたびに（特に新しい表示
参照画像内の固定点の座標が計算されるときに）累積さ
れる画像整列の際の小さな誤差に起因している。従って
第２のタイプの参照画像を「目標」参照画像に追加する
ことが望ましい。「目標」参照画像は、固定点を所望の
点にリセットするために「表示」参照画像の代わりに使
うことができる。こうしてコンピュータシステム１０４
は、目標参照画像の集まりを記憶しておく。現在のフレ
ームと、カメラ固定の初めに得られた前のフレームとの
間の選択された変換係数が、あるしきい値を超えてお
り、且つ類似の変換を有するその目標参照画像の集まり
の中に既に目標参照画像がなくなっている場合には、そ
の集まりに現在のフレームが追加される。このようにし
てコンピュータシステムは、カメラを固定するときの視
点の変化を反映する一組の目標参照画像を蓄積すること
ができる。例えば固定点を中心として円形又は楕円形状
に飛んでいる航空機のようにカメラプラットホームが、
循環コース上を移動していることもある。このように航
空機がそのコースを循環しはじめると、現在の画像に似
ている目標参照画像が存在する可能性がある。最良の
（即ち、最もよく似ている）目標参照画像は、開始時の
フレームに関する現在の推定済み画像変換を各目標参照
画像とともにストアされている変換と比較することによ
って見つけることができる。表示参照画像内の固定点が
目標参照画像内のその固定点と同じ３Ｄ点上に存在する
ようにリセットできるように、表示参照画像は定期的に
その目標参照画像に整列させられるであろう。
施形態であって、純粋に表示参照画像（フレーム）に基
づく固定を使用している。しかしながら純粋に表示参照
画像（フレーム）に基づく固定を使うと、固定点は所望
の点から「ドリフト」する可能性がある。このドリフト
は、表示参照画像が交換されるたびに（特に新しい表示
参照画像内の固定点の座標が計算されるときに）累積さ
れる画像整列の際の小さな誤差に起因している。従って
第２のタイプの参照画像を「目標」参照画像に追加する
ことが望ましい。「目標」参照画像は、固定点を所望の
点にリセットするために「表示」参照画像の代わりに使
うことができる。こうしてコンピュータシステム１０４
は、目標参照画像の集まりを記憶しておく。現在のフレ
ームと、カメラ固定の初めに得られた前のフレームとの
間の選択された変換係数が、あるしきい値を超えてお
り、且つ類似の変換を有するその目標参照画像の集まり
の中に既に目標参照画像がなくなっている場合には、そ
の集まりに現在のフレームが追加される。このようにし
てコンピュータシステムは、カメラを固定するときの視
点の変化を反映する一組の目標参照画像を蓄積すること
ができる。例えば固定点を中心として円形又は楕円形状
に飛んでいる航空機のようにカメラプラットホームが、
循環コース上を移動していることもある。このように航
空機がそのコースを循環しはじめると、現在の画像に似
ている目標参照画像が存在する可能性がある。最良の
（即ち、最もよく似ている）目標参照画像は、開始時の
フレームに関する現在の推定済み画像変換を各目標参照
画像とともにストアされている変換と比較することによ
って見つけることができる。表示参照画像内の固定点が
目標参照画像内のその固定点と同じ３Ｄ点上に存在する
ようにリセットできるように、表示参照画像は定期的に
その目標参照画像に整列させられるであろう。
【００４６】図３に、目標参照画像を使う実施例を示
す。図示のように実行可能ソフトウエアルーチン３００
は、入力線３２６を介して複数の入力画像（フレーム）
を受け取る。これらの入力画像は、モジュール３０４、
３０８に与えられる。モジュール３０８は、図２の実行
可能ソフトウエアルーチン２００に関して前に説明した
ように、現在の画像を表示参照画像に整列させる。現在
の画像を表示参照画像に写像するパラメトリック変換の
係数の大きさが、あらかじめ決められたあるしきい値よ
りも大きいということがモジュール３２２によって決定
されるならば、その表示参照画像は現在の参照画像に置
き換えられる。画像スリップは、モジュール３２４によ
って測定され、モジュール３１４によってモータコマン
ドに変換される。上述のようにモータ付きカメラマウン
ト３１２は、負帰還制御ループ線３２８を介して機械的
に整列させられる。またモジュール３１６は現在の画像
を、それが表示参照画像と整列するように、電子的にワ
ープする。この画像は、ＴＶモニタ３１８に送られる
か、或いは更なる画像処理のために別のモジュール（図
示せず）に送られることもある。これらのモジュールは
すべて、前述のモジュールと同様である。
す。図示のように実行可能ソフトウエアルーチン３００
は、入力線３２６を介して複数の入力画像（フレーム）
を受け取る。これらの入力画像は、モジュール３０４、
３０８に与えられる。モジュール３０８は、図２の実行
可能ソフトウエアルーチン２００に関して前に説明した
ように、現在の画像を表示参照画像に整列させる。現在
の画像を表示参照画像に写像するパラメトリック変換の
係数の大きさが、あらかじめ決められたあるしきい値よ
りも大きいということがモジュール３２２によって決定
されるならば、その表示参照画像は現在の参照画像に置
き換えられる。画像スリップは、モジュール３２４によ
って測定され、モジュール３１４によってモータコマン
ドに変換される。上述のようにモータ付きカメラマウン
ト３１２は、負帰還制御ループ線３２８を介して機械的
に整列させられる。またモジュール３１６は現在の画像
を、それが表示参照画像と整列するように、電子的にワ
ープする。この画像は、ＴＶモニタ３１８に送られる
か、或いは更なる画像処理のために別のモジュール（図
示せず）に送られることもある。これらのモジュールは
すべて、前述のモジュールと同様である。
【００４７】現在の画像を目標画像と比較する際に有効
なモジュールを説明する。前に述べたように、目標参照
画像の集まりはデータベース（図示せず）内に存在して
いる可能性がある。この集まりからモジュール３０２
は、一つの目標参照画像を選択する。これは例えば次の
ようにして行われることができる。固定処理が最初に開
始されたときに各目標参照画像ｔを前のフレームｆ、即
ち初期フレームｆに整列させる変換t fＭは各目標参照画
像ｔに関連していると仮定する。また現在のフレームｃ
を初期フレームに整列させる類似の変換c fＭが計算され
ると仮定する。（このような両変換は、本出願書で前に
述べた方法に似た方法で変換c rＭを段階的に行うことに
よって計算できる。）モジュール３０２は、その変換t f
Ｍがc fＭに最もよく似ている目標参照画像を選択する。
なモジュールを説明する。前に述べたように、目標参照
画像の集まりはデータベース（図示せず）内に存在して
いる可能性がある。この集まりからモジュール３０２
は、一つの目標参照画像を選択する。これは例えば次の
ようにして行われることができる。固定処理が最初に開
始されたときに各目標参照画像ｔを前のフレームｆ、即
ち初期フレームｆに整列させる変換t fＭは各目標参照画
像ｔに関連していると仮定する。また現在のフレームｃ
を初期フレームに整列させる類似の変換c fＭが計算され
ると仮定する。（このような両変換は、本出願書で前に
述べた方法に似た方法で変換c rＭを段階的に行うことに
よって計算できる。）モジュール３０２は、その変換t f
Ｍがc fＭに最もよく似ている目標参照画像を選択する。
【００４８】目標参照画像を受け取ると、モジュール３
０４は、表示参照画像を目標参照画像に電子的に整列さ
せる。モジュール３０４によって行われるこの整列処理
は、モジュール３０８によって行われる整列処理と数学
的には類似である。目標参照画像内の所望の固定点はデ
ータベースから知られこととなるので、表示参照画像内
の固定点座標は、目標参照画像内のその固定点と同じ３
Ｄ点上に存在するように、計算された整列を使用してモ
ジュール３２０によってリセットされ得る。モジュール
３２２は、その画像内の新しい固定点とともに表示参照
画像をモジュール３０４、３０８に供給する。画像スリ
ップはモジュール３２４によって測定され、モータ付き
カメラマウント３１２を機械的に整列させるためにモジ
ュール３１４に出力される。
０４は、表示参照画像を目標参照画像に電子的に整列さ
せる。モジュール３０４によって行われるこの整列処理
は、モジュール３０８によって行われる整列処理と数学
的には類似である。目標参照画像内の所望の固定点はデ
ータベースから知られこととなるので、表示参照画像内
の固定点座標は、目標参照画像内のその固定点と同じ３
Ｄ点上に存在するように、計算された整列を使用してモ
ジュール３２０によってリセットされ得る。モジュール
３２２は、その画像内の新しい固定点とともに表示参照
画像をモジュール３０４、３０８に供給する。画像スリ
ップはモジュール３２４によって測定され、モータ付き
カメラマウント３１２を機械的に整列させるためにモジ
ュール３１４に出力される。
【００４９】現在のフレームを目標参照画像の集まりに
追加する方法を、図４に示す。図示のように、実行可能
なソフトウエアルーチン４００はステップ４０２からこ
の方法を開始し、前に述べたと同じ仕方でモジュール４
０６の中に一組の入力画像フレームを備えている。モジ
ュール４０８は、データベース４０４から一つの目標参
照画像を選択する。選択された目標参照画像に現在の画
像（入力画像フレームからの）を写像するパラメトリッ
ク変換は、モジュール４１０で得られる。現在の画像と
データベース内のその他の目標参照画像の各々との間で
パラメトリック変換が得られる。この変換の係数が、モ
ジュール４１２によって決定されるように、あらかじめ
決められたしきい値を超える場合は、モジュール４１４
によって現在の画像がデータベースの参照画像の集まり
に追加される。モジュール４１６によって行われる、選
択された目標参照画像に現在の画像のワーピングの方
法、及び、モジュール４１８によって行われる、画像ス
リップを測定して角度的なモータコマンドを計算する方
法は、前述の方法と同じである。
追加する方法を、図４に示す。図示のように、実行可能
なソフトウエアルーチン４００はステップ４０２からこ
の方法を開始し、前に述べたと同じ仕方でモジュール４
０６の中に一組の入力画像フレームを備えている。モジ
ュール４０８は、データベース４０４から一つの目標参
照画像を選択する。選択された目標参照画像に現在の画
像（入力画像フレームからの）を写像するパラメトリッ
ク変換は、モジュール４１０で得られる。現在の画像と
データベース内のその他の目標参照画像の各々との間で
パラメトリック変換が得られる。この変換の係数が、モ
ジュール４１２によって決定されるように、あらかじめ
決められたしきい値を超える場合は、モジュール４１４
によって現在の画像がデータベースの参照画像の集まり
に追加される。モジュール４１６によって行われる、選
択された目標参照画像に現在の画像のワーピングの方
法、及び、モジュール４１８によって行われる、画像ス
リップを測定して角度的なモータコマンドを計算する方
法は、前述の方法と同じである。
【００５０】カメラが目標を固定するためには、最初に
カメラがその視野内に目標を獲得しなくてはならない。
多くの状況においては、目標点の３Ｄ座標とカメラの姿
勢の両者ともほぼ知られている。その結果、単に連鎖を
使うことによってカメラをほぼ目標点に向けることがで
きる。目標の位置が知られているデータベースのシーン
の映像に、結果として得られる画像を整列させることに
よって、照準の精度を上げる（目標参照機構を使用し
て）方法を、以下に説明する。
カメラがその視野内に目標を獲得しなくてはならない。
多くの状況においては、目標点の３Ｄ座標とカメラの姿
勢の両者ともほぼ知られている。その結果、単に連鎖を
使うことによってカメラをほぼ目標点に向けることがで
きる。目標の位置が知られているデータベースのシーン
の映像に、結果として得られる画像を整列させることに
よって、照準の精度を上げる（目標参照機構を使用し
て）方法を、以下に説明する。
【００５１】空中査察のシナリオでは、所望の目標の測
地座標はＧＰＳ又は写真測量法から知られていることが
一般的である。同様に航空機の測地的な位置と方位はそ
れぞれ、機内のＧＰＳとＡＨＲＳ（Attitude Heading R
eference System、姿勢方位参照システム）装置から知ら
れる。
地座標はＧＰＳ又は写真測量法から知られていることが
一般的である。同様に航空機の測地的な位置と方位はそ
れぞれ、機内のＧＰＳとＡＨＲＳ（Attitude Heading R
eference System、姿勢方位参照システム）装置から知ら
れる。
【００５２】目標座標を描くために必要とされるカメラ
のパン及びチルトは、これらの測定値を用いて解決でき
るであろう。第１のステップは、目標と航空機の測地座
標を本明細書で世界座標系Ｗと呼ぶ３Ｄ局地垂直座標系
（ＬＶＣＳ）に変換する。目標の世界座標Wｐ及び航空
機の世界座標Wａは、既知の技法を使用して得ることが
できる。これらは、その４番目の要素が１である４×１
ベクトルとして均等に表すことができる。この世界座標
では、Ｘ軸は東を指し、Ｙ軸は北を指し、Ｚ軸は上方を
指す。
のパン及びチルトは、これらの測定値を用いて解決でき
るであろう。第１のステップは、目標と航空機の測地座
標を本明細書で世界座標系Ｗと呼ぶ３Ｄ局地垂直座標系
（ＬＶＣＳ）に変換する。目標の世界座標Wｐ及び航空
機の世界座標Wａは、既知の技法を使用して得ることが
できる。これらは、その４番目の要素が１である４×１
ベクトルとして均等に表すことができる。この世界座標
では、Ｘ軸は東を指し、Ｙ軸は北を指し、Ｚ軸は上方を
指す。
【００５３】次に、均等な世界座標を航空機を中心とす
る座標系に写像する４×４のマトリックスW AＭは、式
（６）、
る座標系に写像する４×４のマトリックスW AＭは、式
（６）、
【００５４】
【数８】 によって定義される。ここでＲx,y,zはそれぞれ、Ｘ
軸、Ｙ軸、Ｚ軸を中心とする時計回りの回転を表し、ま
たΨr、Ψp、Ψhはそれぞれ、ＡＨＲＳ装置で測定され
たロール（roll、横揺れ）、ピッチ（pitch、縦揺
れ）、ヘッディング（heading、偏向揺れ）である。
軸、Ｙ軸、Ｚ軸を中心とする時計回りの回転を表し、ま
たΨr、Ψp、Ψhはそれぞれ、ＡＨＲＳ装置で測定され
たロール（roll、横揺れ）、ピッチ（pitch、縦揺
れ）、ヘッディング（heading、偏向揺れ）である。
【００５５】目標を撮像するパン角及びチルト角の解を
求めるために世界座標Wｐは、カメラターレットの座標
系Tｐに変換しなくてはならない。このターレット座標
系は、それに関してカメラがパン及びチルトを行う座標
系である。これは、各ＡＨＲＳ軸に正確に平行な台板に
よってターレットを取り付けることは機械的には殆ど不
可能であるため、航空機座標とは異なっており、通常は
僅かな相対的な方位のオフセット（偏り）が存在する。
このオフセットは、狭い視野を使用して目標に照準を合
せるときに重要である。その結果、航空機座標系をター
レット座標系に写像する４×４マトリックスであるA TＭ
を推定しなくてはならない。しかしながら一組の画像と
それらの関連する航空機の姿勢とを記録し、各画像内の
既知の座標で１個の３Ｄ点を手動で指定することによっ
てA TＭの３×３回転成分を推定することは、より容易で
ある。それからこの回転マトリックスは、ホーンの（Ｈ
ｏｒｎ’ｓ）４元数算法を使用して推定されなくてはな
らない。（米国光学会雑誌Ａの１９８７年４月号のB.K.
P.Hornによる「単位４元数を用いた絶対方位の閉形式
解」）。ターレット座標系内の目標の均等座標は、A TＭ
とW AＭとを用いて、式（７）に示すように計算できる。
求めるために世界座標Wｐは、カメラターレットの座標
系Tｐに変換しなくてはならない。このターレット座標
系は、それに関してカメラがパン及びチルトを行う座標
系である。これは、各ＡＨＲＳ軸に正確に平行な台板に
よってターレットを取り付けることは機械的には殆ど不
可能であるため、航空機座標とは異なっており、通常は
僅かな相対的な方位のオフセット（偏り）が存在する。
このオフセットは、狭い視野を使用して目標に照準を合
せるときに重要である。その結果、航空機座標系をター
レット座標系に写像する４×４マトリックスであるA TＭ
を推定しなくてはならない。しかしながら一組の画像と
それらの関連する航空機の姿勢とを記録し、各画像内の
既知の座標で１個の３Ｄ点を手動で指定することによっ
てA TＭの３×３回転成分を推定することは、より容易で
ある。それからこの回転マトリックスは、ホーンの（Ｈ
ｏｒｎ’ｓ）４元数算法を使用して推定されなくてはな
らない。（米国光学会雑誌Ａの１９８７年４月号のB.K.
P.Hornによる「単位４元数を用いた絶対方位の閉形式
解」）。ターレット座標系内の目標の均等座標は、A TＭ
とW AＭとを用いて、式（７）に示すように計算できる。
【００５６】
【数９】 それからパン角θとチルト角φは、式（８）又は（９）
よって計算できる。
よって計算できる。
【００５７】
【数１０】
【００５８】
【数１１】 上述のカメラの照準は、本発明の画像整列によって改善
できる。多くの査察シナリオでは、目標の画像が取得さ
れるときの関連航空機の姿勢に結び付いたその目標の画
像は、前の査察飛行から前もって入手可能である。この
ようなデータベース画像では、目標の位置は、手動によ
りオフラインで指定できる。
できる。多くの査察シナリオでは、目標の画像が取得さ
れるときの関連航空機の姿勢に結び付いたその目標の画
像は、前の査察飛行から前もって入手可能である。この
ようなデータベース画像では、目標の位置は、手動によ
りオフラインで指定できる。
【００５９】あるデータベース画像Ｆdは、現在のカメ
ラ姿勢が与えられればシーンがどのように見えるかを予
測するためにワープされることができる。そうするため
に、世界座標から画像座標への写像が行われ、またその
逆の写像も行われる。ここでは記号Ωは、位置Wａと方
位Ψr、Ψp、Ψhとパン角θとチルト角φと焦点距離ｆ
とからなる観察パラメータの集合を指定するために使わ
れる。
ラ姿勢が与えられればシーンがどのように見えるかを予
測するためにワープされることができる。そうするため
に、世界座標から画像座標への写像が行われ、またその
逆の写像も行われる。ここでは記号Ωは、位置Wａと方
位Ψr、Ψp、Ψhとパン角θとチルト角φと焦点距離ｆ
とからなる観察パラメータの集合を指定するために使わ
れる。
【００６０】画像Ｆiを与えれば、世界座標をＦi内の投
影画像座標に写像する３×４マトリックスW iＬを次式の
ように形成することができる。
影画像座標に写像する３×４マトリックスW iＬを次式の
ように形成することができる。
【００６１】
【数１２】 ここでT CＭ（θ，φ）は、ターレット座標系をパンとチ
ルトの関数としてのカメラ中心の座標系に写像する４×
４マトリックスであり、またC iＭは、均等３Ｄ点をカメ
ラの焦点距離の関数として画像平面上の均等２Ｄ点に写
像する３×４マトリックスである（その他の固有のカメ
ラパラメータに関しては公称値が想定されている）。
ルトの関数としてのカメラ中心の座標系に写像する４×
４マトリックスであり、またC iＭは、均等３Ｄ点をカメ
ラの焦点距離の関数として画像平面上の均等２Ｄ点に写
像する３×４マトリックスである（その他の固有のカメ
ラパラメータに関しては公称値が想定されている）。
【００６２】撮像されている面が平面であると仮定すれ
ば、W iＬマトリックスは次のように反転可能である。
ば、W iＬマトリックスは次のように反転可能である。
【００６３】
【数１３】 ここでｍはW iＬのゼロベクトル、Ｍ*はW iＬの４×３右
逆マトリックス、ｎは世界座標で平面の画像面を定義す
る４×１の法線ベクトルである。本実施形態ではこの表
面は水平な地表面、即ちｎ＝[ ００１０] Tであると仮
定した。
逆マトリックス、ｎは世界座標で平面の画像面を定義す
る４×１の法線ベクトルである。本実施形態ではこの表
面は水平な地表面、即ちｎ＝[ ００１０] Tであると仮
定した。
【００６４】現在の観察パラメータΩiを与えた場合に
シーンがどのように見えるかを予測するために観察パラ
メータΩdを有するデータベース画像Ｆdをワープする投
影変換d iＭは、これらの数学的概念を用いて、下記のよ
うに得ることができる。
シーンがどのように見えるかを予測するために観察パラ
メータΩdを有するデータベース画像Ｆdをワープする投
影変換d iＭは、これらの数学的概念を用いて、下記のよ
うに得ることができる。
【００６５】
【数１４】 Ｆpは、データベース画像Ｆdをd iＭによってワープする
ことによって得られる予測画像として定義される。観察
パラメータを測定する際に遅延も較正誤差もなければ、
そしてまたシーンが平面性の仮定を満足するならば、Ｆ
pは現在の画像Ｆiと等しいことになる。しかしながら実
際にはなお、ＦiとＦpとの間には実質的な整列誤差が存
在する。地表面に対する遠近法効果は、適当にモデル化
されるが、これら二つの間にはしばしば可なりの平行移
動的オフセット（偏り）が存在する。これは、遠距離に
離れた目標に対する空中査察シナリオでは、カメラのパ
ン角とチルト角は非常に速く変化することがあり，これ
らの角度の精確な測定が遅延によって損なわれるからで
ある。
ことによって得られる予測画像として定義される。観察
パラメータを測定する際に遅延も較正誤差もなければ、
そしてまたシーンが平面性の仮定を満足するならば、Ｆ
pは現在の画像Ｆiと等しいことになる。しかしながら実
際にはなお、ＦiとＦpとの間には実質的な整列誤差が存
在する。地表面に対する遠近法効果は、適当にモデル化
されるが、これら二つの間にはしばしば可なりの平行移
動的オフセット（偏り）が存在する。これは、遠距離に
離れた目標に対する空中査察シナリオでは、カメラのパ
ン角とチルト角は非常に速く変化することがあり，これ
らの角度の精確な測定が遅延によって損なわれるからで
ある。
【００６６】データベース画像Ｆdでは目標の位置は知
られているから、予測画像Ｆpにおいてもその位置は分
かる。従って目標参照画像としてＦpを使うことによっ
て現在の画像内の目標の位置が分かり、従って固定点の
調整が可能となる。いま述べた方法では予測画像は、カ
メラの現在の位置と現在方位のみではなく、前の画像が
取られた時点におけるカメラの位置と方位についての既
知の情報を使用して前の画像から合成される。多数の前
の画像から構成される一つのモザイク画像、シーンの幾
何学的データベースモデル、シーンの正面写像、又はこ
れらすべての何らかの組合せからも同様に予測画像が合
成できることに注目することは重要である。
られているから、予測画像Ｆpにおいてもその位置は分
かる。従って目標参照画像としてＦpを使うことによっ
て現在の画像内の目標の位置が分かり、従って固定点の
調整が可能となる。いま述べた方法では予測画像は、カ
メラの現在の位置と現在方位のみではなく、前の画像が
取られた時点におけるカメラの位置と方位についての既
知の情報を使用して前の画像から合成される。多数の前
の画像から構成される一つのモザイク画像、シーンの幾
何学的データベースモデル、シーンの正面写像、又はこ
れらすべての何らかの組合せからも同様に予測画像が合
成できることに注目することは重要である。
【図１】ディジタル画像処理技術を用いて目標にカメラ
を固定する装置のブロック図である。
を固定する装置のブロック図である。
【図２】整列のために表示参照フレームを使用して目標
にカメラを固定する方法の流れ図である。
にカメラを固定する方法の流れ図である。
【図３】整列のために表示参照フレームと目標参照フレ
ームとを使用して目標にカメラを固定する方法の流れ図
である。
ームとを使用して目標にカメラを固定する方法の流れ図
である。
【図４】目標参照フレームを含む既存のデータベースに
目標参照フレームを追加する方法の流れ図である。
目標参照フレームを追加する方法の流れ図である。
１０２…画像源、１０４…コンピュータシステム、１０
６…マウント、１０８…Ｉ／Ｏバッファ、１１０…デー
タバッファ、１１４…サポート回路、１２０…ディスプ
レイドライバ、１２４…出力装置、１２６…入力装置。
６…マウント、１０８…Ｉ／Ｏバッファ、１１０…デー
タバッファ、１１４…サポート回路、１２０…ディスプ
レイドライバ、１２４…出力装置、１２６…入力装置。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｈ０４Ｎ 7/18 Ｇ０６Ｆ 15/62 ３８０ (72)発明者 ロバート マンデルバウム アメリカ合衆国， ペンシルヴァニア州, フィラデルフィア， パイン ストリー ト 636， ナンバー２ (72)発明者 マイケル ウェイド ハンセン アメリカ合衆国， ニュー ジャージー 州， ローレンスヴィル， タウン コー ト サウス 7233 (72)発明者 ジャヤクリシュナン エレダット アメリカ合衆国， ニュー ジャージー 州， プレインズボロ， クェイル リッ ジ ドライヴ 1001 (72)発明者 ディーパム ミシュラ アメリカ合衆国， ニュー ジャージー 州， プレインズボロ， フォックス ラ ン ドライヴ ４−06
Claims (10)
- 【請求項１】 モータ付きマウントに載置されたカメラ
を目標点に固定する方法であって、 ａ）シーンを表す複数の画像を受け取るステップと、 ｂ）第１の座標位置に目標点を含む第１の表示参照画像
を、前記複数の画像の中から選択するステップと、 ｃ）前記複数の画像の中の現在の画像から、前記現在の
画像を前記第１の表示参照画像に写像する変換を推定す
るステップと、 ｄ）前記変換を使用して、前記現在の画像内の前記目標
点の第２の座標位置を推定するステップと、 ｅ）前記現在の画像内の前記目標点と前記第１の表示参
照画像内の前記目標点との間の画像スリップを計算する
ステップと、 ｆ）前記画像スリップを、カメラを固定するための角度
補正値に変換するステップと、 ｇ）モータ付きマウントに対して閉ループ制御を使うこ
とによって前記角度補正値を修正するステップと、 ｈ）前記現在の画像を前記第１の表示参照画像に整列さ
せるために、前記変換を使用して前記現在の画像をワー
ピングするステップと、含む方法。 - 【請求項２】 前記ステップ（ｅ）が、前記現在の画像
内の所定の点の位置から前記第２の座標位置を減算する
ことによって、前記画像スリップを計算することを含む
請求項１に記載の方法。 - 【請求項３】 前記ステップ（ｇ）が、ＰＩＤ制御シス
テムかカルマンフィルタリングに基づく制御システムか
のいずれかを使用する閉ループ制御を含む請求項１に記
載の方法。 - 【請求項４】 前記ステップ（ｈ）が、観察用の表示装
置か画像処理装置かのいずれかに前記ワープされた画像
を送ることを含む請求項１に記載の方法。 - 【請求項５】 前記ステップ（ｃ）が、アフィンモデル
アルゴリズムか投影モデルアルゴリズムかのいずれかを
使用して前記変換を推定することを含む請求項１に記載
の方法。 - 【請求項６】 目標点にカメラを固定する場合に、目標
参照画像のデータベースを維持する方法であって、 ａ）シーンを表す複数の画像を受け取るステップと、 ｂ）前記データベースから目標参照画像を選択するステ
ップと、 ｃ）前記複数の画像の中の現在の画像内で、前記現在の
画像を前記目標参照画像に写像する第１の変換を推定す
るステップと、 ｄ）前記第１の変換を、前記現在の画像と前記データベ
ース内の他の目標参照画像との間の他の変換と比較する
ステップと、 ｅ）前記第１の変換の選択された係数の大きさが、前記
現在の画像と前記他の目標参照画像の各々との間の変換
の選択された他のいかなる係数よりも、所定のしきい値
だけ大きい場合に、前記現在の画像を前記データベース
に追加するステップと、を含む方法。 - 【請求項７】 ｆ）前記変換を使用して前記現在の画像
内の前記目標点の座標位置を推定するステップと、 ｇ）前記現在の画像内の目標点と前記目標参照画像内の
目標点との間の画像スリップを計算するステップと、 ｈ）前記画像スリップを、前記カメラを固定するための
角度補正値に変換するステップと、 ｉ）前記カメラを受けるモータ付きマウントに対して閉
ループ制御を使うことによって前記角度補正を実行する
ステップと、 ｊ）前記現在の画像を前記目標参照画像に整列させるた
めに前記第１の変換を使用して現在の画像をワーピング
するステップと、を更に含む請求項６に記載の方法。 - 【請求項８】 カメラを目標点に固定する装置であっ
て、 カメラを固定するためのモータ付きマウントと、 シーンを表す複数の画像を処理するコンピュータプロセ
ッサとを含み、該コンピュータプロセッサが、 第１の座標位置に前記目標点を含む第１の表示参照画像
を、前記複数の画像の中から選択する手段と、 前記現在の画像を前記第１の表示参照画像に写像する変
換を、前記複数の画像の中の前記現在の画像から導出す
る手段と、 前記変換を使用して、前記現在の画像内の目標点の第２
の座標位置を推定する手段と、 前記現在の画像内の点と前記第１の表示参照画像内の点
との間の画像スリップを計算する手段と、 前記画像スリップを、カメラを固定するための角度補正
値に変換する手段と、 モータ付きマウントを制御することによって前記角度補
正を実行する閉ループ制御システムと、 前記現在の画像を前記第１の表示参照画像に整列させる
ために前記変換を使用して前記現在の画像をワーピング
する手段と、 前記ワープされた現在の画像をカメラの出力画像として
提示する出力装置と、を含む装置。 - 【請求項９】 前記角度補正を修正する手段が、前記コ
ンピュータプロセッサと前記モータ付きマウントとの間
に閉ループ制御システムを含み、前記閉ループ制御シス
テムはＰＩＤ制御アルゴリズムかカルマンフィルタリン
グに基づく制御アルゴリズムかのいずれかを使用する請
求項８に記載の装置。 - 【請求項１０】 媒体上に複数の命令を記憶しているコ
ンピュータ読み取り可能媒体であって、前記複数の命令
が、プロセッサによって実行されるときに前記プロセッ
サに、 ａ）シーンを表す複数の画像を受け取るステップと、 ｂ）第１の座標位置に目標点を含む第１の表示参照画像
を、前記複数の画像の中から選択するステップと、 ｃ）前記複数の画像の中の現在の画像から、前記現在の
画像を前記第１の表示参照画像に写像する変換を推定す
るステップと、 ｄ）前記変換を使用して、前記現在の画像内の目標点の
第２の座標位置を推定するステップと、 ｅ）前記現在の画像内の点と前記第１の表示参照画像内
の点との間の画像スリップを計算するステップと、 ｆ）前記画像スリップを、モータ付きマウントに載置さ
れたカメラを固定するための角度補正値に変換するステ
ップと、 ｇ）前記モータ付きマウントに対して閉ループ制御を使
うことによって前記角度補正を修正するステップと、 ｈ）前記第１の表示参照画像に整列させるために前記変
換を使用して、現在の画像をワーピングするステップ
と、を実行させる命令を含むコンピュータ読み取り可能
媒体。
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US6519097P | 1997-11-12 | 1997-11-12 | |
| US8202298P | 1998-04-16 | 1998-04-16 | |
| US09/143,910 US6396961B1 (en) | 1997-11-12 | 1998-08-31 | Method and apparatus for fixating a camera on a target point using image alignment |
| US09/143910 | 1998-08-31 | ||
| US60/082022 | 1998-08-31 | ||
| US60/065190 | 1998-08-31 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11252440A true JPH11252440A (ja) | 1999-09-17 |
Family
ID=27370746
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10322296A Pending JPH11252440A (ja) | 1997-11-12 | 1998-11-12 | 画像を整列させて目標点にカメラを固定する方法及び装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6396961B1 (ja) |
| EP (1) | EP0917103A3 (ja) |
| JP (1) | JPH11252440A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2427025A (en) * | 2003-04-25 | 2006-12-13 | Agilent Technologies Inc | Motion detection system |
| JP2007034995A (ja) * | 2005-06-21 | 2007-02-08 | Nitto Kogaku Kk | 画像処理装置 |
| JP2007215169A (ja) * | 2006-01-19 | 2007-08-23 | Valeo Vision | 車両に搭載されているカメラの向きを調整する方法、および、その方法を実行するためのシステム |
| KR100763521B1 (ko) | 2006-10-31 | 2007-10-04 | 한국전자통신연구원 | 이동 로봇의 시선 안정화 장치 |
Families Citing this family (67)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6816184B1 (en) * | 1998-04-30 | 2004-11-09 | Texas Instruments Incorporated | Method and apparatus for mapping a location from a video image to a map |
| US6940998B2 (en) * | 2000-02-04 | 2005-09-06 | Cernium, Inc. | System for automated screening of security cameras |
| DE10066379B4 (de) * | 2000-05-20 | 2008-07-10 | Trimble Jena Gmbh | Verfahren und Einrichtung zur Realisierung eines Informations- und Datenflusses für geodätische Geräte |
| US8564661B2 (en) | 2000-10-24 | 2013-10-22 | Objectvideo, Inc. | Video analytic rule detection system and method |
| US9892606B2 (en) | 2001-11-15 | 2018-02-13 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
| US8711217B2 (en) | 2000-10-24 | 2014-04-29 | Objectvideo, Inc. | Video surveillance system employing video primitives |
| US7424175B2 (en) | 2001-03-23 | 2008-09-09 | Objectvideo, Inc. | Video segmentation using statistical pixel modeling |
| US7126558B1 (en) * | 2001-10-19 | 2006-10-24 | Accenture Global Services Gmbh | Industrial augmented reality |
| AU2003219740A1 (en) * | 2002-02-11 | 2003-09-04 | Visx, Inc. | Determining relative positional and rotational offsets |
| US7321386B2 (en) * | 2002-08-01 | 2008-01-22 | Siemens Corporate Research, Inc. | Robust stereo-driven video-based surveillance |
| ATE528724T1 (de) * | 2002-08-30 | 2011-10-15 | Mvtec Software Gmbh | Auf hierarchischen gliedern basierte erkennung von gegenständen |
| US7668370B2 (en) * | 2002-09-19 | 2010-02-23 | Koninklijke Philips Electronics N.V. | Segmenting a series of 2D or 3D images |
| US7385626B2 (en) * | 2002-10-21 | 2008-06-10 | Sarnoff Corporation | Method and system for performing surveillance |
| US20040100563A1 (en) | 2002-11-27 | 2004-05-27 | Sezai Sablak | Video tracking system and method |
| US7050078B2 (en) * | 2002-12-19 | 2006-05-23 | Accenture Global Services Gmbh | Arbitrary object tracking augmented reality applications |
| US7876359B2 (en) | 2003-01-17 | 2011-01-25 | Insitu, Inc. | Cooperative nesting of mechanical and electronic stabilization for an airborne camera system |
| US7602415B2 (en) | 2003-01-17 | 2009-10-13 | Insitu, Inc. | Compensation for overflight velocity when stabilizing an airborne camera |
| JP3801137B2 (ja) * | 2003-01-21 | 2006-07-26 | コニカミノルタホールディングス株式会社 | 侵入物体検出装置 |
| US20050134685A1 (en) * | 2003-12-22 | 2005-06-23 | Objectvideo, Inc. | Master-slave automated video-based surveillance system |
| US7688381B2 (en) * | 2003-04-08 | 2010-03-30 | Vanbree Ken | System for accurately repositioning imaging devices |
| US6909914B2 (en) * | 2003-06-13 | 2005-06-21 | Esaote, S.P.A. | Method for generating time independent images of moving objects |
| US20100013917A1 (en) * | 2003-08-12 | 2010-01-21 | Keith Hanna | Method and system for performing surveillance |
| US20050104958A1 (en) * | 2003-11-13 | 2005-05-19 | Geoffrey Egnal | Active camera video-based surveillance systems and methods |
| US7308342B2 (en) | 2004-01-23 | 2007-12-11 | Rafael Armament Development Authority Ltd. | Airborne reconnaissance system |
| US7707039B2 (en) * | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
| US7382400B2 (en) * | 2004-02-19 | 2008-06-03 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
| US7742077B2 (en) * | 2004-02-19 | 2010-06-22 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
| KR20070008601A (ko) * | 2004-03-24 | 2007-01-17 | 세르늄 코포레이션 | 영역에 의한 세그먼트화 이득을 이용한 비디오 분석의 개선 |
| US8212872B2 (en) * | 2004-06-02 | 2012-07-03 | Robert Bosch Gmbh | Transformable privacy mask for video camera images |
| US20050270372A1 (en) * | 2004-06-02 | 2005-12-08 | Henninger Paul E Iii | On-screen display and privacy masking apparatus and method |
| US9210312B2 (en) | 2004-06-02 | 2015-12-08 | Bosch Security Systems, Inc. | Virtual mask for use in autotracking video camera images |
| US20060007308A1 (en) * | 2004-07-12 | 2006-01-12 | Ide Curtis E | Environmentally aware, intelligent surveillance device |
| US7463753B2 (en) | 2004-09-15 | 2008-12-09 | Raytheon Company | FLIR-to-missile boresight correlation and non-uniformity compensation of the missile seeker |
| US8150617B2 (en) | 2004-10-25 | 2012-04-03 | A9.Com, Inc. | System and method for displaying location-specific images on a mobile device |
| US7457433B2 (en) * | 2005-01-20 | 2008-11-25 | International Business Machines Corporation | System and method for analyzing video from non-static camera |
| US20060215036A1 (en) * | 2005-03-25 | 2006-09-28 | Multivision Intelligent Surveillance (Hk) Ltd. | Method and apparatus for video stabilization |
| US7822224B2 (en) | 2005-06-22 | 2010-10-26 | Cernium Corporation | Terrain map summary elements |
| GB2428927A (en) * | 2005-08-05 | 2007-02-07 | Hewlett Packard Development Co | Accurate positioning of a time lapse camera |
| US9363487B2 (en) | 2005-09-08 | 2016-06-07 | Avigilon Fortress Corporation | Scanning camera-based video surveillance system |
| US20070058717A1 (en) * | 2005-09-09 | 2007-03-15 | Objectvideo, Inc. | Enhanced processing for scanning video |
| US7732768B1 (en) * | 2006-03-02 | 2010-06-08 | Thermoteknix Systems Ltd. | Image alignment and trend analysis features for an infrared imaging system |
| US7697725B2 (en) * | 2006-04-03 | 2010-04-13 | Sri International | Method and apparatus for autonomous object tracking |
| KR101392294B1 (ko) * | 2006-04-17 | 2014-05-27 | 오브젝트비디오 인코퍼레이티드 | 통계적인 픽셀 모델링을 이용한 비디오 분할 |
| JP4926920B2 (ja) | 2007-11-16 | 2012-05-09 | キヤノン株式会社 | 防振画像処理装置及び防振画像処理方法 |
| US7961224B2 (en) * | 2008-01-25 | 2011-06-14 | Peter N. Cheimets | Photon counting imaging system |
| US8139205B2 (en) | 2008-05-12 | 2012-03-20 | Flir Systems, Inc. | Optical payload with integrated laser rangefinder and target designator |
| US8160747B1 (en) * | 2008-10-24 | 2012-04-17 | Anybots, Inc. | Remotely controlled self-balancing robot including kinematic image stabilization |
| US8442661B1 (en) | 2008-11-25 | 2013-05-14 | Anybots 2.0, Inc. | Remotely controlled self-balancing robot including a stabilized laser pointer |
| US8471915B2 (en) * | 2009-04-16 | 2013-06-25 | Raytheon Company | Self-correcting adaptive long-stare electro-optical system |
| US8571261B2 (en) * | 2009-04-22 | 2013-10-29 | Checkvideo Llc | System and method for motion detection in a surveillance video |
| WO2010151215A1 (en) * | 2009-06-22 | 2010-12-29 | Imint Image Intelligence Ab | Real time video stabilization |
| US8788096B1 (en) | 2010-05-17 | 2014-07-22 | Anybots 2.0, Inc. | Self-balancing robot having a shaft-mounted head |
| US8791911B2 (en) * | 2011-02-09 | 2014-07-29 | Robotzone, Llc | Multichannel controller |
| US9390617B2 (en) * | 2011-06-10 | 2016-07-12 | Robotzone, Llc | Camera motion control system with variable autonomy |
| US8760513B2 (en) * | 2011-09-30 | 2014-06-24 | Siemens Industry, Inc. | Methods and system for stabilizing live video in the presence of long-term image drift |
| DE102011117654B4 (de) * | 2011-11-04 | 2013-09-05 | Eizo Gmbh | Verfahren zum Betreiben einer Bildverarbeitungseinrichtung sowie entsprechende Bildverarbeitungseinrichtung |
| JP6087671B2 (ja) * | 2013-03-12 | 2017-03-01 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| JPWO2015087533A1 (ja) * | 2013-12-11 | 2017-03-16 | 旭化成エレクトロニクス株式会社 | 手振れ補正装置及び手振れ補正回路並びに手振れ補正方法 |
| GB2525175A (en) * | 2014-04-14 | 2015-10-21 | Nokia Technologies Oy | Imaging |
| JP6242742B2 (ja) * | 2014-05-08 | 2017-12-06 | 株式会社東芝 | 画像処理装置、撮像装置及び画像処理方法 |
| US9726463B2 (en) | 2014-07-16 | 2017-08-08 | Robtozone, LLC | Multichannel controller for target shooting range |
| US10121223B2 (en) * | 2015-03-02 | 2018-11-06 | Aerial Sphere, Llc | Post capture imagery processing and deployment systems |
| DE202016007867U1 (de) | 2015-08-07 | 2017-01-25 | Google Inc. | Steuerung des Sichtlinienwinkels einer Bildverarbeitungsplattform |
| US10341565B2 (en) | 2016-05-10 | 2019-07-02 | Raytheon Company | Self correcting adaptive low light optical payload |
| US9961261B2 (en) * | 2016-06-20 | 2018-05-01 | Gopro, Inc. | Image alignment using a virtual gyroscope model |
| TWI643498B (zh) * | 2018-01-02 | 2018-12-01 | 元智大學 | 以單一影像計算鏡頭視角的方法與攝像裝置 |
| US20210347126A1 (en) * | 2018-12-07 | 2021-11-11 | Hewlett-Packard Development Company, L.P. | Imaged transmission percentages for 3d printers |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3828122A (en) * | 1970-09-29 | 1974-08-06 | Bendix Corp | Tv area correlation tracker |
| GB8518803D0 (en) | 1985-07-25 | 1985-08-29 | Rca Corp | Locating target patterns within images |
| US5359674A (en) | 1991-12-11 | 1994-10-25 | David Sarnoff Research Center, Inc. | Pyramid processor integrated circuit |
| JP3679426B2 (ja) * | 1993-03-15 | 2005-08-03 | マサチューセッツ・インスティチュート・オブ・テクノロジー | 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム |
| ES2258311T3 (es) | 1993-06-04 | 2006-08-16 | Sarnoff Corporation | Sistema y procedimiento para la estabilizacion electronica de imagenes. |
| WO1994029670A1 (fr) * | 1993-06-10 | 1994-12-22 | Kabushiki Kaisha Oh - Yoh Keisoku Kenkyusho | Appareil pour mesurer la position d'un objet en mouvement |
| US5611000A (en) * | 1994-02-22 | 1997-03-11 | Digital Equipment Corporation | Spline-based image registration |
| US5793901A (en) * | 1994-09-30 | 1998-08-11 | Omron Corporation | Device and method to detect dislocation of object image data |
| US5963664A (en) * | 1995-06-22 | 1999-10-05 | Sarnoff Corporation | Method and system for image combination using a parallax-based technique |
| US5852672A (en) * | 1995-07-10 | 1998-12-22 | The Regents Of The University Of California | Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects |
| US5963612A (en) * | 1997-12-31 | 1999-10-05 | Siemens Corporation Research, Inc. | Apparatus for C-arm calibration for 3D reconstruction in an imaging system utilizing planar transformation |
-
1998
- 1998-08-31 US US09/143,910 patent/US6396961B1/en not_active Expired - Lifetime
- 1998-11-05 EP EP98309051A patent/EP0917103A3/en not_active Withdrawn
- 1998-11-12 JP JP10322296A patent/JPH11252440A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2427025A (en) * | 2003-04-25 | 2006-12-13 | Agilent Technologies Inc | Motion detection system |
| GB2400911B (en) * | 2003-04-25 | 2007-04-04 | Agilent Technologies Inc | Low power motion detection system |
| JP2007034995A (ja) * | 2005-06-21 | 2007-02-08 | Nitto Kogaku Kk | 画像処理装置 |
| JP4598623B2 (ja) * | 2005-06-21 | 2010-12-15 | 日東光学株式会社 | 画像処理装置 |
| JP2007215169A (ja) * | 2006-01-19 | 2007-08-23 | Valeo Vision | 車両に搭載されているカメラの向きを調整する方法、および、その方法を実行するためのシステム |
| KR100763521B1 (ko) | 2006-10-31 | 2007-10-04 | 한국전자통신연구원 | 이동 로봇의 시선 안정화 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0917103A3 (en) | 2003-09-24 |
| US6396961B1 (en) | 2002-05-28 |
| EP0917103A2 (en) | 1999-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH11252440A (ja) | 画像を整列させて目標点にカメラを固定する方法及び装置 | |
| EP2791868B1 (en) | System and method for processing multi-camera array images | |
| US7565029B2 (en) | Method for determining camera position from two-dimensional images that form a panorama | |
| Wu et al. | Recovery of the 3-d location and motion of a rigid object through camera image (an Extended Kalman Filter approach) | |
| US8723953B2 (en) | Generation of aerial images | |
| US7313252B2 (en) | Method and system for improving video metadata through the use of frame-to-frame correspondences | |
| US6788802B2 (en) | Optical flow estimation method and image synthesis method | |
| US8059887B2 (en) | System and method for providing mobile range sensing | |
| CN112184824B (zh) | 一种相机外参标定方法、装置 | |
| US20090141043A1 (en) | Image mosaicing apparatus for mitigating curling effect | |
| US8417062B2 (en) | System and method for stabilization of fisheye video imagery | |
| US20060215935A1 (en) | System and architecture for automatic image registration | |
| JP2016525842A (ja) | カメラ動き予測及び修正のための方法 | |
| US9794483B1 (en) | Video geolocation | |
| KR20130121290A (ko) | 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법 | |
| Opromolla et al. | Laboratory test of pose determination algorithms for uncooperative spacecraft | |
| JP4102386B2 (ja) | ３次元情報復元装置 | |
| US11310423B2 (en) | Image capturing method and image capturing apparatus | |
| CN111667413A (zh) | 一种基于多源传感数据融合处理的图像消旋方法和*** | |
| JP2004020398A (ja) | 空間情報獲得方法、空間情報獲得装置、空間情報獲得プログラム、及びそれを記録した記録媒体 | |
| CN107220935B (zh) | 一种视频卫星在轨视频稳像方法 | |
| JP2005063012A (ja) | 全方位カメラ運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体 | |
| CN111581322A (zh) | 视频中兴趣区域在地图窗口内显示的方法和装置及设备 | |
| Noirfalise et al. | Real-time Registration for Image Moisaicing. | |
| JPH07160893A (ja) | ３次元形状復元方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050913 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080205 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080701 |