JP5621089B2 - 移動体の振動状態下における画像補正方法 - Google Patents

Description

本発明は、移動体の振動状態下における画像補正方法に関し、特に、移動体内に設けられた表示モニタが移動体の振動によって振動している状態下で、画像に補正を加えることにより、移動体内で表示モニタを見た場合に画像がぶれずに見ることができるようにするための新規な改良に関する。

従来、一般には、図８のように、外部カメラ１の画像２は表示用モニタ３に表示され、この画像２自体にぶれ等があった場合の画像のぶれを補正する方法としては、例えば、特許文献１及び２に示されている方法を挙げることができる。
すなわち、特許文献１に開示された画像ずれ補正装置においては、ウインドウに入射した光から画像信号を得る撮像機に対して、ウインドウを旋回させる旋回フレームに固定され、さらにウインドウから入射した光の光路上で結像する位置に配置された光軸位置を示すマーキングと、撮像機から供給される画像信号におけるマーキングの位置変化に基づいて画像のずれ量を検出し、そのずれ量に基づいて出力する画像のずれを補正する補正手段とを備えたことにより、撮像装置本体の歪みや視軸安定系の傾斜に伴う画像のぶれを検出し補正することを可能とし、常に安定した画像の表示が可能となる。

また、特許文献２に開示された目標検出処理装置、飛行体及び目標検出処理方法においては、撮像条件の違いにより生じるフレーム間の画像のずれ量を補正して、小型で低輝度な目標を検出するために、飛行体の飛行中に目標を撮像する場合に、まず、飛行速度・高度検出器で検出される自飛行体の高度及び飛行速度を検出し、この検出結果に加えてジンバル機構部から得られる撮像器の視軸方向、撮像器から得られる撮像視野、撮像間隔といった撮像条件を取得する。そして、像流れ量演算部にて、これら取得した撮像条件から撮像器の視野内の距離に応じて生じる各フレーム画像ごとの流れ量を求め、像流れ量補正部にてビデオ信号中の画像の流れ量を求めた流れ量に応じて各フレームごとにシフトさせて、フレーム積分処理部によりフレーム間の相関を求めて撮像器走査内の目標を検出する方法である。
従って、撮像条件の違いにより生じるフレーム間の画像のずれ量を確実に補正し、これにより小型で低輝度な目標を検出し得る目標検出処理装置及び目標検出処理方法を提供し、さらにこの目標検出処理装置を用いて目標を検出することが可能な飛行体を提供することができる。

特開２００１−２１１３７９号公報 特開２００３−２７０３１７号公報

従来の画像のぶれを補正する方法は、以上のように構成されていたため、次のような課題が存在していた。
すなわち、前述の特許文献１及び２に開示された方法は、何れの場合も、撮像した画像自体にずれやぶれが発生している場合に、この画像を後処理にて補正する方法で、このように画像自体のずれ及びぶれ等を補正して正常な画像として移動体内の表示モニタに表示した場合には、移動体の振動等がなければ画像は安定して見ることができるが、表示モニタが移動体の振動により振動している場合には、移動体内で表示モニタ内の画像を見た場合、振動等によりぶれた状態の画面を見ることになり、移動体内の乗員は安定した画像のモニタを行うことは困難であった。
すなわち、本発明は、ぶれのない正常な画像が表示モニタに送られているにも拘わらず、移動体の振動等によって表示モニタ自体が振動し、画像がぶれている場合に、ぶれのない画像を見ることができるようにする方法である。

本発明による移動体の振動状態下における画像補正方法は、
車両、飛翔体、船舶の何れかからなる移動体内に設けられ画面の外側の枠体に十印の認識基準を有する表示用モニタと、前記表示用モニタを空間安定装置によって静止状態に維持された状態で撮影するための画像入力装置と、前記画面入力装置からの補正量を入力すると共に外部からの補正前画像を取り込みかつ補正後画像を前記表示用モニタに出力するための画像取り込み補正装置とを用い、処理開始（第１ステップ１０１）後に、前記移動体が静止状態の時に画像基準位置認識（第２ステップ１０１）として前記画面に画像が表示されていると共に前記認識基準を有する状態で前記表示用モニタを画像入力装置で初期時に１回のみ撮像し、前記第２ステップで撮像された認識画像は前記画像入力装置に入力され（第３ステップ１０２）、前記第２ステップ１０１終了後は前記移動体が移動を開始した後も、前記表示用モニタの撮影は継続され、前記移動体の移動中での振動により前記表示用モニタに発生するぶれの状態が前記画像入力装置に入力されることにより、前記認識基準とのぶれ量が前記画像入力装置で算出され（第４ステップ１０３）て前記ぶれ量に対する補正量が前記画像取り込み補正装置に送られ、前記補正量に基づいて前記補正前画像を画像シフトする補正を行い（第５ステップ１０４）、前記画像取り込み補正装置から出力された補正後画像が前記表示用モニタに表示され（第６ステップ）、前記第３ステップ１０２から第６ステップ１０５は、前記移動体を用いて前記表示用モニタ(3)を使用する間は常に繰返して行われ、前記移動体による振動によって発生するぶれの状態に拘わらず、ぶれのない画像を前記表示用モニタに表示する方法であり、
また、前記補正前画像は、テレビ放送画像、又は、前記移動体に設けられた空間安定装置を介して設けられた外部カメラによって撮像された画像である方法である。

本発明による移動体の振動状態下における画像補正方法は、以上のように構成されているため、次のような効果を得ることができる。
すなわち、移動体内に移動体の振動の影響を受けない独立した状態の画像撮像装置を用いて振動している表示用モニタを撮影し、このモニタ画面のぶれ量を産出して得た補正量で補正前画像を画像シフトさせる補正を行い、補正後の補正後画像を表示モニタに表示しているため、移動体内で見る表示モニタは、移動体の振動に拘わらず、ぶれのない状態の画像として見ることができる。

本発明による画像補正方法を示すブロック図である。 図１の要部の表示モニタが静止状態を示す具体的構成図である。 図２の認識画像を示す構成図である。 図２のぶれ発生を示す具体的構成図である。 図４のぶれ発生の認識画像を示す構成図である。 図５の画面の補正後の補正後画像を示す構成図である。 図１の処理方法を示すフロー図である。 従来の表示方法を示すブロック図である。

本発明は、移動体内に設けられた表示モニタが移動体の振動によって振動している状態下で、画像に補正を加えることにより、移動体内で表示モニタを見た場合に画像がぶれずに見ることができるようにした移動体の振動状態下における画像補正方法を提供することを目的とする。

以下、図面と共に本発明による移動体の振動状態下における画像補正方法の好適な実施の形態について説明する。
尚、従来例と同一又は同等部分には、同一符号を付して説明する。
図１は、本発明の画像補正方法を示すブロック図であり、このブロック図において符号１０で示されるものは、飛行機、ヘリコプタ、船舶等からなる移動体であり、この移動体１０の画像取り込み補正装置１１には、外部カメラ１からの画像である補正前画像２が取り込まれるように構成されている。
前記補正前画像２は、前記外部カメラ１からの画像に限ることなく、例えば、アンテナで受けた各種画像とすることもできる。

前記画像取り込み補正装置１１からの補正後画像１２は、移動体１０内の表示用モニタ３で表示され、前記表示用モニタ３はこの移動体１０内の画像入力装置１３によって前記表示用モニタ３を撮影し、この画像入力装置１３によって表示用モニタ３のぶれ量１５を算出して得た補正量１３ａを前記画像後取り込み補正装置１１に送るように構成されている。

次に、前述の構成において、実際に、図１のブロック図に示される画像補正を行う場合について述べる。
まず、図７の処理方法のフローに示されるように、処理開始（第１ステップ１００）後に、画像基準位置認識（第２ステップ１０１）として、図２及び図３で示されるように、表示用モニタ３の画面３ａに画像３ｂが表示されていると共に枠部３ｃに形成された十印等からなる認識基準３ｄを有する状態で画像入力装置１３で撮影される。

前記第２ステップ１０１は、移動体が静止状態の時に行われ、初期時に１回のみである。
尚、前記画像入力装置１３は、前記移動体１０内で、振動等の影響を受けないように構成（例えば、周知の空間安定装置等に設けられている）され、常に、表示用モニタ３のぶれ状態を撮影することができるように構成されている。

前記第２ステップ１０１における前記認識基準３ｄを撮影して、画像入力装置１３に入力された認識画像３ｅは図３に示される通りで、この認識画像３ｅが画像入力装置１３に入力される（第３ステップ１０２）。

前述の第２ステップ１０１は、前述のように、初期時の立上り時に１回のみであるが、この動作が終了した後は、引き続き画像入力装置１３による撮影が継続され、移動体１０が移動を開始した後も、表示用モニタ３の撮影は継続されている。

そのため、第３ステップ１０２の動作継続においては、移動体１０の移動中での振動等による表示用モニタ３のぶれ１４が発生し（図４で示す）、このぶれ１４の状態が画像入力装置１３に入力されることにより、前記図３の認識基準３ｄとのぶれ量１５が前記画像入力装置１３において瞬時に算出され（第４ステップ１０３）、このぶれ量１５に対する補正量１３ａが図１のように画像取り込み補正装置１１に送られ、（図４のぶれ状態を示す）図５及び図６（図５の画像を補正した補正後の画像）で示されるように、この補正量１３ａに基づいて前記補正前画像２を画像シフトする補正を行う（第５ステップ１０４）と共に、画像取り込み補正装置１１から出力された補正後画像１２が表示用モニタ３に表示される（第６ステップ１０５）。

前述の第３ステップ１０２から第６ステップ１０５は、移動体１０を用いて表示用モニタ３を使用する間は、常に繰返して行われるため、移動体１０による振動によって発生するぶれの状態に拘わらず、最適な画像シフトが瞬時に行われるため、移動体１０内では、常にぶれのない安定した画面を見ることができる。
尚、前述のぶれに応じて画像シフトを行う技術は、例えば、前述の特許文献１及び２で示されるような周知の技術を用いて行うことができる。

本発明による移動体の振動状態下における画像補正方法は、移動体内の表示用モニタに限ることなく、例えば、振動の多い製鉄現場、金属加工現場等においても適用可である。

１ 外部カメラ
２ 補正前画像
３ 表示用モニタ
１０ 移動体
１１ 画像取り込み補正装置
１２ 補正後画像
１３ 画像入力装置
１４ ぶれ
１５ ぶれ量
１００ 第１ステップ
１０１ 第２ステップ
１０２ 第３ステップ
１０３ 第４ステップ
１０４ 第５ステップ
１０５ 第６ステップ

Claims (2)

1. 車両、飛翔体、船舶の何れかからなる移動体(10)内に設けられ画面(3a)の外側の枠体(3c)に十印の認識基準(3d)を有する表示用モニタ(3)と、前記表示用モニタ(3)を空間安定装置によって静止状態に維持された状態で撮影するための画像入力装置(13)と、前記画面入力装置(13)からの補正量(13a)を入力すると共に外部からの補正前画像(2)を取り込みかつ補正後画像(12)を前記表示用モニタ(3)に出力するための画像取り込み補正装置(11)とを用い、処理開始（第１ステップ１０１）後に、前記移動体(10)が静止状態の時に画像基準位置認識（第２ステップ１０１）として前記画面(3a)に画像(3b)が表示されていると共に前記認識基準(3d)を有する状態で前記表示用モニタ(3)を画像入力装置(13)で初期時に１回のみ撮像し、前記第２ステップ(101)で撮像された認識画像(3e)は前記画像入力装置(13)に入力され（第３ステップ１０２）、前記第２ステップ１０１終了後は前記移動体(10)が移動を開始した後も、前記表示用モニタ(3)の撮影は継続され、前記移動体(10)の移動中での振動により前記表示用モニタ(3)に発生するぶれ(14)の状態が前記画像入力装置(13)に入力されることにより、前記認識基準(3d)とのぶれ量(15)が前記画像入力装置(13)で算出され（第４ステップ１０３）て前記ぶれ量(15)に対する補正量(13a)が前記画像取り込み補正装置(11)に送られ、前記補正量(13a)に基づいて前記補正前画像(2)を画像シフトする補正を行い（第５ステップ１０４）、前記画像取り込み補正装置(11)から出力された補正後画像(12)が前記表示用モニタ(3)に表示され（第６ステップ）、前記第３ステップ１０２から第６ステップ１０５は、前記移動体(10)を用いて前記表示用モニタ(3)を使用する間は常に繰返して行われ、前記移動体(10)による振動によって発生するぶれの状態に拘わらず、ぶれのない画像(3b)を前記表示用モニタ(3)に表示することを特徴とする移動体の振動状態下における画像補正方法。
2. 前記補正前画像(2)は、テレビ放送画像、又は、前記移動体(10)に設けられた空間安定装置を介して設けられた外部カメラによって撮像された画像であることを特徴とする請求項１記載の移動体の振動状態下における画像補正方法。

Images