JPH0437268A - ビデオカメラの画像処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の利用分野〕 この発明は、ビデオカメラで撮像した画像信号の処理装
置に関し、特に、車両やヘリコプタ等に搭載されたビデ
オカメラのように振動するビデオカメラで撮像した画像
信号から振動成分を検出する技術に関する。

〔従来技術〕

ビデオカメラが振動する物体に設置されている場合、例
えば車両やヘリコプタ等に搭載されている場合には、撮
像した画像信号に振動が重畳されるので、検出した画像
をそのまま表示すると画像がブして非常に見にくい画面
となる。そのため振動するビデオカメラで撮像した画像
信号は適当な画像処理を行なって振動成分を除去する必
要がある。

従来のビデオカメラの上下振動成分の補正法としては、
例えば第７図に示すようなものがある。

第７図において、レンズ１を介して入力された光は、ミ
ラー２に反射した後、ＣＣＤａ上に結像され、画像信号
生成部４を介して画像信号として出力される。また、ミ
ラー２はモータ５等で回転角を変化できるようになって
いる。また、上記のごとき構成のビデオカメラ内には、
Ｇセンサ６が設置されている。このＧセンサ６はビデオ
カメラのピッチ変動（画面の上下振動に対応）を検出し
。

その検出結果に応じてミラー制御部７によってミラー２
をピッチ変動に応じて回転させる。すなわち、Ｇセンサ
６によってビデオカメラが下向きに動いたと判断された
時は、第７図においてミラー２は時計回り方向に動くよ
うに制御され、その結果、出力される画像はブレのない
映像となる。

上記のようなビデオカメラの上下振動は、車載されたビ
デオカメラにおいては、その影響はかなり大きく、例え
ば、マラソン中継のような場合にはかなり見にくい映像
になる。

また、道路上の車線認識のような画像処理システムにお
いては、車線の映像が上下に動くため、車線の検出処理
が難しくなるという問題があり。

そのための解決法の一つが前記のＧセンサとミラーによ
る方法である。

〔発明が解決しようとする課題〕

しかし、上記のような従来の方法においては、機械的に
可動するミラーとＧセンサを用いた構成となっており、
機械的な可動部を含むため耐久性に問題がある。また、
Ｇセンサの出力とミラーとの動きを対応させるための比
例定数の調整が必要であり、調整工数が多くなるという
問題がある。

また、車両前方にビデオカメラを設置した場合、例えば
前方に上り坂が見えてきた時は、やや上方を撮像するこ
とが望ましいが、車両が坂に到達する前はビデオカメラ
が水平方向を映すため、前方風景との対応がとれないと
いう問題がある。

本発明は、上記のごとき従来技術における種々の問題を
解決することを目的とするものである。

〔課題を解決するための手段〕

上記の目的を達成するため、本発明においては、特許請
求の範囲に記載するように構成している。

第１図は、本発明の機能を示すブロック図であり、（ａ
）は第１請求項、（ｂ）は第３請求項に相当する。

まず、第１図（ａ）において、１０１は通常のビデオカ
メラである。また、画像メモリ１０２はビデオカメラ１
０１で撮像した画像信号を入力して一時的に記憶する。

また、振動成分検出手段１０３は、画像メモリ１０２に
格納した画像の所定方向（例えば上下方向）の振動成分
を検出するものである。この振動成分検出手段１０３は
、例えば第２請求項に記載のように、画像メモリ１０２
に格納した画像を所定方向に走査し、エツジが存在した
時のアドレス値と、前回の画面におけるエツジのアドレ
ス値との差分を求め、その差分値を１画面内で平均化し
た量を振動の変化量（振動速度）とするように構成され
ている。また１画像読み出し手段１０４は、上記の検出
された振動成分に対応した量だけ、その振動と反対方向
に画像をずらせて画像メモリ１０２から画像を読み出す
。

そしてその読み出した画像信号を表示手段１０５で表示
する。

なお、上記の振動成分検出手段１０３および画像読み出
し手段１０４は、例えば後記第２図の高速画像処理装置
１２に相当し、コンピュータ等で構成される。また、表
示手段１０５は、例えば後記憶２図の表示装置１３に相
当し、ＣＲＴ表示装置や液晶表示装置等である。

上記のように第１請求項に記載の装置においては、ビデ
オカメラが振動した場合に、その振動によって生じた画
像上の振動成分を相殺するように補正を行なうので、ビ
デオカメラが振動した場合でも表示画面のぶれを有効に
低減し、鮮明な画像を表示することが出来る。

次に、第１図（ｂ）において、ビデオカメラ１０１は、
例えば車両やヘリコプタのような移動物体に固定されて
いる。そして画像メモリ１０２は、ビデオカメラ１０１
で撮像した画像信号を入力して一時的に記憶する。また
、振動成分検出手段１０６は、画像メモリ１０２に格納
した画像を所定方向に走査し、エツジが存在した時のア
ドレス値と、前回の画面におけるエツジのアドレス値と
の差分を求め、その差分値を１画面内で平均化した量を
振動の変化量（振動速度）として出力する。

上記のように第３請求項に記載の装置においては、移動
物体に固定されたビデオカメラで撮像した画像から移動
物体の振動のピッチ成分を検出することが出来、この振
動のピッチ成分を用いて移動物体の姿勢制御等の各種制
御を行なうことが出来る。

〔発明の実施例〕

第２図は、この発明の一実施例のブロック図である。第
２図において、ビデオカメラ１０は通常のビデオカメラ
である。ビデオカメラ１０で撮像した画像信号は、高速
画像処理装置１２に入力され、画像メモリ１１に一時的
に記憶される。そして高速画像処理装置１２では、画面
の上下方向の振動成分を検出し、その量に応じて上下振
動成分を除去するように画像を上下方向にシフトし、そ
の結果をＣＲＴ等の表示装置１３に出力する。

以下、高速画像処理装置１２における処理演算について
説明する。

第３図は、画像処理全体の手順を示すメインフローチャ
ートしたものである。第３図において、まず、Ｐｌでは
イニシャライズを行ない、機器の作動が開始する。次に
、Ｐ２の画像入力とＰ３の前処理は同時に実行される。

上記Ｐ３の前処理はエツジ検出が有効である。

例えば水平方向のエツジを求める場合は、入力画像をＡ
　（ｘ　＋　ｙ　）とすると、前処理画像Ｂ　（ｘ　＋
　ｙ　）は、 Ｂ（ｘ、ｙ）＝　、：Ａ（ｘ−１，ｙ−１）＋２Ａ（ｘ
、ｙ−１）＋Ａ（ｘ＋１．ｙ−１）−Ａ（ｘ−１，ｙ＋
１）−２Ａ（ｘ＋ｙ＋１）−Ａ（ｘ”Ｌｙ”ｌ）となる
。

上記のＡ　（Ｘ　ｒ　ｙ　）とＢ　（ｘ　ｒ　ｙ　）は
、それぞれ別の画像メモリに格納され、Ａ　（ｘ　＋　
ｙ　）は表示のために、Ｂ（ｘ、ｙ）は振動成分の検出
用に用いられる。

次に、Ｐ４では、ピッチ成分（上下振動成分）の検出処
理を用う。モしてＰ５では、Ｐ４で検出された振動成分
だけ画像Ａ（Ｘ　Ｔ　ｙ　）を縦方向（ｙ方向）にずら
して表示する。

以上の処理を繰り返すことにより、連続画像処理を行な
う。

以下、第３図のメインフローチャートの各パートＰ１お
よびＰ４について詳細に説明する。

第４図はＰｌのイニシャライズのフローチャートを示す
。イニシャライズでは、領域Ｙ（１）、Ｄ（１）および
Ｃ（ｉ）（ただしｉ＝１〜Ｐ）を全てＯにクリアする。

なお、ｐは画面を縦方向に何分側するかの分割数を表わ
したものである。例えば、画面のサイズを横２５６×縦
２４０とすると、ｐは３２〜２５６が適切である。

次に、第５図はピッチ成分検出処理のフローチャートで
ある。第５図の処理は画面−枚を取り込む毎に行なわれ
る。

第５図において、まず、１＝１とし、それに対応した座
標Ｘを求める。なお、ｘ　”　Ｘｐ−１、Ｘｐ＝　Ｎ　
／　ｐであり、Ｎは画面の横方向のサイズ（２５６など
）である。

次に、領域ｙ（ｉ）を調へ、ｙ　（ｉ　）＝　Ｏの場合
には、前回の演算ではｘ　”　Ｘ　ｐ・１上にエツジ点
はなかったものとして、ｙ座標として予め定められたｙ
、、、　（＝　２４０など）をセットする。

次に１画像Ｂ　（ｘ　＋　ｙ　）を調へ、もしエツジ点
であればＹ（ｉ）＝ｙとして格納し、エツジ点でなけれ
ば’！＝’！−１とし、予め定められたＹ　ｍｉｌ＋ま
でＢ（ｘ、ｙ）を調べる。

一方、ｘ＝Ｘｐ−１上にエツジ点がなければ、Ｙ（ｉ）
＝Ｏ，Ｃ（ｉ）＝Ｏ（７）ままとして１＝１＋１で次の
Ｘ座標に移る。

上記のピッチ成分検出処理を何面面かについて繰り返せ
ば、Ｙ（ｉ）には主に対応したｙ座標が格納されてくる
。そしてＹ（ｉ）＝○でない時は、前回の演算で（ｘ、
Ｙ（ｉ））の点にエツジ点が存在したとして、成る幅Ｙ
１１だけ下の点、すなわちｙ＝Ｙ（ｉ）＋Ｙｔｉの点か
ら走査を開始する。

同様に、Ｂ　（ｘ　＋　ｙ　）を調へてエツジ点でなけ
ればｙ＝Ｙ（ｉ）−Ｙｗまで繰り返す。それでもエツジ
点カ存在シナケレばＹ（ｉ）＝Ｏ，Ｃ（ｉ）＝Ｏとして
次のｊに進む。エツジ点が見つかった時は、合にはピッ
チ変動分と見做して Ｙ（ｉ）＝ｙ Ｄ（ｉ）＝ｙ−Ｙ（ｉ）（変動分） Ｃ（ｉ）＝Ｃ（ｉ）＋１　（連続期間数）とする。

一方、閾値Ｔｙより大きい場合は、前回の点とは全く異
なる点を検出したと判断し、Ｙ（ｉ）＝Ｏ−Ｃ（ｉ）＝
Ｏとする。

以上の処理を１＝１〜Ｐまで繰り返したのち、Ｃ（１）
を調へ、Ｃ（ｉ）＞ＴＣなる」について、下記（１）式
によってＤ（ｉ）を平均することにより、ｄを求める。

なお、Ｃ（ｉ　）は、ｉにおいて何面面エツジが連続し
て存在したかを示す。また、上記のＴｃは５画面程度が
適切である。

Ｑ　　ｌ＝ま ただし、上記の演算は、Ｃ（１）　＞　Ｔ　ｃなるｉに
ついてのみ平均値を求める。Ｑはそれに該当するｉの数
である。

上記のｄは、今回の演算における画像の前回の演算にお
ける画像に対する上下方向の移動量と見做すことが出来
る。したがってｄの値を画面毎に積算してゆけば、絶対
座標としての基準座標値Ｙｓを求めることが出来る。

基本的にＹｓ＝Ｏとすると、例えば画面全体に下方向に
２画素移動し、更に次の画面で１画素下方に動いたとす
ると、１回目ｄ＝２．２回目はｄ＝１となり、積算値は
３画素となる。

ただし積算によると誤差も拡大してくるため、Ｙｓ、＝
Ｃ（Ｙ　ｓｏ　十ｄ　）においてＹｓを更新する。なお
、上式においてＹｓ□はＹｓの今回の出力、右辺のＹ２
ＯはＹｓの前回の結果である。また、αは１に近く、か
つ１より小さい数値であり１例えば０．９５である。

以上の処理を画面毎に繰り返せば、Ｙｓの値はその画面
の上下方向のずれ量を表わすことになる。

したがって画像表示において、原画像Ａ　（ｘ　＋　ｙ
　）をｙ方向にＹ５だけシフトして表示すれば、ブレの
ない画像を表示することが出来る。

なお、上記の説明においては、画像が上下方向に振動す
る場合を示したが、左右方向に振動する場合には、左右
方向（例えば左から右へ）に走査し、左右方向のエツジ
を検出すればよい。

次に、第６図は前記のごとき演算処理のタイムチャート
である。第６図において、まず第１フイールドで画像人
力と前処理を行ない、それぞれ格納する。次に、第１フ
イールドから第２フイールドに移る垂直帰線期間内にピ
ッチ成分の検出処理を行なう。そして、第２フィールド
期間に、格納された画像をＹｓだけシフトさせて、すな
わちｙアドレスをｙ　＋　Ｙ　ｓとして原画像を読み出
して表示すればよい。

上記のように、一連の処理を第６図のような時間スケジ
ュールで実行すれば、ノイズのない自然な連続画像出力
を得ることが出来る。

また、前記の作用から判るように、車両前方の道路に勾
配がある場合、例えば上り坂がある場合には、画面を下
方にずらして表示する、すなわち撮像された画面の上の
部分が表示画面の中心に近づくように補正されるので、
結果としてビデオカメラがやや上向きに修正されたのと
同じ効果が生じる。そのため実際に車両が上り坂を上り
始める前から本来撮像したい画面を表示することが出来
る。

また、本実施例では、画像をＹｓだけシフトして表示す
ることにより、ブレのない画像を表示する装置を例示し
たが、他の用途にも適用することが出来る。例えば、車
載ビデオカメラによる道路端の認識処理を行なう場合に
は、あたかも画像がＹｓだけシフトしたものとして動画
像処理すればよい。

また、車両やヘリコプタのような移動物体に固定された
ビデオカメラからの信号によってＹｓを求めれば、移動
物体の上下振動（または左右振動）のピッチ成分を検出
することが出来る。ピッチ角度をθとすると、 Ｐ θ＝ｊａｎ−１＋　Ｙｓ となる。上式において、Ｆはレンズの焦点距離（単位は
ｍｍ）　、　Ｄｐは１画素のサイズ（単位はｍｍ）であ
る。ただし、この場合は撮像された画面上の対地ピッチ
角に対応する。

上記のように移動物体の上下振動や左右振動のピッチ成
分を検出することにより、移動物体の姿勢制御等の種々
の制御に利用することが出来る。

〔発明の効果〕

以上説明してきたように、この発明によれば、通常のビ
デオカメラの画像信号から画像処理によって所定方向の
振動成分を求め、その振動成分を相殺するようにずらし
た画像を表示するように構成したことにより、ビデオカ
メラが振動した場合にもぶれのない鮮明な画像を表示す
ることが出来る。また、全ての処理を電子的に行ない、
従来のような可動機構を含まないので耐久性に優れてい
る。また、振動成分が画素を単位として求められ、シフ
ト量と一対一に対応がとれるため、ゲイン調整が不要に
なる。また、車載時には、前方道路の勾配に応じて、勾
配に入る以前から予めシフト量が調整されるため、本来
撮影したい個所の画像が得られる。さらに移動物体の振
動のピッチ成分を求めることが出来るので１種々の制御
に応用することが出来る、等の優れた効果が得られる。

【図面の簡単な説明】

第１図は本発明の機能ブロック図、第２図は本発明の一
実施例のブロック図、第３図は本発明における演算処理
のメインフローチャートの一実施例図、第４図は本発明
の演算処理におけるイニシャライズ部分を示すフローチ
ャートの一実施例図。 第５図は本発明の演算処理におけるピッチ成分検出部分
のフローチャートの一実施例図、第６図は本発明の演算
処理のタイムチャートの一実施例図、第７図は従来装置
の一例図である。 く符号の説明〉 １０・ビデオカメラ　　　１１・・・画像メモリ１２・
・高速画像処理装置　１３・・・表示装置１０トビデオ
カメラ １０２・−画像メモリ １０３・・振動成分検出手段 １０４−・画像読み出し手段 １０５・・表示手段 １０６・・・振動成分検出手段

Claims (1)

1. 【特許請求の範囲】 １、撮影した光学画像を電気的な画像信号として出力す
   るビデオカメラと、 上記画像信号を入力して一時的に記憶する画像メモリと
   、 上記画像メモリに格納した画像の所定方向の振動成分を
   検出する振動成分検出手段と、 上記の検出された振動成分に対応した量だけ、その振動
   と反対方向に画像をずらせて上記画像メモリから画像を
   読み出す画像読み出し手段と、上記画像読み出し手段で
   読み出した画像信号を表示する表示手段と、を備えたこ
   とを特徴とするビデオカメラの画像処理装置。 ２、上記振動成分検出手段は、画像メモリに格納した画
   像を所定方向に走査し、エッジが存在した時のアドレス
   値と、前回の画面におけるエッジのアドレス値との差分
   を求め、その差分値を１画面内で平均化した量を振動の
   変化量とするものであることを特徴とする第１請求項に
   記載のビデオカメラの画像処理装置。 ３、撮影した光学画像を電気的な画像信号として出力し
   、かつ移動物体に固定されたビデオカメラと、 上記画像信号を入力して一時的に記憶する画像メモリと
   、 上記画像メモリに格納した画像を所定方向に走査し、エ
   ッジが存在した時のアドレス値と、前回の画面における
   エッジのアドレス値との差分を求め、その差分値を１画
   面内で平均化した量を振動の変化量とする振動成分検出
   手段と、を備え、上記振動の変化量を移動物体の振動の
   ピッチ成分として検出することを特徴とするビデオカメ
   ラの画像処理装置。