JPH0636183A - 画像記録装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、道路案内や標識等を容易に確認で
き、見損ねに対する運転者の緊張を緩和することを可能
にする。 【構成】ビデオカメラ１から取り込まれた画像を一定時
間蓄積するためのフレーム画像蓄積部３と、フレーム画
像蓄積部３によって蓄積された画像から所定の情報、す
なわち道路案内や標識等に関する道路情報を検出する検
出部６と、検出部６によって道路情報が検出された場合
に、同情報が検出された画像を含む前後の画像を蓄積す
るための動画像蓄積部５と、動画像蓄積部５により蓄積
された画像を、動画あるいはフレーム単位の静止画とし
て表示する表示部１２とを備えている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば車両に搭載され
たビデオカメラにより取り込まれた動画像を一定時間保
持・表示し、道路案内板や標識などの見損ねを補足し得
る画像記録装置に関する。

【０００２】

【従来の技術】近年では、自動車の運転者に対して、現
在位置や進行方向等を通知するナビゲーション装置が利
用されはじめている。しかしながら、運転中に知ること
ができる道路案内や標識等については、運転者が識別し
判別しなければならない。一般に、不案内の道路を走行
する場合には、道路案内や標識から得られる情報が必要
となるため、道路案内や標識を見損ねないように注意す
るために緊張を招いてしまうことがある。

【０００３】ところで、情景画像中の文字検出認識技術
としてPRL85-73 P35〜46に道路標識等の検出、認識技術
としてproc. IARP Workshop on MAchine Vision Applic
ation Nov.28-30,1990,Tokyo P417 〜420 、平３情処全
大誌 3D-6などがある。これらの技術は道路情報を得る
ためのものであって、道路案内板や標識などの見損ねを
補足するようなものではない。

【０００４】

【発明が解決しようとする課題】このように、不案内の
道路を走行する場合には、道路案内や道路標識等の見損
ねがないように注意が必要であるが、従来の技術では道
路情報を認識にするに限られており、道路案内などの見
損ねに対する運転者の緊張を緩和するものではなかっ
た。

【０００５】本発明は前記のような点に鑑みてなされた
もので、道路案内や標識等を容易に確認でき、見損ねに
対する運転者の緊張を緩和することが可能な画像記録装
置を提供することを目的とする。

【０００６】

【課題を解決するための手段】本発明は、ビデオカメラ
から取り込まれた画像を一定時間蓄積するための第１の
蓄積手段と、前記第１の蓄積手段によって蓄積された画
像から所定の情報を検出する検出手段と、前記検出手段
によって前記所定の情報が検出された場合に、同情報が
検出された画像を含む前後の画像を蓄積するための第２
の蓄積手段と、前記第２の蓄積手段により蓄積された画
像を表示する表示手段とを具備して構成するものであ
る。

【０００７】

【作用】このような構成によれば、運転者が道路案内や
標識を見損ねた場合においても、道路案内や標識を含む
画像をディスプレイに表示させ確認することができる。
従って本発明によれば、道路案内などの見損ねに対する
運転者の緊張を緩和し、万が一見損ねた場合においても
慌てること無く、道路案内などが確認できるため、安全
運転を促進し得る。

【０００８】

【実施例】以下、図面を参照して本発明の一実施例を説
明する。図１は同実施例に係わる画像記録装置の構成を
示すブロック図である。同実施例においては、走行中の
車両から進行方向の動画像をビデオカメラにより取り込
み、取り込まれた動画像から、特定の文字や記号、ある
いは色情報が検出された場合に、その前後の動画像を一
定時間保持・表示することにより、道路案内板や標識の
見落としを補足し得る画像記録装置を例にして説明す
る。

【０００９】図１に示すように、画像記憶装置は、ビデ
オカメラ１、Ａ／Ｄ変換部２、フレーム画像蓄積部３、
画像圧縮部４、動画像蓄積部５、検出部６、認識部７、
情報比較部８、報知部９、入力部１０、画像伸張部１
１、表示部１２、座標入力部１３、メモリ部１４、、及
び制御部１５によって構成されている。

【００１０】ビデオカメラ１は、走行中の車両から進行
方向の動画像を撮像するもので、例えばカラ−ＣＣＤカ
メラである。ビデオカメラ１は、車両の屋根やボンネッ
ト上等に設置され、例えば1/1000秒電子シャッタ−によ
り走行中の進行方向の映像をぶれ無く撮像し、例えばＲ
・Ｇ・Ｂ（赤・緑・青）の３原色に色分解し、各々を電
気信号としてＡ／Ｄ変換部２に出力する。Ａ／Ｄ変換部
２は、ビデオカメラ１により撮像された動画像のＲ・Ｇ
・Ｂ成分を、例えば８bit のデジタル画像に各々量子化
するものである。

【００１１】フレ−ム画像蓄積部３は、Ａ／Ｄ変換部２
により量子化された動画像、すなわち例えば１／３０秒
間隔で取り込まれる時系列的連続画像の１フレ−ム分を
一時的に蓄えるものである。

【００１２】画像圧縮部４は、フレ−ム画像蓄積部３に
蓄えられた画像を、例えば国際標準のＪＰＥＧ（Joint
Photographic Experts Group）方式による画像圧縮処理
技術を用いて圧縮し、動画像蓄積部５に格納する。すな
わち、デジタル画像情報が情報量の大きさから、圧縮処
理無しでは膨大な容量の蓄積装置を必要とするためであ
る。例えば画像サイズを512 ×512 画素、１byte／画素
とした場合、Ｒ・Ｇ・Ｂ３色成分で７６８Ｋbyte／フレ
−ムであり、１秒間の画像データはその３０倍（３０フ
レーム分）の約２３Ｍbyteとなる。従って、画像の圧縮
処理を行わないと、たとえ数分間の情報でも、必要とす
る記憶容量は膨大な物となる。前述のＪＰＥＧ方式は基
本的には静止画像の圧縮技術であるが、高速処理が可能
であるため、疑似的に動画の圧縮処理に利用できる。ま
た、動画像の圧縮技術として、国際標準のＭＰＥＧ（Mo
tion Picture Experts Group）方式を用いても良い。後
述する画像伸張部１１は、画像圧縮部４における圧縮処
理と逆の処理を行うものであり、圧縮された画像の伸張
処理を行う。このような画像の圧縮／伸張技術について
は、例えば日経エレクトロニクス 1990.10.15 No.511
P116〜142 に記載されている。動画像蓄積部５は、圧縮
された連続的なデジタル画像を一定時間分蓄積するため
のもので、例えばハ−ドディスク等の記憶装置によって
構成される。

【００１３】検出部６は、フレ−ム画像蓄積部３に蓄え
られた画像情報を処理し、特定の色情報の抽出や線分検
出により、道路案内板や道路標識を検出し、さらに道路
案内板や道路標識に記載されている文字や記号などの検
出を行う。

【００１４】認識部７は、検出部６によって検出された
文字や記号を、例えばパタ−ンマッチング法により基準
パタ−ンと比較して認識する。このような道路上の特定
情報の検出・認識については、例えばproc. IARP Works
hop on MAchine Vision Application Nov.28-30,1990,T
okyo P417 〜420 、平３情処全大誌3D-6に記載されてい
る技術を用いることができる。

【００１５】情報比較部８は、認識部７によって得られ
た文字や記号についての認識情報（道路情報）と、予め
設定された特定の文字や記号（設定情報）とを比較し、
一致する情報が存在するか否かを判別し、存在する場合
にその旨を報知部９に通知する。報知部９は、情報比較
部８からの通知に応じて、例えば音声規則合成技術など
により、報知メッセ−ジを運転者に出力する。

【００１６】入力部１０は、座標入力部１３から入力さ
れた座標データをもとに、例えばオンライン文字認識技
術、さらにはキーボードやメニュー選択等を用いて、設
定情報とするための文字や記号を示すデータを情報比較
部８に入力する。画像伸張部１１は、動画像蓄積部５に
蓄積された圧縮された画像を伸張して表示可能な状態に
し、表示部１２に出力する。

【００１７】表示部１２は、動画像蓄積部５に蓄積され
た動画像を様々な形態で表示するディスプレイ装置であ
る。座標入力部１３は、表示部１２の表示面に重ねて設
置される、例えば透明タブレットのような座標入力装置
である。表示部１２と座標入力装置１３が重ね合わされ
ていることにより、表示部１２に表示されたメニュー等
を指やスタイラスペン等を用いて直接指示することがで
きる。

【００１８】メモリ部１４は一時的に情報を蓄える汎用
的なメモリである。メモリ部１４には、道路情報が検出
されたことを示す道路情報検出フラグや、動画像蓄積部
５に蓄積される画像を示すポインタ等が設けられる。制
御部１５は、前述した各部に対して各種指示を出力し、
装置全体の動作を制御する例えばＣＰＵである。制御部
１４は、メモリ部１４中の道路情報検出フラグの設定を
行なう。

【００１９】次に、同実施例の動作について、図２に示
すフローチャートを参照しながら説明する。ここでは、
高速道路を走行中の車両から進行方向の動画像をビデオ
カメラ１により取り込み、取り込まれた動画像から、イ
ンタ−チェンジ案内板情報が検出された場合に、その前
後の動画像を一定時間保持・表示することにより、案内
板の見落としを補足し、かつまた予め自分が利用するイ
ンタ−チェンジ確認の報知情報を得る処理を例にして説
明する。

【００２０】画像記憶装置が起動されると、制御部１５
は、各部の初期化を行ない、メモリ部１４中の道路情報
検出フラグも道路情報が検出されていないことを示す
“０”にセットする（ステップＳ１）。

【００２１】走行中の車両から進行方向の画像は、まず
ビデオカメラ１により１／３０秒間隔で撮像され、Ｒ・
Ｇ・Ｂの３原色に色分解され、各々電気信号としてＡ／
Ｄ変換部２に送られる。Ａ／Ｄ変換部２は、例えばＲ・
Ｇ・Ｂ各々８bit の濃淡画像に量子化し、フレ−ム画像
蓄積部３に蓄える（ステップＳ２）。この画像は当然の
ことながら３０秒間隔で更新される動画像であるが、１
／３０秒のフレ−ム単位では静止画像と考えることがで
きる。

【００２２】蓄えられた画像は、画像圧縮部４によっ
て、例えば国際標準のＪＰＥＧ方式により圧縮処理され
動画像蓄積部５に蓄積される（ステップＳ３，Ｓ４）。
蓄積された動画像は、新しいフレ−ムが蓄積される毎に
古いフレ−ムから削除されることにより更新され、常に
一定時間分の動画情報を蓄積する。動画像蓄積部５への
画像の蓄積は、道路情報検出フラグが“１”となるまで
（ステップＳ５）、すなわち撮影された画像から道路情
報が検出されるまで繰り返し行なわれる。

【００２３】この場合の動画像は、動画像蓄積部５に例
えば図３のように動画像第１蓄積領域としてマッピング
される。画像圧縮部４は、連続的に蓄積されるフレ−ム
画像の最新フレ−ムと最旧フレ−ムをポインタで管理す
る。新規フレ−ムが登録されると最新フレ−ムのポイン
タをその登録位置に移動し、最旧フレ−ムのポインタも
１つ進める。ポインタが動画像第１蓄積領域を越えてし
まう場合、画像圧縮部４は、領域の一番最初にポインタ
を移動させる。このように動画像第１蓄積領域でポイン
タをロ−テ−ションさせることにより、領域内で最旧フ
レ−ムと最新フレ−ムとのポインタが示す領域間には、
一定時間間隔の連続する動画像情報が常に存在する。

【００２４】一方、検出部６は、前述した動画像蓄積処
理と並行して、フレ−ム画像蓄積部３に蓄積されたフレ
−ム画像について、特定の色情報を用いて道路情報の検
出処理を行う（ステップＳ６）。検出対象とする高速道
路のインタ−チェンジ案内板は、多くの場合、使用され
ている色が緑色に限定されている。検出部６は、例えば
色のクラスタリング技術を用いて、インタ−チェンジ案
内板の画像部分を示す緑色領域を検出する。

【００２５】Ｒ・Ｇ・Ｂ３原色の色空間は、図４に示す
ような３次元空間で表され、各々８bit の場合、各成分
は０から２５５までの値を取り得る。従って、理想的な
緑色はＲ＝０、Ｇ＝２５５、Ｂ＝０の場合になる。通常
では、ビデオカメラ１から取り込まれたインタ−チェン
ジ案内板の色が理想的な緑色にならないため、検出部６
は、図４中に斜線で示すような、理想的な緑色から一定
距離の空間内を緑色と判定する。

【００２６】このような色のクラスタリング技術によ
り、画像から緑色領域のみが検出される。検出された緑
色領域は、例えばハフ変換により案内板のようなプレ−
ト状の領域を検出できる。このようなプレ−ト状の領域
検出技術は信学技報vol.88 No.14 P9 〜16に記載されて
いる。検出部６は、緑色のプレ−ト上の領域の縦・横の
サイズ比などをチェックし、大きな誤りがなければ案内
板領域候補として検出する（ステップＳ６）。

【００２７】検出が確認された場合は（ステップＳ
７）、そのフレ−ムが記録された最新フレームポインタ
をメモリ部１４に記憶すると共に（ステップＳ８）、道
路情報検出フラグを“１”にセットする（ステップＳ
９）。

【００２８】ここで、設定情報が予め入力されていない
場合には（ステップＳ１０）、記憶されたポインタから
所定のフレーム数（ｎ）が動画像蓄積部５の第１動画記
録領域に記録されたか判別されながら順次フレーム画像
が蓄積される。記憶されたポインタから所定フレ−ムの
画像が第１動画記録領域に記録されると（ステップＳ１
１）、制御部１５は、記憶されたポインタの前後所定フ
レ−ム画像を取り出し、これを一つのシ−ンとして、図
３に示す動画像蓄積部５の動画像第２蓄積領域にコピ−
する（ステップＳ１２）。また、シーンが記録された最
新シーンフレームポインタをメモリ部１４に記憶する。

【００２９】動画像第２蓄積領域にシーンの画像が記憶
されると、道路情報検出フラグを“０”にセットする
（ステップＳ１３）。以下同様にして、ステップＳ２の
処理に戻りフレームの画像の蓄積、シーンの画像の蓄積
を行なう。

【００３０】シ−ンの情報は、最大ｎ個まで蓄積でき、
新しいシ−ンが蓄積される毎に古いシ−ンから削除され
ることにより更新し、常に一定数のシ−ン情報を蓄積す
る。シ−ンもフレ−ム同様、最新シ−ンのポインタと最
旧シ−ンのポインタで管理され、新規シ−ンが登録され
ると最新シ−ンのポインタをそこに移動し、最旧シ−ン
のポインタも一つ進める。ポインタが動画像第２蓄積領
域を越えてしまう場合は領域の一番最初にポインタを移
動させる。このように動画像第２蓄積領域をポインタが
ロ−テ−ションすることにより、領域内で最旧シ−ンと
最新シ−ンのポインタに挟まれた領域には、常に一定数
の連続するシ−ン情報が存在する。

【００３１】ところで、画像伸張部１１は、動画像蓄積
部５の動画像第２蓄積領域に蓄積された圧縮されたシー
ンの画像を読出して伸張処理を行ない、表示部１２に出
力する。表示部１２は、例えば図５に示すように、イン
タ−チェンジ案内板が検出されたと判断されたフレ−ム
の画像（シーン）をマルチ画面表示する。また、静止画
としてではなく、動画として表示しても良い。

【００３２】図５に示す表示画面では、表示部１２の表
示面に重ねて設置された座標入力部１３を介して、マル
チ画面表示されているフレ−ムの中で任意のフレ−ム画
像にタッチすることにより、画面拡大表示される。この
際、制御部１５は、タッチされることによって得られた
座標情報から指定のフレ−ムを割り出し、拡大処理して
表示部１２に出力する。

【００３３】また、表示画面中のフォワ−ド、リワイン
ドなどのメニュ−をタッチすることにより、現在表示中
のフレ−ムから、前または後のフレ−ムを順次表示さ
せ、案内板や標識等の内容を一番確認し易い画像を検索
することができる。

【００３４】次に、設定情報を予め設定しておき、道路
情報確認の報知情報を得る処理について説明する。例え
ば、入力部１０では、オンライン文字認識技術を用いて
座標入力部１３から手書き入力された文字を認識し、イ
ンタ−チェンジ案内板の道路情報を得るために、例えば
「浦和」なるインタ−チェンジ名（設定情報）を入力す
る。この設定情報は、情報比較部８に登録される。

【００３５】ビデオカメラ１で撮影されたフレームの画
像から道路情報が検出された際に（ステップＳ６，Ｓ
７）、制御部１５は、設定情報が予め登録されているこ
とを判別すると（ステップＳ１０）、検出部６及び認識
部７に道路情報の認識を指示する（ステップＳ１４）。

【００３６】検出部６は、検出されたインタ−チェンジ
案内板領域内を対象として、文字情報の検出処理を行
う。このような文字検出技術はPRL85-73 P35〜46に記載
されている。検出された文字列は、認識部７においてパ
タ−ンマッチングなどの認識技術により認識され、対応
する文字コ−ドとして出力される。

【００３７】情報比較部８は、認識部７において得られ
た文字情報を、予め設定された「浦和」という文字情報
で検索し、一致する文字が存在するか否かを比較する
（ステップＳ１５）。一致する文字が存在する場合、す
なわち所望する道路情報が得られた場合には、案内板の
「浦和」の文字に続く数字（「浦和」インタ−チェンジ
までの距離を表わす）を、最終的には報知部１０におい
て例えば音声規則合成により運転手に報知する（ステッ
プＳ１６）。

【００３８】なお、前記実施例において、ビデオカメラ
１は、カラ−ＣＣＤカメラとして説明を行っているが、
ＣＣＤカメラに限らず撮像管など他の撮像機器も考えら
れる。また、そのシャッタ−速度は車両の移動速度に関
連して設定されるものであり、1/1000秒に限定されるも
のではない。当然画像の取り込み間隔も１／３０秒に限
らないのは言うまでもない。色分解はＲ・Ｇ・Ｂの３原
色に限らず色相・明度・彩度等、様々な色空間も考えら
れる。

【００３９】さらに、画像の量子化ビット数は８bit に
限らないし、画像の圧縮方式もＪＰＥＧ方式、ＭＰＥＧ
方式に限らない。動画像蓄積部５はハ−ドディスク装置
に限らず、光磁気ディスク装置などのオプティカルメデ
ィアやＲＡＭ等の半導体記憶装置でもよい。

【００４０】また、前記実施例においては、入力部１０
は、座標入力部１３から入力された座標データをもとに
処理を実行するものとしたが、音声認識機能を設けて音
声データをもとにデータ入力をできるようにしても良
い。

【００４１】

【発明の効果】以上のように本発明によれば、車両に搭
載されたビデオカメラにより取り込まれた動画像から、
特定の文字や記号、色情報などに合致する情報が検出さ
れた場合に、その前後の動画像を一定時間保持し、表示
することにより、道路案内や標識を見損ねた場合におい
ても、ディスプレイに表示させ確認することができる。
従って、道路案内などの見損ねに対する運転者の緊張を
緩和し、万が一見損ねた場合においても慌てること無
く、道路案内などが確認できるため、安全運転を促進し
得る効果を生ずるものである。

【図面の簡単な説明】

【図１】本発明の一実施例に係わる画像記録装置の構成
を示すブロック図。

【図２】同実施例の動作を説明するためのフロ−チャ−
ト。

【図３】動画像蓄積部５に蓄積される情報を説明するた
めの図。

【図４】Ｒ・Ｇ・Ｂ色空間における色領域を説明するた
めの図。

【図５】表示部１２に表示されるマルチ画面表示の例を
示す図。

【符号の説明】

１…ビデオカメラ、２…Ａ／Ｄ変換部、３…フレ−ム画
像蓄積部、４…画像圧縮部、５…動画像蓄積部、６…検
出部、７…認識部、８…情報比較部、９…報知部、１０
…入力部、１１…画像伸張部、１２…表示部、１３…座
標入力部、１４…メモリ部、１５…制御部。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ビデオカメラから取り込まれた画像を一
   定時間蓄積するための第１の蓄積手段と、 前記第１の蓄積手段によって蓄積された画像から所定の
   情報を検出する検出手段と、 前記検出手段によって前記所定の情報が検出された場合
   に、同情報が検出された画像を含む前後の画像を蓄積す
   るための第２の蓄積手段と、 前記第２の蓄積手段により蓄積された画像を表示する表
   示手段と、 を具備したことを特徴とする画像記録装置。