JP3022330B2 - 動画像認識装置および動画像認識方法 - Google Patents
動画像認識装置および動画像認識方法Info
- Publication number
- JP3022330B2 JP3022330B2 JP8179006A JP17900696A JP3022330B2 JP 3022330 B2 JP3022330 B2 JP 3022330B2 JP 8179006 A JP8179006 A JP 8179006A JP 17900696 A JP17900696 A JP 17900696A JP 3022330 B2 JP3022330 B2 JP 3022330B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- white line
- spatio
- temporal
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は動画像認識装置に関
し、特に画像中のノイズに対してロバストな動画像認識
装置に関する。
し、特に画像中のノイズに対してロバストな動画像認識
装置に関する。
【０００２】
【従来の技術】従来、この種の動画像認識装置は画像中
に含まれる雑音に対してロバストな認識を実現するため
に、たとえば特開平０３−２９２５７４号公報に記載さ
れているように、時系列として撮影された画像を画素対
応で加算することによって画像データ中の雑音の影響を
抑えていた。また、同じく画像の時系列を利用する方法
として、たとえば、電子情報通信学会論文誌、１９９４
年、Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ、Ｎｏ．１０、ｐｐ．２
０１９−２０２６に示されているような、ＤＤＴ法と呼
ばれる手法が用いられている。
に含まれる雑音に対してロバストな認識を実現するため
に、たとえば特開平０３−２９２５７４号公報に記載さ
れているように、時系列として撮影された画像を画素対
応で加算することによって画像データ中の雑音の影響を
抑えていた。また、同じく画像の時系列を利用する方法
として、たとえば、電子情報通信学会論文誌、１９９４
年、Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ、Ｎｏ．１０、ｐｐ．２
０１９−２０２６に示されているような、ＤＤＴ法と呼
ばれる手法が用いられている。
【０００３】図１９、図２０、図２１および図２２を参
照して、ＤＴＴ法の動作について説明する。
照して、ＤＴＴ法の動作について説明する。
【０００４】図１９を参照すると、この文献に記載の動
画像認識装置は、ＣＣＤカメラ等の画像入力装置１９１
と、画像内の処理領域を設定する処理領域設定手段１９
２と、画像内の処理領域から物体の特徴データを抽出す
る特徴データ抽出手段１９３と、特徴データを物体の方
向軸に投影し一次元データを得る特徴データ投影手段１
９４と、一次元データを時系列方向に並べてＤＴＴ画像
を生成するＤＴＴ画像生成手段１９５と、ＤＴＴ画像を
２値化するＤＴＴ画像の２値化手段１９６と、２値化さ
れたＤＴＴ画像から物体像を検出するＤＴＴ画像からの
物体検出手段１９７とを含む。
画像認識装置は、ＣＣＤカメラ等の画像入力装置１９１
と、画像内の処理領域を設定する処理領域設定手段１９
２と、画像内の処理領域から物体の特徴データを抽出す
る特徴データ抽出手段１９３と、特徴データを物体の方
向軸に投影し一次元データを得る特徴データ投影手段１
９４と、一次元データを時系列方向に並べてＤＴＴ画像
を生成するＤＴＴ画像生成手段１９５と、ＤＴＴ画像を
２値化するＤＴＴ画像の２値化手段１９６と、２値化さ
れたＤＴＴ画像から物体像を検出するＤＴＴ画像からの
物体検出手段１９７とを含む。
【０００５】画像入力装置１９１から与えられた単フレ
ーム画像は処理領域設定手段１９２に供給される。処理
領域設定手段１９２は、図２０に示すように物体の移動
範囲をカバーするような処理領域２０１を画像中に設定
する。処理領域２０１が設定された画像は特徴データ抽
出手段１９３に供給され、特徴データ抽出手段１９３は
設定された処理領域２０１から、検出すべき物体２０３
に関する特徴データを抽出する。特徴データは特徴デー
タ投影手段１９４に供給され、特徴データ投影手段１９
４は図２０に示すように特徴データを物体の移動方向２
０２にほぼ平行な方向軸２０４に投影し、１次元データ
を生成する。各時刻における上記１次元データはＤＴＴ
画像生成手段１９５に供給され、ＤＴＴ画像生成手段１
９５は上記１次元データを時系列に並べることにより、
図２１に示されるような方向軸−時間軸からなる２次元
画像（ＤＴＴ画像）を生成する。ＤＴＴ画像はＤＴＴ画
像の２値化手段１９６に供給され、ＤＴＴ画像の２値化
手段１９６は供給されたＤＴＴ画像を２値化する。２値
化されたＤＴＴ画像はＤＴＴ画像からの物体検出手段１
９７に供給され、ＤＴＴ画像からの物体検出手段１９７
は供給された２値化ＤＴＴ画像から一様な領域を検出
し、１つの物体を表す像として出力する。
ーム画像は処理領域設定手段１９２に供給される。処理
領域設定手段１９２は、図２０に示すように物体の移動
範囲をカバーするような処理領域２０１を画像中に設定
する。処理領域２０１が設定された画像は特徴データ抽
出手段１９３に供給され、特徴データ抽出手段１９３は
設定された処理領域２０１から、検出すべき物体２０３
に関する特徴データを抽出する。特徴データは特徴デー
タ投影手段１９４に供給され、特徴データ投影手段１９
４は図２０に示すように特徴データを物体の移動方向２
０２にほぼ平行な方向軸２０４に投影し、１次元データ
を生成する。各時刻における上記１次元データはＤＴＴ
画像生成手段１９５に供給され、ＤＴＴ画像生成手段１
９５は上記１次元データを時系列に並べることにより、
図２１に示されるような方向軸−時間軸からなる２次元
画像（ＤＴＴ画像）を生成する。ＤＴＴ画像はＤＴＴ画
像の２値化手段１９６に供給され、ＤＴＴ画像の２値化
手段１９６は供給されたＤＴＴ画像を２値化する。２値
化されたＤＴＴ画像はＤＴＴ画像からの物体検出手段１
９７に供給され、ＤＴＴ画像からの物体検出手段１９７
は供給された２値化ＤＴＴ画像から一様な領域を検出
し、１つの物体を表す像として出力する。
【０００６】ＤＴＴ法は図２２のように、過去から現在
の各フレーム３２、３３を時系列方向に並べた時空間画
像において、ある切断平面２１１を考え、その断面を解
析することによって、物体２０３の移動の様子を認識し
ている。
の各フレーム３２、３３を時系列方向に並べた時空間画
像において、ある切断平面２１１を考え、その断面を解
析することによって、物体２０３の移動の様子を認識し
ている。
【０００７】
【発明が解決しようとする課題】従来の、画像を画像対
応で加算する動画像処理装置においては、フレーム間で
の微小な動きのために、認識対象物の同一特徴を表す特
徴点がフレーム間で異なる位置にずれてしまうために特
徴点がうまく重ね合わなくなってしまい、このままでは
画像中に含まれる雑音と特徴点との区別がつきづらくな
ってしまう。従ってこの場合、同一特徴を表す特徴点を
フレーム間で対応づける必要があるが、フレーム間の対
応づけ問題は本質的に困難な問題であり、認識装置の精
度、信頼性の悪化、認識速度の低下を招く、という問題
点があった。
応で加算する動画像処理装置においては、フレーム間で
の微小な動きのために、認識対象物の同一特徴を表す特
徴点がフレーム間で異なる位置にずれてしまうために特
徴点がうまく重ね合わなくなってしまい、このままでは
画像中に含まれる雑音と特徴点との区別がつきづらくな
ってしまう。従ってこの場合、同一特徴を表す特徴点を
フレーム間で対応づける必要があるが、フレーム間の対
応づけ問題は本質的に困難な問題であり、認識装置の精
度、信頼性の悪化、認識速度の低下を招く、という問題
点があった。
【０００８】一方、前記ＤＤＴ法のような時空間画像を
用いた動画像認識装置は、上記のフレーム間の対応づけ
を行わずに動画像中の認識対象を認識するものである
が、この動画像認識装置は元々が物体の大局的な移動の
情報を得るためのものであり、認識対象の形状を認識す
ることは出来ない。
用いた動画像認識装置は、上記のフレーム間の対応づけ
を行わずに動画像中の認識対象を認識するものである
が、この動画像認識装置は元々が物体の大局的な移動の
情報を得るためのものであり、認識対象の形状を認識す
ることは出来ない。
【０００９】本発明の目的は、上記課題を解決し、時空
間画像を用いてフレーム間の対応づけをすること無しに
時系列情報を利用することにより、画像中のノイズに対
してロバストであり、また認識対象の形状をも認識し得
る動画像認識装置を提供することにある。
間画像を用いてフレーム間の対応づけをすること無しに
時系列情報を利用することにより、画像中のノイズに対
してロバストであり、また認識対象の形状をも認識し得
る動画像認識装置を提供することにある。
【００１０】
【課題を解決するための手段】空間画像を入力してそれ
らを時間軸方向に並べることによって時空間画像を生成
し出力する時空間画像生成手段と、前記時空間画像を入
力し時空間画像から特徴点を抽出し出力する特徴点抽出
手段と、前記特徴点を入力し現フレームまでの認識対象
物の位置、形状及び各フレーム間での認識対象物の微小
な動きをモデル化した対象物の時空間モデルとをマッチ
ングし、前記特徴点と前記時空間モデルとの距離が最小
となるように時空間モデルパラメータ値を修正出力する
時空間モデルマッチング手段と、前記修正された時空間
モデルパラメータ値により定められる時空間モデルと現
フレームとの交差領域として対象物の現フレームでの位
置及び形状を認識する対象物推定手段とを有することを
特徴とする。
らを時間軸方向に並べることによって時空間画像を生成
し出力する時空間画像生成手段と、前記時空間画像を入
力し時空間画像から特徴点を抽出し出力する特徴点抽出
手段と、前記特徴点を入力し現フレームまでの認識対象
物の位置、形状及び各フレーム間での認識対象物の微小
な動きをモデル化した対象物の時空間モデルとをマッチ
ングし、前記特徴点と前記時空間モデルとの距離が最小
となるように時空間モデルパラメータ値を修正出力する
時空間モデルマッチング手段と、前記修正された時空間
モデルパラメータ値により定められる時空間モデルと現
フレームとの交差領域として対象物の現フレームでの位
置及び形状を認識する対象物推定手段とを有することを
特徴とする。
【００１１】本発明の前記手段によれば、時空間モデル
マッチング手段において認識対象物の時空間モデルはフ
レーム間での認識対象物の微小な動きをモデル化したも
のであるので、この時空間対象モデルを直接認識対象物
の特徴点にマッチングさせてフレーム間での認識対象物
の微小な動きをモデルに吸収させることにより、フレー
ム間での特徴点の対応づけをすることなしに時系列情報
を使った動画像認識を実現することが出来る。
マッチング手段において認識対象物の時空間モデルはフ
レーム間での認識対象物の微小な動きをモデル化したも
のであるので、この時空間対象モデルを直接認識対象物
の特徴点にマッチングさせてフレーム間での認識対象物
の微小な動きをモデルに吸収させることにより、フレー
ム間での特徴点の対応づけをすることなしに時系列情報
を使った動画像認識を実現することが出来る。
【００１２】また本発明の前記手段によれば、認識対象
物の上記時空間モデルに各フレームにおける認識対象物
の形状を組み込むことによって、認識対象物の形状を認
識することが出来る。
物の上記時空間モデルに各フレームにおける認識対象物
の形状を組み込むことによって、認識対象物の形状を認
識することが出来る。
【００１３】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して詳細に説明する。
て図面を参照して詳細に説明する。
【００１４】図１は本発明の第１の実施の形態の構成を
示すブロック図である。この第１の実施の形態は自動車
に取り付けたカメラから道路画像を取り込み、その画像
から走行レーンを表す白線の画像中での位置および形状
を推定するものである。ここでは、白線が直線をなす場
合を考えている。
示すブロック図である。この第１の実施の形態は自動車
に取り付けたカメラから道路画像を取り込み、その画像
から走行レーンを表す白線の画像中での位置および形状
を推定するものである。ここでは、白線が直線をなす場
合を考えている。
【００１５】図１を参照すると、本発明の第１の実施の
形態は、ＣＣＤカメラ等の道路画像入力装置１１と、一
定期間内に入力された道路画像データを１フレーム単位
で蓄積する道路画像蓄積装置１２と、一定期間内に入力
された道路画像を時系列に沿って並べて時空間道路画像
を生成する時空間道路画像生成手段１３と、時空間道路
画像において前時刻での白線位置推定結果を基に白線の
候補点を抽出する領域を設定する白線候補点抽出領域設
定手段１４と、時空間道路画像から白線の候補点を抽出
する白線候補点抽出手段１５と、白線候補点と白線の時
空間モデルとをマッチングする時空間モデルマッチング
手段１６と、現フレーム内での白線の位置および形状を
白線の時空間モデルと現フレームとの交線として推定す
る白線推定手段１７とを含む。
形態は、ＣＣＤカメラ等の道路画像入力装置１１と、一
定期間内に入力された道路画像データを１フレーム単位
で蓄積する道路画像蓄積装置１２と、一定期間内に入力
された道路画像を時系列に沿って並べて時空間道路画像
を生成する時空間道路画像生成手段１３と、時空間道路
画像において前時刻での白線位置推定結果を基に白線の
候補点を抽出する領域を設定する白線候補点抽出領域設
定手段１４と、時空間道路画像から白線の候補点を抽出
する白線候補点抽出手段１５と、白線候補点と白線の時
空間モデルとをマッチングする時空間モデルマッチング
手段１６と、現フレーム内での白線の位置および形状を
白線の時空間モデルと現フレームとの交線として推定す
る白線推定手段１７とを含む。
【００１６】時空間モデルマッチング手段１６は図２を
参照すると、各白線候補点と時空間モデルとの距離の総
和を計算する白線候補点モデル間距離計算手段２１と、
白線候補点モデル間距離を基にモデルパラメータ更新を
終了するか否かを判定するパラメータ更新終了判定手段
２２と、白線候補点モデル間距離のモデルパラメータに
ついての１次微分、２次微分値を計算する距離微分値計
算手段２３と、距離の微分値を基にＮｅｗｔｏｎ法等の
反復法によってモデルパラメータを更新するモデルパラ
メータ更新手段２４とを含む。
参照すると、各白線候補点と時空間モデルとの距離の総
和を計算する白線候補点モデル間距離計算手段２１と、
白線候補点モデル間距離を基にモデルパラメータ更新を
終了するか否かを判定するパラメータ更新終了判定手段
２２と、白線候補点モデル間距離のモデルパラメータに
ついての１次微分、２次微分値を計算する距離微分値計
算手段２３と、距離の微分値を基にＮｅｗｔｏｎ法等の
反復法によってモデルパラメータを更新するモデルパラ
メータ更新手段２４とを含む。
【００１７】次に、図４を参照して第１の実施の形態の
動作について詳細に説明する。
動作について詳細に説明する。
【００１８】まず、ここでの世界座標およびカメラ座標
を図５のように定める。
を図５のように定める。
【００１９】道路画像入力装置１１から与えられた道路
画像データは、道路画像蓄積装置１２に供給される。道
路画像蓄積装置１２は、この道路画像データを時刻情報
と共に一定期間蓄積する（ステップ４０１および４０
２）。道路画像蓄積装置１２は現フレームを含む、一定
期間の道路画像Ｎフレーム（Ｎは予め定めた数）を時空
間道路画像生成手段１３に供給する。時空間道路画像生
成手段１３はこの道路画像Ｎフレームを時系列に並べ
て、図３にあるような３次元的な時空間道路画像を生成
する（ステップ４０３）。時空間道路画像生成手段１３
はこの時空間道路画像を白線候補点抽出領域設定手段１
４に供給する。白線候補点抽出領域設定手段１４はこの
時空間道路画像内に、前時刻に推定された白線位置を中
心とした処理領域を設定する（ステップ４０４）。
画像データは、道路画像蓄積装置１２に供給される。道
路画像蓄積装置１２は、この道路画像データを時刻情報
と共に一定期間蓄積する（ステップ４０１および４０
２）。道路画像蓄積装置１２は現フレームを含む、一定
期間の道路画像Ｎフレーム（Ｎは予め定めた数）を時空
間道路画像生成手段１３に供給する。時空間道路画像生
成手段１３はこの道路画像Ｎフレームを時系列に並べ
て、図３にあるような３次元的な時空間道路画像を生成
する（ステップ４０３）。時空間道路画像生成手段１３
はこの時空間道路画像を白線候補点抽出領域設定手段１
４に供給する。白線候補点抽出領域設定手段１４はこの
時空間道路画像内に、前時刻に推定された白線位置を中
心とした処理領域を設定する（ステップ４０４）。
【００２０】ただし、道路画像内では、画像上部、すな
わち図６でいうならば−ｚ方向にいくほど、対応する３
次元実空間領域は狭くなるので、処理領域も画像上部に
いくにつれて狭くしていくのが自然である。つまり、各
フレームのサイズをＭ×Ｎ、時空間白線モデルをｚ＝ｆ
（ｘ，ｔ）、画像最下部での処理領域幅をＷproc low、
白線の各時刻ｔでの消失点のｚ座標をＺvan （ｔ）とす
ると、各ｚ座標での処理領域幅Ｗproc（ｚ，ｔ）を、図
６に見られるように、
わち図６でいうならば−ｚ方向にいくほど、対応する３
次元実空間領域は狭くなるので、処理領域も画像上部に
いくにつれて狭くしていくのが自然である。つまり、各
フレームのサイズをＭ×Ｎ、時空間白線モデルをｚ＝ｆ
（ｘ，ｔ）、画像最下部での処理領域幅をＷproc low、
白線の各時刻ｔでの消失点のｚ座標をＺvan （ｔ）とす
ると、各ｚ座標での処理領域幅Ｗproc（ｚ，ｔ）を、図
６に見られるように、
【００２１】
【数１】
【００２２】とする。
【００２３】白線候補点抽出領域設定手段１４は、処理
領域が設定された時空間道路画像を白線候補点抽出手段
１５に供給する。白線候補点抽出手段１５は、時空間道
路画像の処理領域から白線上の点と思われる白線候補点
を抽出する（ステップ４０５）。この際、白線候補点が
処理領域内に存在しなければ、白線の推定は不可能とし
て動作を終了する。白線候補点が存在すれば、その座標
値が時空間モデルマッチング手段１６に供給される（ス
テップ４０６）。
領域が設定された時空間道路画像を白線候補点抽出手段
１５に供給する。白線候補点抽出手段１５は、時空間道
路画像の処理領域から白線上の点と思われる白線候補点
を抽出する（ステップ４０５）。この際、白線候補点が
処理領域内に存在しなければ、白線の推定は不可能とし
て動作を終了する。白線候補点が存在すれば、その座標
値が時空間モデルマッチング手段１６に供給される（ス
テップ４０６）。
【００２４】ここで、時空間白線モデルについて説明す
る。画像上の白線は、自車両が図８のように白線に対し
て完全に平行な方向にしか走行していない場合は、各フ
レームで同一位置、同一形状をなし、従って、時空間道
路画像内では平面をなす。ところが、実際には自車両は
走行中に図９のように横ズレや走行方向の変化を起こ
し、また図１０のように道路の勾配も変化する。従って
時空間道路画像内では白線は平面ではなくある曲面をな
す。そこで本実施の形態では、２次元画像上での白線の
消失点のｘ座標、ｚ座標、および白線の傾きが時刻ｔに
対して線形に変化するとし、時空間白線モデルを、ａ、
ｂ、ｃ、ｄ、ｅ、ｆをモデルパラメータとして ｘ−（ｅ＋ｆｔ）＋（ａ＋ｂｔ）ｚ−（ａ＋ｂｔ）（ｃ＋ｄｔ）＝０ （２） で表される曲面として定義する。また、上記モデルが自
車両の右側にある白線の時空間モデルとすると、左側の
白線については、図７のように消失点は右側の白線と共
通であり、また傾きの時間変化も共通であるので、左側
の時空間白線モデルは、ｇを新たなモデルパラメータと
して ｘ−（ｅ＋ｆｔ）＋（ｇ＋ｂｔ）ｚ−（ｇ＋ｂｔ）（ｃ＋ｄｔ）＝０ （３） と定義される。よって、左右の時空間白線モデルを ｘ−（ｅ＋ｆｔ）＋（ａ＋ｂｔ）ｚ−（ａ＋ｂｔ）（ｃ＋ｄｔ）＝０ ｘ−（ｅ＋ｆｔ）＋（ｇ＋ｂｔ）ｚ−（ｇ＋ｂｔ）（ｃ＋ｄｔ）＝０ （４） として定義する。
る。画像上の白線は、自車両が図８のように白線に対し
て完全に平行な方向にしか走行していない場合は、各フ
レームで同一位置、同一形状をなし、従って、時空間道
路画像内では平面をなす。ところが、実際には自車両は
走行中に図９のように横ズレや走行方向の変化を起こ
し、また図１０のように道路の勾配も変化する。従って
時空間道路画像内では白線は平面ではなくある曲面をな
す。そこで本実施の形態では、２次元画像上での白線の
消失点のｘ座標、ｚ座標、および白線の傾きが時刻ｔに
対して線形に変化するとし、時空間白線モデルを、ａ、
ｂ、ｃ、ｄ、ｅ、ｆをモデルパラメータとして ｘ−（ｅ＋ｆｔ）＋（ａ＋ｂｔ）ｚ−（ａ＋ｂｔ）（ｃ＋ｄｔ）＝０ （２） で表される曲面として定義する。また、上記モデルが自
車両の右側にある白線の時空間モデルとすると、左側の
白線については、図７のように消失点は右側の白線と共
通であり、また傾きの時間変化も共通であるので、左側
の時空間白線モデルは、ｇを新たなモデルパラメータと
して ｘ−（ｅ＋ｆｔ）＋（ｇ＋ｂｔ）ｚ−（ｇ＋ｂｔ）（ｃ＋ｄｔ）＝０ （３） と定義される。よって、左右の時空間白線モデルを ｘ−（ｅ＋ｆｔ）＋（ａ＋ｂｔ）ｚ−（ａ＋ｂｔ）（ｃ＋ｄｔ）＝０ ｘ−（ｅ＋ｆｔ）＋（ｇ＋ｂｔ）ｚ−（ｇ＋ｂｔ）（ｃ＋ｄｔ）＝０ （４） として定義する。
【００２５】時空間モデルマッチング手段１６は、ま
ず、前時刻に推定されたモデルパラメータを初期パラメ
ータとして、時空間白線モデルにセットする（ステップ
４０７）。次にステップ４０８において、パラメータの
セットされた時空間白線モデル（式（４））と、各白線
候補点（ｘi ，ｚi ，ｔi ）との距離を次式（５）とし
て計算する。
ず、前時刻に推定されたモデルパラメータを初期パラメ
ータとして、時空間白線モデルにセットする（ステップ
４０７）。次にステップ４０８において、パラメータの
セットされた時空間白線モデル（式（４））と、各白線
候補点（ｘi ，ｚi ，ｔi ）との距離を次式（５）とし
て計算する。
【００２６】
【数２】
【００２７】ステップ４０９において各白線候補点毎に
計算した上記距離の総和を次式（６）のように計算す
る。
計算した上記距離の総和を次式（６）のように計算す
る。
【００２８】
【数３】
【００２９】以下、式（６）の距離総和を最小にするよ
うなモデルパラメータを計算して最適なモデルパラメー
タとし、時空間白線モデルと現フレームとの交線を計算
しその交線を現フレームでの白線として白線の位置、形
状を出力して動作を終える。具体的には、例えば以下の
ような方法をとることが出来る。
うなモデルパラメータを計算して最適なモデルパラメー
タとし、時空間白線モデルと現フレームとの交線を計算
しその交線を現フレームでの白線として白線の位置、形
状を出力して動作を終える。具体的には、例えば以下の
ような方法をとることが出来る。
【００３０】上記ステップ４０９において上記距離の１
次、２次微分値の重みつきの総和を次式（７）、（８）
のように計算する。
次、２次微分値の重みつきの総和を次式（７）、（８）
のように計算する。
【００３１】
【数４】
【００３２】この重みｗleft，ｗright は、左右各々の
白線についての総和を計算した際に、左右各々について
白線候補点の数Ｎleft，Ｎright に反比例した重みをか
けてから、左右の和をとるものである。すなわち上記重
みｗleft，ｗright は予め定めた定数をｖとして次式
（９）のように表される。
白線についての総和を計算した際に、左右各々について
白線候補点の数Ｎleft，Ｎright に反比例した重みをか
けてから、左右の和をとるものである。すなわち上記重
みｗleft，ｗright は予め定めた定数をｖとして次式
（９）のように表される。
【００３３】
【数５】
【００３４】このような重みをつけることによって、ノ
イズによって左右の処理領域のどちらかにおいて極端に
白線候補点の数が少なくなってしまった際に、もう一方
の白線の方にモデルが引き寄せられすぎるのを防ぐこと
ができる。
イズによって左右の処理領域のどちらかにおいて極端に
白線候補点の数が少なくなってしまった際に、もう一方
の白線の方にモデルが引き寄せられすぎるのを防ぐこと
ができる。
【００３５】距離の総和はステップ４１０で、予め定め
ておいた閾値と比較され、距離の総和が閾値以下だった
ら、時空間白線モデルは時空間道路画像内の白線像と充
分に近いと判断し、時空間白線モデルと現フレームとの
交線を計算し、その交線を現フレームでの白線として、
白線の位置、形状を出力して動作を終える（ステップ４
１２および４１３）。
ておいた閾値と比較され、距離の総和が閾値以下だった
ら、時空間白線モデルは時空間道路画像内の白線像と充
分に近いと判断し、時空間白線モデルと現フレームとの
交線を計算し、その交線を現フレームでの白線として、
白線の位置、形状を出力して動作を終える（ステップ４
１２および４１３）。
【００３６】距離の総和が閾値より大きければステップ
４１１に進み、ステップ４１１においてステップ４０９
で計算した距離の１次、２次微分の総和からＮｅｗｔｏ
ｎ法により時空間道路モデルパラメータを更新し、ステ
ップ４０８へと戻る。以下、距離の総和が閾値以下にな
るか、もしくはループ回数が予め定めた回数を越えるま
で、ループを繰り返す。
４１１に進み、ステップ４１１においてステップ４０９
で計算した距離の１次、２次微分の総和からＮｅｗｔｏ
ｎ法により時空間道路モデルパラメータを更新し、ステ
ップ４０８へと戻る。以下、距離の総和が閾値以下にな
るか、もしくはループ回数が予め定めた回数を越えるま
で、ループを繰り返す。
【００３７】ループ回数が予め定めた回数を越えた場合
は、それまでの各ループにおいて、距離の総和が最小で
あるようなループにおける時空間モデルパラメータを最
適なモデルパラメータとして、時空間白線モデルと現フ
レームとの交線を計算し、その交線を現フレームでの白
線として、白線の位置、形状を出力して動作を終える。
は、それまでの各ループにおいて、距離の総和が最小で
あるようなループにおける時空間モデルパラメータを最
適なモデルパラメータとして、時空間白線モデルと現フ
レームとの交線を計算し、その交線を現フレームでの白
線として、白線の位置、形状を出力して動作を終える。
【００３８】次に、本発明の第２の実施の形態につい
て、図面を参照して詳細に説明する。本実施の形態は、
白線がカーブをなす場合を考えている。
て、図面を参照して詳細に説明する。本実施の形態は、
白線がカーブをなす場合を考えている。
【００３９】図１１を参照すると、本発明の第２の実施
の形態は、ＣＣＤカメラ等の道路画像入力装置１１と、
一定期間内に入力された道路画像データを１フレーム単
位で蓄積する道路画像蓄積装置１２と、一定期間内に入
力された道路画像を時系列に沿って並べて時空間道路画
像を生成する時空間道路画像生成手段１３と、時空間道
路画像において前時刻での白線位置推定結果を基に白線
の候補点を抽出する領域を設定する白線候補点抽出領域
設定手段１４と、時空間道路画像から白線の候補点を抽
出する白線候補点抽出手段１５と、白線候補点と白線カ
ーブの画像下部での接線の時空間モデルとをマッチング
する時空間接線モデルマッチング手段１１１と、白線候
補点と時空間カーブモデルとをマッチングする時空間カ
ーブモデルマッチング手段１１２と、白線の現フレーム
内での白線の位置および形状を推定する白線推定手段１
７とを含む。
の形態は、ＣＣＤカメラ等の道路画像入力装置１１と、
一定期間内に入力された道路画像データを１フレーム単
位で蓄積する道路画像蓄積装置１２と、一定期間内に入
力された道路画像を時系列に沿って並べて時空間道路画
像を生成する時空間道路画像生成手段１３と、時空間道
路画像において前時刻での白線位置推定結果を基に白線
の候補点を抽出する領域を設定する白線候補点抽出領域
設定手段１４と、時空間道路画像から白線の候補点を抽
出する白線候補点抽出手段１５と、白線候補点と白線カ
ーブの画像下部での接線の時空間モデルとをマッチング
する時空間接線モデルマッチング手段１１１と、白線候
補点と時空間カーブモデルとをマッチングする時空間カ
ーブモデルマッチング手段１１２と、白線の現フレーム
内での白線の位置および形状を推定する白線推定手段１
７とを含む。
【００４０】時空間カーブモデルマッチング手段１１２
は図１２を参照すると、各白線候補点と時空間カーブモ
デルとの距離の総和を計算する白線候補点モデル間距離
計算手段２１と、白線候補点モデル間距離を基にカーブ
モデルパラメータ更新を終了するか否かを判定するパラ
メータ更新終了判定手段２２と、白線候補点モデル間距
離のカーブモデルパラメータについての１次微分、２次
微分値を計算する距離微分値計算手段２３と、上記距離
の微分値を基にＮｅｗｔｏｎ法等の反復法によってカー
ブモデルパラメータを更新するカーブモデルパラメータ
更新手段１２１とを含む。
は図１２を参照すると、各白線候補点と時空間カーブモ
デルとの距離の総和を計算する白線候補点モデル間距離
計算手段２１と、白線候補点モデル間距離を基にカーブ
モデルパラメータ更新を終了するか否かを判定するパラ
メータ更新終了判定手段２２と、白線候補点モデル間距
離のカーブモデルパラメータについての１次微分、２次
微分値を計算する距離微分値計算手段２３と、上記距離
の微分値を基にＮｅｗｔｏｎ法等の反復法によってカー
ブモデルパラメータを更新するカーブモデルパラメータ
更新手段１２１とを含む。
【００４１】次に、図１４を参照して第２の実施の形態
の動作について詳細に説明する。
の動作について詳細に説明する。
【００４２】白線がカーブをなす場合、時空間白線モデ
ルのパラメータ数が多くなるので、まず、画像最下部、
すなわち自車両付近における白線カーブの接線１３３に
ついての時空間接線モデルを用いて白線の位置を求め、
次に時空間カーブモデルを使いカーブの曲率半径１３２
を求める（図１３）。ここで時空間接線モデルは白線の
直線部の時空間モデルだから、第１の実施の形態と同様
に ｘ＝（ｅ＋ｆｔ）＋（ａ＋ｂｔ）ｚ−（ａ＋ｂｔ）（ｃ＋ｄｔ）≡ｆr （ｚ， ｔ） ｘ＝（ｅ＋ｆｔ）＋（ｇ＋ｂｔ）ｚ−（ｇ＋ｂｔ）（ｃ＋ｄｔ）≡ｆl （ｚ， ｔ） （１０） と定義される。このとき、白線カーブの時空間モデル
を、曲率半径に関連した新たなパラメータをｍとして、
ルのパラメータ数が多くなるので、まず、画像最下部、
すなわち自車両付近における白線カーブの接線１３３に
ついての時空間接線モデルを用いて白線の位置を求め、
次に時空間カーブモデルを使いカーブの曲率半径１３２
を求める（図１３）。ここで時空間接線モデルは白線の
直線部の時空間モデルだから、第１の実施の形態と同様
に ｘ＝（ｅ＋ｆｔ）＋（ａ＋ｂｔ）ｚ−（ａ＋ｂｔ）（ｃ＋ｄｔ）≡ｆr （ｚ， ｔ） ｘ＝（ｅ＋ｆｔ）＋（ｇ＋ｂｔ）ｚ−（ｇ＋ｂｔ）（ｃ＋ｄｔ）≡ｆl （ｚ， ｔ） （１０） と定義される。このとき、白線カーブの時空間モデル
を、曲率半径に関連した新たなパラメータをｍとして、
【００４３】
【数６】
【００４４】と定義する。このように、時空間白線モデ
ルのマッチングを２段階に分けることによって、各マッ
チング段階でのパラメータ空間の次元を小さくし、マッ
チングの簡単化、安定化、高速化を計ることが出来る。
ルのマッチングを２段階に分けることによって、各マッ
チング段階でのパラメータ空間の次元を小さくし、マッ
チングの簡単化、安定化、高速化を計ることが出来る。
【００４５】第２の実施の形態では、第１の実施の形態
と同様に白線候補点を抽出し、白線候補点が存在すれ
ば、前時刻に推定された時空間白線モデルパラメータを
初期値として時空間白線モデルにセットし（ステップ４
０７）、白線候補点の座標が時空間接線モデルマッチン
グ手段１１１に供給される。時空間接線モデルマッチン
グ手段１１１は、時空間接線モデルと画像下部の白線候
補点をマッチングすることにより、前記ｍ以外のモデル
パラメータを推定し、時空間カーブモデルマッチング手
段１１２に供給する。
と同様に白線候補点を抽出し、白線候補点が存在すれ
ば、前時刻に推定された時空間白線モデルパラメータを
初期値として時空間白線モデルにセットし（ステップ４
０７）、白線候補点の座標が時空間接線モデルマッチン
グ手段１１１に供給される。時空間接線モデルマッチン
グ手段１１１は、時空間接線モデルと画像下部の白線候
補点をマッチングすることにより、前記ｍ以外のモデル
パラメータを推定し、時空間カーブモデルマッチング手
段１１２に供給する。
【００４６】時空間カーブモデルマッチング手段１１２
はステップ１４２において、ステップ１４１において推
定されたｍ以外のパラメータ、およびｍの初期値がセッ
トされた時空間カーブモデル（式（１１））と、各白線
候補点（ｘi ，ｚi ，ｔi ）との距離を式（１２）とし
て計算する。
はステップ１４２において、ステップ１４１において推
定されたｍ以外のパラメータ、およびｍの初期値がセッ
トされた時空間カーブモデル（式（１１））と、各白線
候補点（ｘi ，ｚi ，ｔi ）との距離を式（１２）とし
て計算する。
【００４７】
【数７】
【００４８】ステップ４０９において各白線候補点毎に
計算した上記距離の総和を次式（１３）のように計算す
る。
計算した上記距離の総和を次式（１３）のように計算す
る。
【００４９】
【数８】
【００５０】以下、式（１３）の距離総和を最小にする
ようなモデルパラメータを計算して最適なモデルパラメ
ータとし、時空間白線モデルと現フレームとの交線を計
算しその交線を現フレームでの白線として白線の位置、
形状を出力して動作を終える。具体的には、例えば以下
のような方法をとることが出来る。
ようなモデルパラメータを計算して最適なモデルパラメ
ータとし、時空間白線モデルと現フレームとの交線を計
算しその交線を現フレームでの白線として白線の位置、
形状を出力して動作を終える。具体的には、例えば以下
のような方法をとることが出来る。
【００５１】上記ステップ４０９において上記距離の１
次、２次微分値の重みつきの総和を次式（１４）、（１
５）のように計算する。
次、２次微分値の重みつきの総和を次式（１４）、（１
５）のように計算する。
【００５２】
【数９】
【００５３】式（１４）、（１５）で総和をとる際の重
みｗleft，ｗright は第１の実施の形態と同一のもので
ある。距離の総和はステップ４１０で予め定めておいた
閾値と比較され、距離の総和が閾値以下だったら、時空
間カーブモデルは時空間道路画像内の白線像と充分に近
いと判断し、時空間カーブモデルマッチング手段１１２
はカーブモデルパラメータを白線推定手段１７に供給す
る。白線推定手段１７は時空間カーブモデルと現フレー
ムとの交線を計算し、その交線を現フレームでの白線と
して、白線の位置、形状を出力して（ステップ４１３）
動作を終える。
みｗleft，ｗright は第１の実施の形態と同一のもので
ある。距離の総和はステップ４１０で予め定めておいた
閾値と比較され、距離の総和が閾値以下だったら、時空
間カーブモデルは時空間道路画像内の白線像と充分に近
いと判断し、時空間カーブモデルマッチング手段１１２
はカーブモデルパラメータを白線推定手段１７に供給す
る。白線推定手段１７は時空間カーブモデルと現フレー
ムとの交線を計算し、その交線を現フレームでの白線と
して、白線の位置、形状を出力して（ステップ４１３）
動作を終える。
【００５４】距離の総和が閾値より大きければステップ
１４３に進み、ステップ１４３においてステップ４０９
で計算した距離の１次、２次微分の総和からＮｅｗｔｏ
ｎ法によりｍを更新し、ステップ１４２へと戻る。以
下、距離の総和が閾値以下になるか、もしくはループ回
数が予め定めた回数を越えるまで、ループを繰り返す。
１４３に進み、ステップ１４３においてステップ４０９
で計算した距離の１次、２次微分の総和からＮｅｗｔｏ
ｎ法によりｍを更新し、ステップ１４２へと戻る。以
下、距離の総和が閾値以下になるか、もしくはループ回
数が予め定めた回数を越えるまで、ループを繰り返す。
【００５５】ループ回数が予め定めた回数を越えた場合
は、それまでの各ループにおいて、距離の総和が最小で
あるようなループにおけるｍを最適なパラメータとし
て、時空間カーブモデルマッチング手段１１２が白線推
定手段１７に供給する。白線推定手段１７は時空間白線
モデルと現フレームとの交線を計算し、その交線を現フ
レームでの白線として白線の位置、形状を出力して（ス
テップ４１３）動作を終える。
は、それまでの各ループにおいて、距離の総和が最小で
あるようなループにおけるｍを最適なパラメータとし
て、時空間カーブモデルマッチング手段１１２が白線推
定手段１７に供給する。白線推定手段１７は時空間白線
モデルと現フレームとの交線を計算し、その交線を現フ
レームでの白線として白線の位置、形状を出力して（ス
テップ４１３）動作を終える。
【００５６】次に、本発明の第３の実施の形態につい
て、図面を参照して詳細に説明する。本実施の形態は、
白線がカーブをなすか、直線をなすか分からない場合を
考えている。
て、図面を参照して詳細に説明する。本実施の形態は、
白線がカーブをなすか、直線をなすか分からない場合を
考えている。
【００５７】図１５を参照すると、本発明の第３の実施
の形態は、ＣＣＤカメラ等の道路画像入力装置１１と、
一定期間内に入力された道路画像データを１フレーム単
位で蓄積する道路画像蓄積装置１２と、一定期間内に入
力された道路画像から時空間道路画像を生成する時空間
道路画像生成手段１３と、時空間道路画像において白線
の候補点を抽出する領域を設定する白線候補点抽出領域
設定手段１４と、時空間道路画像から白線の候補点を抽
出する白線候補点抽出手段１５と、白線候補点と時空間
直線モデルとをマッチングする時空間直線モデルマッチ
ング手段１６と、白線候補点とカーブの時空間接線モデ
ルとをマッチングする時空間接線モデルマッチング手段
１１１と、白線候補点と時空間カーブモデルとをマッチ
ングする時空間カーブモデルマッチング手段１１２と、
上記２つの時空間モデルマッチング手段におけるマッチ
ングの度合を比較して道路の形状を決定するマッチング
度合比較手段１５１と、白線の２次元画像内での白線の
位置および形状を推定する白線推定手段１７とを含む。
の形態は、ＣＣＤカメラ等の道路画像入力装置１１と、
一定期間内に入力された道路画像データを１フレーム単
位で蓄積する道路画像蓄積装置１２と、一定期間内に入
力された道路画像から時空間道路画像を生成する時空間
道路画像生成手段１３と、時空間道路画像において白線
の候補点を抽出する領域を設定する白線候補点抽出領域
設定手段１４と、時空間道路画像から白線の候補点を抽
出する白線候補点抽出手段１５と、白線候補点と時空間
直線モデルとをマッチングする時空間直線モデルマッチ
ング手段１６と、白線候補点とカーブの時空間接線モデ
ルとをマッチングする時空間接線モデルマッチング手段
１１１と、白線候補点と時空間カーブモデルとをマッチ
ングする時空間カーブモデルマッチング手段１１２と、
上記２つの時空間モデルマッチング手段におけるマッチ
ングの度合を比較して道路の形状を決定するマッチング
度合比較手段１５１と、白線の２次元画像内での白線の
位置および形状を推定する白線推定手段１７とを含む。
【００５８】次に、図１６を参照して第３の実施の形態
の動作について詳細に説明する。
の動作について詳細に説明する。
【００５９】白線候補点を抽出するステップ４０５まで
は、第１、第２の実施の形態と同じである。ステップ４
０７において、時空間直線モデル、時空間カーブモデル
に前時刻推定されたモデルパラメータを初期値としてセ
ットする。次に、時空間直線モデルマッチング手段１６
において、白線候補点と時空間直線モデルとをマッチン
グし（ステップ１６１）、直線モデルパラメータおよび
時空間直線モデルと白線候補点との距離の総和をマッチ
ング度合比較手段１５１に供給する。次に、時空間接線
モデルマッチング手段１１１において画像下部の白線候
補点とカーブの時空間接線モデルとをマッチングし（ス
テップ１４１）、接線モデルパラメータを時空間カーブ
モデルマッチング手段１１２に供給する。時空間カーブ
モデルマッチング手段１１２は白線候補点と時空間カー
ブモデルとをマッチングし（ステップ１６２）、カーブ
モデルパラメータおよび時空間カーブモデルと白線候補
点との距離の総和をマッチング度合比較手段１５１に供
給する。マッチング度合比較手段１５１において、時空
間直線モデルマッチング手段１６、時空間カーブモデル
マッチング手段１１２双方から供給された時空間モデル
と白線候補点との距離の総和をマッチングの度合を表す
データとして比較する（ステップ１６３）。ここで、直
線モデルについての距離の総和がカーブモデルの距離の
総和以下であれば、マッチング度合比較手段１５１は直
線モデルパラメータを白線推定手段１７に供給する。白
線推定手段１７はステップ４１２において時空間直線モ
デルと現フレームとの交線を計算し、この交線を現フレ
ームでの白線として、ステップ４１３において白線の位
置、形状を出力して動作を終了する。
は、第１、第２の実施の形態と同じである。ステップ４
０７において、時空間直線モデル、時空間カーブモデル
に前時刻推定されたモデルパラメータを初期値としてセ
ットする。次に、時空間直線モデルマッチング手段１６
において、白線候補点と時空間直線モデルとをマッチン
グし（ステップ１６１）、直線モデルパラメータおよび
時空間直線モデルと白線候補点との距離の総和をマッチ
ング度合比較手段１５１に供給する。次に、時空間接線
モデルマッチング手段１１１において画像下部の白線候
補点とカーブの時空間接線モデルとをマッチングし（ス
テップ１４１）、接線モデルパラメータを時空間カーブ
モデルマッチング手段１１２に供給する。時空間カーブ
モデルマッチング手段１１２は白線候補点と時空間カー
ブモデルとをマッチングし（ステップ１６２）、カーブ
モデルパラメータおよび時空間カーブモデルと白線候補
点との距離の総和をマッチング度合比較手段１５１に供
給する。マッチング度合比較手段１５１において、時空
間直線モデルマッチング手段１６、時空間カーブモデル
マッチング手段１１２双方から供給された時空間モデル
と白線候補点との距離の総和をマッチングの度合を表す
データとして比較する（ステップ１６３）。ここで、直
線モデルについての距離の総和がカーブモデルの距離の
総和以下であれば、マッチング度合比較手段１５１は直
線モデルパラメータを白線推定手段１７に供給する。白
線推定手段１７はステップ４１２において時空間直線モ
デルと現フレームとの交線を計算し、この交線を現フレ
ームでの白線として、ステップ４１３において白線の位
置、形状を出力して動作を終了する。
【００６０】また、ステップ１６３において、カーブモ
デルについての距離の総和の方が小さければ、マッチン
グ度合比較手段１５１はカーブモデルパラメータを白線
推定手段１７に供給する。白線推定手段１７はステップ
１４４において時空間カーブモデルと現フレームとの交
線を計算し、この交線を現フレームでの白線として、ス
テップ４１３において白線の位置、形状を出力して動作
を終了する。
デルについての距離の総和の方が小さければ、マッチン
グ度合比較手段１５１はカーブモデルパラメータを白線
推定手段１７に供給する。白線推定手段１７はステップ
１４４において時空間カーブモデルと現フレームとの交
線を計算し、この交線を現フレームでの白線として、ス
テップ４１３において白線の位置、形状を出力して動作
を終了する。
【００６１】次に本発明の第４の実施の形態について、
図面を参照して詳細に説明する。本実施の形態は、モデ
ルパラメータの初期値が与えられていない場合を考えて
いる。
図面を参照して詳細に説明する。本実施の形態は、モデ
ルパラメータの初期値が与えられていない場合を考えて
いる。
【００６２】図１７を参照すると、本発明の第４の実施
の形態は、ＣＣＤカメラ等の道路画像入力装置１１と、
一定期間内に入力された道路画像データを１フレーム単
位で蓄積する道路画像蓄積装置１２と、一定期間内に入
力された道路画像から時空間道路画像を生成する時空間
道路画像生成手段１３と、時空間道路画像の下部におい
て処理領域を規定せずに白線の候補点を抽出する第１の
白線候補点抽出手段１７１と、時空間道路画像下部にお
いて白線候補点と時空間直線モデルとを予め定められた
初期モデルパラメータを基にマッチングする第１の時空
間直線モデルマッチング手段１７２と、時空間道路画像
において白線の候補点を抽出する領域を設定する白線候
補点抽出領域設定手段１４と、時空間道路画像の白線候
補点抽出領域から白線の候補点を抽出する白線候補点抽
出手段１５と、白線候補点と時空間直線モデルとを第１
の時空間直線モデルマッチング手段１７２において計算
されたモデルパラメータを初期モデルパラメータとして
マッチングする第２の時空間直線モデルマッチング手段
１６と、白線候補点とカーブの時空間接線モデルとをマ
ッチングする時空間接線モデルマッチング手段１１１
と、予め適当に決められた複数の曲率半径を初期曲率半
径として出力する初期曲率半径設定手段１７３と、白線
候補点と時空間カーブモデルとを時空間接続モデルマッ
チング手段１１１で計算されたモデルパラメータおよび
初期曲率半径設定手段１７３により供給される初期曲率
半径を初期モデルパラメータとしてマッチングする時空
間カーブモデルマッチング手段１１２と、上記２つの時
空間モデルマッチング手段におけるマッチングの度合を
比較して道路の形状を決定するマッチング度合比較手段
１５１と、白線の２次元画像内での白線の位置および形
状を推定する白線推定手段１７とを含む。
の形態は、ＣＣＤカメラ等の道路画像入力装置１１と、
一定期間内に入力された道路画像データを１フレーム単
位で蓄積する道路画像蓄積装置１２と、一定期間内に入
力された道路画像から時空間道路画像を生成する時空間
道路画像生成手段１３と、時空間道路画像の下部におい
て処理領域を規定せずに白線の候補点を抽出する第１の
白線候補点抽出手段１７１と、時空間道路画像下部にお
いて白線候補点と時空間直線モデルとを予め定められた
初期モデルパラメータを基にマッチングする第１の時空
間直線モデルマッチング手段１７２と、時空間道路画像
において白線の候補点を抽出する領域を設定する白線候
補点抽出領域設定手段１４と、時空間道路画像の白線候
補点抽出領域から白線の候補点を抽出する白線候補点抽
出手段１５と、白線候補点と時空間直線モデルとを第１
の時空間直線モデルマッチング手段１７２において計算
されたモデルパラメータを初期モデルパラメータとして
マッチングする第２の時空間直線モデルマッチング手段
１６と、白線候補点とカーブの時空間接線モデルとをマ
ッチングする時空間接線モデルマッチング手段１１１
と、予め適当に決められた複数の曲率半径を初期曲率半
径として出力する初期曲率半径設定手段１７３と、白線
候補点と時空間カーブモデルとを時空間接続モデルマッ
チング手段１１１で計算されたモデルパラメータおよび
初期曲率半径設定手段１７３により供給される初期曲率
半径を初期モデルパラメータとしてマッチングする時空
間カーブモデルマッチング手段１１２と、上記２つの時
空間モデルマッチング手段におけるマッチングの度合を
比較して道路の形状を決定するマッチング度合比較手段
１５１と、白線の２次元画像内での白線の位置および形
状を推定する白線推定手段１７とを含む。
【００６３】以下、本発明の第３の実施の形態と同じ構
成である。
成である。
【００６４】次に、図１８を参照して第４の実施の形態
の動作について詳細に説明する。第１、第２、第３の実
施の形態と同様にステップ４０３までで、時空間道路画
像を生成する。次に、適当に予め定めた時空間画像の下
部領域全域から、白線候補点を抽出し（ステップ１８
１）、ステップ１８２において、この白線候補点と時空
間直線モデルとをマッチングする。ただし、このマッチ
ングにおける初期パラメータは第１、第２、第３の実施
例と違い、予め定めた値を用いる。このステップで計算
した時空間モデルパラメータを、以下のステップにおい
て初期モデルパラメータとして用いる。
の動作について詳細に説明する。第１、第２、第３の実
施の形態と同様にステップ４０３までで、時空間道路画
像を生成する。次に、適当に予め定めた時空間画像の下
部領域全域から、白線候補点を抽出し（ステップ１８
１）、ステップ１８２において、この白線候補点と時空
間直線モデルとをマッチングする。ただし、このマッチ
ングにおける初期パラメータは第１、第２、第３の実施
例と違い、予め定めた値を用いる。このステップで計算
した時空間モデルパラメータを、以下のステップにおい
て初期モデルパラメータとして用いる。
【００６５】時空間直線モデルについては、上記のよう
に初期モデルパラメータが得られたので、以下、第３の
実施の形態と同様に白線候補点とのマッチングを行い、
計算された直線モデルパラメータおよび時空間直線モデ
ルと白線候補点との距離の総和をマッチング度合比較手
段１５１に供給する。
に初期モデルパラメータが得られたので、以下、第３の
実施の形態と同様に白線候補点とのマッチングを行い、
計算された直線モデルパラメータおよび時空間直線モデ
ルと白線候補点との距離の総和をマッチング度合比較手
段１５１に供給する。
【００６６】時空間カーブモデルについては、初期曲率
半径設定手段１７３において予め複数の初期曲率半径を
用意しておき、上記初期モデルパラメータを基に、各初
期曲率半径についてそれぞれ処理領域の設定、白線候補
点の抽出および白線候補点と時空間カーブモデルとのマ
ッチングを行い、各初期曲率半径に対するカーブモデル
パラメータおよび時空間カーブモデルと白線候補点との
距離の総和をマッチング度合比較手段１５１に供給する
（ステップ１８４および１８５、１６２）。
半径設定手段１７３において予め複数の初期曲率半径を
用意しておき、上記初期モデルパラメータを基に、各初
期曲率半径についてそれぞれ処理領域の設定、白線候補
点の抽出および白線候補点と時空間カーブモデルとのマ
ッチングを行い、各初期曲率半径に対するカーブモデル
パラメータおよび時空間カーブモデルと白線候補点との
距離の総和をマッチング度合比較手段１５１に供給する
（ステップ１８４および１８５、１６２）。
【００６７】マッチング度合比較手段１５１において、
時空間直線モデルマッチング手段１６、時空間カーブモ
デルマッチング手段１１２双方から供給された時空間モ
デルと白線候補点との距離の総和をマッチングの度合を
表すデータとして比較する（ステップ１６３）。ここ
で、直線モデルについての距離の総和が各初期曲率半径
に対するカーブモデルについての距離の総和のすべて以
下であれば、マッチング度合比較手段１５１は直線モデ
ルパラメータを白線推定手段１７に供給する。白線推定
手段１７はステップ４１２において時空間直線モデルと
現フレームとの交線を計算し、この交線を現フレームで
の白線として、ステップ４１３において白線の位置、形
状を出力して動作を終了する。
時空間直線モデルマッチング手段１６、時空間カーブモ
デルマッチング手段１１２双方から供給された時空間モ
デルと白線候補点との距離の総和をマッチングの度合を
表すデータとして比較する（ステップ１６３）。ここ
で、直線モデルについての距離の総和が各初期曲率半径
に対するカーブモデルについての距離の総和のすべて以
下であれば、マッチング度合比較手段１５１は直線モデ
ルパラメータを白線推定手段１７に供給する。白線推定
手段１７はステップ４１２において時空間直線モデルと
現フレームとの交線を計算し、この交線を現フレームで
の白線として、ステップ４１３において白線の位置、形
状を出力して動作を終了する。
【００６８】またステップ１６３において、ある初期曲
率半径に対するカーブモデルが最小の距離の総和を与え
るのであれば、マッチング度合比較手段１５１はその初
期曲率半径に対するカーブモデルパラメータを白線推定
手段１７に供給する。白線推定手段１７はステップ１４
４において時空間カーブモデルと現フレームとの交線を
計算し、この交線を現フレームでの白線として、ステッ
プ４１３において白線の位置、形状を出力して動作を終
了する。
率半径に対するカーブモデルが最小の距離の総和を与え
るのであれば、マッチング度合比較手段１５１はその初
期曲率半径に対するカーブモデルパラメータを白線推定
手段１７に供給する。白線推定手段１７はステップ１４
４において時空間カーブモデルと現フレームとの交線を
計算し、この交線を現フレームでの白線として、ステッ
プ４１３において白線の位置、形状を出力して動作を終
了する。
【００６９】
【発明の効果】第１の効果は、時系列情報を使った画像
内のノイズに対してロバストな動画像認識を、フレーム
間の対応づけをしないで実現したことにある。
内のノイズに対してロバストな動画像認識を、フレーム
間の対応づけをしないで実現したことにある。
【００７０】その理由は、時空間画像内で認識対象物の
特徴点と時空間対象モデルとをマッチングすることによ
って時系列情報を使った認識対象物の認識を実現し、ま
たその際の時空間対象モデルにフレーム間での認識対象
物の微小な動きを組み込むことにより、フレーム間での
特徴点のずれを時空間対象モデルに吸収させつつ特徴点
と時空間対象モデルとのマッチングをすることが出来る
ことにある。
特徴点と時空間対象モデルとをマッチングすることによ
って時系列情報を使った認識対象物の認識を実現し、ま
たその際の時空間対象モデルにフレーム間での認識対象
物の微小な動きを組み込むことにより、フレーム間での
特徴点のずれを時空間対象モデルに吸収させつつ特徴点
と時空間対象モデルとのマッチングをすることが出来る
ことにある。
【００７１】第２の効果は、対象の形状をも認識し得る
動画像認識装置を提供することにある。
動画像認識装置を提供することにある。
【００７２】その理由は、時空間対象モデルが、対象の
各フレームでの形状を組み込むことが出来ることにあ
る。
各フレームでの形状を組み込むことが出来ることにあ
る。
【図１】本発明に係わる第１の実施の形態を示す構成図
である。
である。
【図２】時空間モデルマッチング手段を示す構成図であ
る。
る。
【図３】時空間画像および時空間モデルを説明する図で
ある。
ある。
【図４】本発明に係わる第１の実施の形態の動作を示す
フローチャートである。
フローチャートである。
【図５】世界座標およびカメラ座標を示す図である。
【図６】白線候補点抽出領域設定手段を示す図である。
【図７】左右白線と消失点の関係を示す図である。
【図８】白線と自車両との位置関係を示す図である。
【図９】白線と自車両との位置関係を示す図である。
【図１０】地面の勾配を示す図である。
【図１１】本発明に係わる第２の実施の形態を示す構成
図である。
図である。
【図１２】時空間カーブモデルマッチング手段を示す構
成図である。
成図である。
【図１３】カーブをなす白線と自車両との位置関係を示
す図である。
す図である。
【図１４】本発明に係わる第２の実施の形態の動作を示
すフローチャートである。
すフローチャートである。
【図１５】本発明に係わる第３の実施の形態を示す構成
図である。
図である。
【図１６】本発明に係わる第３の実施の形態の動作を示
すフローチャートである。
すフローチャートである。
【図１７】本発明に係わる第４の実施の形態を示す構成
図である。
図である。
【図１８】本発明に係わる第４の実施の形態の動作を示
すフローチャートである。
すフローチャートである。
【図１９】従来の発明の構成を示す構成図である。
【図２０】従来の発明の処理を説明する図である。
【図２１】従来の発明の物体認識法を示す図である。
【図２２】従来の発明の特徴を示す図である。
【符号の説明】 １１ 道路画像入力装置 １２ 道路画像蓄積装置 １３ 時空間道路画像生成手段 １４ 白線候補点抽出領域設定手段 １５ 白線候補点抽出手段 １６ 時空間モデルマッチング手段 １７ 白線推定手段 ２１ 白線候補点モデル間距離計算手段 ２２ パラメータ更新終了判定手段 ２３ 距離微分値計算手段 ２４ モデルパラメータ更新手段 ３１ 白線の時空間モデル ３２ 現フレーム ３３ 過去のフレーム ５１ カメラ焦点 ５２ 地面 ５３ カメラ焦点距離 ７１ 消失点 ７２ 地平線 ７３ 白線 ８１ 自車両 １０１ 水平線 １１１ 時空間接線モデルマッチング手段 １１２ 時空間カーブモデルマッチング手段 １２１ カーブモデルパラメータ更新手段 １３１ 走行方向 １３２ 曲率半径 １３３ 白線の接線 １５１ マッチング度合比較手段 １７１ 第１の白線候補点抽出手段 １７２ 第１の時空間直線モデルマッチング手段 １７３ 初期曲率半径設定手段 １９１ 画像入力手段 １９２ 処理領域設定手段 １９３ 特徴データ抽出手段 １９４ 特徴データ投影手段 １９５ ＤＴＴ画像生成手段 １９６ ＤＴＴ画像の二値化手段 １９７ ＤＴＴ画像からの物体検出手段 ２０１ 処理領域 ２０２ 物体の移動方向 ２０３ 物体 ２０４ 方向軸 ２１１ 切断平面 ２１２ 物体像
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｇ (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/20 H04N 7/18 B60R 21/00 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (10)
- 【請求項１】空間画像を時間軸方向に並べることによっ
て時空間画像を生成し、現時点までの時空間画像から抽
出した特徴点と、現フレームまでの認識対象物の位置、
形状及び各フレーム間での認識対象物の微少な動きをモ
デル化した対象物の時空間モデルとをマッチングし、前
記特徴点と前記時空間モデルとの距離が最小となるよう
な時空間モデルパラメータ値を修正出力し、前記修正さ
れた時空間モデルパラメータ値により定められる時空間
モデルと現フレームとの交差領域を求めることにより、
対象物の現フレームでの位置及び形状を認識することを
特徴とする動画像認識方法。 - 【請求項２】空間画像を入力しそれらを時間軸方向に並
べることによって時空間画像を生成し出力する時空間画
像生成手段と、前記時空間画像を入力し時空間画像から
特徴点を抽出し出力する特徴点抽出手段と、前記特徴点
を入力し現フレームまでの認識対象物の位置、形状及び
各フレーム間での認識対象物の微少な動きをモデル化し
た対象物の時空間モデルとをマッチングし前記特徴点と
前記時空間モデルとの距離が最小となるような時空間モ
デルパラメータ値を修正出力する時空間モデルマッチン
グ手段と、前記修正された時空間モデルパラメータ値に
より定められる時空間モデルと現フレームとの交差領域
として対象物の現フレームでの位置及び形状を認識する
対象物推定手段とを有することを特徴とする動画像認識
装置。 - 【請求項３】前記空間画像が車両内から撮影された道路
の空間画像であり、前記認識対象物が道路内の走行レー
ンをあらわす白線であり、前記時空間モデルが現フレー
ムでの白線の位置、形状及び各フレーム間での白線の微
少な動きをモデル化した時空間画像内での時空間白線モ
デルである請求項１に記載の動画像認識方法。 - 【請求項４】前記空間画像が車両内から撮影された道路
の空間画像であり、前記認識対象物が道路内の走行レー
ンをあらわす白線であり、前記時空間モデルが現フレー
ムでの白線の位置、形状及び各フレーム間での白線の微
少な動きをモデル化した時空 間画像内での時空間白線モ
デルであり、前記特徴点抽出手段が時空間道路画像を入
力し白線上の点と思われる白線候補点を抽出して出力
し、前記時空間モデルマッチング手段が白線候補点を入
力し前記時空間白線モデルとマッチングし時空間白線モ
デルパラメータを出力する請求項２に記載の動画像認識
装置。 - 【請求項５】前記時空間モデルマッチング手段が白線候
補点を入力し、フレーム間での車両の微小な動きおよび
道路勾配の変化を時間に対しての線形関数でモデル化し
た白線の時空間モデルとマッチングしモデルパラメータ
を出力する請求項４に記載の動画像認識装置。 - 【請求項６】前記時空間モデルマッチング手段が時空間
画像内における白線候補点を入力し、各フレームにおい
て白線が直線をなすとして時空間画像内でモデル化した
時空間白線モデルとマッチングし時空間直線モデルパラ
メータを出力する請求項４または５に記載の動画像認識
装置。 - 【請求項７】前記時空間モデルマッチング手段が時空間
画像内における白線候補点を入力し、各フレームにおい
て白線がカーブをなすとして時空間画像内でモデル化し
た時空間白線モデルとマッチングし時空間カーブモデル
パラメータを出力する請求項４または５に記載の動画像
認識装置。 - 【請求項８】前記白線候補点を入力し画像下部における
白線の接線の時空間モデルとマッチングし接線モデルパ
ラメータを出力する時空間接線モデルマッチング手段を
備え、前記時空間モデルマッチング手段が白線候補点と
前記接線モデルパラメータを入力し前記白線候補点と白
線がカーブを成すとしてモデル化した白線の時空間モデ
ルとをマッチングしカーブモデルパラメータを出力する
請求項４または５に記載の動画像認識装置。 - 【請求項９】前記白線候補点を入力し白線が直線を成す
としてモデル化した白線の時空間モデルとマッチングし
直線モデルパラメータを出力する時空間モデルマッチン
グ手段と、前記カーブモデルパラメータと前記直線モデ
ルパラメータを入力し前記２つのモデルパラメータにお
ける白線候補点と時空間モデルとのマッチングの度合を
比較しマッチングの度合の大きい方のモデルパラメータ
を出力するマッチング度合比較手段とを備えた、請求項
７または８に記載の動画像認識装置。 - 【請求項１０】前記時空間道路画像を入力し前記白線候
補点のうち画像下部にある下部白線候補点を出力する下
部特徴点抽出手段と、前記下部白線候補点を入力し画像
下部における白線の接線の時空間モデルとマッチングし
初期モデルパラメータを出力する初期時空間モデルマッ
チング手段とを備え、前記時空間モデルマッチング手段
が前記白線候補点と前記初期モデルパラメータを入力し
前記初期モデルパラメータを初期値として白線候補点と
白線の時空間モデルとをマッチングしモデルパラメータ
を出力する請求項４、５、６、７、８または９に記載の
動画像認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8179006A JP3022330B2 (ja) | 1996-07-09 | 1996-07-09 | 動画像認識装置および動画像認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8179006A JP3022330B2 (ja) | 1996-07-09 | 1996-07-09 | 動画像認識装置および動画像認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1027252A JPH1027252A (ja) | 1998-01-27 |
| JP3022330B2 true JP3022330B2 (ja) | 2000-03-21 |
Family
ID=16058474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8179006A Expired - Fee Related JP3022330B2 (ja) | 1996-07-09 | 1996-07-09 | 動画像認識装置および動画像認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3022330B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008500640A (ja) * | 2004-05-27 | 2008-01-10 | シーメンス コーポレイト リサーチ インコーポレイテツド | 検出および追跡のためのグラフィカルオブジェクトモデル |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7804980B2 (en) | 2005-08-24 | 2010-09-28 | Denso Corporation | Environment recognition device |
| CN104143089B (zh) * | 2014-07-28 | 2017-07-07 | 东南大学 | 人体动作识别中的基于空时能量分解的关键点检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2765270B2 (ja) * | 1991-05-29 | 1998-06-11 | 日本電気株式会社 | 動画像提示方法 |
| JPH07334690A (ja) * | 1994-06-14 | 1995-12-22 | Nec Corp | 物体の輪郭追跡方法 |
| JP3424334B2 (ja) * | 1994-06-21 | 2003-07-07 | 日産自動車株式会社 | 走行路検出装置 |
-
1996
- 1996-07-09 JP JP8179006A patent/JP3022330B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008500640A (ja) * | 2004-05-27 | 2008-01-10 | シーメンス コーポレイト リサーチ インコーポレイテツド | 検出および追跡のためのグラフィカルオブジェクトモデル |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1027252A (ja) | 1998-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10049277B2 (en) | Method and apparatus for tracking object, and method and apparatus for calculating object pose information | |
| US6301370B1 (en) | Face recognition from video images | |
| Nedevschi et al. | Stereo-based pedestrian detection for collision-avoidance applications | |
| US7058205B2 (en) | Robust, on-line, view-based appearance models for visual motion analysis and visual tracking | |
| EP2061008B1 (en) | Method and device for continuous figure-ground segmentation in images from dynamic visual scenes | |
| JP2915894B2 (ja) | ターゲット追跡方法及び装置 | |
| US7149327B2 (en) | Image processing apparatus and method | |
| US20050271279A1 (en) | Sign based human-machine interaction | |
| EP2192549A1 (en) | Target tracking device and target tracking method | |
| US20050031166A1 (en) | Visual tracking using depth data | |
| JP2016029557A (ja) | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム | |
| CN101147159A (zh) | 利用统计模板匹配进行对象检测的快速方法 | |
| US10460472B2 (en) | System and method for model adaptation | |
| CN111209770A (zh) | 一种车道线识别方法及装置 | |
| Smith | ASSET-2: Real-time motion segmentation and object tracking | |
| JP5048609B2 (ja) | 対象物追跡装置及びプログラム | |
| US20230021591A1 (en) | Model generation method, model generation apparatus, non-transitory storage medium, mobile object posture estimation method, and mobile object posture estimation apparatus | |
| JP3538476B2 (ja) | 車両の走行路区分線などの認識装置 | |
| EP1580684B1 (en) | Face recognition from video images | |
| JP3022330B2 (ja) | 動画像認識装置および動画像認識方法 | |
| KR101350387B1 (ko) | 깊이 정보를 이용한 손 검출 방법 및 그 장치 | |
| JPH06138137A (ja) | 動物体抽出装置 | |
| CN111862147A (zh) | 视频中多车辆和多行人目标的跟踪方法 | |
| Gallego et al. | Joint multi-view foreground segmentation and 3d reconstruction with tolerance loop | |
| JP2000132692A (ja) | 曲線の特徴点抽出方法及びこの方法を記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19991214 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080114 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090114 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100114 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |