JP5132164B2 - 背景画像作成装置 - Google Patents

背景画像作成装置 Download PDF

Info

Publication number
JP5132164B2
JP5132164B2 JP2007043024A JP2007043024A JP5132164B2 JP 5132164 B2 JP5132164 B2 JP 5132164B2 JP 2007043024 A JP2007043024 A JP 2007043024A JP 2007043024 A JP2007043024 A JP 2007043024A JP 5132164 B2 JP5132164 B2 JP 5132164B2
Authority
JP
Japan
Prior art keywords
moving object
image information
image
background image
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007043024A
Other languages
English (en)
Other versions
JP2008204406A (ja
Inventor
哲 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2007043024A priority Critical patent/JP5132164B2/ja
Priority to DE102008008571A priority patent/DE102008008571B4/de
Priority to US12/034,953 priority patent/US20080205702A1/en
Publication of JP2008204406A publication Critical patent/JP2008204406A/ja
Application granted granted Critical
Publication of JP5132164B2 publication Critical patent/JP5132164B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は車両等の移動体を検出する際に使用され、道路等における移動体検出領域の背景画像を作成する背景画像作成装置に関する。
カメラ等の撮像装置により、例えば道路上の車両を検出する技術として、背景差分法が使用されている。この方法は検出領域をカメラ等の撮像装置によって撮像し、背景画像を作成し、この背景画像とその後に同じ検出領域を撮影した画像との差分を比較することによって、自動車等の移動体を検出する方法であり、他の方法に比べて車両が停止している場合でも使用でき、また処理が簡単であり広く使用されている。
図12は上記背景差分法を説明する図であり、検出領域30をカメラ31によって撮影した画像情報を背景画像生成部32に送り、背景画像を生成して記録部33に記録する。尚、この時検出領域30には移動体34が存在しない状態である。その後、同じ検出領域30をカメラ31で撮影した画像情報を移動体検出部35に送信し、移動体検出部35において、この送信画像と上記背景画像との差分処理を行い、移動体34の抽出を行う。
図13は上記処理を模式的に説明する図である。先ず、事前に自動車等の移動体34が存在しない状態の検出領域30を撮影し、背景画像を作成する。次に、同じ場所の画像情報を同じカメラ31で撮影して入力画像とし、この入力画像と上記背景画像との差分処理を行って移動体34を抽出する。
しかし、上記方法では、道路環境によって背景画像の取得が困難であり、移動体34が背景画像に写りこむ場合がある。例えば、図14はこの状態を説明する図であり、背景画像を作成する際、移動体34aが映り込み、差分抽出された画像には実在しない移動体34aが含まれ、正確な移動体の抽出処理を行うことができない。
そこで、過去の一定時間分の画像を記録し、輝度の平均値や中央値から背景画像を推定して背景画像を生成、更新する方法が提案されている。
尚、特許文献1の発明は、カメラではなくレーダを使用して車両を検出し、この検出結果に基づいて他の物体との区別を行う発明を開示している。また、特許文献2の発明は、カメラとレーダを使用し、通常はカメラで撮影を行い、例えば荒天等の気象条件によってカメラによる撮影が困難である時、レーダを使用して対象物の抽出処理を行う技術を開示している。
特開2003−202373号公報 特開2003−299066号公報
しかしながら、上記平均値や中央値を推定する従来の背景差分法を使用する場合、検出領域に移動体が存在する時間より、移動体が存在しない時間が充分長いことが前提であり、移動体の出現頻度が低く、移動体の停止時間が短いことが条件である。したがって、移動体の出現頻度が高く、停止時間が長い場合、充分な精度の背景画像を作成することができない。例えば、渋滞した道路での車両検出を精度よく行うことは困難である。
尚、特許文献1の発明は、上記のようにカメラ等の撮像装置を使用することなく、レーダのみを使用して移動体の検出を行う構成である。また、特許文献2の発明は、カメラと
レーダを併用するが、カメラで撮影できない状態の時レーダを使用して対象物の存在位置を特定する構成である。
そこで本発明は、車両で渋滞した道路や停止時間が長い車両が存在する場合でも、精度のよい背景画像を作成することができ、この背景画像を使用して正確な移動体の検出処理を行うことができる背景画像作成装置を提供するものである。
上記課題は本発明の背景画像作成装置によれば、予め定められた測定領域に存在する移動体の位置情報をレーダで検出する移動体検出手段と、該移動体検出手段によって検出された前記移動体の位置情報に基づいて、前記測定領域内の前記移動体が存在しない領域を特定する移動体非存在領域特定手段と、前記移動体検出手段による前記移動体の検出処理に同期して前記測定領域の画像情報を取得する画像情報取得手段と、該画像情報取得手段によって取得した画像情報と前記移動体非存在領域特定手段によって特定された情報から前記測定領域の背景画像を作成する背景画像作成手段とを有する背景画像作成装置を提供することによって達成できる。
また、上記背景画像作成装置は、例えば前記背景画像作成手段によって作成された背景画像と、前記撮像画像取得手段によって撮像された前記測定領域の新たな撮像画像との差分処理を行い、前記測定領域に存在する移動体の検出を行う移動体検出手段を有する構成である。
また、前記移動体非存在領域特定手段は、例えば予め設定された移動体の影響排除マージンの情報に基づいて移動体非存在領域の特定処理を行う構成である。
また、前記移動体非存在領域特定手段によって特定された領域に存在する例外的な移動体の存在を除去する例外画素排除手段を有する構成である。
さらに、前記背景画像の作成は、同じタイミングで前記移動体検出手段による移動体の検出処理及び画像情報取得手段による画像情報の取得処理を行い、この処理を時間を変えて複数回行った結果得られた複数の画像を合成して作成する構成である。
上記課題の解決手段によれば、移動体の出現頻度の高い検出領域においても移動体が混入しない高精度な背景画像を生成することができ、このような高精度な背景画像を使用して正確に移動体の検出処理を行うことができる。
以下、図面を参照しながら本発明の実施の形態について説明する。
図1は本実施形態を説明する背景画像作成装置のシステム構成図である。本例の背景画像作成装置は高速道路や一般道路等の検出領域1に自動車やオートバイ等の移動体2が存在する場合でも、その位置をレーダで確認し、その時の状態をカメラで撮像して背景画像を作成するものである。このため、検出領域1の一側端であって、その上方にカメラ3、及びレーダ4を設置し、カメラ3により検出領域1の画像を取得し、レーダ4によって移動体2の有無を確認する。また、移動体2を検出する場合、移動体2の距離と方位を測定する。
本例の背景画像作成装置は移動体検出部5、非存在領域特定部6、背景画像生成部7、背景画像記録部8、差分処理部9で構成されている。また、差分処理部9による処理によって検出結果10を得る。
カメラ3はCCD(charge coupled device)カメラ、レンズ付きカメラ等の各種カメラが使用可能であり、カメラ3によって取得した画像情報は背景画像生成部7に出力される。また、レーダ4は電波を発信し、発信した電波の反射波を受信し、移動体2の有無、及び移動体2までの距離や方位を測定する。レーダ4による測定情報は移動体検出部5に出力される。
移動体検出部5はレーダ4から送信された情報に基づいて、移動体2の有無を知り、移動体2が検出された場合において、移動体2の位置情報を上記距離と方位の情報によって検出する。移動体検出部5は上記情報を非存在領域特定部6に出力する。
非存在領域特定部6は移動体2が検出された場合、移動体2が存在する周囲の所定範囲を非存在領域として特定する。そして、非存在領域特定部6で作成した情報は背景画像生成部7に送信され、背景画像生成部7によって移動体2が存在しない状態の背景画像が生成される。また、この背景画像生成部7で生成した情報は背景画像記録部8に記憶される。
図2は上記構成の背景画像作成装置の具体的な構成を説明する図である。前述のように、レーダ4によって測定された移動体2の距離と方位の情報は移動体検出部5に送信される。ここで、レーダ4から供給される方位の情報は、レーダ4の中心位置に対して発信方向を左右に振る際、例えば右方向に振る場合の角度をプラス(+)とし、左方向に振る場合の角度をマイナス(−)とし、方位情報とする。また、距離の情報は、例えばレーダ4の設置位置から検出された移動体2の先端位置までの直線距離の情報である。移動体検出部5は上記距離と方位の情報に基づいて検出領域1における移動体2の位置を知る。
非存在領域特定部6は非存在候補領域抽出部12、領域補正部13、非存在領域画像取得部14で構成され、移動体検出部5によって検出された移動体2の位置情報が供給される。
非存在候補領域抽出部12は、移動体検出部5から供給された移動体2の位置情報に基づいて移動体2が存在しない領域を抽出する。図3はこの処理を説明する図である。この処理は、同図に示すように、レーダ4の設置位置より検出領域1の方向であり、移動体2が検出された位置より手前までの領域を非存在候補領域15aとする。したがって、この場合検出領域1の中の実線で囲んだ領域が非存在候補領域15aとなる。
次に、領域補正部13は上記非存在候補領域15aに対して影響を与える要因を加味した補正処理を行う。この領域補正は移動体2の位置に影響を与えることが考えられる、例えば影や路面反射等の影響を排除するための補正であり、予め設定された車両影響排除マージンに基づいて実行される。
図4はこの処理を説明する図である。本例の場合、移動体(例えば、自動車)2の長さを平均5mとし、幅を平均2mとし、マージンは移動体2の前方が4mであり、後方が3mであり、左右が1.5mと定義する。この場合、図4に示すように、移動体2の影響範囲は領域16となり、前述の非存在候補領域15aと重なる領域15bを非存在候補領域15aから削除する。したがって、この場合、得られる非存在領域は15cとなる。
次に、非存在領域画像取得部14によって非存在領域画像の取得処理を行う。図5はこの処理を説明する図である。この処理はレーダ・画像座標変換情報に基づいて実行され、非存在領域画像を画像座標系の画像情報として取得する。例えば、同図(a)はレーダ・画像座標変換情報の例であり、変換テーブルの形式で設定されている。同図に示す例の場合、レーダ座標系(D,θ)80m,10°の位置情報は、画像座標系((X)100、
(Y)50)に変換される。尚、上記テーブルには他に多くの変換情報が記憶され、それぞれについてレーダ座標系から対応する画像座標系への変換処理が行われる。
同図(c)は、同図(a)に示すレーダ座標系を画像座標系に変換した際の移動体2を含む非存在領域15cを示す画像である。また、同図(d)は、同図(c)の画像から非存在領域15cのみを抽出した画像を示す。この様にして作成された非存在領域画像は、背景画像生成部7に出力され、1枚の非存在領域画像として記録される。尚、上記変換処理は変換テーブルを使用して行ったが、例えば変換計算式を使用して行う構成としてもよい。
上記非存在領域画像の取得処理は時間を変えて多数回行われ、例えば図6に示す例は、ある時点での非存在領域の検出状態を示す図である。この場合、検出領域1には2台の移動体2a、2bが位置し、非存在領域は15c−1〜15c−3である。また、図7に示す例は、他の時点での非存在領域の検出状態を示す図であり、この場合検出領域1には3台の移動体2c、2d、2eが位置し、非存在領域は15c−4〜15c−6である。
また、図8(a)、(b)は、上記図6及び図7に示す非存在領域画像をレーダ座標系から画像座標系に変換した例を示す。すなわち、図8(a)は図6に示す画像情報を画像座標系の画像に変換した例を示し、図8(b)は図7に示す画像情報を画像座標系の画像に変換した例を示す。
したがって、背景画像生成部7には上記図5(d)に示す非存在領域画像や、図8(a)、(b)に示す非存在領域画像が記録され、過去一定時間分の非存在領域画像が記録される。
背景画像生成部7は例外画素排除部18、及び非存在領域画像合成部19で構成され、例外画素排除部18はレーダ4による検知処理において誤って混入した、例えば軽自動車やオートバイ等の移動体2の存在を排除する処理を行う。また、非存在領域画像合成部19は前述の非存在領域画像取得部14によって作成された多数の非存在領域画像に基づいて合成処理し、背景画像を作成する。
先ず、例外画素排除部18の処理について説明する。図9は例外画素排除部18の処理を説明する図である。尚、同図(a)はレーダ4による検知漏れによって、移動体2fが非存在領域15cに混入した場合であり、同図(b)及び(c)は移動体の混入のない非存在領域画像15cを示す。尚、同図(a)に示す移動体2fを例外画素とする。
例外画素排除部18は上記非存在領域画像の画像情報を読み出し、画素毎の平均値、又は中央値を計算して例外画素の削除処理を行い、移動体2fが削除された同図(d)の画像を取得する。例えば、加重平均を計算し、又はメディアン処理を行い、例外部の排除処理を行う。具体的には、同図(a)〜(c)に示す非存在領域画像において、対応する座標の画素の明るさのレベルを抽出し、それぞれの画素においてその平均値、又は中央値を計算して例外画素を排除する。
次に、非存在領域画像合成部19は記録された多数枚の非存在領域画像の合成処理を行い、1枚の背景画像を作成する。図10はこの処理を説明する図である。同図(a)、(b)に示す非存在領域画像は移動体2の影響がない画像情報であり、これらの画像を合成することによって同図(c)に示す背景画像を作成することができる。また、誤って写り込んだ移動体2f等は、前述の例外画素排除部18によって確実に排除されており、より正確な背景画像を作成することができる。
このようにして作成された背景画像は背景画像記憶部8に記録され、以後検出領域1を通過する移動体2の検出処理に使用される。したがって、上記のように処理することによって、移動体2が存在しない状態の背景画像を実質的に作成することができる。尚、上記例ではレーダ4による移動体検出において、移動体2が存在する場合について説明したが、移動体2が存在しない場合には上記非存在領域画像の作成処理を行うことなく、その時点でのカメラ3による画像情報を背景画像として使用することができる。
次に、背景画像記録部8に記録された背景画像の情報は差分処理部9に送られ、以後カメラ3によって取得した画像情報に含まれる移動体2の検出処理に使用される。具体的には、背景画像記憶部8に記録した背景画像とカメラ3によって取得した画像情報の差分処理を行い、移動体2の検出結果10を得る。このように処理することによって、検出領域1を移動する移動体2の存在を背景画像に基づいて正確に検出することができる。尚、上記差分処理は、例えば両画像をオア加算することによって実現することができる。
以上のように、本例によれば自動車等の移動体2の出現頻度の高い検出領域においても移動体2が混入しない高精度な背景画像を生成することができる。また、このような高精度な背景画像を使用して正確に移動体2の検出処理を行うことができる。
尚、図5における説明において、レーダ4によるレーダ座標系の距離Dをレーダ4の配設位置から移動体2までの直線距離としたが、例えばレーダ4の道路からの配設高を知ることによってレーダ4が配設された道路面の位置から移動体2までの直線距離としてもよい。
また、上記実施形態の説明では、移動体2の検出にレーダ4を使用したが、レーダ4に限る訳ではなく、移動体2の位置を検出できる装置であれば適用することができる。
また、上記背景画像作成装置は、図11に示すコンピュータを使用しても構成することができる。コンピュータ21は、CPU(中央処理装置)22、ROM(read only memory)23、RAM(random access memory)24等で構成され、例えばROM23には本例の各種処理を実行させるプログラムが記憶されている。また、コンピュータ21には、例えば外部記憶装置25も回線を介して接続され、データの授受を行うことができる。また、媒体駆動装置26は、可搬記録媒体27を駆動し、その記録内容にアクセスする。可搬記録媒体27としては、例えばメモリカード、フロッピー(登録商標)ディスク、CD−ROM(compact disk read only memory )、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。
上記可搬記録媒体27、又は上記ROM23には、例えば前述の移動体検出処理や、該処理によって検出された移動体の位置情報に基づいて、前述の測定領域内の移動体が存在しない領域を特定する移動体非存在領域特定処理、上記移動体検出処理による移動体の検出に同期して上記測定領域の画像を取得する画像取得処理、該画像取得処理によって取得した画像情報と前記移動体非存在領域特定処理によって特定された画像情報から測定領域の背景画像を作成する背景画像作成処理を行うプログラムが記録されている。
したがって、上記プログラムを使用し、カメラ3やレーダ4から取得した情報に基づいて背景画像を作成し、この背景画像と新たに取得した入力画像を差分処理することによって、移動体2の抽出処理を行うことができる。
(付記1)予め定められた測定領域に存在する移動体の位置情報をレーダで検出する移動体検出手段と、
該移動体検出手段によって検出された前記移動体の位置情報に基づいて、前記測定領域内の前記移動体が存在しない領域を特定する移動体非存在領域特定手段と、
前記移動体検出手段による前記移動体の検出処理に同期して前記測定領域の画像情報を取得する画像情報取得手段と、
該画像情報取得手段によって取得した画像情報と前記移動体非存在領域特定手段によって特定された情報から前記測定領域の背景画像を作成する背景画像作成手段と、
を有することを特徴とする背景画像作成装置。
(付記2)前記背景画像作成手段によって作成された背景画像と、前記画像情報取得手段によって取得された前記測定領域の新たな画像との差分処理を行い、前記測定領域に存在する移動体の抽出を行う移動体抽出手段を有することを特徴とする付記1記載の背景画像作成装置。
(付記3)前記移動体検出手段によって検出される移動体の位置情報は、レーダ座標系から画像座標系に変換された後、前記移動体が存在しない領域を特定する処理に使用されることを特徴とする付記2記載の背景画像作成装置。
(付記4)前記移動体非存在領域特定手段は、予め設定された移動体の影響排除マージンの情報に基づいて移動体非存在領域の特定処理を行うことを特徴とする付記1記載の背景画像作成装置。
(付記5)前記移動体非存在領域特定手段によって特定された領域に存在する例外的な移動体の存在を除去する例外画素排除手段を有することを特徴とする付記1記載の背景画像作成装置。
(付記6)前記背景画像の作成は、同じタイミングで前記移動体検出手段による移動体の検出処理及び画像情報取得手段による画像情報の取得処理を行い、この処理を時間を変えて複数回行った結果得られた複数の画像を合成して得ることを特徴とする付記1記載の背景画像作成装置。
(付記7)前記移動体検出手段は、前記背景画像と前記画像情報取得手段によって取得された新たな撮像画像とをオア加算処理を行うことによって移動体の検出処理を行うことを特徴とする付記2記載の背景画像作成装置。
(付記8)予め定められた測定領域に存在する移動体の位置情報をレーダで検出する移動体検出手段と、
前記移動体検出手段による前記移動体の検出処理に同期して前記測定領域の画像情報を取得する画像情報取得手段と、
前記移動体検出手段によって前記移動体が前記測定領域内で検出されない時、前記画像情報取得手段によって取得した画像情報を背景画像として設定する背景画像設定手段と、
前記背景画像と、前記画像情報取得手段によって取得された前記測定領域内の新たな画像との差分処理を行い、前記測定領域に存在する移動体の抽出を行う移動体抽出手段と、
を有することを特徴とする背景画像作成装置。
(付記9)予め定められた測定領域に存在する移動体の位置情報をレーダで検出する移動体検出処理と、
該移動体検出処理によって検出した前記移動体の位置情報に基づいて、前記測定領域内の前記移動体が存在しない領域を特定する移動体非存在領域特定処理と、
前記移動体検出処理による前記移動体の検出に同期して前記測定領域の画像情報を取得する画像情報取得処理と、
該画像情報取得処理によって取得した画像情報と前記移動体非存在領域特定処理によって特定された画像情報から前記測定領域の背景画像を作成する背景画像作成処理と、
を行うことを特徴とする背景画像作成方法。
(付記10) 前記背景画像作成処理によって作成された背景画像と、前記画像情報取得処理によって取得された前記測定領域の新たな画像情報との差分処理を行い、前記測定領域に存在する移動体の抽出を行う移動体抽出処理を行うことを特徴とする付記9記載の背景画像作成方法。
(付記11)レーダによって測定された情報に基づいて、予め定められた測定領域に存
在する移動体の位置情報を検出する移動体検出処理と、
該処理によって検出された前記移動体の位置情報に基づいて、前記測定領域内の前記移動体が存在しない領域を特定する前記移動体非存在領域特定処理と、
前記移動体検出処理による前記移動体の検出に同期して前記測定領域の画像情報を取得する画像情報取得処理と、
該画像情報取得処理によって取得した画像情報と前記移動体非存在領域特定処理によって特定された画像情報から前記測定領域の背景画像を作成する背景画像作成処理と、
を行うプログラムであって、コンピュータが実行可能なプログラム。
(付記12)前記背景画像作成処理によって作成された背景画像と、前記画像情報取得処理によって取得された前記測定領域の新たな画像情報との差分処理を行い、前記測定領域に存在する移動体の抽出を行う移動体抽出処理を行うことを特徴とする付記11記載のプログラム。
本実施形態の背景画像作成装置のシステム構成図である。 背景画像作成装置の具体的な構成を説明する図である。 非存在領域抽出部の処理を説明する図である。 領域補正部の処理を説明する図である。 (a)はレーザ・画像座標変換情報のテーブル例を示し、(b)は非存在領域の画像を説明する図であり、(c)は画像座標系変換後の移動体を含む非存在領域を示す画像例であり、(d)は(c)の画像から非存在領域のみを抽出した画像例を示す図である。 ある時点での非存在領域の画像を説明する図である。 他の時点での非存在領域の画像を説明する図である。 (a)は図6における非存在領域画像の座標変換を説明する図であり、(b)は図7における非存在領域画像の座標変換を説明する図である。 (a)は、移動体が混入した非存在領域画像を示す図であり、(b)及び(c)は、移動体が混入しない非存在領域画像を示す図であり、(d)は例外画素が排除された非存在領域画像を示す図である。 (a)及び(b)は、非存在領域画像を示す図であり、(c)は、合成結果である背景画像を示す図である。 プログラムを使用し、本実施形態の処理を行うシステム構成図である。 従来の背景画像作成装置のシステム構成図である。 従来の背景画像の生成処理を説明する図である。 従来の背景画像の生成処理の問題を説明する図である。
符号の説明
1 検出領域
2 移動体
3 カメラ
4 レーダ
5 移動体検出部
6 非存在領域特定部
7 背景画像生成部
8 背景画像記憶部
9 移動体検出部
10 検出結果
12 非存在領域抽出部
13 領域補正部
14 非存在領域画像取得部
15 非存在領域画像
17 背景画像生成部
18 例外画素排除部
19 非存在領域画像合成部
21 情報処理装置
22 CPU(中央処理装置)
23 ROM
24 RAM
25 外部記憶装置
26 媒体駆動装置
27 可搬記録媒体

Claims (6)

  1. 予め定められた測定領域に存在する移動体の位置情報をレーダで検出する移動体検出手段と、
    該移動体検出手段によって検出された前記移動体の位置情報に基づいて、前記測定領域内の前記移動体が存在しない領域を特定する移動体非存在領域特定手段と、
    前記移動体検出手段による前記移動体の検出処理に同期して前記測定領域の画像情報を取得する画像情報取得手段と、
    該画像情報取得手段によって取得された複数時刻の画像情報と前記移動体非存在領域特定手段によって前記画像情報取得手段によって取得された複数時刻の画像情報に対応する特定された情報から前記測定領域における移動物体の存在しない背景画像を作成する背景画像作成手段と、
    を有し、
    前記背景画像の作成は、同じタイミングで前記移動体検出手段による移動体の検出処理及び前記画像情報取得手段による画像情報の取得処理を行い、この処理を時間を変えて複数回行った結果得られた複数の画像を合成して得る
    ことを特徴とする背景画像作成装置。
  2. 前記背景画像作成手段によって作成された背景画像と、前記画像情報取得手段によって取得された前記測定領域の新たな画像との差分処理を行い、前記測定領域に存在する移動体の抽出を行う移動体抽出手段を有することを特徴とする請求項1記載の背景画像作成装置。
  3. 前記移動体非存在領域特定手段は、更に、前記移動体検出手段によって位置情報が検出された移動体が影響を及ぼす該移動体の周囲の範囲を表した情報であって該移動体について予め設定されている情報である、移動体の影響排除マージンの情報に基づいて移動体非存在領域の特定処理を行うことを特徴とする請求項1記載の背景画像作成装置。
  4. 前記背景画像作成手段は、前記移動体検出手段によって前記移動体が前記測定領域内で検出されない時、前記画像情報取得手段によって取得した画像情報を背景画像とすることを特徴とする請求項1記載の背景画像作成装置。
  5. 予め定められた測定領域に存在する移動体の位置情報をレーダで検出する移動体検出処理と、
    該移動体検出処理によって検出した前記移動体の位置情報に基づいて、前記測定領域内の前記移動体が存在しない領域を特定する移動体非存在領域特定処理と、
    前記移動体検出処理による前記移動体の検出に同期して前記測定領域の画像情報を取得する画像情報取得処理と、
    該画像情報取得処理によって取得された複数時刻の画像情報と前記移動体非存在領域特定処理によって前記画像情報取得処理によって取得された複数時刻の画像情報に対応する特定された画像情報から前記測定領域における移動物体の存在しない背景画像を作成する背景画像作成処理と、
    を行い、
    前記背景画像の作成は、同じタイミングで前記移動体検出処理による移動体の検出処理及び前記画像情報取得処理による画像情報の取得処理を行い、この処理を時間を変えて複数回行った結果得られた複数の画像を合成して得る
    ことを特徴とする背景画像作成方法。
  6. レーダによって測定された情報に基づいて、予め定められた測定領域に存在する移動体の位置情報を検出する移動体検出処理と、
    該処理によって検出された前記移動体の位置情報に基づいて、前記測定領域内の前記移動体が存在しない領域を特定する前記移動体非存在領域特定処理と、
    前記移動体検出処理による前記移動体の検出に同期して前記測定領域の画像情報を取得する画像情報取得処理と、
    該画像情報取得処理によって取得された複数時刻の画像情報と前記移動体非存在領域特定処理によって前記画像情報取得処理によって取得された複数時刻の画像情報に対応する特定された画像情報から前記測定領域における移動物体の存在しない背景画像を作成する背景画像作成処理と、
    を行うプログラムであり、
    前記背景画像の作成は、同じタイミングで前記移動体検出処理による移動体の検出処理及び前記画像情報取得処理による画像情報の取得処理を行い、この処理を時間を変えて複数回行った結果得られた複数の画像を合成して得る
    ことを特徴とするコンピュータが実行可能なプログラム。
JP2007043024A 2007-02-22 2007-02-22 背景画像作成装置 Expired - Fee Related JP5132164B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007043024A JP5132164B2 (ja) 2007-02-22 2007-02-22 背景画像作成装置
DE102008008571A DE102008008571B4 (de) 2007-02-22 2008-02-11 Hintergrundbilderzeugungsvorrichtung
US12/034,953 US20080205702A1 (en) 2007-02-22 2008-02-21 Background image generation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007043024A JP5132164B2 (ja) 2007-02-22 2007-02-22 背景画像作成装置

Publications (2)

Publication Number Publication Date
JP2008204406A JP2008204406A (ja) 2008-09-04
JP5132164B2 true JP5132164B2 (ja) 2013-01-30

Family

ID=39678150

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007043024A Expired - Fee Related JP5132164B2 (ja) 2007-02-22 2007-02-22 背景画像作成装置

Country Status (3)

Country Link
US (1) US20080205702A1 (ja)
JP (1) JP5132164B2 (ja)
DE (1) DE102008008571B4 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6024229B2 (ja) * 2012-06-14 2016-11-09 富士通株式会社 監視装置、監視方法、及びプログラム
US10678259B1 (en) * 2012-09-13 2020-06-09 Waymo Llc Use of a reference image to detect a road obstacle
JP6679889B2 (ja) * 2015-11-04 2020-04-15 住友電気工業株式会社 センサおよび検知プログラム
KR20200004840A (ko) * 2017-05-15 2020-01-14 아우스터, 인크. 파노라마 lidar 결과의 컬러 보강

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04148298A (ja) * 1990-10-08 1992-05-21 Matsushita Electric Ind Co Ltd 違法駐車検出警告装置
JP3263699B2 (ja) * 1992-12-22 2002-03-04 三菱電機株式会社 走行環境監視装置
EP0633546B1 (en) * 1993-07-02 2003-08-27 Siemens Corporate Research, Inc. Background recovery in monocular vision
US6760061B1 (en) * 1997-04-14 2004-07-06 Nestor Traffic Systems, Inc. Traffic sensor
JP2000057323A (ja) * 1998-08-11 2000-02-25 Sumitomo Electric Ind Ltd 画像処理装置
JP2000090277A (ja) * 1998-09-10 2000-03-31 Hitachi Denshi Ltd 基準背景画像更新方法及び侵入物体検出方法並びに侵入物体検出装置
JP4308381B2 (ja) * 1999-09-29 2009-08-05 富士通テン株式会社 周辺監視センサ
CN100533482C (zh) * 1999-11-03 2009-08-26 特许科技有限公司 基于视频的交通监控***的图像处理技术及其方法
JP2001195699A (ja) * 2000-01-14 2001-07-19 Yazaki Corp 車両用周辺監視装置及び、車両用衝突危険判断処理プログラムを記録した記録媒体
JP2001216519A (ja) * 2000-02-04 2001-08-10 Fujitsu Ltd 交通監視装置
JP2002092600A (ja) * 2000-09-19 2002-03-29 Oki Electric Ind Co Ltd 道路監視装置
JP2003202373A (ja) * 2002-01-07 2003-07-18 Omron Corp 移動物体検知装置および移動物体検知方法
JP2003299066A (ja) 2002-04-05 2003-10-17 Matsushita Electric Ind Co Ltd 画像処理装置およびその方法
JP2005173787A (ja) * 2003-12-09 2005-06-30 Fujitsu Ltd 移動物体の検出・認識を行う画像処理装置
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP4218670B2 (ja) * 2005-09-27 2009-02-04 オムロン株式会社 前方撮影装置

Also Published As

Publication number Publication date
JP2008204406A (ja) 2008-09-04
DE102008008571B4 (de) 2011-12-15
DE102008008571A1 (de) 2008-09-11
US20080205702A1 (en) 2008-08-28

Similar Documents

Publication Publication Date Title
CN104108392B (zh) 车道估计装置和方法
CN110799918A (zh) 车辆用的方法、设备和计算机程序
US9286522B2 (en) Stereo assist with rolling shutters
RU151809U1 (ru) Видеосистема для обеспечения безопасности транспортных средств
CN107005655B (zh) 图像处理方法
US9077907B2 (en) Image processing apparatus
JP2004112144A (ja) 前方車両追跡システムおよび前方車両追跡方法
JP2007295525A (ja) 撮像装置、撮像システム及び撮像方法
JP2006258497A (ja) 車両用物体認識装置
JP5132164B2 (ja) 背景画像作成装置
JP3709879B2 (ja) ステレオ画像処理装置
JP2019028760A (ja) 画像記録装置、画像記録方法および画像記録プログラム
JP2006226965A (ja) 画像処理装置、コンピュータプログラム、及び画像処理方法
JP4123138B2 (ja) 車両検知方法及び車両検知装置
JP4882577B2 (ja) 物体追跡装置およびその制御方法、物体追跡システム、物体追跡プログラム、ならびに該プログラムを記録した記録媒体
JP2009260671A (ja) 画像処理装置及び撮像装置
KR101420242B1 (ko) 스테레오 카메라를 이용한 차량 검지 방법 및 장치
JP2008286648A (ja) 距離計測装置、距離計測システム、距離計測方法
TWI774543B (zh) 障礙物偵測方法
WO2021124657A1 (ja) カメラシステム
JP2007233487A (ja) 歩行者検出方法、装置、およびプログラム
JP2006012013A (ja) 移動物体追跡装置
JP2005346381A (ja) 立体物認識装置及び方法
EP2919191A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method
JP2006139565A (ja) 移動ベクトル検出装置及びその方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110601

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121030

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121106

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151116

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees