JP2009104363A - 物体識別装置 - Google Patents

物体識別装置 Download PDF

Info

Publication number
JP2009104363A
JP2009104363A JP2007274805A JP2007274805A JP2009104363A JP 2009104363 A JP2009104363 A JP 2009104363A JP 2007274805 A JP2007274805 A JP 2007274805A JP 2007274805 A JP2007274805 A JP 2007274805A JP 2009104363 A JP2009104363 A JP 2009104363A
Authority
JP
Japan
Prior art keywords
platform
movement
motion
amount
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007274805A
Other languages
English (en)
Other versions
JP5062626B2 (ja
Inventor
Hirozo Yamada
博三 山田
Fumihiko Mori
文彦 森
Makoto Mizuno
真 水野
Akinori Mori
晃徳 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tamagawa Gakuen
Original Assignee
Tamagawa Gakuen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tamagawa Gakuen filed Critical Tamagawa Gakuen
Priority to JP2007274805A priority Critical patent/JP5062626B2/ja
Publication of JP2009104363A publication Critical patent/JP2009104363A/ja
Application granted granted Critical
Publication of JP5062626B2 publication Critical patent/JP5062626B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 処理負担を少なくして低コストで高機能化可能な物体の静止・移動識別ができる装置を提供する。
【解決手段】 物体識別装置(50)は、自身が移動体でもあるプラットホーム(55)に取り付けられた撮像手段(51)と、前記撮像手段によって撮像された画像内に存在する物体の動き方向と動き量を検出する第1の動き検出手段(52)と、前記プラットホームの動き方向と動き量を検出する第2の動き検出手段(53)と、前記物体の動き方向が前記プラットホームの動き方向と逆向きで且つ各々の動き量も同等である場合にその物体を静止物体であると判定する静止物体判定手段(54)とを備える。
【選択図】 図1

Description

本発明は、物体識別装置に関し、詳細には、移動物体でもあるプラットホーム(たとえば、自走型ロボットや自動車など)に取り付けられたカメラで撮影した画像に写し込まれている対象物が静止物体であるか否かを識別するための装置に関する。
上記のプラットホームが「静止」している場合、そのプラットホームに取り付けられた電子的な目(以下、カメラとする。)の撮影画像に基づいて、対象物が静止物体であるか否かを識別するのに格別の困難はない。簡単に言えば、そのカメラによって異なる時刻で撮影した少なくとも2枚の画像の相関を取ることにより、静止物体は消失し、移動物体だけが残るからである。
しかしながら、上記のプラットホームが「移動」している場合、このような単純な手法では対象物の静止・移動の識別はできない。自己(プラットホーム)の動きが加味されてしまい、静止物体であっても、あたかも移動物体のように取り扱われてしまうからである。
図6は、プラットホームの静止・移動に伴う対象物の移動識別の概念図である。まず、プラットホームが静止している場合の概念は、(a)のように示される。この(a)において、静止状態にあるプラットホーム上のカメラによって異なる時刻で撮影された2枚の画像1、2には、たとえば、静止物体としての樹木3と、移動物体としての自動車4とが写し込まれているものとする。ここで、右側の画像2が時間的に後で撮影されたものとし、また、自動車4が図面に向かって右側に移動しているものとすると、これら2枚の画像1、2のうち、相関性のない部分は移動物体である自動車4の部分になる。したがって、プラットホームが静止している場合には、たとえば、2枚の画像1、2の差分を取ることにより、静止物体(ここでは樹木3)と移動物体(ここでは自動車4)とを識別することができる。
これに対して、プラットホームが移動している場合の概念は、(b)のように示される。この(b)においても、プラットホーム上のカメラによって異なる時刻で撮影された2枚の画像5、6が示されており、それらの画像5、6には、上記と同様の静止物体としての樹木7と、移動物体としての自動車8とが写し込まれているが、今、プラットホームが図面に向かって左方向に移動しているものと仮定すると、移動物体(自動車8)はもちろんのこと、静止物体(樹木7)についても2枚の画像5、6の間で動きが出てしまうので、上記のような手法では、これらの静止物体と移動物体を識別することができない。
プラットホームが移動している場合にも適用できる方法としては、たとえば、下記の特許文献1に記載の技術(以下、従来技術という。)が知られている。この従来技術を要約すれば、プラットホーム(同文献では車)の移動と反対の方向に等量カメラを移動させるなどによって、静止カメラ状態(1台のカメラを空間的に固定した状態にすること)を作り出す手法であり、それによって、自己(プラットホーム)の動きにかかわらず、対象物の静止・移動を識別するというものである。
特表平10−501386号公報(国際公開番号:W095/34171)
しかしながら、上記の従来技術にあっては、車の速度にあわせた正確なカメラ移動や複数カメラの画像における正確な時間差設定ができないこと、最も必要な前方対象物(その車の前方に位置する対象物)の静止・移動状態の検出ができないこと、三次元位置や三次元的移動方向と移動量抽出・衝突予測の追加処置ができないこと、すなわち、静止・移動状態の検出の実現性に乏しいことおよび重要な場面に利用できないことなどに重大な難がある。また、他の従来技術(たとえば、特許文献1で触れられている論文“バートらの著による「移動カメラを用いた物体の追跡、力学的運動分析の応用(Object Tracking With A Moving Camera, An Application Of Dynamic
Motion Analysis)、IEEEビジュアルモーション・ワークショップ、カリフォルニア州アービィン、1989年3月」”)や清水らの「全方向ステレオシステムを搭載した移動体による実環境からの動物体の検出」電気学会論文誌C,Vol,124,2004年6月においては、画像の整列や減算といった膨大な量の処理が必要であり、処理負担が大きいという問題点がある。このことは、とりわけ安価で処理時間の少ない高性能なシステムが求められる用途(たとえば、自動車等車両における前方・全方向監視システム等)に適用する場合に障害となり得るので、解決すべき課題である。
そこで、本発明は、処理負担を少なくして低コストで物体の静止・移動識別ができる高性能化可能な装置を提供することにある。
請求項1記載の発明は、自身が移動体でもあるプラットホームに取り付けられた撮像手段と、前記撮像手段によって撮像された画像内に存在する物体の動き方向と動き量を検出し、前記画像内の速度から物体の三次元空間内の動き方向と動き量を検出する第1の動き検出手段と、前記プラットホームの三次元空間内の動き方向と動き量を検出する第2の動き検出手段と、前記物体の動き方向が前記プラットホームの動き方向と逆向きで且つ各々の動き量も同等である場合にその物体を静止物体であると判定する静止物体判定手段とを備えたことを特徴とする物体識別装置である。
請求項2 記載の発明は、前記第2の動き検出手段は、少なくとも、前記プラットホームの駆動量に基づく推測航法により、前記プラットホームの動き方向と動き量を検出することを特徴とする請求項1記載の物体識別装置である。
請求項3記載の発明は、前記第2の動き検出手段は、前記撮像手段によって撮像された画像内に2以上の複数の物体が存在する場合であって、且つ、それらの複数の物体の全て又は大多数の動き方向と動き量が揃っている場合に、その動き方向と動き量を、前記プラットホームの動き方向及び動き量として採用することを特徴とする請求項1記載の物体識別装置である。
請求項4記載の発明は、前記第1の動き検出手段は、前記物体の三次元空間内の動き方向と動き量を検出する際に、前記第2の検出手段によって検出された前記プラットホームの回転速度に相当する成分を取り除くことを特徴とする請求項1記載の物体認識装置である。
本発明では、前記物体の動き方向が前記プラットホームの動き方向と逆向きで且つ各々の動き量も同等である場合にその物体を静止物体であると判定するので、前記の従来技術のような車の速度にあわせた正確なカメラ移動や各時刻における正確な時間差設定ができないこと、最も必要な前方対象物の静止・移動状態の検出ができないこと、三次元位置や三次元的移動方向と移動量抽出・衝突予測の追加処置ができないこと、すなわち、静止・移動状態の検出の実現性に乏しいことおよび重要な場面に利用できないことがなく、また、他の従来技術のような、画像の整列や減算といった膨大な量の処理が必要であり、処理負担が大きいという問題点もない。したがって、画像の整列や減算といった手間のかかる処理をあまり必要とせず、処理負担を少なくして簡便に低コストで物体の静止・移動識別を行うことができる。
以下、本発明の実施形態を移動物体でもあるプラットホーム、たとえば、自動車等車両(以下、単に車両という。)への適用を例にして説明するが、これに限定されない。自走型ロボットなどであってもよい。
図1は、実施形態に係る物体識別装置の構成図である。この図において、物体識別装置50は、所定の間隔で配置された2台のカメラ(右カメラ51Rと左カメラ51L)を有するステレオカメラ部51と、このステレオカメラ部51で、ある時刻および次の時刻に撮影された4枚の画像から、対象物の最初の時刻の空間位置と左右各カメラ(右カメラ51Rと左カメラ51L)における動きを検出する対象物動き検出部52と、自己(移動体でもあるプラットホーム)の動きを検出する自己動き検出部53と、これら二つの動き検出部(対象物動き検出部52及び自己動き検出部53)の動き検出結果に基づいて対象物の静止・移動を判定する静止・移動判定部54とを備える。なお、プラットホームの光軸方向の動きを固定すること等により、自己動き検出部53を不要とした簡易型構成も可能である。
前記のとおり、この物体識別装置50は、移動体でもあるプラットホーム(たとえば、自動車等の車両や自走型ロボットなど)に搭載して用いられる。
図2は、物体識別装置50を搭載したプラットホームの概念図である。この図において、プラットホーム55は、上記のステレオカメラ51が設置された車体11と、操舵輪12と、駆動輪13と、操舵装置14と、駆動力発生源(特にそれに限定しないが、たとえば、ステッピングモータを動力源として含むもの)15と、駆動制御装置16とを有する。このプラットホーム55は、駆動制御装置16により、予め設定された走行パターンに従い操舵装置14と駆動力発生源15を制御し、任意の方向及び任意の速度で地上若しくは室内床面を走行する。なお、走行パターンは予め設定されたものだけでなく、たとえば、有線や無線或いは赤外線等によって、外部からその都度伝えられるものであってもよい。この場合、有線や無線或いは赤外線等の通信部を必要とすることはもちろんである。
ここで、ステレオカメラ部51は、上記のとおり、所定の間隔で配置された2台のカメラ、すなわちペアとなるカメラ(右カメラ51Rと左カメラ51L)を有するものであるが、これに限定されない。2台以上のカメラであってもよいが、ペアとなるカメラの光軸が所定の間隔(図3の符号a参照)で水平面内で平行する配置になっていなければならない。ステレオカメラ51を用いた理由は、単にこの条件に合致するからであり、しかも、各々のカメラの性能(撮影画角や感度及び解像度等)も揃っているからである。また、ペアとなるカメラの配置においては、光軸が水平面に平行である限り上下や斜めも可能である。ちなみに、カメラの視野は、画素数の多い長方形である必要はなく、たとえば、x軸近辺の細長いもの(典型的にはラインセンサー型等)であってもよい。これを用いれば、床からの種々の高さのものを必要に応じて適当に組み合わせることができるため、大量のメモリを必要とする大がかりな計算を行わずに済む極めて経済的な装置構成とすることができる。
図3は、対象物動き検出部52における対象物の三次元的動き検出の概念図である。この図において、移動体でもあるプラットホーム55には、そのプラットホーム55の移動方向を撮影方向とする右カメラ51Rと左カメラ51Lが取り付けられており、これらのカメラの光軸56R、56Lは所定の間隔aで水平面内で平行している。ここで、プラットホーム55が存在する世界を三次元座標(x,y,z)で表すことにする。すなわち、図面の左右方向をx軸、図面の表裏方向をy軸、図面の上下方向をz軸で表すことにする。ただし、このプラットホーム55は、説明の簡単化のために、二次元的な床面上の動きのみを行うもの、たとえば、自走型ロボットや自動車であるものとする。また、移動対象物も床などの平面をほぼ水平に、つまり、二次元的に移動するものとする。したがって、視野のx軸近辺では、y座標を無視できるから、以下の説明では、x座標とz座標だけに言及することにする。もちろん、x軸近辺でなくても実空間で多く存在する垂直エッジにおいては、補正なく同じ処理でよく、斜線エッジの場合でも極めて単純な式で処理可能である。
今、右カメラ51Rの撮影点(厳密には撮像素子の受光面;以下同様。)を原点として座標(0,0)で表すことにすると、左カメラ51Lの撮影点は前記の間隔aを加味して座標(-a,0)で表すことができる。
さて、任意の対象物体P0が、プラットホーム55の移動方向の前方の距離Z0、且つ、右カメラ51Rと左カメラ51Lのほぼ中間位置X0に存在しているものと仮定すると、この対象物体P0の初期位置は座標(X0,Z0)で表される。
このような状態において、対象物体は、静止・移動にかかわらずプラットホームの座標系から見て点Pで示す座標(X,Y)まで移動したとする。点P0を通り光軸と直交する直線57と点Pと右カメラ51Rを結ぶ直線58Rの交点をPRとする。同様に直線57と直線58Lの交点をPLとする。これらの点PLと点PRは、左右カメラ(左カメラ51Lと右カメラ51R)の画像上の移動量(以下、δLとδRとする)から直接求まるので、点Pの座標(X,Y)は、直線58R、58Lの交点として求められる。すなわち、フラットホーム55および対象物体の移動に伴う、対象物体P0の移動後の相対的位置(点Pの座標(X,Y))を求めることができる。当然ながら、衝突位置や衝突時刻も直ちに求められる。また、点P0は、正面に限らず視野内のどこにあってもよい。
このことを人間の目を例にして説明する。今、距離Z0離れて位置する対象物体P0を左右の目の間に捉えたまま、その対象物体P0に向かって前進した場合を考える。この場合、右目で捉えられた対象物体P0は右目の網膜上で左方向に距離(δR)だけ移動し、左目で捉えられた対象物体P0は左目の網膜上で右方向に距離(δL)だけ移動することになる。そして、人間の脳内処理により、それらの右目と左目の網膜上の移動情報から、あたかも、自分に向かって対象物体P0が接近する(座標(X0,Z0)→座標(X,Z))が如きの知覚がなされる。
本実施形態の対象物動き検出部52は、このような原理に従い、ステレオカメラ部51で2時刻に撮影された4枚の画像から対象物の三次元的動きを検出する。なお、具体的な検出の仕方については後述する。〔式(9)(10)参照〕
次に、静止・移動判定部54は、二つの動き検出部(対象物動き検出部52及び自己動き検出部53)の動き検出結果に基づいて対象物の静止・移動を判定するが、その原理は、以下のとおりである。
図4は、静止・移動判定部54における対象物の静止・移動判定の概念図である。この図において、矢印59はプラットホーム60(図3のプラットホーム55に相当;以下同様。)の移動方向を表し、また、矢印61はプラットホーム60の移動に伴って生じる静止物体62のプラットホームを原点とする座標系における移動方向を表し、また、矢印63も同様にプラットホーム60の移動に伴って生じる移動物体64の移動方向を表している。ただし、移動物体64の移動方向(矢印63)は、その移動物体64の真の移動方向(矢印65)とプラットホーム60の移動に伴って生じる移動方向(矢印66)との合成方向である。
この図に示すように、プラットホーム60が図面の上に向かって矢印59の向きに移動した場合、静止物体62の移動方向(矢印61)が、プラットホーム60の移動方向と逆向き且つ同じ大きさとなるので、両者(矢印59と矢印61)は相殺される。一方、移動物体64の移動方向(矢印63)は、前記のとおり、移動物体64の真の移動方向(矢印65)とプラットホーム60の移動に伴って生じる移動方向(矢印66)との合成方向であるので、両者(矢印59と矢印63)は相殺されず、残差が生じることになる。したがって、移動方向が相殺された場合には対象物体が「静止物体」であると判定でき、残差が生じた場合には対象物体が「移動物体」であると判定することができる。
ところで、かかる静止・移動判定においては自己の動き、つまり、プラットホーム60の動き情報(図4の矢印59参照)が不可欠であり、自己動き検出部53は、そのために備えられた要素である。プラットホーム60の動き情報を得るには、次の二つの手法のいずれかを採用することができる。第1の手法は、たとえば、カーナビゲーション等の分野で「推測航法」と呼ばれている手法である。この手法では、プラットホーム60の移動方向と移動速度を逐一センシングし、そのセンシング情報からプラットホーム60の動きを推測する。そのためのセンサとしては、たとえば、光ジャイロセンサや機械的ジャイロセンサ、車速センサ、操舵輪の舵角センサなどを用いることができる。あるいは、GPS衛星からの情報を利用することもできる。また、プラットホームの駆動力発生源(図2の駆動力発生源15参照)がステッピングモータである場合、そのステッピングモータの駆動パルス数などの情報も、プラットホーム60の駆動量を示す情報として利用することができる。また、車輪の単位時間当たりの回転数、たとえば、回転数/秒もプラットホーム60の駆動量を示す情報として利用することができる。
第2の手法は、画像認識によって自己の動き、つまり、プラットホーム60の動き情報(図4の矢印59参照)を得るという手法である。すなわち、右カメラ51Rや左カメラ51Lで時系列的に撮影した複数の画像に写し出されている2以上の被写体の動きを検出し、それら2以上の被写体の動きに同調性が見られる場合、つまり、大多数(実用上は半数以上)の被写体の動き方向と動き量が揃っている場合に、その動き方向の逆の方向を自己の動き方向として検出するという手法である。第1の動き検出手段においては、プラットホームの回転速度ベクトルが取り除かれていることが前提となっている。このプラットホームの回転速度を画像上の対象物体の動きから求めるには、画像中央の垂直線(y軸)近辺の速度の水平成分から求めることができる。なぜなら、この部分においては、プラットホームの並進移動に伴う水平方向の成分はゼロであるからである。
このように、自己動き検出部53は、プラットホーム60の動き情報(図4の矢印59参照)を検出するためのものであるが、以上の二つの手法のいずれを用いてもよい。特に第1の手法にあっては、たとえば、プラットホーム60が舵角固定で一定方向に移動するものである場合には、その移動量を端的に表す駆動力発生源(図2の駆動力発生源15参照)の駆動量(一例としてはステッピングモータの駆動パルス数)に基づく推測航法により、前記プラットホーム60の「動き量」を検出するようにしてもよく、さらに、任意の舵角で任意の方向にも移動するものである場合には、さらに、その「駆動量」に加えて、プラットホーム60の「操舵量」(図2の操舵装置14による操舵量)も加味した推測航法により、前記プラットホーム60の「動き方向」と「動き量」とを検出するようにしてもよい。このようなプラットホームの回転速度は、また、左右車輪の回転数の差や比などからも求めることができる。
以上のとおり、本実施形態によれば、移動方向が相殺された場合には対象物体が「静止物体」であると判定でき、残差が生じた場合には対象物体が「移動物体」であると判定することができるから、簡単な方法でコストを掛けずに対象物体の静止・移動を判定することができる。
次に、この実施形態の詳細について説明する。前出の図3において、対象物体の時刻t0における位置を(X0,Y0.Z0)とする。ここでは、原点(0,0,0)を右力メラ51Rの撮影点とし、ステレオカメラ51の前方をz軸、左カメラ51Lから右カメラ51Rへの直線をx軸、垂直上方をy軸としてある。
今、時刻t0から所定時間Δt経過後の対象物体の位置を座標(X,Y,Z)とする。ただし、対象物体はすべて地面または床上をほぼ平行に移動すると仮定すれば、Y座標は変化しないので、簡単のために省略することにする。
ここで、仮に、自己(プラットホーム60)がステレオカメラ51の前方向に移動しているとすれば、静止対象物体のx軸方向の移動量(|X−X0|)は零となるはずであるから、画像のノイズや計算の丸め誤差等を考慮した適切な閾値εを設定すれば、対象物体のx軸方向の移動量Q1が次式(1)を満たしている場合に、その対象物体が「静止物体」であると判定することができる。
Q1=|X−X0|<ε ・・・・(1)
一方、自己と同じ方向に移動している対象物体もこの条件を満たす可能性があるが、この場合には、自己と同じ方向に移動している対象物体のz軸方向の移動量をZ−Z0とし、さらに、自己の動きに相当する情報として、Z−Z0の最大出現頻度のもの(Z´−Z0´)からのずれを補助的手段として、式(2)のように使用する。この(Z´−Z0´)は、自己の動き情報に相当するので、たとえば、プラットホームの駆動力発生源(図2の駆動力発生源15参照)がステッピングモータを含む場合であって、かつ、そのステッピングモータの駆動パルス数が既知であれば、そのパルス数からも求められる値を使用することができる。なお、λは、画像のノイズや計算の丸め誤差等を考慮した適切な閾値である。
Q2=|(Z−Z0)−(Z´−Z0´)|<λ ・・・・(2)
このようにすると、上記のQ1,Q2は、最初の空間配置状態(X0,Y0,Z0)と画像間の各カメラの画像上の水平移動量(δL、δR)とを用い、次式(3)、(4)により、ただちに計算することができる。ただし、δLは左カメラ51L上での移動量(正確には移動画素数)、δRは右カメラ51R上での移動量(正確には移動画素数)、αは1画素あたりの視角(ラジアン)、aは右カメラ51Rと左カメラ51Lの間隔である。
Q1=|[X0Z0(tanα δL−tanα δR)−aZ0 tanα
δR]
/[Z0(tanα δL−tanα δR)+a]| ・・・・(3)
Q2=|Z02(tanα δL−tanα
δR)
/(Z0(tanα δL−tanα δR)+a)
−Z02´(tanα δL´−tanα δR´)
/(Z0´(tanα δL´−tanα δR´)+a)| ・・・・(4)
以上のとおり、従来技術のような大きな処理負担を招くことなく、式(3)、(4)から得られたQ1、Q2を用いて、対象物体が「静止物体」であるか「移動物体」であるかを容易に且つ低コストで識別することができる。
なお、2台のカメラ(右カメラ51Rと左カメラ51L)からなるステレオカメラ51の代わりに、複数のカメラ(多眼カメラ)からなる広視野/全方位ステレオカメラシステムなどを用いた場合は、そのうちのいくつかのカメラの光軸と対象物体の移動方向とが角度θだけ異なることになる。
図5は、プラットホームの移動方向と光軸が異なるステレオカメラシステムを用いた場合の概念図である。この図において、プラットホーム67の移動方向は線68であり、プラットホーム67の移動量は、この線68上の矢印69で示されている。この線68に対して角度θで交わる線70は、カメラの光軸を表しており、この線70上に位置する対象物体71の移動方向は、プラットホーム67の移動量(矢印69)と同じ長さで且つ逆向きの矢印72で示されている。
このような場合、上記のQ1、Q2は、以下のように一般化することができる。ただし、式中の“o”は内積を表している。
Q1=|(cosθ,sinθ)o(X−X0,Z−Z0)| ・・・・(5)
Q2=|(sinθ,cosθ)o(X−X0,Z−Z0)
−(sinθ,cosθ)o(X0´−X´,Z´−Z0´)|
・・・・(6)
特に、θ=90度の場合(つまり、自己の側面にカメラが設置された場合)は、上記のQ1、Q2は、次式(7)、(8)より求められる。
Q1=|Z−Z0| ・・・・(7)
Q2=|X−X0−(X0´−X´)| ・・・・(8)
ただし、式中のX及びZは、次式(9)、(10)で与えられる。
X=a(X0+Z0tanα δR)/
(Z0(tanα δL−tanα δR)+a) ・・・・(9)
Z=aZ0/(Z0(tanα δL−tanα δR)+a) ・・・・(10)
実施形態に係る物体識別装置の構成図である。 物体識別装置50を搭載したプラットホームの概念図である。 対象物動き検出部52における対象物の動き検出の概念図である。 静止・移動判定部54における対象物の静止・移動判定の概念図である。 プラットホームの移動方向と光軸が異なる全方位ステレオカメラシステムを用いた場合の概念である。 プラットホームの静止・移動に伴う対象物の移動識別の概念図である。
符号の説明
51 ステレオカメラ(撮像手段)
52 対象物動き検出部(第1の動き検出手段)
53 自己動き検出部(第2の動き検出手段)
54 静止・移動判定部(静止物体判定手段)
55 プラットホーム
60 プラットホーム
67 プラットホーム

Claims (4)

  1. 自身が移動体でもあるプラットホームに取り付けられた撮像手段と、
    前記撮像手段によって撮像された画像内に存在する物体の動き方向と動き量を検出し、前記画像内の速度から物体の三次元空間内の動き方向と動き量を検出する第1の動き検出手段と、
    前記プラットホームの三次元空間内の動き方向と動き量を検出する第2の動き検出手段と、
    前記物体の動き方向が前記プラットホームの動き方向と逆向きで且つ各々の動き量も同等である場合にその物体を静止物体であると判定する静止物体判定手段と
    を備えたことを特徴とする物体識別装置。
  2. 前記第2の動き検出手段は、少なくとも、前記プラットホームの駆動量に基づく推測航法により、前記プラットホームの動き方向と動き量を検出することを特徴とする請求項1記載の物体識別装置。
  3. 前記第2の動き検出手段は、前記撮像手段によって撮像された画像内に2以上の複数の物体が存在する場合であって、且つ、それらの複数の物体の全て又は大多数の動き方向と動き量が揃っている場合に、その動き方向と動き量を、前記プラットホームの動き方向及び動き量として採用することを特徴とする請求項1記載の物体識別装置。
  4. 前記第1の動き検出手段は、前記物体の三次元空間内の動き方向と動き量を検出する際に、前記第2の検出手段によって検出された前記プラットホームの回転速度に相当する成分を取り除くことを特徴とする請求項1記載の物体認識装置。
JP2007274805A 2007-10-23 2007-10-23 物体識別装置 Expired - Fee Related JP5062626B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007274805A JP5062626B2 (ja) 2007-10-23 2007-10-23 物体識別装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007274805A JP5062626B2 (ja) 2007-10-23 2007-10-23 物体識別装置

Publications (2)

Publication Number Publication Date
JP2009104363A true JP2009104363A (ja) 2009-05-14
JP5062626B2 JP5062626B2 (ja) 2012-10-31

Family

ID=40705979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007274805A Expired - Fee Related JP5062626B2 (ja) 2007-10-23 2007-10-23 物体識別装置

Country Status (1)

Country Link
JP (1) JP5062626B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013537661A (ja) * 2010-06-30 2013-10-03 タタ コンサルタンシー サービシズ リミテッド ステレオビジョン技術を使用することによる移動物体の自動検出
JP2016090772A (ja) * 2014-11-04 2016-05-23 株式会社ソニー・コンピュータエンタテインメント ヘッドマウントディスプレイおよび情報処理方法
CN106341661A (zh) * 2016-09-13 2017-01-18 深圳市大道智创科技有限公司 巡逻机器人
WO2019211970A1 (ja) * 2018-05-02 2019-11-07 パナソニックIpマネジメント株式会社 三次元再構成方法及び三次元再構成装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05256610A (ja) * 1992-03-11 1993-10-05 Daihatsu Motor Co Ltd ステレオ画像処理による距離検出方法
JPH1151650A (ja) * 1997-08-04 1999-02-26 Fuji Heavy Ind Ltd 移動体の3次元自己位置認識装置
WO2006016663A1 (ja) * 2004-08-11 2006-02-16 Tokyo Institute Of Technology 物体検出装置
JP2006094560A (ja) * 2005-12-02 2006-04-06 Hitachi Ltd カメラ揺れ補正方法および画像システム
JP2006134035A (ja) * 2004-11-05 2006-05-25 Fuji Heavy Ind Ltd 移動物体検出装置および移動物体検出方法
JP2007172495A (ja) * 2005-12-26 2007-07-05 Aisin Aw Co Ltd 道路認識装置、道路認識方法及び道路認識プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05256610A (ja) * 1992-03-11 1993-10-05 Daihatsu Motor Co Ltd ステレオ画像処理による距離検出方法
JPH1151650A (ja) * 1997-08-04 1999-02-26 Fuji Heavy Ind Ltd 移動体の3次元自己位置認識装置
WO2006016663A1 (ja) * 2004-08-11 2006-02-16 Tokyo Institute Of Technology 物体検出装置
JP2006134035A (ja) * 2004-11-05 2006-05-25 Fuji Heavy Ind Ltd 移動物体検出装置および移動物体検出方法
JP2006094560A (ja) * 2005-12-02 2006-04-06 Hitachi Ltd カメラ揺れ補正方法および画像システム
JP2007172495A (ja) * 2005-12-26 2007-07-05 Aisin Aw Co Ltd 道路認識装置、道路認識方法及び道路認識プログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013537661A (ja) * 2010-06-30 2013-10-03 タタ コンサルタンシー サービシズ リミテッド ステレオビジョン技術を使用することによる移動物体の自動検出
JP2016090772A (ja) * 2014-11-04 2016-05-23 株式会社ソニー・コンピュータエンタテインメント ヘッドマウントディスプレイおよび情報処理方法
US10185146B2 (en) 2014-11-04 2019-01-22 Sony Interactive Entertainment Inc. Head mounted display and information processing method
US10914947B2 (en) 2014-11-04 2021-02-09 Sony Interactive Entertainment Inc. Head mounted display and information processing method
CN106341661A (zh) * 2016-09-13 2017-01-18 深圳市大道智创科技有限公司 巡逻机器人
WO2019211970A1 (ja) * 2018-05-02 2019-11-07 パナソニックIpマネジメント株式会社 三次元再構成方法及び三次元再構成装置
JPWO2019211970A1 (ja) * 2018-05-02 2021-05-13 パナソニックIpマネジメント株式会社 三次元再構成方法及び三次元再構成装置
JP7170230B2 (ja) 2018-05-02 2022-11-14 パナソニックIpマネジメント株式会社 三次元再構成方法及び三次元再構成装置

Also Published As

Publication number Publication date
JP5062626B2 (ja) 2012-10-31

Similar Documents

Publication Publication Date Title
US11023788B2 (en) Systems and methods for estimating future paths
KR101670847B1 (ko) 차량 주변 이미지 생성 장치 및 방법
Shabayek et al. Vision based uav attitude estimation: Progress and insights
WO2014199929A1 (ja) 単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置
JP2019528501A (ja) マルチカメラシステムにおけるカメラ位置合わせ
EP1431120A1 (en) Movable body circumstance monitoring apparatus
US20050030378A1 (en) Device for image detecting objects, people or similar in the area surrounding a vehicle
WO2015145543A1 (ja) 物体検出装置、物体検出方法、および移動ロボット
JP6743171B2 (ja) 自動車両の道路付近の物体を検出するための方法、コンピュータデバイス、運転者支援システム、及び、自動車両
JP2007263657A (ja) 3次元座標取得装置
JPH11213157A (ja) カメラ搭載移動体
CN106406303B (zh) 自动行驶车辆
US9892519B2 (en) Method for detecting an object in an environmental region of a motor vehicle, driver assistance system and motor vehicle
US20170307380A1 (en) Optical inertial measurement apparatus and method
JP4154980B2 (ja) 移動体周辺監視装置
TWI639070B (zh) 自動行駛車輛
JP5062626B2 (ja) 物体識別装置
JP6669182B2 (ja) 乗員監視装置
JP6455164B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
KR100784125B1 (ko) 단일 카메라를 이용한 이동 로봇의 랜드 마크의 좌표 추출방법
JP2007257304A (ja) 障害物認識装置
Park et al. A novel line of sight control system for a robot vision tracking system, using vision feedback and motion-disturbance feedforward compensation
CN108973858B (zh) 用于确保行驶路线安全的装置
JP2000123298A (ja) 障害物位置検出装置およびその検出方法
EP3051494B1 (en) Method for determining an image depth value depending on an image region, camera system and motor vehicle

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100820

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100820

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110201

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120509

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120724

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120731

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150817

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees