JPH10161743A - 移動物体走行制御装置 - Google Patents
移動物体走行制御装置Info
- Publication number
- JPH10161743A JPH10161743A JP8317363A JP31736396A JPH10161743A JP H10161743 A JPH10161743 A JP H10161743A JP 8317363 A JP8317363 A JP 8317363A JP 31736396 A JP31736396 A JP 31736396A JP H10161743 A JPH10161743 A JP H10161743A
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- self
- information
- propelled robot
- image input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims description 55
- 238000012937 correction Methods 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 claims description 33
- 230000033001 locomotion Effects 0.000 claims description 11
- 238000000034 method Methods 0.000 description 35
- 238000009826 distribution Methods 0.000 description 30
- 238000001514 detection method Methods 0.000 description 15
- 238000011156 evaluation Methods 0.000 description 9
- 238000002372 labelling Methods 0.000 description 8
- 238000009825 accumulation Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
対象物体とする移動物体制御装置において、動物体の認
識及び追跡より移動物体の自律走行を支援することを目
的とする。 【解決手段】 複数の移動物体認識装置11の画像入力
部111は広い対象領域を全て撮像し、移動物体検出部
112で画像情報内における移動物体の位置及び色、形
状等の特徴量から自走式ロボット13を認識する。移動
物体追跡装置12は、複数の移動物体検出情報を移動物
体追跡部121で統合して、自走式ロボット13を地図
上で追跡すると共に、予め登録されてた経路情報と比較
し偏差を求め、自走式ロボット13の位置補正情報を算
出する。算出された位置補正情報は、位置補正情報出力
部124より無線手段15で、自走式ロボット13へ伝
送され、走行系制御部132は自走式ロボット13を最
適走行状態に制御する。
Description
両や特定領域を走行する自走式ロボット等対象としてい
る移動物体を広い領域に渡って追跡し、その走行を支援
する移動物体走行制御装置に関するものである。
記す)により撮像された画像情報を用いて、複数のテレ
ビカメラで撮影している対象領域において車両や自走式
ロボット等の移動物体を追跡し、これらの走行を支援す
る自律走行支援システムに関するものである。
特定のフィールド内で自走式ロボットを走行させ、荷物
の運搬、掃除など種々の作業をさせるシステム或いは装
置が考えられている。このような場合自走式ロボットを
自動操舵する技術としては、例えば特開平3−2302
03号公報に示された「車両の自動操舵方法及びその自
動操舵装置」がある。この自動操舵装置は、車両等の移
動局にその進行方向を検出する方位測定手段と、予め決
められたチェックポイントを通過したときに設定コース
からの位置偏差を計測する検出手段と、この位置偏差と
走行距離から方位測定手段の方位誤差を演算する演算手
段とを備えておき、方位測定手段からの出力にその方位
誤差を減算して得られる方向に向けて進行するように舵
角を制御するものである。
動操舵装置においては、決められたコースを移動する
間、チェックポイントを通過したしたときの誤差と、方
位測定手段の測定結果との差を調整する方式を取ってお
り、このチェックポイントにおける測定を光信号とその
反射信号の受信を移動物体の両側において行い、その差
分から移動に伴う偏差を求める方式としている。そのた
めチェックポイントにおける測定値そのものに誤差があ
る場合、最終結果として得られた自己の位置の誤差が累
積されて、最終的には自走式ロボット自身がフィールド
内のどの場所に居るのか分からなくなるという課題があ
った。
あり、従来の自走式ロボットの位置計測における問題点
であった、誤差の累積について解決するものであり、誤
差累積の発生しない自走式ロボットの移動物体走行制御
装置を実現することを目的とするものである。
に本発明の移動物体制御装置は、複数の移動物体認識装
置、移動物体追跡装置及び自走式ロボットによって構成
される。移動物体認識装置は画像情報を処理して画像情
報内における移動物体の位置及び色、形状等の特徴量を
検出して移動物体を認識し、その情報をネットワークに
送出する。移動物体追跡装置は、ネットワークを介して
送られてきた移動物体検出情報を統合して移動物体を対
象領域地図上で追跡し、予め登録されていた地図情報を
用いて対象物体の移動における位置の偏差を求め、これ
を用いて対象物体の位置補正情報を算出し、無線手段を
用いて自走式ロボットに伝達する。自走式ロボットは、
受信した位置補正情報を基に自走式ロボットの走行系に
対して制御信号を送出し、自走式ロボットを適した走行
状態に制御する。
は、一つ以上の自走式ロボットを画像の特徴から認識す
る一つ以上の移動物体認識装置と、前記各移動物体認識
装置からネットワークを介して伝送される前記自走式ロ
ボットの情報を統合して追跡し前記自走式ロボットを特
定すると共に、位置情報と予め登録されていた地図情報
より位置補正情報を算出して前記自走式ロボットに無線
手段によって伝送する移動物体追跡装置と、前記移動物
体追跡装置からの位置補正情報を基に走行制御する自走
式ロボットとを備えたものであり、この構成によって、
本発明の移動物体制御装置は自走式ロボットの対象領域
地図上の位置情報と、予め登録されていた地図情報を用
いて自走式ロボットの移動における位置の偏差を求め、
これより算出された対象物体の位置補正情報を、無線手
段を用いて自走式ロボットに伝送することにより自走式
ロボットの走行系を制御し、登録地図情報に基づいた最
適経路を実現することが可能という作用を有する。
画像入力部が広い対象領域を異なる方向および輻輳角か
ら撮影し、複数の画像入力部の撮像領域を統合すると対
象領域全体の撮像を満たすように設置されており、広い
対象領域を死角もなく、解像度も十分な画像として撮影
できるという作用を有する。
体認識装置の移動物体認識部が動物体領域の検出、追跡
対象となる自走式ロボットの領域抽出、特徴量算出、同
定を行う処理ユニットから構成され、それらのユニット
の一連した処理の結果、自走式ロボットの位置、色、形
状、テクスチャの特徴量を検出し、この検出された情報
をネットワーク上に送信するものであり、これら特徴量
によって対象領域内に複数存在する各自走式ロボットを
同定できるという作用を有する。
画像入力部の撮像領域が複数の画像入力部によって撮像
された対象領域全体の中で相当する部分が事前に設定さ
れており、移動物体認識装置の出力として自走式ロボッ
トの位置は、対象領域全体を空間とした座標であるた
め、各々の移動物体認識装置の結果を一つの地図上で取
り扱うことができるという作用を有する。
体追跡装置で複数の画像入力部の撮像領域の位置関係を
設定し、複数の移動物体認識装置から送信された撮像領
域の追跡対象となる自走式ロボットの位置、色、形状、
テクスチャの特徴量を統合し、対象領域全体での自走式
ロボットの運動軌跡を求めるため、広い対象領域内に複
数存在する自走式ロボットの運動を一つの地図上で一元
的に把握できるという作用を有する。
撮像装置及び赤外光撮像装置を備え、太陽光照射時間帯
は可視光撮像装置を画像入力部として用い、照射光が可
視光撮像装置の撮像可能限界以下となった時点で赤外光
撮像装置を画像入力部として用いるものであり、屋外に
おいて太陽光の照射の有無に関係なく動作ができるとい
う作用を有する。
て、図1から図8を用いて説明する。 (実施の形態1)図1は、本発明の実施の形態1におけ
る移動物体走行制御装置のブロック構成図を示す。
域の画像情報を入力する画像入力部111と、画像入力
部111の画像情報を処理して画像情報内における移動
物体の位置及び特徴量を検出し移動物体を認識する移動
物体認識部112と、移動物体認識部112によって検
出された前述の情報をネットワークに送出するインタフ
ェース部113より構成される移動物体認識装置、12
は各々の移動物体認識装置11において検出されネット
ワークを介して送られてきた情報を受信するインタフェ
ース部122と、各々の移動物体認識装置11において
検出された情報を統合して、移動物体の監視対象領域の
地図上で移動物体を追跡する移動物体追跡部121と、
移動物体追跡部121において算出された対象領域地図
上の位置情報を基に、予め登録されていた地図情報を用
いて対象物体の移動における位置の偏差を求め、これを
用いて対象物体の位置補正情報を算出する位置補正部1
23と、位置補正情報を対象物体に無線手段15を用い
て伝達する位置補正情報出力部124より構成される移
動物体追跡装置、13、18は移動物体に搭載され移動
物体追跡装置12より無線手段15によって伝達されて
きた位置補正情報を受信する位置補正情報入力部131
と、位置補正情報入力部131が受信した位置補正情報
を基に移動物体の走行系に対して制御信号を送出する走
行系制御部132より構成される自走式ロボットであ
る。
び移動物体追跡装置12は何れもネットワーク14に接
続している場合について説明する。移動物体認識装置
は、移動物体認識装置A(11)、移動物体認識装置B
(16)および移動物体認識装置C(17)の複数で構
成した場合について、また自走式ロボットも自走式ロボ
ットA(13)および自走式ロボットB(18)の複数
の場合について説明する。
て説明する。複数の画像入力部111は、例えば工場内
等自走式ロボット13が走行する比較的広い領域を対象
領域として、俯瞰(高いところから下を見下ろすよう
に)撮像するように設置される。このように、対象領域
がある程度の広さを有する場合、一台の画像入力部11
1ではその全てを視野として確保することは困難とな
る。各画像入力部111において、必要な解像度を確保
しかつ広い領域を撮像したい場合、本実施例のように複
数の画像入力部111を用いることによって広域全体を
処理の対象とすることが可能となる。
として用いられる可視光撮像カメラを用いる。撮像条件
によっては可視光撮像カメラ及び赤外光撮像カメラを併
用して用いても良い。
2において処理される。移動物体認識装置11の移動物
体認識部112は、動物体領域の検出処理、追跡対象と
なる自走式ロボットの領域抽出処理、特徴量算出処理、
認識処理を行う処理から構成されており、以下に説明す
る。
在する自走式ロボット13や対象外である人物等を動物
体領域として検出する。動物体領域の検出処理は、フレ
ーム累積差分処理を用いる。そこでフレーム累積差分処
理について説明する。フレーム差分処理の場合、その検
出領域の大きさは対象物体の撮像画面上における移動速
度に依存し、停止状態となった場合は動物体領域検出は
不可能となる。また、テクスチャが一様の領域は検出す
ることはできず、対象物体の輪郭部分を検出する傾向が
ある。そこでフレーム差分処理をNフレーム(Nは正の
整数)に渡って行い、その結果の論理和演算を行って動
物体領域を検出する。以上がフレーム累積差分処理であ
る。
ついて説明する。図2において、21は画像入力処理
部、22はフレーム差分処理部、23はフレームメモ
リ、24は差分データメモリ、25は論理和演算処理
部、26は動物体領域検出部である。処理の流れを説明
する。
画素毎に8ビット256階調のディジタル画素データに
変換してフレーム差分処理部22、フレームメモリ23
へと送出する。ここで対象物体の画像上の大きさが小さ
くなった場合、高周波ノイズが処理に悪影響を及ぼすた
め、画素データに対して例えば5×5画素程度のローパ
スフィルタを施しても良い。フレーム差分処理部22
は、今画像入力処理部21から入力された画素データと
前フレームにおいて入力されフレームメモリ23に格納
されていた画素データとの差分処理を行い、予め設定さ
れた閾値以上の差の階調となった画素を抽出する。
レームメモリ23に格納する。差分として抽出された画
素データは、1ビットデータ(差分有り=1、差分無し
=0)に変換され差分データメモリ24に格納される。
差分データメモリ24は、累積数であるNフレーム分の
差分データを格納することが可能となっている。
メモリ24のNフレーム分に相当する1画素Nビットの
データを読み込み、論理和演算を行って1ビットの累積
差分データを算出する。この処理により、1フレームで
も差分が抽出された画素については差分有りとして取り
扱われる。こうして算出された累積差分データは、動物
体領域検出処理部26へと送られる。
ータに対して膨張・収縮処理、穴埋め処理、ノイズ除去
処理を行って画素毎に抽出された動物体領域の安定化を
図り、最後にラベリング処理を行って外接長方形で動物
体領域をラベル付けする。以上が動物体領域の検出処理
である。
徴量を検出し、これら特徴量より、検出した動物体領域
を自走式ロボット13及び人物その他に分類し、対象物
体である自走式ロボット13を認識する。自走式ロボッ
ト13の特徴を抽出して認識することが可能であるた
め、上述のように自走式ロボット13と人間が混在して
動作をすることは問題ない。
していれば何れの可視光撮像カメラに撮像されていても
認識可能であり、また複数台存在して別々の可視光撮像
カメラに撮像されていても良い。また、自走式ロボット
13、18が複数種類存在しても、そのそれぞれの特徴
が分かっていればそれぞれを認識することが可能である
ため、複数種類が混在して別々に動作していても構わな
い。
る。そこで、これら特徴量の検出及び認識処理について
説明する。尚、動物体領域がM個検出された場合、以下
の処理はそれぞれM回繰り返される。
理を、図3に示すフローチャートを用いて説明する。動
物体領域検出処理部26よりラベリング処理で得られた
前記外接長方形座標を入力する(31)。このラベリン
グ外接長方形における底辺の中点の座標を算出し、これ
を画像上における自走式ロボット13他の動物体の位置
情報とする(32)。次に、算出された画像上座標を対
象領域地図上の座標に変換する(33)。変換式は(数
1)の形式を取り、各画像入力部111の撮像条件に基
づいて予め各移動物体認識装置11毎に持たせておく。
領域地図上座標である。変換式(数1)の係数は、画像
入力部111によって対象領域を撮像しその床面に複数
個の座標計測点を設定し、その座標計測点の画像上座標
及び対象領域地図上座標を抽出して最小自乗法等を用い
て予め決定しておく。こうして算出された対象領域地図
上座標を検出された動物体の位置情報とし、移動物体追
跡装置12へ送られる。
4に示すフローチャートを用いて説明する。まず、動物
体領域検出処理部26よりラベリング処理で得られた前
記外接長方形座標と、その長方形内の前記フレーム累積
差分データを入力する(41)。動物体領域情報が入力
されると、まずその領域の画像上における近傍に登録さ
れたテンプレートが存在するか否かを判定する(4
2)。
された際にその画像データを登録する方式によって作成
されるものとする。したがって動物体領域が新たに検出
された時点ではテンプレートが存在しない。そこで入力
データより、ラベリング外接長方形の水平方向幅、同じ
く垂直方向幅、ラベリング外接長方形内の動物体領域画
素数の3種類の形状特徴量を抽出し、動物体領域画素数
についてはその平方根演算を行う。これらの形状特徴量
は、予め設定されていた評価パラメータを用いてその評
価値が算出される(43)。
る。図5において横軸は撮像画面における垂直方向の座
標であり、縦軸は上記3種類の形状特徴量の内の一つを
示す。画像入力部111は対象領域を俯瞰撮像してお
り、自走式ロボット13の大きさは撮像画面内では上部
に位置するほど小さく下部に位置するほど大きくなり、
一方左右に動いてもその変化は小さい。したがって、検
出された動物体領域のラベリング外接長方形の底辺の撮
像画面における垂直方向の座標値とその形状特徴量をプ
ロットすると、その特性は図5のような直線性を示す。
これは3種類の形状特徴量全てにおいて同様であり、動
物体領域画素数においてもその平方根を計算しているた
め直線性を示す。
れているデータが存在するが、これは自走式ロボット1
3ではない影等のノイズが動物体領域として検出された
ものである。大きさの異なる自走式ロボット13、18
が複数存在する場合は、この直線は複数本存在すること
になる。この3種類の形状特徴量に対する3種類の直線
のパラメータ(勾配及びY切片の2個)を予め各移動物
体認識装置11毎に求めておき、これらを用いて評価値
を算出する。任意の移動物体認識装置11における上記
直線パラメータをA、B、検出された動物体領域のラベ
リング外接長方形底辺の垂直方向座標をX、抽出された
形状特徴量をYとする。このとき直線近似による形状特
徴量yは、
は(数3)もしくは(数4)によって算出され、
形状特徴量の評価値をEA、EB、ECとすると、これら
3つを用いた形状特徴量の評価値ETを(数5)によっ
て算出する。
対して判定閾値Mを設定し、これによって検出された動
物体領域が自走式ロボット13であるか否かを判定する
(44)。
合は本動物体領域に対する処理を終了し(49)、判定
された場合はラベリング外接長方形内の画像データを抽
出し、このデータにテンプレート識別番号を付加した上
でテンプレートとして登録する(45)。
置12において一元管理されねばならないので、各移動
物体認識装置11の識別番号と、移動物体識別装置11
内におけるテンプレート識別のための番号の組み合わせ
によって構成される。マッチングの際の画像データとし
ては輝度データをそのまま用いる方法も考えられるが、
本実施例では画像データにsobelフィルタを施したエッ
ジ画像を用いる。したがって、テンプレートもエッジ画
像を登録する。以上でこの動物体領域に対する処理は終
了する。
13に相当する動物体領域の場合は、その画像上の近傍
に登録されているテンプレートが存在するので、これと
検出された動物体領域内の画像データとのマッチング処
理を行う(46)。マッチング方法としては数種類の方
法があるが、ここではSSDA法を用いる。テンプレー
トT(i,j)、動物体領域W(i,j)を動物体領域近傍W(i±
x,j±y)で探索した際の類似度S(x,y)は、
小値がテンプレートT(i,j)と動物体領域W(i,j)との類
似度値となる。テンプレート類似度に対しても判定閾値
Nを設定し、Smin≦Nとなった場合に対応付けが成さ
れたと判断して(47)、テンプレートの更新処理を行
う(48)。
j)とすると、更新処理は(数7)によって行われる。
ト更新を行わず、このように更新されないで暫く存在し
たテンプレートは消滅させる。
障害物に隠蔽され、その間に移動方向を変更する等の画
像上における形状変化が発生した場合、古いテンプレー
トは消滅され、自走式ロボット13が新たに正確に画像
上において検出された時点で新しいテンプレートが登録
される。
即ち既に登録されているテンプレートが存在する場合、
それと現在検出された動物体領域とのテンプレート類似
度が認識結果となる。認識結果として、上述のテンプレ
ート類似度と各移動物体認識装置11が保持しているそ
のテンプレート識別番号が移動物体追跡装置12へ送ら
れる。
いては、テンプレートを自動的に作成して登録するテン
プレート登録方式を用いて説明したが、対象としている
自走式ロボット13に関する情報は予め得ることが可能
であるため、必要な数のテンプレートを教師データとし
て予め作成し、登録しておく方法を用いても良い。
示すフローチャートを用いて説明する。本発明の実施の
形態1においては、対象としている自走式ロボット13
に関する情報を予め得ることが可能であるため、色特徴
量においてはその教師データを予め作成し、登録してお
く方法を用いる。
リング処理で得られた前記外接長方形座標と、その長方
形内の前記フレーム累積差分データを入力する(6
1)。そして、フレーム累積差分データの存在する画素
のRGB階調データを色データとして抽出し、座標変換
処理を行う(62)。
S座標系といった公知の知覚的表色系を用いることに
し、例ではHVS座標系を用いる。RGB階調データを
一画素ずつ色相H、明度V、彩度Sに変換し、彩度Sが
予め設定されていた閾値Sthに対してSth≦Sなる条件
を満たす画素の色相Hのみについて、その度数分布を作
成する。色相は0〜360度の値をとるが、度数分布を
作成する際にはこれを15度ずつに量子化して行う。こ
のように色特徴量としては高彩度画素の色相分布を用い
るため、車体の大部分が低彩度色となる自走式ロボット
13を対象とする場合は、車体に高彩度なマーキングを
する方法を用いても良い。
定し、この領域内のRGB階調データを抽出して同様の
座標変換処理を行う(63)。背景領域は、ラベリング
外接長方形の外側N画素(Nは正の整数)の長方形で囲
まれる領域とし、動物体領域として検出された画素は除
いて処理する。RGB階調データを一画素ずつ色相H、
明度V、彩度Sに変換し、彩度Sが予め設定されていた
閾値Sthに対してSth≦Sなる条件を満たす画素の色相
Hのみについて、その度数分布を15度ずつに量子化し
て作成する。こうして動物体領域及び背景領域の色相度
数分布が算出されたら、これらを用いて色相分布の補正
処理を実行する(64)。フレーム累積差分処理によっ
て動物体領域抽出を行う場合、動物体領域に背景領域が
混入し、これが有彩色画素であると色特徴量にノイズ成
分として悪影響を与える。
補正処理を行い、上記ノイズ成分を除去する。動物体領
域の色相分布をf(x)、背景領域の色相分布をg(x)とす
る。g(x)を用いて(数8)に示す正規化された背景領域
の色相分布g*(x)を算出し、(数9)によってフィルタ
関数h(x)を算出する。
い、(数10)によってf(x)をフィルタリングし、補正
された色相分布F(x)を導く。
示すkの値によって変えることができる。補正された色
相分布F(x)が算出されると、予め登録されていた自走式
ロボット13の色相分布r(x)との相関値Rが(数11)
によって算出される(65)。
要に応じて必要個数作成し登録しておく。その場合は登
録個数分の色相相関値Rが算出されるため、その中の最
大値Rmaxを自走式ロボット13との色相相関値とす
る。
ち上述の算出された色相相関値Rが認識結果となる。認
識結果として、上述の色相分布相関値が移動物体追跡装
置12へ送られる。複数の色相分布が登録されている場
合は、どの色相分布との相関値であるかを示す色相分布
識別番号も特徴量として送られる。このように本発明の
実施の形態1の例においては、必要な数の自走式ロボッ
ト13の色相分布を教師データとして予め作成し登録し
ておく方法を用いたが、形状特徴量の処理と同様に検出
した色相分布を登録更新し、これと現在抽出した色相分
布との相関値を算出する色相分布登録方式を用いる方法
も可能である。
11で検出された全動物体領域における位置情報は、対
象領域地図上の座標、形状特徴量としてのテンプレート
類似度と識別番号、色特徴量としての色相分布相関値と
場合によって識別番号であり、インタフェース部113
よりネットワーク14を介して移動物体追跡装置12へ
と送られる。転送データのフォーマットを図7に示す。
ここでテンプレートが存在しない場合においては、形状
特徴量の類似度は0を設定しておく。
認識装置11から送られてきた情報をインタフェース部
122より受信し、移動物体追跡部121で統合し追跡
結果を算出する。
いた全自走式ロボット13に対して位置情報、テンプレ
ート識別番号、そして色相分布識別番号を保持してお
り、これと送られてきた動物体領域の特徴量を用いて対
応付けを行い、対象領域全体における現在の状態を判定
する。尚、追跡中の自走式ロボット13が複数の画像入
力部111に撮像されている場合、移動物体追跡装置1
2は複数のテンプレート識別番号を保持し、撮像方向に
よって色の見え方が変わるような自走式ロボット13で
あれば更に複数の色相分布識別番号を保持することにな
る。
ト13の位置と送られてきた動物体領域の位置との距離
を算出し、判定値とする。距離の値の小さいものほど対
応付けの判定は高くなる。形状特徴量についてはテンプ
レート類似度及び識別番号を基に、過去の自走式ロボッ
ト13と現在検出された動物体領域とを対応付ける。同
一識別番号のものが対応付け可能であり、テンプレート
類似度が対応付けの判定値となる。テンプレート類似度
算出式から分かるように、値が小さいほど対応付けの判
定は高い。色についても同様に同一識別番号のものが対
応付け可能であり(したがって、登録されている色相分
布が一種類の場合は全て対応付け可能)、色相相関値が
対応付けの判定値となる。色相相関値の場合は、値が大
きいほど対応付けの判定は高い。
13が複数の画像入力部111に撮像されている場合
は、複数の移動物体認識装置11から送られてきた特徴
量が同一の自走式ロボット13に対応付けられる。各特
徴量の判定値をEi、各特徴量の重みをλiとしたとき、
総合判定値Rは(数12)によって算出される。
の判定は高い。ここでこの重みλiは位置及び形状特徴
量の際には負の値、色特徴量の場合は正の値としてお
き、総合判定値Rが負になるのが不都合であれば更に定
数を加算しても良い。また重みλ iを変数として取り扱
い、位置の判定値が低い場合(即ち距離が大きく離れて
いる場合)に他の特徴量判定値の重みを0として総合判
定値Rを小さくすることも可能である。
11においてのみ撮像され追跡されていた自走式ロボッ
ト13が、新たに別の画像入力部111においても撮像
された場合は、位置情報のみにおいて対応付け判定が成
されるため、その時点で新しいテンプレート及び色相分
布の識別番号を追加登録する。また、移動物体追跡部1
2は、上記過去との対応付け処理によって対応付けが成
されず、かつテンプレートが新たに登録されており、更
に色相相関値が高い値を示した場合に、新たに検出され
た自走式ロボット13が存在すると判定し、これを追跡
処理に追加する。更に、画像入力部111の撮像範囲に
おいて他の画像入力部111の撮像範囲と重複が無く離
散的な際に自走式ロボット13を追跡する場合は、上記
の処理に加えて自走式ロボット13の速度を算出して視
野外に存在している自走式ロボット13を予測追跡する
方法も用いることが可能である。こうして対象領域内に
存在する自走式ロボット13を対象領域地図上において
追跡していく。
る。位置補正部123には、自走式ロボット13が走行
すべき経路情報が格納されている。位置補正部123
は、移動物体追跡部121から順次送られてくる自走式
ロボット13の追跡情報と、予め登録されていた対象領
域地図上の経路情報を比較して移動における位置の偏差
を求め、これを用いて対象物体の位置補正情報を算出す
る。この位置補正情報とは、単純に実空間上における距
離情報である。即ち、図8に示すように、自走式ロボッ
ト13の検出された位置情報がP点、予め登録されてい
た経路情報が直線Lであった場合、このP点と直線Lと
の対象領域地図座標における自走式ロボット13の進行
方向(図中↑表記)に対して垂直な方向の距離Wを算出
する。また、経路が自走式ロボット13に対して左右ど
ちら側に存在するかという左右情報(図8の場合は右
側)も算出し、これらを位置補正情報とする。
く経路情報は場合によっては曲線であっても良く、この
場合も位置補正情報算出の考え方は上記の処理と全く同
様である。また位置補正部123は、移動物体追跡部1
21の位置検出性能に整合した閾値Kを有しており、位
置補正情報算出の結果がW<Kであった場合はW=0と
して、不要な情報を送出しないようになっている。
された位置補正情報は、位置補正情報出力部124より
無線手段15を用いて、自走式ロボット13、18へそ
れぞれ伝送される。自走式ロボット13、18は、位置
補正情報入力部131において位置補正情報をそれぞれ
受信し、走行系制御部132は受信した位置補正情報を
基に移動物体の走行系に対して制御信号を送出する。走
行系は制御信号を受信し、操舵部或いは制動部等の走行
系を制御する。こうして走行系を制御することにより、
自走式ロボット13を適した走行状態に制御することが
可能となる。また、無線手段15としては、電波、光お
よび超音波を用いて自走式ロボット13、18にそれぞ
れ情報を伝送するものである。
るような物体を検出した場合においても、走行系を制御
することにより適した走行状態を実現することが可能で
ある。
内のような比較的広い対象領域内においてテレビカメラ
を設置するだけで自走式ロボット等の対象物体を識別し
て追跡することが可能であり、優れた移動物体走行制御
装置を実現することが可能である。また、従来の自走式
ロボットの位置計測における問題点であった、誤差の累
積についても解決するものであり、誤差累積の発生しな
い自走式ロボットの移動物体走行制御装置を実現するこ
とも可能である。更にはこの技術を道路交通分野に応用
することにより、車両の走行状態や事故等の突発事象発
生を検出してその結果を基に走行車両の走行系を最適制
御し、車両の走行の安全性を高める移動物体走行制御装
置を実現することも可能である。
異なる方向および輻輳角から撮影し、複数の画像入力部
の撮像領域を統合すると対象領域全体の撮像を満たすよ
うに設置されており、広い対象領域を死角もなく、解像
度も十分な画像として撮影でき、広範囲に自走式ロボッ
トを最適制御できるという効果を有する。
部が動物体領域の検出、追跡対象となる自走式ロボット
の領域抽出、特徴量算出、同定を行う処理ユニットから
構成され、それらのユニットの一連した処理の結果、自
走式ロボットの位置、色、形状、テクスチャの特徴量を
検出し、この検出された情報をネットワーク上に送信す
るものであり、これら特徴量によって対象領域内に複数
存在する各自走式ロボットを同定でき、複数の自走式ロ
ボットを最適制御できるという効果を有する。
数の画像入力部によって撮像された対象領域全体の中で
相当する部分が事前に設定されており、移動物体認識装
置の出力として自走式ロボットの位置は、対象領域全体
を空間とした座標であるため、各々の移動物体認識装置
の結果を一つの地図上で取り扱うことができ、自走式ロ
ボットを最適制御できるという効果を有する。
力部の撮像領域の位置関係を設定し、複数の移動物体認
識装置から送信された撮像領域の追跡対象となる自走式
ロボットの位置、色、形状、テクスチャの特徴量を統合
し、対象領域全体での自走式ロボットの運動軌跡を求め
るため、広い対象領域内に複数存在する自走式ロボット
の運動を一つの地図上で一元的に把握でき、自走式ロボ
ットを最適制御できるという効果を有する。
置を備え、太陽光照射時間帯は可視光撮像装置を画像入
力部として用い、照射光が可視光撮像装置の撮像可能限
界以下となった時点で赤外光撮像装置を画像入力部とし
て用いるものであり、屋外において太陽光の照射の有無
に関係なく自走式ロボットを最適制御できるという効果
を有する。
術及び追跡技術を用いることによって、広い対象領域内
で複数のテレビカメラの視野に跨って走行をする複数の
車両や自走式ロボット等の対象物体を識別して追跡する
ことが可能であり、優れた移動物体監視システムを実現
することができる、という効果を有する。また、対象物
体の追跡結果を基に対象物体の走行系を最適制御するこ
とが可能であるため、走行車両の安全性の向上や自走式
ロボットの自律走行性能の向上を図ることが可能とな
り、優れた移動物体走行制御装置を実現することが可能
である、という効果も有する。
置のブロック構成図
処理のブロック構成図
報算出処理のフローチャート
いた認識処理のフローチャート
の説明図
た認識処理のフローチャート
ォーマット例を示す図
の位置補正を説明する図
Claims (13)
- 【請求項1】 一つ以上の自走式ロボットを画像の特徴
から認識する一つ以上の移動物体認識装置と、前記各移
動物体認識装置から伝送される前記自走式ロボットの情
報を統合して追跡し、前記自走式ロボットを特定すると
共に位置情報と予め登録されていた地図情報より位置補
正情報を算出して前記自走式ロボットに伝送する移動物
体追跡装置と、前記移動物体追跡装置からの位置補正情
報を基に走行制御する自走式ロボットとを備えたことを
特徴とする移動物体走行制御装置。 - 【請求項2】 自走式ロボットが移動を行う対象領域の
画像情報を入力する画像入力部と、画像入力部の画像情
報を処理して画像情報内における自走式ロボットの位置
及び特徴量を検出し移動物体を認識する移動物体認識部
と、移動物体認識部によって検出された前述の情報を送
出するインタフェース部より構成される移動物体認識装
置を有する請求項1記載の移動物体走行制御装置。 - 【請求項3】 各々の移動物体認識装置において検出さ
れた情報を受信するインタフェース部と、各々の移動物
体認識装置において検出された情報を統合して、対象領
域地図上で自走式ロボットを追跡する移動物体追跡部
と、移動物体追跡部において算出された対象領域地図上
の位置情報を基に、予め登録されていた地図情報を用い
て自走式ロボットの移動における位置の偏差を求め、こ
れを用いて対象物体の位置補正情報を算出する位置補正
部と、位置補正情報を対象物体に伝達する位置補正情報
出力部より構成される移動物体追跡装置を有する請求項
1または2記載の移動物体走行制御装置。 - 【請求項4】 複数の画像入力部は、広い対象領域を異
なる方向および輻輳角から撮影し、複数の画像入力部の
撮像領域を統合すると対象領域全体の撮像を満たすよう
に設置されていることを特徴とする請求項1または2記
載の移動物体走行制御装置。 - 【請求項5】 移動物体認識装置の移動物体認識部が動
物体領域の検出、追跡対象となる自走式ロボットの領域
抽出、特徴量算出、同定を行う処理ユニットから構成さ
れ、それらのユニットの一連した処理の結果、自走式ロ
ボットの位置、色、形状、テクスチャの特徴量を検出
し、この検出された情報を送信することを特徴とする請
求項1または2記載の移動物体走行制御装置。 - 【請求項6】 各々の画像入力部の撮像領域が、複数の
画像入力部によって撮像された対象領域全体の中で相当
する部分が事前に設定されており、移動物体認識装置の
出力として自走式ロボットの位置は、対象領域全体を空
間とした座標であることを特徴とする請求項2に記載の
移動物体走行制御装置。 - 【請求項7】 移動物体追跡装置では、複数の画像入力
部の撮像領域の位置関係を設定し、複数の移動物体認識
装置から送信された撮像領域の追跡対象となる自走式ロ
ボットの位置、色、形状、テクスチャの特徴量を統合
し、対象領域全体での自走式ロボットの運動軌跡を求め
ることを特徴とする請求項3記載の移動物体走行制御装
置。 - 【請求項8】 可視光撮像装置及び赤外光撮像装置を備
え、太陽光照射時間帯は可視光撮像装置を画像入力部と
して用い、照射光が可視光撮像装置の撮像可能限界以下
となった時点で赤外光撮像装置を画像入力部として用い
る請求項1乃至7のいずれかに記載の移動物体走行制御
装置。 - 【請求項9】 可視光撮像装置、赤外光放射装置及び赤
外光撮像装置を備え、太陽光照射時間帯は可視光撮像装
置を画像入力部として用い、照射光が可視光撮像装置の
撮像可能限界以下となった時点で赤外光放射装置が赤外
光を放射し、赤外光撮像装置を画像入力部として用いる
請求項8記載の移動物体走行制御装置。 - 【請求項10】 可視光撮像装置及び超低照度撮像装置
を備え、太陽光照射時間帯は可視光撮像装置を画像入力
部として用い、照射光が可視光撮像装置の撮像可能限界
以下となった時点で超低照度撮像装置を画像入力部とし
て用いる請求項1乃至7のいずれかに記載の移動物体走
行制御装置。 - 【請求項11】 各移動物体認識装置及び移動物体追跡
装置は、ネットワークを介して情報を伝送することを特
徴とする請求項1乃至10のいずれかに記載された移動
物体走行制御装置。 - 【請求項12】 移動物体追跡装置からの情報を無線手
段を用いて、各自走式ロボットに伝送することを特徴と
する請求項1または3記載の移動物体走行制御装置。 - 【請求項13】 無線手段として、電波、光および超音
波を用いることを特徴とする請求項12記載の移動物体
走行制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31736396A JP3757502B2 (ja) | 1996-11-28 | 1996-11-28 | 移動物体走行制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31736396A JP3757502B2 (ja) | 1996-11-28 | 1996-11-28 | 移動物体走行制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10161743A true JPH10161743A (ja) | 1998-06-19 |
JP3757502B2 JP3757502B2 (ja) | 2006-03-22 |
Family
ID=18087414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP31736396A Expired - Fee Related JP3757502B2 (ja) | 1996-11-28 | 1996-11-28 | 移動物体走行制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3757502B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000078564A (ja) * | 1998-08-28 | 2000-03-14 | Aiphone Co Ltd | テレビカメラモニタ人物追跡方式 |
JP2002216129A (ja) * | 2001-01-22 | 2002-08-02 | Honda Motor Co Ltd | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 |
KR100988568B1 (ko) | 2008-04-30 | 2010-10-18 | 삼성전자주식회사 | 로봇 및 그 지도작성방법 |
WO2012124933A2 (ko) * | 2011-03-11 | 2012-09-20 | 고려대학교 산학협력단 | 로봇의 위치 인식 장치 및 방법 |
US8774981B2 (en) | 2009-09-14 | 2014-07-08 | Israel Aerospace Industries Ltd. | Infantry robotic porter system and methods useful in conjunction therewith |
JP2018049378A (ja) * | 2016-09-20 | 2018-03-29 | 株式会社豊田中央研究所 | ロボットシステムとその識別装置 |
CN110722548A (zh) * | 2018-07-17 | 2020-01-24 | 富士施乐株式会社 | 机器人控制***、机器人装置以及存储介质 |
JP2020504633A (ja) * | 2016-10-28 | 2020-02-13 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 認知システムによるロボット・プロテーゼの増強された制御 |
CN112418136A (zh) * | 2020-12-02 | 2021-02-26 | 云南电网有限责任公司电力科学研究院 | 一种现场作业人员的目标区域检测追踪方法及装置 |
-
1996
- 1996-11-28 JP JP31736396A patent/JP3757502B2/ja not_active Expired - Fee Related
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000078564A (ja) * | 1998-08-28 | 2000-03-14 | Aiphone Co Ltd | テレビカメラモニタ人物追跡方式 |
JP2002216129A (ja) * | 2001-01-22 | 2002-08-02 | Honda Motor Co Ltd | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 |
JP4597391B2 (ja) * | 2001-01-22 | 2010-12-15 | 本田技研工業株式会社 | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 |
KR100988568B1 (ko) | 2008-04-30 | 2010-10-18 | 삼성전자주식회사 | 로봇 및 그 지도작성방법 |
US8774981B2 (en) | 2009-09-14 | 2014-07-08 | Israel Aerospace Industries Ltd. | Infantry robotic porter system and methods useful in conjunction therewith |
KR101239532B1 (ko) * | 2011-03-11 | 2013-03-06 | 고려대학교 산학협력단 | 로봇의 위치 인식 장치 및 방법 |
WO2012124933A3 (ko) * | 2011-03-11 | 2012-12-27 | 고려대학교 산학협력단 | 로봇의 위치 인식 장치 및 방법 |
WO2012124933A2 (ko) * | 2011-03-11 | 2012-09-20 | 고려대학교 산학협력단 | 로봇의 위치 인식 장치 및 방법 |
JP2018049378A (ja) * | 2016-09-20 | 2018-03-29 | 株式会社豊田中央研究所 | ロボットシステムとその識別装置 |
JP2020504633A (ja) * | 2016-10-28 | 2020-02-13 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 認知システムによるロボット・プロテーゼの増強された制御 |
CN110722548A (zh) * | 2018-07-17 | 2020-01-24 | 富士施乐株式会社 | 机器人控制***、机器人装置以及存储介质 |
CN112418136A (zh) * | 2020-12-02 | 2021-02-26 | 云南电网有限责任公司电力科学研究院 | 一种现场作业人员的目标区域检测追踪方法及装置 |
CN112418136B (zh) * | 2020-12-02 | 2023-11-24 | 云南电网有限责任公司电力科学研究院 | 一种现场作业人员的目标区域检测追踪方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3757502B2 (ja) | 2006-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8634593B2 (en) | Pixel-based texture-less clear path detection | |
KR100377067B1 (ko) | 이미지 시퀀스내의 객체의 움직임을 검출하기 위한 방법 및장치 | |
US8452053B2 (en) | Pixel-based texture-rich clear path detection | |
US8332134B2 (en) | Three-dimensional LIDAR-based clear path detection | |
US8699754B2 (en) | Clear path detection through road modeling | |
US8611585B2 (en) | Clear path detection using patch approach | |
US8890951B2 (en) | Clear path detection with patch smoothing approach | |
US8670592B2 (en) | Clear path detection using segmentation-based method | |
CN112417926B (zh) | 车位识别方法、装置、计算机设备及可读存储介质 | |
CN103714538B (zh) | 道路边缘检测方法、装置及车辆 | |
CN102646343B (zh) | 车辆检测装置 | |
CN107577996A (zh) | 一种车辆驾驶路径偏移的识别方法及*** | |
EP1403615B1 (en) | Apparatus and method for processing stereoscopic images | |
KR101261409B1 (ko) | 영상 내 노면표시 인식시스템 | |
CN109386155A (zh) | 面向自动化停车场的无人泊车搬运机器人的对位方法 | |
CN108068817A (zh) | 一种无人驾驶汽车自动变道装置及方法 | |
JP3200950B2 (ja) | 物体認識装置 | |
JP3757502B2 (ja) | 移動物体走行制御装置 | |
JP4156084B2 (ja) | 移動物体追跡装置 | |
CN109993788B (zh) | 一种轮胎吊的纠偏方法、装置及*** | |
JP3589293B2 (ja) | 道路の白線検出方法 | |
CN112720408B (zh) | 一种全地形机器人视觉导航控制方法 | |
CN110597282A (zh) | 一种无人机自主降落控制*** | |
JPH11266450A (ja) | 物体領域追跡装置および物体領域追跡方法 | |
KR101233938B1 (ko) | 객체 추적 로봇 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050623 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050830 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051104 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20051111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051219 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090113 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110113 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110113 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120113 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130113 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |