JP2001091289A - センサユニット - Google Patents
センサユニットInfo
- Publication number
- JP2001091289A JP2001091289A JP26420699A JP26420699A JP2001091289A JP 2001091289 A JP2001091289 A JP 2001091289A JP 26420699 A JP26420699 A JP 26420699A JP 26420699 A JP26420699 A JP 26420699A JP 2001091289 A JP2001091289 A JP 2001091289A
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- controller
- sensor unit
- detecting
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Gyroscopes (AREA)
- Navigation (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
センシングが可能なセンサユニットを提供する。 【解決手段】 姿勢及び動きを検出するジャイロユニッ
ト6、視野内の物体の相対姿勢及びその動きを検出する
人工網膜IC7、周辺に存する音源の存在を検出する音
響センサ8、D−GPS9、及びこれらのセンサの動作
を制御するコントローラ5を可搬性の筐体に収容してセ
ンサユニットを構成する。コントローラ5は、各センサ
3〜9による検出結果を実時間で受け入れ、これらの検
出結果を所定のメモリ領域上に形成された情報空間内に
更新自在に記録し、この記録された検出結果をもとに筐
体の周辺で発生する事象を表す情報を導出する。これに
より、人間の知覚動作を模擬した動きを検出できるよう
にした。
Description
車両、航空機等の被検体の姿勢、動き成分、位置等を複
合的に検出し、必要に応じて他の検出データに基づいて
計器の誤差分を自律的に補正することにより高精度の検
出結果を恒常的に得る、センサユニットに関する。
結果と映像の表現データとを実時間でリンクさせること
により、被検体の姿勢等に応じた映像を表示手段に表示
させる技術がある。このような技術において、被検体の
姿勢や動きを検出する場合、従来は、主として以下の二
つの方式が採用されている。第1の方式は、角速度を検
出するジャイロセンサと加速度を検出する加速度計とを
それぞれ二次元又は三次元の軸線上に配置したセンサユ
ニットを用い、このセンサユニットを取り付けた被検体
の姿勢や動きを検出する方式である。第2の方式は、三
次元的な微弱磁場を発磁コイルから発生し、その磁場の
変化を磁力センサを用いて被検体の姿勢等を検出する方
式である。この方式では、磁場の影響が及ぶ数メートル
範囲での方向及び場所でセンシングすることになる。
な問題点があった。第1の方式では、ジャイロセンサが
早い動きに追随できる利点はあるが、センサ特有のドリ
フトが発生しやすく、被検体の向きに対して高精度の検
出ができない。ジャイロセンサでは、検出した角速度を
積分して角度に変換することになるため、僅かな誤差で
もそれが累乗に蓄積されることになる。このような誤差
の原因としては、電気回路部の温度特性の変化によるも
のがある。これは、抵抗やアンプなどの温度により特性
の変化を拾ってしまい、それが検出データのドリフトと
して現れるのである。また、ジャイロセンサの特性によ
るものがある。この種のジャイロセンサとしては振動型
のものが主流であるが、使用に際して剛体が振動するた
め、安定振動にいたるまでに時間を要し、それがドリフ
トとして現れるのである。このようなドリフトの発生
は、ジャイロセンサを採用する以上、不可避となる。ジ
ャイロセンサは、このドリフトを自律的に補正すること
ができないため、例えば被検体が正面を向いたことを感
知できる赤外線センサ等を利用したリファレンス装置を
用いて補正していくことになる。このようなリファレン
ス装置は、設置場所が固定されるのが通常なので、ドリ
フト補正を逐次行おうとするとセンサユニットの使用範
囲が限定されてしまい、野外での使用や携帯しての使用
は不可能である。
ため様々なフィルタリング処理が必要となり、微弱磁場
を利用することとも相まって、検出結果を画定するまで
に要する時間が長いという問題がある。つまり、応答性
が悪いという問題である。この結果、被検体の実際の動
きを実時間で出力することができず、一定の時間経過後
に出力されることになり、実時間処理を要する用途には
不向きとなる。磁場を強くしてノイズに強くすれば応答
性はある程度解決するが、被検体が人間の場合、磁場の
人体への悪影響の心配や、医療分野のおいて心臓のペー
スメーカーへの影響などで、磁場を極力弱くすることが
市場から要求されており、この時間的な遅れの解決は不
可能に近いといえる。第2の方式では、発磁コイルを設
置することから限られた場所内で被検体の姿勢等を計測
することになり、第1の方式の場合と同様、自由な空間
でのセンシングが不可能である。
境に依存せず、姿勢等の高精度のセンシングを可能にす
るセンサユニットを提供することにある。
在しない人間の知覚動作を模擬することができるセンサ
ユニットを構成することで、上記課題の解決を図るもの
である。
る第1センサ、自己の視野にある物体の相対姿勢及びそ
の動きを検出する第2センサ、自己の周辺に存する音源
の存在を検出する第3センサのうち少なくとも二つのセ
ンサと、これらのセンサの動作を制御するコントローラ
とを所定の筐体に収容して成り、前記コントローラが、
各センサによる検出結果を実時間で受け入れ、これらの
検出結果を所定のメモリ領域上に形成された情報空間内
に更新自在に記録し、この記録された検出結果をもとに
前記筐体の周辺で発生する事象を表す情報を導出するよ
うに構成されているものである。
施の形態としては、前記コントローラを、各センサから
出力されるデータを相互に補完することにより各センサ
に共通する一つの物理量を導出するように構成する。第
1センサと第2センサとを含んでセンサユニットを構成
する場合、第1センサからの出力データに基づいて第2
センサの出力データを予測し、予測結果が肯定的である
場合に、予測されたデータをもとに第1センサによる誤
差成分を自律的に補正するように構成する。
次元の軸線回りの角速度を計測する複数のジャイロセン
サを含むものであり、第2センサが入力画像から画像輪
郭を抽出してその画像輪郭の動き成分を演算によって導
出する手段を有するものであるとき、前記コントローラ
は、第1センサからの出力データのうち第1周波数帯の
データと、第2センサからの出力データのうち第1周波
数帯とは異なる第2周波数帯のデータとを統合するよう
に構成する。
として、目標物を映し出す手段と前記目標物の画像輪郭
を抽出してその画像輪郭の動き成分を演算によって導出
する手段とを1チップ化した人工網膜ICを用いる。
測する1又は複数の指向性マイクを含む音響センサであ
り、同一の音源からの音信号の強度を異なる角度から計
測することで自己に対する当該音源の方向を検出するも
のである。
絶対方位を検出する方位センサの少なくとも一方を前記
筐体にさらに収容してセンサユニットを構成し、前記コ
ントローラが、これらのセンサにより検出された情報を
考慮して前記筐体の現在位置を導出するようにしても良
い。
に取り付けられるもので、前記被検体の姿勢及び動きを
検出する第1センサと、前記被検体から見た物体の相対
姿勢及びその動きを検出する第2センサと、各センサの
動作を制御するコントローラとを有し、該コントローラ
が、各センサによる検出結果を実時間で受け入れ、これ
らの検出結果を所定のメモリ領域上に形成された情報空
間内に更新自在に記録し、この記録された検出結果を相
互に補完するとともに補完後の検出結果をもとに前記被
検体の周辺で発生する事象を表す情報を導出するように
構成されているものである。
又は動きを制御する主制御手段を有する被検体に取り付
け、前記コントローラで導出した情報を前記主制御手段
に伝えるように構成することができる。この場合の被検
体は、例えば自律歩行型のロボット、飛行体、車両等で
ある。
の形態としては、前記コントローラを、各センサから実
時間で出力されるデータに基づいて次に検出されるデー
タの範囲を常時予測し、予測結果に応じて異なる情報を
生成するように構成する。例えば、予測結果が否定的と
なる事態が発生した場合に、自律的にそれを無視するよ
うな制御信号を生成したり、前記主制御手段への通知情
報を生成したりする。また、前記被検体の周辺の音源の
存在を検出する第3センサ、前記被検体の絶対位置を検
出する第4センサ、基準方位に対する前記被検体の方位
を検出する第5センサの少なくとも一つをさらに備える
ようにし、前記コントローラが、第3、第4又は第5の
センサから出力されるデータを前記事象を表す情報に反
映させるように構成する。
模擬するセンサユニットに適用した場合の実施の形態を
説明する。図1(a)は人間の知覚を示す説明図であ
る。人間の知覚は、平行感覚を司る三半規管1、視覚を
司る目2、聴覚を司る耳3、及びこれらの器官を統括的
に管理する頭脳4の相互作用によって実現される。
動き、方向を感知するものであり、その原理は、水成分
の動きから頭の前後左右の傾き度合いや方向を感知する
というものである。しかし、三半規管1のみでは、例え
ば暗い部屋で何回か回転すると目的とする方向を見失っ
てしまったり、目をつぶりながら片足で立ち続けること
ができずに目をあけてしまったり、両足で立ってしまう
ことがある。このような場合、絶対的な方向や傾斜は、
目2からの視覚情報や耳3からの音源情報で補完され
る。
自己の相対位置、自己の動き、相手との相対速度、相手
との距離等を感知するが、目2からの情報のみでは、自
己や相手の速い動きに対応しにくかったり、暗い状態で
は感知精度が低いことは良く経験するところである。こ
のような場合、三半規管1及び耳3からの情報によって
感知情報が補完される。
の距離・方向等を感知するが、耳3からの情報のみでは
感知精度が低いため、やはり、目2や三半規管1からの
情報によって感知精度の補完が行われる。
情報に基づいて情報相互の補完や事象の発生確認、その
他の判断を行う。例えば現在又は過去の視覚情報及び音
情報をもとに、自己の周辺の事物の存在や配置等を空間
的に認識する。人が肩を叩かれたときに振り向くことが
出来るのは、後ろに障害になる物が無いことを知ってい
るからである。つまり、頭脳4は、現在認識されるいる
情報のみに基づくのではなく、事前に取得してある情報
をも加味することによって常に空間的に存在する情報を
整理しておくのである。このようにして、自己の動きに
あった空間を作りだし、人は安心して歩行できる。
するため、本実施形態では、図1(b)のような構成の
センサユニットを構成する。このセンサユニットは、可
搬性の筐体に、頭脳4に相当するコントローラ5、三半
規管1に相当するジャイロユニット6、目2に相当する
人工網膜IC7、耳に相当する音響センサ8、及び、D
‐GPS9(differential‐globalpositioning syste
mの略称である。)、及びこれらの電源(図示省略)を
装着して構成される。
ンサ及び加速度計を含んで成り、これらの計器によっ
て、筐体の姿勢やその動きを検出するものである。ジャ
イロセンサは、筐体内に形成されるX,Y,Z軸(ピッ
チ、ロール、ヨー)又はX,Y軸上に配置され、各軸線
回りの角速度を計測する。加速度計は、X,Y,Z軸又
はX,Y軸上に配置され、軸線傾斜による重力加速度と
運動加速度との和を計測する。本実施形態では、ジャイ
ロセンサは筐体の旋回角度を含む姿勢の計測に利用し、
加速度計は、筐体の加速・停止加速度の計測、旋回によ
る横加速度等の計測に利用する。この計測により得られ
たデータ(以下、この実施形態では「計測データ」と称
する)は、必要に応じて増幅器(図示省略)によって増
幅され、時系列にコントローラ5に出力されるようにな
っている。なお、方位計を含んでジャイロユニットを構
成しても良い。この場合は、上記計測データに絶対方位
に対する筐体の相対方位を表すデータが付加される。
ータに影響を与える場合があるので、寒冷地方や温暖地
方で使用する場合は、計測データを温度係数で補正する
温度補正手段を付加することが望ましい。ジャイロユニ
ット(特にジャイロセンサ)6は、筐体の動きにダイレ
クトに反応して計測データを出力することができ、しか
も軸線回りの動き成分に基づいて計測データを出力する
ものであるから高周波の動きに対しては精度が高いが、
軸線回りの動きが少ない場合、つまり低周波の動きに対
しては精度を確保することが比較的困難である。また、
ジャイロセンサについては、前述のように計測データに
ドリフト成分が蓄積されるという本質的な問題がある。
標物の存在を認識し、認識した目標物の位置関係や自己
又は目標物の動き成分を検出するセンサである。人工網
膜IC7は、例えば特開平10−340349号公報に
開示されたものを用いることができる。この開示された
人工網膜ICは、CCD(charge coupleddevice)の
機能や画像の輪郭抽出機能などを選択することができ、
ロジックゲートアレイで画像入力のためのクロックを生
成し、内容で処理した結果をチップ内メモリに記憶でき
るようなものである。
いて自己の視野にある目標物を動画として映しだし、こ
れにより得られたそれぞれの画像の輪郭情報を抽出する
とともに、抽出した輪郭情報の差分から自己に対する目
標物の相対的な動き成分を表す物理量、具体的には角速
度、速度、移動方向、移動量、移動後の方位等の演算を
行う。そのために、まず自己と目標物との間で発生する
動きベクトルを検出する。図2は、人工網膜IC7にお
ける動きベクトルの検出手順を示した図であり、図3は
その概念図である。人工網膜IC7では、図2に示され
るように、まず、目標物を映した動画から1画面分の画
像を入力し、その目標物の画像の輪郭情報を抽出する
(ステップS101、S102)。図3(a)はこの処
理を概念的に示したものである。抽出された1画面分の
輪郭情報は、図3(b)のような形態で図示しないチッ
プ内メモリに記録される(ステップS103)。一定時
間経過後、同一目標物を同じ角度で映し出し、同様の処
理を行う。ここでは、直前に映した画像を前回画像、そ
の後に映した画像を今回画像とすると、図3(c)のよ
うに、前回画像の輪郭情報と今回画像の輪郭情報の特定
部位を基準として、量及び方向をパラメータとするベク
トル成分を論理演算によって抽出することができる。例
えば前回画像の輪郭情報(ドット)と今回画像の輪郭情
報(ドット)の排他的論理和を判定することで、移動し
たドットのみを抽出することができる。人工網膜IC7
では、このベクトル成分をその画像についての動きベク
トルとして検出する(ステップS104,S105)。
移動速度を予測して移動したドットの探索範囲を決めて
いく。探索範囲では、最初に横方向に移動して探索範囲
をスキャンし、次に上下方向に移動して探索範囲をスキ
ャンする。そして、探索できたドットの色情報を参照
し、それが特定部位のドット(起点ドット)のものと同
様であれば、そのドットを移動先ドットとする。以上は
目標物が動いている場合の手順であるが、目標物自体は
動かず、人工網膜IC7が動いている場合もほぼ同様の
手順で動きベクトルを検出することができる。
Dと画像処理手段とを組み合わせたものであるが、本実
施形態では、上記のように目標物の動きベクトルを検出
できれば足りるので、目標物の画像の輪郭情報に基づく
動き成分を簡易に抽出できる人工網膜ICを用いること
としたものである。従って、同機能をもつセンサでこれ
を代用することを否定するものではない。
るが、人間の目のように二つの人工網膜IC7を所定間
隔で併設し、同一目標物の動き等を二つの人工網膜IC
7で同時に検出するような形態も可能である。このよう
にすれば、各人工網膜IC7のチップ内メモリに記録さ
れる目標物の輪郭情報の相対位置からセンサユニットか
らその目標物までの距離を演算できるようになる。車両
に搭載する場合には、車間距離計として利用することが
できる。
物の画像に基づいて動き成分を演算するため、低周波の
動きに対しては検出精度が高いが、画像処理を行うこと
から2値化処理を伴い、また、通常は目標物の位置の相
対変化等を認識する処理が伴うため、目標物の高周波の
動きに対して精度を高く維持することは困難である。
複数の方向から計測し、計測された音信号の到達時間差
からその音源の方向を特定できるようにしたセンサであ
る。音響センサ8の具体的な構成としては、音源からの
音信号を検出する指向性マイクとこの指向性マイクで受
信した音信号から特定周波数、例えば50〜100Hz
の低周波領域の音信号を抽出し、抽出した音信号の到達
時間差から音源方向を特定するための演算処理を行う処
理手段を含んで構成する。人間の耳のように、2つの指
向性マイクを一定間隔で配置し、この2つの指向性マイ
クに同時に入力された音信号の到達時間差から音源方向
を特定できるようにしても良い。なお、処理手段では、
上記低周波領域の音の強度変化パターンをバンドパスフ
ィルタで切り取り、その切り取ったパターンとそのとき
の音源の方向とを記憶しておいて、同様のパターンが発
生したときにその方向の角度を参考値にするようにして
処理の効率化を図ることも可能である。
S信号をGPEX(衛星測位情報センタ)の固定基準局
で受信し、誤差を計算した後、補正データをFM多重放
送で送信するシステムであり、自己の絶対位置や速度を
ワールド座標系でコントローラ5に出力するものであ
る。このD−GPS9は、一般のGPSに比べて10倍
以上の検出精度が得られることは良く知られている。
された所定のプログラムをCPUが読み込んで実行する
ことにより形成されるもので、各センサ6〜9の動作を
制御することを主たる機能とするが、各センサ6〜9か
らの計測データをRAM等の内部メモリに形成される情
報空間に統合化する機能、統合された計測データをもと
に各センサ6〜9の利点を引き出し、弱点については他
のセンサの計測データで補正する機能、時々刻々センス
され、統合される計測データに基づいて次の計測データ
を予測し、この予測値に対して合理性のある(ある許容
範囲内の)結果から自己(センサユニット)の動きや目
標物の動きを認識する機能を有するものである。内部メ
モリの情報空間には、例えば−180〜0〜+180の
ように360度に渡る各センサ6〜9の計測結果を時間
情報と共に随時更新自在に記録されるようになってお
り、これによって、空間的、時間的なデータの統合、及
び統合されたデータを利用したデータ予測その他の判断
処理を可能にしている。
動作を説明する。このセンサユニットでは、人間の三半
規管を模擬した三半規管動作、視覚を模擬した視覚動
作、聴覚を模擬した聴覚動作を行う。 <三半規管動作>センサユニットにおける三半規管動作
は、主としてジャイロユニット6の計測データに基づい
て、筐体、筐体取付体等の被検体の姿勢(傾き、向き
等)及びその動きをコントローラ5を通じて認識するこ
とにより実現される。但し、ジャイロユニット6のみで
は、センサユニットを取り付けた被検体が、例えば電源
断後再立ち上げ後に何回か回転したときに、その被検体
の正しい姿勢を確定することが困難となる場合がある。
このような場合を想定し、本実施形態では、三半規管動
作を模擬するためのデータについては、人工網膜IC7
より得られた視覚情報、人工網膜IC7からの計測デー
タに基づいて演算された物理量の情報、音響センサ8に
よって検出された情報やそれに基づく物理量の情報で補
完するようにしている。また、動きの度合い(検出周波
数)によっては、ジャイロユニット6の計測データに代
えて、人工網膜IC7からの計測データを用いる。
動作は、主として人工網膜IC7の計測結果に基づい
て、目標物の存在、被検体自体又は目標物の相対的な動
き、被検体の姿勢や位置、向きをコントローラ5を通じ
て認識することにより実現される。但し、人工網膜IC
7のみでは、被検体や目標物の速い動きに対応しにくか
ったり、夜間等の暗い環境では、目標物や被検体の絶対
的な位置や姿勢等を正しく認識できなかったりする。こ
のような場合を想定し、本実施形態では、速い動きの場
合にはジャイロユニット6の計測データに基づく姿勢や
向きの情報で人工網膜IC7による検出結果を補完し、
位置や方位については、音響センサ8によって検出され
た情報やそれに基づいて演算された物理量の情報、D−
GPS9によって検出された位置情報で補完する。
動作は、主として音響センサ8の計測結果に基づいて被
検体の向きや音源までの距離をコントローラ5を通じて
認識することにより実現される。但し、音響センサ8か
らの情報のみでは、音信号の強度が弱すぎたり、音源に
対する2方向の角度が小さい場合には精度を十分に確保
することができない場合がある。一方、音源の方向を検
出する際に、人工網膜IC7で実際に映しだした画像を
もとに音源の方向を予測することによって、音源方向の
探索に要する時間の短縮化が可能になる。そこで、本実
施形態では、人工網膜IC7により検出された情報を聴
覚動作の補完に用いる。
半規管動作、視覚動作、聴覚動作は、センサユニットの
コントローラ5が各センサ6〜9から時々刻々収集した
情報をメモリ領域に空間的、時間的にそれぞれ更新自在
に統合的に記録しておき、これらの情報に基づいて情報
相互の補完、予測等を行うことによって実現される。コ
ントローラでは、上記各動作のサポートのほか、被検体
の周辺で発生した事象の認識その他の各種判断処理を行
う。以下、各処理の内容を詳細に説明する。
の動きを検出(演算)する場合、入力された目標物の映
像の動きが自己が動いた結果なのか、目標物が動いた結
果なのかを区別する必要がある。コントローラ5は、こ
の場合の判定に、ジャイロユニット6の計測データを利
用する。図4(a)は、人工網膜IC7自身が目標物
(楕円で図示)41に向かって前進している場合の映像
例、図4(b)は、人工網膜IC7は移動せず、目標物
41が図中央から左側に動く場合の例である。図4
(a)において、目標物41は、人工網膜IC7が前進
するにつれて大きくなるが、ジャイロユニット6の角速
度は変化していない。この場合、人工網膜IC7が移動
していることを示す映像であると認識できる。他方、図
4(b)において、目標物41は大きさが同一のまま左
側に移動しているが、ジャイロユニット6の角速度は変
化しない。このような場合、目標物41が動いていると
いう認識ができる。
く場合もジャイロユニット6の検出結果を利用して実際
の動き成分を正確なものに補正することができる。例え
ば図5(a)のように、人工網膜IC7が固定されてい
ることが判っているとき、動き成分があればそれは目標
物が動いた結果であり、目標物における設定部位の動き
ベクトル51のみで目標物の動きに関する物理量を演算
することができる。しかし、図5(b)のように、目標
物と人工網膜IC7とが共に動いている場合(図示の場
合は同一方向の移動)は、目標物についての動きベクト
ル52のほか、ジャイロユニットによる動き(ベクトル
量)53を考慮する必要がある。図5(c)は、両ベク
トルの差分54を示したものであり、この差分ベクトル
が実際の動きベクトルを表すことになる。このように動
きベクトルを補正することにより、動きの検出精度を高
めることができる。
ては精度が高く、他方、人工網膜IC7が低周波の動き
に対して精度が高いことは前述のとおりである。コント
ローラ5では、この点に着目して、ジャイロセンサ6か
らの出力データのうち第1周波数帯のデータと人工網膜
IC7からの出力データのうち第1周波数帯とは異なる
第2周波数帯のデータとを統合し、両周波数域をカバー
する統合的な計測データを得るようにする。具体的に
は、ジャイロユニット6の検出信号からハイパスフィル
タ6aで低周波成分を除去し、60Hz〜0.5Hz程
度の信号を出力するようにし、逆に、人工網膜IC7の
検出信号は、ローパスフィルタ7aで高周波成分を除去
し、0.5Hz以下の信号を出力する。そして、両信号
を統合する。また、例えば60Hzでセンシングしたと
すると、角速度は、ジャイロセンサ6の計測データでは
60Hzで演算可能であるが、人工網膜IC7では、最
大で20Hzでの演算になる。これは、人工網膜IC7
では、時間的に離れた3つのポイント(三角形ポイン
ト)の差分で角速度の演算がなされるためである。つま
り、三角形の一頂点である第1ポイントと他の頂点であ
る第2ポイントとの差分で速度を演算し、第1、第2、
第3ポイントの差分で角速度を演算することになるから
である。ジャイロユニット6の場合は、それぞれのポイ
ントでの角速度演算が可能である。このように周波数特
性の異なる2種類のセンサ6,7からの計測データを、
それぞれの周波数特性に合ったフィルタを通してミキシ
ングする。上記例でいえば、3つのポイントのうち1回
は人工網膜IC7で計測し、その間はジャイロセンサ6
で計測して両者をミキシングする。これにより、ジャイ
ロユニット6の利点と人工網膜IC7の利点とを融合さ
せて、精度が高い領域での計測データに基づく検出結果
を得ることができる。
工網膜ICセンサ7による演算結果とを相互にリファレ
ンスして姿勢等の検出精度を高めることもできる。図6
は、この場合のコントローラ5の処理手順説明図であ
る。コントローラ5では、ジャイロユニット6による計
測データ(角速度を表すデータ)を人工網膜IC7での
演算に要する時間分だけ積算(積分)し(ステップS2
01)、人工網膜IC7において演算される角速度を予
測しておく(ステップS202)。このジャイロユニッ
ト6の計測データをもとに人工網膜IC7によって演算
される角速度を予測するのは、以下の理由による。ジャ
イロユニット6により得られる角速度は瞬間的な計測デ
ータを積分することにより得られるのに対し、人工網膜
IC7の場合は、積分を要さずにそれがダイレクトに得
られる。しかし、人工網膜IC7では、前述のように画
像の2値化のための処理を伴うことから、演算までに一
定の時間を要する。両者の動作が正常であった場合は結
果がほぼ同じになるので問題はないが、人工網膜IC7
のいて処理の誤り等があった場合には、演算結果に誤差
が生じる。しかし、そのことは、実際に演算されてみて
初めて判る。そこで、まずジャイロユニット6の計測デ
ータを信頼し、人工網膜IC7における演算の後に異常
の有無を判定することとしたものである。
所定の範囲外、すなわちジャイロセンサ6で予測された
値を超えているかどうかを判定し、超えていた場合はジ
ャイロユニット6による角速度を採用し(ステップS2
03、S204:No、S205)、ステップS201
の処理に戻る。このような事態は、主として動きが高い
周波数のものであった場合に生じる。一方、両者の演算
結果が所定範囲以内であった場合は、相対的に精度が高
い人工網膜IC7で演算された角速度を採用する(ステ
ップS203,S204:Yes、S206)。その
後、採用された角速度とジャイロユニット6により計測
された角速度との差分を求める。人工網膜IC7ではド
リフト成分が発生しないので、両者に差がある場合は、
その差は通常はジャイロセンサのドリフト成分である。
そこで、上記差分をフィードバック補正する(ステップ
S208)。
膜IC7の計測データを相互に確認することによって、
ジャイロセンサのドリフト成分を補正することもでき
る。ここでは、単位時間(例えば1秒)毎に人工網膜I
C7及びジャイロユニット6により得られる動き成分を
表す計測データがコントローラ5に入力されるものとす
る。コントローラ5では、人工網膜IC7で動き成分が
検出されておらず、且つジャイロユニット6の角速度が
0であるときは、ジャイロユニット6に誤差がないこと
になるので、両者の値を初期値にする。一方、人工網膜
IC7では動き成分が検出されていないがジャイロユニ
ット6の角速度が有限値であった場合は、ジャイロユニ
ット6により得られる角速度はドリフト成分であること
になるので、この有限値を0に補正する。このように、
ジャイロユニット6及び人工網膜IC7の欠点を互いの
利点によってカバーしあうことができ、精度の高い姿勢
検出等が可能になる。また、従来のドリフト成分の自律
補正が可能なセンサユニットを構成することが可能にな
る。
正面からのずれ量を検出することができる。従って、人
工網膜IC7等によって検出(演算)された被検体の正
面方向を聴覚動作によって補完することができる。ま
た、音源の方向検出の応用として、単位時間における音
源の移動量を音響センサ8で検出してその音源の移動速
度を演算することができ、さらに、音源が固定されてい
る状態で音源の移動成分を検出することでセンサユニッ
トの移動の事実や移動量、移動方向等を検出することが
できる。前述のように、人工網膜IC7では、夜間等で
目標物の動き等を正しく検出することが困難であるが、
人工網膜IC7による計測と同期させて音響センサ8で
音源の移動成分を検出し、その検出結果を人工網膜IC
7による検出動作に反映させることで、人工網膜IC7
による検出精度を高めることができる。
響センサ8、D−GPS9からのデータに基づいてそれ
ぞれ共通の物理量を検出することができる。例えば、ジ
ャイロユニット6に含まれる加速度計から被検体の移動
速度及び移動量を検出できるし、人工網膜IC7の動き
成分を積算することでも被検体の移動量や移動速度を検
出することができる。さらに、上述のように音響センサ
8によっても音源又は被検体の移動速度や移動量を検出
することができる。また、D−GPS9によっても速度
を演算することができる。そこで、これらの共通の物理
量を互いに他のセンサのものと比較し、それぞれが一定
の許容範囲に入っていることを確認した上で検出結果と
して外部に出力するような使用形態も可能である。ま
た、予め物理量毎に基準となるセンサを決めておき、こ
の基準となるセンサによる検出結果を優先的に使用する
形態、あるいは優先度の高いセンサからのずれを検出し
て他のセンサの動作の不具合を検出するような形態も可
能である。この点については、被検体の姿勢を表すデー
タについても同様である。
に、他のセンサによる検出結果による計測結果の不具合
を予測することができる。例えば、D−GPS9では衛
星情報で位置等を検出するが、電波はビルディング等の
反射によってマルチパス(複数経路)を発生させ、位置
の情報に「飛び」が発生する。具体的には、急に200
m程度位置が飛んだりする。ところが、ジャイロセンサ
6に含まれる加速度データ予想される速度に比べて1秒
間に200mの移動がありえなければ(予測結果が否定
的であった場合)、それが明らかなマルチパスの発生で
あるとして、D−GPS9による計測データを無視す
る。
によれば、人間の知覚動作を模擬したセンシングを行
い、各センサ3〜9における利点を統合し、欠点につい
ては、他のセンサでそれを補うようにしたので、従来に
はない高精度のセンシングが可能になる。また、可搬性
の筐体に各センサ3〜9及びコントローラ5を収容した
ので、使用環境に依存しないセンシングが可能になる。
面を具体的に説明する。 <自律歩行ロボット>本発明のセンサユニットは、自律
歩行型の二足ロボットの姿勢センサとして適用すること
ができる。図7は、本発明のセンサユニットVをロボッ
トWの頭部に配置した状態を示した図である。センサユ
ニットVはロボットWの目、耳、三半規管として機能さ
せる。つまり、人間の知覚と同様、ロボットW自身の位
置、向いている方向、姿勢、動きを検出する。また、目
標物との間の距離や相対的な動きを出力する。
うために関節部分にサーボモータが設けられており、各
サーボモータが主制御装置Uによって制御されるように
なっている。
検出情報をもとに現在のロボットWの等をセンサユニッ
トVで検出し、これらの検出情報に基づいて、該当する
サーボモータの最適な制御量(目的の姿勢、移動形態を
実現するための制御量)を演算する。例えば、ロボット
Wが水平から5度だけ傾斜していた場合、それを最適な
速度で水平にするような演算を行い、所定のモデリング
カーブに従う制御量を演算する。モデリングカーブは、
例えばロボットWの傾斜を3秒後に水平に戻す際に、そ
のための角速度を直線的にするかとか、最初は早い角速
度にしてその後ゆっくりにするかというような制御のタ
イミングを決定するためのカーブをいう。このモデリン
グカーブは、個々のサーボモータのトルクやロボットW
の制御の場所等によって異なる。
カーブを所定の制御タイミング(例えば10Hz)で分
割し、該当するサーボモータに駆動電力を出力する。こ
の駆動電力の出力によってロボットWが実際に動いた量
をセンサユニットVで検出してサーボモータの次の制御
量を確認する、という手順を繰り返す。このようにして
ロボット全体の重心を安定させながら自律歩行を実現す
る。
は、次の制御タイミングでの計測結果を予測し、これを
ロボットWの制御装置に伝える。主制御装置U側でも先
に決定した最適制御量から予想される結果を予測するこ
とができるので、両者の差分が許容範囲内であれば、通
常のフィードバック制御を行う。一方、両者の差分が許
容範囲を超える場合は、ロボットWとセンサユニットW
のいずれかに異常があるとして、制御を中止させる。こ
のように、本発明のセンサユニットを適用することによ
り、自律歩行型の二足ロボットを容易に実現できるよう
になる。
は、二足ロボットと同様の主制御装置Uをもって自律的
に移動する無人搬送車、例えば過酷な環境や時間での物
体搬送や清掃車等の知覚センサとして利用することもで
きる。この場合の利用形態、例えばコントローラによる
制御形態は、二足ロボットの場合と同様となる。
行体の姿勢検出センサ、例えばラジコンで操作するヘリ
コプタに搭載され、そのヘリコプタの高度や姿勢等を検
出するためのセンサとして利用することができる。例え
ば、図8(a)〜(d)の右側に示される円内の目印の
図形を着地点に記しておき、この図形の変化を検出する
ことで、ヘリコプタの高度や姿勢等を認識することがで
きる。この場合、ヘリコプタの動きを表す動きベクトル
は、ヘリコプタ自体の移動によるものであり、着地点の
図形自体は動かないので、ベクトル演算のみによって検
出結果を得ることができる。
主制御装置Uの如きものが搭載されている場合は、外部
指示に応じて自律的に自己の姿勢を修正できるようにな
る。また、ヘリコプタでは、風、燃料消費による自重の
変化等、種々の外乱が発生するが、これらの外乱を本発
明のセンサユニットで検出して、その結果を飛行制御に
反映させることも可能である。
に搭載して各種センサとして利用することもできる。例
えば、コントローラ5による予測動作を利用して運転中
における障害物及び危険物の認知や子供の飛び出しなど
の危険回避等に利用することができる。すなわち、予測
される検出結果と実際の検出結果とを常時比較し、運転
中のある時期における実際の検出結果が予測される検出
結果と合致しなかった場合(否定的であった場合)、車
両の近傍に障害物が存在すると認識することができる。
また、D−GPS9で検出された自己の速度が4Km/
hのときに、人工網膜IC7で検出された速度がスター
ト直後の速度であった場合、D−GPS9の検出結果を
当該車両の初速として認識するが、このとき、横方向に
10km/hの変位が認識され、且つジャイロユニット
6で角速度が検出されていなければ、それは予期しない
物体の動作、つまり急に飛び出した物体があると認識さ
れ、車両の停止動作を促すことが可能になる。
することもできる。すなわち、先行車両までの視野角を
人工網膜IC7で求め、この視野角から先行車両までの
距離を演算することができる。路面上で断続的なパター
ンが続くセンターラインの映像を映すことにより、セン
サユニットを速度計として使用することができる。すな
わち、人工網膜IC7からセンターラインまでの視野角
を求め、さらに、センターラインのリズミカルなパター
ンの変化を人工網膜IC7で動きベクトルとして検出す
ることで、当該センサユニットを搭載した車両の速度を
演算することができる。
のセンサユニットによれば、複数のセンサの検出結果を
補完させてセンサの利点同士を活かし、欠点については
他のセンサの利点で補うようにしたので、検出精度を高
く維持できるようになる。また、ジャイロセンサを含む
場合に、そのドリフト成分を他のセンサの検出結果をも
とに自律的に補正するようにしたので、使用環境を問わ
ないセンシングが可能になる。さらに、時々刻々センス
されるデータのみならず、空間的、時間的に統合された
データに基づく検出結果が得られるため、人間の知覚動
作に近い検出結果が正確に得られるようになり、従来の
センサ乃至センサユニットでは不可能であった用途に広
く応用することが可能になる。
(b)は、本発明のセンサユニットの構成図。
を示した図。
クトルの抽出概要を示した図。
めの説明図であり,(a)は人工網膜IC自身が目標物
に向かって前進している場合の映像例、(b)は、人工
網膜ICは移動せず、目標物が図中央から左側に動く場
合の例である。
めの説明図であり、(a)は目標物だけが移動する場
合、(b)は、人工網膜ICと目標物とが共に移動する
場合、(c)は補正後の動き量を示した図である。
補完の処理手順を示した図。
念図。
応用した場合の処理概要を示した図である。
Claims (12)
- 【請求項1】 自己の姿勢及び動きを検出する第1セン
サ、自己の視野にある物体の相対姿勢及びその動きを検
出する第2センサ、自己の周辺に存する音源の存在を検
出する第3センサのうち少なくとも二つのセンサと、
これらのセンサの動作を制御するコントローラとを所定
の筐体に収容して成り、 前記コントローラが、 各センサによる検出結果を実時間で受け入れ、これらの
検出結果を所定のメモリ領域上に形成された情報空間内
に更新自在に記録し、この記録された検出結果をもとに
前記筐体の周辺で発生する事象を表す情報を導出するよ
うに構成されている、 センサユニット。 - 【請求項2】 前記コントローラは、各センサから出力
されるデータを相互に補完することにより各センサに共
通する一つの物理量を導出するように構成されているこ
とを特徴とする、 請求項1記載のセンサユニット。 - 【請求項3】 前記第1センサ及び第2センサを有し、
前記コントローラが、第1センサからの出力データに基
づいて第2センサの出力データを予測し、予測結果が肯
定的である場合に、予測されたデータをもとに第1セン
サによる誤差成分を自律的に補正するものである、 請求項1記載のセンサユニット。 - 【請求項4】 前記第1センサ及び第2センサを有し、
第1センサは前記筐体上に形成される複数次元の軸線回
りの角速度を計測する複数のジャイロセンサを含むもの
であり、第2センサは入力画像から画像輪郭を抽出して
その画像輪郭の動き成分を演算によって導出する手段を
有するものであり、 前記コントローラは、第1センサからの出力データのう
ち第1周波数帯のデータと、第2センサからの出力デー
タのうち第1周波数帯とは異なる第2周波数帯のデータ
とを統合するように構成されている、 請求項1記載のセンサユニット。 - 【請求項5】 第2センサが、目標物を映し出す手段
と、前記目標物の画像輪郭を抽出してその画像輪郭の動
き成分を演算によって導出する手段とを1チップ化した
人工網膜ICである、 請求項1記載のセンサユニット。 - 【請求項6】 第3センサが、音信号の強度を計測する
1又は複数の指向性マイクを含む音響センサであり、同
一の音源からの音信号の強度を異なる角度から計測する
ことで自己に対する当該音源の方向を検出するものであ
る、 請求項1記載のセンサユニット。 - 【請求項7】 絶対位置を検出するGPSセンサと絶対
方位を検出する方位センサの少なくとも一方を前記筐体
にさらに収容して成り、 前記コントローラが、これらのセンサにより検出された
情報を考慮して当該筐体の現在位置を導出するように構
成されている、 請求項1項記載のセンサユニット。 - 【請求項8】 前記筐体が可搬性のものであり、各セン
サ及びコントローラが携帯性電源によって駆動されるも
のである、 請求項1乃至7のいずれかの項記載のセンサユニット。 - 【請求項9】 センシング対象となる被検体に取り付け
られ、 前記被検体の姿勢及び動きを検出する第1センサと、 前記被検体から見た物体の相対姿勢及びその動きを検出
する第2センサと、 各センサの動作を制御するコントローラとを有し、 該コントローラが、各センサによる検出結果を実時間で
受け入れ、これらの検出結果を所定のメモリ領域上に形
成された情報空間内に更新自在に記録し、この記録され
た検出結果を相互に補完するとともに補完後の検出結果
をもとに前記被検体の周辺で発生する事象を表す情報を
導出するように構成されている、 センサユニット。 - 【請求項10】 前記被検体が自己の動作姿勢又は動き
を制御する主制御手段を有するものであり、前記コント
ローラで導出した情報を前記主制御手段に伝えるように
構成されている、 請求項9記載のセンサユニット。 - 【請求項11】 前記コントローラが、各センサから実
時間で出力されるデータに基づいて次に検出されるデー
タの範囲を常時予測し、予測結果に応じて異なる情報を
生成するように構成されている、 請求項9又は10記載のセンサユニット。 - 【請求項12】 前記被検体の周辺の音源の存在を検出
する第3センサ、前記被検体の絶対位置を検出する第4
センサ、基準方位に対する前記被検体の方位を検出する
第5センサの少なくとも一つをさらに有し、前記コント
ローラが、第3、第4又は第5のセンサから出力される
データを前記事象を表す情報に反映させるように構成さ
れている、 請求項9、10又は11記載のセンサユニット。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26420699A JP4425383B2 (ja) | 1999-09-17 | 1999-09-17 | センサユニット |
TW90106090A TW479132B (en) | 1999-09-17 | 2001-03-15 | Method, system and apparatus for operating and controlling a vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26420699A JP4425383B2 (ja) | 1999-09-17 | 1999-09-17 | センサユニット |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008243239A Division JP4782816B2 (ja) | 2008-09-22 | 2008-09-22 | センサユニット |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001091289A true JP2001091289A (ja) | 2001-04-06 |
JP4425383B2 JP4425383B2 (ja) | 2010-03-03 |
Family
ID=17399970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP26420699A Expired - Lifetime JP4425383B2 (ja) | 1999-09-17 | 1999-09-17 | センサユニット |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4425383B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004092934A1 (ja) * | 2003-04-17 | 2004-10-28 | Matsushita Electric Industrial Co., Ltd. | 起動時間短縮装置および電子機器 |
JP2009074859A (ja) * | 2007-09-19 | 2009-04-09 | Toyota Central R&D Labs Inc | 運動計測装置及び位置計測装置 |
JP2010145219A (ja) * | 2008-12-18 | 2010-07-01 | Toyota Central R&D Labs Inc | 運動推定装置及びプログラム |
JP2015010911A (ja) * | 2013-06-28 | 2015-01-19 | 公益財団法人鉄道総合技術研究所 | 空撮測量方法および装置 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63124114A (ja) * | 1986-11-14 | 1988-05-27 | Hitachi Ltd | 移動体用環境認識装置 |
JPH01214774A (ja) * | 1988-02-23 | 1989-08-29 | Toshiba Corp | 送電線監視ロボットの制御装置 |
JPH07123311A (ja) * | 1993-10-21 | 1995-05-12 | Canon Inc | 撮像装置 |
JPH08249472A (ja) * | 1995-03-15 | 1996-09-27 | Toshiba Corp | 移動物体検知装置及び移動物体検知方法 |
JPH09229697A (ja) * | 1996-02-20 | 1997-09-05 | Mitsubishi Electric Corp | 自己位置標定装置 |
JPH1093954A (ja) * | 1996-09-13 | 1998-04-10 | Oki Electric Ind Co Ltd | 物体検知方法及びシステム |
JPH10320687A (ja) * | 1997-04-18 | 1998-12-04 | Samsung Electron Co Ltd | 車種判別装置及びその方法 |
JPH10340349A (ja) * | 1997-06-10 | 1998-12-22 | Mitsubishi Electric Corp | 画像処理装置 |
JPH1120546A (ja) * | 1997-07-07 | 1999-01-26 | Yazaki Corp | 車両用後側方監視方法及び車両用後側方監視装置 |
JPH1130626A (ja) * | 1997-07-09 | 1999-02-02 | Nippon Telegr & Teleph Corp <Ntt> | 流速推定装置 |
JPH1196375A (ja) * | 1997-09-22 | 1999-04-09 | Nippon Telegr & Teleph Corp <Ntt> | 時系列画像動き場計測方法および装置ならび時系列画像動き場計測プログラムを記録した記録媒体 |
JPH1199140A (ja) * | 1997-09-26 | 1999-04-13 | Toshiba Corp | 就寝状態異常検知装置 |
JPH11143849A (ja) * | 1997-11-11 | 1999-05-28 | Omron Corp | 行動生成装置、行動生成方法及び行動生成プログラム記録媒体 |
JPH11238138A (ja) * | 1997-08-22 | 1999-08-31 | Fujitsu Ltd | 領域抽出装置及び領域抽出方法並びにコンピュータで実現可能なプログラムが記憶された記録媒体 |
JPH11248455A (ja) * | 1998-02-27 | 1999-09-17 | Data Tec:Kk | 移動速度検出方法及び装置、車両のすべり角検出装置 |
-
1999
- 1999-09-17 JP JP26420699A patent/JP4425383B2/ja not_active Expired - Lifetime
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63124114A (ja) * | 1986-11-14 | 1988-05-27 | Hitachi Ltd | 移動体用環境認識装置 |
JPH01214774A (ja) * | 1988-02-23 | 1989-08-29 | Toshiba Corp | 送電線監視ロボットの制御装置 |
JPH07123311A (ja) * | 1993-10-21 | 1995-05-12 | Canon Inc | 撮像装置 |
JPH08249472A (ja) * | 1995-03-15 | 1996-09-27 | Toshiba Corp | 移動物体検知装置及び移動物体検知方法 |
JPH09229697A (ja) * | 1996-02-20 | 1997-09-05 | Mitsubishi Electric Corp | 自己位置標定装置 |
JPH1093954A (ja) * | 1996-09-13 | 1998-04-10 | Oki Electric Ind Co Ltd | 物体検知方法及びシステム |
JPH10320687A (ja) * | 1997-04-18 | 1998-12-04 | Samsung Electron Co Ltd | 車種判別装置及びその方法 |
JPH10340349A (ja) * | 1997-06-10 | 1998-12-22 | Mitsubishi Electric Corp | 画像処理装置 |
JPH1120546A (ja) * | 1997-07-07 | 1999-01-26 | Yazaki Corp | 車両用後側方監視方法及び車両用後側方監視装置 |
JPH1130626A (ja) * | 1997-07-09 | 1999-02-02 | Nippon Telegr & Teleph Corp <Ntt> | 流速推定装置 |
JPH11238138A (ja) * | 1997-08-22 | 1999-08-31 | Fujitsu Ltd | 領域抽出装置及び領域抽出方法並びにコンピュータで実現可能なプログラムが記憶された記録媒体 |
JPH1196375A (ja) * | 1997-09-22 | 1999-04-09 | Nippon Telegr & Teleph Corp <Ntt> | 時系列画像動き場計測方法および装置ならび時系列画像動き場計測プログラムを記録した記録媒体 |
JPH1199140A (ja) * | 1997-09-26 | 1999-04-13 | Toshiba Corp | 就寝状態異常検知装置 |
JPH11143849A (ja) * | 1997-11-11 | 1999-05-28 | Omron Corp | 行動生成装置、行動生成方法及び行動生成プログラム記録媒体 |
JPH11248455A (ja) * | 1998-02-27 | 1999-09-17 | Data Tec:Kk | 移動速度検出方法及び装置、車両のすべり角検出装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004092934A1 (ja) * | 2003-04-17 | 2004-10-28 | Matsushita Electric Industrial Co., Ltd. | 起動時間短縮装置および電子機器 |
US7257702B2 (en) | 2003-04-17 | 2007-08-14 | Matsushita Electric Industrial Co., Ltd. | Boot time reducing device including boot preparation instructing unit |
JP2009074859A (ja) * | 2007-09-19 | 2009-04-09 | Toyota Central R&D Labs Inc | 運動計測装置及び位置計測装置 |
JP2010145219A (ja) * | 2008-12-18 | 2010-07-01 | Toyota Central R&D Labs Inc | 運動推定装置及びプログラム |
JP2015010911A (ja) * | 2013-06-28 | 2015-01-19 | 公益財団法人鉄道総合技術研究所 | 空撮測量方法および装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4425383B2 (ja) | 2010-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1586423B1 (en) | Robot control device, robot control method, and robot control program | |
Nobili et al. | Heterogeneous sensor fusion for accurate state estimation of dynamic legged robots | |
US7395181B2 (en) | Motion tracking system | |
CN106682572B (zh) | 目标跟踪方法、***和第一电子设备 | |
EP2972462B1 (en) | Digital tethering for tracking with autonomous aerial robot | |
JP2021513714A (ja) | 航空機のスマート着陸 | |
CN110360996B (zh) | 传感器单元、移动体定位装置及移动体 | |
CN106197429A (zh) | 一种多信息融合定位设备及*** | |
CN106970651A (zh) | 一种基于视觉导航的四旋翼无人机的自主飞行***及控制方法 | |
WO2016031105A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11914762B2 (en) | Controller position tracking using inertial measurement units and machine learning | |
CN109059929B (zh) | 导航方法、装置、穿戴式设备及存储介质 | |
WO2018077307A1 (zh) | 一种运动控制方法、装置和计算机存储介质 | |
JP4782816B2 (ja) | センサユニット | |
CN109223346A (zh) | 一种语音控制导航的盲人轮椅及其控制方法 | |
KR102267840B1 (ko) | 드론 모니터링 시스템 | |
WO2020114214A1 (zh) | 导盲方法和装置,存储介质和电子设备 | |
JP6418342B1 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
JP6418341B1 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
CN110448312A (zh) | 数据处理装置、监视***、唤醒***、数据处理方法 | |
JP4425383B2 (ja) | センサユニット | |
Efraim et al. | Vision based output feedback control of micro aerial vehicles in indoor environments | |
CN107168362A (zh) | 一种监控方法、***及飞行机器人 | |
CN110216675B (zh) | 智能机器人的控制方法、装置、智能机器人及计算机设备 | |
WO2022146858A1 (en) | Controller position tracking using inertial measurement units and machine learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080722 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090630 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091110 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091209 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4425383 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121218 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121218 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151218 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |