JP2006502675A - 生物の眼球運動神経システムに基づいたバイオ型自動視覚と視線制御システム - Google Patents
生物の眼球運動神経システムに基づいたバイオ型自動視覚と視線制御システム Download PDFInfo
- Publication number
- JP2006502675A JP2006502675A JP2004545681A JP2004545681A JP2006502675A JP 2006502675 A JP2006502675 A JP 2006502675A JP 2004545681 A JP2004545681 A JP 2004545681A JP 2004545681 A JP2004545681 A JP 2004545681A JP 2006502675 A JP2006502675 A JP 2006502675A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- eye movement
- control system
- motion
- bio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004424 eye movement Effects 0.000 title claims abstract description 54
- 230000033001 locomotion Effects 0.000 claims abstract description 73
- 230000000007 visual effect Effects 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims abstract description 8
- 230000001133 acceleration Effects 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 15
- 230000014509 gene expression Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000003252 repetitive effect Effects 0.000 claims description 2
- 230000005236 sound signal Effects 0.000 claims description 2
- 239000000758 substrate Substances 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims 2
- 230000003287 optical effect Effects 0.000 claims 1
- 210000001508 eye Anatomy 0.000 abstract description 33
- 210000005252 bulbus oculi Anatomy 0.000 abstract description 18
- 238000012544 monitoring process Methods 0.000 abstract description 11
- 230000011514 reflex Effects 0.000 abstract description 4
- 230000000474 nursing effect Effects 0.000 abstract 1
- 230000005693 optoelectronics Effects 0.000 abstract 1
- 230000035807 sensation Effects 0.000 abstract 1
- 210000003128 head Anatomy 0.000 description 16
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 206010053694 Saccadic eye movement Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000003679 cervix uteri Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000004279 orbit Anatomy 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000004462 vestibulo-ocular reflex Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37567—3-D vision, stereo vision, with two cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40613—Camera, laser scanner on end effector, hand eye manipulator, local
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Eye Examination Apparatus (AREA)
- Feedback Control In General (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】 本発明の基本システムには、眼に相当するものは広角及び望遠レンズ付きの複数のカメラにより構成されたカメラセットであり、各カメラセットは人間の眼球のように3自由度に回転でき、さらに衝動性眼球運動、滑動性眼球運動、前庭動眼反射、視機性反射運動など人間の眼球運動の特徴を有する。すなわち、本発明のシステムは注視する視標の高速切り替え、高精度・高速の視標追従運動、基盤の振動により生じた視線偏差の補償などの機能を備えている。特に本発明の両眼モデルの場合は両眼が人間のように同一視標しか追従できない特徴があり、視標の距離を瞬時に測定することができる。本システムは広範囲の監視と重要箇所の高精度の画像を同時に得られるので、監視、保安、看護など広い領域で応用可能である。さらに、本システムは自身の運動を補償する機能があるので、車、船、飛行機、ロボットなどの運動物体の視覚としても最適である。本システムを玩具やペットロボットの眼の運動制御に応用する場合、その眼球は生き物のように動くので、持ち主には玩具やペットロボットに「魂」が入っているような感覚を与えることができる。
Description
本発明のバイオ型自動視覚と視線運動制御システムシステムの基本構造は、中央コントローラ4による単眼と両眼構造である。各「眼球」は一つのカメラセット1により構成される。上述したカメラセット1は一台または複数台異なるレンズまたは撮像素子を持つカメラによって構成される。二つの単眼を両眼制御システムで制御する場合、両眼と呼ぶ。
1. 単眼の基本構造:一台広角レンズ付きカメラ(以後、広角カメラと呼ぶ)は人間の眼球の中心窩を除いた網膜に相当する。もう一台の望遠レンズ、またはズームレンズ付きカメラ(以後、望遠カメラ)は眼球の中心窩に相当する。すなわち、広角カメラと望遠カメラを組み合わせれば、完全なる眼球を構成することができる。広角カメラと望遠カメラは互いの関係によって相対的に定義する。例えば、遠い山を観察するカメラを広角カメラと定義すると、それに対応する望遠カメラは山の上の樹木を観察できるカメラである。各「眼球」は2台または3台のアクチュエータ6により駆動し、その全体を単眼と呼ぶ。単眼の機能を人間の眼球の機能以上とするために、単眼は複数台の撮像領域の異なり、またはズーム能力の異なるカメラによって構成することができる。この様な単眼によって構成した両眼は、両眼間の距離を任意設定可能である。両眼の距離が離れければ離れるほど遠距離の物体の位置測定が精密になり、人間の眼を遥かに超える正確さを得られる。
また、同じカメラセット1内の広角カメラと望遠カメラが平行に接近設置するので、広角カメラの視野に「興味のある物体」を発見したとき、カメラセット1が高速回転し、カメラの視線をこの物体に照準する(人間の衝動性眼球運動に対応)ことによって、この物体は自然に望遠カメラの視野に入る。したがって、望遠カメラから興味のある物体の鮮明な画像を得ることができる。
2. 固定した広角レンズ付きカメラまたは全方位カメラを単眼または両眼に配合して利用することができる。例えば、視野の広いところに広角レンズカメラまたは全方位カメラを設置し、一台または数台の単眼と一緒に監視システムを構成する。この様な監視システムは監視範囲内のすべての物体の運動過程を記録することができ、各運動物体または特徴のある物体の鮮明な画像が得られる。また、監視されている人間は一つの場所からほかの場所へ移動するとき、この人間の位置信号を別の場所の監視カメラの制御システムに転送することによって、監視される人間を二人として数えることがない。
3. 固定した広角カメラまたは全方位カメラの視野に「興味のある物体」を発見したとき、その物体の位置を算出し、単眼または両眼に対する方向を求め、単眼または両眼の視線を当該物体に照準する。すなわち、この物体がカメラセット1の広角カメラと望遠カメラの視野に入ると、望遠カメラで鮮明な画像を得る。精度が十分ではなく、この物体がカメラセット1の望遠カメラの視野に入っていない場合、前述のようにカメラセット1にある広角カメラの視野に入ったこの「興味のある物体」の位置を検出し、カメラの視線をこの物体に照準することによって、この物体を望遠カメラの視野に入れる。
興味のある物体が望遠カメラの視野に入った場合、この物体の特徴点を抽出し、望遠カメラの視線をこの特徴点に照準するためにカメラセット1を運動させる(人間の2次衝動性眼球運動に対応する)。また、この特徴点が運動する場合、望遠カメラの画像を処理するプログラムが当該特徴点の視野の中心点に対する横方向と縦方向の距離と移動速度を算出し、その距離と速度の情報を用いてカメラセット1の運動を制御し、視線を当該特徴点に追従させる(滑動性眼球運動制御に対応する)。広角カメラの複数の「興味のある物体」が出現する場合、各物体の出現の前後関係や視野にある位置関係を用いて、番号をふり、上述の方法を用いて順番に注視する。ここでいう「興味のある物体」はユーザの要求によって設定することができる。例えば、運動している物体、特定な色の物体、特定の形状の物体(顔、人間の形、車、階段など等)、または、キーボードやマウスなどのインターフェースを通じて直接指定した物体などである。同様に、望遠カメラに複数の特徴点を出現した場合、各特徴点の位置関係などで、一定の順序と一定な時間間隔で逐一に照準する。
また、運動する物体(例えば車)の上に当該眼球運動装置を装着する場合、眼球運動装置をまず加速度センサ8の付いた基盤11の上に設置し、次にその基盤11をその運動物体に設置する。この場合、基盤11上の加速度センサ8により検出した運動物体の振動信 号を用いて眼球を制御し、物体の運動により生じた眼球の視線の偏差を補償する(人間の前庭動眼反射に対応する)。ここで言う基盤11は、人間の頭部に相当する。理想的には基盤11も1から3自由度回転運動でき(人間の頚部に相当する)、3自由度回転運動加速度センサと3自由度並進運動加速度センサ各一対を用いて基盤11の両側にこの基盤11の中心線に関して対称に設置する。
頭部の両側またはほかの部位に複数のマイクロフォン2を設置し、音声処理で音源の位置を測定し、その音源を視標として基盤(頭部)11または眼球を回転し、注視する。
本発明のバイオ型自動視覚と視線運動制御システムにおける制御は、以下の2手法で実現する。
1.視標の位置信号は広角カメラから来る。すなわち、広角カメラからの画像信号を処理し、視標の位置を検出する。この視標の位置信号を用いて、事前に設定した「衝動性眼球運動制御信号曲線」を選び、フィードフォワード式に眼球運動を制御し、視線を視標の位置に照準させる。「衝動性眼球運動制御信号曲線」と言うのは、視線をある位置からある視点に移動する場合に、事前に用意した眼球運動システムの最適運動制御曲線のデーターである。この様な方法で眼球運動制御システムの最も速い衝動性眼球運動を実現できる。
2.視線が視標を追跡するための信号は、望遠カメラと基盤11に設置してある加速度センサ8から来る。すなわち、望遠カメラから検出した視線と視標のズレと加速度センサ8から検出した基盤11の加速度または速度信号を用いて視線を視標に追従するように眼球運動システムを制御する。
数1と数2は、望遠カメラから取り込んだ画像から検出した視標と視線の位置偏差信号と相対速度信号、および加速度センサ8から検出した基盤11の加速度信号を入力信号とした眼球運動システムの運動制御方程式である。
基盤11の上に二つのカメラセット1を設置する。モータ(アクチュエータ)6の制御回路は以下の通りである。中央制御器(中央コントローラ)4から出力したデジタル信号を、D/A変換器9に入力し、D/A変換器9から変換されたアナログ信号をモータ6のドライバ5に入力し、ドライバ5によりモータ6を駆動する。モータ6に設置されている回転角を検出するセンサ7によりモータ6の回転角度信号がA/D変換器(またはカウンター)10に入力され、デジタル信号に変換され中央制御器4に伝えられる。
各カメラセット1からの画像信号は、画像入力ボード3を経由して、中央制御器4に入力され、画像処理によって、対象物体(視標)の各カメラ視線に対する位置(角度)と速度(角速度)を検出する。
回転および並進加速度を検出する加速度センサ8により頭部(基盤11)の回転および並進運動を検出し、A/D変換器10を経由して中央制御器4に入力する。
頭部(基盤11)両側のマイクロフォン2からの音声信号は、音声処理ボード12を経由して中央制御器4に入力され、音源の頭部に対する位置を測定する。
速度信号と回転角加速度信号である。
図2に示す広角カメラが測定した信号ψw−l,ψw−rの伝達経路以外の制御システムの制御方程式を下記数1、数2に示す。
標が視線に対しての運動速度である。数1はよせ運動(vergence)の方程式であり、数2は共役運動(conjugate)の方程式である。
(数1)+(数2)と、(数1)−(数2)を行うと、それぞれのモータ6の回転角を求めることができる。(数1)+(数2)から、共役運動の応答速度(時定数Tvm[1+(ρ−ρr)(η−ηr)]/[1+Tvm(ρ−ρr)(σ−σr)]の逆数に比例する)はよせ運動の速度(時定数Tvm[1+(ρ+ρr)(η+ηr)]/[1+Tvm(ρ+ρr)(σ+σr)]の逆数に比例する)より速い。この特性は両眼が同じ視標を注視するために非常に重要である。
衝動性眼球運動制御曲線の生成はフーリエ級数変換法を用いて実現する。具体的には、もし、視線を時間T以内に現在位置から目標位置へ移動すると設定する場合、システムの制御曲線f(t)は、下記数3に示すm本周期T,T/2,T/3,...T/mである正弦と余弦曲線によって合成することができる。
それぞれ左右の加速度センサから検出した並進加速度信号と回転角加速度信号である(図2を参照)。図4と図3の制御原理は全く同じである。ただし、眼球が上下運動時に両眼の相対運動(左右運動時のよせ運動に相当)は生理学領域ではまた発見していないので、ここでは、ρ=ρrに設定する。すなわち、図2に示すθ3とθ4はいつも同じである。
1l 左のカメラセット
1r 右のカメラセット
2 マイクロフォン
3 画像入力ボード
4 中央コントローラ(中央制御器)
5 ドライバ
6 モータ(アクチュエータ)
6lz モータ
6rz モータ
6ly モータ
6ry モータ
7 センサ
8 加速度センサ
9 D/A変換器
10 A/D変換器(またはカウンター)
11 基盤
12 音声処理ボード
Claims (15)
- 生物の眼球運動神経システムの原理を模擬したことを特徴としたバイオ型自動視覚と視線運動制御システム。本システムは以下の構造をもつ。
一つまたは複数のカメラセット1。各カメラセット1には一台若しくは複数台の並列設置してあるカメラにより構成される。
カメラセットを搭載するための基盤11。
各カメラセット1を基盤11に対して1または3自由度の回転を可能にする複数台のアクチュエータ6。
アクチュエータの回転角度や回転速度を検出するセンサ7。
各カメラ、各センサなどからの信号を受け取り、各アクチュエータ6の運動を制御し、外部と信号をやり取りする中央コントローラ4 - 各カメラセット1に広角レンズ付きカメラ、望遠レンズ付きカメラまたはズーム機能付きカメラを含むことを特徴とする請求項1記載のバイオ型自動視覚と視線運動制御システム。
- 基盤11(頭部相当)は移動可能であり、基盤11の上に基盤11の1乃至6自由度の回転及び並進運動を測るための加速度センサ8を設置し、さらに、各自由度を測るセンサは偶数個の場合、それらのセンサ8を基盤11の中心軸を境に対称位置に設置することを特徴とする請求項1記載のバイオ型自動視覚と視線運動制御システム。
- 基盤11の姿勢を制御するために、基盤11を1台乃至3台のアクチュエータにより駆動し、1乃至3自由度回転制御可能であることを特徴とする請求項1記載のバイオ型自動視覚と視線運動制御システム。
- 基盤11に複数のマイク2を設置し、中央コントローラ4に音声信号を入力できることを特徴とする請求項1記載のバイオ型自動視覚と視線運動制御システム。
- 各カメラセットは3台のアクチュエータに駆動し、3自由度の回転が可能であり、その中の一つの自由度はカメラセット1中のあるカメラの光軸を回転軸とする。さらに、視標の位置を正確に測定するために、各カメラセット1の回転中心点の間の距離は自動または手動で調整可能であることを特徴とする請求項1記載のバイオ型自動視覚と視線運動制御システム。
- 一台または複数台固定位置にある広角レンズ付カメラ、または全方位カメラを含み、それらの画像信号は中央コントローラ4に入力し、処理されることを特徴とする請求項1記載のバイオ型自動視覚と視線運動制御システム
- 視標の捕獲と追従するために以下の方法を用いたことを特徴とする請求項1記載のバイオ型自動視覚と視線運動制御システム。
(1) 望遠レンズ付カメラの視野の中にある興味のある物体が入っている場合、その物体の特徴点を探し、その特徴点が視野の中心点に置くようにカメラセットを回転する(第2次衝動性眼球運動に相当する)。
(2) 望遠レンズ付カメラの視野の中心部にあるその物体の特徴点が運動する場合、カメラ視線がこの点を追従するように運動制御をする(滑動性眼球運動に相当する)。すなわち、望遠レンズ付カメラとその画像処理アルゴリズムが視野の中心部にある物体の運動速度または物体の特徴点と視野中心点の横方向と縦方向の距離を検出し、カメラ視線をこの特徴点を追従するようにアクチュエータの運動制御を行う。
(3) 望遠レンズ付カメラの視野の中に、複数個特徴点が存在する場合、各特徴点が視野の中心点位置との関係に基づいて、一定の時間間隔で順番にそれぞれの特徴点を視野中心に置くようにカメラ視線を制御する。 - カメラセット1に広角レンズ付きカメラが存在する場合、視標の捕獲と追従するために以下の方法を用いたことを特徴とする請求項1記載のバイオ型自動視覚と視線運動制御システム。
(1) 広角レンズ付カメラの視野に「興味のある」物体を発見した場合、カメラセットが高速回転し(衝動性眼球運動に相当する)、視線をその物体に合わせ、物体の特徴点を広角レンズ付カメラの視野の中心に置く。すなわち、カメラセットの広角レンズ付カメラとその画像処理アルゴリズムが視野にある「興味のある物体」(例えば運動している物体、特殊の色や形状のある物体)を発見し、その物体の特徴点と視野中心点の横方向と縦方向の距離を検出し、さらに、その処理結果を用いてカメラ視線をその物体に照準させるためのアクチュエータの運動制御を行う。
(2) カメラセット1中の広角レンズ付カメラが望遠レンズ付カメラと平行且つ接近に設置しているので、広角レンズの中心にある物体は自然に望遠レンズ付カメラの視野に入ることになる。したがって、望遠レンズ付カメラを通じてその物体の鮮明な画像を得られる。 - 固定位置に設置する広角レンズ付カメラ、または全方位カメラを用いる場合、視標の捕獲と追従するために以下の方法を用いたことを特徴とする請求項1記載のバイオ型自動視覚と視線運動制御システム。
固定位置に設置する広角レンズ付カメラ、または全方位カメラの視野に「興味のある」物体を発見した場合、その物体の方向を検出し、カメラセット1の視線をこの物体に照準するように、基盤11とカメラセット1を駆動するアクチュエータの運動制御を行う。 - 請求項9または10にある広角レンズ付カメラまたは全方位カメラの視野に複数の「興味のある」物体が存在する場合、物体の出現する時間順またはそれらの位置関係を用いて、追従する順番を決め、一定時間間隔をもって順次に照準と追従を行うことを特徴とする請求項1記載のバイオ型自動視覚と視線運動制御システム。
- 二組のカメラセット1の協調制御を行う場合、以下の制御特性を特徴とする請求項8記載のバイオ型自動視覚と視線運動制御システム。
両カメラセット1の共同運動(共役運動)の応答速度は両カメラセットの相対運動(よせ運動)の応答速度より早い。 - 両眼システム(カメラセットが二つある)の場合、その共役運動とよせ運動を実現するためのアクチュエータ運動制御は下記の方法で実現することができることを特徴とする請求項12記載のバイオ型自動視覚と視線運動制御システム。
両カメラセットの水平運動に対応するアクチュエータの制御システムの運動制御方程式は
である。ただし、ψt−l,ψt−rは左右それぞれのカメラセットの中の望遠レンズ付カメラとそれに対応する画像処理アルゴリズムが測定した視標とカメラ視線との水平方向の誤差角度
加速度センサが測定した回転角加速と並進加速度である。Tvm,Tv,Tsは時定数であり、ρ,
カメラセットの中の望遠レンズ付カメラとそれに対応する画像処理アルゴリズムが測定した視標がカメラに対する相対速度である。上の式はよせ運動の制御方程式であり、下の式は共役運動の制御方程式である。上と下の式の足し算と引き算を行うことによって、それぞれのアクチュエータの回転角を求めることができる。両カメラセットのカメラ視線の垂直運動に対応するアクチュエータの制御システムの運動制御方程式は水平運動と同じである。 - 衝動性眼球運動(広角レンズ付カメラが興味のある物体を発見し、カメラセットが高速にその物体に照準する運動)の場合の運動制御は以下の方法で行うことを特徴とする請求項1記載のバイオ型自動視覚と視線運動制御システム。
カメラ制御システムの操作信号は繰り返し学習により得られた制御曲線f(t)を用いる。すなわち、
である。ただし、a0,an,bnは制御誤差曲線を逆フーリエ変換法を用いて繰り返し学習によって以下のように得られる。
ただし、Tは視線を現在位置から視標位置に移動する時間である。iは学習の回数であり、R(t)は広角レンズ付カメラとそれに対応する画像処理アルゴリズムが測定した視標とカメラ視線との誤差から算出した対応するアクチュエータの最適運動軌跡である。iθ(t)は第i回学習時の対応するアクチュエータの回転角である。 - 基盤11が運動する場合、以下2つの方法を用いて、基盤11の運動を補償する請求項8記載のバイオ型自動視覚と視線制御法。
1)基盤11に設置した角加速度と並進加速度センサの信号が中央コントローラに入力し、その信号を漏れのある積分処理後、カメラセットの運動制御に用いる。すなわち、基盤11が運動または振動するときに生じたカメラセットの視標追従偏差を加速度センサの信号により補償制御を行う。漏れのある積分処理と言うのが、信号が伝達関数T/(Ts+1)を用いて処理する(Tは時定数であり、sはラプラス変換の複素パラメータである)。
2)基盤11を駆動するためのアクチュエータが運動する場合、アクチュエータの上に取り付けていたアクチュエータの回転角または回転速度を測定するセンサの信号を用いて、各カメラセットの視線を振動しないように制御を行う。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN02137572.0A CN1219397C (zh) | 2002-10-22 | 2002-10-22 | 仿生型自动视觉和视线控制***及方法 |
PCT/CN2003/000872 WO2004039077A1 (fr) | 2002-10-22 | 2003-10-20 | Systeme et procede de commande automatique de visualisation et de visee bionique |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006502675A true JP2006502675A (ja) | 2006-01-19 |
JP3862087B2 JP3862087B2 (ja) | 2006-12-27 |
Family
ID=32111541
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004545681A Expired - Lifetime JP3862087B2 (ja) | 2002-10-22 | 2003-10-20 | 生物の眼球運動神経システムに基づいたバイオ型自動視覚と視線制御システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US7272306B2 (ja) |
JP (1) | JP3862087B2 (ja) |
CN (1) | CN1219397C (ja) |
AU (1) | AU2003275518A1 (ja) |
WO (1) | WO2004039077A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006329747A (ja) * | 2005-05-25 | 2006-12-07 | Tokyo Institute Of Technology | 画像撮影装置 |
WO2008152791A1 (ja) * | 2007-06-12 | 2008-12-18 | Tokyo Institute Of Technology | 前庭動眼反射の原理を用いる眼球運動制御装置 |
WO2011052722A1 (ja) * | 2009-10-31 | 2011-05-05 | Bi2-Vision株式会社 | 協調制御装置 |
KR20150027346A (ko) * | 2013-08-30 | 2015-03-12 | 한국전력공사 | 무인항공기의 영상취득장치 및 방법 |
JP2018521416A (ja) * | 2016-03-30 | 2018-08-02 | シャンハイ ビジ バイオニック テクノロジー カンパニー リミテッドShanghai Bizhi Bionic Technology Co., Ltd | 視覚システムのための画像処理方法及びシステム |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006065094A (ja) * | 2004-08-27 | 2006-03-09 | Giyourin Cho | 眼球運動模擬システム、眼球運動模擬用ロボット及びバーチャルリアリティーを用いた眼球運動模擬システム |
JP4243692B2 (ja) * | 2005-03-16 | 2009-03-25 | 国立大学法人東京工業大学 | 立体形状検出装置及び立体形状検出方法 |
JP2007120993A (ja) * | 2005-10-25 | 2007-05-17 | Tokyo Institute Of Technology | 物体形状測定装置 |
JP2009542176A (ja) * | 2006-06-20 | 2009-11-26 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 眼球の内部に駆動手段を備える人工眼球システム |
CN100432696C (zh) * | 2006-06-27 | 2008-11-12 | 上海大学 | 基于仿生人眼控制的地面运动目标低空自动跟踪*** |
EP1921867B1 (en) * | 2006-10-17 | 2016-05-25 | Harman Becker Automotive Systems GmbH | Sensor assisted video compression |
KR101059806B1 (ko) * | 2007-10-29 | 2011-08-26 | 재단법인서울대학교산학협력재단 | 전정안 반사를 응용한 안정화 제어 시스템 및 방법 |
WO2010077389A2 (en) | 2008-08-05 | 2010-07-08 | University Of Florida Research Foundation, Inc. | Systems and methods for maintaining multiple objects within a camera field-of-view |
US8411963B2 (en) * | 2008-08-08 | 2013-04-02 | The Nielsen Company (U.S.), Llc | Methods and apparatus to count persons in a monitored environment |
JP5229726B2 (ja) * | 2008-08-20 | 2013-07-03 | 国立大学法人東京工業大学 | 遠距離視標探査カメラシステム |
US9537957B2 (en) | 2009-09-02 | 2017-01-03 | Lenovo (Singapore) Pte. Ltd. | Seamless application session reconstruction between devices |
AU2010302959B2 (en) | 2009-09-30 | 2015-11-12 | National Ict Australia Limited | Object tracking for artificial vision |
JP4865065B1 (ja) * | 2010-07-14 | 2012-02-01 | Bi2−Vision株式会社 | ステレオ撮像装置の制御システム |
GB2499427A (en) * | 2012-02-16 | 2013-08-21 | Overview Ltd | Video tracking apparatus having two cameras mounted on a moveable unit |
CN102915044B (zh) * | 2012-10-25 | 2016-03-30 | 上海大学 | 一种基于仿生机理的机器人头眼协调运动控制方法 |
US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
CN103885336B (zh) * | 2014-03-18 | 2016-07-20 | 武汉科技大学 | 基于鹤颈运动的移动视觉控制方法 |
RU2596062C1 (ru) * | 2015-03-20 | 2016-08-27 | Автономная Некоммерческая Образовательная Организация Высшего Профессионального Образования "Сколковский Институт Науки И Технологий" | Способ коррекции изображения глаз с использованием машинного обучения и способ машинного обучения |
US10828125B2 (en) * | 2015-11-03 | 2020-11-10 | Synaptive Medical (Barbados) Inc. | Dual zoom and dual field-of-view microscope |
US9674504B1 (en) * | 2015-12-22 | 2017-06-06 | Aquifi, Inc. | Depth perceptive trinocular camera system |
CN105686835A (zh) * | 2016-01-18 | 2016-06-22 | 张江杰 | 一种目光可视化的装置 |
CN105824239B (zh) * | 2016-03-25 | 2018-09-25 | 山东大学 | 带注视差异约束的平滑追踪眼动自适应跟踪控制器及方法 |
CN106060527B (zh) * | 2016-08-01 | 2018-10-19 | 北京小鸟看看科技有限公司 | 一种扩展双目相机定位范围的方法和装置 |
KR102609464B1 (ko) * | 2016-10-18 | 2023-12-05 | 삼성전자주식회사 | 영상을 촬영하는 전자 장치 |
JP2019005846A (ja) * | 2017-06-23 | 2019-01-17 | カシオ計算機株式会社 | ロボット、ロボットの制御方法及びプログラム |
US11238675B2 (en) * | 2018-04-04 | 2022-02-01 | The Boeing Company | Mobile visual-inspection system |
CN109366528A (zh) * | 2018-12-04 | 2019-02-22 | 长安大学 | 一种多目视觉装置 |
CN109516113A (zh) * | 2018-12-21 | 2019-03-26 | 银河水滴科技(北京)有限公司 | 广视角视频采集装置及物料运转小车 |
US11614719B2 (en) | 2019-07-25 | 2023-03-28 | Beijing Institute Of Technology | Wide-field-of-view anti-shake high-dynamic bionic eye |
CN110405764B (zh) * | 2019-07-25 | 2021-02-12 | 北京理工大学 | 仿生眼、仿生眼机器人及基于其的轨迹追踪方法和装置 |
CN110493588B (zh) * | 2019-08-30 | 2021-07-06 | 上海大学 | 绳簧驱动的双目可调对焦距离的仿生眼执行机构 |
CN110842942A (zh) * | 2019-11-26 | 2020-02-28 | 南京智能仿真技术研究院有限公司 | 一种具有高精度定位***的智能化机器人 |
CN114125230A (zh) * | 2021-11-23 | 2022-03-01 | 北京航空航天大学 | 仿鹰眼强视力智能感知的目标检测***及其方法 |
CN114280709B (zh) * | 2022-01-25 | 2023-04-18 | 宁波大学 | 一种视觉仿生感光成像装置及应用方法 |
CN114872036B (zh) * | 2022-03-28 | 2023-07-04 | 青岛中电绿网新能源有限公司 | 一种基于仿生原理的机器人眼-头协同注视行为控制方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61101883A (ja) * | 1984-10-25 | 1986-05-20 | Canon Inc | 輻輳角整合装置 |
JPH0432376A (ja) * | 1990-05-29 | 1992-02-04 | Nec Corp | 画像追尾方式 |
US5838368A (en) * | 1992-06-22 | 1998-11-17 | Canon Kabushiki Kaisha | Remote camera control system with compensation for signal transmission delay |
US5475422A (en) * | 1993-06-21 | 1995-12-12 | Nippon Telegraph And Telephone Corporation | Method and apparatus for reconstructing three-dimensional objects |
JP2000083188A (ja) * | 1998-09-03 | 2000-03-21 | Matsushita Electric Ind Co Ltd | 監視カメラ装置 |
GB9918248D0 (en) * | 1999-08-04 | 1999-10-06 | Matra Bae Dynamics Uk Ltd | Improvements in and relating to surveillance systems |
JP2002064737A (ja) * | 2000-08-23 | 2002-02-28 | Rekoode Onkyo:Kk | 自動探査追尾式カメラシステム |
JP2002101408A (ja) * | 2000-09-22 | 2002-04-05 | Asahi Precision Co Ltd | 監視カメラシステム |
US6915008B2 (en) * | 2001-03-08 | 2005-07-05 | Point Grey Research Inc. | Method and apparatus for multi-nodal, three-dimensional imaging |
JP2003037765A (ja) * | 2001-07-24 | 2003-02-07 | Matsushita Electric Ind Co Ltd | 虹彩撮像装置 |
GB2378339A (en) * | 2001-07-31 | 2003-02-05 | Hewlett Packard Co | Predictive control of multiple image capture devices. |
JP2006154675A (ja) * | 2004-12-01 | 2006-06-15 | Pentax Corp | 撮像装置 |
-
2002
- 2002-10-22 CN CN02137572.0A patent/CN1219397C/zh not_active Expired - Lifetime
-
2003
- 2003-10-20 WO PCT/CN2003/000872 patent/WO2004039077A1/zh active Application Filing
- 2003-10-20 AU AU2003275518A patent/AU2003275518A1/en not_active Abandoned
- 2003-10-20 JP JP2004545681A patent/JP3862087B2/ja not_active Expired - Lifetime
-
2005
- 2005-04-18 US US11/108,390 patent/US7272306B2/en active Active
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006329747A (ja) * | 2005-05-25 | 2006-12-07 | Tokyo Institute Of Technology | 画像撮影装置 |
WO2008152791A1 (ja) * | 2007-06-12 | 2008-12-18 | Tokyo Institute Of Technology | 前庭動眼反射の原理を用いる眼球運動制御装置 |
JP2008311690A (ja) * | 2007-06-12 | 2008-12-25 | Tokyo Institute Of Technology | 前庭動眼反射の原理を用いる眼球運動制御装置 |
US8253814B2 (en) | 2007-06-12 | 2012-08-28 | Tokyo Institute Of Technology | Ocular motor controller using principle of vestibulo-ocular reflex |
WO2011052722A1 (ja) * | 2009-10-31 | 2011-05-05 | Bi2-Vision株式会社 | 協調制御装置 |
US8788094B2 (en) | 2009-10-31 | 2014-07-22 | Bi2-Vision Co. | Cooperative control device |
KR20150027346A (ko) * | 2013-08-30 | 2015-03-12 | 한국전력공사 | 무인항공기의 영상취득장치 및 방법 |
KR101592165B1 (ko) | 2013-08-30 | 2016-02-11 | 한국전력공사 | 무인항공기의 영상취득장치 및 방법 |
JP2018521416A (ja) * | 2016-03-30 | 2018-08-02 | シャンハイ ビジ バイオニック テクノロジー カンパニー リミテッドShanghai Bizhi Bionic Technology Co., Ltd | 視覚システムのための画像処理方法及びシステム |
Also Published As
Publication number | Publication date |
---|---|
JP3862087B2 (ja) | 2006-12-27 |
AU2003275518A1 (en) | 2004-05-13 |
WO2004039077A1 (fr) | 2004-05-06 |
US7272306B2 (en) | 2007-09-18 |
US20050185945A1 (en) | 2005-08-25 |
CN1219397C (zh) | 2005-09-14 |
CN1492668A (zh) | 2004-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3862087B2 (ja) | 生物の眼球運動神経システムに基づいたバイオ型自動視覚と視線制御システム | |
CN109079799B (zh) | 一种基于仿生的机器人感知控制***及控制方法 | |
Coombs et al. | Real-time binocular smooth pursuit | |
Coombs et al. | Cooperative gaze holding in binocular vision | |
KR101590331B1 (ko) | 이동 가능한 디스플레이 장치와 이를 구비한 로봇 및 그 디스플레이 방법 | |
US20130250078A1 (en) | Visual aid | |
US20090207246A1 (en) | Interactive image acquisition device | |
US11914762B2 (en) | Controller position tracking using inertial measurement units and machine learning | |
CN106454283B (zh) | 一种仿生鹰眼智能漫游跟踪装置及跟踪方法 | |
WO2009043927A1 (en) | Apparatus for acquiring and processing information relating to human eye movements | |
Ferrier et al. | The Harvard binocular head | |
Natale et al. | Development of auditory-evoked reflexes: Visuo-acoustic cues integration in a binocular head | |
Cortes et al. | Increasing optical tracking workspace of VR applications using controlled cameras | |
CN111283689A (zh) | 一种辅助肢体功能障碍者运动的装置及控制方法 | |
JPH0421105A (ja) | マニピユレータの立体教示装置 | |
Wang et al. | An advanced active vision system imitating human eye movements | |
Peng et al. | An active vision system for mobile robots | |
CN105828021A (zh) | 基于增强现实技术的特种机器人图像采集控制方法及*** | |
JPH0446570B2 (ja) | ||
JP7122372B2 (ja) | 画像生成装置、画像生成システム、および画像生成方法 | |
Kohlbecher et al. | Low-latency combined eye and head tracking system for teleoperating a robotic head in real-time | |
WO2022146858A1 (en) | Controller position tracking using inertial measurement units and machine learning | |
WO2021117606A1 (ja) | 画像処理装置、システム、画像処理方法、および画像処理プログラム | |
Jin et al. | A wearable robotic device for assistive navigation and object manipulation | |
JP7269617B2 (ja) | 顔画像処理装置、画像観察システム、及び瞳孔検出システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060726 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060920 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3862087 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101006 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S201 | Request for registration of exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R314201 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111006 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111006 Year of fee payment: 5 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111006 Year of fee payment: 5 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111006 Year of fee payment: 5 |
|
S201 | Request for registration of exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R314201 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111006 Year of fee payment: 5 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S221 | Written request for registration of change of exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R314221 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111006 Year of fee payment: 5 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S202 | Request for registration of non-exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R315201 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111006 Year of fee payment: 5 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121006 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121006 Year of fee payment: 6 |
|
S221 | Written request for registration of change of exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R314221 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121006 Year of fee payment: 6 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121006 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121006 Year of fee payment: 6 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
S221 | Written request for registration of change of exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R314221 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R314531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121006 Year of fee payment: 6 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121006 Year of fee payment: 6 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121006 Year of fee payment: 6 |
|
S221 | Written request for registration of change of exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R314221 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R314531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121006 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121006 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131006 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |