CN1492668A - 仿生型自动视觉和视线控制***及方法 - Google Patents

仿生型自动视觉和视线控制***及方法 Download PDF

Info

Publication number
CN1492668A
CN1492668A CNA021375720A CN02137572A CN1492668A CN 1492668 A CN1492668 A CN 1492668A CN A021375720 A CNA021375720 A CN A021375720A CN 02137572 A CN02137572 A CN 02137572A CN 1492668 A CN1492668 A CN 1492668A
Authority
CN
China
Prior art keywords
centerdot
machine
rho
looking
automatic vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA021375720A
Other languages
English (en)
Other versions
CN1219397C (zh
Inventor
张晓林
张光荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Aiguan Vision Technology Co ltd
Original Assignee
LEIKE ELECTRONIC SYSTEM CO Ltd SHANGHAI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LEIKE ELECTRONIC SYSTEM CO Ltd SHANGHAI filed Critical LEIKE ELECTRONIC SYSTEM CO Ltd SHANGHAI
Priority to CN02137572.0A priority Critical patent/CN1219397C/zh
Priority to JP2004545681A priority patent/JP3862087B2/ja
Priority to PCT/CN2003/000872 priority patent/WO2004039077A1/zh
Priority to AU2003275518A priority patent/AU2003275518A1/en
Publication of CN1492668A publication Critical patent/CN1492668A/zh
Priority to US11/108,390 priority patent/US7272306B2/en
Application granted granted Critical
Publication of CN1219397C publication Critical patent/CN1219397C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/375673-D vision, stereo vision, with two cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40613Camera, laser scanner on end effector, hand eye manipulator, local

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Eye Examination Apparatus (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开了一种仿生型自动视觉及视线控制***及方法,它包括两个摄像机组(10),每个摄像机组由一台广角机和一台望远机并排设置组成,每台广角机或望远机由两台或三台电动机带动,可作两个或三个自由度的转动。这种***能进行快速目标定位、高精度视线跟踪和具有大范围补偿因自身运动所引起的视线偏离的能力。特别是该***可以确保两个摄像机组同时定位和跟踪同一目标。该***不仅可用于各种固定场所的监视、防卫及看护,也适用于安装在各种运动体上,如车辆、飞机、轮船及军事设备上等,还可用于制作各种机器人的眼睛。

Description

仿生型自动视觉和视线控制***及方法
技术领域
本发明所涉及一种仿生型自动视觉和视线控制***及方法,是和人的双眼的功能相似的,可以进行目标定位、视线跟踪、和补偿因自身运动所引起的视线偏离,特别是本***可以确保同时定位和跟踪同一目标,易于精确测量目标的位置和距离。
背景技术
现有技术的自动监视***的目标定位方法,一般是采用视觉反馈控制一种方法,使目标定位的速度受到一定限制,特别是自身运动时的快速定位和高精确度的跟踪难以解决。又因为定位和跟踪用的是同一台摄像机,所以视线的跟踪控制不可能有高的精度。补偿摄像机自身运动的方法只是通过图像处理进行微小移动的调节,类似于应用摄像机的防手颤动的处理,因此可补偿的范围较小。特别是当使用两台以上摄像机时,各摄像机之间是相对固定的,或是各自单独控制的,无法确保每台摄像机定位或跟踪同一目标。
发明内容
本发明所要解决的技术问题是提供一种仿生型的自动视觉和视线控制***及方法,其利用了人的双眼的神经***的控制原理,能快速进行目标定位、高精度地进行视线跟踪,大范围地补偿因自身运动所引起的视线偏离,能确保两个摄像机给定位和跟踪同一个目标。
本发明通过下述技术方案予以实现:
本***的基本结构为由中央控制器控制的双眼结构,每只眼为一个摄像机组,所述摄像机组由两台摄像机头并排设置而成。一台是装有广角镜头的摄像机头(以下简称“广角机”),相当于人眼睛,另一台是装有可自动变焦的望远镜头的摄像机头(以下简称“望远机”),相当于人眼视网膜的中心窝。每只眼睛由两台电动机带动,可上下左右旋转。当广角机的视野里出现“感兴趣”的物体时两眼便迅速转动(对应人眼的“急动性眼球运动”),把视线对准该物体,使该物体成为广角机视野的中心。所述的“感兴趣”的物体可根据客户要求而定,如视野中运动速度最快的物体、特定颜色的物体、特定形状的物体、通过键盘或荧屏等外部接口指定的物体等等。把广角机和望远机并排贴近设置,当物体成为广角机视野中心时,该物体也就自然地进入了望远机视野,从而,通过望远机便得到了清晰图像。然后在望远机视野中找到特征点并使视线(视野中心)对准该点(称“注视”)。当该特征点运动时,视线便自动跟踪该点(对应人眼的“平滑性眼球运动”)。当广角镜中出现了其他“感兴趣”的物体时,再按上述步骤注视新的物体。另外,当需要把该***装到运动体上时,可装上一对3自由度的转角加速度传感器和一对3自由度的平移加速度传感器,测出头部(相对固定于两眼旋转中心的基盘)的运动信号,该信号直接被用于眼球的前馈运动控制,使得该视觉***具备了补偿由自身运动引起的视线偏离的能力(对应于人眼的“前庭动眼反射”)。
1.广角机采用“急动性反射控制曲线”来进行前馈控制,因而可达到伺服电机所可能达到的最快速度的定位;先快速定位然后跟踪,快速定位的信号来自于广角机,跟踪的信号来自于望远机。2.再通过加速度信号的前馈控制,调节摄像机位置,来补偿“头部”的运动。3.我们也利用视觉反馈控制。使我们的***补偿自身运动引起视偏移的范围大,定位速度快、精度高。确保两眼(两个摄像机组)紧紧地盯住同一目标。
采用以上技术方案,本自动视觉和视线控制***用于监视***时,能自动对在场者依次进行高清晰度的拍摄,实时记录每个在场者的行踪,自动发出各种级别的警报,并且能补偿自身振动。该***可用于各种固定场所的室内外监视、或进行近距离的低空监视,作为雷达的补充。该***还可用于各种运动装置及设备上,如汽车、火车、飞机、轮船及军事装备。使得对被视线跟踪的人或物进行快速和高精度的打击变得很容易实现,这个控制原理,还适用于制作各种机器人的眼睛。
附图说明:
图1是两眼视线运动控制***的构成;
图2是两眼视线运动***的坐标系;
图3是两眼左右运动控制***方框图;
图4是两眼上下运动控制***方框图。
具体实施方式:
两眼视线运动控制***如图1所示,每只眼睛由两台摄像机组成,一台装有广角镜头,另一台装有望远镜头,两摄像机头平行放置,越近越好。该视觉装置的运动***共有5个自由度,每只眼睛有2个自由度(必要时可增加一台电动机,达到3个自由度,即绕视轴旋转的自由度),头颈部1个自由度(根据需要,可增至3个)。
基盘19相对固定于两个摄像机组10的旋转中心。电动机控制回路为:由中央处理器18发出数字信号输入到D/A变换器15,在D/A变换器15进行数模转换后,将模拟信号输入到电动机驱动器13,由电动机驱动器13驱动电动机20、1、2、3、4,而相应的设置于电动机上的转角传感器分别将电动机20、1、2、3、4的转角信号输入计数器,再由计数器回传给中央处理器18。
各摄像机10的图像经图像及声音处理卡17送入中央处理器18,通过图像处理,算出对象物体相对于各个摄像机组10的速度和误差。
转角及平移加速度器11测出头部转动及平移运动产生的信号,通过A/D变换卡输入到中央处理器18。
头部两侧麦克风12的声音经图像及声音处理卡17送入中央处理器18。***的坐标如图2所示,其中xA-l-yA-l-zA-l和xA-r-yA-r-zA-r为固定于左右加速度传感器的坐标;xE-l-yE-l-zE-l和xE-r-yE-r-zE-r为固定于左右眼球的坐标;xO-l-yO-l-zO-l和xO-r-yO-r-zO-r为固定于左右眼窝的坐标,即原点与固定于左右眼球的坐标相同,但相对与头部固定。θ1,θ2表示电动机1,2,的转角,即坐标xE-1-yE-l-zE-l和xE-r-yE-r-zE-r分别围绕zO-l和zO-r的旋转角。θ3,θ4表示电动机3,4的转角,即坐标xE-l-yE-l-zE-l和xE-r-yE-r-zE-r分别围绕yO-l和yO-r的旋转角。1,2表示目标围绕左右眼窝固定坐标的zO-l和zO-r轴的转角;3,4表示目标围绕左右眼窝固定坐标的yO-l和yO-r轴的转角。图中的坐标均为左右对称,即电动机1、2和电动机3、4的旋转方向相反。
两眼的左右运动控制***方框图如图3所示,t-l,t-r表示通过左右眼的望远机测出的目标与视线的横向误差,w-l,w-r表示通过左右眼的广角机测出的目标与视线的横向误差。t-l,t-r和w-l,w-r都对应于11,22只是所用摄像机不同(见图2)。 分别为左右加速度传感器测出的加速度和角加速度(见图2)。图3中除广角机测出的w-l,w-r的信号回路以外的控制***的传递函数可表示如下:
θ 1 ( s ) + θ 2 ( s ) = T vm ( ρ - ρ r ) 1 + T vm ( ρ - ρ r ) ( σ - σ r ) + T vm ( 1 + ( ρ - ρ r ) ( η - η r ) ) s
× [ - ( κ x - κ xr ) T v T v s + 1 ( x · · A - l ( s ) + x · · A - r ( s ) ) - ( κ y - κ yr ) T T v s + 1 ( y · · A - l ( s ) + y · · A - r ( s ) )
Figure A0213757200085
θ 1 ( s ) - θ 2 ( s ) = T vm ( ρ + ρ r ) 1 + T vm ( ρ + ρ r ) ( σ + σ r ) + T vm ( 1 + ( ρ + ρ r ) ( η + η r ) ) s
× [ - ( κ x + κ xr ) T v T v s + 1 ( x · · v - l ( s ) - x · · v - r ( s ) ) - ( κ y + κ yr ) T T v s + 1 ( y · · v - l ( s ) - y · · v - r ( s ) )
Figure A0213757200088
其中,Tvm,Tv,Ts为时间定数,ρ,ρr,σ,σr,η,ηr,κx,κxr,κy,κyr,κ,κr等全是正参数。
Figure A0213757200089
表示通过左右眼的望远机测出的目标相对与视线的速度。式(1)为转眼运动(vergence)的方程式,式(2)为共轭运动(conjugate)的方程式,通过式(1)+式(2)和式(1)-式(2)可得出每个电动机的转角。从式(1),式(2)可以看出,共轭运动的应答速度(即,时定数Tvm[1+(ρ-ρr)(η-ηr)]/[1+Tvm(ρ-ρr)(σ-σr)])大于转眼运动的应答速度(时定数Tvm[1+(ρ+ρr)(η+ηr)]/[1+Tvm(ρ+ρr)(σ+σr)])。这项特性是确保两眼同时注视同一目标的关键。
广角机测出的信号w-l,w-r用来选择最佳“冲动性反射”控制曲线,再由此曲线控制电机快速旋转,达到冲动性眼球运动的效果。当进行“冲动性反射”控制时,望远机来的控制信号要切除。
“急动性反射”控制曲线的生成是根据线性傅立叶变换法得到。设,把视线从现在位置转向目标位置需要时间T,则控制曲线f(t)可近似由m条周期为T,T/2,T/3,…T/m的正弦和余弦曲线组和而成。即,
f ( t ) = a 0 2 + Σ n = 1 m ( a n cos 2 nπ T t + b n sin 2 nπ T t )
其中,a0,an,bn利用反复学习式傅立叶反变换法把控制误差进行反变换求得。
即,
a n [ i + 1 ] = a n [ i ] + k a 4 T ∫ 0 T ( R ( t ) - i θ ( t ) ) cos 2 nπ T tdt - - - - ( n = 0,1,2,3 , · · · m )
b n [ i + 1 ] = b n [ i ] + k b 4 T ∫ 0 T ( R ( t ) - i θ ( t ) ) sin 2 nπ T tdt - - - - ( n = 0,1,2,3 , · · · m )
其中i是学习次数,R(t)是由广角机测出的误差换算出的电动机的最佳轨迹,i(t)是第i次学习时的电动机的转角。电动机1,2用同样方法同时进行学习。这样,每条曲线只需要2m(一般,m<10)个参数即可实现和保存。因每只“眼”有数十万条“冲动性反射”控制曲线,这种方法可节省大量存储器容量,便于快速调出。
两眼的上下运动控制***方框图如图4所示,ψt-l,ψt-r表示通过左右眼的望远机测出的目标与视线的纵向误差,ψw-l,ψw-r表示通过左右眼的广角机测出的目标与视线的纵向误差。
Figure A0213757200095
分别为左右加速度传感器测出的加速度和角加速度(见图2)。图4和图3的控制原理完全相同。只是上下运动时的转眼运动在生理学领域里尚未发现,因此,设ρ=ρr即控制时θ3将与θ4相同。
图3和图4中
Figure A0213757200097
Figure A0213757200098
Figure A02137572000910
分别为左右加速度传感器测出的加速度和角加速度信号(二种传感器统称为转角及平移加速度器11)。这对加速度传感器测出的头部运动信号,直接被用于眼球的前馈运动控制,相当于前庭动眼反射,使该视觉***具备补偿自身振动的能力。该控制***不直接使用平移加速度和旋转加速度信号,而是把这些信号漏积分处理(T/(Ts+1))后使用。
若该自动视觉和视线控制***用于监视并装在某空间很大的室内,天花板或视野开阔处可增加一只固定式的天眼,即一台带超广角镜头的摄象机头(俗称“鱼眼”),可把监视范围内的所有运动物体的运动过程全部记录下来,并把感兴趣的物体传给两眼视线控制***。
该监视***还可装入麦克风,对现场的声音进行处理和定位。
本自动视觉和视线控制***,基本件是一对眼睛(即两组摄像机),装在何处可具体设计,也可装二对或多对眼睛,每只眼可增加任意组摄像范围或望远能力不同的摄像机。在多对眼睛的情况下,中央处理器最优先处理的一对眼精称主眼。可实现每对眼精同时定位和跟踪同一目标,而各对眼同时监视各不同的目标(相当于每个人某一时刻只能盯住一个物体,而几个人便可同时盯住几个物体)。

Claims (13)

1、一种仿生型自动视觉和视线控制***,包括中央处理器(18)、摄像机组(10)、电动机、传感器,其特征在于,所述摄像机组(10)有两个,每个摄像机组(10)至少包括两台并排设置的摄像机,所述摄像机一台为广角机,另一台为望远机,所述的广角机及望远机均分别由两台电动机带动,可作两个自由度方向的旋转。
2、根据权利要求1所述的仿生型自动视觉和视线控制***,其特征在于,所述的每个摄像机组(10)可再增加一台可使广角机及望远机作第三自由度旋转的电动机,所述的第三自由度为绕两个摄像机组的中轴线转动的自由度。
3、根据权利要求1或2所述的仿生型自动视觉和视线控制***,其特征在于,所述的两个摄像机组(10)的旋转中心固定一基盘(19),所述基盘(19)的两侧装有可以测量基盘旋转运动及平移运动的转角及平移加速度传感器(11)。
4、根据权利要求1或2所述的仿生型自动视觉和视线控制***,其特征在于,所述每台电动机都设有可用于测量电动机的转角的转角传感器。
5、根据权利要求1或2所述的仿生型自动视觉和视线控制***,其特征在于,还设有与计算机相连的图像及声音处理卡(17),及一与所述的图像及声音处理卡(17)相连的麦克风(12)。
6、根据权利要求1或2所述的仿生型自动视觉和视线控制***,其特征在于,每个摄像机组还可增加若干台摄像范围或望远能力不同的摄像机。
7、根据权利要求1或2所述的仿生型自动视觉和视线控制***,其特征在于,还包括至少一台与计算机相联的带超广角镜头的固定安装于天花板的中心或高处的摄像机头。
8、一种仿生型自动视觉和视线控制方法,其特征在于,包括如下步骤:
1)、当广角机的视野里出现“感兴趣”的物体时两个摄像机组便迅速转动,把视线对准该物体,使该物体成为广角机视野的中心。
2)、由于广角机与望远机并排贴近设置,当物体成为广角机视野中心时该物体就自然进入望远机视野,从而,通过望远机便得到了清晰图像。
3)、然后在望远机视野中找到特征点并使视野中心对准该点。
4)、当该特征点运动时,视线便自动跟踪该点。
5)、当广角机中出现其他“感兴趣”的物体时,再按上述步骤注视新的物体。
9、根据权利要求8所述的仿生型自动视觉和视线控制方法,其特征在于,
所述的两个摄像机组的对应电动机的控制***传递函数可表示为:
θ 1 ( s ) + θ 2 ( s ) = T vm ( ρ - ρ r ) 1 + T vm ( ρ - ρ r ) ( σ - σ r ) + T vm ( 1 + ( ρ - ρ r ) ( η - η r ) ) s
× [ - ( κ x - κ xr ) T v T v s + 1 ( x · · A - l ( s ) + x · · A - r ( s ) ) - ( κ y - κ yr ) T T v s + 1 ( y · · A - l ( s ) + y · · A - r ( s ) )
Figure A0213757200033
θ 1 ( s ) - θ 2 ( s ) = T vm ( ρ + ρ r ) 1 + T vm ( ρ + ρ r ) ( σ + σ r ) + T vm ( 1 + ( ρ + ρ r ) ( η + η r ) ) s
× [ - ( κ x + κ xr ) T v T v s + 1 ( x · · v - l ( s ) - x · · v - r ( s ) ) - ( κ y + κ yr ) T T v s + 1 ( y · · v - l ( s ) - y · · v - r ( s ) )
Figure A0213757200036
其中t-l,t-r表示经左右眼中望远机测出的目标与视线的横向误差角度,
Figure A0213757200037
Figure A0213757200038
分别为左右加速度传感器测出的加速度和角加速度,Tvm,Tv,Ts为时定数,ρ,ρr,σ,σr,η,ηr,κx,κxr,κy,κyr,κ,κr等为正参数,
Figure A02137572000310
表示经左右眼中望远机测出的目标相对于视线的速度,第一式为转眼运动的方程式,第二式为共轭运动的方程式,通过第一式加第二式和第一式减第二式可得出每个电动机的转角。
10、根据权利要求8所述的仿生型自动视觉和视线控制方法,其特征在于,所述广角机的运动控制曲线f(t)是根据线性傅立叶变换法得到,可表示为:
f ( t ) = a 0 2 + Σ n = 1 m ( a n cos 2 nπ T t + b n sin 2 nπ T t )
其中,a0,an,bn利用反复学习式傅立叶反变换法把控制误差进行反变换求得,即,
a n [ i + 1 ] = a n [ i ] + k a 4 T ∫ 0 T ( R ( t ) - i θ ( t ) ) cos 2 nπ T tdt - - - - ( n = 0,1,2,3 , · · · m )
b n [ i + 1 ] = b n [ i ] + k b 4 T ∫ 0 T ( R ( t ) - i θ ( t ) ) sin 2 nπ T tdt - - - - ( n = 0,1,2,3 , · · · m )
其中T为把视线从现在位置转向目标位置所需要的时间,i是学习次数,R(t)是根据广角机测出的误差换算成电动机的最佳轨迹,iθ(t)是第i次学习时的电动机转角。
11、根据权利要求8所述的仿生型自动视觉和视线控制方法,其特征在于,该方法还包括步骤6):所述的平移加速度器及转角加速度器将测到的信号输入计算机,所述信号漏积分处理后用于调节摄像机位置以补偿基盘的振动或移动,所述的漏积分处理为信号通过传递函数T/(Ts+1))后使用。
12、根据权利要求9所述的仿生型自动视觉和视线控制方法,其特征在于,共轭运动的应答速度大于转角运动的应答速度。
13、根据权利要求8所述的仿生型自动视觉和视线控制方法,其特征在于,各个摄像机组利用信号交叉反馈的原理同时定位和跟踪同一目标。
CN02137572.0A 2002-10-22 2002-10-22 仿生型自动视觉和视线控制***及方法 Expired - Lifetime CN1219397C (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN02137572.0A CN1219397C (zh) 2002-10-22 2002-10-22 仿生型自动视觉和视线控制***及方法
JP2004545681A JP3862087B2 (ja) 2002-10-22 2003-10-20 生物の眼球運動神経システムに基づいたバイオ型自動視覚と視線制御システム
PCT/CN2003/000872 WO2004039077A1 (fr) 2002-10-22 2003-10-20 Systeme et procede de commande automatique de visualisation et de visee bionique
AU2003275518A AU2003275518A1 (en) 2002-10-22 2003-10-20 Bionic vision and sight automatic control system and method
US11/108,390 US7272306B2 (en) 2002-10-22 2005-04-18 Bionic automatic vision and line of sight control system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN02137572.0A CN1219397C (zh) 2002-10-22 2002-10-22 仿生型自动视觉和视线控制***及方法

Publications (2)

Publication Number Publication Date
CN1492668A true CN1492668A (zh) 2004-04-28
CN1219397C CN1219397C (zh) 2005-09-14

Family

ID=32111541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN02137572.0A Expired - Lifetime CN1219397C (zh) 2002-10-22 2002-10-22 仿生型自动视觉和视线控制***及方法

Country Status (5)

Country Link
US (1) US7272306B2 (zh)
JP (1) JP3862087B2 (zh)
CN (1) CN1219397C (zh)
AU (1) AU2003275518A1 (zh)
WO (1) WO2004039077A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100432696C (zh) * 2006-06-27 2008-11-12 上海大学 基于仿生人眼控制的地面运动目标低空自动跟踪***
CN101133299B (zh) * 2005-03-16 2010-04-14 张光荣 立体形状检测装置和立体形状检测方法
CN101166276B (zh) * 2006-10-17 2011-10-26 哈曼贝克自动***股份有限公司 由传感器辅助的视频压缩***和方法
CN102915044A (zh) * 2012-10-25 2013-02-06 上海大学 一种基于仿生机理的机器人头眼协调运动控制方法
CN103885336A (zh) * 2014-03-18 2014-06-25 武汉科技大学 基于鹤颈运动的移动视觉控制方法
US8788094B2 (en) 2009-10-31 2014-07-22 Bi2-Vision Co. Cooperative control device
CN105686835A (zh) * 2016-01-18 2016-06-22 张江杰 一种目光可视化的装置
US9537957B2 (en) 2009-09-02 2017-01-03 Lenovo (Singapore) Pte. Ltd. Seamless application session reconstruction between devices
WO2017167033A1 (zh) * 2016-03-30 2017-10-05 上海弼智仿生高科技有限公司 一种视觉***的图像处理方法及***
CN107646112A (zh) * 2015-03-20 2018-01-30 高等教育自主非营利组织斯科尔科沃科学和技术研究所 使用机器学习对眼睛图像进行校正的方法以及机器学习的方法
CN107959773A (zh) * 2016-10-18 2018-04-24 三星电子株式会社 拍摄图像的电子装置
CN108780504A (zh) * 2015-12-22 2018-11-09 艾奎菲股份有限公司 深度感知三目相机***
CN109108962A (zh) * 2017-06-23 2019-01-01 卡西欧计算机株式会社 机器人、机器人的控制方法以及存储介质
CN109516113A (zh) * 2018-12-21 2019-03-26 银河水滴科技(北京)有限公司 广视角视频采集装置及物料运转小车
CN110405764A (zh) * 2019-07-25 2019-11-05 北京理工大学 基于仿生眼机器人的轨迹追踪方法及装置、仿生眼、仿生眼机器人
CN114872036A (zh) * 2022-03-28 2022-08-09 青岛大学 一种基于仿生原理的机器人眼-头协同注视行为控制方法
US11614719B2 (en) 2019-07-25 2023-03-28 Beijing Institute Of Technology Wide-field-of-view anti-shake high-dynamic bionic eye

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065094A (ja) * 2004-08-27 2006-03-09 Giyourin Cho 眼球運動模擬システム、眼球運動模擬用ロボット及びバーチャルリアリティーを用いた眼球運動模擬システム
JP2006329747A (ja) * 2005-05-25 2006-12-07 Tokyo Institute Of Technology 画像撮影装置
JP2007120993A (ja) * 2005-10-25 2007-05-17 Tokyo Institute Of Technology 物体形状測定装置
WO2007148291A1 (en) * 2006-06-20 2007-12-27 Koninklijke Philips Electronics N.V. An artificial eye system with drive means inside the eye-ball
JP4899217B2 (ja) 2007-06-12 2012-03-21 国立大学法人東京工業大学 前庭動眼反射の原理を用いる眼球運動制御装置
KR101059806B1 (ko) * 2007-10-29 2011-08-26 재단법인서울대학교산학협력재단 전정안 반사를 응용한 안정화 제어 시스템 및 방법
WO2010077389A2 (en) 2008-08-05 2010-07-08 University Of Florida Research Foundation, Inc. Systems and methods for maintaining multiple objects within a camera field-of-view
US8411963B2 (en) * 2008-08-08 2013-04-02 The Nielsen Company (U.S.), Llc Methods and apparatus to count persons in a monitored environment
JP5229726B2 (ja) * 2008-08-20 2013-07-03 国立大学法人東京工業大学 遠距離視標探査カメラシステム
US9697746B2 (en) 2009-09-30 2017-07-04 National Ict Australia Limited Object tracking for artificial vision
JP4865065B1 (ja) * 2010-07-14 2012-02-01 Bi2−Vision株式会社 ステレオ撮像装置の制御システム
GB2499427A (en) * 2012-02-16 2013-08-21 Overview Ltd Video tracking apparatus having two cameras mounted on a moveable unit
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
KR101592165B1 (ko) * 2013-08-30 2016-02-11 한국전력공사 무인항공기의 영상취득장치 및 방법
GB2559090B (en) 2015-11-03 2020-10-07 Synaptive Medical Barbados Inc Dual zoom and dual field-of-view microscope
CN105824239B (zh) * 2016-03-25 2018-09-25 山东大学 带注视差异约束的平滑追踪眼动自适应跟踪控制器及方法
CN106060527B (zh) * 2016-08-01 2018-10-19 北京小鸟看看科技有限公司 一种扩展双目相机定位范围的方法和装置
US11238675B2 (en) * 2018-04-04 2022-02-01 The Boeing Company Mobile visual-inspection system
CN109366528A (zh) * 2018-12-04 2019-02-22 长安大学 一种多目视觉装置
CN110493588B (zh) * 2019-08-30 2021-07-06 上海大学 绳簧驱动的双目可调对焦距离的仿生眼执行机构
CN110842942A (zh) * 2019-11-26 2020-02-28 南京智能仿真技术研究院有限公司 一种具有高精度定位***的智能化机器人
CN114125230A (zh) * 2021-11-23 2022-03-01 北京航空航天大学 仿鹰眼强视力智能感知的目标检测***及其方法
CN114280709B (zh) * 2022-01-25 2023-04-18 宁波大学 一种视觉仿生感光成像装置及应用方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61101883A (ja) * 1984-10-25 1986-05-20 Canon Inc 輻輳角整合装置
JPH0432376A (ja) * 1990-05-29 1992-02-04 Nec Corp 画像追尾方式
US5838368A (en) * 1992-06-22 1998-11-17 Canon Kabushiki Kaisha Remote camera control system with compensation for signal transmission delay
EP0631250B1 (en) * 1993-06-21 2002-03-20 Nippon Telegraph And Telephone Corporation Method and apparatus for reconstructing three-dimensional objects
JP2000083188A (ja) * 1998-09-03 2000-03-21 Matsushita Electric Ind Co Ltd 監視カメラ装置
GB9918248D0 (en) * 1999-08-04 1999-10-06 Matra Bae Dynamics Uk Ltd Improvements in and relating to surveillance systems
JP2002064737A (ja) * 2000-08-23 2002-02-28 Rekoode Onkyo:Kk 自動探査追尾式カメラシステム
JP2002101408A (ja) * 2000-09-22 2002-04-05 Asahi Precision Co Ltd 監視カメラシステム
US6915008B2 (en) * 2001-03-08 2005-07-05 Point Grey Research Inc. Method and apparatus for multi-nodal, three-dimensional imaging
JP2003037765A (ja) * 2001-07-24 2003-02-07 Matsushita Electric Ind Co Ltd 虹彩撮像装置
GB2378339A (en) * 2001-07-31 2003-02-05 Hewlett Packard Co Predictive control of multiple image capture devices.
JP2006154675A (ja) * 2004-12-01 2006-06-15 Pentax Corp 撮像装置

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101133299B (zh) * 2005-03-16 2010-04-14 张光荣 立体形状检测装置和立体形状检测方法
CN100432696C (zh) * 2006-06-27 2008-11-12 上海大学 基于仿生人眼控制的地面运动目标低空自动跟踪***
CN101166276B (zh) * 2006-10-17 2011-10-26 哈曼贝克自动***股份有限公司 由传感器辅助的视频压缩***和方法
US9537957B2 (en) 2009-09-02 2017-01-03 Lenovo (Singapore) Pte. Ltd. Seamless application session reconstruction between devices
US8788094B2 (en) 2009-10-31 2014-07-22 Bi2-Vision Co. Cooperative control device
CN102915044A (zh) * 2012-10-25 2013-02-06 上海大学 一种基于仿生机理的机器人头眼协调运动控制方法
CN102915044B (zh) * 2012-10-25 2016-03-30 上海大学 一种基于仿生机理的机器人头眼协调运动控制方法
CN103885336A (zh) * 2014-03-18 2014-06-25 武汉科技大学 基于鹤颈运动的移动视觉控制方法
CN103885336B (zh) * 2014-03-18 2016-07-20 武汉科技大学 基于鹤颈运动的移动视觉控制方法
CN107646112A (zh) * 2015-03-20 2018-01-30 高等教育自主非营利组织斯科尔科沃科学和技术研究所 使用机器学习对眼睛图像进行校正的方法以及机器学习的方法
CN107646112B (zh) * 2015-03-20 2022-04-12 高等教育自主非营利组织斯科尔科沃科学和技术研究所 使用机器学习对眼睛图像进行校正的方法以及机器学习的方法
CN108780504A (zh) * 2015-12-22 2018-11-09 艾奎菲股份有限公司 深度感知三目相机***
CN108780504B (zh) * 2015-12-22 2022-03-29 派克赛斯有限责任公司 深度感知三目相机***
CN105686835A (zh) * 2016-01-18 2016-06-22 张江杰 一种目光可视化的装置
CN107292810B (zh) * 2016-03-30 2020-01-24 上海弼智仿生高科技有限公司 一种视觉***的图像处理方法及***
CN107292810A (zh) * 2016-03-30 2017-10-24 上海弼智仿生高科技有限公司 一种视觉***的图像处理方法及***
WO2017167033A1 (zh) * 2016-03-30 2017-10-05 上海弼智仿生高科技有限公司 一种视觉***的图像处理方法及***
US10567657B2 (en) 2016-03-30 2020-02-18 Shanghai Bizhi Bionic Technology Co., Ltd Image processing method and system for vision system
CN107959773A (zh) * 2016-10-18 2018-04-24 三星电子株式会社 拍摄图像的电子装置
CN109108962A (zh) * 2017-06-23 2019-01-01 卡西欧计算机株式会社 机器人、机器人的控制方法以及存储介质
CN109516113A (zh) * 2018-12-21 2019-03-26 银河水滴科技(北京)有限公司 广视角视频采集装置及物料运转小车
CN110405764A (zh) * 2019-07-25 2019-11-05 北京理工大学 基于仿生眼机器人的轨迹追踪方法及装置、仿生眼、仿生眼机器人
US11614719B2 (en) 2019-07-25 2023-03-28 Beijing Institute Of Technology Wide-field-of-view anti-shake high-dynamic bionic eye
CN114872036A (zh) * 2022-03-28 2022-08-09 青岛大学 一种基于仿生原理的机器人眼-头协同注视行为控制方法

Also Published As

Publication number Publication date
JP3862087B2 (ja) 2006-12-27
JP2006502675A (ja) 2006-01-19
US20050185945A1 (en) 2005-08-25
US7272306B2 (en) 2007-09-18
AU2003275518A1 (en) 2004-05-13
CN1219397C (zh) 2005-09-14
WO2004039077A1 (fr) 2004-05-06

Similar Documents

Publication Publication Date Title
CN1219397C (zh) 仿生型自动视觉和视线控制***及方法
CN106042005B (zh) 仿生眼定位追踪***的工作方法
EP0111909A2 (en) Picture processing apparatus
CN109079799B (zh) 一种基于仿生的机器人感知控制***及控制方法
CN108253939B (zh) 可变视轴单目立体视觉测量方法
US9160907B2 (en) Tracking apparatus
CN109360243B (zh) 一种多自由度可动视觉***的标定方法
CN102842117A (zh) 显微视觉***中运动误差矫正方法
CN104748764A (zh) 一种声场可视化***中声像平面的空间角度标定方法
CN115291536B (zh) 基于视觉的无人机跟踪地面目标半物理仿真平台验证方法
CN111612826A (zh) 一种基于双目视频传感器的高精度三维运动轨迹采集定位与运动过程再现方法
US3634008A (en) Automatically adjusting mounting means for studio pickup devices
CN110487509B (zh) 三通道光瞳耦合激光半主动目标模拟器
CN110355758A (zh) 一种机器跟随方法、设备及跟随机器人***
CN202953150U (zh) 一种船载激光成像稳瞄平台
CN202975814U (zh) 一种立体视觉空间动态跟踪装置
CN110572616A (zh) 一种基于自适应棱镜的自适应变焦全景监控***
CN108646760A (zh) 基于单目视觉移动机器人目标跟踪及平台控制***和方法
CN108769554B (zh) 一种阵列热成像仪
CN110110469A (zh) 基于奇异值分解的并联机器人动力学参数辨识方法
CN115713545A (zh) 一种光楔组驱动仿生双目视觉追踪装置和方法
CN212840383U (zh) 一种视频对象跟踪用电子眼
Christensen A low-cost robot camera head
CN209945278U (zh) 图像与激光相结合的火炮身管高低角测量装置
Pajor et al. Stereovision system for motion tracking and position error compensation of loading crane

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: ZHANG GUANGRONG

Effective date: 20040604

Owner name: ZHANG XIAOLIN

Free format text: FORMER OWNER: LEIKE ELECTRONIC SYSTEM CO., LTD., SHANGHAI

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20040604

Address after: 200001 room 10, No. 228, Lane 502, Guangxi North Road, Shanghai

Applicant after: Zhang Xiaolin

Co-applicant after: Zhang Guangrong

Address before: 201203 Shanghai Guo Shou Jing Road, Zhangjiang hi tech Park No. 351 Building No. 2 room 64,1-15

Applicant before: Leike Electronic System Co.,Ltd. Shanghai

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20171128

Address after: 200050 block E, No. 492 Anhua Road, Changning District, Shanghai 301

Patentee after: SHANGHAI EYEVOLUTION TECHNOLOGY Co.,Ltd.

Address before: 200001 room 10, No. 228, Lane 502, Guangxi North Road, Shanghai

Co-patentee before: Zhang Guangrong

Patentee before: Zhang Xiaolin

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 230088 a14-5, 13 / F, block a, building J1, phase II, innovation industrial park, No. 2800, innovation Avenue, high tech Zone, Hefei, Anhui Province

Patentee after: Anhui aiguan Vision Technology Co.,Ltd.

Address before: 200050 301, Block E, 492 Anhua Road, Changning District, Shanghai

Patentee before: SHANGHAI EYEVOLUTION TECHNOLOGY Co.,Ltd.

CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20050914