CN110207537A - 基于计算机视觉技术的火控装置及其自动瞄准方法 - Google Patents
基于计算机视觉技术的火控装置及其自动瞄准方法 Download PDFInfo
- Publication number
- CN110207537A CN110207537A CN201910531125.XA CN201910531125A CN110207537A CN 110207537 A CN110207537 A CN 110207537A CN 201910531125 A CN201910531125 A CN 201910531125A CN 110207537 A CN110207537 A CN 110207537A
- Authority
- CN
- China
- Prior art keywords
- motor
- fire control
- central server
- equipment
- computer vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000008685 targeting Effects 0.000 title claims description 6
- 230000008859 change Effects 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000033001 locomotion Effects 0.000 claims description 14
- 238000009434 installation Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000003139 buffering effect Effects 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000005611 electricity Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010057315 Daydreaming Diseases 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41A—FUNCTIONAL FEATURES OR DETAILS COMMON TO BOTH SMALLARMS AND ORDNANCE, e.g. CANNONS; MOUNTINGS FOR SMALLARMS OR ORDNANCE
- F41A19/00—Firing or trigger mechanisms; Cocking mechanisms
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41A—FUNCTIONAL FEATURES OR DETAILS COMMON TO BOTH SMALLARMS AND ORDNANCE, e.g. CANNONS; MOUNTINGS FOR SMALLARMS OR ORDNANCE
- F41A27/00—Gun mountings permitting traversing or elevating movement, e.g. gun carriages
- F41A27/06—Mechanical systems
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41G—WEAPON SIGHTS; AIMING
- F41G1/00—Sighting devices
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41G—WEAPON SIGHTS; AIMING
- F41G5/00—Elevating or traversing control systems for guns
- F41G5/06—Elevating or traversing control systems for guns using electric means for remote control
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30212—Military
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Optics & Photonics (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供一种基于计算机视觉技术的自动瞄准火控装置，涉及军工安防领域。其包括火控***端和中央服务器端，所述火控***端由下至上依次为固定支架、电气仓、整体***水平旋转电机、摄像头仓、装备***水平旋转电机、装备固定装置，所述装备固定装置上还安装有装备***垂直旋转电机、武器固定支架和装备扳机控制***；还提供一种控制方法，采用人工智能技术中重要的分支—计算机视觉技术应用于武器火控***中，达到自动识别、跟踪、瞄准、开火的过程。
Description
技术领域
本发明涉及军工安防领域，尤其是基于计算机视觉技术的火控装置及其自动瞄准方法。
背景技术
近年来随着计算机处理速度的提升和模型的改进，人工智能技术快速发展，其中以计算机视觉为代表的人工智能图像处理技术已应用于安防摄像头、人脸识别等多种场合，但目前在装备火控领域尚无大规模应用。
在当前传统小型远程火控***中，由操作人员进行目标识别，并控制武器装备射击，这种方式有三个可提升的地方：一是操作人员必须实时对视频信号进行监控，单一操作人员同时监控的视频数量较为有限，并且注意力不集中时容易遗漏目标；二是在面对多个目标时，操作人员手动瞄准每个目标均需一定时间，在向第一个或前两个目标开火时，其他目标有反应时间进行隐蔽或反制；三是由操作人员瞄准并射击的精度有限，尤其在面对运动物体时，容易错过攻击机会。
发明内容
本发明的目的在于解决上述问题，将计算机视觉技术融入到远程装备火控***中，配合高精度电机，实现自动监控、跟踪锁定、精确瞄准、快速打击的效果。本发明为操作员提供了自动控制模式和手动控制模式，以灵活应对各种复杂情况。
本发明是这样实现的：一种基于计算机视觉技术的火控装置，包括火控***端和中央服务器端，其特征在于：所述火控***端由下至上依次为固定支架、电气仓、整体***水平旋转电机、摄像头仓、装备***水平旋转电机、装备固定装置，所述装备固定装置上还安装有装备***垂直旋转电机、武器固定支架和装备扳机控制***；
所述整体***水平旋转电机、装备***水平段转电机和装备***垂直旋转电机均包括定子部分和转子部分；
所述电气仓下端连接在固定支架上，上端与整体***水平旋转电机的定子部分连接，电气仓内部整合安装电机控制***、可充电电池、可充电电池充电器、交流电源***、远程通信***；
所述摄像头仓下端安装在所述整体***水平旋转电机的转子上，上端连接装备***水平旋转电机的定子；所述装备***水平旋转电机的转子连接装备固定装置；
所述装备固定装置为U型槽结构，其内部安装武器固定支架，所述武器固定支架的一侧连接在装备垂直旋转电机的转子上，所述装备垂直旋转电机的定子安装在装备固定装置的一侧内壁上，另一侧通过固定轴承连接在装备固定装置的另一侧内壁上；下端为缓冲坐力滑轨***，滑轨末端为弹簧缓冲，滑轨上安装滑块与武器装备连接；
所述中央服务器端包括中央服务器运算***和中央服务器界面***。
优选地，所述火控***端和中央服务器端通过远程通信模块进行通信连接，火控***端向中央服务器端输入实时视频信号，并接受中央服务器端发送的电机控制信号。
所述摄像头仓内置变焦摄像头，所述变焦摄像头的视野方向与武器装备的方向相同，摄像头仓将摄像头包裹住，防止被轻易破坏，只露出摄像头的镜头部位。摄像头仓的下半部分与整体***水平旋转电机连接。
所述装备扳机控制***采取电子信号控制和机械控制两种方式；对于安装电子控制芯片的装备，使用电子信号控制缩短火控的延迟时间；采用机械控制使用电机模拟人的手指来按动扳机，提高了***对装备的兼容性。
所述远程通信***分别连接变焦摄像头和电机控制***，电机控制***连接至所述整体***旋转水平旋转电机、装备***水平旋转电机、装备***垂直旋转电机和装备扳机控制***，用于向每个电机发送服务器的控制指令。
所述中央服务器端可连接并控制多个位置的火控***端，完成区域布防。
所述电气仓与整体***水平旋转电机的连接处为凹槽，所述的整体***水平旋转电机安装于凹槽内，凹槽的深度小于电机的厚度，防止电机万全暴露在外，同时使得***的旋转不受水平摩擦力的影响，缓冲后坐力滑轨***是为了使装备的后坐力吸收到前后方向的滑轨上，避免装备向上下左右方向偏移。
优选地，所述中央服务器运算***利用基于深度神经网络训练得到的特定类别物体的识别模型及物体运动跟踪模型，对图像信号进行处理，完成实时物体识别及追踪。
还提供一种基于计算机视觉技术的火控装置的控制方法，火控***端将变焦摄像头摄制的图像信号通过远程通信***实时上传至中央服务器端，中央服务器运算***利用基于深度神经网络训练得到的特定类别物体的识别模型及物体运动跟踪模型，对图像信号进行处理，完成实时物体识别及追踪，当中央服务器运算***发现摄像头摄制区域出现特定类别物体后，在中央服务器界面***上显示摄像头视频信号并提示相关物体识别信息；
对物体进行识别之后，后台可在中央服务器界面***进行目标选取和锁定，由中央服务器***计算目标的位置以及运行轨迹，根据所计算的目标位置及运行轨迹，发送相应的电机指令，控制电机运转瞄准并进行拦截，后台的拦截过程可选择两种控制模式：
自动瞄准火控模式。判定是否对指定目标进行锁定并采取措施，如锁定并采取措施，中央服务器根据指定物体在摄像头中显示的实时坐标，向火控***端发送控制信号调整装备***水平旋转电机和装备***垂直旋转电机，使装备瞄准目标物体并采取措施。如锁定多个物体，向第一个物体采取措施后，装备***将旋转到第二个物体的实时坐标并采取措施，以此类推。由于运算平台的快速处理速度以及电机的高精度定位，可以实现对多个目标采取措施。
远程操作装备***模式。操作员在中央服务器界面***中滑动和点击鼠标，中央服务器将鼠标位置信息转换为控制信号发送给火控***端，以控制装备***水平旋转电机和装备***垂直旋转电机，使装备的瞄准方向与鼠标的坐标位置实时保持一致。实现操作员远程控制装备***，提高了瞄准的精准性并避免人员伤亡。
目前***为了避免向非目标物体采取措施，采用了操作员进行决策的方式，必要时可以切换为发现目标物体即自动采取措施的模式
所述的目标位置以及运动轨迹的计算包括慢速目标的位置视野范围角位置计算和快速目标的运动轨迹预测计算方式。
所述的拦截过程加入冗余措施，以连续射击的方式确保命中目标。
本发明实施例至少具有如下优点或有益效果：
一是可以起到传统监控效果，相比传统的监视摄像头，通过识别目标物体而发出警报的模式，可以使操作人员监控更多区域；
二是通过计算机进行火控可以达到更精准和更快速的射击；
三是武器***的射击由中心服务器端的操作人员进行决策，避免前线人员伤亡；
四是采用自动瞄准射击和远程手动控制射击两种模式，更灵活的应对战场复杂情况；
五是体积小、成本低，可以进行有效伪装，并大规模部署；
六是通过人工智能技术中重要的分支—计算机视觉技术应用于武器火控***中，达到自动识别、跟踪、瞄准、射击的过程。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例的火控装置结构示意图；
图2为本发明实施例的火控装置***示意图；
图3为本发明实施例的目标位置计算方式示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明实施例的描述中，需要说明的是，若出现术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，若出现术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本发明实施例的描述中，“多个”代表至少2个。
在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
如附图1所示，一种基于计算机视觉技术的火控装置，包括火控***端和中央服务器端，所述火控***端由下至上依次为固定支架1、电气仓2、整体***水平旋转电机3、摄像头仓4、装备***水平旋转电机5、装备固定装置6，所述装备固定装置上还安装有装备***垂直旋转电机8、武器固定支架7和装备扳机控制***10。具体而言：
固定支架是将火控端固定于地面的支架，在支架末端(地面端)留有孔以方便将支架钉于地面，避免武器射击时后坐力导致火控端不稳定。地面固定支架的顶端通过螺栓与上面电气仓的下半部分相连接。作为优选，本实施例的固定支架采用三脚架描述，实际可以是用于固定的任意固定装置，除了能够将装备固定在地面处作为安防监控用途，也可应用于装甲车等移动装备上。
电机控制***、通信模块、可充电电池、电池充电器、交流电源***作为整个火控端***的电气控制模块，整合并安装于电气仓内，电气仓的外壳较厚，防止被轻易损坏。电气仓分为上半部分和下半部分，下半部分与地面固定支架连接，上半部分与整体***水平旋转电机连接。
变焦摄像头置于摄像头仓中，摄像头仓将摄像头包裹住，防止被轻易破坏，只露出摄像头的镜头部位。摄像头仓的下半部分与整体***水平旋转电机连接。
摄像头仓的上半部分与装备***水平旋转电机的定子通过螺栓连接。装备***水平旋转电机作为控制武器装备水平旋转的电机，其上半部分即转子部分与装备固定装置外壳连接。
装备固定装置外壳为一个U型凹槽，凹槽的下半部分通过螺栓与装备***水平旋转电机的转子连接，从武器对准的方向看，凹槽的右半部分内部通过螺栓与装备***垂直旋转电机的定子连接，凹槽的左半部分内部通过螺栓与固定轴承相连接，固定轴承的作用是为了承重，避免装备***垂直旋转电机受到垂直向下力的负载过高。
装备***垂直旋转电机的转子和装备固定装置连接，装备固定装置整体也是一个U型凹槽，从武器对准的方向看，右边与装备***垂直旋转电机连接，左边与固定轴承连接。装备固定装置的下半部分是缓冲后坐力滑轨***10，滑轨上有滑块与武器装备连接，滑轨末端是弹簧***，以吸收武器装备射击时的后坐力并在射击后恢复原位。装备固定装置的内侧两侧可以根据不同的武器形状安装相应的固定件，在使用后坐力较小的武器装备时可以不使用滑轨固定，而是直接固定在装备固定装置的内侧两侧。
装备扳机控制***主要由一个单片机和小型电机组成，有两个模式：一是电路控制模式，如果武器装备可以接受电子控制信号控制，装备扳机控制***将与武器装备的控制电路连接。装备扳机控制***在接收到射击指令后，向武器装备的控制电路发送其可识别的射击指令；二是物理控制模式，如果武器装备只能通过按扳机射击，将装备控制***的模拟手指放于武器的扳机上。当装备扳机控制***收到射击指令后，控制小型电机带动模拟手指勾下扳机，达到控制武器射击的目的。
所述中央服务器端包括中央服务器运算***和中央服务器界面***，所述远程通信***分别连接变焦摄像头和电机控制***，电机控制***连接至所述整体***旋转水平旋转电机、装备***水平旋转电机、装备***垂直旋转电机和装备扳机控制***，用于向每个电机发送中央服务器运算***的控制指令。
在本实施例中，火控***端将变焦摄像头摄制的图像信号通过远程通信***实时上传至中央服务器端，中央服务器运算***利用基于深度神经网络训练得到的特定类别物体的识别模型及物体运动跟踪模型，对图像信号进行处理，完成实时物体识别及追踪，当中央服务器运算***发现摄像头摄制区域出现特定类别物体后，在中央服务器界面***上显示摄像头视频信号并提示相关物体识别信息。
由于基于计算机视觉的敌我识别技术在实际应用中精度会很低，可能会造成误伤，除非敌我双方穿着有明显区别的服装，并与平民服装不同，而且不会有欺诈的情形出现，因此在本方案中，中央服务器运算***会先进行物体识别，再由后台人员判断敌我。通过训练让模型去识别特定的物体例如人体，而不是基于物体是否运动来识别，模型实时识别视频图像中是否有人体，并用框将人体框出来，这样就不会对武器装备和飞行器、猫狗等其他物体的识别而触发报警信号。同理，也可对武器装备和飞行器进行识别，或者同时对武器装备和人体进行识别。目前，基于卷积神经网络的物体检测技术已经能够实现对目标视野内的物体进行图像分类、识别和分割工作，分辨图像内是否包含有某种物体，然后通过任务细化对目标进行检测和识别，尽可能的搜索出图像目标区域内某一物体的位置和形状信息，进而识别类似于该物体的图像分类，判断当前所拍摄的图像块的目标具体是什么类型，然后根据对象的内容进行图像的分割，区分每一个出现在目标图像范围内的物体类别，然后在进行对象个体分割，区分出单个目标并划区域显示。以R-CNN算法为例，遵循传统目标检测的思路，同样采用提取框，对每个框提取特征、图像分类、非极大值抑制四个步骤进行目标检测。只不过在提取特征这一步，将传统的特征(如SIFT、HOG特征等)换成了深度卷积网络提取的特征。对于视频监控区域，R-CNN基于selectivesearch方法大约生成2000个候选区域，然后每个候选区域被resize成固定大小，并送入一个CNN模型中，最后得到一个特征向量。然后这个特征向量被送入一个多类别SVM分类器中，预测出候选区域中所含物体的属于每个类的概率值。每个类别训练一个SVM分类器，从特征向量中推断其属于该类别的概率大小。为了提升定位准确性，R-CNN最后又训练了一个边界框回归模型，通过边框回归模型对框的准确位置进行修正。当然物体识别模型也可以训练成识别多个种类的物体，本案所需要识别的物体就包括各种视野内的武器装备以及活动的人员。
本案中，转向电机能够完成提高***的控制范围以及控制武器瞄准使用，实现武器的快速准确瞄准，需要电机有两点特性：一是精确的转动角度；二是转速不能过慢。例如使用数字编码控制的直流无刷电机，其精度可以达到0.02度甚至更小，远高于枪械的瞄准精度，额定转速达到450rpm，即每秒钟7转。一般摄像头范围内从最左面到最右面的角度小于60度，那么电机控制枪械从最左面转到最右面需要的时间是60/(360*7)秒约等于25ms。该转向速度远远低于人类用枪械瞄准的速度，所以用电机控制枪械在运动速度上能够有效满足。
电机接收到转向信号才能移动，转向信号由计算机计算并发出，以本案为例，如图3所示，其计算流程包括如下方式：
1.假设视频分辨率是w*h，摄像头最左面到最右面的角度范围是m度，最下面到最上面的角度范围是n度。可以设定枪械转到视频最左面对应水平电机角度为0度，转到最右面对应水平电机角度为m度，转到最上面对应垂直电机角度为0度，转到最下面对应垂直电机角度为n度。即对应视频中点的电机角度为(m/2度，n/2度)
2.视频中出现目标类别物体，模型识别出了物体，并开始追踪物体，计算并记录物体每帧的角位置，用于射击和运动预测，其中的帧是指视频帧，一般为每秒25帧。
3.角位置计算过程：获取到敌人中心点，即可作为射击瞄准的点，在视频中的像素坐标是(x,y)，根据三角函数计算，可以得到敌人中心点的水平角度和垂直角度。
这里以计算水平角度θ为例，
计算公式为：
水平角度θ＝Arctan((x-w/2)/(w/2/tan(m/2)))+m/2；
同理
垂直角度＝Arctan((y-h/2)/(h/2/tan(n/2)))+n/2。
4.后台操作员选取了需要拦截的目标，计算机将该目标在当前帧的角位置信息转换成电机控制信号发送给电机，本案实施例中，电机控制信号的格式如下表所示：
命令中包含了两个控制参数，分别定义了电机的转动方向和目标位置的单圈角度值，在该模式下的电机转动的最大速度由设定值中的Max Speed决定，该命令的总长度为10字节。
5.电机收到信号后开始转动，计算机向电机发送控制信号的50ms后，发送射击信号，以确保电机已经转动到位再射击。
6.向第一个锁定的敌人射击后，回到第3步，计算第二个敌人角度当前帧位置信息，继续4、5、6步骤。
考虑在转向过程中射击会影响枪械的准确性，在整个过程中，电机不需要跟随敌人移动，而是获取敌人位置后快速转向，转向停止后再射击，由于整个过程持续时间很短，所以对于移动速度不是很快的物体来说可以达到击中的目的，可以加入冗余机制，连续向同一个敌人执行多次射击过程。
对于快速移动的目标，需要选择运动预测模式，制提前计算出未来一段时间的位置，例如在目前的***响应速度下，需要计算出未来150毫秒左右敌方的位置，以补偿电机的转动时间和射击时间。
运动预测机制核心是根据过去一段时间的角速度来预测未来的角速度，预测的计算方法有很多，例如几何平均法、算术平均法、加权平均法、线性回归法等，从精度和火控速度来看，由于预测的时间很短，不超过100毫秒，各种方法无太大差别，本案以加权平均法为例，说明运动模式如何进行快速移动目标的运动轨迹预测：
在操作员进行射击决策后，假设当前视频帧为T帧，在当前视频帧之前为T-1、T-2、T-3、……帧，在未来的帧为T+1、T+2、T+3、……帧。这里选取最近N帧的角度信息进行运动预测，以计算水平角位置为例，在T帧的水平角度为AT，T-1帧为AT-1,，……,T-N帧为AT-N,则从T-1帧到T帧之间的角速度为AT-AT-1，……，从T-N帧到T-N+1帧之间的角速度为AT-N+1-AT-N。
未来角速度Qf
Qf＝p1*(AT-AT-1)+p2*(AT-1-AT-2)+……+pn*(AT-N+1-AT-N)
同时p1+p2+……+pn-1+pn＝1
p1≥p2≥p3……≥pn-1≥pn
视频每秒25帧，每帧40毫秒，如果预测未来第m帧的位置，即预测未来40*m毫秒的位置，其角度为
AT+m＝AT+Qf*m
计算垂直角位置同理。将预测角速度计算完毕后，发送给电机，电机旋转调整角度并向预测敌人的方向射击。
除了直接射击模式和运动预测模式之外，还有操作员手动控制模式。在操作员手动控制模式下，计算机获取操作员鼠标在视频上的像素位置，转换为角位置，向电机发送控制信号，电机转向该角位置，实现电机跟随鼠标移动。如操作员点击鼠标，则执行射击命令。
当目标范围内出现多个地方目标时，优先级由操作员判定，操作员可以点击锁定多个目标，射击顺序由点击顺序决定。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于计算机视觉技术的火控装置，包括火控***端和中央服务器端，其特征在于：所述火控***端由下至上依次为固定支架、电气仓、整体***水平旋转电机、摄像头仓、装备***水平旋转电机、装备固定装置，所述装备固定装置上还安装有装备***垂直旋转电机、武器固定支架和装备扳机控制***；
所述整体***水平旋转电机、装备***水平段转电机和装备***垂直旋转电机均包括定子部分和转子部分；
所述电气仓下端连接在固定支架上，上端与整体***水平旋转电机的定子部分连接，电气仓内部整合安装电机控制***、可充电电池、可充电电池充电器、交流电源***、远程通信***；
所述摄像头仓下端安装在所述整体***水平旋转电机的转子上，上端连接装备***水平旋转电机的定子；所述装备***水平旋转电机的转子连接装备固定装置；
所述装备固定装置为U型槽结构，其内部安装武器固定支架，所述武器固定支架的一侧连接在装备垂直旋转电机的转子上，所述装备垂直旋转电机的定子安装在装备固定装置的一侧内壁上，所述武器固定支架的另一侧通过固定轴承连接在装备固定装置的另一侧内壁上；下端为缓冲坐力滑轨***，滑轨末端为弹簧缓冲，滑轨上安装滑块与武器装备连接；
所述中央服务器端包括中央服务器运算***和中央服务器界面***。
2.根据权利要求1所述的基于计算机视觉技术的火控装置，其特征在于，所述火控***端和中央服务器端通过远程通信模块进行通信连接，火控***端向中央服务器端输入实时视频信号，并接受中央服务器端发送的电机控制信号。
3.根据权利要求1所述的基于计算机视觉技术的火控装置，其特征在于，所述摄像头仓内置变焦摄像头，所述变焦摄像头的视野方向与武器装备的方向相同。
4.根据权利要求1所述的基于计算机视觉技术的火控装置，其特征在于，所述装备扳机控制***采取电子信号控制和机械控制两种方式；对于安装电子控制芯片的装备，使用电子信号控制可以缩短火控的延迟时间；对机械控制的装备，使用电机模拟人的手指来按动装备扳机，提高了***对装备的兼容性。
5.根据权利要求1所述的基于计算机视觉技术的火控装置，其特征在于，所述远程通信***分别连接变焦摄像头和电机控制***，电机控制***连接至所述整体***旋转水平旋转电机、装备***水平旋转电机、装备***垂直旋转电机和装备扳机控制***，用于向每个电机发送服务器的控制指令。
6.根据权利要求1所述的基于计算机视觉技术的火控装置，其特征在于，所述电气仓与整体***水平旋转电机的连接处为凹槽，所述的整体***水平旋转电机安装于凹槽内，凹槽的深度小于电机的厚度，防止电机完全暴露在外，同时使得***的旋转不受水平摩擦力的影响。
7.一种基于计算机视觉技术的火控装置的自动瞄准方法，其特征在于，火控***端将变焦摄像头摄制的图像信号通过远程通信***实时上传至中央服务器端，中央服务器运算***利用基于深度神经网络训练得到的特定类别物体的识别模型及物体运动跟踪模型，对图像信号进行处理，完成实时物体识别及追踪，当中央服务器运算***发现摄像头摄制区域出现特定类别物体后，在中央服务器界面***上显示摄像头视频信号并提示相关物体识别信息；
对物体进行识别之后，后台可在中央服务器界面***进行目标选取和锁定，由中央服务器***计算目标的位置以及运行轨迹，根据所计算的目标位置及预判的目标运行轨迹，发送相应的电机指令，控制电机运转瞄准并进行拦截。
8.根据权利要求7所述的自动瞄准方法，其特征在于，所述的拦截过程可加入冗余措施，以连续瞄准并射击的方式确保命中目标。
9.根据权利要求7所述的自动瞄准方法，其特征在于，所述的目标位置以及运动轨迹的计算包括慢速目标的位置视野范围角位置计算和快速目标的运动轨迹预测计算。
10.根据权利要求7所述的自动瞄准方法，其特征在于，所述的射击模式包括直接射击模式和手动控制模式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910531125.XA CN110207537A (zh) | 2019-06-19 | 2019-06-19 | 基于计算机视觉技术的火控装置及其自动瞄准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910531125.XA CN110207537A (zh) | 2019-06-19 | 2019-06-19 | 基于计算机视觉技术的火控装置及其自动瞄准方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110207537A true CN110207537A (zh) | 2019-09-06 |
Family
ID=67793601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910531125.XA Pending CN110207537A (zh) | 2019-06-19 | 2019-06-19 | 基于计算机视觉技术的火控装置及其自动瞄准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110207537A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111006548A (zh) * | 2019-12-18 | 2020-04-14 | 山东交通学院 | 多场景模拟自动攻击靶机及自动攻击方法 |
| CN111609753A (zh) * | 2020-06-01 | 2020-09-01 | 中光智控(北京)科技有限公司 | 一种扳机控制方法及*** |
| CN113008079A (zh) * | 2021-03-02 | 2021-06-22 | 江苏科技大学 | 一种基于视觉定位跟踪的捕捉网发射装置 |
| CN113790629A (zh) * | 2021-08-24 | 2021-12-14 | 上海合时智能科技有限公司 | 一种全自动的枪架*** |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080136916A1 (en) * | 2005-01-26 | 2008-06-12 | Robin Quincey Wolff | Eye tracker/head tracker/camera tracker controlled camera/weapon positioner control system |
| KR20100103295A (ko) * | 2009-03-13 | 2010-09-27 | 삼성테크윈 주식회사 | 감시 경계 로봇 시스템 |
| CN104501657A (zh) * | 2014-12-18 | 2015-04-08 | 扬州天目光电科技有限公司 | 遥控型激光测距目标指示器 |
| CN104796612A (zh) * | 2015-04-20 | 2015-07-22 | 河南弘金电子科技有限公司 | 高清雷达联动跟踪控制摄像***及联动跟踪方法 |
| CN106352877A (zh) * | 2016-08-10 | 2017-01-25 | 纳恩博（北京）科技有限公司 | 一种移动装置及其定位方法 |
| CN107084643A (zh) * | 2017-03-28 | 2017-08-22 | 东南大学 | 一种云台发射器及其自动识别与瞄准*** |
| CN107907131A (zh) * | 2017-11-10 | 2018-04-13 | 珊口（上海）智能科技有限公司 | 定位***、方法及所适用的机器人 |
| CN108198199A (zh) * | 2017-12-29 | 2018-06-22 | 北京地平线信息技术有限公司 | 运动物体跟踪方法、运动物体跟踪装置和电子设备 |
| CN108229411A (zh) * | 2018-01-15 | 2018-06-29 | 上海交通大学 | 基于rgb彩色图像的人体手持刀行为检测***及方法 |
| CN108351654A (zh) * | 2016-02-26 | 2018-07-31 | 深圳市大疆创新科技有限公司 | 用于视觉目标跟踪的***和方法 |
| CN108898624A (zh) * | 2018-06-12 | 2018-11-27 | 浙江大华技术股份有限公司 | 一种运动物体跟踪的方法、装置、电子设备和存储介质 |
| CN109483548A (zh) * | 2018-12-21 | 2019-03-19 | 华南理工大学广州学院 | 一种智能跟踪对抗射击机器人及其控制方法 |
| CN109643127A (zh) * | 2018-11-19 | 2019-04-16 | 珊口（深圳）智能科技有限公司 | 构建地图、定位、导航、控制方法及***、移动机器人 |
-
2019
- 2019-06-19 CN CN201910531125.XA patent/CN110207537A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080136916A1 (en) * | 2005-01-26 | 2008-06-12 | Robin Quincey Wolff | Eye tracker/head tracker/camera tracker controlled camera/weapon positioner control system |
| KR20100103295A (ko) * | 2009-03-13 | 2010-09-27 | 삼성테크윈 주식회사 | 감시 경계 로봇 시스템 |
| CN104501657A (zh) * | 2014-12-18 | 2015-04-08 | 扬州天目光电科技有限公司 | 遥控型激光测距目标指示器 |
| CN104796612A (zh) * | 2015-04-20 | 2015-07-22 | 河南弘金电子科技有限公司 | 高清雷达联动跟踪控制摄像***及联动跟踪方法 |
| CN108351654A (zh) * | 2016-02-26 | 2018-07-31 | 深圳市大疆创新科技有限公司 | 用于视觉目标跟踪的***和方法 |
| CN106352877A (zh) * | 2016-08-10 | 2017-01-25 | 纳恩博（北京）科技有限公司 | 一种移动装置及其定位方法 |
| CN107084643A (zh) * | 2017-03-28 | 2017-08-22 | 东南大学 | 一种云台发射器及其自动识别与瞄准*** |
| CN107907131A (zh) * | 2017-11-10 | 2018-04-13 | 珊口（上海）智能科技有限公司 | 定位***、方法及所适用的机器人 |
| CN108198199A (zh) * | 2017-12-29 | 2018-06-22 | 北京地平线信息技术有限公司 | 运动物体跟踪方法、运动物体跟踪装置和电子设备 |
| CN108229411A (zh) * | 2018-01-15 | 2018-06-29 | 上海交通大学 | 基于rgb彩色图像的人体手持刀行为检测***及方法 |
| CN108898624A (zh) * | 2018-06-12 | 2018-11-27 | 浙江大华技术股份有限公司 | 一种运动物体跟踪的方法、装置、电子设备和存储介质 |
| CN109643127A (zh) * | 2018-11-19 | 2019-04-16 | 珊口（深圳）智能科技有限公司 | 构建地图、定位、导航、控制方法及***、移动机器人 |
| CN109483548A (zh) * | 2018-12-21 | 2019-03-19 | 华南理工大学广州学院 | 一种智能跟踪对抗射击机器人及其控制方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111006548A (zh) * | 2019-12-18 | 2020-04-14 | 山东交通学院 | 多场景模拟自动攻击靶机及自动攻击方法 |
| CN111006548B (zh) * | 2019-12-18 | 2022-02-11 | 山东交通学院 | 多场景模拟自动攻击靶机及自动攻击方法 |
| CN111609753A (zh) * | 2020-06-01 | 2020-09-01 | 中光智控(北京)科技有限公司 | 一种扳机控制方法及*** |
| CN113008079A (zh) * | 2021-03-02 | 2021-06-22 | 江苏科技大学 | 一种基于视觉定位跟踪的捕捉网发射装置 |
| CN113790629A (zh) * | 2021-08-24 | 2021-12-14 | 上海合时智能科技有限公司 | 一种全自动的枪架*** |
| CN113790629B (zh) * | 2021-08-24 | 2023-10-24 | 上海合时智能科技有限公司 | 一种全自动的枪架*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110207537A (zh) | 基于计算机视觉技术的火控装置及其自动瞄准方法 | |
| Sengupta et al. | mmpose-nlp: A natural language processing approach to precise skeletal pose estimation using mmwave radars | |
| CN107392173A (zh) | 一种基于光电搜索的反无人机*** | |
| Varcheie et al. | Adaptive fuzzy particle filter tracker for a PTZ camera in an IP surveillance system | |
| CN112085003A (zh) | 公共场所异常行为自动识别方法及装置、摄像机设备 | |
| CN110516578A (zh) | 一种基于人脸识别和目标跟踪的监视*** | |
| CN106646506A (zh) | 一种基于高速摆镜的红外面阵搜索跟踪***及方法 | |
| Meissner et al. | Real-time detection and tracking of pedestrians at intersections using a network of laserscanners | |
| CN105810023B (zh) | 机场起落架收放自动监测方法 | |
| CN201114551Y (zh) | 多模多目标精密跟踪装置 | |
| CN110009060A (zh) | 一种基于相关滤波与目标检测的鲁棒性长期跟踪方法 | |
| CN107084644B (zh) | 一种枪械自动瞄准跟踪***及方法 | |
| CN115220034A (zh) | 一种人员状态监测方法 | |
| Kyrkou | C 3 Net: end-to-end deep learning for efficient real-time visual active camera control | |
| Li et al. | Multi-target tracking with trajectory prediction and re-identification | |
| Li et al. | RETRACTED ARTICLE: A City Monitoring System Based on Real-Time Communication Interaction Module and Intelligent Visual Information Collection System | |
| CN109670391A (zh) | 基于机器视觉的智慧照明装置及动态识别数据处理方法 | |
| CN112731387A (zh) | 用于油烟机的启动方法、装置、油烟机及处理器 | |
| CN109708659B (zh) | 一种分布式智能光电低空防护*** | |
| KR102356651B1 (ko) | 레이더 보안 카메라를 이용한 지능형 관제 방법 및 시스템 | |
| CN114882077A (zh) | 一种目标实时跟踪控制方法及*** | |
| CN113495490B (zh) | 设备控制方法、装置、电子设备及存储介质 | |
| Ji et al. | Secure olympics games with technology: Intelligent border surveillance for the 2022 Beijing winter olympics | |
| CN102034245A (zh) | 在无人直升机平台跟踪地标的方法 | |
| Shirzi et al. | Active tracking using intelligent fuzzy controller and kernel-based algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190906 |