CN113486878A - 一种图形化交互式机器视觉*** - Google Patents
一种图形化交互式机器视觉*** Download PDFInfo
- Publication number
- CN113486878A CN113486878A CN202110773140.2A CN202110773140A CN113486878A CN 113486878 A CN113486878 A CN 113486878A CN 202110773140 A CN202110773140 A CN 202110773140A CN 113486878 A CN113486878 A CN 113486878A
- Authority
- CN
- China
- Prior art keywords
- infrared
- information
- unit
- image
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 81
- 230000000007 visual effect Effects 0.000 claims abstract description 49
- 230000004044 response Effects 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000012795 verification Methods 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Library & Information Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图形化交互式机器视觉***,包括若干交互式视觉装置,所述交互式视觉装置包括图像采集器、红外发生器、采集触发模块、图形调取模块以及交互识别模块;以红外输出具带有信息内容的红外图形,完成另一个视觉装置的信息获取,从而完成图像的快速衔接,使得对于同一的目标而言,实现多视角识别和跟踪,这样就可以避免部分视角特征较少导致无法识别目标或者是图像拼接在移动式的设备中需要付出较大的算力,响应效率较低。
Description
技术领域
本发明涉及图像处理技术领域,更具体地说,涉及一种图形化交互式机器视觉***。
背景技术
图像识别,是指利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对象的技术,是应用深度学习算法的一种实践应用。现阶段图像识别技术一般分为人脸识别与商品识别,人脸识别主要运用在安全检查、身份核验与移动支付中;商品识别主要运用在商品流通过程中,特别是无人货架、智能零售柜等无人零售领域。
图像的传统识别流程分为四个步骤:图像采集→图像预处理→特征提取→图像识别。图像识别可能是以图像的主要特征为基础的。每个图像都有它的特征,如字母A有个尖,P有个圈、而Y的中心有个锐角等。对图像识别时眼动的研究表明,视线总是集中在图像的主要特征上,也就是集中在图像轮廓曲度最大或轮廓方向突然改变的地方,这些地方的信息量最大。而且眼睛的扫描路线也总是依次从一个特征转到另一个特征上。由此可见,在图像识别过程中,知觉机制必须排除输入的多余信息,抽出关键的信息。同时,在大脑里必定有一个负责整合信息的机制,它能把分阶段获得的信息整理成一个完整的知觉映象。而目前图像识别的难点是基于以下两个问题出现的,首先是在连续监测中会出现图像中对应目标特征变化导致无法辨识或因为特征较少导致无法辨识,以至于图像识别存在一定的难度,特别是在不同视角下的机器,无法对相同目标进行识别。而如果利用图像拼接技术通过单一图像的特征识别代替多视角识别,但是如果图像采集单元是可以移动、转向的,图像拼接算法的处理量就较大,难以满足实时图像识别追踪的效率需求。
发明内容
有鉴于此,本发明目的是提供一种图形化交互式机器视觉***,以解决上述问题。
为了解决上述技术问题,本发明的技术方案是:一种图形化交互式机器视觉***,包括若干交互式视觉装置,所述交互式视觉装置包括图像采集器、红外发生器、采集触发模块、图形调取模块以及交互识别模块;
所述图像采集器用于采集目标区域的图像并生成图像信息,任意图像采集器与其他图像采集器采集的目标区域存在重合区块;
所述红外发生器包括红外驱动单元和红外输出单元,所述红外驱动单元用于带动红外输出单元运动以调节红外输出单元的输出位置,所述红外输出单元用于输出红外光;
所述采集触发模块连接于所述图像采集器,所述采集触发模块包括特征识别单元、轮廓提取单元、区域确定单元以及触发输出单元,所述特征识别单元配置有特征识别策略,所述特征识别策略用于识别图像信息中的目标特征;所述轮廓提取单元配置有轮廓提取策略,所述轮廓提取策略根据图像信息中的目标特征所在的图区轮廓以获得目标图区;所述区域确定单元配置有区域确定策略,所述区域确定策略根据目标图区和重合区块在所述图像信息中确定重合图区,所述触发输出单元根据目标特征和重合图区生成触发信息,并将所述触发信息发送至所述图形调取模块;
所述图形调取模块包括信息调取单元以及指令生成单元,所述信息调取单元连接于外部图形化数据库,所述图形化数据库存储有若干图形化信息,所述图形化信息以目标特征为索引,所述信息调取单元根据触发信息中对应的目标特征调取对应的图形化信息,所述指令生成单元根据重合图区生成输出位置信息,并根据输出位置信息和图形化信息生成红外控制指令;
所述红外发生器包括指令响应单元,所述指令响应单元根据输出位置信息控制红外驱动单元工作以使所述红外输出单元运动至对应的位置,根据图形化信息控制红外输出单元工作以输出对应的红外图形;
所述交互识别模块连接于所述图像采集器,所述交互识别模块包括标识辨识单元、轮廓定位单元以及标识输出单元;所述标识辨识单元配置有标识识别策略,所述标识识别策略用于识别图像信息中的红外图形,并根据红外图形的内容获取对应的目标特征;所述轮廓定位单元配置有轮廓定位策略,所述轮廓定位策略根据图像信息中红外图形所在图区轮廓以获得标识图区,所述标识输出单元配置有标识输出策略,所述标识输出策略根据标识图区和重合区块在所述图像信息中确定重合图区,所述标识输出单元根据目标特征和重合图区生成触发信息,并将所述触发信息发送至图形调取模块。
进一步的:所述指令响应单元还配置有位置修正策略,所述位置修正策略包括实际图形获取步骤、理想图形生成步骤、图形比对步骤、位置修正步骤;所述实际图形获取步骤通过图像采集器获取图像信息中的红外图形以生成实际图形,所述理论图形生成步骤根据红外控制指令生成理论图形,所述图形比对步骤比对所述实际图形和理论图形生成相似度值,当所述相似度值低于预设的比对阈值时,根据实际图形和理论图形生成修正偏差信息,所述位置修正步骤根据修正偏差信息控制红外驱动单元工作以调整所述实际图形的位置。
进一步的:所述轮廓提取策略包括第一区域确定步骤以及第二区域确定步骤,所述第一区域确定步骤配置有第一色值确定条件,所述第一区域确定步骤确定其色值符合第一色值确定条件的所述目标特征相邻且连续的像点为第一预图区;所述第二区域确定步骤获取连续的若干帧图像信息,从若干帧图像信息对应的所述第一预图区中删除变化的图区区块以得到所述目标图区。
进一步的:所述交互式视觉装置根据图像采集器的重合区块配置有关联关系,所述触发信息还包括关联触发数据,所述关联触发数据反映重合图区所对应的具有关联关系的交互式视觉装置,所述图形调取模块还包括关联配置单元,所述关联配置单元用于标记所述关联触发数据于对应的图形化信息;
所述标识识别策略包括图形辨识步骤、图形验证步骤以及特征调取步骤;所述图形辨识步骤解析所述红外图形并获得对应的红外解析信息,所述图形验证步骤根据验证所述红外解析信息,所述特征调取步骤根据通过验证后的红外解析信息获取对应的目标特征。
进一步的:所述交互式视觉装置还包括无线模块,所述触发输出单元生成触发信息时,通过无线模块将触发信息发送至对应的交互式视觉装置;
所述图形验证步骤包括通过比对接收到的触发信息和红外解析信息以验证所述红外解析信息。
进一步的:所述红外发生器还包括感光干扰单元以及背光补偿单元,所述感光干扰单元用于检测环境光源并根据环境光源生成干扰补偿指令,所述背光补偿单元配置有背光补偿策略用于输出可见光图形,所述背光补偿策略包括补偿响应步骤、图形计算步骤以及图形输出步骤,所述补偿响应步骤包括根据补偿干扰指令生成可见光参数,所述图形计算步骤包括根据所述红外控制指令生成背光图形,所述背光图形和红外图形在所述的重合图区互补,所述图形输出步骤包括根据可见光参数以及背光图形输出可见光图形。
进一步的:所述轮廓定位策略包括第三区域确定步骤以及第四区域确定步骤,所述第三区域确定步骤配置有第二色值确定条件,所述第三区域确定步骤确定其色值符合第二色值确定条件的所述红外图形相邻且连续的像点为第二预图区;所述第四区域确定步骤包括根据原图像采集器采集的红外图形和当前图像采集器采集的红外图形生成转化比值,根据转化比值从当前的图像信息中确定重合区块的位置,合并第二预图区和当前的重合区块以获得标识图区。
进一步的:还包括建模数据库和建模处理端,所述建模数据库存储有建模特征,所述建模特征之间形成建模地址指针,所述建模地址指针与交互式视觉装置的位置关系对应,每一位置关系对应有若干建模特征,所述建模处理端包括建模策略,所述建模策略包括图区获取步骤、调用验证步骤以及模型拼接步骤,所述图区获取步骤包括从对应的图像信息中获取目标图区和标识图区,所述调用验证步骤以目标图区的图像内容为索引从所述建模数据库中确定对应的建模特征,并根据标识图区和目标图区对应的关联关系确定对应的建模地址指针,并根据目标图区的图像内容确定对应的建模特征,所述模型拼接步骤根据关联关系拼接获得的建模特征以获得建模模型。
进一步的:所述标识输出单元的生成的触发信息至少为两个,其中一个触发信息与上一个交互式视觉装置的触发输出单元生成触发信息对应。
进一步的:所述交互式视觉装置还包括心跳同步模块,所述心跳同步模块连接所述图像采集器,所述红外图形对应有第一同步频率,所述红外图形的图形内容以第一同步频率为基准周期性变化,所述心跳同步模块根据图像采集器中红外图形的变化周期获得第二同步频率,以第二同步频率修正该交互式视觉装置的时间频率。
本发明技术效果主要体现在以下方面:通过这样设置,以红外输出具带有信息内容的红外图形,完成另一个视觉装置的信息获取,从而完成图像的快速衔接,使得对于同一的目标而言,实现多视角识别和跟踪,这样就可以避免部分视角特征较少导致无法识别目标或者是图像拼接在移动式的设备中需要付出较大的算力,响应效率较低。
附图说明
图1:本发明的图形化交互式机器视觉***的交互式视觉装置内部拓扑图;
图2:本发明的图形化交互式机器视觉***的逻辑关联图;
图3:本发明的图形化交互式机器视觉***的红外发生器内部原理图;
图4:本发明的图形化交互式机器视觉***的采集触发模块内部原理图;
图5:本发明的图形化交互式机器视觉***的图形调取模块内部原理图
图6:本发明的图形化交互式机器视觉***的交互识别模块内部原理图。
附图标记:1、交互式视觉装置;100、图像采集器;200、红外发生器;210、红外驱动单元;220、红外输出单元;230、指令响应单元;240、感光干扰单元;250、背光补偿单元;300、采集触发模块;310、特征识别单元;320、轮廓提取单元;330、区域确定单元;340、触发输出单元;400、图形调取模块;410、信息调取单元;420、指令生成单元;430、关联配置单元;500、交互识别模块;510、标识辨识单元;520、轮廓定位单元;530、标识输出单元;600、无线模块;700、心跳同步模块;2、建模数据库;3、建模处理端。
具体实施方式
以下结合附图,对本发明的具体实施方式作进一步详述,以使本发明技术方案更易于理解和掌握。
一种图形化交互式机器视觉***,包括若干交互式视觉装置1,所述交互式视觉装置1包括图像采集器100、红外发生器200、采集触发模块300、图形调取模块400以及交互识别模块500;首先对交互式视觉装置1进行说明,交互式视觉装置1可以是固定的,也可以是移动的,而一般设置在公共场所或者是需要对目标进行识别的区域,但是由于目前图像信息数据量较大,而图形拼接算法复杂,所以例如特殊物体的识别和跟随就尤为重要,而通过红外发生器200的设置,首先不会对肉眼产生辨识影响,其次可使图像采集器100捕捉到对应的图像信息,需要说明的是,图像采集器100配置于原有的不同,其需要可以采集红外光的图像采集器100,例如感红外的摄像头,若没有红外图像采集器100,则可以用普通摄像头与红外摄像头图像叠加的方式实现。而如果交互式视觉装置1是可移动的,那么图像采集器100和红外发生器200则配置为跟随移动。
所述图像采集器100用于采集目标区域的图像并生成图像信息,任意图像采集器100与其他图像采集器100采集的目标区域存在重合区块;图像采集器100的设置是为了采集图像信息,而这个图像信息是以图像帧的形式存储到交互式视觉装置1,而需要说明的是,图像采集器100之间至少在安装关系上有基本要求,也就是每一个图像采集器100至少与另一或多个图像采集器100具有重复的采集区域,这样保证图像采集器100之间可以进行视觉交互。
所述红外发生器200包括红外驱动单元210和红外输出单元220,所述红外驱动单元210用于带动红外输出单元220运动以调节红外输出单元220的输出位置,所述红外输出单元220用于输出红外光;所述红外发生器200包括指令响应单元230,所述指令响应单元230根据输出位置信息控制红外驱动单元210工作以使所述红外输出单元220运动至对应的位置,根据图形化信息控制红外输出单元220工作以输出对应的红外图形;所述指令响应单元230还配置有位置修正策略,所述位置修正策略包括实际图形获取步骤、理想图形生成步骤、图形比对步骤、位置修正步骤;所述实际图形获取步骤通过图像采集器100获取图像信息中的红外图形以生成实际图形,所述理论图形生成步骤根据红外控制指令生成理论图形,所述图形比对步骤比对所述实际图形和理论图形生成相似度值,当所述相似度值低于预设的比对阈值时,根据实际图形和理论图形生成修正偏差信息,所述位置修正步骤根据修正偏差信息控制红外驱动单元210工作以调整所述实际图形的位置。作为优选的实施例,所述红外发生器200还包括感光干扰单元240以及背光补偿单元250,所述感光干扰单元240用于检测环境光源并根据环境光源生成干扰补偿指令,所述背光补偿单元250配置有背光补偿策略用于输出可见光图形,所述背光补偿策略包括补偿响应步骤、图形计算步骤以及图形输出步骤,所述补偿响应步骤包括根据补偿干扰指令生成可见光参数,所述图形计算步骤包括根据所述红外控制指令生成背光图形,所述背光图形和红外图形在所述的重合图区互补,所述图形输出步骤包括根据可见光参数以及背光图形输出可见光图形。首先红外发生器200的红外驱动单元210是驱动红外输出单元220在整个装置上动作,目的是为了使红外输出单元220可以选择任意的方向输出对应的红外图形,而红外输出单元220可以设置为红外发光阵列,每个红外发光体优选为直射式光源,以保证红外图形成像清晰,而红外指令相应单元是根据具体需要的指令,输出对应的图形,每个图形表示的内容不同,需要说明的是,因为识别红外图形和输出红外图形的视觉装置不同,而由于位置的不同以及目标物的被照射面不一定是平面,所以图形会出现畸变和扭曲,而通过接受侧基于基本定位配置有对应的修正算法,从而得到目标信息,而同时也需要指令相应单元配置位置修正策略,首先通过红外发射前、后的图像信息求差获得红外图形的实际图形,理论图形是根据红外控制指令就可以生成,例如对红外控制指令输出的实际图形和理想图形差距较大时,先通过实际图形和理想图形的差值关系生成修正偏差信息,然后根据偏差信息调整输出的位置,保证在不同位置得到的红外图形不会偏差过大导致无法识别。而红外发生器200还包括感光干扰单元240和背光补偿单元250,首先是感光干扰单元240通过照度检测器检测环境照度,而根据环境照度生成干扰补偿指令,如果环境照度过大,影响红外光的呈现和识别识别,那么通过背光补偿单元250输出可见光图形,保证另一个图像采集器100可以准确得采集到对应的图像,而背光补偿单元250可以将整个红外输出单元220设置为具有红外变光范围的可变光LED阵列,这样背光补偿单元250和红外输出单元220就可以进行复用,同时输出可见光和红外光,同时保证可见光图形和红外光图形可以互补。
所述采集触发模块300连接于所述图像采集器100,所述采集触发模块300包括特征识别单元310、轮廓提取单元320、区域确定单元330以及触发输出单元340,所述特征识别单元310配置有特征识别策略,所述特征识别策略用于识别图像信息中的目标特征;首先是特征识别策略,特征识别策略有两种输入方式,一种是通过后台直接输入目标特征,然后每个图像采集器100对应的特征识别单元310就可以通过对应的比对算法判断图像中是否存在对应的特征,另一种是通过后台数据库预先建立对应的特征比对策略,然后后台输入需要查找的目标物类别,例如行李箱,然后后台就可以根据行李箱这个特征信息从所有的图像采集器100获得的图像信息中进行辨识确定特征,而这个特征的确定是本方案的第一个步骤。
所述轮廓提取单元320配置有轮廓提取策略,所述轮廓提取策略根据图像信息中的目标特征所在的图区轮廓以获得目标图区;所述轮廓提取策略包括第一区域确定步骤以及第二区域确定步骤,所述第一区域确定步骤配置有第一色值确定条件,所述第一区域确定步骤确定其色值符合第一色值确定条件的所述目标特征相邻且连续的像点为第一预图区;所述第二区域确定步骤获取连续的若干帧图像信息,从若干帧图像信息对应的所述第一预图区中删除变化的图区区块以得到所述目标图区。轮廓提取策略是在获得对应特征后根据这个特征所在的位置确定轮廓,此处有个非常重要的目的,因为如果要对特征进行输出,不同视角下可能特征信息较少,而特征基础除了红外图形之外,和目标物的形状、体积都会成为要素,而如果缺少要素,一旦红外图形失去,就会出现丢失目标,例如对人脸识别,但是位于靠近顶部的摄像头就无法识别头顶的部分,但是如果人脸识别后会对轮廓特征进行提取,这样就可以根据轮廓特征找到头顶所在图像信息中的图区,就保证了特征要素较少时,提供了图像识别的基础,而第一区域确定步骤是根据特征所在位置判断附近的连续像素的色值,选取色值相近的图像形成第一的图像范围,也就是第一预图区,而第二区域确定步骤是根据连续图像中分离的图区区块,势必不属于该同一个物体,所以如果在连续图区中出现变化的图区区块,就从第一预图区中删除,就可以获得对应的目标图区。
所述区域确定单元330配置有区域确定策略,所述区域确定策略根据目标图区和重合区块在所述图像信息中确定重合图区,所述触发输出单元340根据目标特征和重合图区生成触发信息,并将所述触发信息发送至所述图形调取模块400;而目标图区确定后,就可以根据位置关系预先已知的重合区块就可以确定重合图区,因为重合图区可以作为红外输出的基础,重合图区呈现的红外图形可以被其他的交互式视觉装置1获得。而需要说明的是,重合图区可以出现多个,因为一个摄像头可能和多个摄像头存在重合区块,这样可以分别根据这些区块确定重合图区,输出对应的红外图形。
所述图形调取模块400包括信息调取单元410以及指令生成单元420,所述信息调取单元410连接于外部图形化数据库,所述图形化数据库存储有若干图形化信息,所述图形化信息以目标特征为索引,所述信息调取单元410根据触发信息中对应的目标特征调取对应的图形化信息,所述指令生成单元420根据重合图区生成输出位置信息,并根据输出位置信息和图形化信息生成红外控制指令;图形化数据库预先存储图形化信息,由于每个交互式视觉装置1都连接在同一后台端,所以对图形化数据库是具有特征共识,对于相同红外图形可以获得对应的相同的信息,而图形数据库是基于目标特征为索引,根据目标特征的不同设置不同,目标特征除了特征本身内容之外,还包括特征在图像信息中的大小,形状等等,通过信息调取单元410就可以调取到图形化信息,然后通过重合图区确定该信息的输出位置,生成红外控制指令,红外输出单元220就可以输出红外图形。所述交互式视觉装置1根据图像采集器100的重合区块配置有关联关系,所述触发信息还包括关联触发数据,所述关联触发数据反映重合图区所对应的具有关联关系的交互式视觉装置1,所述图形调取模块400还包括关联配置单元430,所述关联配置单元430用于标记所述关联触发数据于对应的图形化信息;由于硬件结构是已知的,所以硬件之间的关联关系可以预先配置在后台,而关联配置单元430就可以将对应的关联触发数据对应到图形化信息,下一个交互式视觉装置1就可以获得这个信息,进行响应和处理。
所述交互识别模块500连接于所述图像采集器100,所述交互识别模块500包括标识辨识单元510、轮廓定位单元520以及标识输出单元530;所述标识辨识单元510配置有标识识别策略,所述标识识别策略用于识别图像信息中的红外图形,并根据红外图形的内容获取对应的目标特征;所述标识识别策略包括图形辨识步骤、图形验证步骤以及特征调取步骤;所述图形辨识步骤解析所述红外图形并获得对应的红外解析信息,所述图形验证步骤根据验证所述红外解析信息,所述特征调取步骤根据通过验证后的红外解析信息获取对应的目标特征。需要说明的是,如果一个交互式视觉装置1是识别后输出红外图形,则是与其相邻的交互式视觉装置1的交互识别模块500才可能被触发,由于红外图形上具有一定的辨识特征,而这个辨识特征为基础,可以获得整个红外图形,然后触发解析算法进行解析,得到红外解析信息,这个红外解析信息理论上和上一个交互式视觉装置1得到的目标特征对应,完成了标识识别。而图形验证步骤可以是通过实际获取到的图形信息和数据库对应标记的信息进行比对,如果比对通过则调取对应的目标特征,如果比对不通过,则重新获取或发送异常信息到对应的终端。在另一个实施例中,所述交互式视觉装置1还包括无线模块600,所述触发输出单元340生成触发信息时,通过无线模块600将触发信息发送至对应的交互式视觉装置1;所述图形验证步骤包括通过比对接收到的触发信息和红外解析信息以验证所述红外解析信息。直接通过无线互联的额方式发送触发信息,无需调取后台数据就可以完成图形的验证,验证算法预先配置,提高响应效率。
所述轮廓定位单元520配置有轮廓定位策略,所述轮廓定位策略根据图像信息中红外图形所在图区轮廓以获得标识图区,所述轮廓定位策略包括第三区域确定步骤以及第四区域确定步骤,所述第三区域确定步骤配置有第二色值确定条件,所述第三区域确定步骤确定其色值符合第二色值确定条件的所述红外图形相邻且连续的像点为第二预图区;所述第四区域确定步骤包括根据原图像采集器100采集的红外图形和当前图像采集器100采集的红外图形生成转化比值,根据转化比值从当前的图像信息中确定重合区块的位置,合并第二预图区和当前的重合区块以获得标识图区。轮廓定位策略和轮廓提取策略不同,因为轮廓提取策略会对目标有个基础的特征认知,所以容易得到整体轮廓,而轮廓定位对应的特征要素较少,是无法识别的,所以第一是通过色值的逻辑,先获取到第二预图区,以红外图形所在区域为基础,然后根据比例得到转化比值,就可以获得不同位置下对同一目标的大小,然后就可以确定此时重合区块的位置,然后合并重合区块和第二预图区就可以得到标识图区。
所述标识输出单元530配置有标识输出策略,所述标识输出策略根据标识图区和重合区块在所述图像信息中确定重合图区,所述标识输出单元530根据目标特征和重合图区生成触发信息,并将所述触发信息发送至图形调取模块400。标识输出策略确定新的重合图区,重新输出触发信息,这样图形调取模块400就会以当前的交互式视觉装置1为基础输出红外图形,直至所有可能的视觉装置完成视觉跟随和标记动作,而作为优选的,所述标识输出单元530的生成的触发信息至少为两个,其中一个触发信息与上一个交互式视觉装置1的触发输出单元340生成触发信息对应。为了防止目标丢失,每个交互式视觉装置1还输出和上一个交互式视觉装置1重合的红外图形,这样可以在动态图像中完成图像跟随,当一个视觉装置丢失时,不会影响其他视觉装置,而同时这个丢失目标的视觉装置还可以快速完成跟随。
作为优选的实施例,在以上方案基础上,***还包括建模数据库2和建模处理端3,所述建模数据库2存储有建模特征,所述建模特征之间形成建模地址指针,所述建模地址指针与交互式视觉装置1的位置关系对应,每一位置关系对应有若干建模特征,所述建模处理端3包括建模策略,所述建模策略包括图区获取步骤、调用验证步骤以及模型拼接步骤,所述图区获取步骤包括从对应的图像信息中获取目标图区和标识图区,所述调用验证步骤以目标图区的图像内容为索引从所述建模数据库2中确定对应的建模特征,并根据标识图区和目标图区对应的关联关系确定对应的建模地址指针,并根据目标图区的图像内容确定对应的建模特征,所述模型拼接步骤根据关联关系拼接获得的建模特征以获得建模模型。而通过这样设置,可以通过建模数据库2和建模处理端3完成对整个目标的建模,具体通过建模策略一次获取对应的图区以及内容,然后通过验证后,根据相应的关系,获得建模特征完成建模,需要说明的是,为了节省算力,本方案的建模采用模糊化建模的方式,因为无法对目标图区和标识图区的形状进行拼接,但是可以根据对原有模型拆分的方式进行建模,将原有模型划分为一个个单独的建模特征,然后通过视觉装置的位置关系建立指针,然后就可以通过指针结合特征比对的方式快速确定不同视角的建模特征,由于建模特征拼接已经预先在***中,所以无需重新计算改变特征边缘,所以就可以较快输出相似的三维模型供使用者查看,就可以便于使用者对目标物进行辨识。
作为优选的实施例,在以上方案基础上,所述交互式视觉装置1还包括心跳同步模块700,所述心跳同步模块700连接所述图像采集器100,所述红外图形对应有第一同步频率,所述红外图形的图形内容以第一同步频率为基准周期性变化,所述心跳同步模块700根据图像采集器100中红外图形的变化周期获得第二同步频率,以第二同步频率修正该交互式视觉装置1的时间频率。通过心跳同步模块700的设置,可以同步各个视觉装置的处理频率,因为该图像识别对于处理同频要求较高,所以同步心跳可以进一步提高运行效率,避免丢包和图像畸变情况发生。
当然,以上只是本发明的典型实例,除此之外,本发明还可以有其它多种具体实施方式,凡采用等同替换或等效变换形成的技术方案,均落在本发明要求保护的范围之内。
Claims (10)
1.一种图形化交互式机器视觉***,其特征在于:包括若干交互式视觉装置,所述交互式视觉装置包括图像采集器、红外发生器、采集触发模块、图形调取模块以及交互识别模块;
所述图像采集器用于采集目标区域的图像并生成图像信息,任意图像采集器与其他图像采集器采集的目标区域存在重合区块;
所述红外发生器包括红外驱动单元和红外输出单元,所述红外驱动单元用于带动红外输出单元运动以调节红外输出单元的输出位置,所述红外输出单元用于输出红外光;
所述采集触发模块连接于所述图像采集器,所述采集触发模块包括特征识别单元、轮廓提取单元、区域确定单元以及触发输出单元,所述特征识别单元配置有特征识别策略,所述特征识别策略用于识别图像信息中的目标特征;所述轮廓提取单元配置有轮廓提取策略,所述轮廓提取策略根据图像信息中的目标特征所在的图区轮廓以获得目标图区;所述区域确定单元配置有区域确定策略,所述区域确定策略根据目标图区和重合区块在所述图像信息中确定重合图区,所述触发输出单元根据目标特征和重合图区生成触发信息,并将所述触发信息发送至所述图形调取模块;
所述图形调取模块包括信息调取单元以及指令生成单元,所述信息调取单元连接于外部图形化数据库,所述图形化数据库存储有若干图形化信息,所述图形化信息以目标特征为索引,所述信息调取单元根据触发信息中对应的目标特征调取对应的图形化信息,所述指令生成单元根据重合图区生成输出位置信息,并根据输出位置信息和图形化信息生成红外控制指令;
所述红外发生器包括指令响应单元,所述指令响应单元根据输出位置信息控制红外驱动单元工作以使所述红外输出单元运动至对应的位置,根据图形化信息控制红外输出单元工作以输出对应的红外图形;
所述交互识别模块连接于所述图像采集器,所述交互识别模块包括标识辨识单元、轮廓定位单元以及标识输出单元;所述标识辨识单元配置有标识识别策略,所述标识识别策略用于识别图像信息中的红外图形,并根据红外图形的内容获取对应的目标特征;所述轮廓定位单元配置有轮廓定位策略,所述轮廓定位策略根据图像信息中红外图形所在图区轮廓以获得标识图区,所述标识输出单元配置有标识输出策略,所述标识输出策略根据标识图区和重合区块在所述图像信息中确定重合图区,所述标识输出单元根据目标特征和重合图区生成触发信息,并将所述触发信息发送至图形调取模块。
2.如权利要求1所述的一种图形化交互式机器视觉***,其特征在于:所述指令响应单元还配置有位置修正策略,所述位置修正策略包括实际图形获取步骤、理想图形生成步骤、图形比对步骤、位置修正步骤;所述实际图形获取步骤通过图像采集器获取图像信息中的红外图形以生成实际图形,所述理论图形生成步骤根据红外控制指令生成理论图形,所述图形比对步骤比对所述实际图形和理论图形生成相似度值,当所述相似度值低于预设的比对阈值时,根据实际图形和理论图形生成修正偏差信息,所述位置修正步骤根据修正偏差信息控制红外驱动单元工作以调整所述实际图形的位置。
3.如权利要求1所述的一种图形化交互式机器视觉***,其特征在于:所述轮廓提取策略包括第一区域确定步骤以及第二区域确定步骤,所述第一区域确定步骤配置有第一色值确定条件,所述第一区域确定步骤确定其色值符合第一色值确定条件的所述目标特征相邻且连续的像点为第一预图区;所述第二区域确定步骤获取连续的若干帧图像信息,从若干帧图像信息对应的所述第一预图区中删除变化的图区区块以得到所述目标图区。
4.如权利要求1所述的一种图形化交互式机器视觉***,其特征在于:所述交互式视觉装置根据图像采集器的重合区块配置有关联关系,所述触发信息还包括关联触发数据,所述关联触发数据反映重合图区所对应的具有关联关系的交互式视觉装置,所述图形调取模块还包括关联配置单元,所述关联配置单元用于标记所述关联触发数据于对应的图形化信息;
所述标识识别策略包括图形辨识步骤、图形验证步骤以及特征调取步骤;所述图形辨识步骤解析所述红外图形并获得对应的红外解析信息,所述图形验证步骤根据验证所述红外解析信息,所述特征调取步骤根据通过验证后的红外解析信息获取对应的目标特征。
5.如权利要求4所述的一种图形化交互式机器视觉***,其特征在于:所述交互式视觉装置还包括无线模块,所述触发输出单元生成触发信息时,通过无线模块将触发信息发送至对应的交互式视觉装置;
所述图形验证步骤包括通过比对接收到的触发信息和红外解析信息以验证所述红外解析信息。
6.如权利要求1所述的一种图形化交互式机器视觉***,其特征在于:所述红外发生器还包括感光干扰单元以及背光补偿单元,所述感光干扰单元用于检测环境光源并根据环境光源生成干扰补偿指令,所述背光补偿单元配置有背光补偿策略用于输出可见光图形,所述背光补偿策略包括补偿响应步骤、图形计算步骤以及图形输出步骤,所述补偿响应步骤包括根据补偿干扰指令生成可见光参数,所述图形计算步骤包括根据所述红外控制指令生成背光图形,所述背光图形和红外图形在所述的重合图区互补,所述图形输出步骤包括根据可见光参数以及背光图形输出可见光图形。
7.如权利要求1所述的一种图形化交互式机器视觉***,其特征在于:所述轮廓定位策略包括第三区域确定步骤以及第四区域确定步骤,所述第三区域确定步骤配置有第二色值确定条件,所述第三区域确定步骤确定其色值符合第二色值确定条件的所述红外图形相邻且连续的像点为第二预图区;所述第四区域确定步骤包括根据原图像采集器采集的红外图形和当前图像采集器采集的红外图形生成转化比值,根据转化比值从当前的图像信息中确定重合区块的位置,合并第二预图区和当前的重合区块以获得标识图区。
8.如权利要求1所述的一种图形化交互式机器视觉***,其特征在于:还包括建模数据库和建模处理端,所述建模数据库存储有建模特征,所述建模特征之间形成建模地址指针,所述建模地址指针与交互式视觉装置的位置关系对应,每一位置关系对应有若干建模特征,所述建模处理端包括建模策略,所述建模策略包括图区获取步骤、调用验证步骤以及模型拼接步骤,所述图区获取步骤包括从对应的图像信息中获取目标图区和标识图区,所述调用验证步骤以目标图区的图像内容为索引从所述建模数据库中确定对应的建模特征,并根据标识图区和目标图区对应的关联关系确定对应的建模地址指针,并根据目标图区的图像内容确定对应的建模特征,所述模型拼接步骤根据关联关系拼接获得的建模特征以获得建模模型。
9.如权利要求1所述的一种图形化交互式机器视觉***,其特征在于:所述标识输出单元的生成的触发信息至少为两个,其中一个触发信息与上一个交互式视觉装置的触发输出单元生成触发信息对应。
10.如权利要求1所述的一种图形化交互式机器视觉***,其特征在于:所述交互式视觉装置还包括心跳同步模块,所述心跳同步模块连接所述图像采集器,所述红外图形对应有第一同步频率,所述红外图形的图形内容以第一同步频率为基准周期性变化,所述心跳同步模块根据图像采集器中红外图形的变化周期获得第二同步频率,以第二同步频率修正该交互式视觉装置的时间频率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110773140.2A CN113486878B (zh) | 2021-07-08 | 2021-07-08 | 一种图形化交互式机器视觉*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110773140.2A CN113486878B (zh) | 2021-07-08 | 2021-07-08 | 一种图形化交互式机器视觉*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113486878A true CN113486878A (zh) | 2021-10-08 |
CN113486878B CN113486878B (zh) | 2023-09-26 |
Family
ID=77937549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110773140.2A Active CN113486878B (zh) | 2021-07-08 | 2021-07-08 | 一种图形化交互式机器视觉*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113486878B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114579023A (zh) * | 2021-12-13 | 2022-06-03 | 北京市建筑设计研究院有限公司 | 一种建模方法、装置及电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106441238A (zh) * | 2016-06-01 | 2017-02-22 | 昆山塔米机器人有限公司 | 一种基于红外视觉技术的机器人的定位装置及其定位导航算法 |
CN109490314A (zh) * | 2018-11-22 | 2019-03-19 | 南通科技职业学院 | 一种基于改进型传感检测装置的工业机器视觉*** |
CN109788901A (zh) * | 2016-07-25 | 2019-05-21 | 奇跃公司 | 光场处理器*** |
US20200193160A1 (en) * | 2018-12-14 | 2020-06-18 | Samsung Electronics Co., Ltd. | Method and apparatus for determining target object in image based on interactive input |
CN112868225A (zh) * | 2017-07-27 | 2021-05-28 | 阿里·埃布拉希米·阿夫鲁兹 | 结合数据以构建平面图的方法和装置 |
US20210203911A1 (en) * | 2019-12-31 | 2021-07-01 | Peking University | Light Field Imaging System by Projecting Near-Infrared Spot in Remote Sensing Based on Multifocal Microlens Array |
-
2021
- 2021-07-08 CN CN202110773140.2A patent/CN113486878B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106441238A (zh) * | 2016-06-01 | 2017-02-22 | 昆山塔米机器人有限公司 | 一种基于红外视觉技术的机器人的定位装置及其定位导航算法 |
CN109788901A (zh) * | 2016-07-25 | 2019-05-21 | 奇跃公司 | 光场处理器*** |
CN112868225A (zh) * | 2017-07-27 | 2021-05-28 | 阿里·埃布拉希米·阿夫鲁兹 | 结合数据以构建平面图的方法和装置 |
CN109490314A (zh) * | 2018-11-22 | 2019-03-19 | 南通科技职业学院 | 一种基于改进型传感检测装置的工业机器视觉*** |
US20200193160A1 (en) * | 2018-12-14 | 2020-06-18 | Samsung Electronics Co., Ltd. | Method and apparatus for determining target object in image based on interactive input |
US20210203911A1 (en) * | 2019-12-31 | 2021-07-01 | Peking University | Light Field Imaging System by Projecting Near-Infrared Spot in Remote Sensing Based on Multifocal Microlens Array |
Non-Patent Citations (2)
Title |
---|
徐维鹏;翁冬冬;刘越;王涌天;谭梦文;: "基于深度相机的空间增强现实动态投影标定", ***仿真学报, no. 09, pages 125 - 131 * |
陈林琳 等: "基于计算机视觉的芋头病害监测与识别", 《农机化研究》, vol. 42, no. 06, pages 224 - 229 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114579023A (zh) * | 2021-12-13 | 2022-06-03 | 北京市建筑设计研究院有限公司 | 一种建模方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113486878B (zh) | 2023-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107609383B (zh) | 3d人脸身份认证方法与装置 | |
CN107748869B (zh) | 3d人脸身份认证方法与装置 | |
CN107633165B (zh) | 3d人脸身份认证方法与装置 | |
Peng et al. | A robust agorithm for eye detection on gray intensity face without spectacles | |
TWI383325B (zh) | 臉部表情辨識 | |
KR101355974B1 (ko) | 복수의 객체를 추적하는 객체 추적 방법 및 장치 | |
CN110210276A (zh) | 一种移动轨迹获取方法及其设备、存储介质、终端 | |
US8577151B2 (en) | Method, apparatus, and program for detecting object | |
US20110025834A1 (en) | Method and apparatus of identifying human body posture | |
CN104951773A (zh) | 一种实时人脸识别监视*** | |
CN104794439A (zh) | 基于多相机的准正面人脸图像实时优选方法及*** | |
CN110119258B (zh) | 一种显示屏与光学***位置测试与调整方法和*** | |
US10915739B2 (en) | Face recognition device, face recognition method, and computer readable storage medium | |
CN117824624B (zh) | 一种基于人脸识别的室内追踪定位方法、***及存储介质 | |
KR20160009972A (ko) | 허위 안면 이미지 분류가 가능한 홍채 인식 장치 | |
CN113486878B (zh) | 一种图形化交互式机器视觉*** | |
CN113920591B (zh) | 基于多模态生物特征识别的中远距离身份认证方法及装置 | |
CN106156739B (zh) | 一种基于脸部轮廓分析的证件照耳朵检测与提取方法 | |
CN110348366A (zh) | 一种自动化最优人脸搜索方法及装置 | |
CN106951077B (zh) | 一种提示方法及第一电子设备 | |
CN108513661A (zh) | 身份鉴权方法、身份鉴权装置、和电子设备 | |
CN112668539A (zh) | 生物特征采集识别***及方法、终端设备和存储介质 | |
Peng et al. | A robust and efficient algorithm for eye detection on gray intensity face | |
CN116188763A (zh) | 一种基于YOLOv5的纸箱识别定位及放置角度的测量方法 | |
CN104731324A (zh) | 一种基于hog+svm框架的手势内平面旋转检测模型生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |