CN110517287A - 获取机器鱼运动轨迹的方法、装置、设备及存储介质 - Google Patents
获取机器鱼运动轨迹的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110517287A CN110517287A CN201910410101.9A CN201910410101A CN110517287A CN 110517287 A CN110517287 A CN 110517287A CN 201910410101 A CN201910410101 A CN 201910410101A CN 110517287 A CN110517287 A CN 110517287A
- Authority
- CN
- China
- Prior art keywords
- machine fish
- image
- split
- fish
- neuron
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种获取机器鱼运动轨迹的方法、装置、设备及存储介质,用以解决相关技术中在对水下的机器鱼的运动轨迹进行跟踪时出现机器鱼位置丢失的问题。获取机器鱼运动轨迹的方法包括:获取在水中游动的机器鱼的图像;对所述图像进行分割,得到多个子图像;在所述多个子图像中识别所述机器鱼,以确定所述机器鱼在所述图像中的位置;当在所述多个子图像中均无法识别到所述机器鱼时,控制所述机器鱼执行预设动作后,再次获取所述机器鱼的图像以及确定所述机器鱼在再次获取到的图像中的位置;根据至少两次获得的所述机器鱼在所述图像中的位置确定所述机器鱼的运动轨迹。本发明可有效地对水下的机器鱼进行位置跟踪。
Description
技术领域
本发明涉及轨迹跟踪技术领域,特别是指一种获取机器鱼运动轨迹的方 法、装置、设备及存储介质。
背景技术
近年来,随着仿生学技术的不断进步,仿鱼水下推进技术的水下机器人 (机器鱼)的研究日益引起关注,成为水下机器人领域研究的热点之一。机 器鱼不仅能够在复杂环境下进行水下作业、海洋监测、侦察等方面发挥作用, 而且为研制新型水下航行器提供了一种新的思路。
目前,国内外主要集中于个体机器鱼的研究,而在实际应用中,由于任 务的复杂性、不确定性、并发性使得需要采用多条机器鱼协作来完成任务。 由于机器鱼自身尚无定位和遥测能力,视觉***是其唯一感知环境的“器官”, 例如可通过摄像头(例如,CCD(Charge Coupled Device,电荷耦合器件)相 机)采集的图像经过处理与分析,提取有效信息作为决策和控制依据。只有 快速、准确地跟踪机器鱼和运动目标的位置及运动方向,决策控制模块才能 迅速作出相应决策,确保多机器鱼协作任务的完成。而完成多机器鱼协作任 务的关键技术之一是多机器鱼实时跟踪,即在视频图像中找到多条机器鱼, 并将不同帧的机器鱼一一对应后显示出各自的位置序列。但在对水下机器鱼 的运动轨迹进行跟踪时,经常出现机器鱼位置丢失,无法获取到机器鱼位置 的问题。
发明内容
有鉴于此,本发明的目的在于提出一种获取机器鱼运动轨迹的方法、装 置、设备及存储介质,该方法可有效地对水下的机器鱼进行位置跟踪。
根据本发明的第一个方面,提供了一种获取机器鱼运动轨迹的方法,包 括:获取在水中游动的机器鱼的图像;对所述图像进行分割,得到多个子图 像;在所述多个子图像中识别所述机器鱼,以确定所述机器鱼在所述图像中 的位置;当在所述多个子图像中均无法识别到所述机器鱼时,控制所述机器 鱼执行预设动作后,再次获取所述机器鱼的图像以及确定所述机器鱼在再次 获取到的图像中的位置;根据至少两次获得的所述机器鱼在所述图像中的位 置确定所述机器鱼的运动轨迹。
可选的,对所述图像进行分割,包括:将待分割图像中各像素的色彩向 量作为一个输入神经元的输入向量,将与所述各像素相邻的八个像素的色彩 向量作为径向函数RBF的各特征向量;确定所述待分割图像中的种子神经元, 其中,像素点到相邻像素点的最大曼哈顿距离小于第一阈值时,该像素点为 种子像素点,该种子像素点对应的神经元为种子神经元,所述待分割图像中 的种子神经元构成种子区域;通过预设生长规则对种子区域进行生长,得到 多个分组区域;计算各分组区域的平均特征向量;使用计算得到的平均特征向量替换其所属的分组区域所有神经元中所包含的特征向量;如果存在未连 接到任何分组区域的神经元,且该神经元到其相邻分组区域的距离小于第二 阈值,则将该神经元连接到距离其最近的分组区域内;将相邻的所述分组区 域合并,得到待分割的多个区域;按照所述多个区域对所述待分割图像进行 分割,得到所述多个子图像。
可选的,将相邻的所述分组区域合并,包括:当待合并区域的面积小于 预设面积,且所述待合并区域的颜色距离小于预设颜色距离阈值时,将所述 待合并区域合并到相邻区域。
可选的,确定所述机器鱼的位置包括:基于Meanshift的目标跟踪算法计 算所述图像中的目标区域和候选区域内像素特征值概率,得到目标模型描述 以及候选模型描述;利用相似函数度量所述目标模型以及当前帧的候选模型 的相似性;选择使所述相似函数最大的候选模型并得到目标模型的Meanshift 向量;迭代计算Meanshift向量,通过收敛得到所述机器鱼的位置。
可选的,控制所述机器鱼执行预设动作,包括:控制所述机器鱼按照预 设角度以及预设方向进行转向。
根据本发明的第二个方面,提供了一种获取机器鱼运动轨迹的装置,包 括:第一获取模块,用于获取在水中游动的机器鱼的图像;分割模块,用于 对所述图像进行分割,得到多个子图像;识别模块,用于在所述多个子图像 中识别所述机器鱼,以确定所述机器鱼在所述图像中的位置;第二获取模块, 当在所述多个子图像中均无法识别到所述机器鱼时,控制所述机器鱼执行预 设动作后,再次获取所述机器鱼的图像以及确定所述机器鱼在再次获取到的 图像中的位置;确定模块,用于根据至少两次获得的所述机器鱼在所述图像中的位置确定所述机器鱼的运动轨迹。
可选的,所述分割模块,包括:设置单元,用于将待分割图像中各像素 的色彩向量作为一个输入神经元的输入向量,将与所述各像素相邻的八个像 素的色彩向量作为径向函数RBF的各特征向量;确定单元,用于确定所述待 分割图像中的种子神经元,其中,像素点到相邻像素点的最大曼哈顿距离小 于第一阈值时,该像素点为种子像素点,该种子像素点对应的神经元为种子 神经元,所述待分割图像中的种子神经元构成种子区域;生成单元,用于通 过预设生长规则对种子区域进行生长,得到多个分组区域;第一计算单元, 用于计算各分组区域的平均特征向量;替换单元,用于使用计算得到的平均 特征向量替换其所属的分组区域所有神经元中所包含的特征向量;连接单元, 用于如果存在未连接到任何分组区域的神经元,且该神经元到其相邻分组区 域的距离小于第二阈值,则将该神经元连接到距离其最近的分组区域内;合 并单元,用于将相邻的所述分组区域合并,得到待分割的多个区域;分割单 元,用于按照所述多个区域对所述待分割图像进行分割,得到所述多个子图 像。
可选的,所述合并单元用于:当待合并区域的面积小于预设面积,且所 述待合并区域的颜色距离小于预设颜色距离阈值时,将所述待合并区域合并 到相邻区域。
根据本发明的第三个方面,提供了一种电子设备,包括存储器、处理器 及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述 程序时实现如本发明第一个方面提供的任意一种获取机器鱼运动轨迹的方法。
根据本发明的第四个方面,提供了一种非暂态计算机可读存储介质,所 述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述 计算机执行本发明第一个方面提供的任意一种获取机器鱼运动轨迹的方法。
从上面所述可以看出,本发明提供的获取机器鱼运动轨迹的方法,在对 在水中游动的机器鱼的运动轨迹进行跟踪时,对获得到的在水下的机器鱼的 图像进行分割后,再在分割后的图像中识别机器鱼,可提高机器鱼的识别率, 从而可尽量避免在对机器鱼的运动轨迹进行跟踪的过程中出现机器鱼位置丢 失的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面 描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲, 在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种获取机器鱼运动轨迹的方法的流 程图;
图2是根据一示例性实施例示出的一种全视觉下的水中多目标实时定位 与跟踪***的示意图;
图3是根据一示例性实施例示出的一种机器鱼的俯视图;
图4是根据一示例性实施例示出的一种机器鱼的仰视图;
图5是根据一示例性实施例示出的对图像进行分割的流程图;
图6是根据一示例性实施例示出的获取机器鱼运动轨迹的方法的流程图;
图7是根据一示例性实施例示出的一种获取机器鱼运动轨迹的装置的框 图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施 例,并参照附图,对本发明进一步详细说明。
需要说明的是,本发明实施例中所有使用“第一”、“第二”、“第三”以 及“第四”的表述均是为了区分两个相同名称非相同的实体或者非相同的参 量,可见“第一”、“第二”“第三”以及“第四”仅为了表述的方便,不应理 解为对本发明实施例的限定,后续实施例对此不再一一说明。
图1是根据一示例性实施例示出的一种获取机器鱼运动轨迹的方法的流 程图,如图1所示,该方法包括:
步骤101:获取在水中游动的机器鱼的图像;
在步骤101中,可通过视觉传感器获取在水中游动的机器鱼的图像。
步骤102:对所述图像进行分割,得到多个子图像;
步骤103:在所述多个子图像中识别所述机器鱼,以确定所述机器鱼在 所述图像中的位置;
在步骤103中,可采用目前已有的图像识别算法依次在步骤102中分割 得到的子图像中识别机器鱼。
步骤104:当在所述多个子图像中均无法识别到所述机器鱼时,控制所 述机器鱼执行预设动作后,再次获取所述机器鱼的图像以及确定所述机器鱼 在再次获取到的图像中的位置;
在步骤104中,如在多个子图像中均无法识别到机器鱼,则说明机器鱼 出现了位置丢失的情况,出现这种情况的原因有可能是水面出现波纹,水面 存在特殊光照,或机器鱼游动的姿态使其呈现在水面的影像过小,在这种情 况下,可控制机器鱼执行指定的动作,使得机器鱼改变其在水中的姿态,例 如,可控制机器鱼向左或向右进行最大程度的转向,该最大程度的转向为机 器鱼受限于其物理结构,所能作为的最大转向角度。在机器鱼执行预设动作 后,再次获取图像,并在图像中识别机器鱼,则可增加了器鱼被成功识别的概率。
需要说明的是,在步骤104中,在控制机器鱼执行预设动作后,可再次 获取机器鱼在水中游动的图像,并对再次获得的图像进行分割,得到多个子 图像,在分割得到的多个子图像中识别该机器鱼。
步骤105:根据至少两次获得的所述机器鱼在所述图像中的位置得到所 述机器鱼的运动轨迹。
从上面所述可以看出,本发明提供的获取机器鱼运动轨迹的方法,在对 在水中游动的机器鱼的运动轨迹进行跟踪时,对获得到的在水下的机器鱼的 图像进行分割后,再在分割后的图像中识别机器鱼,可提高机器鱼的识别率, 从而可尽量避免在对机器鱼的运动轨迹进行跟踪的过程中出现机器鱼位置丢 失的问题。
图2是根据一示例性实施例示出的一种全视觉下的水中多目标实时定位 与跟踪***的示意图,上述方法可应用于该***中。如图2所示,该***包 括:视觉传感器(1)、铝制支撑架和水槽护栏(2)、水槽(3)以及机器鱼 (4)。图3是机器鱼的俯视图,图4是机器鱼的仰视图,结合图3以及图4所 示,机器鱼(4)包括:胸鳍(5)、防水鱼皮(6)、天线(7)、充电插头(8)、 铝制骨架(9)、通讯模块(10)、鱼鳍(11)、电池(12)、控制***(13)、 第一关节(14)、第二关节(15)以及第三关节(16)。
其中,视觉传感器(1)的末端与***框架的顶部之间直接连接使其可以 捕获到水池全部图像,水槽护栏(2)固定于***框架的底部四周,可对水槽(3)的周围起到保护与支撑作用;
机器鱼(4)可于水槽(3)的内部任意位置游动,且其任意时刻的姿态 信息被视觉传感器(1)所捕捉;
通讯模块(10)、电池(12)位于铝制骨架(9)的前端且刚性连接,用 于与第一关节(14)、第二关节(15)以及第三关节(16)平衡;
防水鱼皮(6)可完全包裹天线(7)、铝制骨架(9)、通信模块(10)、 电池(12)、控制***(13)、第一关节(14)、第二关节(15)以及第三关节 (16),使得这些器械与水隔离。
其中,第一关节(14)、第二关节(15)以及第三关节(16)可为多级舵 机。
在一种可实现方式中,对所述图像进行分割可包括:将待分割图像中各 像素的色彩向量作为一个输入神经元的输入向量,将与所述各像素相邻的八 个像素的色彩向量作为径向函数RBF的各特征向量;确定所述待分割图像中 的种子神经元,其中,像素点到相邻像素点的最大曼哈顿距离小于第一阈值 时,该像素点为种子像素点,该种子像素点对应的神经元为种子神经元,所 述待分割图像中的种子神经元构成种子区域;通过预设生长规则对种子区域 进行生长,得到多个分组区域;计算各分组区域的平均特征向量;使用计算 得到的平均特征向量替换其所属的分组区域所有神经元中所包含的特征向量; 如果存在未连接到任何分组区域的神经元,且该神经元到其相邻分组区域的 距离小于第二阈值,则将该神经元连接到距离其最近的分组区域内;将相邻 的所述分组区域合并,得到待分割的多个区域;按照所述多个区域对所述待 分割图像进行分割,得到所述多个子图像。
在上述图像分割流程中,对于任一像素点s,满足公式(1),则可作为种 子像素点。
μs<θμ
其中,s为像素点标号,j为相邻像素下标,||xs-cj||为曼哈顿距离,表达式 如公式(2)所示,θμ为预设阈值(即上述第一阈值),μs为像素点s和与其 相邻的8个像素点的最大距离。
在上述图像分割过程中,像素点将与其相邻的8个像素点进行连接,在 颜色空间中,根据上述公式(1),像素点到相邻像素点的最大曼哈顿距离小 于预设阈值(即上述第一阈值)时,该像素点即为种子像素点。可见,种子 像素点与它的邻域像素具有相似特征,在M-PCNN图像分割算法中,种子像 素点与其邻域像素点相连接形成种子区域,种子区域捕捉相同特征像素不断 扩展。需要说明的是,种子像素的选择和种子区域的扩展是并行进行的,该 过程是图像分割中区域合并的初始阶段,重复分割被用来避免失去图像的重 要细节。在上述公式(1)中,θμ的阈值设定一个较小的值。依据颜色量化理 论,可将每一个RGB分成26个量化水平来区分17576个颜色,这个颜色分 辨率对于17000个颜色的人眼视觉感知来说足够高。依据这些数据,θμ等于 RGB空间的量化区间半径,其规范化数值设置为1/52。以下结合图5对图像 分割流程进行进一步说明。如图5所示,图像分割流程可包括:
步骤501:输入待分割图像后,将图像的每个像素的色彩向量x作为一个 输入神经元的输入向量μ,与当前像素点相邻的8个相邻像素的色彩向量作 为径向基函数RBF的各特征向量c,利用种子选取条件确定初始种子点;利 用生长规则对种子区域进行生长,将选定的种子点作为起点,利用公式(1) 作为判决条件,向与当前像素点相邻的8个像素点生长,直到像素点不再满 足公式(1),得到区域分组编号;
步骤502:计算每个分组区域的平均特征向量σg,如式(6),σRg, σBg,分别为红、绿、蓝分量平均值,M为编号为g的分组区域内的像素点 数。将得到的平均特征向量替换为该区域所有神经元中所包含的特征向量;
步骤503:判断是否存在未连接的神经元,如果存在未连接的神经元, 且未连接神经元到邻接区域的差值(即二者之间的距离值)小于阈值θi时, 执行步骤504该θi为给定的阈值:利用公式(7)将其连接到最接近的相邻区 域内,否则,执行步骤505;
其中,xμ是连接像素点μ的特征向量,σgj是邻接区域编号为gj的平均特 征向量。对所有未连接神经元同时进行连接操作,并更新阈值θi+1=θi+Δθi (θi+1为新阈值,Δθi为阈值增量),重复上述步骤502;
步骤505:计算区域面积Rs和颜色距离Rd;
步骤506:判断是否存在区域的面积Rs和颜色距离Rd是否满足Rs<θs且 Rd<θd,当满足时,执行步骤507,否则,流程结束;
步骤507:将得到的相邻区域进行合并,且所有空间区域并行进行合并;
合并规则:当一个区域的面积Rs和颜色距离Rd,满足Rs<θs且Rd<θd时, θs和θd分别为预设面积大小阈值和颜色距离阈值,该区域被合并到相邻区域。 若多个邻域的颜色距离满足小于设定阈值时,每一步骤有且只有任意一个区 域被合并;
重复步骤507,直到满足区域合并停止条件,完成彩色图像分割。
在一种可实现方式中,将相邻的所述分组区域合并可包括:当待合并区 域的面积小于预设面积,且所述待合并区域的颜色距离小于预设颜色距离阈 值时,将所述待合并区域合并到相邻区域。
在一种可实现方式中,确定所述机器鱼的位置可包括:基于Meanshift的 目标跟踪算法计算所述图像中的目标区域和候选区域内像素特征值概率,得 到目标模型描述以及候选模型描述;利用相似函数度量所述目标模型以及当 前帧的候选模型的相似性;选择使所述相似函数最大的候选模型并得到目标 模型的Meanshift(均值漂移算法)向量;迭代计算Meanshift向量,通过收敛 得到所述机器鱼的位置。
在一种可实现方式中,控制所述机器鱼执行预设动作可包括:控制所述 机器鱼按照预设角度以及预设方向进行转向。其中,该预设角度例如是机器 鱼受限于其物理结构,所能作为的最大转向角度。预设方向可为机器鱼当前 运动方向的左方或右方。
图6是根据一示例性实施例示出的获取机器鱼运动轨迹的方法的流程图, 以下结合图6对本发明的获取机器鱼运动轨迹的方法进行示例性说明。如图6 所示,该方法包括:
步骤601:获得视觉传感器采集到的图像(也称原始图像);
步骤602:对步骤601得到的图像进行分割,得到多个子图像;
步骤603:对步骤602得到的多个子图像进行二值化处理;
步骤604:对二值化处理的各子图像进行图像分割处理;
步骤605:在处理后的图像中识别机器鱼,得到识别结果;
步骤606:执行控制程序,控制机器鱼运动;
步骤607:判断机器鱼的位置是否丢失;
步骤608:如果机器鱼的位置丢失,确定机器鱼停止游动;
步骤609:控制机器鱼向左转向最大角度;
步骤610:重新获取视觉传感器采集到的图像,并返回执行步骤605。
图7是根据一示例性实施例示出的一种获取机器鱼运动轨迹的装置的框 图,如图7所示,该装置70包括:
第一获取模块71,用于获取在水中游动的机器鱼的图像;
分割模块72,用于对所述图像进行分割,得到多个子图像;
识别模块73,用于在所述多个子图像中识别所述机器鱼,以确定所述机 器鱼在所述图像中的位置;
第二获取模块74,当在所述多个子图像中均无法识别到所述机器鱼时, 控制所述机器鱼执行预设动作后,再次获取所述机器鱼的图像以及确定所述 机器鱼在再次获取到的图像中的位置;
确定模块75,用于根据至少两次获得的所述机器鱼在所述图像中的位置 确定所述机器鱼的运动轨迹。
在一种可实现方式中,所述分割模块,包括:设置单元,用于将待分割 图像中各像素的色彩向量作为一个输入神经元的输入向量,将与所述各像素 相邻的八个像素的色彩向量作为径向函数RBF的各特征向量;确定单元,用 于确定所述待分割图像中的种子神经元,其中,像素点到相邻像素点的最大 曼哈顿距离小于第一阈值时,该像素点为种子像素点,该种子像素点对应的 神经元为种子神经元,所述待分割图像中的种子神经元构成种子区域;生成 单元,用于通过预设生长规则对种子区域进行生长,得到多个分组区域;第 一计算单元,用于计算各分组区域的平均特征向量;替换单元,用于使用计 算得到的平均特征向量替换其所属的分组区域所有神经元中所包含的特征向 量;连接单元,用于如果存在未连接到任何分组区域的神经元,且该神经元 到其相邻分组区域的距离小于第二阈值,则将该神经元连接到距离其最近的 分组区域内;合并单元,用于将相邻的所述分组区域合并,得到待分割的多 个区域;分割单元,用于按照所述多个区域对所述待分割图像进行分割,得 到所述多个子图像。
在一种可实现方式中,所述合并单元可用于:当待合并区域的面积小于 预设面积,且所述待合并区域的颜色距离小于预设颜色距离阈值时,将所述 待合并区域合并到相邻区域。
可选的,确定所述机器鱼的位置可包括:基于Meanshift的目标跟踪算法 计算所述图像中的目标区域和候选区域内像素特征值概率,得到目标模型描 述以及候选模型描述;利用相似函数度量所述目标模型以及当前帧的候选模 型的相似性;选择使所述相似函数最大的候选模型并得到目标模型的 Meanshift向量;迭代计算Meanshift向量,通过收敛得到所述机器鱼的位置。
可选的,控制所述机器鱼执行预设动作可包括:控制所述机器鱼按照预 设角度以及预设方向进行转向。
上述实施例的装置用于实现前述实施例中相应的方法,并且具有相应的 方法实施例的有益效果,在此不再赘述。
基于同一发明构思,本发明实施例还提供了一种电子设备,包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执 行所述程序时实现如上任一实施例所述的获取机器鱼运动轨迹的方法。
基于同一发明构思,本发明实施例还提供了一种非暂态计算机可读存储 介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用 于使所述计算机执行如上任一实施例所述的获取机器鱼运动轨迹的方法。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性 的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发 明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合, 步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它 变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本发明难以理解,在所提供 的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的 电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本发明难以 理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是 高度取决于将要实施本发明的平台的(即,这些细节应当完全处于本领域技 术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本发明的示 例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此, 这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述,但是根据前 面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说 将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可 以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样 的替换、修改和变型。因此,凡在本发明的精神和原则之内,所做的任何省 略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种获取机器鱼运动轨迹的方法,其特征在于,包括:
获取在水中游动的机器鱼的图像;
对所述图像进行分割,得到多个子图像;
在所述多个子图像中识别所述机器鱼,以确定所述机器鱼在所述图像中的位置;
当在所述多个子图像中均无法识别到所述机器鱼时,控制所述机器鱼执行预设动作后,再次获取所述机器鱼的图像以及确定所述机器鱼在再次获取到的图像中的位置;
根据至少两次获得的所述机器鱼在所述图像中的位置确定所述机器鱼的运动轨迹。
2.根据权利要求1所述的方法,其特征在于,对所述图像进行分割,包括:
将待分割图像中各像素的色彩向量作为一个输入神经元的输入向量,将与所述各像素相邻的八个像素的色彩向量作为径向函数RBF的各特征向量;
确定所述待分割图像中的种子神经元,其中,像素点到相邻像素点的最大曼哈顿距离小于第一阈值时,该像素点为种子像素点,该种子像素点对应的神经元为种子神经元,所述待分割图像中的种子神经元构成种子区域;
通过预设生长规则对种子区域进行生长,得到多个分组区域;
计算各分组区域的平均特征向量;
使用计算得到的平均特征向量替换其所属的分组区域所有神经元中所包含的特征向量;
如果存在未连接到任何分组区域的神经元,且该神经元到其相邻分组区域的距离小于第二阈值,则将该神经元连接到距离其最近的分组区域内;
将相邻的所述分组区域合并,得到待分割的多个区域;
按照所述多个区域对所述待分割图像进行分割,得到所述多个子图像。
3.根据权利要求2所述的方法,其特征在于,将相邻的所述分组区域合并,包括:
当待合并区域的面积小于预设面积,且所述待合并区域的颜色距离小于预设颜色距离阈值时,将所述待合并区域合并到相邻区域。
4.根据权利要求1所述的方法,其特征在于,确定所述机器鱼的位置包括:
基于Meanshift的目标跟踪算法计算所述图像中的目标区域和候选区域内像素特征值概率,得到目标模型描述以及候选模型描述;
利用相似函数度量所述目标模型以及当前帧的候选模型的相似性;
选择使所述相似函数最大的候选模型并得到目标模型的Meanshift向量;
迭代计算Meanshift向量,通过收敛得到所述机器鱼的位置。
5.根据权利要求1至4任一项所述的方法,其特征在于,控制所述机器鱼执行预设动作,包括:
控制所述机器鱼按照预设角度以及预设方向进行转向。
6.一种获取机器鱼运动轨迹的装置,其特征在于,包括:
第一获取模块,用于获取在水中游动的机器鱼的图像;
分割模块,用于对所述图像进行分割,得到多个子图像;
识别模块,用于在所述多个子图像中识别所述机器鱼,以确定所述机器鱼在所述图像中的位置;
第二获取模块,当在所述多个子图像中均无法识别到所述机器鱼时,控制所述机器鱼执行预设动作后,再次获取所述机器鱼的图像以及确定所述机器鱼在再次获取到的图像中的位置;
确定模块,用于根据至少两次获得的所述机器鱼在所述图像中的位置确定所述机器鱼的运动轨迹。
7.根据权利要求6所述的装置,其特征在于,所述分割模块,包括:
设置单元,用于将待分割图像中各像素的色彩向量作为一个输入神经元的输入向量,将与所述各像素相邻的八个像素的色彩向量作为径向函数RBF的各特征向量;
确定单元,用于确定所述待分割图像中的种子神经元,其中,像素点到相邻像素点的最大曼哈顿距离小于第一阈值时,该像素点为种子像素点,该种子像素点对应的神经元为种子神经元,所述待分割图像中的种子神经元构成种子区域;
生成单元,用于通过预设生长规则对种子区域进行生长,得到多个分组区域;
第一计算单元,用于计算各分组区域的平均特征向量;
替换单元,用于使用计算得到的平均特征向量替换其所属的分组区域所有神经元中所包含的特征向量;
连接单元,用于如果存在未连接到任何分组区域的神经元,且该神经元到其相邻分组区域的距离小于第二阈值,则将该神经元连接到距离其最近的分组区域内;
合并单元,用于将相邻的所述分组区域合并,得到待分割的多个区域;
分割单元,用于按照所述多个区域对所述待分割图像进行分割,得到所述多个子图像。
8.根据权利要求7所述的装置,其特征在于,所述合并单元用于:
当待合并区域的面积小于预设面积,且所述待合并区域的颜色距离小于预设颜色距离阈值时,将所述待合并区域合并到相邻区域。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5任一项所述的获取机器鱼运动轨迹的方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行权利要求1至5任一项所述的获取机器鱼运动轨迹的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910410101.9A CN110517287A (zh) | 2019-05-17 | 2019-05-17 | 获取机器鱼运动轨迹的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910410101.9A CN110517287A (zh) | 2019-05-17 | 2019-05-17 | 获取机器鱼运动轨迹的方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110517287A true CN110517287A (zh) | 2019-11-29 |
Family
ID=68622512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910410101.9A Pending CN110517287A (zh) | 2019-05-17 | 2019-05-17 | 获取机器鱼运动轨迹的方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110517287A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113917927A (zh) * | 2021-10-26 | 2022-01-11 | 沈阳航天新光集团有限公司 | 一种基于Leap Motion交互的仿生机器鱼控制*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140266205A1 (en) * | 2013-03-12 | 2014-09-18 | MRI Interventions, Inc. | Intra-body medical devices for use in mri environments |
CN104599262A (zh) * | 2014-12-18 | 2015-05-06 | 浙江工业大学 | 基于多通道脉冲耦合神经网络的彩色图像分割技术 |
CN104931091A (zh) * | 2015-06-24 | 2015-09-23 | 金陵科技学院 | 一种仿生机器鱼用测量平台及其使用方式 |
CN107186708A (zh) * | 2017-04-25 | 2017-09-22 | 江苏安格尔机器人有限公司 | 基于深度学习图像分割技术的手眼伺服机器人抓取***及方法 |
CN109241985A (zh) * | 2017-07-11 | 2019-01-18 | 普天信息技术有限公司 | 一种图像识别方法及装置 |
-
2019
- 2019-05-17 CN CN201910410101.9A patent/CN110517287A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140266205A1 (en) * | 2013-03-12 | 2014-09-18 | MRI Interventions, Inc. | Intra-body medical devices for use in mri environments |
CN104599262A (zh) * | 2014-12-18 | 2015-05-06 | 浙江工业大学 | 基于多通道脉冲耦合神经网络的彩色图像分割技术 |
CN104931091A (zh) * | 2015-06-24 | 2015-09-23 | 金陵科技学院 | 一种仿生机器鱼用测量平台及其使用方式 |
CN107186708A (zh) * | 2017-04-25 | 2017-09-22 | 江苏安格尔机器人有限公司 | 基于深度学习图像分割技术的手眼伺服机器人抓取***及方法 |
CN109241985A (zh) * | 2017-07-11 | 2019-01-18 | 普天信息技术有限公司 | 一种图像识别方法及装置 |
Non-Patent Citations (1)
Title |
---|
张鑫 等: "UAV目标跟踪预测算法研究", 《计算机与数学工程》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113917927A (zh) * | 2021-10-26 | 2022-01-11 | 沈阳航天新光集团有限公司 | 一种基于Leap Motion交互的仿生机器鱼控制*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105245841B (zh) | 一种基于cuda的全景视频监控*** | |
CN102903085B (zh) | 基于角点匹配的快速图像拼接方法 | |
CN110782477A (zh) | 基于序列图像的运动目标快速检测方法、计算机视觉*** | |
CN107301620A (zh) | 基于相机阵列的全景成像方法 | |
US10572762B2 (en) | Image processing method for performing pattern matching for detecting a position of a detection target | |
CN106296725A (zh) | 运动目标实时检测与跟踪方法及目标检测装置 | |
CN111510691B (zh) | 颜色插值方法及装置、设备、存储介质 | |
CN106530267B (zh) | 一种避免全景图像错位的融合方法 | |
CN110544269A (zh) | 基于特征金字塔的孪生网络红外目标跟踪方法 | |
CN108875621A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN112837344A (zh) | 一种基于条件对抗生成孪生网络的目标跟踪方法 | |
CN106709878A (zh) | 一种快速图像融合方法 | |
CN106485658A (zh) | 一种用于图像拼接的最优缝合线搜索方法 | |
CN107351080A (zh) | 一种基于相机单元阵列的混合智能研究***及控制方法 | |
JP2003271933A (ja) | 顔検出装置及び顔検出方法並びにロボット装置 | |
CN114979489A (zh) | 基于陀螺仪的重型装备生产场景视频监控稳像方法及*** | |
CN110287894A (zh) | 一种针对超广角视频的手势识别方法及*** | |
CN109949338A (zh) | 一种基于cpg模型仿生水下机器鱼的目标跟踪识别方法 | |
CN106780326A (zh) | 一种提高全景图像清晰度的融合方法 | |
CN110517287A (zh) | 获取机器鱼运动轨迹的方法、装置、设备及存储介质 | |
Aziz et al. | Evaluation of visual attention models for robots | |
CN114863487A (zh) | 基于二次回归的一阶段多人人体检测和姿态估计的方法 | |
CN106485731B (zh) | 一种基于改进霍夫变换的图像位置配准方法 | |
CN108171746A (zh) | 一种基于视觉的球杆小球定位***及方法 | |
Palacin et al. | Autonomous mobile mini-robot with embedded CMOS vision system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191129 |
|
RJ01 | Rejection of invention patent application after publication |