CN116128769B - 摇摆运动机构的轨迹视觉记录*** - Google Patents

Abstract

本发明涉及图像数据处理技术领域，具体涉及一种摇摆运动机构的轨迹视觉记录***。该***包括：图像数据获取模块，用于获取摇摆运动机在运动过程中切割装置图像；周期分析模块，用于根据固定像素点所在边缘方向获取切割角度，进而将运动过程划分周期；相关特征分析模块，用于获取切割装置图像的模糊特征值，得到两帧图像间的相关特征值；参考指标分析模块，根据周期内图像间的相关特征值获取周期相似度，获取图像间的参考度；轨迹视觉记录模块，基于图像间的参考度进行去模糊处理，依据处理后图像记录摆动运动机构的运动轨迹。本发明中参考度考虑到图像所属周期间关系，使选取图像有较好去模糊效果，提高摇摆运动机构的轨迹视觉记录精度。

Description

摇摆运动机构的轨迹视觉记录***

技术领域

本发明涉及图像数据处理技术领域，具体涉及一种摇摆运动机构的轨迹视觉记录***。

背景技术

摇摆运动机构是收获机上的重要部件，能把连续旋转运动转化为往复运动，从而实现切割动作。在切割过程中摇摆运动机构的运动往往会影响切割效率，故需要将摇摆运动的运动轨迹进行记录，以便对运动轨迹进行优化，进而提高收获机的效率。而在通过视觉记录***对运动轨迹进行记录时，摇摆运动机构会进行往复运动，采集的图像会存在运动模糊现象，进而导致记录的运动轨迹不够准确，因此需要对图像进行去运动模糊的处理。

现有技术通过估计视频序列的图像块在各帧上的运动并检测多帧图像中清晰图像块的对应位置，利用插帧或者直接替换的方法降低模糊程度。而在这一过程中进行替换的图像直接影响了去模糊的精度，当选择的图像较差时，去模糊效果也会很差，即对于每一帧都含有模糊的视频序列而言，基于多帧融合的方法难以在多帧中找到较好的参考清晰帧图像，从而降低了去模糊的效果。

发明内容

为了解决选取替换的图像块模糊程度较高，而导致图像的去模糊效果较差的技术问题，本发明的目的在于提供一种摇摆运动机构的轨迹视觉记录***，所采用的技术方案具体如下：

本发明提出了一种摇摆运动机构的轨迹视觉记录***，所述***包括：

图像数据获取模块，用于获取摇摆运动机构在往复运动过程中至少两帧切割装置图像；

周期分析模块，用于获取每帧切割装置图像的切割角度；基于所述切割角度将往复运动过程划分为至少两个周期；

相关特征分析模块，用于根据每帧切割装置图像的转动区域及其被平滑程度，获取每帧切割装置图像的模糊特征值；结合任意两帧切割装置图像的所述切割角度的差异、重叠区域内像素点数量与重叠区域内像素点的运动信息差异，获取任意两帧切割装置图像之间的相关特征值；

参考指标分析模块，用于根据模糊特征值筛选清晰图像；根据任意两个周期内图像的数量差异与共同清晰图像之间的所述相关特征值，获取任意两个周期之间的周期相似度；结合任意两帧切割装置图像之间的所述相关特征值、所属周期之间的所述周期相似度和所述模糊特征值，获取任意两帧切割装置图像之间的参考度；

轨迹视觉记录模块，用于依据切割装置图像之间的所述参考度对每帧切割装置图像进行去模糊处理；依据去模糊处理后图像内像素点位置记录摆动运动机构的运动轨迹。

进一步地，所述切割角度的获取方法，包括：

所述切割装置图像与预设静止图像中均包含一个固定像素点；

将所述切割装置图像内所述固定像素点预设邻域内的边缘像素点作为目标边缘点；将所述目标边缘点与预设静止图像内对应边缘像素点，组成目标边缘点对；

以所述目标边缘点对内每个边缘像素点与对应图像中所述固定像素点所成直线之间的夹角，作为所述目标边缘点对的切割角度差；将所述固定像素点对应的所有目标边缘点的所述切割角度差的均值，作为切割装置图像的所述切割角度。

进一步地，所述固定像素点的获取方法，包括：

对每帧切割装置图像进行边缘检测获取边缘像素点，将每帧切割装置区域的边缘像素点映射到同一帧图像中得到重合点；将所述重合点在每帧切割装置图像内对应边缘像素点作为所述固定像素点。

进一步地，所述周期的获取方法，包括：

将所有所述切割装置图像的切割角度按照时序映射至二维坐标系下，获得切割角度变化曲线；所述二维坐标系的横坐标为时间，纵坐标为切割角度；以所述切割角度变化曲线的端点和波谷点作为切割点，将相邻的三个所述切割点之间的曲线段对应的时间间隔为一个周期；每个周期有三个所述切割点，第一个所述切割点为周期的起始点，第三个所述切割点为周期的终止点；一个周期的终止点为下一个周期的起始点。

进一步地，所述模糊特征值的获取方法，包括：

将预设静止图像映射到每帧切割装置图像中，将重合部分作为对应切割装置图像的转动区域；去除所述切割装置图像的所述转动区域，得到每帧切割装置图像的未重叠区域；

将所述切割装置图像中所述转动区域内每个像素点与预设静止图像内对应像素点的灰度差值的绝对值，作为所述转动区域内对应像素点的模糊差；将所述转动区域内每个像素点的所述模糊差进行累加之和，作为所述被平滑度；所述被平滑度与所述未重叠区域内像素点数量的乘积，作为所述切割装置图像的所述模糊特征值。

进一步地，所述相关特征值的获取方法，包括：

将任意两帧切割装置图像映射到同一帧图像中，将重合部分作为两帧切割装置图像的重叠区域；使用光流法获取每帧所述切割装置图像内每个像素点的运动速度和运动方向；

所述重叠区域内每个位置在两帧切割装置图像中对应的两个像素点组成区域点组；将所述区域点组内两个像素点的所述运动速度的差值绝对值与所述运动方向的差值绝对值的乘积进行负相关映射，得到所述重叠区域内每个位置的运动相似度；将所述重叠区域内每个位置的所述运动相似度进行累加，得到对应两帧切割装置图像的运动特征值；

将两帧切割装置图像的所述切割角度的差值绝对值作为切割角差异值，将所述切割角差异值负相关映射，获得切割角相似值；

将任意两帧切割装置图像的所述切割角相似值、所述运动特征值与所述重叠区域内像素点数量的乘积，作为两帧切割装置图像的相关特征值。

进一步地，所述周期相似度的获取方法，包括：

设置模糊判断阈值；将每帧切割装置图像的所述模糊特征值进行归一化，得到归一模糊特征值；将所述归一模糊特征值大于等于所述模糊判断阈值的切割装置图像作为模糊图像，小于所述模糊判断阈值的切割装置图像作为所述清晰图像；

选取任意两个周期作为周期组；选取所述周期组的一个周期内任意所述清晰图像作为目标图像，将另一周期内与所述目标图像的最大所述相关特征值对应的清晰图像，作为所述目标图像的相关图像；所述目标图像与所述相关图像组成匹配对；

将任意两个周期内所述匹配对内两个清晰图像之间的所述相关特征值进行累加，得到初始周期相关度；将所述周期组内两个周期内图像数量的差值绝对值进行负相关映射，获得周期图像数量相似度；将所述周期图像数量相似度的倒数与所述初始周期相关度的乘积作为对应两个周期之间的所述周期相似度。

进一步地，所述参考度的获取方法，包括：

将每个所述模糊图像的所述归一模糊特征值进行负相关映射，得到模糊权值；将每个所述模糊图像与每个所述清晰图像之间的所述相关特征值、所属两个周期之间的所述周期相似度与清晰图像的所述模糊权值的乘积，作为对应模糊图像与对应清晰图像之间的所述参考度。

进一步地，所述去模糊的具体方法，为：

将模糊图像与每帧所述清晰图像的所述参考度进行归一化，得到模糊图像与每帧清晰图像的初始归一参考度；

设置参考阈值，将所述初始归一参考度大于所述参考阈值的清晰图像作为所述模糊图像的参考图像；

将模糊图像与所述参考图像之间所述参考度进行归一化，得到模糊图像与每帧参考图像之间的归一参考度；选取模糊图像内任意像素点作为目标像素点，将所述目标像素点在所述参考图像内的对应像素点作为参考像素点；

将每帧所述参考图像与模糊图像之间的所述归一参考度和对应参考图像中所述参考像素点的灰度值的乘积，作为对应所述参考图像内参考像素点的初始参考值；将所有参考图像内所述参考像素点的所述初始参考值的均值作为所述目标像素点的参考值；

改变所述目标像素点，获取模糊图像内每个像素点的所述参考值；将模糊图像内每个像素点的所述参考值作为对应像素点的灰度值，完成所述模糊图像去模糊处理。

进一步地，所述记录的具体方法，为：

将往复运动过程中所述模糊图像进行去模糊处理；对往复运动过程中每帧切割装置图像均进行角点检测，所述每帧切割装置图像得到至少两个角点；选取与所述固定像素点距离最远的所述角点作为对应切割装置图像的监测点；

记录往复运动过程中每帧切割装置图像的所述监测点的位置，完成摇摆运动机构的运动轨迹的记录。

本发明具有如下有益效果：

本发明实施例中切割装置的往复运动与摇摆运动同理，获取往复运动过程中每帧切割装置图像的切割角度，切割角度能够清晰呈现某时刻下切割装置在切割运动过程中位置情况，基于切割角度将往复运动过程划分周期，提高了周期划分的准确性；图像出现模糊现象时像素点被平滑，则被平滑程度能够反映图像的模糊情况，直接根据整张图像的被平滑程度获取图像的模糊程度，容易因切割装置在不同摇摆位置产生误差，所以对切割装置图像的转动区域及其被平滑程度进行分析，增加了模糊特征值的精度；两帧图像的重叠区域内像素点数量呈现图像间的重合程度，重叠区域内像素点的运动信息差异从像素点运动情况反映两帧图像之间的信息相关性，考虑到切割装置的摇摆特征，同时结合两帧图像的切割角度的差异分析，使相关特征值能够更加准确体现两帧图像之间相关程度；农作物的生长状况会影响切割装置作业过程中的往复运动，使得不同周期内图像数量存在差异，同时清晰图像的特征被较好保留，使得不同周期间清晰图像之间相关特征值能较大程度反映周期的相似情况，则根据周期间图像数量差异与共同清晰图像之间的相关特征值，获取两个周期之间的周期相似度；收获机在切割农作物时，农作物的生长不完全一致，使往复运动的周期不完全相同，不考虑周期间的差异直接选择替换图像，则去模糊的精度不能保证，因此获取不同周期间的周期相似度，并结合切割装置图像之间的相关特征值和模糊特征值，使获取图像与被替换图像之间的参考性更高，则基于参考性选择的图像较清晰且相关程度较大，极大地提升了去模糊效果，进而对去模糊处理后图像内像素点位置进行较为准确地定位，提高了摆动运动机构的运动轨迹的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明一个实施例所提供的一种摇摆运动机构的轨迹视觉记录***的***框图；

图2是本发明一个实施例所提供的切割运动过程简化示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种建筑吊篮的智能监控***及监控方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本发明所针对的具体场景：摇摆传动箱是收获机上的重要部件，它控制切割装置进行往复运动对农作物进行收割。而切割装置在对农作物进行收割的运动轨迹直接影响了其收割效率，即不同的切割轨迹需要的切割力不同，需要对切割轨迹进行记录分析，而由于其收割过程为往复运动，在采集图像对轨迹进行记录时，图像可能出现运动模糊现象，进而导致轨迹记录不准确。故本发明中对切割装置的运动过程进行分析。

下面结合附图具体的说明本发明所提供的一种摇摆运动机构的轨迹视觉记录***的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种摇摆运动机构的轨迹视觉记录***的***框图，该***包括：图像数据获取模块101，周期分析模块102，相关特征分析模块103，参考指标分析模块104，轨迹视觉记录模块105。

图像数据获取模块101，用于获取摇摆运动机构在往复运动过程中至少两帧切割装置图像。

具体的，在本发明实施例中在摇摆传动箱的正上方固定工业相机，使用工业相机实时采集切割装置的图像，采集的图像为视频图像。对图像使用加权灰度化进行灰度化处理，得到初始切割装置图像。其中，加权灰度化为公知技术，具体方法在此不做介绍。

在本发明其他实施例中也可选用其他图像采集装置及图像预处理算法，图像采集和图像预处理算法均为本领域技术人员熟知的技术手段，在此不做限定。

由于初始切割装置图像在收获机作业过程中获取，则初始切割装置图像内有切割装置和农作物等物体，为了对切割装置进行针对分析，获取初始切割装置图像内切割装置区域。

在本发明实施例中利用帧差法将切割装置往复运动过程中的初始切割装置图像分为静止图像和运动图像，并得到每帧运动图像内的运动像素点，将每帧运动图像内运动像素点构成的区域作为对应运动图像的切割装置区域；由于静止图像中切割装置为静止状态，所以可以采用人工标注图像内的切割装置部分，得到切割装置区域。由此，得到摇摆运动机构在往复运动过程中每帧切割装置图像，且切割装置图像内仅有切割装置区域。其中，帧差法为公知技术，具体方法在此不做介绍。

在本发明另一个实施例中，也可通过阈值分割获取初始切割装置图像内切割装置区域，具体算法内容为本领域技术人员熟知的技术手段，在此不做赘述。在本发明的其他实施例中可选择其他方法获取切割装置区域，在此不做限定。

周期分析模块102，用于获取每帧切割装置图像的切割角度；基于切割角度将往复运动过程划分为至少两个周期。

由于摇摆运动机构在运动时为往复运动，采集的图像为视频图像，在对图像进行去模糊处理时，传统算法通过视频图像的相关性直接完成去模糊处理，即将清晰处图像对模糊处图像进行替换。故进行替换的图像直接影响去模糊的精度，当选择的图像较差时，去模糊效果较差，即对于每一帧都模糊的视频序列而言，基于多帧融合的方法难以在多帧中找到较好的清晰图像，从而降低了去模糊的效果。

在实际情况中，摇摆传动箱在往复运动过程中有多个周期，与模糊图像相关性较高的清晰图像可能分布在不同周期内，所以在选取清晰图像对模糊处图像进行替换时，需要考虑不同周期内的清晰图像对模糊图像的去模糊效果。因此，将往复运动分解为多个周期，基于多个周期内切割装置的运动特征来完成去模糊，可以有效提高去模糊的精度。

切割装置在进行往复运动时，装置的一端通常被固定，另一端进行切割。切割装置的往复运动与摇摆运动同理，最常见的摇摆运动为吊着怀表在空中进行左右摇摆，摇摆运动过程中，上端固定，下端进行左右方向上的摇摆。同理，俯视状态下的切割装置的尾部是固定的，而刀口进行往复运动，完成切割运动。

获取切割装置的运动状态，需要先确定切割装置图像中的切割角度。优选地，在本发明一个实施例中，通过以连续多帧切割装置图像中的固定点作为参考，进而获取每帧切割装置图像的切割角度，具体固定像素点的具体获取方法为：对每帧切割装置图像进行边缘检测获取边缘像素点，将每帧切割装置区域的边缘像素点映射到同一帧图像中得到重合点；将重合点在每帧切割装置图像内对应边缘像素点作为固定像素点。

为了便于理解，假设切割装置在图像中左右移动完成切割，图像为俯视图，设置固定端在图像下方。图2是本发明一个实施例所提供的切割运动过程简化示意图，如图2所示，图2为切割装置的切割运动过程的俯视图，图中两个矩形为切割装置的简化图，两个矩形的最下侧点q为固定像素点。对多帧切割装置图像分别进行canny算子检测，分别获取每帧切割装置图像的边缘像素点，将每帧切割装置图像的边缘像素点映射到同一帧图像中，将重合的边缘像素点作为重合点，将重合点在每帧切割装置图像内对应像素点作为固定像素点。其中，canny算子检测为公知技术，具体方法在此不做介绍。

切割装置图像内固定像素点所在边缘的方向可以直观地反映切割装置区域的运动情况，依据该特征获取切割装置图像的切割角度。优选地，切割装置图像的切割角度的获取方法为：切割装置图像与预设静止图像中均包含一个固定像素点；将切割装置图像内固定像素点预设邻域内的边缘像素点作为目标边缘点；将目标边缘点与预设静止图像内对应边缘像素点，组成目标边缘点对；以目标边缘点对内每个边缘像素点与对应图像中固定像素点所成直线之间的夹角，作为目标边缘点对的切割角度差；将固定像素点对应的所有目标边缘点的切割角度差的均值，作为切割装置图像的切割角度。

作为一个示例，由于在切割装置静止状态下获取的切割装置图像内信息较为准确，运动状态下获取的切割装置图像可能出现模糊，则以静止状态的切割装置图像内信息为基准，使得运动状态的切割装置图像的切割角度更加准确。以预设静止图像Q与任意切割装置图像W为例进行分析，切割装置的运动过程相当于以固定像素点q为定点，将切割装置图像连续旋转一定角度，则预设静止图像Q中每个像素点均能够在切割装置图像W内找到对应像素点。固定像素点邻域内边缘像素点与固定像素点所成直线可以直观地反映切割装置区域的运动情况，分别获取预设静止图像Q内固定像素点的预设邻域内每个边缘像素点与固定像素点所成直线的顺时针夹角，切割装置图像W内固定像素点的预设邻域内对应边缘像素点与固定像素点所成直线的顺时针夹角，基于两帧图像中所得夹角之间的差异，获取切割装置图像W的切割角度。本发明实施例设置预设静止图像为往复运动过程中第一次出现的静止图像，固定像素点的预设邻域的尺寸取经验值3×3，实施者可根据实际情况自行设定预设邻域的尺寸大小。

根据切割装置图像W与预设静止图像Q内固定像素点所在边缘方向的差异，获取切割装置图像W的切割角度。切割角度的计算公式如下：

式中，

为切割装置图像W的切割角度；

为预设静止图像Q中固定像素点的预 设邻域内第i个边缘像素点与固定像素点所成直线，和切割装置图像W中对应边缘像素点与 固定像素点所成直线之间的夹角；N为固定像素点的预设邻域内边缘像素点的数量。

需要说明的是，预设静止图像Q中固定像素点的预设邻域内边缘像素点与固定像 素点所成直线，与切割装置图像W中对应边缘像素点与固定像素点所成直线之间的夹角

越小，说明切割装置图像W的转动程度越小，则切割角度则

越小。

在本发明其他实施例中也可通过特征点匹配的方法确定每帧切割装置图像的切割角度，具体算法为本领域技术人员熟知的技术手段，在此不做赘述。

切割装置图像的切割角度能够直观呈现某时刻下切割装置在切割运动过程中位置信息，所以基于切割角度的变化过程将往复运动划分周期。优选地，周期的具体获取方法为：将所有切割装置图像的切割角度按照时序映射至二维坐标系下，获得切割角度变化曲线；二维坐标系的横坐标为时间，纵坐标为切割角度；以切割角度变化曲线的端点和波谷点作为切割点，将相邻的三个切割点之间的曲线段对应的时间间隔为一个周期；每个周期有三个切割点，第一个切割点为周期的起始点，第三个切割点为周期的终止点；一个周期的终止点为下一个周期的起始点。

需要说明的是，农作物的生长状况会影响切割装置作业过程中的往复运动，导致切割角度变化曲线的波峰点的值不一定相同，而切割角度变化曲线的两个端点和所有波谷点的值均为0。本发明实施例将切割角度变化曲线上相邻的三个切割点之间的时间段作为一个周期，即周期的起始点为切割角度为0的切割装置图像，在一个周期内切割角度从0不断增大，增大到最大切割角度后再减小，减小到0之后再增大至最大切割角度后再减小至0，将该切割角度为0的切割装置图像作为该周期的终点和下一个周期的起始点，得到往复运动的一个周期。

至此，将往复运动过程分割成多个周期。

相关特征分析模块103，用于根据每帧切割装置图像的转动区域及其被平滑程度，获取每帧切割装置图像的模糊特征值；结合任意两帧切割装置图像的切割角度的差异、重叠区域内像素点数量与重叠区域内像素点的运动信息差异，获取任意两帧切割装置图像之间的相关特征值。

切割装置在进行往复运动时，在不同图像内切割装置区域所呈现的角度不同，故直接对两帧图像的切割装置区域内重合部分信息进行分析，进而构建模糊特征值时会存在误差。图像出现模糊现象时像素点被平滑，则被平滑程度能够反映图像的模糊情况，直接根据整张图像的被平滑程度获取图像的模糊程度，容易因切割装置在不同摇摆位置产生误差，所以对切割装置图像的转动区域及其被平滑程度进行分析，增加了模糊特征值的精度。

优选地，切割装置图像的模糊特征值的获取方法为：将预设静止图像映射到每帧切割装置图像中，将重合部分作为对应切割装置图像的转动区域；去除切割装置图像的转动区域，得到每帧切割装置图像的未重叠区域；将切割装置图像中转动区域内每个像素点与预设静止图像内对应像素点的灰度差值的绝对值，作为转动区域内对应像素点的模糊差；将转动区域内每个像素点的模糊差进行累加之和，作为被平滑度；被平滑度与未重叠区域内像素点数量的乘积，作为切割装置图像的模糊特征值。

作为一个示例，由于在切割装置静止状态下获取的切割装置图像内信息较为准确，运动状态下获取的切割装置图像可能出现模糊现象，则以静止状态的切割装置图像内信息为基准进行分析，使得切割装置图像的模糊程度更加准确。根据预设静止图像Q与任意周期内任意切割装置图像E为例进行分析，切割装置图像E相当于切割装置以固定像素点q为定点，将切割装置区域连续旋转一定角度得到。将预设静止图像Q内像素点映射到切割装置图像E中，将像素点重合的区域作为切割装置图像E的重叠区域，而未重合像素点组成的区域作为切割装置图像E的未重叠区域。由于图像出现模糊现象时，图像内像素点被平滑，则重叠区域内像素点分别在切割装置图像E与预设静止图像Q内对应像素点的灰度差异，能够反映切割装置图像E的模糊情况；并结合切割装置图像E的为未重叠区域进行分析，使得切割装置图像E的模糊特征值更加准确。

结合重叠区域内像素点在切割装置图像E与预设静止图像Q内对应像素点的灰度差异，与未重叠区域内像素点数量，得到切割装置图像E的模糊特征值。模糊特征值的计算公式如下：

式中，

为切割装置图像E的模糊特征值，n为切割装置图像E的未重叠区域内像 素点数量，

为切割装置图像E的转动区域内像素点数量，

为切割装置图像E的转动区 域内第i个像素点在切割装置图像E内的灰度值，

为切割装置图像E的转动区域内第i个像 素点在预设静止图像Q内对应像素点的灰度值；

为绝对值函数。

需要说明的是，当切割装置图像E的模糊程度越严重，则图像的边界变宽，导致切割装置区域变大，则切割装置图像E的未重叠区域变大，未重叠区域内像素点的数量n越大，使得切割装置图像的模糊程度越严重；切割装置图像的转动区域内像素点的灰度值与预设静止图像内对应像素点的灰度值的差异越大，则切割装置区域被平滑的程度越大，说明切割装置的模糊程度越严重，则切割装置图像E的模糊特征值ME越大。

切割装置图像之间的相关特征值是基于图像的局部特征获取的，两帧切割装置图像的重叠区域内像素点数量呈现图像的重合程度，重叠区域内像素点的运动信息差异从像素点运动情况反映两帧图像之间的相关性，考虑到切割装置的摇摆特征，同时结合两帧切割装置图像的切割角度的差异，将三种因素综合进行分析获取的相关特征值能够更加准确体现两帧图像之间相关程度。

优选地，两帧切割装置图像的相关特征值的获取方法为：将任意两帧切割装置图像映射到同一帧图像中，将重合部分作为两帧切割装置图像的重叠区域；使用光流法获取每帧切割装置图像内每个像素点的运动速度和运动方向；重叠区域内每个位置在两帧切割装置图像中对应的两个像素点组成区域点组；将区域点组内两个像素点的运动速度的差值绝对值与运动方向的差值绝对值的乘积进行负相关映射，得到重叠区域内每个位置的运动相似度；将重叠区域内每个位置的运动相似度进行累加，得到对应两帧切割装置图像的运动特征值；将两帧切割装置图像的切割角度的差值绝对值作为切割角差异值，将切割角差异值负相关映射，获得切割角相似值；将任意两帧切割装置图像的切割角相似值、运动特征值与重叠区域内像素点数量的乘积，作为两帧切割装置图像的相关特征值。其中，光流法为公知技术，具体方法在此不做介绍。

作为一个示例，以切割装置图像A和切割装置图像B为例，结合切割装置图像A和切割装置图像B之间切割角度的差异、重叠区域内像素点的数量与重叠区域内像素点在两帧图像内运动信息的差异，获取两帧图像之间的相关特征值。相关特征值的计算公式如下：

式中，RG为切割装置图像A和切割装置图像B之间的相关特征值，

为重叠区域 内第i个位置的运动相似度，

为重叠区域的第i个位置在切割装置图像A中对应像素点的 运动速度，

为重叠区域的第i个位置在切割装置图像B中对应像素点的运动速度，

为重 叠区域的第i个位置在切割装置图像A中对应像素点的运动方向，

为重叠区域的第i个位 置在切割装置图像B中对应像素点的运动方向，

为切割装置图像A的切割角度，

为切割 装置图像B的切割角度，

为重叠区域内像素点位置的数量，

为预设第一常数，防止分母为 0，经验值为0.01；exp为以自然常数e为底数的指数函数；

为绝对值函数。

需要说明的是，当重叠区域内每个位置在两帧切割装置图像中对应像素点的运动角度差异和运动方向差异越小，说明切割装置图像A和切割装置图像B在不同周期内位置越接近，两帧切割装置图像的相关程度越大，则相关特征值RG越大；当两帧切割装置图像的切割角度越接近，此时两帧图像的重合程度越大，则重合区域内像素点数量m越多，说明两帧图像较为接近，则切割装置图像A与切割装置图像B之间的相关特征值越大。

使用上述方法，获取往复运动过程中任意两帧切割装置图像之间的相关特征值。

参考指标分析模块104，用于根据模糊特征值筛选清晰图像；根据任意两个周期内图像的数量差异与共同清晰图像之间的相关特征值，获取任意两个周期之间的周期相似度；结合任意两帧切割装置图像之间的相关特征值、所属周期之间的周期相似度和模糊特征值，获取任意两帧切割装置图像之间的参考度。

切割装置往复运动过程获取的视频图像往往具有一定的相关性，则可基于视频图像的相关性与往复运动的周期性构建处于不同周期内图像之间的参考度，基于参考度完成模糊图像的去模糊处理，提高去模糊精度。因此，为提高图像的去模糊精度，对往复运动过程中不同周期之间的相关程度进行分析。

虽然往复运动具有周期性，当某一图像出现模糊时，直接在别的周期内选择清晰图像进行替换使得去模糊操作不够准确。原因是收获机在切割农作物时，农作物的生长不可能完全一致，导致切割过程不会完全一致，即往复运动过程划分出的周期不完全一致。在直接替换时，去模糊的精度不能保证，故本发明实施例中通过不同周期内图像的数量差异与两个周期内清晰图像之间的相关特征值构建两个周期的周期相似度。

优选地，两个周期的周期相似度的具体获取方法为：设置模糊判断阈值；将每帧切割装置图像的模糊特征值进行归一化，得到归一模糊特征值；将归一模糊特征值大于等于模糊判断阈值的切割装置图像作为模糊图像，小于模糊判断阈值的切割装置图像作为清晰图像；选取任意两个周期作为周期组；选取周期组的一个周期内任意清晰图像作为目标图像，将另一周期内与目标图像的最大相关特征值对应的清晰图像，作为目标图像的相关图像；目标图像与相关图像组成匹配对；将任意两个周期内匹配对内两个清晰图像之间的相关特征值进行累加，得到初始周期相关度；将周期组内两个周期内图像数量的差值绝对值进行负相关映射，获得周期图像数量相似度；将周期图像数量相似度的倒数与初始周期相关度的乘积作为对应两个周期之间的周期相似度。

作为一个示例，对于不同周期而言，必然是某一周期内的模糊图像参考另一周期内对应时刻的清晰图像，直接通过两帧图像之间相关特征值计算两个周期的参考度，会由于模糊图像的图像特征被平滑，进而导致模糊图像与清晰图像之间的相关特征值较小，导致两个周期之间的周期相似度出现误差。故本发明中基于两个周期内清晰图像之间的相关特征值获取周期之间的相似性。以周期c和周期d为例进行分析，分别获取周期c和周期d内的清晰图像。选取周期c内清晰图像C，计算清晰图像C与周期d内每个清晰图像之间的相关特征值，当清晰图像C与周期d内清晰图像D之间的相关特征值最大时，清晰图像C与清晰图像D作为匹配对，获取周期c和周期d之间所有的匹配对。根据周期c和周期d之间匹配对内两个清晰图像之间的相关特征值和两个周期图像数量的差异，获取周期c和周期d之间的周期相似度。当两个周期为同一周期时，则周期相似度为1。本发明实施例中模糊判断阈值取经验值0.2，实施者可根据具体的实施场景具体设置。周期c和周期d之间的周期相似度的计算公式如下：

式中，AS为周期c和周期d之间周期相似度，

为周期c内切割装置图像的数量，

为周期d内切割装置图像的数量，L为周期c和周期d之间匹配对的数量，

为周期c 和周期d之间第i个匹配对内两个清晰图像之间相关特征值，

为预设第二常数，防止分母 为0，经验值为0.01；

为绝对值函数。

需要说明的是，当周期c和周期d之间匹配对内两张清晰图像之间的相关特征值

越大，说明两个周期内清晰图像之间相关程度越高，则周期c和周期d之间的周期相似度AS越高；周期c和周期d内图像数量的差异越小，说明两个周期越相似，则两个周期之间的周期相似度越大。

任意两帧切割装置图像之间的相关特征值、所属周期之间的周期相似度和模糊特征值，均能够影响两帧切割装置图像之间的参考度，将这三种因素综合进行分析获取两帧图像之间的参考度，使得图像之间的参考性更强。优选地，参考度的具体获取方法为：将每个模糊图像的归一模糊特征值进行负相关映射，得到模糊权值；将每个模糊图像与每个清晰图像之间的相关特征值、所属两个周期之间的周期相似度与清晰图像的模糊权值的乘积，作为对应模糊图像与对应清晰图像之间的参考度。

需要说明的是，由于去模糊过程为选取与模糊图像相关程度较大的清晰图像，使用该清晰图像对模糊图像进行替换，所以在考虑模糊图像与其他图像之间参考度时，仅计算每个周期内各清晰图像与模糊图像之间参考度，同时减少了计算量。

作为一个示例，以模糊图像H和清晰图像Z为例进行分析，当模糊图像H和清晰图像 Z处于同一周期时，则两张图像之间的周期相似度AS为1；当模糊图像H和清晰图像Z处于不 同周期时，则获取两帧图像所属周期之间周期相似度。本发明实施例中，通过常数1与清晰 图像Z的归一模糊特征值

的差值实现归一模糊特征值

的负相关映射，得到模糊权重。 在其他实施例中可以选择函数转化等负相关方法，在此不做限定。结合模糊图像H和清晰图 像Z之间的相关特征值、所属两个周期之间的周期相似度与模糊权值，获取模糊图像H和清 晰图像Z之间的参考度。参考度的计算公式如下：

式中，CK为模糊图像H和清晰图像Z之间的参考度，RS为模糊图像H和清晰图像Z所 属周期之间的周期相似度，RG为模糊图像H和清晰图像Z之间的相关特征值，

为清晰图像 Z的归一模糊特征值。

需要说明的是，当模糊图像H和清晰图像Z所属两个周期之间的周期相似度RS越大，说明两个周期越相似，则模糊图像H和清晰图像Z之间的参考度CK越大；当模糊图像H和清晰图像Z之间的相关特征值越大，表明两帧图像较为接近，则参考度CK越大；当清晰图像Z的归一模糊特征值越小时，则清晰图像Z较为清晰，在后续使用清晰图像Z对模糊图像H进行去模糊操作的效果越好，则参考度CK越大。

根据获取模糊图像与清晰图像之间参考度的方法，分别获取模糊图像与每个周期内各清晰图像之间的参考度。

轨迹视觉记录模块105，用于依据切割装置图像之间的参考度对每帧切割装置图像进行去模糊处理；依据去模糊处理后图像内像素点位置记录摆动运动机构的运动轨迹。

基于切割装置图像之间的参考度筛选出与需要替换的切割装置图像较为合适的图像，通过该图像对切割装置图像进行去模糊处理，提高去模糊精度。

优选地，去模糊的具体方法为：将模糊图像与每帧清晰图像的参考度进行归一化，得到模糊图像与每帧清晰图像的初始归一参考度；设置参考阈值，将初始归一参考度大于参考阈值的清晰图像作为模糊图像的参考图像；将模糊图像与参考图像之间参考度进行归一化，得到模糊图像与每帧参考图像之间的归一参考度；选取模糊图像内任意像素点作为目标像素点，将目标像素点在参考图像内的对应像素点作为参考像素点；将每帧参考图像与模糊图像之间的归一参考度和对应参考图像中参考像素点的灰度值的乘积，作为对应参考图像内参考像素点的初始参考值；将所有参考图像内参考像素点的初始参考值的均值作为目标像素点的参考值；改变目标像素点，获取模糊图像内每个像素点的参考值；将模糊图像内每个像素点的参考值作为对应像素点的灰度值，完成模糊图像去模糊处理。

作为一个示例，以模糊图像H为例进行分析，假设每个周期内各清晰图像分别为 X1、X2、X3和X4，获取模糊图像H与每个周期内各清晰图像之间的参考度，依次为CK1、CK2、 CK3和CK4，对这4个参考度进行归一化，依次得到初始归一参考度

、

、

和

。若初始归一参考度

和

大于参考阈值，则清晰图像X1和清晰图像X2为模糊图像H 的参考图像。对模糊图像H与参考图像X1之间的参考度CK1，模糊图像H与参考图像X2之间的 参考度CK2进行归一化，依次得到归一参考度

和

。选取模糊图像H中像素点a进行 后续分析，获取像素点a在参考图像X1和X2内对应像素点a1和a2，将像素点a1的灰度值与归 一参考度

的乘积、像素点a2的灰度值与归一参考度

的乘积的均值，作为像素点a 的参考值，将参考值作为模糊图像H内像素点a的灰度值。本发明实施中可选择函数转化、最 大最小规范化、Sigmoid函数等归一化方法分别对模糊图像与清晰图像之间的参考度，以及 模糊图像与参考图像之间的参考度进行归一化，在此不做限定。

本发明实施例中参数阈值取经验值0.5，实施者可根据具体的实施场景具体设置。

需要说明的是，在计算过程中需要进行两次归一化处理，两次归一化处理的对象不同，第一次归一化处理的对象为模糊图像与每个周期内各清晰图像之间的参考度，第二次归一化处理的对象为模糊图像与各参考图像之间的参考度。当经过第一次归一化处理后得到模糊图像与清晰图像之间的初始归一参考度大于参考阈值时，该模糊图像与清晰图像之间的参考度才能进行第二次归一化处理。

根据模糊图像H与参考图像X1和X2之间的参考度，以及参考图像X1和X2内像素点的灰度值，得到模糊图像H像素点a的参考值。参考值的计算公式如下：

式中，

为模糊图像H内像素点a的参考值，D为模糊图像H的参考图像的数量，

为 模糊图像H的第i个参考图像内与像素点a坐标相同的像素点的灰度值，

为模糊图像H与 第i个参考图像之间的归一参考度。

需要说明的是，当模糊图像H与参考图像之间的参考度越大，则归一参考度

越 大，说明模糊图像H与参考图像之间的相关性越大，且参考图像较为清晰，并将模糊图像H与 参考图像之间的归一参考度

作为参考图像内像素点的灰度值的权重，能够根据图像之 间参考程度调整参考图像内像素点的灰度值，提高了模糊图像H去模糊效果。

由于每个周期内清晰图像的模糊程度较小，为了减少计算量，清晰图像无需进行后续处理，仅针对每个周期内的模糊图像进行去模糊操作。

根据上述方法，获取模糊图像内每个像素点的参考值，将参考值作为模糊图像内像素点的灰度值，完成模糊图像的去模糊操作。

将往复运动过程中模糊图像进行去模糊处理；对往复运动过程中每帧切割装置图像均进行角点检测，每帧切割装置图像得到至少两个角点；选取与固定像素点距离最远的角点作为对应切割装置图像的监测点；记录往复运动过程中每帧切割装置图像的监测点的位置，完成摇摆运动机构的运动轨迹的记录。需要说明的是，因为图像中的角点容易获取且具有明显特征，所以选用角点作为图像的监测点；监测点与固定像素点之间的距离越近，则使用检测点记录摇摆运动机构的运动轨迹越不明显，因此，选用与固定像素点距离最远角点作为监测点，记录摇摆运动机构的运动轨迹。其中，角点检测为公知技术，具体方法在此不做介绍。

在本发明另一个实施例中也可直接获得每个角点的轨迹进行记录，在此不做赘述其过程。

至此，本发明完成。

综上所述，在本发明实施例中，图像数据获取模块，用于获取摇摆运动机在运动过程中切割装置图像；周期分析模块，用于根据固定像素点所在边缘方向获取切割角度，进而将运动过程划分周期；相关特征分析模块，用于获取切割装置图像的模糊特征值，并得到两帧图像间的相关特征值；参考指标分析模块，根据两个周期内图像间的相关特征值获取周期相似度，进一步获取图像间的参考度；轨迹视觉记录模块，基于图像间的参考度进行去模糊处理，依据处理后图像记录摆动运动机构的运动轨迹。本发明中参考度考虑到图像所属周期间的相关性，使基于参考性选取的清晰图像有较好的去模糊效果，进而提高了摇摆运动机构的轨迹视觉记录精度与效率。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种摇摆运动机构的轨迹视觉记录***，其特征在于，该***包括：

图像数据获取模块，用于获取摇摆运动机构在往复运动过程中至少两帧切割装置图像；

周期分析模块，用于获取每帧切割装置图像的切割角度；基于所述切割角度将往复运动过程划分为至少两个周期；

相关特征分析模块，用于根据每帧切割装置图像的转动区域及其被平滑程度，获取每帧切割装置图像的模糊特征值；结合任意两帧切割装置图像的所述切割角度的差异、重叠区域内像素点数量与重叠区域内像素点的运动信息差异，获取任意两帧切割装置图像之间的相关特征值；

参考指标分析模块，用于根据模糊特征值筛选清晰图像；根据任意两个周期内图像的数量差异与共同清晰图像之间的所述相关特征值，获取任意两个周期之间的周期相似度；结合任意两帧切割装置图像之间的所述相关特征值、所属周期之间的所述周期相似度和所述模糊特征值，获取任意两帧切割装置图像之间的参考度；

轨迹视觉记录模块，用于依据切割装置图像之间的所述参考度对每帧切割装置图像进行去模糊处理；依据去模糊处理后图像内像素点位置记录摆动运动机构的运动轨迹；

所述切割角度的获取方法，包括：

所述切割装置图像与预设静止图像中均包含一个固定像素点；

将所述切割装置图像内所述固定像素点预设邻域内的边缘像素点作为目标边缘点；将所述目标边缘点与预设静止图像内对应边缘像素点，组成目标边缘点对；

以所述目标边缘点对内每个边缘像素点与对应图像中所述固定像素点所成直线之间的夹角，作为所述目标边缘点对的切割角度差；将所述固定像素点对应的所有目标边缘点的所述切割角度差的均值，作为切割装置图像的所述切割角度；

所述相关特征值的获取方法，包括：

将任意两帧切割装置图像映射到同一帧图像中，将重合部分作为两帧切割装置图像的重叠区域；使用光流法获取每帧所述切割装置图像内每个像素点的运动速度和运动方向；

所述重叠区域内每个位置在两帧切割装置图像中对应的两个像素点组成区域点组；将所述区域点组内两个像素点的所述运动速度的差值绝对值与所述运动方向的差值绝对值的乘积进行负相关映射，得到所述重叠区域内每个位置的运动相似度；将所述重叠区域内每个位置的所述运动相似度进行累加，得到对应两帧切割装置图像的运动特征值；

将两帧切割装置图像的所述切割角度的差值绝对值作为切割角差异值，将所述切割角差异值负相关映射，获得切割角相似值；

将任意两帧切割装置图像的所述切割角相似值、所述运动特征值与所述重叠区域内像素点数量的乘积，作为两帧切割装置图像的相关特征值；

所述去模糊的具体方法，为：

将模糊图像与每帧所述清晰图像的所述参考度进行归一化，得到模糊图像与每帧清晰图像的初始归一参考度；

设置参考阈值，将所述初始归一参考度大于所述参考阈值的清晰图像作为所述模糊图像的参考图像；

将模糊图像与所述参考图像之间所述参考度进行归一化，得到模糊图像与每帧参考图像之间的归一参考度；选取模糊图像内任意像素点作为目标像素点，将所述目标像素点在所述参考图像内的对应像素点作为参考像素点；

将每帧所述参考图像与模糊图像之间的所述归一参考度和对应参考图像中所述参考像素点的灰度值的乘积，作为对应所述参考图像内参考像素点的初始参考值；将所有参考图像内所述参考像素点的所述初始参考值的均值作为所述目标像素点的参考值；

改变所述目标像素点，获取模糊图像内每个像素点的所述参考值；将模糊图像内每个像素点的所述参考值作为对应像素点的灰度值，完成所述模糊图像去模糊处理。

2.根据权利要求1所述的一种摇摆运动机构的轨迹视觉记录***，其特征在于，所述固定像素点的获取方法，包括：

对每帧切割装置图像进行边缘检测获取边缘像素点，将每帧切割装置区域的边缘像素点映射到同一帧图像中得到重合点；将所述重合点在每帧切割装置图像内对应边缘像素点作为所述固定像素点。

3.根据权利要求1所述的一种摇摆运动机构的轨迹视觉记录***，其特征在于，所述周期的获取方法，包括：

将所有所述切割装置图像的切割角度按照时序映射至二维坐标系下，获得切割角度变化曲线；所述二维坐标系的横坐标为时间，纵坐标为切割角度；以所述切割角度变化曲线的端点和波谷点作为切割点，将相邻的三个所述切割点之间的曲线段对应的时间间隔为一个周期；每个周期有三个所述切割点，第一个所述切割点为周期的起始点，第三个所述切割点为周期的终止点；一个周期的终止点为下一个周期的起始点。

4.根据权利要求1所述的一种摇摆运动机构的轨迹视觉记录***，其特征在于，所述模糊特征值的获取方法，包括：

将预设静止图像映射到每帧切割装置图像中，将重合部分作为对应切割装置图像的转动区域；去除所述切割装置图像的所述转动区域，得到每帧切割装置图像的未重叠区域；

将所述切割装置图像中所述转动区域内每个像素点与预设静止图像内对应像素点的灰度差值的绝对值，作为所述转动区域内对应像素点的模糊差；将所述转动区域内每个像素点的所述模糊差进行累加之和，作为所述被平滑度；所述被平滑度与所述未重叠区域内像素点数量的乘积，作为所述切割装置图像的所述模糊特征值。

5.根据权利要求2所述的一种摇摆运动机构的轨迹视觉记录***，其特征在于，所述周期相似度的获取方法，包括：

设置模糊判断阈值；将每帧切割装置图像的所述模糊特征值进行归一化，得到归一模糊特征值；将所述归一模糊特征值大于等于所述模糊判断阈值的切割装置图像作为模糊图像，小于所述模糊判断阈值的切割装置图像作为所述清晰图像；

选取任意两个周期作为周期组；选取所述周期组的一个周期内任意所述清晰图像作为目标图像，将另一周期内与所述目标图像的最大所述相关特征值对应的清晰图像，作为所述目标图像的相关图像；所述目标图像与所述相关图像组成匹配对；

将任意两个周期内所述匹配对内两个清晰图像之间的所述相关特征值进行累加，得到初始周期相关度；将所述周期组内两个周期内图像数量的差值绝对值进行负相关映射，获得周期图像数量相似度；将所述周期图像数量相似度的倒数与所述初始周期相关度的乘积作为对应两个周期之间的所述周期相似度。

6.根据权利要求5所述的一种摇摆运动机构的轨迹视觉记录***，其特征在于，所述参考度的获取方法，包括：

将每个所述模糊图像的所述归一模糊特征值进行负相关映射，得到模糊权值；将每个所述模糊图像与每个所述清晰图像之间的所述相关特征值、所属两个周期之间的所述周期相似度与清晰图像的所述模糊权值的乘积，作为对应模糊图像与对应清晰图像之间的所述参考度。

7.根据权利要求5所述的一种摇摆运动机构的轨迹视觉记录***，其特征在于，所述记录的具体方法，为：

将往复运动过程中所述模糊图像进行去模糊处理；对往复运动过程中每帧切割装置图像均进行角点检测，所述每帧切割装置图像得到至少两个角点；选取与所述固定像素点距离最远的所述角点作为对应切割装置图像的监测点；

记录往复运动过程中每帧切割装置图像的所述监测点的位置，完成摇摆运动机构的运动轨迹的记录。

Images