CN107633247A - 图像区域的确定方法及装置 - Google Patents
图像区域的确定方法及装置 Download PDFInfo
- Publication number
- CN107633247A CN107633247A CN201710700996.0A CN201710700996A CN107633247A CN 107633247 A CN107633247 A CN 107633247A CN 201710700996 A CN201710700996 A CN 201710700996A CN 107633247 A CN107633247 A CN 107633247A
- Authority
- CN
- China
- Prior art keywords
- field picture
- image
- mtd
- positional information
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种图像区域的确定方法及装置，该方法包括：从获取的第一帧图像中确定满足用户需求的第一图像区域，以及确定第一图像区域在第一帧图像中的位置信息；从第一图像区域中确定至少两个关键点，以及关键点在第一帧图像中的位置信息；利用LK光流法，确定从第一图像区域中确定出的关键点在第二帧图像中的位置信息，其中，第一帧图像和第二帧图像为两个相邻帧图像；根据关键点在第一帧图像中的位置信息和在第二帧图像中的位置信息，计算出第二帧图像相对于第一帧图像的刚体变化信息，其中，刚体变化信息包括平移信息和旋转信息；利用刚体变化信息和第一图像区域在第一帧图像的位置信息，从第二帧图像中确定满足用户需求的第二图像区域。
Description
技术领域
本发明涉及图像处理技术领域，更具体地，涉及一种图像区域的确定方法及装置。
背景技术
在图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域(Region Of Interest，简称ROI)。ROI是从图像中选择的一个图像区域，这个区域是图像分析所关注的重点。圈定该区域以便进行进一步处理。
在同一拍摄地点，不同时刻相机对运动物体进行拍摄，得到的图像中的ROI的位置存在变化。在相关技术中，通过图像匹配算法，从相机不同时刻拍摄的图像中查找到ROI。上述图像匹配算法的准确度较低。
因此，需要提供一种新的技术方法，针对上述现有技术中的技术问题进行改进。
发明内容
本发明的一个目的是提供一种图像区域的确定方法的新技术方案。
根据本发明的第一方面，提供了一种图像区域的确定方法，包括：
从获取的第一帧图像中确定满足用户需求的第一图像区域，以及确定所述第一图像区域在所述第一帧图像中的位置信息；
从所述第一图像区域中确定至少两个关键点，以及确定所述至少两个关键点在所述第一帧图像中的位置信息；
利用LK光流法，计算从所述第一图像区域中确定出的至少两个关键点在第二帧图像中的位置信息，其中，所述第一帧图像和所述第二帧图像为两个相邻帧图像；
根据所述至少两个关键点在所述第一帧图像中的位置信息和在所述第二帧图像中的位置信息，计算出所述第二帧图像中满足用户需求的第二图像区域相对于所述第一图像区域的刚体变化信息，其中，所述刚体变化信息包括平移信息和旋转信息；
利用所述刚体变化信息和所述第一图像区域在所述第一帧图像的位置信息，从所述第二帧图像中确定所述第二图像区域的位置信息。
可选地，所述方法还包括：
在每一帧图像中设立相同的二维坐标系；
利用所述二维坐标系，确定所述第一图像区域的位置信息和所述至少两个关键点在所述第一帧图像中的位置信息。
可选地，确定所述第一图像区域在所述第一帧图像中的位置信息，包括：
从所述第一图像区域中选取出用于表示所述第一图像区域的位置的特征点；
确定所述特征点在所述第一帧图像中的位置信息；
根据所述特征点在所述第一帧图像中的位置信息确定所述第一图像区域在所述第一帧图像中的位置信息。
可选地，从所述第一图像区域中确定至少两个关键点，包括：
利用Harris角点算法，从所述第一图像区域中确定所述至少两个关键点。
可选地，利用LK光流法，计算从所述第一图像区域中确定出的至少两个关键点在第二帧图像中的位置信息，包括：
利用LK光流法，计算出从所述第一图像区域中确定出的至少两个关键点的移动量；
根据所述至少两个关键点的移动量和所述至少两个关键点在所述第一帧图像中的位置信息，确定所述至少两个关键点在所述第二帧图像中的位置信息。
可选地，根据所述至少两个关键点在所述第一帧图像中的位置信息和在所述第二帧图像中的位置信息，计算出所述第二帧图像相对于所述第一帧图像的刚体变化信息，包括：
基于以下计算式，计算出所述第二帧图像相对于所述第一帧图像的平移信息和旋转信息，
其中，(x，y)为关键点在所述第一帧图像中的位置信息，(x'，y')为关键点在所述第二帧图像中的位置信息，R为2x2旋转矩阵，t为二维平移向量，为3x3的矩阵。
可选地，利用所述刚体变化信息和所述第一图像区域在所述第一帧图像的位置信息，从所述第二帧图像中确定所述第二图像区域的位置信息，包括：
利用所述刚体变化信息，确定所述特征点在所述第二帧图像中的位置信息；
根据所述特征点在所述第二帧图像中的位置信息，从所述第二帧图像中确定所述第二图像区域的位置信息。
根据本发明的第二方面，提供了一种图像区域的确定装置，包括：
第一确定模块，用于从获取的第一帧图像中确定满足用户需求的第一图像区域，以及确定所述第一图像区域在所述第一帧图像中的位置信息；
第二确定模块，用于从所述第一图像区域中确定至少两个关键点，以及确定所述至少两个关键点在所述第一帧图像中的位置信息；
第一计算模块，用于利用LK光流法，计算从所述第一图像区域中确定出的至少两个关键点在第二帧图像中的位置信息，其中，所述第一帧图像和所述第二帧图像为两个相邻帧图像；
第二计算模块，用于根据所述至少两个关键点在所述第一帧图像中的位置信息和在所述第二帧图像中的位置信息，计算出所述第二帧图像中满足用户需求的第二图像区域相对于所述第一图像区域的刚体变化信息，其中，所述刚体变化信息包括平移信息和旋转信息；
第三确定模块，用于利用所述刚体变化信息和所述第一图像区域在所述第一帧图像的位置信息，从所述第二帧图像中确定所述第二图像区域的位置信息。
可选地，所述第二计算模块还用于：
基于以下计算式，计算出所述第二帧图像相对于所述第一帧图像的平移信息和旋转信息，
其中，(x，y)为关键点在所述第一帧图像中的位置信息，(x'，y')为关键点在所述第二帧图像中的位置信息，R为2x2旋转矩阵，t为二维平移向量，为3x3的矩阵。
根据本发明的第三方面，提供了一种图像区域的确定装置，包括：存储器和处理器，其中，所述存储器存储可执行指令，所述可执行指令控制所述处理器进行操作以执行上述任何一项所述的图像区域的确定方法。
本发明提供的图像区域的确定方法及装置，实现了对用户感兴趣的图像区域的确定。另外，本发明提供的图像区域的确定方法及装置，提高了用户感兴趣的图像区域的确定的准确度。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1示出了根据本发明一个实施例的图像区域的确定方法的处理流程图。
图2示出了根据本发明一个实施例的第一帧图像的示意图。
图3示出了根据本发明一个实施例的第二帧图像的示意图。
图4示出了根据本发明一个实施例的图像区域的确定装置的结构示意图。
图5示出了根据本发明一个实施例的图像区域的确定装置的另一种结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明的一个实施例提供了一种图像区域的确定方法。图1示出了根据本发明一个实施例的图像区域的确定方法的处理流程图。参见图1，该方法至少包括以下步骤S101至步骤S105。
步骤S101，从获取的第一帧图像中确定满足用户需求的第一图像区域，以及确定第一图像区域在第一帧图像中的位置信息；
步骤S102，从第一图像区域中确定至少两个关键点，以及确定至少两个关键点在第一帧图像中的位置信息；
步骤S103，利用LK光流法，确定从第一图像区域中确定出的至少两个关键点在第二帧图像中的位置信息，其中，第一帧图像和第二帧图像为两个相邻帧图像；
步骤S104，根据至少两个关键点在第一帧图像中的位置信息和在第二帧图像中的位置信息，计算出第二帧图像相对于第一帧图像的刚体变化信息，其中，刚体变化信息包括平移信息和旋转信息；
步骤S105，利用刚体变化信息和第一图像区域在第一帧图像的位置信息，从第二帧图像中确定满足用户需求的第二图像区域。
本发明的一个实施例中，在每一帧图像中设立相同的二维坐标系，即每一帧图像中设立的二维坐标系具有相同的原点、X轴和Y轴。
图2示出了根据本发明一个实施例的第一帧图像的示意图。图3示出了根据本发明一个实施例的第二帧图像的示意图。参见图2和图3，在第一帧图像中设立的二维坐标系和在第二帧图像中设立的二维坐标系具有相同的原点、X轴和Y轴，即二维坐标系均以位于各帧图像左下角的点作为原点，以平行于各帧图像的长度方向作为X轴方向，以平行于各帧图像的宽度方向作为Y轴方向。
本发明的一个实施例中，利用设立在第一帧图像的二维坐标系，确定第一图像区域在第一帧图像的位置信息。具体地，首先，从第一图像区域中选取出用于表示第一图像区域的位置的特征点，然后，确定特征点在第一帧图像中的位置信息，最后，根据特征点在第一帧图像中的位置信息确定第一图像区域在第一帧图像中的位置信息。以图2示出的第一帧图像为例，以方框标出的区域作为满足用户需求的第一图像区域，首先，以位于第一图像区域的左上角的点A、左下角的点B、右上角的点C和右下角的点D作为用于表示第一图像区域的位置的特征点，然后，利用在第一帧图像中设立的二维坐标系，确定上述四个特征点在第一帧图像中的位置信息，最后，根据上述四个特征点在第一帧图像中的位置信息确定第一图像区域在第一帧图像中的位置信息。
需要说明地是，第一图像区域为方形区域，相应地，可利用位于方形区域的左上角的点A、左下角的点B、右上角的点C和右下角的点D作为表示第一图像区域的位置的特征点。当第一图像区域为圆形时，可利用圆形的中心点和位于圆形边长上的任一点作为表示圆形区域的位置的特征点。第一圆形区域还可为其他形状，对此，本发明并不作出任何限定。
本发明的一个实施例中，利用Harris角点算法，从第一图像区域中确定至少两个关键点。Harris角点算法是基于图像像素灰度值变化梯度进行检测得到角点，此处涉及的角点即为关键点。角点位置周围的区域是像素灰度值变化非常大的区域，其梯度也非常大。非角点位置周围的区域是像素灰度值基本相等的区域，其梯度也比较小。对角点的识别通常是利用一个检测窗口完成的。如果在图像中沿各个方向上移动该检测窗口，该检测窗口对应的图像区域内的灰度发生了较大的变化，那么就认为在检测窗口内存在角点。如果在图像中沿各个方向上移动该检测窗口，该检测窗口对应的图像区域内的灰度基本没有变化，那么就认为在检测窗口内不存在角点。以图2示出的第一帧图像为例，图2包括有拍摄得到的6个物体，图2示出的第一帧图像的背景颜色为黑色，图2示出的6个物体的颜色为白色。通过Harris角点算法，在第一图像区域中检测到多个关键点，即图2中用圆圈标识出的点。需要说明地是，图2中用圆圈标识出的点并不是利用Harris角点算法检测出的所有关键点，仅仅代表了一部分关键点。
在从第一图像区域中确定至少两个关键点之后，利用设立在第一帧图像的二维坐标系，确定上述至少两个关键点在第一帧图像中的位置信息。
本发明的一个实施例中，首先，利用LK光流法，计算出从第一图像区域中确定出的至少两个关键点的移动量，然后，根据至少两个关键点的移动量和至少两个关键点在第一帧图像中的位置信息，确定至少两个关键点在第二帧图像中的位置信息。光流是空间运动物体在成像平面上的像素运动的瞬时速度。运动场是三维世界的真实运动，由于图像是摄像机在其平面上的投影，无法从二维图像上直接获取运动场，但可以从图像序列中获得光流场，光流场是运动场在二维图像平面上的投影。通过LK光流法，可得到第二帧图像中的运动物体相对于第一帧图像中的运动物体的运动矢量。LK光流法的基本原理为：利用相邻帧图像之间的亮度恒常性，建立下述图像约束方程，
其中，I(u,v,t)为某一像素点的亮度值，I(u+Δu,v+Δv,t+Δt)为该像素点移动后的亮度值，Δu,Δv分别为光流的两个运动向量，Δt为相邻帧之间的时间间隔。假设时间间隔足够小，那么利用图像约束方程，计算得到相邻帧对应的光流的两个运动向量。光流的两个运动向量即为确定出的各关键点的移动量。接着，根据各关键点的移动量，再结合对应的各关键点在第一帧图像中的位置信息，确定各关键点在第二帧图像中的位置信息。具体地，可利用设立在第二帧图像中的二维坐标系，表示各关键点在第二帧图像中的位置信息。
在拍摄的物体处于运动状态时，第二帧图像中的满足用户需求的图像区域相对于第一帧图像中的满足用户需求的图像区域会发生位置变化。需要说明地是，第一帧图像中的满足用户需求的图像区域相对于第一帧图像中的满足用户需求的图像区域仅仅发生了刚体变化，即仅仅发生了旋转和平移变化，并没有缩放。本发明的一个实施例中，基于以下计算式(1)，计算出第二帧图像中满足用户需求的第二图像区域相对于第一图像区域的平移信息和旋转信息，
其中，(x，y)为某一关键点在第一帧图像中的位置信息，(x'，y')为该关键点在第二帧图像中的位置信息，R为2x2旋转矩阵，t为二维平移向量，为3x3的矩阵。需要说明地是，t代表第二图像区域相对于第一图像区域的平移信息，R代表第二图像区域相对于第一图像区域的旋转信息。
针对上述计算式(1)对第二帧图像中满足用户需求的第二图像区域相对于第一图像区域的平移信息和旋转信息的计算过程进行具体说明。设
由于向量x′和向量HEx为两个平行向量，则两者的叉乘等于0，即
x′×HEx＝0—计算式(3)，
将计算式(3)的叉乘运算转化为点乘运算，得到下述计算式(4)，
其中，i表示第i个关键点，[x′i]x为向量x′i的叉乘矩阵，将上述计算式展开，得到计算式(5)，[x′i]x HExi＝h11y′ixi-h21x′iyi+h12y′iyi-h22x′iyi+h13y′i-h23x′i＝bia＝0—计算式(5)，其中，bi＝[y′ixi -x′iyi y′iyi -x′iyi y′i -x′i]T，a＝[h11 h21 h12 h22 h13 h23]T，最后利用最小二乘法求出a，进而得到第二图像区域相对于第一图像区域的平移信息和旋转信息。
在确定出第二帧图像中满足用户需求的第二图像区域相对于第一图像区域的刚体变化信息之后，首先，利用刚体变化信息，确定特征点在第二帧图像中的位置信息，然后，根据特征点在第二帧图像中的位置信息，从第二帧图像中确定第二图像区域的位置信息。具体地，以图2示出的第一帧图像和图3示出的第二帧图像为例，图2示出的A点、B点、C点和D点作为用于表示第一图像区域的位置的特征点，将A点、B点、C点和D点对应的位置信息分别代入上述计算式(1)，得到A'点、B'点、C'点和D'点对应的位置信息，A'、B'、C'和D'点为表示第二图像区域的位置的特征点。由于D'点超出了第二帧图像的范围，所以图3仅示出了A'点、B'点和C'点，并没有示出D'点。
基于同一发明构思，本发明提供了一种图像区域的确定装置。图4示出了根据本发明一个实施例的图像区域的确定装置的结构示意图。参见图4，该装置至少包括：第一确定模块410，用于从获取的第一帧图像中确定满足用户需求的第一图像区域，以及确定第一图像区域在第一帧图像中的位置信息；第二确定模块420，用于从第一图像区域中确定至少两个关键点，以及确定至少两个关键点在第一帧图像中的位置信息；第一计算模块430，用于利用LK光流法，计算从第一图像区域中确定出的至少两个关键点在第二帧图像中的位置信息，其中，第一帧图像和第二帧图像为两个相邻帧图像；第二计算模块440，用于根据至少两个关键点在第一帧图像中的位置信息和在第二帧图像中的位置信息，计算出第二帧图像中满足用户需求的第二图像区域相对于第一图像区域的刚体变化信息，其中，刚体变化信息包括平移信息和旋转信息；第三确定模块450，用于利用刚体变化信息和第一图像区域在第一帧图像的位置信息，从第二帧图像中确定第二图像区域的位置信息。
本发明的一个实施例中，在每一帧图像中设立相同的二维坐标系，即每一帧图像中设立的二维坐标系具有相同的原点、X轴和Y轴。
本发明的一个实施例中，利用设立在第一帧图像的二维坐标系，确定第一图像区域在第一帧图像的位置信息。具体地，首先，从第一图像区域中选取出用于表示第一图像区域的位置的特征点，然后，确定特征点在第一帧图像中的位置信息，最后，根据特征点在第一帧图像中的位置信息确定第一图像区域在第一帧图像中的位置信息。
本发明的一个实施例中，第二确定模块420用于利用Harris角点算法，从第一图像区域中确定至少两个关键点。Harris角点算法是基于图像像素灰度值变化梯度进行检测得到角点，此处涉及的角点即为关键点。
本发明的一个实施例中，第一计算模块430用于利用LK光流法，计算出从第一图像区域中确定出的至少两个关键点的移动量，然后，根据至少两个关键点的移动量和至少两个关键点在第一帧图像中的位置信息，确定至少两个关键点在第二帧图像中的位置信息。
本发明的一个实施例中，第二计算模块430还用于：基于以下计算式(1)，计算出第二帧图像相对于第一帧图像的平移信息和旋转信息，
其中，(x，y)为关键点在第一帧图像中的位置信息，(x'，y')为关键点在第二帧图像中的位置信息，R为2x2旋转矩阵，t为二维平移向量，为3x3的矩阵。
图5示出了根据本发明一个实施例的图像区域的确定装置的另一种结构示意图。参见图5，该装置至少包括：存储器520和处理器510，其中，存储器510存储可执行指令，可执行指令控制处理器520进行操作以执行上述任何一项的图像区域的确定方法。
本发明可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。
Claims (10)
1.一种图像区域的确定方法，其特征在于，包括：
从获取的第一帧图像中确定满足用户需求的第一图像区域，以及确定所述第一图像区域在所述第一帧图像中的位置信息；
从所述第一图像区域中确定至少两个关键点，以及确定所述至少两个关键点在所述第一帧图像中的位置信息；
利用LK光流法，计算从所述第一图像区域中确定出的至少两个关键点在第二帧图像中的位置信息，其中，所述第一帧图像和所述第二帧图像为两个相邻帧图像；
根据所述至少两个关键点在所述第一帧图像中的位置信息和在所述第二帧图像中的位置信息，计算出所述第二帧图像中满足用户需求的第二图像区域相对于所述第一图像区域的刚体变化信息，其中，所述刚体变化信息包括平移信息和旋转信息；
利用所述刚体变化信息和所述第一图像区域在所述第一帧图像的位置信息，从所述第二帧图像中确定所述第二图像区域的位置信息。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在每一帧图像中设立相同的二维坐标系；
利用所述二维坐标系，确定所述第一图像区域的位置信息和所述至少两个关键点在所述第一帧图像中的位置信息。
3.根据权利要求1所述的方法，其特征在于，确定所述第一图像区域在所述第一帧图像中的位置信息，包括：
从所述第一图像区域中选取出用于表示所述第一图像区域的位置的特征点；
确定所述特征点在所述第一帧图像中的位置信息；
根据所述特征点在所述第一帧图像中的位置信息确定所述第一图像区域在所述第一帧图像中的位置信息。
4.根据权利要求1所述的方法，其特征在于，从所述第一图像区域中确定至少两个关键点，包括：
利用Harris角点算法，从所述第一图像区域中确定所述至少两个关键点。
5.根据权利要求1所述的方法，其特征在于，利用LK光流法，计算从所述第一图像区域中确定出的至少两个关键点在第二帧图像中的位置信息，包括：
利用LK光流法，计算出从所述第一图像区域中确定出的至少两个关键点的移动量；
根据所述至少两个关键点的移动量和所述至少两个关键点在所述第一帧图像中的位置信息，确定所述至少两个关键点在所述第二帧图像中的位置信息。
6.根据权利要求1所述的方法，其特征在于，根据所述至少两个关键点在所述第一帧图像中的位置信息和在所述第二帧图像中的位置信息，计算出所述第二帧图像相对于所述第一帧图像的刚体变化信息，包括：
基于以下计算式，计算出所述第二帧图像相对于所述第一帧图像的平移信息和旋转信息，
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>R</mi>
</mtd>
<mtd>
<mi>t</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mn>0</mn>
<mi>T</mi>
</msup>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>x</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>y</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
其中，(x，y)为关键点在所述第一帧图像中的位置信息，(x'，y')为关键点在所述第二帧图像中的位置信息，R为2x2旋转矩阵，t为二维平移向量，为3x3的矩阵。
7.根据权利要求3所述的方法，其特征在于，利用所述刚体变化信息和所述第一图像区域在所述第一帧图像的位置信息，从所述第二帧图像中确定所述第二图像区域的位置信息，包括：
利用所述刚体变化信息，确定所述特征点在所述第二帧图像中的位置信息；
根据所述特征点在所述第二帧图像中的位置信息，从所述第二帧图像中确定所述第二图像区域的位置信息。
8.一种图像区域的确定装置，其特征在于，包括：
第一确定模块，用于从获取的第一帧图像中确定满足用户需求的第一图像区域，以及确定所述第一图像区域在所述第一帧图像中的位置信息；
第二确定模块，用于从所述第一图像区域中确定至少两个关键点，以及确定所述至少两个关键点在所述第一帧图像中的位置信息；
第一计算模块，用于利用LK光流法，计算从所述第一图像区域中确定出的至少两个关键点在第二帧图像中的位置信息，其中，所述第一帧图像和所述第二帧图像为两个相邻帧图像；
第二计算模块，用于根据所述至少两个关键点在所述第一帧图像中的位置信息和在所述第二帧图像中的位置信息，计算出所述第二帧图像中满足用户需求的第二图像区域相对于所述第一图像区域的刚体变化信息，其中，所述刚体变化信息包括平移信息和旋转信息；
第三确定模块，用于利用所述刚体变化信息和所述第一图像区域在所述第一帧图像的位置信息，从所述第二帧图像中确定所述第二图像区域的位置信息。
9.根据权利要求8所述的装置，其特征在于，所述第二计算模块还用于：
基于以下计算式，计算出所述第二帧图像相对于所述第一帧图像的平移信息和旋转信息，
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>R</mi>
</mtd>
<mtd>
<mi>t</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mn>0</mn>
<mi>T</mi>
</msup>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>x</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>y</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
其中，(x，y)为关键点在所述第一帧图像中的位置信息，(x'，y')为关键点在所述第二帧图像中的位置信息，R为2x2旋转矩阵，t为二维平移向量，为3x3的矩阵。
10.一种图像区域的确定装置，其特征在于，包括：存储器和处理器，其中，所述存储器存储可执行指令，所述可执行指令控制所述处理器进行操作以执行根据权利要求1-7中的任何一项所述的图像区域的确定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710700996.0A CN107633247A (zh) | 2017-08-16 | 2017-08-16 | 图像区域的确定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710700996.0A CN107633247A (zh) | 2017-08-16 | 2017-08-16 | 图像区域的确定方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107633247A true CN107633247A (zh) | 2018-01-26 |
Family
ID=61099718
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710700996.0A Pending CN107633247A (zh) | 2017-08-16 | 2017-08-16 | 图像区域的确定方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107633247A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109598744A (zh) * | 2018-11-29 | 2019-04-09 | 广州市百果园信息技术有限公司 | 一种视频跟踪的方法、装置、设备和存储介质 |
| CN110310299A (zh) * | 2019-07-03 | 2019-10-08 | 北京字节跳动网络技术有限公司 | 用于训练光流网络、以及处理图像的方法和装置 |
| WO2020024483A1 (zh) * | 2018-08-03 | 2020-02-06 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
| CN111028283A (zh) * | 2019-12-11 | 2020-04-17 | 北京迈格威科技有限公司 | 图像检测方法、装置、设备及可读存储介质 |
| CN111815754A (zh) * | 2019-04-12 | 2020-10-23 | Oppo广东移动通信有限公司 | 一种三维信息确定方法、三维信息确定装置及终端设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101901481A (zh) * | 2010-08-11 | 2010-12-01 | 深圳市蓝韵实业有限公司 | 一种图像拼接方法 |
| US20100328532A1 (en) * | 2009-06-30 | 2010-12-30 | Hung Wei Wu | Image generating device, static text detecting device and method thereof |
| CN102456226A (zh) * | 2010-10-22 | 2012-05-16 | 财团法人工业技术研究院 | 兴趣区域的追踪***、方法及计算机程序产品 |
| CN102609708A (zh) * | 2012-01-15 | 2012-07-25 | 北京工业大学 | 一种计算杠铃中心点平移矢量和旋转参数的方法 |
| CN103985136A (zh) * | 2014-03-21 | 2014-08-13 | 南京大学 | 一种基于局部特征点特征流型的目标跟踪方法 |
| CN104853064A (zh) * | 2015-04-10 | 2015-08-19 | 海视英科光电（苏州）有限公司 | 基于红外热像仪的电子稳像方法 |
-
2017
- 2017-08-16 CN CN201710700996.0A patent/CN107633247A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100328532A1 (en) * | 2009-06-30 | 2010-12-30 | Hung Wei Wu | Image generating device, static text detecting device and method thereof |
| CN101901481A (zh) * | 2010-08-11 | 2010-12-01 | 深圳市蓝韵实业有限公司 | 一种图像拼接方法 |
| CN102456226A (zh) * | 2010-10-22 | 2012-05-16 | 财团法人工业技术研究院 | 兴趣区域的追踪***、方法及计算机程序产品 |
| CN102609708A (zh) * | 2012-01-15 | 2012-07-25 | 北京工业大学 | 一种计算杠铃中心点平移矢量和旋转参数的方法 |
| CN103985136A (zh) * | 2014-03-21 | 2014-08-13 | 南京大学 | 一种基于局部特征点特征流型的目标跟踪方法 |
| CN104853064A (zh) * | 2015-04-10 | 2015-08-19 | 海视英科光电（苏州）有限公司 | 基于红外热像仪的电子稳像方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020024483A1 (zh) * | 2018-08-03 | 2020-02-06 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
| US11403730B2 (en) | 2018-08-03 | 2022-08-02 | Beijing Bytedance Network Technology Co., Ltd. | Method and apparatus for processing image |
| CN109598744A (zh) * | 2018-11-29 | 2019-04-09 | 广州市百果园信息技术有限公司 | 一种视频跟踪的方法、装置、设备和存储介质 |
| CN111815754A (zh) * | 2019-04-12 | 2020-10-23 | Oppo广东移动通信有限公司 | 一种三维信息确定方法、三维信息确定装置及终端设备 |
| CN110310299A (zh) * | 2019-07-03 | 2019-10-08 | 北京字节跳动网络技术有限公司 | 用于训练光流网络、以及处理图像的方法和装置 |
| CN110310299B (zh) * | 2019-07-03 | 2021-11-19 | 北京字节跳动网络技术有限公司 | 用于训练光流网络、以及处理图像的方法和装置 |
| CN111028283A (zh) * | 2019-12-11 | 2020-04-17 | 北京迈格威科技有限公司 | 图像检测方法、装置、设备及可读存储介质 |
| CN111028283B (zh) * | 2019-12-11 | 2024-01-12 | 北京迈格威科技有限公司 | 图像检测方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11238644B2 (en) | Image processing method and apparatus, storage medium, and computer device | |
| CN109508681B (zh) | 生成人体关键点检测模型的方法和装置 | |
| CN107633247A (zh) | 图像区域的确定方法及装置 | |
| US20180012411A1 (en) | Augmented Reality Methods and Devices | |
| US10460511B2 (en) | Method and system for creating a virtual 3D model | |
| CN103582893B (zh) | 用于增强现实表示的二维图像获取 | |
| CN103703758B (zh) | 移动增强现实*** | |
| CN103988226B (zh) | 用于估计摄像机运动以及用于确定实境三维模型的方法 | |
| CN105453559B (zh) | 手持式便携光学扫描器及其使用方法 | |
| US20200364509A1 (en) | System and method for training a neural network for visual localization based upon learning objects-of-interest dense match regression | |
| EP3182371A1 (en) | Threshold determination in for example a type ransac algorithm | |
| CN109003325A (zh) | 一种三维重建的方法、介质、装置和计算设备 | |
| JP2018163654A (ja) | 電気通信インベントリ管理のためのシステムおよび方法 | |
| JP7063837B2 (ja) | 領域抽出装置及びプログラム | |
| EP3987443A1 (en) | Recurrent multi-task convolutional neural network architecture | |
| CN110148177A (zh) | 用于确定相机的姿态角的方法、装置、计算设备、计算机可读存储介质以及采集实体 | |
| Zhu et al. | Spatially-varying outdoor lighting estimation from intrinsics | |
| US20240070972A1 (en) | Rendering new images of scenes using geometry-aware neural networks conditioned on latent variables | |
| Park et al. | Neural object learning for 6d pose estimation using a few cluttered images | |
| He et al. | Volumeter: 3D human body parameters measurement with a single Kinect | |
| CN115018979A (zh) | 图像重建方法、装置、电子设备、存储介质和程序产品 | |
| WO2021173489A1 (en) | Apparatus, method, and system for providing a three-dimensional texture using uv representation | |
| CN110689609B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| Ji et al. | Virtual home staging: Inverse rendering and editing an indoor panorama under natural illumination | |
| CN115841546A (zh) | 一种场景结构关联的地铁站多视矢量仿真渲染方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180126 |
|
| RJ01 | Rejection of invention patent application after publication |