CN111753679B - 微运动监测方法、装置、设备及计算机可读存储介质 - Google Patents
微运动监测方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111753679B CN111753679B CN202010526130.4A CN202010526130A CN111753679B CN 111753679 B CN111753679 B CN 111753679B CN 202010526130 A CN202010526130 A CN 202010526130A CN 111753679 B CN111753679 B CN 111753679B
- Authority
- CN
- China
- Prior art keywords
- micro
- motion
- target
- offset
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000003321 amplification Effects 0.000 claims abstract description 34
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 34
- 238000012806 monitoring device Methods 0.000 claims abstract description 13
- 238000006073 displacement reaction Methods 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 abstract description 5
- 230000008859 change Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000007670 refining Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种微运动监测方法,该方法包括:当接收到微运动监测指令时,获取所述微运动监测指令对应的目标视频;根据所述目标视频的各帧图,确定所述目标视频中的动力学特征点,和所述动力学特征点所属的目标运动区域;计算所述目标运动区域内所述动力学特征点的偏移量,对所述动力学特征点的偏移量进行放大,得到微运动振幅放大图。本发明还公开了一种微运动监测装置、设备及可读存储介质。本发明通过识别目标视频中的局部微运动,并采用放大算法对局部微运动进行放大处理,得到微运动的振幅放大图,在不增加监测设备,不缩小视频监测视野的情况下,实现了全局监测和局部动力学监测的兼顾。
Description
技术领域
本发明涉及监测领域,尤其涉及微运动监测方法、装置、设备及计算机可读存储介质。
背景技术
随着科学技术的快速发展,越来越多的智能设备被应用于监测服务领域,在现有的视频监测中,需要布设大量的监控设备以获取全面的监测视角,还需要采集大量的实时监控视频数据,无论是硬件数目还是数据存储,都需要占据很大的物理空间和存储空间,这种全局监测无法获取局部的细节,而局部监测又需要缩小监测视野,使监测目标受限,无法实现全局监测和局部监测的兼顾。
发明内容
本发明的主要目的在于提供一种微运动监测方法,旨在解决现有的视频监测,在不增加监测设备的情况下,无法实现全局监测和局部监测的兼顾的技术问题。
此外,为实现上述目的,本发明还提供一种微运动监测方法,所述微运动监测方法包括以下步骤:
当接收到微运动监测指令时,获取所述微运动监测指令对应的目标视频;
根据所述目标视频的各帧图,确定所述目标视频中的动力学特征点,和所述动力学特征点所属的目标运动区域;
计算所述目标运动区域内所述动力学特征点的偏移量,对所述动力学特征点的偏移量进行放大,得到微运动振幅放大图。
可选地,所述根据所述目标视频的各帧图,确定所述目标视频中的动力学特征点,和所述动力学特征点所属的目标运动区域的步骤包括:
将所述目标视频中相邻的多张帧图进行对比,分别计算所述多张帧图中每个像素点的平均位移值;
获取平均位移值处于预设取值范围内的目标像素点,将所述目标像素点作为动力学特征点。
可选地,所述获取平均位移值处于预设取值范围内的目标像素点,将所述像素点作为动力学特征点的步骤,包括:
获取平均位移值处于预设取值范围内的目标像素点,及所述像素点的数量;
在所述目标像素点的数量小于所述帧图的像素点总数量时,将所述目标像素点作为所述动力学特征点。
可选地,所述根据所述目标视频的各帧图,确定所述目标视频中的动力学特征点,和所述动力学特征点所属的目标运动区域的步骤,还包括:
根据动力学特征点的像素坐标,确定所述动力学特征点中的离散特征点;
将所述离散特征点剔除,将剩余的动力学特征点所处的区域作为目标运动区域。
可选地,所述计算所述目标运动区域内所述动力学特征点的偏移量,对所述动力学特征点的偏移量进行放大,得到微运动振幅放大图的步骤包括:
计算所述目标运动区域内所述动力学特征点的偏移量,获取所述动力学特征点的初始偏移轨迹;
对所述偏移量放大预设倍数,得到放大偏移量,根据所述初始偏移轨迹和所述放大偏移量,得到放大偏移轨迹和预放大图;
根据所述放大偏移轨迹,对所述预放大图进行像素剔除和像素填充,得到微运动振幅放大图。
可选地,所述根据所述放大偏移轨迹,对所述预放大图进行像素剔除和像素填充,得到微运动振幅放大图的步骤包括:
将所述预放大图中的位于所述放大偏移轨迹上的像素点剔除,并确定所述动力学特征点的偏移方向;
获取与所述动力学特征点偏移方向相反的临界像素点;
使用所述临界像素点对剔除后的预放大图进行像素填充,得到微运动振幅放大图。
可选地,所述当接收到微运动监测指令时,获取所述微运动监测指令对应的目标视频的步骤之后,包括:
根据所述目标视频的时长和帧率,确定所述目标视频的帧数;
对所述目标视频进行分解,得到所述目标视频的各帧图,其中,所述各帧图的数量等于所述目标视频的帧数。
此外,为实现上述目的,本发明还提供一种微运动监测装置,所述微运动监测装置包括:
目标视频获取模块,用于当接收到微运动监测指令时,获取所述微运动监测指令对应的目标视频;
动力学特征点确定模块,用于根据所述目标视频的各帧图,确定所述目标视频中的动力学特征点,和所述动力学特征点所属的目标运动区域;
计算模块,用于计算所述目标运动区域内所述动力学特征点的偏移量,对所述动力学特征点的偏移量进行放大,得到微运动振幅放大图。
此外,为实现上述目的,本发明还提供一种微运动监测设备,所述微运动监测设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的微运动监测程序,所述微运动监测程序被所述处理器执行时实现如上述的微运动监测方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有微运动监测程序,所述微运动监测程序被处理器执行时实现如上述的微运动监测方法的步骤。
本发明实施例提出的一种微运动监测方法、装置、设备及可读存储介质。本发明实施例中当微运动监测程序获取到微运动监测指令时,通过预设摄像装置获取微运动监测指令对应的目标视频,进而根据获取到的目标视频的各个帧图,确定目标视频中的动力学特征点,和这些特征点所属的目标运动区域,然后,通过计算目标区域内所有动力学特征点的偏移量,微运动监测程序继而对计算得到的偏移量进行放大处理,最终得到微运动振幅放大图。本实施例至少可通过一个摄像装置,微运动监测程序自动确定摄像装置获取到的视频中的动力学特征点,通过对动力学特征点的偏移量进行放大,得到肉眼可见的微运动振幅放大图,在不增加监测设备,不缩小视频监测视野的情况下,实现了全局监测和局部监测的兼顾。
附图说明
图1为本发明实施例提供的微运动监测设备一种实施方式的硬件结构示意图;
图2为本发明微运动监测方法第一实施例的流程示意图;
图3为本发明微运动监测方法第二实施例的流程示意图;
图4为本发明微运动监测方法第三实施例的流程示意图;
图5为本发明微运动监测装置一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
本发明实施例微运动监测终端(又叫终端、设备或者终端设备)可以是PC、智能手机、平板电脑和便携计算机等具有数据处理功能的可移动式终端设备,也可以是摄像头等数据采集设备,成像视频采集设备包括但不限定于可见光,红外,X-射线,无线电等电磁波信号。
如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,终端还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在移动终端移动到耳边时,关闭显示屏和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;当然,移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及微运动监测程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的微运动监测程序,所述微运动监测程序被处理器执行时实现下述实施例提供的微运动监测方法中的操作。
基于上述设备硬件结构,提出了本发明微运动监测方法的实施例。
参照图2,在本发明微运动监测方法的第一实施例中,所述微运动监测方法包括:
步骤S10,当接收到微运动监测指令时,获取所述微运动监测指令对应的目标视频。
本实施例中微运动监测方法应用于微运动监测设备,其中,微运动监测设备可以是PC、智能手机、平板电脑和便携计算机等具有数据处理功能的可移动式终端设备,也可以是摄像头等数据采集设备。
本实施例中微运动监测指令是指,基于摄像装置获取到的监视视频,用户手动或***自动生成的一个用于对监视视频中的微运动进行监测的指令,当微运动监测监测程序接收到微运动监测指令时,将会获取摄像装置采集到的视频(即本实施例中的目标视频),可知地,本实施例中的摄像装置并不限于普通的摄像头,还可以是红外摄像头、深度摄像头以及彩色摄像头等,获取到的视频也以对应摄像头的种类不同,而存在一定区别,如红外摄像头获取到的视频是以不同颜色表示物体不同的温度。
步骤S20,根据所述目标视频的各帧图,确定所述目标视频中的动力学特征点,和所述动力学特征点所属的目标运动区域。
可知地,由动画制作原理可以理解,视频是由一帧一帧的静态图片组成的,当微运动监测程序获取到视频后,会根据获取到的视频的帧率和视频播放时长等信息,确定视频是由多少帧的静态图片组成的,视频的帧数确定后,微运动监测程序会将视频分解成具体数量的静态图片,其中,具体数量等于视频的帧数,分解得的所有静态图片即是本实施例中视频的各帧图,例如,一段时长为3秒的视频可以被分解为180张帧图。本实施例中动力学特征点实质上是帧图中的像素点,以视频按时间顺序排列的第一张帧图做为参考帧图,获取参考帧图中的每一个像素点,可以通过对比各张帧图中每个像素点的位置变化,确定视频中的动力学特征点,具体地,通过对比各张帧图中每个像素点,确定存在位置变化幅度较大(但人眼仍观察不出)的像素点,将这些像素点作为动力学特征点,并将这些动力学特征点聚集的区域作为目标运动区域,具体地,可以以像素点为距离单位,构建基于参考帧图的坐标系,确定帧图中位置变化超过预设阈值的像素点,例如,预设阈值可以为5个像素点的距离,本实施例获取动力学特征点和目标运动区域的目的是,通过摄像头捕捉到视频中肉眼不可见的运动变化,并确定运动变化发生的区域,实现了微运动监测程序自动识别微运动发生以及发生位置。
步骤S30,计算所述目标运动区域内所述动力学特征点的偏移量,对所述动力学特征点的偏移量进行放大,得到微运动振幅放大图。
本实施例中动力学特征点的偏移量是指,在上述实施例描述中引出的坐标系中,动力学特征点在参考帧图中的位置,与视频的最后一张帧图中该动力学特征点的位置相比,发生的位置点偏移距离,即是本实施例中的动力学特征点的偏移量,单位为像素点,在视频的所有帧图中,动力学特征点发生的偏移是人类肉眼不可见,可以通过对偏移量进行放大,以达到人眼可见的变化,对所有动力学特征点的偏移量进行放大后,可以得到微运动振幅放大图,其中,在微运动振幅放大图中目标运动区域内的图像会产生肉眼可见的变化,例如,图像扭曲形变,或者颜色变化。
具体地,步骤S10之后的步骤,包括:
步骤a1,根据所述目标视频的时长和帧率,确定所述目标视频的帧数。
步骤a2,对所述目标视频进行分解,得到所述目标视频的各帧图,其中,所述各帧图的数量等于所述目标视频的帧数。
可知地,视频是由一帧一帧的静态图片组成的,当微运动监测程序获取到视频后,会根据获取到的视频的帧率(即本实施例中视频的帧率)和视频播放时长(即本实施例中视频的时长)等信息,确定视频是由多少帧的静态图片组成的,视频的帧数确定后,微运动监测程序会将视频分解成与视频帧数数量相同的静态图片,例如,视频的帧率为120帧/秒,视频的时长为5秒钟,则视频的帧数为600,即微运动监测程序获取到的帧图的数量为600,微运动监测程序在获取到一定数量的帧图后,还会按照时间顺序对获取到的帧图进行排序。
在本实施例中当微运动监测程序获取到微运动监测指令时,通过预设摄像装置获取微运动监测指令对应的目标视频,进而根据获取到的目标视频的各个帧图,确定目标视频中的动力学特征点,和这些特征点所属的目标运动区域,然后,通过计算目标区域内所有动力学特征点的偏移量,微运动监测程序继而对计算得到的偏移量进行放大处理,最终得到微运动振幅放大图。本实施例至少可通过一个摄像装置,微运动监测程序自动确定摄像装置获取到的视频中的动力学特征点,通过对动力学特征点的偏移量进行放大,得到肉眼可见的微运动放大图,在不增加监测设备,不缩小视频监测视野的情况下,实现了全局监测和局部监测的兼顾。
进一步地,参考图3,在本发明上述实施例的基础上,提出了本发明微运动监测方法的第二实施例。
本实施例是第一实施例中步骤S20细化的步骤,本实施例与本发明上述实施例的区别在于:
步骤S21,将所述目标视频中相邻的两张帧图进行对比,分别计算所述帧图中每个像素点的平均位移值。
可知地,若视频时长为3秒钟,帧率为80帧/秒,则所有帧图的数量为240张,按时间顺序进行排序,然后将前后相邻的两张帧图进行对比,通过确定两张帧图中所有像素点的像素坐标,进而获取每个像素点的位移信息,例如,像素点a在某张帧图中的位置为(2035,1847),像素点a在这张帧图相邻的帧图中的位置为(2038,1851),则像素点a在这两张相邻帧图上的位移值为5,按顺序分别计算所有帧图中,所有像素点的位移值,进而,计算每个像素点的平均位移值,计算平均位移值的目的是,确定产生位移变化的像素点,以及过滤掉在所有帧图中仅产生少数位移的像素点,具体方法可以是,设置一个小阈值,当像素点的平均位移值小于这个小阈值时,则不统计这个像素点。
步骤S22,获取平均位移值处于预设取值范围内的目标像素点,将所述目标像素点作为动力学特征点。
可知地,本实施例中的微运动监测方法实现的目的是,将监测视频中人眼不易或不能观察到的微运动进行放大,以使人眼可见,根据这个实现的目的可知,应当屏蔽视频中人眼可见的运动,具体地,当存在多个平均位移值很大的像素点时,可以确定这些像素点聚集的区域发生了人眼可见的运动,这些像素点将会被屏蔽,通过引入一个较大的预设阈值,将平均位移值大于这个较大预设阈值的像素点屏蔽,可知地,上述小阈值与本实施例中的大阈值,共同确定了本实施例中的预设取值范围,平均位移值在预设取值范围内的像素点将被作为目标像素点,而这些目标像素点即是产生微运动的动力学特征点。
具体地,步骤S22细化的步骤,包括:
步骤b1,获取平均位移值处于预设取值范围内的目标像素点,及所述像素点的数量。
步骤b2,在所述目标像素点的数量小于所述帧图的像素点总数量时,将所述目标像素点作为所述动力学特征点。
可知地,帧图中像素点发生位移还可能是摄像头发生轻微抖动造成的,当摄像头在视频时长内发生轻微抖动时,对获得的视频进行分解,得到的帧图中所有的像素点均发生了位移,且平均位移值处于预设取值范围内,为了排除这种情况,当获取到平均位移值处于预设取值范围内的目标像素点后,还将对目标像素点的数量进行判断,具体地,根据视频的分辨率等信息,可以确定帧图中所有像素点的数量(即本实施例中的像素点总数量),例如,若视频的分辨率为1366×768,则像素点的数量为1049088,当目标像素点的数量等于(也可以略小于)所有像素点的数量时,则可判定发生了摄像头轻微抖动的问题,相反,当目标像素点的数量(远)小于所有像素点的总数量时,则将目标像素点作为动力学特征点。
具体地,步骤S20细化的步骤,还包括:
步骤S23,根据动力学特征点的像素坐标,确定所述动力学特征点中的离散特征点。
可知地,当目标像素点被确定后,微运动监测程序还将获取每个目标像素点的坐标,具体地,可基于参考帧图构建坐标系,从而确定每个动力学特征点的像素坐标,本实施例中离散特征点是指,当得到每个动力学特征点的坐标值后,通过计算确定距离其他动力学特征点较远的动力学特征点,将这些动力学特征点作为离散特征点,通过每个动力学特征点的坐标值,计算每个动力学特征点距离其他动力学特征点之间的距离,进而计算平均距离值,筛选出平均距离值大于预设距离阈值的动力学特征点,将这些动力学特征点作为离散特征点,在帧图中,离散特征点呈离散状,零星分布于动力学特征点聚集区以外的点上,确定离散特征点的目的是,剔除对微运动放大造成扰乱影响的动力学特征点,且离散特征点产生的原因可能是预设取值范围无法设定的绝对合理,造成少量像素点被作为动力学特征点,还可能是瞬时光线或瞬时强运动影响,造成像素点平均位移值计算受环境因素影响较大,从而使动力学特征点确定不够精确。
步骤S24,将所述离散特征点剔除,将剩余的动力学特征点所处的区域作为目标运动区域。
可知地,离散特征点被确定后,微运动监测程序将会把离散特征点剔除,从而保留成聚集状的动力学特征点,引出一个区域框(一般为规则图形),这个区域框可为任意形状,但应满足区域框的边不相互重叠,这个区域框刚好覆盖所有的动力学特征点,且区域框的面积应尽量小,这个区域框即是本实施例中的目标运动区域,确定目标运动区域的目的是,确定视频中微运动发生的区域,进而再对目标运动区域进行放大操作,以使人眼能够看到原先看不到的微运动。
在本实施例中通过帧图对比、平均位移值计算和离散特征点剔除等操作,确定了动力学特征点及目标运动区域,实现了微运动发生区域的准确判定。
进一步地,参照图4,在本发明上述实施例的基础上,提出了本发明微运动监测方法的第三实施例。
本实施例是第一实施例中步骤S30细化的步骤,本实施例与本发明上述实施例的区别在于:
步骤S31,计算所述目标运动区域内所述动力学特征点的偏移量,获取所述动力学特征点的初始偏移轨迹。
可知地,构建基于参考帧图的坐标系,可以确定动力学特征点从参考帧图到视频最后一张帧图的偏移轨迹,可以通过获取动力学特征点在每张帧图中的坐标位置,进而画出每个动力学特征点的偏移轨迹(即本实施例中的初始移动轨迹),动力学特征点在视频时长内按照初始偏移轨迹移动,人眼却无法识别这种微弱的运动,所以在获取到动力学特征点的初始偏移轨迹后,还需要对初始偏移轨迹进行放大,以使人眼可见。
步骤S32,对所述偏移量放大预设倍数,得到放大偏移量,根据所述初始偏移轨迹和所述放大偏移量,得到放大偏移轨迹和预放大图。
可知地,微运动监测程序在获取到动力学特征点的初始偏移轨迹后,将会对初始偏移轨迹进行放大,微运动监测程序预设一个放大倍数(即本实施例中的预设倍数),通过对偏移量放大预设倍数,以及获取每个动力学特征点的初始偏移轨迹,可以得到放大后的偏移轨迹(即本实施例中的放大偏移轨迹),获得所有动力学特征点的放大偏移轨迹后,将这些放大偏移轨迹在目标运动区域进行显示后,便生成了预放大图,其中,预放大图中目标运动区域内的动力学特征点的偏移轨迹被放大,形成扭曲变形的图像,以达到人眼可见的效果。
步骤S33,根据所述放大偏移轨迹,对所述预放大图进行像素剔除和像素填充,得到微运动振幅放大图。
可知地,得到的预放大图中,由于对偏移轨迹进行了放大,导致放大前的原像素点被放大后的偏移轨迹覆盖,且图像扭曲还造成目标运动区域内出现像素空白现象,微运动监测程序对放大偏移轨迹上的像素点进行剔除(即本实施例中的像素剔除),然后对像素空白区域进行像素填充(即本实施例中的像素填充),从而得到微运动振幅放大图。
具体地,步骤S33细化的步骤,还包括:
步骤c1,将所述预放大图中的位于所述放大偏移轨迹上的像素点剔除,并确定所述动力学特征点的偏移方向。
步骤c2,获取与所述动力学特征点偏移方向相反的临界像素点。
步骤c3,使用所述临界像素点对剔除后的预放大图进行像素填充,得到微运动振幅放大图。
可知地,对偏移轨迹进行放大后生成的放大偏移轨迹,会覆盖放大前的一些像素点,且放大操作还会使目标运动区域内出现像素空白区域,具体地,微运动监测程序将会把放大偏移轨迹覆盖的像素点剔除,然后根据每个动力学特征点的放大偏移轨迹,确定动力学特征点的偏移方向,可以通过放大偏移轨迹的首端和末端连线,以首端指向末端的方向作为偏移方向,进而确定每个动力学特征点的偏移方向,然后,确定每个动力学特征点的临界像素点,具体地,与动力学特征点相邻的像素点分布在八个方向上,其中,分布在与偏移方向相反的方向上的像素点即是临界像素点,每个动力学特征点的临界像素点被确定后,微运动监测程序将会使用临界像素点对偏移轨迹放大造成的像素空白进行填充,得到最终的微运动振幅放大图。
在本实施例中通过对目标运动区域进行放大操作,得到微运动振幅放大图,实现了视频图像中微运动发生区域的人眼可见。
此外,参照图5,本发明实施例还提出一种微运动监测装置,所述微运动监测装置包括:
目标视频获取模块10,用于当接收到微运动监测指令时,获取所述微运动监测指令对应的目标视频;
动力学特征点确定模块20,用于根据所述目标视频的各帧图,确定所述目标视频中的动力学特征点,和所述动力学特征点所属的目标运动区域;
计算模块30,用于计算所述目标运动区域内所述动力学特征点的偏移量,对所述动力学特征点的偏移量进行放大,得到微运动振幅放大图。
在一实施例中,所述的动力学特征点确定模块20,包括:
平均位移值计算单元,用于将所述目标视频中相邻的两张帧图进行对比,分别计算所述帧图中每个像素点的平均位移值;
动力学特征点确定单元,用于获取平均位移值处于预设取值范围内的目标像素点,将所述目标像素点作为动力学特征点。
在一实施例中,所述的动力学特征点确定单元,包括:
目标像素点获取单元,用于获取平均位移值处于预设取值范围内的目标像素点,及所述像素点的数量;
计数判断单元,用于在所述目标像素点的数量小于所述帧图的像素点总数量时,将所述目标像素点作为所述动力学特征点。
在一实施例中,所述的动力学特征点确定模块20,还包括:
离散特征点确定单元,用于根据动力学特征点的像素坐标,确定所述动力学特征点中的离散特征点;
离散特征点剔除单元,用于将所述离散特征点剔除,将剩余的动力学特征点所处的区域作为目标运动区域。
在一实施例中,所述的计算模块30,包括:
偏移量计算单元,用于计算所述目标运动区域内所述动力学特征点的偏移量,获取所述动力学特征点的初始偏移轨迹;
预放大图获取单元,用于对所述偏移量放大预设倍数,得到放大偏移量,根据所述初始偏移轨迹和所述放大偏移量,得到放大偏移轨迹和预放大图;
像素剔除和填充单元,用于根据所述放大偏移轨迹,对所述预放大图进行像素剔除和像素填充,得到微运动振幅放大图。
在一实施例中,所述的,包括:
偏移方向确定单元,用于将所述预放大图中的位于所述放大偏移轨迹上的像素点剔除,并确定所述动力学特征点的偏移方向;
临界像素点获取单元,用于获取与所述动力学特征点偏移方向相反的临界像素点;
像素填充单元,用于使用所述临界像素点对剔除后的预放大图进行像素填充,得到微运动振幅放大图。
在一实施例中,所述的微运动监测装置,包括:
视频帧数确定模块,用于根据所述视频的时长和帧率,确定所述视频的帧数;
目标视频分解模块,用于对所述目标视频进行分解,得到所述视频的各帧图,其中,所述各帧图的数量等于所述视频的帧数。
此外,本发明实施例还提出一种计算机存储介质。
所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例提供的微运动监测方法中的操作。
上述各程序模块所执行的方法可参照本发明方法各个实施例,此处不再赘述。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来,而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序;术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的微运动监测方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种微运动监测方法,其特征在于,所述微运动监测方法包括以下步骤:
当接收到微运动监测指令时,获取所述微运动监测指令对应的目标视频;
根据所述目标视频的各帧图,确定所述目标视频中的动力学特征点,和所述动力学特征点所属的目标运动区域;
计算所述目标运动区域内所述动力学特征点的偏移量,对所述动力学特征点的偏移量进行放大,得到微运动振幅放大图;
其中,所述根据所述目标视频的各帧图,确定所述目标视频中的动力学特征点,和所述动力学特征点所属的目标运动区域的步骤包括:
将所述目标视频中相邻的多张帧图进行对比,分别计算所述多张帧图中每个像素点的平均位移值;
获取平均位移值处于预设取值范围内的目标像素点,将所述目标像素点作为动力学特征点。
2.如权利要求1所述的微运动监测方法,其特征在于,所述获取平均位移值处于预设取值范围内的目标像素点,将所述像素点作为动力学特征点的步骤,包括:
获取平均位移值处于预设取值范围内的目标像素点,及所述像素点的数量;
在所述目标像素点的数量小于所述帧图的像素点总数量时,将所述目标像素点作为所述动力学特征点。
3.如权利要求1所述的微运动监测方法,其特征在于,所述根据所述目标视频的各帧图,确定所述目标视频中的动力学特征点,和所述动力学特征点所属的目标运动区域的步骤,还包括:
根据动力学特征点的像素坐标,确定所述动力学特征点中的离散特征点;
将所述离散特征点剔除,将剩余的动力学特征点所处的区域作为目标运动区域。
4.如权利要求1所述的微运动监测方法,其特征在于,所述计算所述目标运动区域内所述动力学特征点的偏移量,对所述动力学特征点的偏移量进行放大,得到微运动振幅放大图的步骤包括:
计算所述目标运动区域内所述动力学特征点的偏移量,获取所述动力学特征点的初始偏移轨迹;
对所述偏移量放大预设倍数,得到放大偏移量,根据所述初始偏移轨迹和所述放大偏移量,得到放大偏移轨迹和预放大图;
根据所述放大偏移轨迹,对所述预放大图进行像素剔除和像素填充,得到微运动振幅放大图。
5.如权利要求4所述的微运动监测方法,其特征在于,所述根据所述放大偏移轨迹,对所述预放大图进行像素剔除和像素填充,得到微运动振幅放大图的步骤包括:
将所述预放大图中的位于所述放大偏移轨迹上的像素点剔除,并确定所述动力学特征点的偏移方向;
获取与所述动力学特征点偏移方向相反的临界像素点;
使用所述临界像素点对剔除后的预放大图进行像素填充,得到微运动振幅放大图。
6.如权利要求1所述的微运动监测方法,其特征在于,所述当接收到微运动监测指令时,获取所述微运动监测指令对应的目标视频的步骤之后,包括:
根据所述目标视频的时长和帧率,确定所述目标视频的帧数;
对所述目标视频进行分解,得到所述目标视频的各帧图,其中,所述各帧图的数量等于所述目标视频的帧数。
7.一种微运动监测装置,其特征在于,所述微运动监测装置包括:
目标视频获取模块,用于当接收到微运动监测指令时,获取所述微运动监测指令对应的目标视频;
动力学特征点确定模块,用于根据所述目标视频的各帧图,确定所述目标视频中的动力学特征点,和所述动力学特征点所属的目标运动区域;
计算模块,用于计算所述目标运动区域内所述动力学特征点的偏移量,对所述动力学特征点的偏移量进行放大,得到微运动振幅放大图;
所述动力学特征点确定模块,还用于将所述目标视频中相邻的多张帧图进行对比,分别计算所述多张帧图中每个像素点的平均位移值;获取平均位移值处于预设取值范围内的目标像素点,将所述目标像素点作为动力学特征点。
8.一种微运动监测设备,其特征在于,所述微运动监测设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的微运动监测程序,所述微运动监测程序被所述处理器执行时实现如权利要求1至6中任一项所述的微运动监测方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有微运动监测程序,所述微运动监测程序被处理器执行时实现如权利要求1至6中任一项所述的微运动监测方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010526130.4A CN111753679B (zh) | 2020-06-10 | 2020-06-10 | 微运动监测方法、装置、设备及计算机可读存储介质 |
PCT/CN2020/113534 WO2021248712A1 (zh) | 2020-06-10 | 2020-09-04 | 微运动监测方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010526130.4A CN111753679B (zh) | 2020-06-10 | 2020-06-10 | 微运动监测方法、装置、设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111753679A CN111753679A (zh) | 2020-10-09 |
CN111753679B true CN111753679B (zh) | 2023-11-24 |
Family
ID=72674935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010526130.4A Active CN111753679B (zh) | 2020-06-10 | 2020-06-10 | 微运动监测方法、装置、设备及计算机可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111753679B (zh) |
WO (1) | WO2021248712A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113505744A (zh) * | 2021-07-27 | 2021-10-15 | 中国银行股份有限公司 | 用户行为检测方法及装置 |
CN114184127B (zh) * | 2021-12-13 | 2022-10-25 | 哈尔滨工业大学 | 一种基于单相机无标靶的建筑物全局位移监测方法 |
CN114549442B (zh) * | 2022-02-14 | 2022-09-20 | 常州市新创智能科技有限公司 | 一种运动物体的实时监测方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101068342A (zh) * | 2007-06-05 | 2007-11-07 | 西安理工大学 | 基于双摄像头联动结构的视频运动目标特写跟踪监视方法 |
WO2019062631A1 (zh) * | 2017-09-30 | 2019-04-04 | 阿里巴巴集团控股有限公司 | 一种局部动态影像生成方法及装置 |
CN110062272A (zh) * | 2019-04-30 | 2019-07-26 | 腾讯科技(深圳)有限公司 | 一种视频数据处理方法和相关装置 |
CN110675342A (zh) * | 2019-09-18 | 2020-01-10 | 努比亚技术有限公司 | 视频帧优化方法、移动终端及计算机可读存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104869399A (zh) * | 2014-02-24 | 2015-08-26 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN108805806B (zh) * | 2017-04-28 | 2019-11-12 | 华为技术有限公司 | 图像处理方法及装置 |
CN110516517B (zh) * | 2018-05-22 | 2022-05-06 | 杭州海康威视数字技术股份有限公司 | 一种基于多帧图像的目标识别方法、装置及设备 |
CN110188719B (zh) * | 2019-06-04 | 2022-03-29 | 北京字节跳动网络技术有限公司 | 目标跟踪方法和装置 |
-
2020
- 2020-06-10 CN CN202010526130.4A patent/CN111753679B/zh active Active
- 2020-09-04 WO PCT/CN2020/113534 patent/WO2021248712A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101068342A (zh) * | 2007-06-05 | 2007-11-07 | 西安理工大学 | 基于双摄像头联动结构的视频运动目标特写跟踪监视方法 |
WO2019062631A1 (zh) * | 2017-09-30 | 2019-04-04 | 阿里巴巴集团控股有限公司 | 一种局部动态影像生成方法及装置 |
CN110062272A (zh) * | 2019-04-30 | 2019-07-26 | 腾讯科技(深圳)有限公司 | 一种视频数据处理方法和相关装置 |
CN110675342A (zh) * | 2019-09-18 | 2020-01-10 | 努比亚技术有限公司 | 视频帧优化方法、移动终端及计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
俞文静 ; 张明军 ; .视频监控图像目标运动轨迹智能增强方法仿真.计算机仿真.2019,(12),第141-144页. * |
Also Published As
Publication number | Publication date |
---|---|
CN111753679A (zh) | 2020-10-09 |
WO2021248712A1 (zh) | 2021-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111753679B (zh) | 微运动监测方法、装置、设备及计算机可读存储介质 | |
RU2731370C1 (ru) | Способ распознавания живого организма и терминальное устройство | |
CN108234882B (zh) | 一种图像虚化方法及移动终端 | |
CN108989678B (zh) | 一种图像处理方法、移动终端 | |
CN107566739B (zh) | 一种拍照方法及移动终端 | |
CN108712603B (zh) | 一种图像处理方法及移动终端 | |
CN107749046B (zh) | 一种图像处理方法及移动终端 | |
CN110868550B (zh) | 一种拍照方法及终端设备电子设备 | |
CN108176049B (zh) | 一种信息提示方法、装置、终端和计算机可读存储介质 | |
JP5460793B2 (ja) | 表示装置、表示方法、テレビジョン受信機及び表示制御装置 | |
CN107730460B (zh) | 一种图像处理方法及移动终端 | |
CN111031234B (zh) | 一种图像处理方法及电子设备 | |
CN110765828A (zh) | 视觉识别方法及其*** | |
CN111259907B (zh) | 内容识别方法、装置以及电子设备 | |
CN109819166B (zh) | 一种图像处理方法和电子设备 | |
CN109005314B (zh) | 一种图像处理方法及终端 | |
CN110807405A (zh) | 一种偷拍装置检测方法及电子设备 | |
CN110766610A (zh) | 一种超分辨率图像的重建方法及电子设备 | |
CN107807488B (zh) | 一种摄像头组件、光圈调整方法及移动终端 | |
CN112333537B (zh) | 视频整合方法、装置及计算机可读存储介质 | |
CN110784672B (zh) | 一种视频数据传输方法、装置、设备及存储介质 | |
JP6991045B2 (ja) | 画像処理装置、画像処理装置の制御方法 | |
CN110942022A (zh) | 投篮数据的输出方法和电子设备 | |
CN110933307A (zh) | 一种电子设备及图像处理方法 | |
CN114399813A (zh) | 人脸遮挡检测方法、模型训练方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |