CN112511859A - 一种视频处理方法、装置和存储介质 - Google Patents
一种视频处理方法、装置和存储介质 Download PDFInfo
- Publication number
- CN112511859A CN112511859A CN202011260544.3A CN202011260544A CN112511859A CN 112511859 A CN112511859 A CN 112511859A CN 202011260544 A CN202011260544 A CN 202011260544A CN 112511859 A CN112511859 A CN 112511859A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- frame
- frames
- target feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000004590 computer program Methods 0.000 claims description 19
- 230000009471 action Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 8
- 230000004438 eyesight Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 230000004927 fusion Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012966 insertion method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种视频处理方法、装置和存储介质，所述方法包括：获取第一视频数据；所述第一视频数据包括至少两帧第一图像；获取至少两帧所述第一图像中相邻两帧第一图像对应的至少一帧第二图像；所述第二图像的图像采集时间在采集所述相邻两帧第一图像的时间范围内；所述相邻两帧第一图像及所述第二图像均包括目标特征；基于每帧所述第二图像包括的目标特征和所述相邻两帧第一图像，确定第三图像；将所述第三图像***所述第一视频数据的所述相邻两帧第一图像之间，生成第二视频数据；其中，所述第一图像的类型与所述第三图像的类型相同；所述第一图像的类型与所述第二图像的类型不同。
Description
技术领域
本发明涉及影像处理技术，尤其涉及一种视频处理方法、装置和存储介质。
背景技术
慢动作视频录制需要图像有很高帧率来保证动作和运动轨迹的连贯性，三原色光(RGB，Red Green Blue)摄像头受读出速度限制，为了实现高帧率需要将输出图像分辨率降低为1080P或者720P，甚至更低。尽管这样，硬件输出的视频帧率也只有几百每秒传输帧数(FPS，Frames Per Second)。为了实现更高的帧率，可以基于硬件输出的两帧中主体的运动轨迹在两帧之间沿着运动轨迹进行图像插帧，从而实现更高帧率，让视频看上去更加连贯流畅。基于硬件的高帧率方案需要降低图像分辨率才能获得更高帧率的输出，会导致高频信息丢失，图像不清晰。
发明内容
有鉴于此，本发明的主要目的在于提供一种视频处理方法、装置和存储介质。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供了一种视频处理方法，所述方法包括：
获取第一视频数据；所述第一视频数据包括至少两帧第一图像；
获取至少两帧所述第一图像中相邻两帧第一图像对应的至少一帧第二图像；所述第二图像的图像采集时间在采集所述相邻两帧第一图像的时间范围内；所述相邻两帧第一图像及所述第二图像均包括目标特征；
基于每帧所述第二图像包括的目标特征和所述相邻两帧第一图像，确定第三图像；
将所述第三图像***所述第一视频数据的所述相邻两帧第一图像之间，生成第二视频数据；
其中，所述第一图像的类型与所述第三图像的类型相同；所述第一图像的类型与所述第二图像的类型不同。
上述方案中，所述第二图像的帧数为一帧，所述基于每帧所述第二图像包括的目标特征和所述相邻两帧第一图像，确定第三图像，包括：
以每帧所述第二图像包括的目标特征为依据，将所述目标特征与所述相邻两帧第一图像中的至少一帧进行融合，得到第三图像。
上述方案中，所述第二图像的帧数为至少两帧，所述基于每帧所述第二图像包括的目标特征和所述相邻两帧第一图像，确定第三图像，包括：
以至少两帧所述第二图像中每帧所述第二图像包括的目标特征为依据，确定所述目标特征的运动轨迹；
根据所述运动轨迹，将每帧所述第二图像的目标特征与所述相邻两帧第一图像中的至少一帧进行融合，得到具有所述目标特征行动轨迹的至少两个第三图像。
上述方案中，所述目标特征至少包括纹理信息；所述第一图像至少包括颜色信息；
将所述目标特征与所述相邻两帧第一图像中的至少一帧进行融合，得到第三图像，包括：
将所述目标特征的纹理信息和所述相邻两帧第一图像中的至少一帧中目标特征相应的颜色信息进行融合，得到第三图像。
上述方案中，所述第一图像和所述第三图像为RGB图像；所述第二图像为基于动态视觉传感器DVS采集的事件流生成的图像。
本发明实施例提供了一种视频处理装置，所述装置包括：
第一获取模块，用于获取第一视频数据；所述第一视频数据包括至少两帧第一图像；
第二获取模块，用于获取至少两帧所述第一图像中相邻两帧第一图像对应的至少一帧第二图像；所述第二图像的图像采集时间在采集所述相邻两帧第一图像的时间范围内；所述相邻两帧第一图像及所述第二图像均包括目标特征；
处理模块，用于基于每帧所述第二图像包括的目标特征和所述相邻两帧第一图像，确定第三图像；
生成模块，用于将所述第三图像***所述第一视频数据的所述相邻两帧第一图像之间，生成第二视频数据；
其中，所述第一图像的类型与所述第三图像的类型相同；所述第一图像的类型与所述第二图像的类型不同。
上述方案中，所述第二图像的帧数为一帧，所述处理模块，用于以每帧所述第二图像包括的目标特征为依据，将所述目标特征与所述相邻两帧第一图像中的至少一帧进行融合，得到第三图像。
上述方案中，所述第二图像的帧数为至少两帧，所述处理模块，用于以至少两帧所述第二图像中每帧所述第二图像包括的目标特征为依据，确定所述目标特征的运动轨迹；根据所述运动轨迹，将每帧所述第二图像的目标特征与所述相邻两帧第一图像中的至少一帧进行融合，得到具有所述目标特征行动轨迹的至少两个第三图像。
上述方案中，所述目标特征至少包括：纹理信息；所述第一图像至少包括：颜色信息；
所述处理模块，具体用于将所述目标特征的纹理信息和所述相邻两帧第一图像中的至少一帧中目标特征相应的颜色信息进行融合，得到第三图像。
上述方案中，所述第一图像和所述第三图像为RGB图像；所述第二图像为基于DVS采集的事件流生成的图像。
本发明实施例提供了一种视频处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上所述视频处理方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上所述视频处理方法的步骤。
本发明实施例所提供的视频处理方法、装置和存储介质，所述方法包括：获取第一视频数据；所述第一视频数据包括至少两帧第一图像；获取至少两帧所述第一图像中相邻两帧第一图像对应的至少一帧第二图像；所述第二图像的图像采集时间在采集所述相邻两帧第一图像的时间范围内；所述相邻两帧第一图像及所述第二图像均包括目标特征；基于每帧所述第二图像包括的目标特征和所述相邻两帧第一图像，确定第三图像；将所述第三图像***所述第一视频数据的所述相邻两帧第一图像之间，生成第二视频数据；其中，所述第一图像的类型与所述第三图像的类型相同；所述第一图像的类型与所述第二图像的类型不同；如此，以目标特征为依据，生成第三图像，基于第三图像对第一视频数据进行插帧，得到更高帧率的视频数据(即第二视频数据)。
附图说明
图1为一种软件插帧方法的流程示意图；
图2为一种软件插帧方式的效果示意图；
图3为本发明实施例提供的一种视频处理方法的流程示意图；
图4为本发明实施例提供的另一种视频处理方法的流程示意图；
图5为本发明实施例提供的一种DVS辅助插帧方式的示意图；
图6为本发明实施例提供的一种视频处理装置的结构示意图；
图7为本发明实施例提供的另一种视频处理装置的结构示意图。
具体实施方式
在结合实施例对本发明再作进一步详细的说明之前，先对相关技术进行说明。
如上所述，基于硬件的高帧率方案需要降低图像分辨率才能获得更高帧率的输出，会导致高频信息丢失，图像不清晰。针对该问题，相关技术中提供有软件插帧方案。
图1为一种软件插帧方法的流程示意图；如图1所示，在软件插帧方案中，对RGB摄像头拍摄的低帧率视频的Frame N(第N帧图像)和Frame N+1(第N+1帧图像)之间***图像帧，以输出高帧率视频。
而对于***图像帧的过程是均匀***的。图2为一种软件插帧方式的效果示意图；如图2所示，第一三角形和第二三角形表示Frame N和Frame N+1某个特征点，该特征点从第一三角位置运动到了第二三角的位置；虽然特征点具有变化轨迹，但是软件插帧方法是沿着运动轨迹均匀***中间过程帧(即***Frame1、***Frame2)，且运动轨迹基于Frame N和Frame N+1确定，相当于特征点的运动轨迹是直线轨迹，真实性较低。
综上，上述方案进行插帧时依赖于两帧图像特征点的运动轨迹，但是两帧图像往往不能准确反应特征主体的运动轨迹，会导致插帧轨迹错误，最终效果和真实情况有差异。
基于此，本发明实施例中，获取第一视频数据；所述第一视频数据包括至少两帧第一图像；获取至少两帧所述第一图像中相邻两帧第一图像对应的至少一帧第二图像；所述第二图像的图像采集时间在采集所述相邻两帧第一图像的时间范围内；所述相邻两帧第一图像及所述第二图像均包括目标特征；基于每帧所述第二图像包括的目标特征和所述相邻两帧第一图像，确定第三图像；将所述第三图像***所述第一视频数据的所述相邻两帧第一图像之间，生成第二视频数据；其中，所述第一图像的类型与所述第三图像的类型相同；所述第一图像的类型与所述第二图像的类型不同。
下面结合实施例对本发明再作进一步详细的说明。
图3为本发明实施例提供的一种视频处理方法的流程示意图；如图3所示，所述视频处理方法应用于电子设备，电子设备具有拍摄功能，所述电子设备可以为智能电话、笔记本电脑、个人数字助理(PDA)、平板电脑(PAD)、便携式多媒体播放器(PMP)等；所述方法包括：
步骤301、获取第一视频数据；所述第一视频数据包括至少两帧第一图像；
步骤302、获取至少两帧所述第一图像中相邻两帧第一图像对应的至少一帧第二图像；所述第二图像的图像采集时间在采集所述相邻两帧第一图像的时间范围内；所述相邻两帧第一图像及所述第二图像均包括目标特征；
步骤303、基于每帧所述第二图像包括的目标特征和所述相邻两帧第一图像，确定第三图像；
步骤304、将所述第三图像***所述第一视频数据，生成第二视频数据；
其中，所述第一图像的类型与所述第三图像的类型相同；所述第一图像的类型与所述第二图像的类型不同。
在一实施例中，所述获取至少两帧所述第一图像中相邻两帧第一图像对应的至少一帧第二图像，包括：
根据至少两帧第一图像中每帧第一图像对应的时间信息，获取至少两帧第一图像中相邻两帧第一图像对应的至少一帧第二图像。
具体地，所述第一视频数据拍摄时，针对第一视频数据中每帧第一图像对应有时间信息(记做第一时间点)；
拍摄由第二图像组成的视频时，同样每帧第二图像对应有时间信息(记做第二时间点)；
基于第一时间点和第二时间点，可以确定相邻两帧第一图像对应的至少一帧第二图像。具体可以指在采集(即拍摄)相邻两帧第一图像的时间范围内(时间范围具体指相邻两帧第一图像的第一时间点之间)采集的第二图像。
这里，对至少一帧第二图像的图像采集时间在采集所述相邻两帧第一图像的时间范围内具体说明；假设，采集所述相邻两帧第一图像的时间分别为T1、T2；则所述至少一帧第二图像的图像采集时间为T1至T2之间的任意时间点。或者，对于超低帧率的视频数据，所述至少一帧第二图像的图像采集时间也可以为T1、T1与T2之间的任意时间点、T2。
这里，所述第一图像和所述第三图像为RGB图像；所述第二图像为基于动态视觉传感器(DVS，Dynamic Vision Sensor)采集的事件流生成的图像。
其中，DVS是一种基于地址事件表示(AER，Address-Event Representation)的互补金属氧化物半导体(CMOS，Complementary Metal Oxide Semiconductor)异步图像传感器，相比于传统图像传感器以帧的形式对外输出像素信息，DVS仿照生物视网膜神经的工作机理，采用异步地址事件表示，仅输出发生光强变化的像素地址和信息，而不是依次读出帧内每个像素信息。具有场景变化实时动态响应、图像超稀疏表示、时域变化事件异步输出等特点，可解决传统图像传感器帧采样方式带来的高冗余、高延迟、高噪声、低动态范围、传输瓶颈等缺陷，适用于高速、实时性应用较高的视觉领域。
由于DVS具有低延时，低冗余的特点，在相同时间内，可以输出去的图像帧数往往是普通RGB摄像头的很多倍。也就是说，同一段时间内，基于DVS拍摄的视频包括的图像数量，大于基于普通摄像头拍摄的视频包括的图像数量。即DVS拍摄图像的帧率至少高于RGB图像的帧率。因此，可以基于DVS拍摄的视频对基于普通摄像头拍摄的视频进行插帧(***图像)，从而提高基于普通摄像头拍摄的视频(如上述第一视频数据)的清晰度。
在一实施例中，所述第二图像的帧数为一帧，所述基于每帧所述第二图像包括的目标特征和所述相邻两帧第一图像，确定第三图像，包括：
以每帧所述第二图像包括的目标特征为依据，将所述目标特征与所述相邻两帧第一图像中的至少一帧进行融合，得到第三图像。
在一实施例中，所述第二图像的目标特征至少包括纹理信息；所述第一图像至少包括颜色信息；所述将所述目标特征与所述相邻两帧第一图像中的至少一帧进行融合，得到第三图像，包括：
将所述目标特征的纹理信息和所述相邻两帧第一图像中的至少一帧中目标特征相应的颜色信息进行融合，得到第三图像。
这里，所述相邻两帧第一图像和第二图像均包括目标特征，因此，可以将第二图像的目标特征与相邻两帧第一图像中的至少一帧中目标特征相应的颜色信息进行融合，得到第三图像；具体包括以下三种情况：
将第二图像的目标特征，与相邻两帧第一图像中的第一个第一图像中目标特征相应的颜色信息进行融合；
将第二图像的目标特征，与相邻两帧第一图像中的第二个第一图像中目标特征相应的颜色信息进行融合；
将第二图像的目标特征，与相邻两帧第一图像中目标特征相应的颜色信息进行融合。
也就是说，可以仅基于相邻两帧第一图像中的任意一个进行融合，也可以基于两帧第一图像进行融合，得到第三图像。
在一实施例中，所述第二图像的目标特征至少包括纹理信息；所述第一图像至少包括颜色信息；
所述第二图像的帧数为至少两帧，所述基于每帧所述第二图像包括的目标特征和所述相邻两帧第一图像，确定第三图像，包括：
以至少两帧所述第二图像中每帧所述第二图像包括的目标特征为依据，确定所述目标特征的运动轨迹；
根据所述运动轨迹，将每帧所述第二图像的目标特征与所述相邻两帧第一图像中的至少一帧进行融合，得到具有所述目标特征行动轨迹的至少两个第三图像。
其中，考虑到第二图像的帧数为至少两帧，针对每帧第二图像来说，将每帧所述第二图像的目标特征与所述相邻两帧第一图像中的至少一帧进行融合，包括：
将每帧所述第二图像的所述目标特征的纹理信息和所述相邻两帧第一图像中的至少一帧中每帧所述第二图像的目标特征相应的颜色信息进行融合，得到第三图像。
这里，对于每帧第二图像的目标特征，与相邻两帧第一图像中的至少一帧进行融合的方法，包括以下情况：
将第二图像的目标特征，与相邻两帧第一图像中的第一个第一图像中目标特征相应的颜色信息进行融合；
将第二图像的目标特征，与相邻两帧第一图像中的第二个第一图像中目标特征相应的颜色信息进行融合；
将第二图像的目标特征，与相邻两帧第一图像中目标特征相应的颜色信息进行融合。
也就是说，针对每帧第二图像的目标特征，可以仅基于相邻两帧第一图像中的任意一个进行融合，也可以基于两帧第一图像进行融合，得到第三图像。
如此，通过至少两个第三图像可以反映出相邻两帧第一图像之间真实的行动轨迹。
具体来说，相邻两帧第一图像可能对应多个第二图像，且所述多个第二图像中反映有目标特征的行动轨迹；举例说明，第一图像1和第一图像2具有运动物体(如：人物，该人物行走)；而第一图像1和第二图像2对应有第二图像1至第二图像1+n；第二图像1至第二图像1+n中反映有目标特征跳跃(即运动物体跳跃)；而第一图像1和第一图像2并未反映出该特征；因此，可以根据第二图像1至第二图像1+n确定至少两个第三图像，以反映人物跳跃的动作。
具体地，所述纹理信息不具有颜色，但是可以表征特征的轮廓或者形状，所述轮廓或者形状通过像素点(视觉来看是黑白色的点)体现。因此，将所述纹理信息和从第一图像中确定的目标特征相应的颜色信息进行融合，可以得到具有颜色的目标特征的图像，即第三图像。
在一种实例中，将所述目标特征的纹理信息和所述第二图像中目标特征相应的颜色信息进行融合，得到第三图像，包括：
基于目标特征的纹理信息对第一图像进行图像识别，确定第一图像中对应的特征区域；
基于该特征区域内的特征的颜色，得到目标特征相应的颜色信息。
图像识别可以是任意具有形状或轮廓识别功能的方法，这里不做限定。
实际应用时，可以是对所述相邻两帧第一图像中的至少一帧图像进行图像识别，以得到目标特征相应的颜色信息。还可以对第一视频数据中任意一帧具有该目标特征的第一图像进行图像识别，以得到目标特征相应的颜色信息。例如，对所述相邻两帧第一图像识别后无法得到所述特征区域，则可以尝试从第一视频数据中其他第一图像中确定相应的特征区域；当然以上仅仅是对具体识别哪张第一图像的说明，不做限定。
在另一种实例中，还可以采用其他确定目标特征对应的颜色信息，例如，确定时间信息对应的第一图像和第二图像，具体指，确定与相邻两帧第一图像的图像采集时间最接近(指时间差低于一定阈值，如1us)或一致的两帧第二图像，从而可以将确定的第一图像和第二图像进行比对，得到与目标特征对应的特征区域，基于此确定目标特征的颜色信息。进而，可以根据颜色信息，对其他第二图像中的目标特征进行颜色的融合，得到第三图像。
举例来说，所述相邻两帧第一图像为第一图像A和第一图像B；确定与第一图像A的采集时间对应的第二图像A，确定与第一图像B的采集时间对应的第二图像B；将第一图像A和第二图像A比对，或者，将第一图像B和第二图像B比对，得到目标特征对应的特征区域。
对于确定目标特征对应的颜色信息的方法，可以采用以上任一，或者还可以采用其他方法，这里不做限定。
在一实施例中，所述将所述第三图像***所述第一视频数据的所述相邻两帧第一图像之间，包括：
当第三图像的数量为一个时，可以直接将该第三图像***第一视频数据的相应位置(相邻两帧第一图像之间)；
当第三图像的数量为多个时，以每帧第三图像对应的第二图像的时间点作为相应第三图像的时间点；依据每帧第三图像的时间点，将多个第三图像依次***第一视频数据的相应位置(相邻两帧第一图像之间)。
具体地，所述第三图像为多个时，***相邻两帧第一图像之间的第三图像的数量可以等于或小于确定的相邻两帧第一图像对应的第二图像的数量。
需要***的第三图像的数量可以根据预先由开发人员设定的帧数阈值确定，所述帧数阈值可以为两帧、三帧等。
当生成的第三图像的数量大于所述帧数阈值时，还可以预先设定***的规则；例如，可以从生成的第三图像中任意选择帧数阈值数量的第三图像进行***；或者，按间隔帧提取的方式从生成的第三图像中选择帧数阈值数量的第三图像进行***。
在一实施例中，所述第一图像和所述第三图像为RGB图像；所述第二图像为基于动态视觉传感器(DVS)采集的事件流生成的图像；
所述第一图像(即RGB图像)的帧率低于所述第二图像(即基于DVS采集的事件流生成的图像)的帧率。
所述获取第一视频数据，包括：运用第一摄像头采集所述第一视频数据；
所述方法还包括：运用第二摄像头采集至少一帧第二图像；所述第二摄像头与DVS相关。
第一摄像头可以是普通拍摄RGB图像的摄像头；所述第二摄像头与DVS相关，即基于DVS进行拍摄。
所述第一图像的帧率也可以等于所述第二图像的帧率、且采集第一图像的时间和采集第二图像的时间错开，从而可以在采集相邻两帧第一图像的时间范围内，采集到第二图像。
举例来说，采集相邻两帧第一图像的时间分别为：T1、T2；假设在时间点T1’采集到第二图像，且所述时间点T1’在时间点T1、时间点T2之间；则采集的该第二图像即为所述相邻两帧第一图像对应的第二图像。
本发明实施例提供的方法，通过DVS记录更高帧率的物体运动情况，然后和RGB视频(即第一视频数据)融合，获得更高的RGB视频。
并且，相比于图1所示的软件插帧方法，记录的物体运动情况更加真实，最终得到的高帧率视频效果更好。
需要说明的是，为实现图1所示方法，本发明实施例所应用的电子设备具有或者连接有所述第一摄像头和所述第二摄像头。
图4为本发明实施例提供的另一种视频处理方法的流程示意图；如图4所示，所述视频处理方法应用于电子设备，所述方法包括：
获取RGB视频数据(相当于图3所示方法中的第一视频数据)和DVS视频数据；其中，所述RGB视频数据基于RGB摄像头(camera)拍摄得到，为一个需要提高帧率的低帧率视频数据；所述DVS视频数据基于DVS camera拍摄得到。
确定RGB视频数据中相邻两帧RGB图像，及RGB视频数据中相邻两帧RGB图像对应的至少一帧DVS图像；其中，所述相邻两帧RGB图像指Farme N和Farme N+1(N大于等于1)；所述至少一帧DVS图像指Frame M至Frame M+m(M和m大于等于1)。这里，Farme N和Frame M可以对应相同的时间点，或者两者的时间点相差低于预设阈值(如1us)；所述Farme N+1和FrameM+m可以对应相同的时间点，或者两者的时间点相差低于预设阈值(如1us)。其中，确定RGB视频数据中相邻两帧RGB图像对应的至少一帧DVS图像，指从所述DVS视频数据中获取所述相邻两帧RGB图像对应的至少一帧DVS图像；具体可以基于视频数据中各帧对应的时间信息确定，即确定时间区域相同的至少一帧RGB图像和至少一帧DVS图像。
基于每帧所述DVS图像包括的目标特征和所述相邻两帧RGB图像，确定第三图像。具体地，可以从所述Frame M至Frame M+m中，确定目标特征；以目标特征为依据，确定所述目标特征的运动轨迹；根据所述运动轨迹，将每帧DVS图像(即Frame M至Frame M+m)的目标特征与RGB图像进行融合，得到具有所述目标特征行动轨迹的至少两个第三图像。这里，所述DVS图像相当于第二图像；所述RGB图像相当于上述第一图像；融合的具体过程已在图3所示方法中说明，这里不再赘述。
最后，将第三图像***RGB视频数据，得到RGB高帧率视频。这里，所述RGB高帧率视频指相当于所述RGB视频数据而言的高帧率视频数据。***RGB视频数据中的第三图像的数量可以为一个或多个。
上述方法，利用DVS得到高帧率的特点，提取RGB摄像头拍摄得到的图像帧与图像帧之间DVS的数据(如Frame M至Frame M+m)；基于DVS的数据获得帧间发生变化的局部特征(即上述目标特征)，以DVS提供的局部特征为引导预测RGB摄像头运动区域的运动轨迹，以运动轨迹在RGB摄像头的帧间插帧，得到更高帧率的视频。
关于基于每帧所述DVS图像包括的目标特征和所述相邻两帧RGB图像，确定第三图像，如图5所示，图5为本发明实施例提供的一种DVS辅助插帧方式的示意图；本发明实施例中，DVS可以将两帧之间特征点(即目标特征)的真实运动轨迹记录下来，然后沿着真实的运动轨迹和RGB的图像帧进行融合，得到更加符合真实情况的中间帧(如Frame1至Frame m，相当于上述一个或多个第三图像)。
图6为本发明实施例提供的一种视频处理装置的结构示意图；如图6所示，所述视频处理装置，包括：
第一获取模块，用于获取第一视频数据；所述第一视频数据包括至少两帧第一图像；
第二获取模块，用于获取至少两帧所述第一图像中相邻两帧第一图像对应的至少一帧第二图像；所述第二图像的图像采集时间在采集所述相邻两帧第一图像的时间范围内；所述相邻两帧第一图像及所述第二图像均包括目标特征；
处理模块，用于基于每帧所述第二图像包括的目标特征和所述相邻两帧第一图像，确定第三图像；
生成模块，用于将所述第三图像***所述第一视频数据的所述相邻两帧第一图像之间，生成第二视频数据；
其中，所述第一图像的类型与所述第三图像的类型相同；所述第一图像的类型与所述第二图像的类型不同。
在一实施例中，所述第二图像的帧数为一帧，所述处理模块，用于以每帧所述第二图像包括的目标特征为依据，将所述目标特征与所述相邻两帧第一图像中的至少一帧进行融合，得到第三图像。
在一实施例中，所述第二图像的帧数为至少两帧，所述处理模块，用于以至少两帧所述第二图像中每帧所述第二图像包括的目标特征为依据，确定所述目标特征的运动轨迹；
根据所述运动轨迹，将每帧所述第二图像的目标特征与所述相邻两帧第一图像中的至少一帧进行融合，得到具有所述目标特征行动轨迹的至少两个第三图像。
在一实施例中，所述目标特征至少包括纹理信息；所述第一图像至少包括颜色信息；
所述处理模块，用于将所述目标特征的纹理信息和所述相邻两帧第一图像中的至少一帧中目标特征相应的颜色信息进行融合，得到第三图像。
在一实施例中，所述第一图像和所述第三图像为RGB图像；所述第二图像为基于DVS采集的事件流生成的图像。
在一实施例中，所述第一获取模块，还用于运用第一摄像头采集所述第一视频数据；
所述第二获取模块，还用于运用第二摄像头采集至少一帧第二图像；所述第二摄像头与DVS相关。
需要说明的是：上述实施例提供的视频处理装置在实现相应视频处理方法时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将网络设备的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的装置与相应方法的实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图7为本发明实施例提供的一种视频处理装置的结构示意图；如图7所示，所述装置70包括：处理器701和用于存储能够在所述处理器上运行的计算机程序的存储器702；其中，所述处理器701用于运行所述计算机程序时，执行：获取第一视频数据；所述第一视频数据包括至少两帧第一图像；获取至少两帧所述第一图像中相邻两帧第一图像对应的至少一帧第二图像；所述第二图像的图像采集时间在采集所述相邻两帧第一图像的时间范围内；所述相邻两帧第一图像及所述第二图像均包括目标特征；基于每帧所述第二图像包括的目标特征和所述相邻两帧第一图像，确定第三图像；将所述第三图像***所述第一视频数据的所述相邻两帧第一图像之间，生成第二视频数据；其中，所述第一图像的类型与所述第三图像的类型相同；所述第一图像的类型与所述第二图像的类型不同。
在一实施例中，所述第二图像的帧数为一帧，所述处理器701还用于运行所述计算机程序时，执行：以每帧所述第二图像包括的目标特征为依据，将所述目标特征与所述相邻两帧第一图像中的至少一帧进行融合，得到第三图像。
在一实施例中，所述第二图像的帧数为至少两帧，所述处理器701还用于运行所述计算机程序时，执行：以至少两帧所述第二图像中每帧所述第二图像包括的目标特征为依据，确定所述目标特征的运动轨迹；根据所述运动轨迹，将每帧所述第二图像的目标特征与所述相邻两帧第一图像中的至少一帧进行融合，得到具有所述目标特征行动轨迹的至少两个第三图像。
在一实施例中，所述处理器701还用于运行所述计算机程序时，执行：将所述目标特征的纹理信息和所述相邻两帧第一图像中的至少一帧中目标特征相应的颜色信息进行融合，得到第三图像。
在一实施例中，所述处理器701还用于运行所述计算机程序时，执行：运用第一摄像头采集所述第一视频数据；以及，运用第二摄像头采集至少一帧第二图像；所述第二摄像头与DVS相关。
其中，所述处理器运行所述计算机程序时实现本发明实施例的各个方法中由电子设备实现的相应流程，为了简洁，在此不再赘述。
实际应用时，所述装置70还可以包括：至少一个网络接口703。视频处理装置70中的各个组件通过总线***704耦合在一起。可理解，总线***704用于实现这些组件之间的连接通信。总线***704除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线***704。其中，所述处理器701的个数可以为至少一个。网络接口703用于视频处理装置70与其他设备之间有线或无线方式的通信。
本发明实施例中的存储器702用于存储各种类型的数据以支持视频处理装置70的操作。
上述本发明实施例揭示的方法可以应用于处理器701中，或者由处理器701实现。处理器701可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器701可以是通用处理器、数字信号处理器(DSP，DiGital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器701可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器702，处理器701读取存储器702中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，视频处理装置70可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序；所述计算机程序被处理器运行时，执行：获取第一视频数据；所述第一视频数据包括至少两帧第一图像；获取至少两帧所述第一图像中相邻两帧第一图像对应的至少一帧第二图像；所述第二图像的图像采集时间在采集所述相邻两帧第一图像的时间范围内；所述相邻两帧第一图像及所述第二图像均包括目标特征；基于每帧所述第二图像包括的目标特征和所述相邻两帧第一图像，确定第三图像；将所述第三图像***所述第一视频数据的所述相邻两帧第一图像之间，生成第二视频数据；其中，所述第一图像的类型与所述第三图像的类型相同；所述第一图像的类型与所述第二图像的类型不同。
在一实施例中，所述第二图像的帧数为一帧，所述计算机程序被处理器运行时，执行：以每帧所述第二图像包括的目标特征为依据，将所述目标特征与所述相邻两帧第一图像中的至少一帧进行融合，得到第三图像。
在一实施例中，所述第二图像的帧数为至少两帧，所述计算机程序被处理器运行时，执行：以至少两帧所述第二图像中每帧所述第二图像包括的目标特征为依据，确定所述目标特征的运动轨迹；根据所述运动轨迹，将每帧所述第二图像的目标特征与所述相邻两帧第一图像中的至少一帧进行融合，得到具有所述目标特征行动轨迹的至少两个第三图像。
在一实施例中，所述计算机程序被处理器运行时，执行：将所述目标特征的纹理信息和所述相邻两帧第一图像中的至少一帧中目标特征相应的颜色信息进行融合，得到第三图像。
在一实施例中，所述计算机程序被处理器运行时，执行：运用第一摄像头采集所述第一视频数据；以及，运用第二摄像头采集至少一帧第二图像；所述第二摄像头与DVS相关。
其中，所述计算机程序被处理器运行时实现本发明实施例的各个方法中由电子设备实现的相应流程，为了简洁，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是：在本发明实例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
另外，本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本发明实施例中，多个的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种视频处理方法，其特征在于，所述方法包括：
获取第一视频数据；所述第一视频数据包括至少两帧第一图像；
获取至少两帧所述第一图像中相邻两帧第一图像对应的至少一帧第二图像；所述第二图像的图像采集时间在采集所述相邻两帧第一图像的时间范围内；所述相邻两帧第一图像及所述第二图像均包括目标特征；
基于每帧所述第二图像包括的目标特征和所述相邻两帧第一图像，确定第三图像；
将所述第三图像***所述第一视频数据的所述相邻两帧第一图像之间，生成第二视频数据；
其中，所述第一图像的类型与所述第三图像的类型相同；所述第一图像的类型与所述第二图像的类型不同。
2.根据权利要求1所述的方法，其特征在于，所述第二图像的帧数为一帧，所述基于每帧所述第二图像包括的目标特征和所述相邻两帧第一图像，确定第三图像，包括：
以每帧所述第二图像包括的目标特征为依据，将所述目标特征与所述相邻两帧第一图像中的至少一帧进行融合，得到第三图像。
3.根据权利要求1所述的方法，其特征在于，所述第二图像的帧数为至少两帧，所述基于每帧所述第二图像包括的目标特征和所述相邻两帧第一图像，确定第三图像，包括：
以至少两帧所述第二图像中每帧所述第二图像包括的目标特征为依据，确定所述目标特征的运动轨迹；
根据所述运动轨迹，将每帧所述第二图像的目标特征与所述相邻两帧第一图像中的至少一帧进行融合，得到具有所述目标特征行动轨迹的至少两个第三图像。
4.根据权利要求2或3所述的方法，其特征在于，所述目标特征至少包括纹理信息；所述第一图像至少包括颜色信息；
将所述目标特征与所述相邻两帧第一图像中的至少一帧进行融合，得到第三图像，包括：
将所述目标特征的纹理信息和所述相邻两帧第一图像中的至少一帧中目标特征相应的颜色信息进行融合，得到第三图像。
5.根据权利要求1至3任一项所述的方法，其特征在于，所述第一图像和所述第三图像为RGB图像；所述第二图像为基于动态视觉传感器DVS采集的事件流生成的图像。
6.一种视频处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取第一视频数据；所述第一视频数据包括至少两帧第一图像；
第二获取模块，用于获取至少两帧所述第一图像中相邻两帧第一图像对应的至少一帧第二图像；所述第二图像的图像采集时间在采集所述相邻两帧第一图像的时间范围内；所述相邻两帧第一图像及所述第二图像均包括目标特征；
处理模块，用于基于每帧所述第二图像包括的目标特征和所述相邻两帧第一图像，确定第三图像；
生成模块，用于将所述第三图像***所述第一视频数据的所述相邻两帧第一图像之间，生成第二视频数据；
其中，所述第一图像的类型与所述第三图像的类型相同；所述第一图像的类型与所述第二图像的类型不同。
7.根据权利要求6所述的装置，其特征在于，所述第二图像的帧数为一帧，所述处理模块，用于以每帧所述第二图像包括的目标特征为依据，将所述目标特征与所述相邻两帧第一图像中的至少一帧进行融合，得到第三图像。
8.根据权利要求6所述的装置，其特征在于，所述第二图像的帧数为至少两帧，所述处理模块，用于以至少两帧所述第二图像中每帧所述第二图像包括的目标特征为依据，确定所述目标特征的运动轨迹；根据所述运动轨迹，将每帧所述第二图像的目标特征与所述相邻两帧第一图像中的至少一帧进行融合，得到具有所述目标特征行动轨迹的至少两个第三图像。
9.一种视频处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011260544.3A CN112511859B (zh) | 2020-11-12 | 2020-11-12 | 一种视频处理方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011260544.3A CN112511859B (zh) | 2020-11-12 | 2020-11-12 | 一种视频处理方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112511859A true CN112511859A (zh) | 2021-03-16 |
| CN112511859B CN112511859B (zh) | 2023-03-24 |
Family
ID=74957256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011260544.3A Active CN112511859B (zh) | 2020-11-12 | 2020-11-12 | 一种视频处理方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112511859B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113225546A (zh) * | 2021-04-25 | 2021-08-06 | Oppo广东移动通信有限公司 | 色温调整方法及装置、电子设备、计算机可读存储介质 |
| CN114494085A (zh) * | 2022-04-14 | 2022-05-13 | 季华实验室 | 一种视频流复原方法、***、电子设备及存储介质 |
| CN114727015A (zh) * | 2022-03-28 | 2022-07-08 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106210449A (zh) * | 2016-08-11 | 2016-12-07 | 上海交通大学 | 一种多信息融合的帧率上变换运动估计方法及*** |
| CN108683852A (zh) * | 2018-05-23 | 2018-10-19 | 努比亚技术有限公司 | 一种视频录制方法、终端及计算机可读存储介质 |
| CN110650294A (zh) * | 2019-11-06 | 2020-01-03 | 深圳传音控股股份有限公司 | 视频拍摄方法、移动终端及可读存储介质 |
| CN111586321A (zh) * | 2020-05-08 | 2020-08-25 | Oppo广东移动通信有限公司 | 视频生成方法、装置、电子设备和计算机可读存储介质 |
| CN111667442A (zh) * | 2020-05-21 | 2020-09-15 | 武汉大学 | 一种基于事件相机的高质量高帧率图像重建方法 |
-
2020
- 2020-11-12 CN CN202011260544.3A patent/CN112511859B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106210449A (zh) * | 2016-08-11 | 2016-12-07 | 上海交通大学 | 一种多信息融合的帧率上变换运动估计方法及*** |
| CN108683852A (zh) * | 2018-05-23 | 2018-10-19 | 努比亚技术有限公司 | 一种视频录制方法、终端及计算机可读存储介质 |
| CN110650294A (zh) * | 2019-11-06 | 2020-01-03 | 深圳传音控股股份有限公司 | 视频拍摄方法、移动终端及可读存储介质 |
| CN111586321A (zh) * | 2020-05-08 | 2020-08-25 | Oppo广东移动通信有限公司 | 视频生成方法、装置、电子设备和计算机可读存储介质 |
| CN111667442A (zh) * | 2020-05-21 | 2020-09-15 | 武汉大学 | 一种基于事件相机的高质量高帧率图像重建方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113225546A (zh) * | 2021-04-25 | 2021-08-06 | Oppo广东移动通信有限公司 | 色温调整方法及装置、电子设备、计算机可读存储介质 |
| CN114727015A (zh) * | 2022-03-28 | 2022-07-08 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及存储介质 |
| CN114727015B (zh) * | 2022-03-28 | 2024-04-19 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及存储介质 |
| CN114494085A (zh) * | 2022-04-14 | 2022-05-13 | 季华实验室 | 一种视频流复原方法、***、电子设备及存储介质 |
| CN114494085B (zh) * | 2022-04-14 | 2022-07-15 | 季华实验室 | 一种视频流复原方法、***、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112511859B (zh) | 2023-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112511859B (zh) | 一种视频处理方法、装置和存储介质 | |
| JP6204659B2 (ja) | 映像処理装置及び映像処理方法 | |
| CN107948517A (zh) | 预览画面虚化处理方法、装置及设备 | |
| CN108093158B (zh) | 图像虚化处理方法、装置、移动设备和计算机可读介质 | |
| CN104205826A (zh) | 用于重建高密度三维图像的设备和方法 | |
| KR20170038040A (ko) | 비디오에서의 컴퓨터화된 현저한 인물 인식 | |
| KR20070016849A (ko) | 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치 | |
| CN102959942B (zh) | 立体观看用图像拍摄装置及其控制方法 | |
| JP7223079B2 (ja) | 画像処理装置およびその制御方法、ならびに撮像装置 | |
| CN111241872B (zh) | 视频图像遮挡方法及装置 | |
| US20110128415A1 (en) | Image processing device and image-shooting device | |
| US8798369B2 (en) | Apparatus and method for estimating the number of objects included in an image | |
| Messikommer et al. | Multi-bracket high dynamic range imaging with event cameras | |
| US20220100658A1 (en) | Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor | |
| JPWO2013150789A1 (ja) | 動画解析装置、動画解析方法、プログラム、及び集積回路 | |
| CN111667420A (zh) | 图像处理方法及装置 | |
| CN112802033A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
| JP5960691B2 (ja) | 興味区間特定装置、興味区間特定方法、興味区間特定プログラム | |
| EP3035242A1 (en) | Method and electronic device for object tracking in a light-field capture | |
| CN104408444A (zh) | 人体动作识别方法和装置 | |
| CN111160340B (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 | |
| WO2023001110A1 (zh) | 神经网络训练方法、装置及电子设备 | |
| CN110930340A (zh) | 一种图像处理方法及装置 | |
| CN108960130B (zh) | 视频文件智能处理方法和装置 | |
| US10282633B2 (en) | Cross-asset media analysis and processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |