CN112055179A - 视频播放方法及装置 - Google Patents
视频播放方法及装置 Download PDFInfo
- Publication number
- CN112055179A CN112055179A CN202010953413.7A CN202010953413A CN112055179A CN 112055179 A CN112055179 A CN 112055179A CN 202010953413 A CN202010953413 A CN 202010953413A CN 112055179 A CN112055179 A CN 112055179A
- Authority
- CN
- China
- Prior art keywords
- target
- video
- target image
- video playing
- attribute information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000010191 image analysis Methods 0.000 claims abstract description 37
- 238000013519 translation Methods 0.000 claims description 13
- 230000001960 triggered effect Effects 0.000 claims description 3
- 230000014616 translation Effects 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 210000000887 face Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/454—Multi-language systems; Localisation; Internationalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
- H04N21/4586—Content update operation triggered locally, e.g. by comparing the version of software modules in a DVB carousel to the version stored locally
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种视频播放方法和装置,其中方法包括:提供视频播放界面,所述视频播放界面包括:视频播放区域,用于播放视频;以及目标图像分析展示区域,用于展示自所述视频播放区域所播放的视频中获取的多个目标图像以及所述多个目标图像中至少一目标图像的目标属性信息。本发明提供的视频播放方法及装置实现视频播放,从而在视频播放界面中辅助工作人员能够追踪目标、目标属性并进行相关操作。
Description
技术领域
本发明涉及视频处理领域,尤其涉及一种视频播放方法及装置。
背景技术
自上个世纪八十年代以来,视频监控的发展经历了模拟技术、数字技术、网络技术的变革。如今视频监控***作为安防领域发展的核心部分,已被司法、交通、教育、医疗、金融、房地产、农业等各界所依赖,有效地预防了违法事件的发生并提高了违法事件的取证效率,为各行各业的建设提供了良好的发展环境。随着人类文明社会的发展和进步,高性能的视频监控***是当代及未来世界不可缺少的重要科技。
在视频监控***中,视频监控界面一直作为可视化管理的最直观部分。然而传统的视频监控界面一般只支持视频的播放,然而实际上视频中存在大量的信息,若操作人员想在视频中获取某个目标时,需一直盯着界面进行肉眼搜索。
由于人的精力有限很容易产生视觉疲劳,且在光线特殊等情况下,视觉误差也是不可避免的,因此一种可同时支持展示视频分析目标及其属性的视频播放界面是视讯监控***发展进一步所追求的趋势。视频监控***中显示的信息种类繁多,但现实应用中,可能只有其中一类或两类(如车辆、人员)分析目标是操作人员所关心的,因此传统监控***界面所播放的视频中含有大量的无效信息,为通过人眼定位视频中目标的工作增加了很大的负担。
由此,如何实现视频播放,从而在视频播放界面中辅助工作人员能够追踪目标、目标属性并进行相关操作,是本领域技术人员亟待解决的问题。
发明内容
本发明为了克服上述现有技术存在的缺陷,提供一种视频播放方法及装置,在视频播放界面中辅助工作人员能够追踪目标、目标属性并进行相关操作。
根据本发明的一个方面,提供一种视频播放方法,包括:
提供视频播放界面,所述视频播放界面包括:
视频播放区域,用于播放视频;以及
目标图像分析展示区域,用于展示自所述视频播放区域所播放的视频中获取的多个目标图像以及所述多个目标图像中至少一目标图像的目标属性信息。
在本发明的一些实施例中,所述视频播放区域播放的视频中显示随目标移动的目标框,所述目标图像按预设抓拍规则根据所述目标框截取。
在本发明的一些实施例中,所述目标图像随所述目标框内的目标的变化而更新,且所述目标图像的目标属性信息随所目标图像的更新而更新。
在本发明的一些实施例中,所述视频播放区域播放离线视频时,所述目标图像分析展示区域展示的目标图像以及目标图像的目标属性信息关联视频帧号的储存至一配置文件中,其中,自所述配置文件读取与所述离线视频当前播放的视频帧号关联的目标图像以及目标图像的目标属性信息以展示在所述目标图像分析展示区域中。
在本发明的一些实施例中,所述目标图像的目标属性信息按属性置信度由高至低排序显示。
在本发明的一些实施例中,所述视频播放界面还包括:
目标图像展示区域,所述目标图像展示区域用于按目标类型分区域显示多个目标图像,所述目标图像展示区域中显示的目标图像的数量大于等于所述目标图像分析展示区域中显示的目标图像的数量。
在本发明的一些实施例中,所述视频播放界面还包括:
目标详情显示窗口,经由对所述目标图像的操作触发显示,所述目标详情显示窗口用于显示所操作的目标图像的目标属性信息,所述目标详情显示窗口的目标属性信息数量大于等于所述目标图像分析展示区域显示的目标属性信息的数量。
在本发明的一些实施例中,所述目标详情显示窗口的目标属性信息经编辑后,一并更新至所述所述目标图像分析展示区域显示的对应的目标属性信息。
在本发明的一些实施例中,所述目标详情显示窗口显示所操作的目标图像以及与所操作的目标图像关联的其它目标类型的目标图像。
在本发明的一些实施例中,所述提供视频播放界面之后还包括:接收用户选定的语言种类;自一数组中查找与所选定的语言种类对应的翻译文本;将所述视频播放界面的文字切换为所查找到的翻译文本。
根据本发明的又一方面,还提供一种视频播放装置,包括:
界面提供模块,配置成提供视频播放界面,所述视频播放界面包括:
视频播放区域,用于播放视频;以及
目标图像分析展示区域,用于展示自所述视频播放区域所播放的视频中获取的多个目标图像以及所述多个目标图像中至少一目标图像的目标属性信息。
由此可见,本发明提供的方案,与现有技术相比,具有如下优势:
本发明通过包括视频播放区域和目标图像分析展示区域的视频播放界面,在播放视频的同时,展示自所述视频播放区域所播放的视频中获取的多个目标图像以及所述多个目标图像中至少一目标图像的目标属性信息,从而在视频播放界面中辅助工作人员能够追踪目标、目标属性并进行相关操作。
附图说明
通过参照附图详细描述其示例实施方式,本发明的上述和其它特征及优点将变得更加明显。
图1示出了根据本发明实施例的视频播放方法所提供的视频播放界面的示意图。
图2示出了根据本发明实施例的目标详情显示窗口的示意图。
图3示出了根据本发明实施例的在视频播放界面中显示目标详情显示窗口的示意图。
图4示出了根据本发明实施例的在视频播放装置的模块图。
图5示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。
图6示意性示出本公开示例性实施例中一种电子设备示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本发明将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外,附图仅为本发明的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的步骤。例如,有的步骤还可以分解,而有的步骤可以合并或部分合并,因此,实际执行的顺序有可能根据实际情况改变。
为了克服上述现有技术存在的缺陷,本发明提供一种视频播放方法及装置,在视频播放界面中辅助工作人员能够追踪目标、目标属性并进行相关操作。
本发明提供的视频播放方法包括提供视频播放界面的步骤。下面分别结合图1至图3描述本发明提供的视频播放方法中所提供的视频播放界面。图1示出了根据本发明实施例的视频播放方法所提供的视频播放界面的示意图。图2示出了根据本发明实施例的目标详情显示窗口的示意图。图3示出了根据本发明实施例的在视频播放界面中显示目标详情显示窗口的示意图。
所述视频播放界面1包括视频播放区域11以及目标图像分析展示区域12。视频播放区域11用于播放视频。目标图像分析展示区域12用于展示自所述视频播放区域11所播放的视频中获取的多个目标图像121以及所述多个目标图像中至少一目标图像的目标属性信息122。具体而言,目标图像分析展示区域12用以展示选定的至少一目标图像121的目标属性信息122。
由此,在本发明提供的视频播放方法中,通过包括视频播放区域和目标图像分析展示区域的视频播放界面,在播放视频的同时,展示自所述视频播放区域所播放的视频中获取的多个目标图像以及所述多个目标图像中至少一目标图像的目标属性信息,从而在视频播放界面中辅助工作人员能够追踪目标、目标属性并进行相关操作。
在本发明的一些实施例中,所述视频播放区域11播放的视频中显示随目标移动的目标框111、112以及113。进一步地,可以在视频播放过程中显示选定目标类型的目标框,由此,避免了传统视频播放过程中,观察人员需肉眼定位目标分析结果而吸取了大量无效信息,增加人眼视觉疲劳性,定位分析目标不准确问题。例如,在一些视频中,可以选定行人、人脸、车辆等目标类型的目标框,从而可以突出显示这些选定目标类型,而淡化环境中的目标(诸如树木、垃圾桶等)。
具体而言,在上述实施例中,当视频播放区域播放的是实时视频时,则实时运行目标识别算法,从而实时地在视频中显示所识别出的目标框。进一步地,可按视频帧保存每一帧的目标框的显示参数。显示参数例如可以包括显示形式(例如不同的目标类别以不同的颜色、线型显示目标框;目标较少时,也可以按目标以不同的颜色、线型显示目标框)以及显示位置(在视频图像中的坐标)。例如,可以将视频帧号(用于标识不同的视频帧)和显示参数关联的储存在一配置文件中。视频帧号和显示参数可以通过键值映射的方式储存,将视频帧号储存为键,将显示参数储存为值,从而表示他们之间的关联关系。由此,可以在离线视频播放时,下载并读取该配置文件,以能够在离线视频中也能够显示目标框。具体而言,在视频播放过程中,客户端将读取配置文件信息,同时解析每一帧的SEI信息(SEI即补充增强信息(SupplementalEnhancementInformation),属于码流范畴,它提供了向视频码流中加入额外信息的方法),可以将视频中出现的目标的位置坐标,根据当前播放窗口的尺寸按照一定的比例进行缩放,形成目标框,从而将目标框绘制到当前帧码流中,用户在观察视频过程中,可明显地观察到视频中目标所在位置,随着视频的播放即可看到抓拍目标在视频中所发生的位移情况。
在本发明的一些实施例中,目标图像分析展示区域12的目标图像可以是按预设抓拍规则根据所述目标框截取。预设的抓拍规则可以按需设置。例如抓拍规则可以设定为,识别出目标即抓拍;目标执行设定动作即抓拍;识别出目标后每隔预定周期进行抓拍;通过人工操作进行抓拍等,本发明可以设置各类不同的抓拍规则,在此不予赘述。
在上述实施例中,所述视频播放区域播放实时视频时,所述目标图像随所述目标框内的目标的变化而更新,且所述目标图像的目标属性信息随所目标图像的更新而更新。具体而言,由于目标框内目标的移动、视角转换等皆会导致属性识别发生更新。例如,当目标为行人时,其被拍摄的视角从背面转到正面时,将获得更多更精确的目标属性信息,因此可以据此进行目标属性信息的更新。进一步地,在目标属性信息的更新中,若从识别出的属性信息变为无法识别时,则不对该目标属性信息进行更新,保持其之前识别出的属性信息。进一步地,在本实施例中,当多次抓拍到同一目标的目标图像时,可以根据目标图像中目标的大小、清晰度、视角等确定一目标图像以在目标图像分析展示区域12中进行显示。由此,进一步辅助工作人员能够准确了解目标的图像和属性。进一步地,可以按视频帧保存目标图像以及对应的目标属性,从而通过配置文件的方式,在离线视频播放时,也能够实现目标图像分析展示区域12的展示。
具体而言,所述视频播放区域播放离线视频时,所述目标图像分析展示区域展示的目标图像以及目标图像的目标属性信息关联视频帧号的储存至一配置文件中,其中,当所述离线视频播放至所述视频帧号时,自所述配置文件读取与该视频帧号关联的目标图像以及目标图像的目标属性信息以展示在所述目标图像分析展示区域中。进一步地,操作人员进行视频播放操作时,视频播放界面将会向服务器读取视频信息配置文件,即客户端向服务器发送即将播放的视频任务ID(TaskID),服务器接收TaskID后判断该视频对应配置文件是否下载(首次播放的视频配置文件为未下载状态,因此可根据该视频播放次数playTimes进行判断),若已下载,则可直接发送其所存储的信息;若未下载,则会将配置文件下载到本地后再发送其相应的配置文件信息。配置文件中存储视频每一帧信息,其包括视频播放的帧数据、视频中分析目标抓拍图片路径及其不同类型目标属性信息(以行人和车辆为例。行人属性信息含有:性别、身高、年龄、发型、头发颜色、上衣颜色、下衣颜色、上衣纹理、下衣纹理、背包、帽子、帽子颜色、口罩、骑车、行人方向、人员速度、民族属性等;车辆信息含有:车牌号、车辆类型、车辆尺寸、打电话否、车辆方向、车身颜色、厂商、未洗安全带、车辆品牌、颜色深浅、款式、开遮阳板、车辆品牌、车牌颜色、车辆速度等,本发明并非以此为限制)。利用映射技术,将视频帧号设为键,将每一帧的目标图像与目标属性信息作为值,由此视频帧号与其对应目标属性信息关联匹配,即可在视频播放过程中输出与其每一帧对应的码流信息。具体而言,在一些实施例中,配置文件中的目标图像和目标属性信息为对应在该帧获取的目标图像和目标属性信息。在一些变化例中,如在前所描述的,可以对目标图像和目标属性信息进行更新,由此,视频帧号关联的目标图像和目标属性信息可以是更新后的同一目标的质量更高的目标图像和更完整的目标属性信息。在又一些变化例中,还可以通过连线、增加相同的标记等显示形式将所播放的视频中的目标框和目标图像分析展示区域12的目标图像对应关联起来。
在本发明的一些实施例中,所述目标图像的目标属性信息可以按属性置信度由高至低排序显示。置信度表示目标属性信息的可信程度。在一些实施例中,目标图像分析展示区域12仅显示部分目标属性信息,因此,可以将置信度更高的N个目标属性信息显示在目标图像分析展示区域12,N为大于1的整数。置信度可以通过各类算法计算获得,例如可以通过属性识别的机器学习模型中的分类概率值来确定该属性的置信度,本发明并非以此为限制。进一步地,置信度也可以为人为设定的属性优先级。
具体而言,上述实施例支持动态展示目标图像,且支持动态展示当前目标图像片所对应的部分目标属性信息,目标属性信息按置信度优先级别从高到低依次输出。目标图像与目标属性绑定输出方式提高了目标属性信息的可读性,解决了人眼对某些目标属性难以辨别的困难,提高了对目标属性信息获取的效率和准确性。
具体而言,上述实施例可以采用Qt(跨平台C++图形用户界面应用程序开发框架)中ListView(列表展示)方法定义目标属性详情展示列表,ListView中delegate(属性列表模板)定义为两列,其中左侧为属性标题,右侧为该标题对应的具体属性信息,定义objInfoModel用于存储每一个目标图片信息与属性详情,objInfoModel利用append()函数从服务器配置文件中读取目标信息,完成对信息的存储工作。定义showIndex(显示索引)变量并初始化为0,启动定时器Timer并进行showIndex累加操作,目标属性详情列表delegate中属性标题根据属性参考由大至小按序进行排版,根据showIndex的数值按顺序依次读取当前objInfoModel中目标属性详情并显示在属性信息展示表中(showIndex为n时,对应读取目标属性详情列表第n行属性标题对应的当前objInfoModel属性信息),即可实现目标详情动态展示效果,动态展示方式更容易吸引人眼注意力,可提高操作人员获取信息效率与准确性。
在一些实施例中,置信度可实时计算,当目标属性信息随目标图像而更新时,可以重新计算更新的目标属性的置信度,从而一并对目标属性信息的排序顺序进行更新。在另一些实施例中,可以通过目标图像的各目标属性信息的置信度确定是否要进行目标图像的更新(例如,置信度增加的目标属性信息的数量大于预定阈值时,更新目标图像;设定的一个或多个目标属性信息的置信度增加时,更新目标图像;置信度平均值增加时,更新目标图像,本发明并非以此为限制),在更新目标图像后,一并确定目标属性的顺序是否要进行更新。
在本发明的一些实施例中,所述视频播放界面1还包括目标图像展示区域13。所述目标图像展示区域13用于按目标类型分区域显示多个目标图像133、134。例如,图1中,按目标类型划分除了区域131和区域132,目标图像133属于区域131的目标类型,因此,在区域131中显示;目标图像134属于区域132的目标类型,因此,在区域132中显示。
具体而言,目标图像展示区域13除了显示视频播放区域11播放的当前帧关联的目标图像,还可以显示先前帧关联的目标图像。换言之,目标图像展示区域13用于记录更为完整的抓拍的目标图像,由此,所述目标图像展示区域13中显示的目标图像的数量大于等于所述目标图像分析展示区域12中显示的目标图像的数量。
在图1所示的实施例中,目标图像展示区域13分行显示不同目标类型(例如可以包括人员、人脸、机动车、非机动车)的目标图像,且用户可根据所需类型选择显示不同类型的抓拍结果,可提高目标搜索效率。具体而言,在一些具体的实施例中,所播放的视频中包含有人员、人脸、机动车、非机动车等不同类型目标,本实施例的目标图像展示区域13可以采用GridView(在二维可滚动的网格中展示内容的控件)的显示方式,定义目标显示样式模板snapPicDelegate设置抓拍目标图片的宽、高、目标框的等样式,分别定义人员(perSnapPicModel)、人脸(faceSnapPicModel)、机动车(vehSnapPicModel)、非机动车(novehSnapPicModel)模型,人员、人脸、机动车、非机动车的目标类型ObjType可以分别设置为1、16、2、32,不同目标类型模型可以根据ObjType利用append()函数读取服务器配置文件中相应目标信息并展示在不同类型目标图像列表中,及可实现不同类型目标图像分行展示的效果。
在本发明的一些实施例中,所述视频播放界面1还包括目标详情显示窗口14。目标详情显示窗口14经由对所述目标图像的操作触发显示(如图3所示)。所述目标详情显示窗口14用于显示所操作的目标图像141的目标属性信息143,所述目标详情显示窗口14的目标属性信息数量大于等于所述目标图像分析展示区域12显示的目标属性信息的数量。
具体而言,目标详情显示窗口14可以基于对目标图像展示区域13中的目标图像的操作(诸如双击或设定触控方式)触发显示。目标详情显示窗口14也可以基于对目标图像分析展示区域12的目标图像的操作(诸如双击或设定触控方式)触发显示。本发明并非以此为限制。
在本发明的一些实施例中,所述目标详情显示窗口14的目标属性信息经编辑后,一并更新至所述所述目标图像分析展示区域12显示的对应的目标属性信息。
具体而言,目标详情显示窗口14可显示该目标全部属性信息,且支持交互修改目标详情中目标属性信息,从而提高数据库中数据的准确性。在目标属性动态展示过程中,由于界面空间和人眼获取信息效率有限,无法显示分析目标属性的全部信息,只能显示其中部分信息,因此,可以通过createObject(创建对象)方法实现目标详情显示窗口14的显示,从而显示对应目标图像的全部的目标属性信息。在目标详情显示窗口14中,为清晰直观地显示目标图像的全部的目标属性信息,可以采用column(列)定义属性信息表格,表格中定义了属性标题与对应的属性内容(若目标属性过多,可采用ScrollViewStyle(滚动显示形式)在目标详情显示窗口14中建立滚动条式下拉框)。为弥补算法误差,提高配置文件的准确性,该实施例支持手动编辑、保存目标属性信息,即客户端将修改后的信息通过rpc(Remote ProcedureCallProtocol,远程过程调用协议)异步接口传给服务器,在配置文件中保存修改后的信息,以提高视频监控查询***中目标分析属性的精度。进一步地,在播放离线视频的场景中,当关闭目标详情显示窗口14时,触发一自所述配置文件重新读取当前播放的视频帧号关联的目标图像以及目标图像的目标属性信息的操作,以能一并更新所述目标图像分析展示区域12显示的对应的目标属性信息。在播放实时视频的场景中,由于配置文件还未完全生成,因此,基于目标详情显示窗口14的目标属性信息的编辑修改配置文件的同时,可以直接通过例如参数传递的方式,更新所述目标图像分析展示区域12显示的对应的目标属性信息。
进一步地,在本发明的一些实施例中,所述目标详情显示窗口显示所操作的目标图像以及与所操作的目标图像关联的其它目标类型的目标图像。例如可以将行人类型的目标图像141与该行人的人脸的目标图像142显示在一起,从而更便于操作人员获取该行人的各类信息。具体而言,当确定所操作的目标图像后,可以自视频中确定所操作的目标图像对应的目标框,并可以在抓取该目标图像的视频帧中查找其它目标类型的目标框,通过目标框的几何关系(例如重合度、是否包含等)来确定与目标图像关联的其它目标类型的目标图像。本发明并非以此为限制,还可以通过目标框在多个视频帧中与其它目标类型的目标图像的目标框的几何关系来确定。
在前述的实施例中,当需要使得行人类型的目标图像141与该行人的人脸的目标图像142关联时,可以通过所操作的目标图像对应的目标框与另一其它目标图类型的目标图像的目标框存在包含关系时,则该两个目标图像关联。在另一些实施例中,当需要使得行人类型的目标图像141与在其周围距离非常近的其它目标类型的目标图像关联时,可以通过所操作的目标图像对应的目标框与另一其它目标图类型的目标图像的目标框不存在包含关系,且目标框相交或目标框之间的最短距离小于预定阈值时,则该两个目标图像关联。本发明还可以实现更多的变化方式,在此不予赘述。
在本发明的一些实施例中,所述提供视频播放界面之后还可以包括如下步骤:接收用户选定的语言种类(具体而言,用户可以通过输入、触控选择、点击选择、滚动选择、悬停选择语言种类,本发明并非以此为限制);自一数组中查找与所选定的语言种类对应的翻译文本;将所述视频播放界面的文字切换为所查找到的翻译文本。
具体而言,视频播放界面支持多种语言,以提高市场出口优势。该技术实现需建立界面翻译文本TranslateText.js,该界面翻译文本中采用数组的方式记录多种语言的翻译文本,翻译数组根据下标索引值定义翻译语言的种类,定义全局变量LanguageArr并将其赋值为TranslanteText.js,同时定义全局变量languageType作为数组下标来决定当前界面的语言类型。通过引用LanguageArr[“数组名”][languageType]的方式统一控制界面语言种类。改变界面语言只需改变全局变量languageType的值即可。不同语言翻译的文字长度有所不同,相同控件长度无法兼容不同语言长度,为解决以上冲突,采用根据languageType的值设置不同语言环境下控件的长度,以满足不同语言界面美观的设计需求。
由此,本发明一方面,支持视频播放过程中可显示对应的分析目标框功能,提高操作人员提取信息、定位信息的准确性和效率;另一方面,支持分析目标抓拍图片结与其关联的目标分析详情,目标分析详情中属性按置信度从高到低依次输出。信息动态展示更能吸引观察者的注意力,加强观察者对信息的记忆深刻,提高了操作人员获取信息的能力;再一方面,支持分区域显示不同类型(人员、人脸、机动车、非机动车)的分析目标图像,且支持交互修改目标详情中属性并保存,提高视频监控***目标分析属性的准确性;又一方面,还可以支持切换多种语言,并兼容不同语言中的界面显示风格,提高了产品的市场优势。
本发明还提供一种视频播放装置。下面参见图4,图4示出了根据本发明实施例的在视频播放装置的模块图。视频播放装置200包括界面提供模块210。
界面提供模块210配置成提供视频播放界面,所述视频播放界面包括:视频播放区域,用于播放视频;以及目标图像分析展示区域,用于展示自所述视频播放区域所播放的视频中获取的多个目标图像以及所述多个目标图像中至少一目标图像的目标属性信息。
本发明提供的视频播放装置中,包括视频播放区域和目标图像分析展示区域的视频播放界面,在播放视频的同时,展示自所述视频播放区域所播放的视频中获取的多个目标图像以及所述多个目标图像中至少一目标图像的目标属性信息,从而在视频播放界面中辅助工作人员能够追踪目标、目标属性并进行相关操作。
本发明可以通过软件、硬件、固件及其任意结合的方式实现视频播放装置200。在不违背本发明构思的前提下,模块的拆分、合并、增加都在本发明的保护范围之内。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被例如处理器执行时可以实现上述任意一个实施例中视频播放方法的步骤。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,若所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书中的视频播放方法。部分中描述的根据本发明各种示例性实施方式的步骤。
参考图5所示,描述了根据本发明的实施方式的用于实现上述方法的程序产品800,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适若的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在租户计算设备上执行、部分地在租户设备上执行、作为一个独立的软件包执行、部分在租户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到租户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本公开的示例性实施例中,还提供一种电子设备,该电子设备可以包括处理器,以及用于存储所述处理器的可执行指令的存储器。其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中视频播放方法的步骤。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为***、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“***”。
下面参照图6来描述根据本发明的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于:至少一个处理单元610、至少一个存储单元620、连接不同***组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元610执行,使得所述处理单元610执行本说明书视频播放方法。部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元610可以执行本发明提供的视频播放方法的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202,还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204,这样的程序模块6205包括但不限于:操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得租户能与该电子设备600交互的设备通信,和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且,电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应若明白,尽管图中未示出,可以结合电子设备600使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的视频播放方法。
由此可见,本发明提供的方案,与现有技术相比,具有如下优势:
本发明通过包括视频播放区域和目标图像分析展示区域的视频播放界面,在播放视频的同时,展示自所述视频播放区域所播放的视频中获取的多个目标图像以及所述多个目标图像中至少一目标图像的目标属性信息,从而在视频播放界面中辅助工作人员能够追踪目标、目标属性并进行相关操作。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由所附的权利要求指出。
Claims (11)
1.一种视频播放方法,其特征在于,包括:
提供视频播放界面,所述视频播放界面包括:
视频播放区域,用于播放视频;以及
目标图像分析展示区域,用于展示自所述视频播放区域所播放的视频中获取的多个目标图像以及所述多个目标图像中至少一目标图像的目标属性信息。
2.如权利要求1所述的视频播放方法,其特征在于,所述视频播放区域播放的视频中显示随目标移动的目标框,所述目标图像按预设抓拍规则根据所述目标框截取。
3.如权利要求2所述的视频播放方法,其特征在于,所述视频播放区域播放实时视频时,所述目标图像随所述目标框内的目标的变化而更新,且所述目标图像的目标属性信息随所述目标图像的更新而更新。
4.如权利要求2所述的视频播放方法,其特征在于,所述视频播放区域播放离线视频时,所述目标图像分析展示区域展示的目标图像以及目标图像的目标属性信息关联视频帧号的储存至一配置文件中,
其中,自所述配置文件读取与所述离线视频当前播放的视频帧号关联的目标图像以及目标图像的目标属性信息以展示在所述目标图像分析展示区域中。
5.如权利要求1所述的视频播放方法,其特征在于,所述目标图像的目标属性信息按属性置信度由高至低排序显示。
6.如权利要求1所述的视频播放方法,其特征在于,所述视频播放界面还包括:
目标图像展示区域,所述目标图像展示区域用于按目标类型分区域显示多个目标图像,所述目标图像展示区域中显示的目标图像的数量大于等于所述目标图像分析展示区域中显示的目标图像的数量。
7.如权利要求1至6任一项所述的视频播放方法,其特征在于,所述视频播放界面还包括:
目标详情显示窗口,经由对所述目标图像的操作触发显示,所述目标详情显示窗口用于显示所操作的目标图像的目标属性信息,所述目标详情显示窗口的目标属性信息数量大于等于所述目标图像分析展示区域显示的目标属性信息的数量。
8.如权利要求7所述的视频播放方法,其特征在于,所述目标详情显示窗口的目标属性信息经编辑后,一并更新至所述所述目标图像分析展示区域显示的对应的目标属性信息。
9.如权利要求7所述的视频播放方法,其特征在于,所述目标详情显示窗口显示所操作的目标图像以及与所操作的目标图像关联的其它目标类型的目标图像。
10.如权利要求7所述的视频播放方法,其特征在于,所述提供视频播放界面之后还包括:
接收用户选定的语言种类;
自一数组中查找与所选定的语言种类对应的翻译文本;
将所述视频播放界面的文字切换为所查找到的翻译文本。
11.一种视频播放装置,其特征在于,包括:
界面提供模块,配置成提供视频播放界面,所述视频播放界面包括:
视频播放区域,用于播放视频;以及
目标图像分析展示区域,用于展示自所述视频播放区域所播放的视频中获取的多个目标图像以及所述多个目标图像中至少一目标图像的目标属性信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010953413.7A CN112055179A (zh) | 2020-09-11 | 2020-09-11 | 视频播放方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010953413.7A CN112055179A (zh) | 2020-09-11 | 2020-09-11 | 视频播放方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112055179A true CN112055179A (zh) | 2020-12-08 |
Family
ID=73611381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010953413.7A Pending CN112055179A (zh) | 2020-09-11 | 2020-09-11 | 视频播放方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112055179A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115334346A (zh) * | 2022-08-08 | 2022-11-11 | 北京达佳互联信息技术有限公司 | 界面显示方法、视频发布方法、视频编辑方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101820530A (zh) * | 2009-02-27 | 2010-09-01 | 索尼公司 | 图像处理设备、***、方法和程序以及摄像机设备 |
CN108062510A (zh) * | 2017-11-17 | 2018-05-22 | 维库(厦门)信息技术有限公司 | 一种多目标跟踪结果实时动态显示方法及计算机设备 |
CN110830756A (zh) * | 2018-08-07 | 2020-02-21 | 华为技术有限公司 | 一种监控方法与装置 |
CN111131902A (zh) * | 2019-12-13 | 2020-05-08 | 华为技术有限公司 | 确定目标对象信息的方法及视频播放设备 |
-
2020
- 2020-09-11 CN CN202010953413.7A patent/CN112055179A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101820530A (zh) * | 2009-02-27 | 2010-09-01 | 索尼公司 | 图像处理设备、***、方法和程序以及摄像机设备 |
CN108062510A (zh) * | 2017-11-17 | 2018-05-22 | 维库(厦门)信息技术有限公司 | 一种多目标跟踪结果实时动态显示方法及计算机设备 |
CN110830756A (zh) * | 2018-08-07 | 2020-02-21 | 华为技术有限公司 | 一种监控方法与装置 |
CN111131902A (zh) * | 2019-12-13 | 2020-05-08 | 华为技术有限公司 | 确定目标对象信息的方法及视频播放设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115334346A (zh) * | 2022-08-08 | 2022-11-11 | 北京达佳互联信息技术有限公司 | 界面显示方法、视频发布方法、视频编辑方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2017254848B2 (en) | Image matting using deep learning | |
US9912874B2 (en) | Real-time visual effects for a live camera view | |
US11275815B2 (en) | System and method for integrating user feedback into website building system services | |
US5010500A (en) | Gesture-modified diagram for retrieval of image resembling diagram, with parts selectable for further interactive retrieval | |
US20090278848A1 (en) | Drawing familiar graphs while system determines suitable form | |
US20040183800A1 (en) | Method and system for dynamic visualization of multi-dimensional data | |
US10963734B1 (en) | Perception visualization tool | |
US20080044084A1 (en) | Integrated human-computer interface for image recognition | |
CN110598095B (zh) | 一种识别包含指定信息文章的方法、装置及存储介质 | |
CN110428003B (zh) | 样本类别标签的修正方法、装置以及电子设备 | |
US11755191B2 (en) | Synthetic image data generation incorporating user-provided objects and relationships | |
CN113688290A (zh) | 一种车辆底盘交互式电子维修*** | |
CN115294308A (zh) | 基于深度学习的增强现实辅助装配作业引导*** | |
CN112055179A (zh) | 视频播放方法及装置 | |
Höferlin et al. | Interactive schematic summaries for exploration of surveillance video | |
US20220308742A1 (en) | User interface with metadata content elements for video navigation | |
US20200082586A1 (en) | Generating and providing composition effect tutorials for creating and editing digital content | |
CN109815977B (zh) | 大批量制作机器学习样本剪裁标记一体化方法 | |
US20230126242A1 (en) | Cell image processing system and cell image processing method | |
JP2001119666A (ja) | ビデオシーケンスの対話型処理方法と、その記憶媒体およびシステム | |
US11704141B2 (en) | Real-time context preserving visual guidance | |
KR102198322B1 (ko) | 기계 학습을 이용한 지능형 데이터 시각화 시스템 | |
US20230368527A1 (en) | Object Filtering and Information Display in an Augmented-Reality Experience | |
US20210295068A1 (en) | Method for generating labeling data that describe an image content of images depicting at least one scene, corresponding processing device, vehicle and data storage medium | |
CN116561451A (zh) | 增强现实的目标展示方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201208 |
|
RJ01 | Rejection of invention patent application after publication |