CN113507625B - 一种自适应视频修复方法 - Google Patents

一种自适应视频修复方法 Download PDF

Info

Publication number
CN113507625B
CN113507625B CN202110693994.XA CN202110693994A CN113507625B CN 113507625 B CN113507625 B CN 113507625B CN 202110693994 A CN202110693994 A CN 202110693994A CN 113507625 B CN113507625 B CN 113507625B
Authority
CN
China
Prior art keywords
video
repaired
sample
packaging
repairing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110693994.XA
Other languages
English (en)
Other versions
CN113507625A (zh
Inventor
王一川
崔祥杰
张彤
杜延宁
闫晋佩
王周恺
任炬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202110693994.XA priority Critical patent/CN113507625B/zh
Publication of CN113507625A publication Critical patent/CN113507625A/zh
Application granted granted Critical
Publication of CN113507625B publication Critical patent/CN113507625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7328—Query by example, e.g. a complete video frame or video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种自适应视频修复方法，包括：构建视频格式库，所述视频格式库包含多种视频文件的封装格式；对待修复视频进行样本视频截取，将截取的视频段作为样本视频；将视频格式库装入链表，迭代链表，得到样本视频对应的封装格式；根据封装格式对样本视频进行解析、修复，修复完成后将当前修复的视频存入缓存空间；将缓存空间内的视频进行可播放性检测；若评测结果为可正常播放，将待修复视频按照样本视频对应的封装格式进行解析、修复，得到修复后的完整视频；否则将截取的视频段拆分为两段，将拆分后长度大于最小值的视频作为样本视频，继续解析、修复。解决了现有技术中存在的无法修复未知封装格式的破损视频的问题。

Description

一种自适应视频修复方法
技术领域
本发明属于修复方法技术领域，涉及一种自适应视频修复方法。
背景技术
各种格式的视频在我们的生活中随处可见。据YouTube数据，全球人一天看10亿小时的视频。可见视频修复的市场有多大。此外，还有各种视频，例如监控、记录仪、TF卡、手机存储卡里的视频、电脑里的视频等。
此外，某些特定场景的视频是极具价值的。比如，对于与案件相关联的视频，它们往往决定了案件的走向，具有极大的研究价值。因此，对于与案件相关联破损视频的修复是非常必要的。
目前，视频文件通常是采用视频封装技术将视频数据封装在视频容器中而生成的，视频容器是指封装视频数据时的文件格式。所谓容器，就是把编码器生成的多媒体内容(视频、音频、字幕、章节信息等)混合封装在一起的标准。容器使得不同多媒体内容同步播放变得很简单，而容器的另一个作用就是为多媒体内容提供索引，也就是说如果没有容器存在的话一部影片你只能从一开始看到最后，不能拖动进度条，而且如果你不自己去手动另外载入音频就没有声音。图1为视频文件的结构示意图，包括容器头数据、容器尾数据和视频数据三部分。其中，视频数据由若干个视频帧数据组成。一个视频帧数据包括容器帧头(CFH)数据和帧数据。容器头数据和容器尾数据用于存储视频文件采用的编解码类型、解码参数、视频数据的存储位置信息及索引数据。所有视频帧数据的总和构成编码后的视频数据流。容器头数据、容器尾数据和CFH统称为容器数据。现有技术只能修复部分已知封装格式的破损视频，对于未知封装格式的破损视频无法修复。
发明内容
本发明的目的是提供一种自适应视频修复方法，解决了现有技术中存在的无法修复未知封装格式的破损视频的问题。
本发明所采用的技术方案是，一种自适应视频修复方法，包括以下步骤：
步骤1、构建视频格式库，视频格式库包含多种视频文件的封装格式；
步骤2、对待修复视频进行样本视频截取，将截取的视频段作为样本视频；
步骤3、将视频格式库装入链表，迭代链表，得到样本视频对应的封装格式；根据封装格式对样本视频进行解析、修复，修复完成后将当前修复的视频存入缓存空间；
步骤4、将缓存空间内的视频进行可播放性检测；
步骤5、若评测结果为可正常播放，按照A执行，否则按照B执行；
A、将待修复视频按照样本视频对应的封装格式进行解析、修复，得到修复后的完整视频；
B、若评测结果为无法正常播放，采用二分法将步骤2截取的视频段拆分为两段，将拆分后长度大于最小值的视频作为样本视频，返回步骤3。
本发明的特点还在于：
步骤5中的A具体为：
将待修复视频拆分成固定时长的多段视频，按照样本视频对应的封装格式对每段视频进行解析、修复、评测；
若某段视频评测为无法正常播放，则采用二分法将该段视频进行拆分，将拆分后长度大于最小值的视频作为样本视频，并返回步骤3，直至所有视频被修复；将所有修复成功的视频段按照时间线索进行视频重组，得到修复后的完整视频。
可播放性检测的技术手段包括屏幕截图、多图分析、声音捕获、声音分析。
本发明的有益效果是：
本发明一种自适应视频修复方法，问题规模n代表需要修复视频的大小，通过二分查询法对视频进行修复，时间复杂度为
Figure BDA0003127286720000031
修复时间较短；将视频文件的存储在硬盘，只有每次样本视频截取和修复后的视频在内存，而且还会定时对内存中的缓存视频数据进行序列化，程序所占的存储空间以及算法执行过程中所需要的额外空间也都微乎其微，降低对空间的要求，基本配置的电脑即可运行；采用最小破损视频舍弃策略，尽可能细粒度的修复视频，其中小于默认值m的破损视频舍弃，参数m可以动态调控，用户可以灵活的调控视频的粒度；采用自适应的视频修复策略，用户无需知晓待修复视频的视频容器，只要提供待修复的视频，该***即可利用“视频格式库”的迭代提供自适应修复服务完成视频的修复。
附图说明
图1是视频文件的结构示意图；
图2是本发明一种自适应视频修复方法中单个样本视频修复流程框图；
图3是本发明一种自适应视频修复方法中对整个视频进行修复的流程框图；
图4是采用本发明一种自适应视频修复方法对视频进行修复的修复效率柱状图；
图5是采用本发明一种自适应视频修复方法对视频进行修复的视频完整度柱状图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
一种自适应视频修复方法，如图2及图3所示，包括以下步骤：
步骤1、构建视频格式库(VFL)，视频格式库包含多种视频文件的封装格式，其中视频格式库还可以实现视频容器的“热插拔”，也可以实现视频容器的动态加载；
步骤2、对待修复视频进行样本视频截取，截取的长度可以根据当时的修复环境进行动态调整，只要不超过视频大小即可，将截取的视频段作为样本视频；
步骤3、将视频格式库装入链表，迭代链表，得到样本视频对应的封装格式；根据封装格式利用switch、case语句对样本视频进行解析和修复代码的匹配，修复完成后将当前修复的视频存入缓存空间；通过扩充视频格式库和对应解析、修复代码，可以实现视频格式库的动态加载特性。此外，解析代码采用配置文件读取的方式，从而使得解析代码具有“热插拔”特性，从而为“视频格式库”中视频容器的“热插拔”特性提供支持；
步骤4、将缓存空间内的视频进行可播放性检测；可播放性检测可以通过屏幕截图、多图分析、声音捕获、声音分析等技术手段实现，对于屏幕截图、音频截取还可以采用间隔递增采样法，进一步提高可播放性检测的准确性；
步骤5、若评测结果为可正常播放，按照A执行，否则按照B执行；
A、将待修复视频按照样本视频对应的封装格式进行解析、修复，得到修复后的完整视频；
具体的，将待修复视频拆分成固定时长的多段视频，按照样本视频对应的封装格式对每段视频进行解析、修复、评测；若每段视频评测为可正常播放，即修复成功；若某段视频评测为无法正常播放，即修复失败，则采用二分法将该段视频进行拆分，将拆分后长度大于最小值的视频作为样本视频，并返回步骤3，直至所有视频被修复；将所有修复成功的视频段按照时间线索进行视频重组，得到修复后的完整视频。对于拆分到极小视频段仍修复失败的视频可以将该小段舍弃；
B、若评测结果为无法正常播放，采用二分法将步骤2截取的视频段拆分为两段，若拆分后的视频长度小于最小值(默认值为0.1秒)，则将该视频舍弃，将拆分后长度大于最小值的视频作为样本视频，返回步骤3。
如图4所示，采用本发明的修复方法对10条不同视频格式的视频进行了修复，通过数据可以看出，本发明对不同视频容器的视频文件的修复效率很高。如图5所示，奇数柱状数据为视频的完好部分大小(用符号G代表)占视频总大小(用符号A代表)的百分比，偶数柱状数据为***修复后可播放视频大小(用符号R代表)占总视频大小(用符号A代表)的百分比。此外，需要特别注意的是视频3修复前视频完好部分占总视频百分比为99％,修复后视频大小占总视频的100％。该情况为待修复视频的容器头数据被损坏而视频其他部分完好的情况。
通过以上方式，本发明一种自适应视频修复方法，问题规模n代表需要修复视频的大小，通过二分查询法对视频进行修复，时间复杂度为
Figure BDA0003127286720000051
修复时间较短；将视频文件的存储在硬盘，只有每次样本视频截取和修复后的视频在内存，而且还会定时对内存中的缓存视频数据进行序列化，程序所占的存储空间以及算法执行过程中所需要的额外空间也都微乎其微，降低对空间的要求，基本配置的电脑即可运行；采用最小破损视频舍弃策略，尽可能细粒度的修复视频，其中小于默认值m的破损视频舍弃，参数m可以动态调控，用户可以灵活的调控视频的粒度；采用自适应的视频修复策略，用户无需知晓待修复视频的视频容器，只要提供待修复的视频，该***即可利用“视频格式库”的迭代提供自适应修复服务完成视频的修复。

Claims (2)

1.一种自适应视频修复方法，其特征在于，包括以下步骤：
步骤1、构建视频格式库，所述视频格式库包含多种视频文件的封装格式；
步骤2、对待修复视频进行样本视频截取，将截取的视频段作为样本视频；
步骤3、将所述视频格式库装入链表，迭代链表，得到样本视频对应的封装格式；根据封装格式对样本视频进行解析、修复，修复完成后将当前修复的视频存入缓存空间；
步骤4、将缓存空间内的视频进行可播放性检测；
步骤5、若评测结果为可正常播放，按照A执行，否则按照B执行；
A、将待修复视频按照样本视频对应的封装格式进行解析、修复，得到修复后的完整视频；
A具体为：
将待修复视频拆分成固定时长的多段视频，按照样本视频对应的封装格式对每段视频进行解析、修复、评测；
若某段视频评测为无法正常播放，则采用二分法将该段视频进行拆分，将拆分后长度大于最小值的视频作为样本视频，并返回步骤3，直至所有视频被修复；将所有修复成功的视频段按照时间线索进行视频重组，得到修复后的完整视频；
B、若评测结果为无法正常播放，采用二分法将步骤2截取的视频段拆分为两段，将拆分后长度大于最小值的视频作为样本视频，返回步骤3。
2.根据权利要求1所述的一种自适应视频修复方法，其特征在于，所述可播放性检测的技术手段包括屏幕截图、多图分析、声音捕获、声音分析。
CN202110693994.XA 2021-06-22 2021-06-22 一种自适应视频修复方法 Active CN113507625B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110693994.XA CN113507625B (zh) 2021-06-22 2021-06-22 一种自适应视频修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110693994.XA CN113507625B (zh) 2021-06-22 2021-06-22 一种自适应视频修复方法

Publications (2)

Publication Number Publication Date
CN113507625A CN113507625A (zh) 2021-10-15
CN113507625B true CN113507625B (zh) 2022-08-19

Family

ID=78010706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110693994.XA Active CN113507625B (zh) 2021-06-22 2021-06-22 一种自适应视频修复方法

Country Status (1)

Country Link
CN (1) CN113507625B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511644B (zh) * 2022-01-21 2023-06-09 电子科技大学 一种基于深度学习的自适应数字伪装方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104768025A (zh) * 2015-04-02 2015-07-08 无锡天脉聚源传媒科技有限公司 一种视频坏帧修复方法及装置
CN111614974A (zh) * 2020-04-07 2020-09-01 上海推乐信息技术服务有限公司 一种视频图像修复方法和***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8942543B1 (en) * 2010-10-06 2015-01-27 Verint Video Solutions Inc. Systems, methods, and software for improved video data recovery effectiveness
CN103404146B (zh) * 2013-03-11 2016-10-12 华为技术有限公司 视频文件修复方法及装置
CN108093299B (zh) * 2017-12-22 2020-08-04 厦门市美亚柏科信息股份有限公司 Mp4损坏文件的修复方法及存储介质
CN110378860B (zh) * 2019-07-30 2023-08-18 腾讯科技（深圳）有限公司 修复视频的方法、装置、计算机设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104768025A (zh) * 2015-04-02 2015-07-08 无锡天脉聚源传媒科技有限公司 一种视频坏帧修复方法及装置
CN111614974A (zh) * 2020-04-07 2020-09-01 上海推乐信息技术服务有限公司 一种视频图像修复方法和***

Also Published As

Publication number Publication date
CN113507625A (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
US20070001877A1 (en) Information processing apparatus and decoding control method
CN101202864A (zh) 动画再现装置
US11750784B2 (en) Automatic video file repair method and system
CN113507625B (zh) 一种自适应视频修复方法
CN112558873A (zh) 嵌入式音视频数据存储、检索、删除方法及装置、存储器
Sari et al. A review of graph theoretic and weightage techniques in file carving
CN1954602A (zh) 录像再生编辑装置
CN108833817B (zh) 一种视频数据存储方法及装置
US8402366B1 (en) Format tag stacks for stream-parsing format information
CN112035461B (zh) 数据库的表数据文件的迁移方法和***
JP4362480B2 (ja) レジューム再生システム
US20160142456A1 (en) Method and Device for Acquiring Media File
CN114257840B (zh) 一种用于Matroska格式视频的修复方法和***
Casey et al. Design tradeoffs for developing fragmented video carving tools
US9436551B2 (en) Method for codec-based recovery of a video using a cluster search
CN100511459C (zh) 用于光储存媒体的播放多媒体文件的方法
CN102522088B (zh) 音频的解码方法及装置
CN115396729A (zh) 视频目标帧确定方法、装置、设备及存储介质
CN105023594B (zh) Midi文件解码方法和***
CN102231847B (zh) 一种支持流媒体文件直接帧精确定位方法
JP2004336808A (ja) 映像の検索方法および装置
US8442126B1 (en) Synchronizing audio and video content through buffer wrappers
KR100618887B1 (ko) 멀티미디어 파일의 데이터 입출력 제어 방법 및 장치
KR101351795B1 (ko) 클러스터 검색을 통한 동영상 복구 방법 및 그 기록매체
CN116489458B (zh) 一种基于文件字节分析的mp4修复方法、装置、终端及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant