CN108810615A - 确定音视频中插播时段的方法和装置 - Google Patents

确定音视频中插播时段的方法和装置 Download PDF

Info

Publication number
CN108810615A
CN108810615A CN201710297149.4A CN201710297149A CN108810615A CN 108810615 A CN108810615 A CN 108810615A CN 201710297149 A CN201710297149 A CN 201710297149A CN 108810615 A CN108810615 A CN 108810615A
Authority
CN
China
Prior art keywords
video
audio
point
spot break
media data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710297149.4A
Other languages
English (en)
Inventor
柳林东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201710297149.4A priority Critical patent/CN108810615A/zh
Priority to TW107107572A priority patent/TWI685254B/zh
Priority to KR1020197018938A priority patent/KR102220088B1/ko
Priority to MYPI2019003759A priority patent/MY194397A/en
Priority to PCT/CN2018/084621 priority patent/WO2018196811A1/zh
Priority to EP18791742.2A priority patent/EP3547698A4/en
Priority to JP2019535850A priority patent/JP6871388B2/ja
Publication of CN108810615A publication Critical patent/CN108810615A/zh
Priority to PH12019501539A priority patent/PH12019501539A1/en
Priority to US16/663,009 priority patent/US10936878B2/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/58—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of audio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Studio Circuits (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种确定音视频中插播时段的方法，包括：将音视频中特征媒体数据出现和/或消失的时间点作为候选分段点；以满足预定起点条件的候选分段点为起点，以满足预定终点条件的候选分段点为终点，将起点和终点之间的时段作为插播时段。本申请的技术方案无需人工查找即可自动识别出音视频中的插播时段，用于回放视频制作时能够极大的减少制作人员的人工工作，缩短回放视频的制作时间，提高制作效率。

Description

确定音视频中插播时段的方法和装置
技术领域
本申请涉及数据处理技术领域，尤其涉及一种确定音视频插播时段的方法和装置。
背景技术
电视节目的回放是许多视频网站提供的视频内容的重要组成部分。录制的电视节目视频通常由节目时段和插播时段组成，其中，节目时段为播放节目内容的时间段；插播时段为播放非节目的时间段，例如在一部电影或一集电视剧中的广告时段；再如在体育比赛直播节目中用来填充场间休息的广告时段或直播间评论时段等。
在观看回放视频时，极少有用户在播放插播时段时耐心等待，而往往会通过拖动进度条跳过插播时段，由于很难一次拖动即准确的跳过插播时段，用户通常需要来回调整进度条，影响了用户的体验。因此，在制作回放视频时通常会去掉节目视频中的插播时段。
现有技术中，由视频制作人员人工查找出视频中的插播时段，再将插播时段从节目视频中剪切掉。这种方式工作繁琐、耗时长而效率低，难以满足回放视频及时上线的要求。
发明内容
有鉴于此，本申请提供一种确定音视频中插播时段的方法，包括：
将音视频中特征媒体数据出现和/或消失的时间点作为候选分段点；
以满足预定起点条件的候选分段点为起点，以满足预定终点条件的候选分段点为终点，将起点和终点之间的时段作为插播时段。
本申请还提供了一种确定音视频中插播时段的装置，包括：
候选分段点单元，用于将音视频中特征媒体数据出现和/或消失的时间点作为候选分段点；
起点及终点单元，用于以满足预定起点条件的候选分段点为起点，以满足预定终点条件的候选分段点为终点，将起点和终点之间的时段作为插播时段。
由以上技术方案可见，本申请的实施例中，通过某个时间点的音视频中是否呈现特征媒体数据来作为区分节目时段和插播时段的依据，在特征媒体数据出现和/或消失的时间点中将满足预定起点条件的作为插播时段的起点，将满足预定终点条件的作为插播时段的终点，无需人工查找即可自动识别出音视频中的插播时段，用于回放视频制作时能够极大的减少制作人员的人工工作，缩短回放视频的制作时间，提高制作效率。
附图说明
图1是本申请实施例中一种确定音视频中插播时段的方法的流程图；
图2是本申请应用示例中一种显示有特征图像的视频画面的示例图；
图3是本申请应用示例中一种将插播时段显示为不同颜色的播放进度条的示例图；
图4是运行本申请实施例的设备的一种硬件结构图；
图5是本申请实施例中一种确定音视频中插播时段的装置的逻辑结构图。
具体实施方式
在包括插播时段的音视频中，尤其是由电视节目录制的视频中，通常节目时段或者插播时段的音视频内容中会带有明显的可识别特征。例如，在电影或电视剧中间的广告插播时段，会一直显示插播时段的倒计时、或者一直显示“稍后继续播出……”等；再如，在体育比赛的节目时段通常会一直显示记分牌。这些可识别特征的出现和/或消失可以用来作为划分节目时段和插播时段的依据。
因此，本申请的实施例提出一种新的确定音视频中插播时段的方法，将上述可识别特征的特征媒体数据出现和/或消失的时间点作为节目时段与插播时段之间的候选分段点，将满足预定起点条件的候选分段点作为插播时段的起点，将满足预定终点条件的候选分段点作为插播时段的终点，来自动识别出音视频中的插播时段，避免了制作人员人工查找插播时段的繁琐工作，降低了制作人员的工作量，同时加快了视频制作的速度和效率，以解决现有技术中存在的问题。
本申请的实施例可以运行在任何具有计算和存储能力的设备上，如手机、平板电脑、PC(Personal Computer，个人电脑)、笔记本、服务器等设备；还可以由运行在两个或两个以上设备的逻辑节点来实现本申请实施例中的各项功能。
本申请的实施例中，确定音视频中插播时段的方法的流程如图1所示。
步骤110，将音视频中特征媒体数据出现和/或消失的时间点作为候选分段点。
本申请的实施例中，可以根据实际应用场景的需要来划分音视频中的节目时段和插播时段，不做限定。例如，体育比赛节目中的暂停时段可以作为节目时段，也可以作为插播时段。
在确定将哪些时段作为节目时段、哪些时段作为插播时段后，可以把在节目时段与插播时段切换时会出现、或者会消失的画面特征和/或声音特征的作为特征媒体数据。在音频或视频中查找出特征媒体数据出现、和/或消失的时间点，将这些时间点作为候选分段点。
对视频而言，特征媒体数据可以是视频画面中的特征图像，也可以是视频声音中的特征声音。对音频而言，特征媒体数据通常是音频中特征声音。需要说明的是，特征图像可以是全部或部分的视频画面；特征声音可以是音频的全部或部分波段，如具有预定音量、音调和/或音色的声音。本申请的实施例不做限定。
通过对视频画面、视频声音或音频声音进行分析，可以发现当前视频画面、视频声音或音频声音中是否带有特征媒体数据，从而找出特征媒体数据出现和/或消失的时间点。
在特征图像是部分视频画面，并且总是出现在画面中预定区域的应用场景中，可以分析视频画面中该预定区域的色彩比例、图形形状、或者同时分析色彩比例和图形形状，查找出特征图像在在预定区域出现和/或消失的时间点；以体育比赛视频中的记分牌为例，假设某帧画面中不显示记分牌，而下一帧画面中显示有记分牌，则这两帧画面之间的时间点就是候选分段点。
对某个或某类的音视频而言，特征媒体数据可以是一个到多个。例如，对体育比赛视频，可以将记分牌作为特征媒体数据，也可以将记分牌和比赛暂停时的长鸣声都作为特征媒体数据；再如，对电影或电视节目视频，可以将显示的“稍后继续播出”、或者将显示的广告时段倒计时作为特征媒体数据，也可以将显示的“稍后继续播出”和广告时段倒计时都作为特征媒体数据。
根据实际应用场景中对特征媒体数据的呈现方式，可以将某个特征媒体数据出现的时间点作为候选分段点，也可以将某个特征媒体数据消失的时间点作为候选分段点，还可以将某个特征媒体数据出现和消失的时间点都作为候选分段点。例如，对广告插播时段显示的倒计时，如果某个视频中从广告插播时段开始到结束都显示倒计时，则可以将所显示倒计时的出现和消失的时间点都作为候选分段点；如果某个视频中只在广告插播时段快要结束前才显示倒计时，则可以只将所显示倒计时消失的时间点作为候选分段点，而不将所显示倒计时出现的时间点作为候选分段点。
步骤120，以满足预定起点条件的候选分段点为起点，以满足预定终点条件的候选分段点为终点，将起点和终点之间的时段作为插播时段。
对候选分段点，根据所选择的特征媒体数据在音视频中的呈现方式，将代表插播时段开始的特征媒体数据的变化作为预定起点条件，将代表插播时段结束的特征媒体数据的变化作为预定终点条件，来在候选分段点中确定一个到多个插播时段的起始时间点和结束时间点，从而确定音视频中的每个插播时段。
对视频而言，特征媒体数据可以是视频画面中的一个到多个特征图像。当某个特征图像可以用来确定插播时段的起点时，预定起点条件可以是该特征图像出现或消失；当某个特征图像可以用来确定插播时段的终点时，预定终点条件可以是该特征图像的出现或消失；当某个特征图像既可以用来确定插播时段的起点也可以用来确定插播时段的终点时，预定起点条件可以是该特征图像出现或消失，对应的预定终点条件可以是该特征图像的消失或出现。
例如，广告时段显示的“稍后继续播出……”通常可以用来确定插播时段的开始，对应的预定起点条件为：稍后继续播出”字样的出现；广告时段显示的倒计时用来确定插播时段的结束时，对应的预定终点条件可以是：倒计时的消失。
类似的，对视频和音频而言，特征媒体数据可以是一个到多个特征声音。当某个特征声音可以用来确定插播时段的起点时，预定起点条件可以是该特征声音出现或消失；当某个特征声音可以用来确定插播时段的终点时，预定终点条件可以是该特征声音的出现或消失；当某个特征声音既可以用来确定插播时段的起点也可以用来确定插播时段的终点时，预定起点条件可以是该特征声音出现或消失，对应的预定终点条件可以是该特征声音的消失或出现。
当采用两个或两个以上的特征媒体数据时，可以根据实际应用场景中这些特征媒体数据的呈现方式来采用较为复杂的预定起点条件和/或预定终点条件。例如，在一种制作体育比赛回放视频的应用场景中，将比赛的暂停时间段、广告时段和直播间时段作为插播时段，可以采用记分牌和暂停长鸣声两种特征媒体数据，由于这种场景中广告时段和直播间时段不会显示记分牌，而暂停时段会显示记分牌，并且经常在暂停时段开始后进入广告时段或直播间时段，在广告时段或直播间时段结束后既可能还处于暂停时段也可能暂停时段已结束，则预定起点条件可以是：出现暂停的长鸣声并且在之前的第一预定等待时间段内没有发生记分牌消失、或者记分牌消失；预定终点条件可以是：记分牌出现并且在之后的第二预定等待时间段内没有出现暂停的长鸣声、或者出现暂停的长鸣声并且距离上次出现暂停长鸣声的时间点不超过第三预定等待时间段。
满足预定起点条件的候选分段点为插播时段的起点，满足预定终点条件的点为插播时段的终点，起点和终点之间的时段即为插播时段。需要说明的是，音视频中的插播时段可以是一个到多个，本申请实施例中的方法可以确定其中的每个插播时段。
在确定音视频中的插播时段后，可以在播放音视频时，将进度条中插播时段对应的区域显示为与非插播时段(即节目时段)不同的颜色，这样用户可以方便的通过拖动进度条来跳到下一个节目时段；也可以在播放音视频时，取消播放所有的插播时段，只播放节目时段；还可以删除音视频中的插播时段，在播放时采用删除后只剩节目时段的版本。
可见，本申请的实施例中，将可以用来区分节目时段和插播时段的可识别特征作为特征媒体数据，在特征媒体数据出现和/或消失的时间点中将满足预定起点条件的作为插播时段的起点，将满足预定终点条件的作为插播时段的终点，无需人工查找即可自动识别出音视频中的插播时段，避免了制作人员人工繁琐工作，提升了视频制作的速度和效率。
在本申请的一个应用示例中，制作人员录制电视直播的美职篮比赛视频后，希望将其制作为回放视频。除比赛时段外，电视直播节目中还包括广告时段和直播间时段。在制作视频时，以比赛时段为该视频中的节目时段，以广告时段和直播间时段为插播时段。在该视频的比赛时段，始终在画面的右下角显示记分牌，如图2所示；而在广告时段和直播间时段，则不会显示记分牌。因此，制作人员将画面右下角包括记分牌的显示区域作为预定区域，将所显示的记分牌作为特征图像。
运行本申请实施例的设备提取视频中的每帧画面，对该帧画面的预定区域进行色彩比例的分析和图形形状的分析，可以识别出该帧画面中是否显示有记分牌。当记分牌显示在前一帧画面中而在后一帧画面中没有显示、或者记分牌在前一帧画面中没有显示而在下一帧画面中显示时，将两帧画面之间的时间点作为候选分段点；以记分牌消失(预定起点条件)的候选分段点作为插播时段的起点，以出现记分牌(预定终点条件)的候选分段点作为插播时段的终点，来划分出视频中的各个插播时段。
运行本申请实施例的设备可以删除视频中的插播时段，将删除后的视频作为回放视频，播放给用户；也可以将录制的视频作为回放视频，在播放该视频时，在播放的进度条上将插播时段显示为与节目时段不同的颜色，例如可以如图3所示，供用户准确的跳过插播时段。
与上述流程实现对应，本申请的实施例还提供了一种确定音视频中插播时段的装置。该装置可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为逻辑意义上的装置，是通过所在设备的CPU(Central Process Unit，中央处理器)将对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，除了图4所示的CPU、内存以及非易失性存储器之外，确定音视频中插播时段的装置所在的设备通常还包括用于进行无线信号收发的芯片等其他硬件，和/或用于实现网络通信功能的板卡等其他硬件。
图5所示为本申请实施例提供的一种确定音视频中插播时段的装置，包括候选分段点单元和起点及终点单元，其中：候选分段点单元用于将音视频中特征媒体数据出现和/或消失的时间点作为候选分段点；起点及终点单元用于以满足预定起点条件的候选分段点为起点，以满足预定终点条件的候选分段点为终点，将起点和终点之间的时段作为插播时段。
可选的，所述特征媒体数据包括：视频画面中的特征图像；所述预定起点条件包括：视频画面中所述特征图像出现或消失。
可选的，所述特征媒体数据包括：视频画面中的特征图像；所述预定终点条件包括：视频画面中所述特征图像消失或出现。
可选的，所述特征图像位于视频画面中的预定区域；所述候选分段点单元具体用于：分析视频画面中所述预定区域的色彩比例和/或图形形状，查找出特征图像在所述预定区域出现和/或消失的时间点，作为候选分段点。
可选的，所述特征图像包括：体育比赛视频中的记分牌。
可选的，所述特征媒体数据包括：视频或音频中的特征声音；所述预定起点条件包括：视频或音频中所述特征声音出现或消失的时间点。
可选的，所述特征媒体数据包括：视频或音频中的特征声音；所述预定终点条件包括：视频或音频中所述特征声音消失或出现的时间点。
可选的，所述特征声音包括：具有预定音量、音调和/或音色的声音。
可选的，所述装置还包括：音视频播放及更改单元，用于在播放所述音视频时，将进度条中插播时段对应的区域显示为与非插播时段不同的颜色；或，用于在播放所述音视频时，取消播放所述插播时段；或，用于删除所述音视频中的插播时段。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (18)

1.一种确定音视频中插播时段的方法，其特征在于，包括：
将音视频中特征媒体数据出现和/或消失的时间点作为候选分段点；
以满足预定起点条件的候选分段点为起点，以满足预定终点条件的候选分段点为终点，将起点和终点之间的时段作为插播时段。
2.根据权利要求1所述的方法，其特征在于，所述特征媒体数据包括：视频画面中的特征图像；所述预定起点条件包括：视频画面中所述特征图像出现或消失。
3.根据权利要求1所述的方法，其特征在于，所述特征媒体数据包括：视频画面中的特征图像；所述预定终点条件包括：视频画面中所述特征图像消失或出现。
4.根据权利要求2或3所述的方法，其特征在于，所述特征图像位于视频画面中的预定区域；
所述将音视频中特征媒体数据出现和/或消失的时间点作为候选分段点，包括：分析视频画面中所述预定区域的色彩比例和/或图形形状，查找出特征图像在所述预定区域出现和/或消失的时间点，作为候选分段点。
5.根据权利要求1所述的方法，其特征在于，所述特征图像包括：体育比赛视频中的记分牌。
6.根据权利要求1所述的方法，其特征在于，所述特征媒体数据包括：视频或音频中的特征声音；所述预定起点条件包括：视频或音频中所述特征声音出现或消失的时间点。
7.根据权利要求1所述的方法，其特征在于，所述特征媒体数据包括：视频或音频中的特征声音；所述预定终点条件包括：视频或音频中所述特征声音消失或出现的时间点。
8.根据权利要求6或7所述的方法，其特征在于，所述特征声音包括：具有预定音量、音调和/或音色的声音。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在播放所述音视频时，将进度条中插播时段对应的区域显示为与非插播时段不同的颜色；或，
在播放所述音视频时，取消播放所述插播时段；或，
删除所述音视频中的插播时段。
10.一种确定音视频中插播时段的装置，其特征在于，包括：
候选分段点单元，用于将音视频中特征媒体数据出现和/或消失的时间点作为候选分段点；
起点及终点单元，用于以满足预定起点条件的候选分段点为起点，以满足预定终点条件的候选分段点为终点，将起点和终点之间的时段作为插播时段。
11.根据权利要求10所述的装置，其特征在于，所述特征媒体数据包括：视频画面中的特征图像；所述预定起点条件包括：视频画面中所述特征图像出现或消失。
12.根据权利要求10所述的装置，其特征在于，所述特征媒体数据包括：视频画面中的特征图像；所述预定终点条件包括：视频画面中所述特征图像消失或出现。
13.根据权利要求11或12所述的装置，其特征在于，所述特征图像位于视频画面中的预定区域；
所述候选分段点单元具体用于：分析视频画面中所述预定区域的色彩比例和/或图形形状，查找出特征图像在所述预定区域出现和/或消失的时间点，作为候选分段点。
14.根据权利要求10所述的装置，其特征在于，所述特征图像包括：体育比赛视频中的记分牌。
15.根据权利要求10所述的装置，其特征在于，所述特征媒体数据包括：视频或音频中的特征声音；所述预定起点条件包括：视频或音频中所述特征声音出现或消失的时间点。
16.根据权利要求10所述的装置，其特征在于，所述特征媒体数据包括：视频或音频中的特征声音；所述预定终点条件包括：视频或音频中所述特征声音消失或出现的时间点。
17.根据权利要求15或16所述的装置，其特征在于，所述特征声音包括：具有预定音量、音调和/或音色的声音。
18.根据权利要求10所述的装置，其特征在于，所述装置还包括：音视频播放及更改单元，用于在播放所述音视频时，将进度条中插播时段对应的区域显示为与非插播时段不同的颜色；或，用于在播放所述音视频时，取消播放所述插播时段；或，用于删除所述音视频中的插播时段。
CN201710297149.4A 2017-04-28 2017-04-28 确定音视频中插播时段的方法和装置 Pending CN108810615A (zh)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN201710297149.4A CN108810615A (zh) 2017-04-28 2017-04-28 确定音视频中插播时段的方法和装置
TW107107572A TWI685254B (zh) 2017-04-28 2018-03-07 確定音視訊中插播時段的方法和裝置
KR1020197018938A KR102220088B1 (ko) 2017-04-28 2018-04-26 오디오 또는 비디오에서 인터컷 시간 버킷을 결정하는 방법 및 디바이스
MYPI2019003759A MY194397A (en) 2017-04-28 2018-04-26 Method and device for determining inter-cut time bucket in audio or video
PCT/CN2018/084621 WO2018196811A1 (zh) 2017-04-28 2018-04-26 确定音视频中插播时段的方法和装置
EP18791742.2A EP3547698A4 (en) 2017-04-28 2018-04-26 METHOD AND DEVICE FOR DETERMINING THE INTER-CUT TIMER IN AUDIO / VIDEO
JP2019535850A JP6871388B2 (ja) 2017-04-28 2018-04-26 オーディオまたはビデオ内のカット間タイムバケットを決定するための方法および装置
PH12019501539A PH12019501539A1 (en) 2017-04-28 2019-06-28 Method and device for determining inter-cut time bucket in audio or video
US16/663,009 US10936878B2 (en) 2017-04-28 2019-10-24 Method and device for determining inter-cut time range in media item

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710297149.4A CN108810615A (zh) 2017-04-28 2017-04-28 确定音视频中插播时段的方法和装置

Publications (1)

Publication Number Publication Date
CN108810615A true CN108810615A (zh) 2018-11-13

Family

ID=63918026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710297149.4A Pending CN108810615A (zh) 2017-04-28 2017-04-28 确定音视频中插播时段的方法和装置

Country Status (9)

Country Link
US (1) US10936878B2 (zh)
EP (1) EP3547698A4 (zh)
JP (1) JP6871388B2 (zh)
KR (1) KR102220088B1 (zh)
CN (1) CN108810615A (zh)
MY (1) MY194397A (zh)
PH (1) PH12019501539A1 (zh)
TW (1) TWI685254B (zh)
WO (1) WO2018196811A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110198456A (zh) * 2019-04-26 2019-09-03 腾讯科技（深圳）有限公司 基于直播的视频推送方法、装置和计算机可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111601162B (zh) * 2020-06-08 2022-08-02 北京世纪好未来教育科技有限公司 视频切分方法、装置和计算机存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101326584A (zh) * 2005-12-08 2008-12-17 汤姆森许可贸易公司 通过显示、选择关键图像来识别记录文档的方法及接收器
CN103024555A (zh) * 2012-12-31 2013-04-03 青岛海信电器股份有限公司 基于云计算的电视广告侦测处理***及方法
CN104202668A (zh) * 2014-09-09 2014-12-10 安一恒通（北京）科技有限公司 视频广告的过滤方法和装置
CN105763884A (zh) * 2014-12-18 2016-07-13 广州市动景计算机科技有限公司 视频处理方法、装置及设备
CN105791914A (zh) * 2016-03-07 2016-07-20 合智能科技（深圳）有限公司 播放控制方法和装置
CN105847936A (zh) * 2016-03-31 2016-08-10 乐视控股（北京）有限公司 显示控制方法、装置和终端

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7336890B2 (en) * 2003-02-19 2008-02-26 Microsoft Corporation Automatic detection and segmentation of music videos in an audio/video stream
CN1595970A (zh) 2004-06-22 2005-03-16 威盛电子股份有限公司 根据开始/结束片段特定画面检测广告片段的方法及***
US20060013554A1 (en) * 2004-07-01 2006-01-19 Thomas Poslinski Commercial storage and retrieval
KR101323331B1 (ko) * 2006-11-06 2013-10-29 삼성전자주식회사 불연속 동영상 데이터의 재생 방법 및 장치
EP2362396B1 (en) * 2010-02-26 2014-06-04 Comcast Cable Communications, LLC Video scene segmentation and classification to skip advertisements.
US10116902B2 (en) 2010-02-26 2018-10-30 Comcast Cable Communications, Llc Program segmentation of linear transmission
JP2011211481A (ja) 2010-03-30 2011-10-20 Hitachi Consumer Electronics Co Ltd 動画再生装置
US20140019902A1 (en) * 2012-07-12 2014-01-16 International Business Machines Corporation Progress bars for media content
KR101456926B1 (ko) 2013-06-14 2014-10-31 (주)엔써즈 핑거프린트에 기반한 광고 검출 시스템 및 방법
US11051075B2 (en) 2014-10-03 2021-06-29 Dish Network L.L.C. Systems and methods for providing bookmarking data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101326584A (zh) * 2005-12-08 2008-12-17 汤姆森许可贸易公司 通过显示、选择关键图像来识别记录文档的方法及接收器
CN103024555A (zh) * 2012-12-31 2013-04-03 青岛海信电器股份有限公司 基于云计算的电视广告侦测处理***及方法
CN104202668A (zh) * 2014-09-09 2014-12-10 安一恒通（北京）科技有限公司 视频广告的过滤方法和装置
CN105763884A (zh) * 2014-12-18 2016-07-13 广州市动景计算机科技有限公司 视频处理方法、装置及设备
CN105791914A (zh) * 2016-03-07 2016-07-20 合智能科技（深圳）有限公司 播放控制方法和装置
CN105847936A (zh) * 2016-03-31 2016-08-10 乐视控股（北京）有限公司 显示控制方法、装置和终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110198456A (zh) * 2019-04-26 2019-09-03 腾讯科技（深圳）有限公司 基于直播的视频推送方法、装置和计算机可读存储介质

Also Published As

Publication number Publication date
US10936878B2 (en) 2021-03-02
WO2018196811A1 (zh) 2018-11-01
TW201840198A (zh) 2018-11-01
KR102220088B1 (ko) 2021-03-02
TWI685254B (zh) 2020-02-11
EP3547698A4 (en) 2020-03-25
MY194397A (en) 2022-11-30
EP3547698A1 (en) 2019-10-02
JP6871388B2 (ja) 2021-05-12
PH12019501539A1 (en) 2020-02-24
US20200057890A1 (en) 2020-02-20
KR20190100218A (ko) 2019-08-28
JP2020509624A (ja) 2020-03-26

Similar Documents

Publication Publication Date Title
US10397522B2 (en) Identifying popular network video segments
CN103559713B (zh) 一种提供增强现实的方法及终端
CN106257930B (zh) 生成内容的动态时间版本
CN103226961B (zh) 一种播放方法和装置
US8739041B2 (en) Extensible video insertion control
US20120229489A1 (en) Pillarboxing Correction
US9542975B2 (en) Centralized database for 3-D and other information in videos
CN107562680A (zh) 数据处理方法、装置和终端设备
JP2006129501A (ja) 位置に応じて変化する、タイトル、トランジション、および／またはエフェクトなどの特殊効果
WO2023104102A1 (zh) 一种直播评论展示方法、装置、设备、程序产品及介质
US8943020B2 (en) Techniques for intelligent media show across multiple devices
CN109640129A (zh) 视频推荐方法、装置，客户端设备、服务器及存储介质
US20150199995A1 (en) Modular content generation, modification, and delivery system
US20140019902A1 (en) Progress bars for media content
CA2774484A1 (en) System and method for pre-engineering video clips
CN106658030A (zh) 一种包含单路音频多路视频的复合视频的播放方法及设备
WO2021052130A1 (zh) 视频处理方法、装置、设备及计算机可读存储介质
CN109618229A (zh) 音视频的关联播放方法、装置、服务器及存储介质
CN112954459A (zh) 一种视频数据的处理方法和装置
US8988457B2 (en) Multi image-output display mode apparatus and method
US10739944B1 (en) System and method for generating user interface data to provide indicators associated with content
CN108810615A (zh) 确定音视频中插播时段的方法和装置
CN105578224A (zh) 一种多媒体数据的获取方法、装置、智能电视及机顶盒
JP4940333B2 (ja) 電子機器及び動画像再生方法
US9560103B2 (en) Custom video content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181113