CN111654747A - 弹幕显示方法及装置 - Google Patents

弹幕显示方法及装置 Download PDF

Info

Publication number
CN111654747A
CN111654747A CN202010540299.5A CN202010540299A CN111654747A CN 111654747 A CN111654747 A CN 111654747A CN 202010540299 A CN202010540299 A CN 202010540299A CN 111654747 A CN111654747 A CN 111654747A
Authority
CN
China
Prior art keywords
calculating
frame
significance
bullet screen
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010540299.5A
Other languages
English (en)
Other versions
CN111654747B (zh
Inventor
王�琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010540299.5A priority Critical patent/CN111654747B/zh
Publication of CN111654747A publication Critical patent/CN111654747A/zh
Application granted granted Critical
Publication of CN111654747B publication Critical patent/CN111654747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种弹幕显示方法，包括：获取待处理的视频；依据视频中每一帧的图像特征计算视频图像的时域显著度和空域显著度；依据所述时域显著度和空域显著度生成二值化掩膜，所述二值化掩膜中包括无遮挡区域和遮挡区域；依据预设的弹幕的位置信息，判断所述弹幕在对应二值化掩膜中的无遮挡区域，将处于无遮挡区域的弹幕进行隐藏。本发明弹幕显示方法与现有的技术局限于以人为主的固定场景的方法相比，可应用于非固定场景，非固定目标类型的视频中，应用范围更广。

Description

弹幕显示方法及装置
技术领域
本发明涉及弹幕显示技术领域，尤其涉及一种弹幕显示方法及装置。
背景技术
当前的弹幕显示技术，需要预先确定特定的区域，对特定区域的弹幕进行遮挡，而该特定区域以外的弹幕进行显示。但是，如果视频图像中需要聚集注意力的区域出现在特定区域之外，则该处理方式失效。基于当前的弹幕显示技术，难以对多种需要处理的图像内容形成有效的处理。
发明内容
本发明提供的弹幕显示方法及装置，能够有效的对非固定场景的弹幕进行处理。
第一方面，本发明提供一种弹幕显示方法，包括：
获取待处理的视频；
依据视频中每一帧的图像特征计算视频图像的时域显著度和空域显著度；
依据所述时域显著度和空域显著度生成二值化掩膜，所述二值化掩膜中包括无遮挡区域和遮挡区域；
依据预设的弹幕的位置信息，判断所述弹幕在对应二值化掩膜中的无遮挡区域，将处于无遮挡区域的弹幕进行隐藏。
可选地，所述依据视频中每一帧的图像特征计算视频图像的时域显著度和空域显著度包括：
依据亮度、色度和纹理特征计算所述视频每一帧的空域显著度；
从待处理视频中选取间隔预定帧的两帧，提取所述两帧中在后一帧的前景对象相对于在前一帧的前景对象的光流特征；依据所述光流特征计算光流的单位模值，将所述光流的单位模值作为时域显著度。
可选地，所述依据间隔预定帧的两帧中在后一帧的前景对象相对于在前一帧的前景对象的光流特征，计算光流的单位模值作为时域显著度包括：
依据场景类型将每一帧分割为预定数量的待处理区域，计算两帧中的同一场景类型的待处理区域的距离，当所述距离在预定阈值以内时，将两帧划分为同一场景的帧的集合；
选取同一场景的帧的集合中间隔预定帧的两帧，提取在后一帧的前景对象相对于在前一帧的前景对象的光流特征，计算光流的单位模值作为时域显著度。
可选地，所述依据所述时域显著度和空域显著度生成二值化掩膜包括：
将所述空域显著度和所述时域显著度加权得到显著度评分；
依据所述显著度评分的对同一帧中的各待处理区域进行排序，选取排序的前若干待处理区域作为感兴趣区域；
依据所述感兴趣区域生成二值化掩膜。
可选地，所述选取同一场景的帧的集合中间隔预定帧的两帧，提取在后一帧的前景对象相对于在前一帧的前景对象的光流特征包括：
将在前一帧和在后一帧的图像送入光流提取网络，得到在后一帧前景对象相对于在前一帧的前景对象的光流特征。
可选地，所述依据亮度、色度和纹理特征计算视频每一帧的空域显著度包括：
将视频图像分割为若干像素块；
计算当前像素块的亮度的平均值作为第一平均亮度，计算当前像素块周围的像素块的亮度平均值作为第二平均亮度；
计算所述第一平均亮度和所述第二平均亮度的差值的平均值作为当前像素块的亮度显著度；
计算当前像素块的色度的平均值作为第一平均色度，计算当前像素块周围的像素块的色度平均值作为第二平均色度；
计算所述第一平均色度和所述第二平均色度的差值的平均值作为当前像素块的色度显著度；
计算当前像素块的纹理特征的平均值作为第一平均纹理特征，计算当前像素块周围的像素块的纹理特征平均值作为第二平均纹理特征；
计算所述第一平均纹理特征和所述第二平均纹理特征的差值的平均值作为当前像素块的纹理特征显著度；
对所述亮度显著度、色度显著度以及纹理特征显著度进行加权计算，得到当前像素块的空域显著度。
本发明弹幕显示方法，根据目标检测和场景分割划分画面区块，分别计算前景区块的空域显著度和背景区块的时域显著度进行加权，得到观众的感兴趣区域。通过判断弹幕与该区域的位置关系，改变弹幕的显示方式，提升观看体验。本发明弹幕显示方法，不需针对视频类型训练特定类型的检测模型，且无需根据视频内容提前设定免遮挡的内容，与现有的技术局限于以人为主的固定场景的方法相比，可应用于非固定场景，非固定目标类型的视频中，应用范围更广。
第二方面，本发明提供一种弹幕显示装置，包括：
视频预处理模块，用于获取待处理的视频并依据视频中每一帧的图像特征计算视频图像的时域显著度和空域显著度；
弹幕处理模块，用于依据所述时域显著度和空域显著度生成二值化掩膜，所述二值化掩膜中包括无遮挡区域和遮挡区域；
弹幕显示模块，用于依据预设的弹幕的位置信息，判断所述弹幕在对应二值化掩膜中的无遮挡区域或遮挡区域，将处于无遮挡区域的弹幕进行隐藏，将处于遮挡区域的弹幕进行正常显示。
可选地，所述视频预处理模块包括：
空域显著度子模块，用于依据亮度、色度和纹理特征计算所述视频每一帧的空域显著度；
时域显著度子模块，从待处理视频中选取间隔预定帧的两帧，提取所述两帧中在后一帧的前景对象相对于在前一帧的前景对象的光流特征；依据所述光流特征计算光流的单位模值，将所述光流的单位模值作为时域显著度。
可选地，所述时域显著度子模块包括：
场景分割单元，用于依据场景类型将每一帧分割为预定数量的待处理区域，计算两帧中的同一场景类型的待处理区域的距离，当所述距离在预定阈值以内时，将两帧划分为同一场景的帧的集合；
显著度计算单元，用于选取同一场景的帧的集合中间隔预定帧的两帧，提取在后一帧的前景对象相对于在前一帧的前景对象的光流特征，计算光流的单位模值作为时域显著度。
本发明弹幕显示装置，根据目标检测和场景分割划分画面区块，分别计算前景区块的空域显著度和背景区块的时域显著度进行加权，得到观众的感兴趣区域。通过判断弹幕与该区域的位置关系，改变弹幕的显示方式，提升观看体验。本发明弹幕显示装置，不需针对视频类型训练特定类型的检测模型，且无需根据视频内容提前设定免遮挡的内容，与现有的技术局限于以人为主的固定场景的方法相比，可应用于非固定场景，非固定目标类型的视频中，应用范围更广。
附图说明
图1为本发明一实施例弹幕显示方法的流程图；
图2为本发明一实施例弹幕显示方法中判断感兴趣区域流程图；
图3为本发明一实施例弹幕显示方法中改变弹幕显示方式的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1所示，本实施例提供一种弹幕显示方法，包括：
S1获取待处理的视频；
所述待处理的视频可以是直播视频，也可以是播放的以往录制的视频，在此也不作限制。
S2依据视频中每一帧的图像特征计算视频图像的时域显著度和空域显著度；
如图2所示：作为本步骤可选地的实施方式，依据亮度、色度和纹理特征计算所述视频每一帧的空域显著度；作为具体的可选实施方式，将视频图像分割为若干像素块；计算当前像素块的亮度的平均值作为第一平均亮度，计算当前像素块周围的像素块的亮度平均值作为第二平均亮度；计算所述第一平均亮度和所述第二平均亮度的差值的平均值作为当前像素块的亮度显著度；计算当前像素块的色度的平均值作为第一平均色度，计算当前像素块周围的像素块的色度平均值作为第二平均色度；计算所述第一平均色度和所述第二平均色度的差值的平均值作为当前像素块的色度显著度；计算当前像素块的纹理特征的平均值作为第一平均纹理特征，计算当前像素块周围的像素块的纹理特征平均值作为第二平均纹理特征；计算所述第一平均纹理特征和所述第二平均纹理特征的差值的平均值作为当前像素块的纹理特征显著度；对所述亮度显著度、色度显著度以及纹理特征显著度进行加权计算，得到当前像素块的空域显著度。例如，可以采用将视频图像分割为若干大小相等的像素块，以中心的像素块和中心像素块周围的8块像素块的亮度差平均值作为中心像素块的空域显著度。色度显著度和纹理特征显著度的计算方式可以采用与上述空域显著性相同的计算方式。作为可选的实施方式，可以对上述的亮度显著度、色度显著度和纹理特征显著度的加权计算作为空域显著度。
继续如图2所示，作为本步骤可选的实施方式，从待处理视频中选取间隔预定帧的两帧，提取所述两帧中在后一帧的前景对象相对于在前一帧的前景对象的光流特征；依据所述光流特征计算光流的单位模值，将所述光流的单位模值作为时域显著度。作为具体的可选实施方式，依据场景类型将每一帧分割为预定数量的待处理区域，计算两帧中的同一场景类型的待处理区域的距离，当所述距离在预定阈值以内时，将两帧划分为同一场景的帧的集合；选取同一场景的帧的集合中间隔预定帧的两帧，提取在后一帧的前景对象相对于在前一帧的前景对象的光流特征，计算光流的单位模值作为时域显著度。作为具体的可选实施方式，将在前一帧和在后一帧的图像送入光流提取网络，得到在后一帧前景对象相对于在前一帧的前景对象的光流特征。在上述的实施方式中，光流提取网络可以为降采样光流提取网络。
作为上述可选实施例的示例性时域显著度获取过程如下，对间隔K帧的视频帧的场景分割结果进行比对。场景分割的结果为与原视频分辨率相同的具有离散像素值的MASK，某一位置的像素值为该店对应的区域类型(例如绿化带为0，道路为1，人行道为2)。当两者MASK的距离小于一定阈值时可认为是同一场景。在同一场景中，通过获取背景分割区块包含的显著性前景对象的光流特征来计算第N+K帧的时域显著性。将第N帧及第N+K帧的视频图降采样送入光流提取网络，得到对应前景区域的光流特征，计算光流的单位模值作为时域显著度。
S3依据所述时域显著度和空域显著度生成二值化掩膜，所述二值化掩膜中包括无遮挡区域和遮挡区域；
继续如图2所示，作为本步骤的可选实施方式，将所述空域显著度和所述时域显著度加权得到显著度评分；依据所述显著度评分的对同一帧中的各待处理区域进行排序，选取排序的前若干待处理区域作为感兴趣区域；依据所述感兴趣区域生成二值化掩膜。其中，二值化掩膜将感兴趣区域和其他区域分别以0和1表示，0表示无遮挡区域，即不予许弹幕将视频内容进行遮挡，1表示遮挡区域，即允许弹幕将视频内容进行遮挡。
S4依据预设的弹幕的位置信息，判断所述弹幕在对应二值化掩膜中的无遮挡区域，将处于无遮挡区域的弹幕进行隐藏。
如图3所示，在播放视频时，弹幕在显示装置上进行运动，当弹幕运动到对应二值化掩膜的无遮挡区域时，由于该区域为用户感兴趣区域，用户通常不希望该区域被遮挡，因此，将对应无遮挡区域的弹幕进行隐藏，当弹幕运动到对应二值化掩膜的遮挡区域时，用户通常不会对该区域有较高的注意力，此时，即使被弹幕遮挡也不会降低用户的体验，因此，将对应遮挡区域的弹幕进行显示。
在请实施例中，所述方法可以应用于智能手机、笔记本、台式电脑和平板电脑等能播放视频的电子设备，在此不作限制。较优的，本实施例提供的方法应用于安装安卓***的电子设备。
本实施例弹幕显示方法，根据目标检测和场景分割划分画面区块，分别计算前景区块的空域显著度和背景区块的时域显著度进行加权，得到观众的感兴趣区域。通过判断弹幕与该区域的位置关系，改变弹幕的显示方式，提升观看体验。本实施例弹幕显示方法，不需针对视频类型训练特定类型的检测模型，且无需根据视频内容提前设定免遮挡的内容，与现有的技术局限于以人为主的固定场景的方法相比，可应用于非固定场景，非固定目标类型的视频中，应用范围更广。
实施例2
本实施例提供一种弹幕显示装置，包括：
视频预处理模块，视频预处理模块，用于获取待处理的视频并依据视频中每一帧的图像特征计算视频图像的时域显著度和空域显著度；
作为可选地实施方式，所述视频预处理模块包括：
空域显著度子模块，用于依据亮度、色度和纹理特征计算所述视频每一帧的空域显著度；作为具体的可选实施方式，空域显著度子模块计算空域显著度的过程如下：所述依据亮度、色度和纹理特征计算视频每一帧的空域显著度包括：将视频图像分割为若干像素块；计算当前像素块的亮度的平均值作为第一平均亮度，计算当前像素块周围的像素块的亮度平均值作为第二平均亮度；计算所述第一平均亮度和所述第二平均亮度的差值的平均值作为当前像素块的亮度显著度；计算当前像素块的色度的平均值作为第一平均色度，计算当前像素块周围的像素块的色度平均值作为第二平均色度；计算所述第一平均色度和所述第二平均色度的差值的平均值作为当前像素块的色度显著度；计算当前像素块的纹理特征的平均值作为第一平均纹理特征，计算当前像素块周围的像素块的纹理特征平均值作为第二平均纹理特征；计算所述第一平均纹理特征和所述第二平均纹理特征的差值的平均值作为当前像素块的纹理特征显著度；对所述亮度显著度、色度显著度以及纹理特征显著度进行加权计算，得到当前像素块的空域显著度。例如，可以采用将视频图像分割为若干大小相等的像素块，以中心的像素块和中心像素块周围的8块像素块的亮度差平均值作为中心像素块的空域显著度。色度显著度和纹理特征显著度的计算方式可以采用与上述空域显著性相同的计算方式。作为可选的实施方式，可以对上述的亮度显著度、色度显著度和纹理特征显著度的加权计算作为空域显著度。
时域显著度子模块，从待处理视频中选取间隔预定帧的两帧，提取所述两帧中在后一帧的前景对象相对于在前一帧的前景对象的光流特征；依据所述光流特征计算光流的单位模值，将所述光流的单位模值作为时域显著度。作为可选地实施方式，所述时域显著度子模块包括：场景分割单元，用于依据场景类型将每一帧分割为预定数量的待处理区域，计算两帧中的同一场景类型的待处理区域的距离，当所述距离在预定阈值以内时，将两帧划分为同一场景的帧的集合；显著度计算单元，用于选取同一场景的帧的集合中间隔预定帧的两帧，提取在后一帧的前景对象相对于在前一帧的前景对象的光流特征，计算光流的单位模值作为时域显著度。作为可选的具体实施方式，例如，场景分隔单元对间隔K帧的视频帧的场景分割结果进行比对。场景分割的结果为与原视频分辨率相同的具有离散像素值的MASK，某一位置的像素值为该店对应的区域类型(例如绿化带为0，道路为1，人行道为2)。当两者MASK的距离小于一定阈值时可认为是同一场景。在同一场景中，显著度计算单元通过获取背景分割区块包含的显著性前景对象的光流特征来计算第N+K帧的时域显著性。将第N帧及第N+K帧的视频图降采样送入光流提取网络，得到对应前景区域的光流特征，计算光流的单位模值作为时域显著度。
弹幕处理模块，用于依据所述时域显著度和空域显著度生成二值化掩膜，所述二值化掩膜中包括无遮挡区域和遮挡区域；作为具体的可选实施方式，将所述空域显著度和所述时域显著度加权得到显著度评分；依据所述显著度评分的对同一帧中的各待处理区域进行排序，选取排序的前若干待处理区域作为感兴趣区域；依据所述感兴趣区域生成二值化掩膜。其中，二值化掩膜将感兴趣区域和其他区域分别以0和1表示，0表示无遮挡区域，即不予许弹幕将视频内容进行遮挡，1表示遮挡区域，即允许弹幕将视频内容进行遮挡。
弹幕显示模块，用于依据预设的弹幕的位置信息，判断所述弹幕在对应二值化掩膜中的无遮挡区域或遮挡区域，将处于无遮挡区域的弹幕进行隐藏，将处于遮挡区域的弹幕进行正常显示。在播放视频时，弹幕在显示装置上进行运动，当弹幕运动到对应二值化掩膜的无遮挡区域时，由于该区域为用户感兴趣区域，用户通常不希望该区域被遮挡，因此，将对应无遮挡区域的弹幕进行隐藏，当弹幕运动到对应二值化掩膜的遮挡区域时，用户通常不会对该区域有较高的注意力，此时，即使被弹幕遮挡也不会降低用户的体验，因此，将对应遮挡区域的弹幕进行显示。
本实施例弹幕显示装置，根据目标检测和场景分割划分画面区块，分别计算前景区块的空域显著度和背景区块的时域显著度进行加权，得到观众的感兴趣区域。通过判断弹幕与该区域的位置关系，改变弹幕的显示方式，提升观看体验。本实施例弹幕显示装置，不需针对视频类型训练特定类型的检测模型，且无需根据视频内容提前设定免遮挡的内容，与现有的技术局限于以人为主的固定场景的方法相比，可应用于非固定场景，非固定目标类型的视频中，应用范围更广。
本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种弹幕显示方法，其特征在于：包括：
获取待处理的视频；
依据视频中每一帧的图像特征计算视频图像的时域显著度和空域显著度；
依据所述时域显著度和空域显著度生成二值化掩膜，所述二值化掩膜中包括无遮挡区域和遮挡区域；
依据预设的弹幕的位置信息，判断所述弹幕在对应二值化掩膜中的无遮挡区域，将处于无遮挡区域的弹幕进行隐藏。
2.如权利要求1所述弹幕显示方法，其特征在于：所述依据视频中每一帧的图像特征计算视频图像的时域显著度和空域显著度包括：
依据亮度、色度和纹理特征计算所述视频每一帧的空域显著度；
从待处理视频中选取间隔预定帧的两帧，提取所述两帧中在后一帧的前景对象相对于在前一帧的前景对象的光流特征；依据所述光流特征计算光流的单位模值，将所述光流的单位模值作为时域显著度。
3.如权利要求2所述弹幕显示方法，其特征在于：所述依据间隔预定帧的两帧中在后一帧的前景对象相对于在前一帧的前景对象的光流特征，计算光流的单位模值作为时域显著度包括：
依据场景类型将每一帧分割为预定数量的待处理区域，计算两帧中的同一场景类型的待处理区域的距离，当所述距离在预定阈值以内时，将两帧划分为同一场景的帧的集合；
选取同一场景的帧的集合中间隔预定帧的两帧，提取在后一帧的前景对象相对于在前一帧的前景对象的光流特征，计算光流的单位模值作为时域显著度。
4.如权利要求3所述弹幕显示方法，其特征在于：所述依据所述时域显著度和空域显著度生成二值化掩膜包括：
将所述空域显著度和所述时域显著度加权得到显著度评分；
依据所述显著度评分的对同一帧中的各待处理区域进行排序，选取排序的前若干待处理区域作为感兴趣区域；
依据所述感兴趣区域生成二值化掩膜。
5.如权利要求3所述弹幕显示方法，其特征在于：所述选取同一场景的帧的集合中间隔预定帧的两帧，提取在后一帧的前景对象相对于在前一帧的前景对象的光流特征包括：
将在前一帧和在后一帧的图像送入光流提取网络，得到在后一帧前景对象相对于在前一帧的前景对象的光流特征。
6.如权利要求2所述弹幕显示方法，其特征在于：所述依据亮度、色度和纹理特征计算视频每一帧的空域显著度包括：
将视频图像分割为若干像素块；
计算当前像素块的亮度的平均值作为第一平均亮度，计算当前像素块周围的像素块的亮度平均值作为第二平均亮度；
计算所述第一平均亮度和所述第二平均亮度的差值的平均值作为当前像素块的亮度显著度；
计算当前像素块的色度的平均值作为第一平均色度，计算当前像素块周围的像素块的色度平均值作为第二平均色度；
计算所述第一平均色度和所述第二平均色度的差值的平均值作为当前像素块的色度显著度；
计算当前像素块的纹理特征的平均值作为第一平均纹理特征，计算当前像素块周围的像素块的纹理特征平均值作为第二平均纹理特征；
计算所述第一平均纹理特征和所述第二平均纹理特征的差值的平均值作为当前像素块的纹理特征显著度；
对所述亮度显著度、色度显著度以及纹理特征显著度进行加权计算，得到当前像素块的空域显著度。
7.一种弹幕显示装置，其特征在于：包括：
视频预处理模块，用于获取待处理的视频并依据视频中每一帧的图像特征计算视频图像的时域显著度和空域显著度；
弹幕处理模块，用于依据所述时域显著度和空域显著度生成二值化掩膜，所述二值化掩膜中包括无遮挡区域和遮挡区域；
弹幕显示模块，用于依据预设的弹幕的位置信息，判断所述弹幕在对应二值化掩膜中的无遮挡区域或遮挡区域，将处于无遮挡区域的弹幕进行隐藏，将处于遮挡区域的弹幕进行正常显示。
8.如权利要求7所述弹幕显示装置，其特征在于：所述视频预处理模块包括：
空域显著度子模块，用于依据亮度、色度和纹理特征计算所述视频每一帧的空域显著度；
时域显著度子模块，从待处理视频中选取间隔预定帧的两帧，提取所述两帧中在后一帧的前景对象相对于在前一帧的前景对象的光流特征；依据所述光流特征计算光流的单位模值，将所述光流的单位模值作为时域显著度。
9.如权利要求8所述弹幕显示装置，其特征在于：所述时域显著度子模块包括：
场景分割单元，用于依据场景类型将每一帧分割为预定数量的待处理区域，计算两帧中的同一场景类型的待处理区域的距离，当所述距离在预定阈值以内时，将两帧划分为同一场景的帧的集合；
显著度计算单元，用于选取同一场景的帧的集合中间隔预定帧的两帧，提取在后一帧的前景对象相对于在前一帧的前景对象的光流特征，计算光流的单位模值作为时域显著度。
CN202010540299.5A 2020-06-12 2020-06-12 弹幕显示方法及装置 Active CN111654747B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010540299.5A CN111654747B (zh) 2020-06-12 2020-06-12 弹幕显示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010540299.5A CN111654747B (zh) 2020-06-12 2020-06-12 弹幕显示方法及装置

Publications (2)

Publication Number Publication Date
CN111654747A true CN111654747A (zh) 2020-09-11
CN111654747B CN111654747B (zh) 2022-07-26

Family

ID=72350513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010540299.5A Active CN111654747B (zh) 2020-06-12 2020-06-12 弹幕显示方法及装置

Country Status (1)

Country Link
CN (1) CN111654747B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233055A (zh) * 2020-10-15 2021-01-15 北京达佳互联信息技术有限公司 视频去痕方法和视频去痕装置
CN114005076A (zh) * 2021-12-30 2022-02-01 北京搜狐新动力信息技术有限公司 一种图像防遮挡方法、***及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007095224A2 (en) * 2006-02-10 2007-08-23 Metacarta, Inc. Systems and methods for spatial thumbnails and companion maps for media objects
CN103686178A (zh) * 2013-12-04 2014-03-26 北京邮电大学 一种基于hvs的视频感兴趣区域提取方法
CN106101756A (zh) * 2016-06-07 2016-11-09 腾讯科技（北京）有限公司 弹幕显示方法、弹幕添加方法、装置及***
CN106210902A (zh) * 2016-07-06 2016-12-07 华东师范大学 一种基于弹幕评论数据的影视片段剪辑方法
CN106503683A (zh) * 2016-10-28 2017-03-15 武汉大学 一种基于动态注意中心的视频显著目标检测方法
CN107809658A (zh) * 2017-10-18 2018-03-16 维沃移动通信有限公司 一种弹幕内容显示方法和终端
CN110248209A (zh) * 2019-07-19 2019-09-17 湖南快乐阳光互动娱乐传媒有限公司 一种弹幕防遮挡掩模信息的传输方法及***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007095224A2 (en) * 2006-02-10 2007-08-23 Metacarta, Inc. Systems and methods for spatial thumbnails and companion maps for media objects
CN103686178A (zh) * 2013-12-04 2014-03-26 北京邮电大学 一种基于hvs的视频感兴趣区域提取方法
CN106101756A (zh) * 2016-06-07 2016-11-09 腾讯科技（北京）有限公司 弹幕显示方法、弹幕添加方法、装置及***
CN106210902A (zh) * 2016-07-06 2016-12-07 华东师范大学 一种基于弹幕评论数据的影视片段剪辑方法
CN106503683A (zh) * 2016-10-28 2017-03-15 武汉大学 一种基于动态注意中心的视频显著目标检测方法
CN107809658A (zh) * 2017-10-18 2018-03-16 维沃移动通信有限公司 一种弹幕内容显示方法和终端
CN110248209A (zh) * 2019-07-19 2019-09-17 湖南快乐阳光互动娱乐传媒有限公司 一种弹幕防遮挡掩模信息的传输方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
肖骏等: "面向刑事侦查的监控视频显著性检测仿真", 《计算机仿真》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233055A (zh) * 2020-10-15 2021-01-15 北京达佳互联信息技术有限公司 视频去痕方法和视频去痕装置
US11538141B2 (en) 2020-10-15 2022-12-27 Beijing Dajia Internet Information Technology Co., Ltd. Method and apparatus for processing video
CN114005076A (zh) * 2021-12-30 2022-02-01 北京搜狐新动力信息技术有限公司 一种图像防遮挡方法、***及电子设备

Also Published As

Publication number Publication date
CN111654747B (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
CN109325933B (zh) 一种翻拍图像识别方法及装置
CN106254933B (zh) 字幕提取方法及装置
US7123769B2 (en) Shot boundary detection
EP1274251A2 (en) Method and apparatus for segmenting a pixellated image
US8355079B2 (en) Temporally consistent caption detection on videos using a 3D spatiotemporal method
EP3238213B1 (en) Method and apparatus for generating an extrapolated image based on object detection
KR20150114437A (ko) 화상처리장치 및 화상처리방법
JP4373840B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
JP2005513656A (ja) 体積成長および変化検出マスクを使用してビデオ内の移動オブジェクトを識別するための方法
EP3681144A1 (en) Video processing method and apparatus based on augmented reality, and electronic device
CN107801093B (zh) 视频渲染方法、装置、计算机设备和可读存储介质
CN111654747B (zh) 弹幕显示方法及装置
CN107636728A (zh) 用于确定图像的深度图的方法和装置
CN111723713B (zh) 一种基于光流法的视频关键帧提取方法及***
CN114677394A (zh) 抠图方法、装置、摄像设备、会议***、电子设备及介质
CN110830788A (zh) 一种检测黑屏图像的方法及装置
EP2017788A1 (en) Shielding-object video-image identifying device and method
CN112565887A (zh) 一种视频处理方法、装置、终端及存储介质
CN116051477A (zh) 一种超高清视频文件的图像噪声检测方法及装置
CN113490009B (zh) 内容信息植入方法、装置、服务器和存储介质
CN112752110B (zh) 视频呈现方法及装置、计算设备、存储介质
CN112465853B (zh) 视频图片的背景变换方法、装置、电子设备及存储介质
CN110996173B (zh) 一种图像数据处理方法、装置及存储介质
Ekin et al. Spatial detection of TV channel logos as outliers from the content
CN112085002A (zh) 人像分割方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant