CN105898521A - 弹幕添加装置和方法 - Google Patents

弹幕添加装置和方法 Download PDF

Info

Publication number
CN105898521A
CN105898521A CN201610225333.3A CN201610225333A CN105898521A CN 105898521 A CN105898521 A CN 105898521A CN 201610225333 A CN201610225333 A CN 201610225333A CN 105898521 A CN105898521 A CN 105898521A
Authority
CN
China
Prior art keywords
image
barrage
pixel
dot matrix
recognition data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610225333.3A
Other languages
English (en)
Inventor
王邈
张宇翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201610225333.3A priority Critical patent/CN105898521A/zh
Publication of CN105898521A publication Critical patent/CN105898521A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331Caching operations, e.g. of an advertisement for later insertion during playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种弹幕添加装置和方法,所述装置包括经由数字逻辑电路连接的弹幕渲染模块和图像通路模块,其中,所述弹幕渲染模块用于接收评论内容并对所述评论内容进行渲染,以生成点阵图像,在所述点阵图像中,所述评论内容用非透明像素表示,所述评论内容以外的部分用与所述非透明像素不同的像素表示;所述图像通路模块用于自信号源接收原始图像,自所述弹幕渲染模块接收所述点阵图像,并用所述点阵图像中的所述非透明像素替代所述原始图像的对应位置的像素,以生成包括弹幕的图像。上述装置和方法直接处理并修改图像信号,由此解决了在同一显示设备上,现有弹幕添加软件的弹幕盖不住原始图像的问题,从而保证了弹幕的可视性。

Description

弹幕添加装置和方法
技术领域
本发明涉及图像处理领域,具体涉及一种弹幕添加装置和方法。
背景技术
“弹幕”是一种叠加于诸如视频帧的图像上方的滚动字幕,其内容往往是视频观看者针对视频的评论。目前,很多在线视频网站均采用了“弹幕”这种发表评论的形式,其深受年轻人群的喜爱。传统的“弹幕”往往被应用在视频点播的场景下,因此可以采取先收集评论后显示的模式。在大型的现场活动中,为了活跃现场气氛,调动观众热情,可以采取以“弹幕”形式进行观众现场评论的办法。具体地,通过某种渠道收集观众的实时评论,并将收集到的评论以“弹幕”的形式投射/叠加于现场用于播放视频内容的屏幕之上,显示出来。
现有的“弹幕”添加技术,通常利用软件实现,其中通常通过添加透明“弹幕层”来实现在播放的视频内容上叠加弹幕。该“弹幕层”是置于显示顶层的窗口。但是,由于计算机操作***的相关接口的限制,对于某些计算机软件,如全屏的3维(3D)游戏软件、部分视频播放软件等,上述技术方案虽然声明将“弹幕层”置于顶层,但实际上会被上述软件的画面覆盖,无法实现弹幕叠加。此外,这类方案通常由软件实现,而该软件需要运行在特定的操作***上,对于其他的操作***则无法兼容。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的弹幕添加装置和方法。
依据本发明的一个方面,提供了一种弹幕添加装置,包括经由数字逻辑电路连接的弹幕渲染模块和图像通路模块,其中,
所述弹幕渲染模块用于接收评论内容并对所述评论内容进行渲染,以生成点阵图像,在所述点阵图像中,所述评论内容用非透明像素表示,所述评论内容以外的部分用与所述非透明像素不同的像素表示;
所述图像通路模块用于自信号源接收原始图像,自所述弹幕渲染模块接收所述点阵图像,并用所述点阵图像中的所述非透明像素替代所述原始图像的对应位置的像素,以生成包括弹幕的图像。
可选地,所述图像通路模块进一步包括缓冲存储器,用于在用所述点阵图像中的所述非透明像素点替代所述原始图像的对应位置的像素之前,缓存所述点阵图像。
可选地,所述弹幕添加装置进一步包括:
显示设备检测单元,用于检测是否存在连接到所述弹幕添加装置的显示设备;
扩展显示识别数据传送单元,用于当存在所述显示设备时,自所述显示设备获取扩展显示识别数据,并存储所获取的扩展显示识别数据,用于所述信号源读取。
可选地,所述扩展显示识别数据传送单元进一步用于在存储所述所获取的扩展显示识别数据之前,修改所述所获取的扩展显示识别数据。
可选地,所述弹幕添加装置进一步包括扩展显示识别数据强制复写开关和扩展显示识别数据生成单元,其中,
所述扩展显示识别数据强制复写开关用于选择所述显示设备检测单元和所述扩展显示识别数据传送单元这二者同时启动或者选择所述扩展显示识别数据生成单元启动;
所述扩展显示识别数据生成单元用于生成并存储扩展显示识别数据,用于所述信号源读取。
可选地,所述弹幕添加装置进一步包括黑屏单元,用于向所述图像通路模块输出黑屏信号;
所述图像通路模块进一步用于根据所述黑屏信号生成黑屏图像,用于显示。
可选地,所述弹幕添加装置进一步包括调试单元,用于向所述图像通路模块输出调试信号;
所述图像通路模块进一步用于根据所述调试信号输出调试图像,用于显示。
可选地,所述图像通路模块进一步包括:
第一输入接口,用于接收所述点阵图像;
第二输入接口,用于自所述信号源接收所述原始图像;
像素处理单元,用于针对所述点阵图像中的所述与所述非透明像素不同的像素,输出所述原始图像中的对应像素;针对所述点阵图像中的非透明像素,直接输出,以生成所述包括弹幕的图像;以及
第一输出接口,用于输出所述包括弹幕的图像。
可选地,所述图像通路模块进一步包括计数器和第二输出接口,
所述计数器用于检测所述原始图像的分辨率;
所述第二输出接口用于将所述分辨率经由所述数字逻辑电路发送至所述弹幕渲染模块;
所述弹幕渲染模块进一步用于自所述图像通路模块接收所述原始图像的分辨率,并且根据所述分辨率对所述评论内容进行渲染,以生成与所述分辨率相适应的点阵图像。
根据本发明的另一方面,提供了一种弹幕添加方法,包括:
自信号源接收原始图像;
接收评论内容并对所述评论内容进行渲染,以生成点阵图像,在所述点阵图像中,所述评论内容用非透明像素表示,所述评论内容以外的部分用与所述非透明像素不同的像素表示;以及
用所述点阵图像中的所述非透明像素替代所述原始图像的对应位置的像素,以生成包括弹幕的图像。
根据本发明的弹幕添加装置和方法直接处理并修改图像信号,由此解决了在同一显示设备上,现有弹幕添加软件的弹幕盖不住原始图像的问题,从而保证了弹幕的可视性。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的弹幕添加装置的示意性框图;
图2示出了根据本发明一个实施例的图像通路模块的示意性框图;
图3示出了根据本发明另一实施例的弹幕添加装置的示意性框图;
图4示出了根据本发明一个实施例的弹幕添加方法的示意性流程图;以及
图5示出了根据本发明另一个实施例的弹幕添加方法的示意性流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
为了避免发生弹幕盖不住原始图像的问题,进而保证弹幕的可视性,根据本发明的一个方面,提供了一种弹幕添加装置。图1示出了根据本发明一个实施例的弹幕添加装置100的示意性框图。
弹幕添加装置100采取信号处理的方式实现图像的实时弹幕添加。可选地,图像可以是视频帧、PowerPoint文档的播放图像等。在应用场景中,该弹幕添加装置100可以连接在信号源(诸如计算机、影碟机、放像机等信号源)和显示设备(诸如显示器、电视机、投影仪等)之间。弹幕添加装置100可以首先从信号源处接收原始图像;然后,将收到的原始图像进行叠加弹幕的处理,并输出给显示设备,以由其进行显示。在应用场景中,诸如计算机的信号源可以将该弹幕添加装置100识别为显示设备,而对于显示设备来说,其可以将该弹幕添加装置100识别为信号源。
如图1所示,该弹幕添加装置100包括弹幕渲染模块110和图像通路模块120,以及连接二者的数字逻辑电路。
该数字逻辑电路可以是单向或双向数据通路。示例性地,该数字逻辑电路包括快速外设组件互连标准(PCI-E)总线。PCI-E总线是串行总线,适于在弹幕渲染模块110和图像通路模块120之间进行点对点传输。经由PCI-E总线由弹幕渲染模块110向图像通路模块120传输数据的速率最高可达65MB/s,符合弹幕刷新率的要求。
弹幕渲染模块110用于接收评论内容。例如,其从特定评论分发***经由网络获取评论信息。该网络诸如有线网络或无线网络。可以通过长轮询评论分发***的方式来获取评论信息,以保证评论信息的实时性。可选地,给所获取的每条评论内容进行编号,以便弹幕渲染模块110和评论分发***这通信双方进行同步。又例如,弹幕渲染模块110经由输入设备从用户处获取评论信息。评论信息中可以包括文字、图片、表情符号等可视内容。
弹幕渲染模块110对上述评论内容进行渲染,以生成点阵图像。
示例性地,可以首先将每条评论内容渲染为像素点阵。可选地,在数种颜色中选取一种颜色进行评论内容的渲染。
优选地,备选颜色的种类为1至8中的任意一个。合适的备选颜色种类个数能够使得点阵图像的数据量适宜,这保证了弹幕渲染模块110和图像通路模块120之间的数字逻辑电路中的数据通信传输速度,此外,还保证了在图像通路模块120进行图像处理时,读取点阵图像的数据的速度能够符合图像的像素时钟频率。
可选地,在将每条评论内容渲染为像素点阵时,为其添加与其自身颜色相差较大的颜色的边缘,以便在多种图像上添加弹幕时均能得到较好的观看效果。
然后,可将已经渲染为像素点阵的评论内容进行排布。该排布是指将评论内容安排在点阵图像的哪个具***置以及以何种方式安置。可选地,根据每条评论内容的长度、评论内容的发布人、评论内容的重要程度和当前期望出现在屏幕上的评论内容的条数等各类信息对评论内容进行排布。例如,对于较长的评论内容,可以以两行的方式进行排布。评论内容经排布后,可以生成包括评论内容的点阵图像。在所述点阵图像中,所述评论内容用非透明像素表示,所述评论内容以外的部分用与所述非透明像素不同的像素表示。其中,非透明像素表示该像素具有颜色。在上述示例中,该像素的颜色即为所选颜色。在一个示例中,所述与非透明像素不同的像素可以是透明像素。在另一个示例中,所述与非透明像素不同的像素是与非透明像素不同颜色的像素。例如,非透明像素仅包括红色、蓝色和黄色像素。而与非透明像素不同颜色的像素是黑色像素。本领域普通技术人员可以理解,上述示例仅为示意,只要表示评论内容的像素与点阵图像中的其他部分用不同的像素表示,从而能够区分二者即可。
弹幕渲染模块110可以不断重复上述生成点阵图像的过程,从而获得一系列点阵图像。这些点阵图像可以不断传送至图像通路模块120。
示例性地,弹幕渲染模块110可以用任何具有计算能力的计算单元实现,例如中央处理单元(CPU)、图形处理单元(GPU)等。在一个示例中,采用标准的x86CPU来实现。在此基础上,安装了Linux操作***。根据极限压力测试,在网络通畅时,弹幕渲染模块110每秒钟最多可获取12531条评论内容,每秒钟最多可渲染1324个汉字,完全可以满足渲染评论内容的要求。
使用可编程的、具有高速运算能力的器件(例如CPU)来实现弹幕渲染模块,使得弹幕的渲染过程更加灵活可变,降低实现的难度和复杂度,同时增强了弹幕添加装置的健壮性和稳定性。
图像通路模块120用于自信号源接收原始图像。如前所述,该信号源可以是诸如视频信号源的各种图像信号源。相应地,该原始图像可以是诸如连续的视频帧等任意图像,其是待添加弹幕的图像。
图像通路模块120还用于自弹幕渲染模块110接收所生成的点阵图像,并用所述点阵图像中的所述非透明像素替代所述原始图像的对应位置的像素,以生成包括弹幕的图像。在弹幕添加装置100的应用场景中,该包括弹幕的图像可以输出到与弹幕添加装置100连接的显示设备,用于由显示设备进行显示。在原始图像是连续的视频帧的示例中,该包括弹幕的图像也是连续的视频帧。
可以理解,点阵图像和原始图像中的像素从位置角度来说是一一对应的。例如,对于点阵图像和原始图像分辨率一样的情况来说,那么从位置角度来说二者中的像素是一一对应的。对于点阵图像分辨率低于原始图像分辨率的情况来说,那么从位置角度来说,点阵图像中的一个像素可能和原始图像中的多个像素相对应。
示例性地,对于所述点阵图像中表示评论内容的非透明像素,图像通路模块120输出该非透明像素,以代替原始图像的对应位置的像素。对于所述点阵图像中评论内容以外的部分的像素,图像通路模块120可直接输出原始图像的对应位置的像素。
可以理解,在原始图像是连续视频帧的示例中,图像通路模块120可以按次序连续接收点阵图像,并基于点阵图像处理视频帧,从而实现在视频中添加不断移动的弹幕的效果。
示例性地,图像通路模块120可以用集成电路实现,该集成电路包括现场可编程门阵列(FPGA)。
根据本发明的弹幕添加装置直接处理并修改诸如视频帧原始图像,从而可以实时地为原始图像添加弹幕。由此解决了在同一显示设备上,现有弹幕添加软件的弹幕盖不住原始图像的问题,从而保证了弹幕的可视性。
此外,弹幕添加装置整个使用数字逻辑电路进行数字信号的处理,可以极大地减小输出信号和输入信号之间的延迟,并杜绝了画质的损失,且可以处理较高分辨率的图像信号。
图2示出了根据本发明一个实施例的图像通路模块120。该图像通路模块120进一步包括第一输入接口121、第二输入接口122、像素处理单元123和输出接口124。
第一输入接口121用于自弹幕渲染模块110接收所述点阵图像。该第一输入接口121例如是PCI-E接口。
第二输入接口122用于自信号源接收原始图像。该第二输入接口122例如是数字信号显示(DVI、HDMI)接口,图像通路模块120可以经由其与信号源相连接。
像素处理单元123用于针对点阵图像中的非透明像素,直接输出,针对点阵图像中的与上述非透明像素不同的像素,例如透明像素,输出原始图像中的对应像素;以生成包括弹幕的图像。像素处理单元123根据原始图像的当前像素在点阵图像中对应像素的类型做出选择,用点阵图像中的对应像素替换当前像素或者不替换当前像素。由此,原始图像中与评论内容相对应的位置将被替换为评论内容。该像素处理单元123可以用FPGA实现。
第一输出接口124用于输出所述包括弹幕的图像。第一输出接口124可以连接显示设备,将包括弹幕的图像输出到显示设备。第一输出接口124可以是视频图形阵列(VGA)接口或DVI接口。
示例性地,图像通路模块120还可以包括计数器125和第二输出接口126。该计数器125用于在图像通路模块120接收到原始图像后,检测原始图像的分辨率。该分辨率可以用于弹幕渲染模块110生成点阵图像,还可以用于图像通路模块120确定原始图像中的、与点阵图像中的特定像素位置对应的像素。第二输出接口126用于将所检测的分辨率信息发送至弹幕渲染模块110,例如,1920×1080。第二输出接口126例如可以是PCI-E接口等。
弹幕渲染模块110进一步用于自图像通路模块120经由二者之间的双向数据通路接收上述原始图像的分辨率。然后,根据该分辨率对评论内容进行渲染,以生成与所述分辨率相适应的点阵图像。例如该分辨率的点阵图像或与该分辨率兼容的点阵图像等。
弹幕渲染模块110生成与原始图像的分辨率相适应的点阵图像,有利于图像通路模块120正确处理原始图像,从而保证了所生成的包括弹幕的图像的质量。
可选地,图像通路模块120还可以包括缓冲存储器127,用于其在利用点阵图像针对原始图像中的像素进行处理之前,例如,在用点阵图像中的所述非透明像素点替代所述原始图像的对应位置的像素之前,缓存弹幕渲染模块生成的点阵图像。缓冲存储器的存在,使得弹幕渲染模块110生成点阵图像的帧率没有必要和图像通路模块120接收的原始图像的刷新率完全一致,而可以以相对较低的频率渲染和生成点阵图像,同时达到基本令人满意的弹幕观赏效果。此外,还达到了减小通信量的效果。例如,原始图像的分辨率是1920×1080,刷新率为60Hz。如果不使用缓冲存储器,则需要弹幕渲染模块每秒钟同步地渲染60幅点阵图像,才能跟得上原始图像的刷新率。如果使用了缓冲存储器,则原则上可以以任意低的频率进行渲染,而不会导致弹幕添加出现问题。但如果点阵图像渲染频率过低,则会导致弹幕的观看效果变差,产生“一跳一跳”的效果。因此为了保证弹幕的观看效果,优选在弹幕添加模块能达到的范围内,尽可能高频率地渲染点阵图像。
例如,弹幕渲染模块110生成一个点阵图像的时间等于图像通路模块120接收4个原始图像的时间。那么可以在这4个原始图像的处理过程中,均从缓冲存储器获取该同一个点阵图像。从而保证了在较小的通信量的情况下,用户仍能够时刻都观看到包括弹幕的图像。
示例性地,缓冲存储器127可以利用同步动态随机存取存储器(SDRAM)来实现。
在一个示例中,上述像素处理单元123、计数器125和缓冲存储器127可以采用FPGA实现。FPGA中的可配置逻辑块(CLB)和数字时钟管理模块(DCM)确保了像素处理单元123和计数器125的逻辑实现,并且保证了处理速度。FPGA中的嵌入式块随机存取存储器(RAM)可用于实现缓冲存储器127。在本发明的一个示例中,可以完美实时地处理分辨率高达1920×1080,刷新率为60Hz的视频信号。
包括上述图像通路模块120的弹幕添加装置完全利用硬件电路实现,避免了现有的弹幕添加软件的操作***不兼容的问题。
示例性地,弹幕添加装置进一步包括显示设备检测单元和扩展显示识别数据(EDID)传送单元。
显示设备检测单元用于检测是否存在连接到弹幕添加装置的显示设备。扩展显示识别数据传送单元用于当存在连接到弹幕添加装置的显示设备时,自该显示设备获取该显示设备的扩展显示识别数据,并存储所获取的扩展显示识别数据,用于所述信号源读取。
扩展显示识别数据是表示显示设备规格参数的数据。通常扩展显示识别数据存储在显示设备的电可擦可编程只读存储器(EEPROM)中。当弹幕添加装置的显示设备检测单元检测到显示设备连接弹幕添加装置后,扩展显示识别数据传送单元将通过弹幕添加装置与显示设备之间的专用线缆,访问显示设备的EEPROM中的扩展显示识别数据。该专用线缆可以是标准的显示线缆。扩展显示识别数据的传送可以通过该专用线缆的特定信号引脚实现。扩展显示识别数据可包括显示设备的分辨率、刷新率、厂商、型号等信息。当显示设备检测单元检测到存在连接到弹幕添加装置的显示设备时,扩展显示识别数据传送单元可以向信号源发出存在显示设备的信号。信号源接收到该信号后,自扩展显示识别数据传送单元读取该扩展显示识别数据,由此,可知晓显示设备能够接受的视频信号。这样,信号源能够输出适配的原始图像,以供添加弹幕。当显示设备检测单元检测到不存在连接到弹幕添加装置的显示设备时,扩展显示识别数据传送单元可以停止向信号源发出存在显示设备的信号,并且不再回应信号源读取扩展显示识别数据的尝试。这样,信号源可以正确知晓显示设备已经断开连接,从而做出正确处理。
如之前所述,扩展显示识别数据传送单元的存在,确保了弹幕添加装置可以与各种显示设备和信号源适配,例如具有不同分辨率的显示设备,由此保证弹幕添加装置可以正常工作在各种应用场景中。
可选地,上述扩展显示识别数据传送单元还用于在存储所获取的扩展显示识别数据之前,修改所述扩展显示识别数据。例如,修改扩展显示识别数据的0x14偏移处的位7为1,使得信号源输出数字信号。又例如,修改扩展显示识别数据的0x8、0x09偏移处的厂商代码为“THU”。再例如,修改扩展显示识别数据的0x10、0x11偏移处的生产日期等等。通过扩展显示识别数据传送单元修改扩展显示识别数据中的显示设备的厂商、名称等信息,不仅保证弹幕添加装置正常工作在各种应用场景,还可以使得信号源上看到的显示设备是弹幕添加装置。
可选地,所述弹幕添加装置还包括扩展显示识别数据强制复写开关和扩展显示识别数据生成单元。
扩展显示识别数据强制复写开关可具有两个工作状态,例如打开或关闭。其在不同的工作状态时,选择不同的扩展显示识别数据相关部件启动。例如,在扩展显示识别数据强制复写开关打开时,启动扩展显示识别数据生成单元并且同时强制停止显示设备检测单元和扩展显示识别数据传送单元这二者工作。在扩展显示识别数据强制复写开关关闭时,启动显示设备检测单元和扩展显示识别数据传送单元这二者并且停止扩展显示识别数据生成单元工作。
扩展显示识别数据生成单元用于生成扩展显示识别数据并存储所生成的扩展显示识别数据。信号源可以读取所存储的扩展显示识别数据。
也就是说,如果扩展显示识别数据强制复写开关打开,无论是否存在与弹幕添加装置连接的显示设备,都会强行向信号源发出显示设备存在的信号。在信号源尝试读取扩展显示识别数据时,将读取扩展显示识别数据生成单元所生成的扩展显示识别数据。这样,在特殊情况下,显示设备的扩展显示识别数据出现异常时,仍然可以向信号源发送事先预置在弹幕添加装置内的扩展显示识别数据,保证基本的显示功能可用。
示例性地,弹幕添加装置可以进一步包括黑屏单元。黑屏单元用于向图像通路模块输出黑屏信号。当图像通路模块接收到黑屏信号之后,还用于根据黑屏信号生成黑屏图像,用于由显示设备显示。有些应用场景中,可能希望屏蔽原始图像。例如在晚会现场直播时,对于不同节目之间的准备时间,通常希望屏蔽摄像头所采集的图像。此时,可以启动黑屏单元,使得弹幕添加装置生成黑屏图像,以由显示设备显示,达到屏蔽效果。黑屏单元的存在能够方便用户在不中断显示信号的前提下,迅速用全屏黑色画面遮住信号源的原始图像。黑屏单元的存在显著提高了用户体验。
示例性地,弹幕添加装置可以进一步包括调试单元。调试单元用于向图像通路模块输出调试信号。当图像通路模块接收到调试信号之后,启动调试模式。图像通路模块根据调试信号输出调试图像,用于由显示设备显示。调试图像可以预存于图像通路模块的缓冲存储器中。可以理解,在一个示例中,当图像通路模块接收到调试信号后,即其处于调试模式时,直接从预存调试图像的缓冲存储器读取像素点并输出该像素点。当图像通路模块处于正常工作模式时,其可以从缓存点阵图像的缓冲存储器读取像素点,并根据所读取的像素点生成包括弹幕的图像。调试图像的编码格式可以与点阵图像的编码格式相同。
调试单元可以使用户随时测试弹幕添加装置的工作情况,提高了用户体验。
可以理解,上述显示设备检测单元、扩展显示识别数据传送单元、扩展显示识别数据传送单元、扩展显示识别数据强制复写开关、扩展显示识别数据生成单元、黑屏单元和调试单元中的一个或多个可以集成在一个控制模块中。
图3示出了根据本发明另一实施例的弹幕添加装置300的示意性框图。如图3所示,该弹幕添加装置300包括弹幕渲染模块310、图像通路模块320和控制模块330。其中,弹幕渲染模块310和图像通路模块320的基本功能分别与前述弹幕添加装置100中的相应模块类似,为了简洁,在此不再赘述。
该控制模块330包括前述显示设备检测单元、扩展显示识别数据传送单元、扩展显示识别数据传送单元、扩展显示识别数据强制复写开关、扩展显示识别数据生成单元、黑屏单元和调试单元。该控制模块330可以通过通用输入输出接口与图像通路模块320相连接。控制模块330与图像通路模块320之间可以通过该通用输入输出接口进行通信。
可选地,该控制模块还可以包括电源单元。该电源单元可以用于直接连接外部直流电源,并且为图像通路模块和弹幕渲染模块供电。
可选地,该控制模块还可以包括总开关。当总开关打开时,弹幕添加装置启动。控制模块开始为整个弹幕添加装置供电。当总开关关闭时,弹幕添加装置停止工作。控制模块停止为整个弹幕添加装置供电。可以理解,总开关可以由用户手动开启或者由控制机构定时开启。
可选地,该控制模块还可以包括弹幕使能开关。该弹幕使能开关可以用于控制弹幕渲染模块的启动和图像通路模块的操作。当弹幕使能开关打开时,弹幕渲染模块启动,并且图像通路模块执行为原始图像添加弹幕的操作。当弹幕使能开关关闭时,弹幕渲染模块停止工作,并且图像通路模块可以执行播放原始图像的操作、黑屏操作或调试操作。可选地,该弹幕使能开关也可不存在,为原始图像添加弹幕的操作或播放原始图像的操作中的任一个、黑屏操作和调试操作可以依据优先级来确定是否执行。
此外,控制模块还可以包括黑屏开关和/或调试开关,分别用于启动上述黑屏单元和调试单元。如上所述,黑屏单元启动后,则输出黑屏信号;调试单元启动后,则输出调试信号。
可以理解,上述弹幕使能开关、黑屏开关和调试开关可以由用户手动开启或者由控制机构定时开启。
根据本发明另一方面,还提供了一种弹幕添加方法。图4示出了根据本发明一个实施例的弹幕添加方法400的示意性流程图。如图4所示,该弹幕添加方法400包括步骤S410、步骤S430和步骤S450。
在步骤S410中,自信号源接收原始图像。
在步骤S430中,接收评论内容并对所述评论内容进行渲染,以生成点阵图像,在所述点阵图像中,所述评论内容用非透明像素表示,所述评论内容以外的部分用与上述非透明像素不同的像素表示。
在步骤S450中,用所述点阵图像中的所述非透明像素替代所述原始图像的对应位置的像素,以生成包括弹幕的图像,用于显示。示例性地,步骤S450用现场可编程门阵列实现。
图5示出了根据本发明另一实施例的弹幕添加方法500的示意性流程图。其中步骤510、步骤S530和步骤S550分别与上述步骤410、步骤S430和步骤S450的基本功能类似,为了简洁,在此不再赘述。
示例性地,所述步骤S530之前,所述弹幕添加方法500还包括步骤S515,检测所述原始图像的分辨率。示例性地,步骤S515用现场可编程门阵列实现。所述步骤S530中,对所述评论内容进行渲染还根据所述分辨率,以生成与所述分辨率相适应的点阵图像。
示例性地,在步骤S550之前,所述弹幕添加方法500进一步包括步骤S540,缓存所述点阵图像。示例性地,步骤S540用现场可编程门阵列实现。
示例性地,在步骤S510之前,所述弹幕添加方法500进一步包括步骤S501和步骤S503。
在步骤S501中,检测是否存在连接到弹幕添加装置的显示设备。
在步骤S503中,当存在所述显示设备时,自所述显示设备获取扩展显示识别数据,并存储所获取的扩展显示识别数据,用于所述信号源读取。
示例性地,在存储所述所获取的扩展显示识别数据之前,步骤S503进一步包括:修改所述扩展显示识别数据。如此,信号源所读取的扩展显示识别数据为经修改的扩展显示识别数据。
替代地,在步骤S510之前,所述弹幕添加方法500可以进一步包括:由弹幕添加装置生成并存储扩展显示识别数据,用于所述信号源读取。该步骤未在图5中示出。
示例性地,所述弹幕添加方法500进一步包括:根据黑屏信号生成黑屏图像,用于显示。
示例性地,所述弹幕添加方法500进一步包括:根据调试信号输出调试图像,用于显示。
根据上面的描述,构造这类弹幕添加装置所要求的结构是显而易见的。本发明不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的装置中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元组合成一个模块或单元,以及此外可以把它们分成多个子模块或子单元。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种弹幕添加装置,包括经由数字逻辑电路连接的弹幕渲染模块和图像通路模块,其中,
所述弹幕渲染模块用于接收评论内容并对所述评论内容进行渲染,以生成点阵图像,在所述点阵图像中,所述评论内容用非透明像素表示,所述评论内容以外的部分用与所述非透明像素不同的像素表示;
所述图像通路模块用于自信号源接收原始图像,自所述弹幕渲染模块接收所述点阵图像,并用所述点阵图像中的所述非透明像素替代所述原始图像的对应位置的像素,以生成包括弹幕的图像。
2.如权利要求1所述的弹幕添加装置,其特征在于,所述图像通路模块进一步包括:
缓冲存储器,用于在用所述点阵图像中的所述非透明像素点替代所述原始图像的对应位置的像素之前,缓存所述点阵图像。
3.如权利要求1或2所述的弹幕添加装置,其特征在于,所述弹幕添加装置进一步包括:
显示设备检测单元,用于检测是否存在连接到所述弹幕添加装置的显示设备;
扩展显示识别数据传送单元,用于当存在所述显示设备时,自所述显示设备获取扩展显示识别数据,并存储所获取的扩展显示识别数据,用于所述信号源读取。
4.如权利要求3所述的弹幕添加装置,其特征在于,所述扩展显示识别数据传送单元进一步用于在存储所述所获取的扩展显示识别数据之前,修改所述所获取的扩展显示识别数据。
5.如权利要求3所述的弹幕添加装置,其特征在于,所述弹幕添加装置进一步包括扩展显示识别数据强制复写开关和扩展显示识别数据生成单元,其中,
所述扩展显示识别数据强制复写开关用于选择所述显示设备检测单元和所述扩展显示识别数据传送单元这二者同时启动或者选择所述扩展显示识别数据生成单元启动;
所述扩展显示识别数据生成单元用于生成并存储扩展显示识别数据,用于所述信号源读取。
6.如权利要求1或2所述的弹幕添加装置,其特征在于,所述弹幕添加装置进一步包括黑屏单元,用于向所述图像通路模块输出黑屏信号;
所述图像通路模块进一步用于根据所述黑屏信号生成黑屏图像,用于显示。
7.如权利要求1或2所述的弹幕添加装置,其特征在于,所述弹幕添加装置进一步包括调试单元,用于向所述图像通路模块输出调试信号;
所述图像通路模块进一步用于根据所述调试信号输出调试图像,用于显示。
8.如权利要求1或2所述的弹幕添加装置,其特征在于,所述图像通路模块进一步包括:
第一输入接口,用于接收所述点阵图像;
第二输入接口,用于自所述信号源接收所述原始图像;
像素处理单元,用于针对所述点阵图像中的所述与所述非透明像素不同的像素,输出所述原始图像中的对应像素;针对所述点阵图像中的非透明像素,直接输出,以生成所述包括弹幕的图像;以及
第一输出接口,用于输出所述包括弹幕的图像。
9.如权利要求1或2所述的弹幕添加装置,其特征在于,
所述图像通路模块进一步包括计数器和第二输出接口,
所述计数器用于检测所述原始图像的分辨率;
所述第二输出接口用于将所述分辨率经由所述数字逻辑电路发送至所述弹幕渲染模块;
所述弹幕渲染模块进一步用于自所述图像通路模块接收所述原始图像的分辨率,并且根据所述分辨率对所述评论内容进行渲染,以生成与所述分辨率相适应的点阵图像。
10.一种弹幕添加方法,包括:
接收评论内容并对所述评论内容进行渲染,以生成点阵图像,在所述点阵图像中,所述评论内容用非透明像素表示,所述评论内容以外的部分用与所述非透明像素不同的像素表示;
自信号源接收原始图像;以及
用所述点阵图像中的所述非透明像素替代所述原始图像的对应位置的像素,以生成包括弹幕的图像。
CN201610225333.3A 2016-04-12 2016-04-12 弹幕添加装置和方法 Pending CN105898521A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610225333.3A CN105898521A (zh) 2016-04-12 2016-04-12 弹幕添加装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610225333.3A CN105898521A (zh) 2016-04-12 2016-04-12 弹幕添加装置和方法

Publications (1)

Publication Number Publication Date
CN105898521A true CN105898521A (zh) 2016-08-24

Family

ID=57012303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610225333.3A Pending CN105898521A (zh) 2016-04-12 2016-04-12 弹幕添加装置和方法

Country Status (1)

Country Link
CN (1) CN105898521A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303725A (zh) * 2016-08-25 2017-01-04 暴风集团股份有限公司 在渲染器中利用hook实现弹幕的方法及装置
CN107135427A (zh) * 2017-03-28 2017-09-05 武汉斗鱼网络科技有限公司 一种显示弹幕信息的方法和***
WO2018161709A1 (zh) * 2017-03-06 2018-09-13 武汉斗鱼网络科技有限公司 一种弹幕渲染方法及装置
CN109218845A (zh) * 2017-07-01 2019-01-15 武汉斗鱼网络科技有限公司 优化弹幕显示效果的方法、存储介质、电子设备及***
CN112866777A (zh) * 2019-11-27 2021-05-28 西安诺瓦星云科技股份有限公司 图层移动方法及装置、视频处理设备***和存储介质
WO2021175054A1 (zh) * 2020-03-06 2021-09-10 Oppo广东移动通信有限公司 图像数据处理方法及相关装置
CN113721876A (zh) * 2021-09-06 2021-11-30 维沃移动通信有限公司 投屏处理方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015057896A (ja) * 2006-12-11 2015-03-26 株式会社ドワンゴ コメント配信システム、端末装置、コメント配信方法、及びプログラム
CN104935997A (zh) * 2015-06-01 2015-09-23 上海幻电信息科技有限公司 观看者自定义高级弹幕的方法和装置
CN105187891A (zh) * 2015-09-09 2015-12-23 上海微令信息科技有限公司 基于透明浏览器的弹幕屏幕显示***和方法及包括该***的设备
CN105338410A (zh) * 2014-07-07 2016-02-17 乐视网信息技术(北京)股份有限公司 视频的弹幕显示方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015057896A (ja) * 2006-12-11 2015-03-26 株式会社ドワンゴ コメント配信システム、端末装置、コメント配信方法、及びプログラム
CN105338410A (zh) * 2014-07-07 2016-02-17 乐视网信息技术(北京)股份有限公司 视频的弹幕显示方法及装置
CN104935997A (zh) * 2015-06-01 2015-09-23 上海幻电信息科技有限公司 观看者自定义高级弹幕的方法和装置
CN105187891A (zh) * 2015-09-09 2015-12-23 上海微令信息科技有限公司 基于透明浏览器的弹幕屏幕显示***和方法及包括该***的设备

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303725A (zh) * 2016-08-25 2017-01-04 暴风集团股份有限公司 在渲染器中利用hook实现弹幕的方法及装置
WO2018161709A1 (zh) * 2017-03-06 2018-09-13 武汉斗鱼网络科技有限公司 一种弹幕渲染方法及装置
CN107135427A (zh) * 2017-03-28 2017-09-05 武汉斗鱼网络科技有限公司 一种显示弹幕信息的方法和***
CN107135427B (zh) * 2017-03-28 2021-01-01 武汉斗鱼网络科技有限公司 一种显示弹幕信息的方法和***
CN109218845A (zh) * 2017-07-01 2019-01-15 武汉斗鱼网络科技有限公司 优化弹幕显示效果的方法、存储介质、电子设备及***
CN109218845B (zh) * 2017-07-01 2020-09-04 武汉斗鱼网络科技有限公司 优化弹幕显示效果的方法、存储介质、电子设备及***
CN112866777A (zh) * 2019-11-27 2021-05-28 西安诺瓦星云科技股份有限公司 图层移动方法及装置、视频处理设备***和存储介质
CN112866777B (zh) * 2019-11-27 2022-12-09 西安诺瓦星云科技股份有限公司 图层移动方法及装置、视频处理设备***和存储介质
WO2021175054A1 (zh) * 2020-03-06 2021-09-10 Oppo广东移动通信有限公司 图像数据处理方法及相关装置
CN113721876A (zh) * 2021-09-06 2021-11-30 维沃移动通信有限公司 投屏处理方法及相关设备

Similar Documents

Publication Publication Date Title
CN105898521A (zh) 弹幕添加装置和方法
CN104685868B (zh) 用于校准成像装置的方法及设备
CN104917990B (zh) 通过调整垂直消隐进行视频帧速率补偿
US9570036B2 (en) Method and device for processing video image
US10574937B2 (en) Method for high-definition image processing, method for high-definition image playback and related apparatus and system
KR102344545B1 (ko) 영상처리장치 및 그 제어방법
JP2008268971A (ja) 画面上の画像フレームを更新する方法及び表示システム
US20100302352A1 (en) Video data signal, system and method for controlling shutter glasses
US20160255315A1 (en) Digital movie projection system and method
US20220345769A1 (en) Image data processing device and method, and display device
CN104978929A (zh) Led显示装置逐点校正方法、校正用***架构和控制器
GB2538797B (en) Managing display data
KR102505197B1 (ko) 표시 장치 및 그것의 구동 방법
CN103747191A (zh) 网络交互式高清字符叠加***
CN204650502U (zh) 影像桥接装置及影像输出***
CN113099212A (zh) 3d显示方法、装置、计算机设备和存储介质
CN113126938B (zh) 图像显示控制方法及装置、显示箱体和显示***
US9865226B2 (en) Image color correction for electronic displays
TWI520577B (zh) 立體影像輸出裝置與相關的立體影像輸出方法
CN207530948U (zh) 一种视频字符叠加***
CN105472467A (zh) 界面显示方法及***
CN203675196U (zh) 网络控制3g-sdi高清字符叠加器
CN110741634B (zh) 图像处理方法、头戴显示设备和头戴显示***
CN107978285A (zh) 用于响应显示数据而驱动显示面板的装置和方法
CN110830760B (zh) 一种安全网络数据交互***及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160824

RJ01 Rejection of invention patent application after publication