发明内容
本发明实施例所要解决的技术问题在于,提供一种图像显示装置、图像显示***和图像显示方法,以解决现有技术中在图像进行同屏传输时存在的传输效率低、画面失真及缩放效果较差技术问题。
为实现上述目的,本发明提供一种图像显示装置,通过网络与至少一接收设备进行通信连接,该图像显示装置包括中央处理器、存储器、显示控制器以及显示器,该中央处理器执行应用程序,该图像显示装置还包括:
输出捕获单元,用于从该应用程序捕获输出数据,该输出数据包括图像播放指令、原始图像数据以及音频数据。
输出编码器,用于对由该输出捕获单元捕获的输出数据进行压缩编码以生成编码数据包。
以及传送器,用于将由该输出编码器生成的编码数据包发送至该至少一个接收设备,触发该接收设备对接收到的编码数据包进行解码以按照该图像播放指令显示该原始图像数据以及播放该音频数据。
为实现发明目的,本发明还提供一种图像显示***,包括一发送设备及通过网络与该发送设备通信连接的至少一接收设备,该发送设备包括中央处理器、存储器、显示控制器以及显示器,该中央处理器执行应用程序。该发送设备还包括:
输出捕获单元,用于从该应用程序捕获输出数据,该输出数据包括图像播放指令、原始图像数据以及音频数据。
输出编码器,用于对由该输出捕获单元捕获的输出数据进行压缩编码以生成编码数据包。
以及传送器,用于将由该输出编码器生成的编码数据包发送至该至少一个接收设备。
该接收设备用于接收由该发送设备发送的编码数据包,并解码接收到的该编码数据包以按照该图像播放指令显示该原始图像数据以及播放该音频数据。
进一步地,本发明还提供一种图像显示方法,包括:
建立一发送设备与至少一接收设备的通信连接。
从该发送设备运行的应用程序捕获输出数据,该输出数据包括图像播放指令、原始图像数据以及音频数据。
压缩编码该捕获的输出数据以生成编码数据包。
以及发送该编码数据包至该至少一个接收设备,触发该接收设备解码接收到的该编码数据包以按照该图像播放指令显示该原始图像数据以及播放该音频数据。
具体实施方式
为详细说明本发明的技术内容、构造特征、所实现目的及效果,以下结合实施方式并配合附图详予说明。
请参考图1,该图像显示***10包括一发送设备20以及至少一个接收设备30,该发送设备20与每个接收设备30通过网络进行通信连接,在本实施方式中,该网络为基于TCP/IP协议的通信网络。其中,该发送设备20以及该接收设备30可以为便携式电子装置,例如便携式计算机(例如膝上型计算机、笔记本计算机或平板计算机),其它的电子装置还可以包括可视媒体播放器、蜂窝电话、个人数据管理器等,还可以是台式计算机。
该发送设备20用于显示图像数据,同时通过网络发送该显示的图像数据,该接收设备30被用于显示该图像数据。其中,由发送设备20发送的所需显示的图像数据与接收设备30能够显示的图像数据的图像码不同。在本实施方式中,该发送设备20所能显示图像数据的图像码小于该接收设备30所能显示图像数据的图像码。
请同时参阅图2,该发送设备20包括中央处理器(CPU) 21、存储器22、显示控制器23以及显示器24。 CPU 21用于提供处理能力以执行操作***、程序、用户和应用界面、以及发送设备20的任何其他功能。在本实施方式中,应用程序210由CPU 21在管理程序中或无管理程序的操作***中执行(操作***和管理程序在图中未显示)。例如,操作***包含Windows XP、UNIX、Android等。
该发送设备20还包括输出捕获单元25、输出编码器26以及传送器27以及。该输出捕获单元25用于从应用程序210捕获输出数据,该输出数据包括图像播放指令、原始图像数据以及音频数据。例如,输出捕获单元25可捕捉图像API指令、视频影像或是多媒体API指令(例如展示视频、图形指令、纹理数据、顶点数据等)。该显示器24可以包括液晶显示器(LCD),该显示控制器23连接在CPU 21与显示器24之间,在输出捕获单元25捕获输出数据的同时该显示控制器23用于响应该图像播放指令控制显示器24显示该原始图像数据。该输出编码器26对由输出捕获单元25捕获的输出数据进行压缩编码以生成编码数据包。压缩编码过程的详细情况将在下文进行描述。该传送器27用于管理通过网络至多个接收设备30的传输,并确保上述传输在多个接收设备30之间同步进行,还用于将由输出编码器26生成的编码数据包发送至每个接收设备30。
由于很多图像存在每一帧调用许多无用的显示处理指令,这对本地运行影响不大,但对需要发送到网络另一端就会因为数据量大而影响网络带宽。对于包含顶点数据的显示处理有可能包含大量的当前帧不需要的顶点数据。因此,该输出编码器26对个别数据相似性低的图像播放指令以及对应的原始图像数据进行通用压缩,其余的图像播放指令及对应的原始图像数据进行差量压缩,过滤冗余的图像显示指令,并且对于包含顶点数据的图像显示指令仅发送当前帧需要用到的顶点数据,从而提高压缩效率。在本实施方式中,该输出编码器26利用音频压缩算法(Advanced Audio Compression,AAC)对该输出捕获单元25捕获的输出数据进行压缩编码以生成编码数据包。
该输出捕获单元24、输出编码器26和传送单元27能以应用程序210在本机操作***的内置和用户模式上执行的软件程序而实现。
每个接收设备30包括存储器31、输入编码器32、输出解码器33、输出显示控制器34以及显示器35。其中,该输入编码器 32 和输出解码器33与存储器31相连接,该输入编码器32用于接收由发送设备20发送的经过压缩编码的编码数据包,并以编码输入数据为回应。在本实施方式中,由输入编码器32确定的输入数据可以在接收设备30和操作***中由该输入编码器 32进行独立格式的编码。该输出解码器32用于对所接收的输出数据进行解码,在本实施方式中,该输出解码器32包含音频/视频编解码器、图像编解码器和图形指令库(图未示)。该输出显示控制器34用于根据显示器35的显示参数控制显示器35按照图像播放指令显示原始图像数据以及播放音频数据。其中,显示器35的显示参数包括分辨率、图像码等。
在本实施方式中,该发送设备20的输出编码器26还用于再编码压缩输出数据的同时增加时间戳,确保各接收设备30的时钟同步,并在需要时,调整比特率、编码数据、可用网络带宽,以及参与通信会话中每个接收器的处理能力和延时。该接收设备30的输出解码器32还用于按照该时间戳播放音频数据使该音频数据与该原始图像数据的播放同步。
该发送设备20和接收设备30同时显示的图像的每一帧都有一个绘制指令表示该帧的结束,而每一帧中的所有指令的集合等价于通常所述的画面帧。音频的每帧播放间隔基本是一样的,而图像显示是碰到结束指令才能算真正的一帧,并且每一帧的指令数量是不一致的,因此其播放的间隔不一样。为了保证发送设备20和接收设备30显示图像数据的同时音频能够与图像同步,在发送设备20和接收设备30同时显示图像数据时记录该起始时间,并记录音频和图像当前一帧相对起始时间的时间戳,在接收到音视频数据时,通过比对其最接近的时间戳来达到同步的目的。
请参阅图3,为本发明图像显示方法的流程图,该方法包括:
步骤S40,该发送设备20与该至少一个接收设备30通过网络建立通信连接。
在本实施方式中,该网络为基于TCP/IP协议的通信网络。
其中,由发送设备20发送的所需显示的图像数据与接收设备30能够显示的图像数据的图像码不同。在本实施方式中,该发送设备20所能显示图像数据的图像码小于该接收设备30所能显示图像数据的图像码。
步骤S41,该输出捕获单元25从应用程序210捕获输出数据,该输出数据包括图像播放指令、原始图像数据以及音频数据。例如,输出捕获单元25可捕捉图像API指令、视频影像或是多媒体API指令(例如展示视频、图形指令、纹理数据、顶点数据等)。
其中,在输出捕获单元25捕获输出数据的同时,该显示控制器23响应该图像播放指令控制显示器24显示该原始图像数据。
步骤S42,该输出编码器26对由输出捕获单元25捕获的输出数据进行压缩编码以生成编码数据包。
具体地,该输出编码器26对个别数据相似性低的图像播放指令以及对应的原始图像数据进行通用压缩,其余的图像播放指令及对应的原始图像数据进行差量压缩,过滤冗余的图像显示指令,并且对于包含顶点数据的图像显示指令仅发送当前帧需要用到的顶点数据,从而提高压缩效率。在本实施方式中,该输出编码器26利用音频压缩算法(AdvancedAudio Compression,AAC)对该输出捕获单元25捕获的输出数据进行压缩编码以生成编码数据包。
步骤S43,传送器27管理通过网络至多个接收设备30的传输,并确保上述传输在多个接收设备30之间同步进行,并将由输出编码器26生成的编码数据包发送至每个接收设备30。该接收设备30接收由发送设备20发送的编码数据包,解码该编码数据包以按照所述图像播放指令显示该原始图像数据以及播放该音频数据。
具体地,该接收设备30的输入编码器32接收由发送设备20发送的经过压缩编码的编码数据包,并以编码输入数据为回应。在本实施方式中,由输入编码器32确定的输入数据可以在接收设备30和操作***中由该输入编码器 32进行独立格式的编码。该输出解码器32对所接收的输出数据进行解码,在本实施方式中,该输出解码器32包含音频/视频编解码器、图像编解码器和图形指令库(图未示)。该输出显示控制器34用于根据显示器35的显示参数控制显示器35按照图像播放指令显示原始图像数据以及播放音频数据。其中,显示器35的显示参数包括分辨率、图像码等。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。