CN105635774A - 图像处理方法及装置 - Google Patents

图像处理方法及装置 Download PDF

Info

Publication number
CN105635774A
CN105635774A CN201510994009.3A CN201510994009A CN105635774A CN 105635774 A CN105635774 A CN 105635774A CN 201510994009 A CN201510994009 A CN 201510994009A CN 105635774 A CN105635774 A CN 105635774A
Authority
CN
China
Prior art keywords
video data
interconnecting application
data stream
unit
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510994009.3A
Other languages
English (en)
Inventor
陈聪
宋晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201510994009.3A priority Critical patent/CN105635774A/zh
Publication of CN105635774A publication Critical patent/CN105635774A/zh
Priority to PCT/CN2016/088100 priority patent/WO2017107424A1/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供一种图像处理方法及装置。本发明实施例通过获取互联应用所在第一终端设备所连接的第二终端设备的显示装置上可投射区域所显示的投射图像数据，进而对所述投射图像数据，进行视频编码处理，以获得投射视频数据流，使得能够向所述互联应用发送投射视频数据流，以供所述互联应用输出所述投射视频数据流，由于通过将配合应用所在终端设备的显示装置所显示的实时内容投射到互联应用中进行输出，使得互联应用不再独立输出其相关的服务内容，因此，只需要针对互联应用所实现的简单服务即内容输出服务，开发该互联应用，无需针对配合应用所实现的复杂服务内容，开发该互联应用，能够有效降低互联应用的开发时间，从而提高了应用的开发效率。

Description

图像处理方法及装置
【技术领域】
本发明涉及通信技术，尤其涉及一种图像处理方法及装置。
【背景技术】
随着通信技术的发展，终端设备集成了越来越多的功能，从而使得终端设备的***功能列表中包含了越来越多相应的应用(Application，APP)。有些终端设备上所安装的应用，本发明中称为互联应用，需要通过与其连接的另一个终端设备上安装一个相关的配合应用才能正常使用，否则没有任何使用价值，特别是对于一些车机互联应用。通常，两个相关的应用即互联应用与配合应用可以各自独立输出其相关的服务内容，用户可以通过在互联应用中进行操作，从而实现操作与其所在终端设备连接的另一个终端设备上的配合应用，以使用配合应用所提供的服务。
然而，由于两个相关的应用即互联应用与配合应用各自独立输出其相关的服务内容，使得需要针对配合应用所实现的服务内容，分别独立开发两个相关的应用中每个应用，从而导致了应用的开发效率的降低。
【发明内容】
本发明的多个方面提供一种图像处理方法及装置，用以提高应用的开发效率。
本发明的一方面，提供一种图像处理方法，包括：
获取互联应用所在第一终端设备所连接的第二终端设备的显示装置上可投射区域所显示的投射图像数据；
对所述投射图像数据，进行视频编码处理，以获得投射视频数据流；
向所述互联应用发送投射视频数据流，以供所述互联应用输出所述投射视频数据流。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述投射视频数据流包括：
带DTS和PTS中的至少一项的视频数据帧；或者
不带DTS和PTS的视频数据帧；或者
基于RTP进行传输的视频数据。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述向所述互联应用发送投射视频数据流方法之后，还包括：
所述互联应用利用至少一个组件，对所述投射视频数据流进行处理，以输出所述投射视频数据流。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述至少一个组件包括视频源组件、视频过滤组件、硬解码组件和视频输出组件。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，
所述第一终端设备为车载终端设备；
所述第二终端设备为用户终端设备。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述车载终端设备的操作***为Linux操作***、WinCE操作***、QNX操作***或Android操作***。
本发明的另一方面，提供一种图像处理装置，包括：
获取单元，用于获取互联应用所在第一终端设备所连接的第二终端设备的显示装置上可投射区域所显示的投射图像数据；
编码单元，用于对所述投射图像数据，进行视频编码处理，以获得投射视频数据流；
发送单元，用于向所述互联应用发送投射视频数据流，以供所述互联应用输出所述投射视频数据流。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述投射视频数据流包括：
带DTS和PTS中的至少一项的视频数据帧；或者
不带DTS和PTS的视频数据帧；或者
基于RTP进行传输的视频数据。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，
所述第一终端设备为车载终端设备；
所述第二终端设备为用户终端设备。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述车载终端设备的操作***为Linux操作***、WinCE操作***、QNX操作***或Android操作***。
由所述技术方案可知，本发明实施例通过获取互联应用所在第一终端设备所连接的第二终端设备的显示装置上可投射区域所显示的投射图像数据，进而对所述投射图像数据，进行视频编码处理，以获得投射视频数据流，使得能够向所述互联应用发送投射视频数据流，以供所述互联应用输出所述投射视频数据流，由于通过将配合应用所在终端设备的显示装置所显示的实时内容投射到互联应用中进行输出，使得互联应用不再独立输出其相关的服务内容，因此，只需要针对互联应用所实现的简单服务即内容输出服务，开发该互联应用，无需针对配合应用所实现的复杂服务内容，开发该互联应用，能够有效降低互联应用的开发时间，从而提高了应用的开发效率。
另外，采用本发明所提供的技术方案，通过获取互联应用所在第一终端设备所连接的第二终端设备的显示装置上可投射区域所显示的原始图像数据，进而根据预设图像转换参数，对所述原始图像数据进行图像转换处理，以获得投射图像数据，使得能够将所述投射图像数据存储为指定数据格式，以供对所述指定数据格式的投射图像数据，进行视频编码处理，以获得投射视频数据流发送给所述互联应用，无需人工参与，操作简单，而且正确率高，从而提高了图像处理的效率和可靠性。
另外，采用本发明所提供的技术方案，一旦获取原始图像数据，即能够自动获得视频编码处理所需要的投射图像数据，能够有效提高图像处理的效率，而且能够有效提高图像处理的自动化程度。
【附图说明】
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的图像处理方法的流程示意图；
图2为本发明另一实施例提供的图像处理装置的结构示意图。
【具体实施方式】
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例中所涉及的用户终端设备可以包括但不限于手机、个人数字助理(PersonalDigitalAssistant，PDA)、无线手持设备、平板电脑(TabletComputer)、个人电脑(PersonalComputer，PC)、MP3播放器、MP4播放器、可穿戴设备(例如，智能眼镜、智能手表、智能手环等)等。本发明实施例中所涉及的车载终端设备，还可以称为车机，指的是安装在汽车里面的车载信息娱乐产品的简称，车机在功能上要能够实现人与车，车与外界(车与车)的信息通信。所述车载终端设备的操作***可以为但不限于Linux操作***、WinCE操作***、QNX操作***或Android操作***，本实施例对此不进行特别限定。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为本发明一实施例提供的图像处理方法的流程示意图，如图1所示。
101、获取互联应用所在第一终端设备所连接的第二终端设备的显示装置上可投射区域所显示的投射图像数据。
本发明中，第一终端设备与第二终端设备通过但不限于蓝牙连接、通用串行总线(UniversalSerialBus，USB)连接和无线相容性认证(WirelessFidelity，WI-FI)连接中的至少一项进行连接，本实施例对此不进行特别限定。
102、对所述投射图像数据，进行视频编码处理，以获得投射视频数据流。
103、向所述互联应用发送投射视频数据流，以供所述互联应用输出所述投射视频数据流。
需要说明的是，101～103的执行主体可以为位于第二终端设备的应用即互联应用所对应的配合应用，或者还可以为设置在位于第二终端设备的应用(即互联应用所对应的配合应用)中的插件或软件开发工具包(SoftwareDevelopmentKit，SDK)等功能单元，本实施例对此不进行特别限定。
可以理解的是，所述应用可以是安装在第二终端设备上的本地程序(nativeApp)，或者还可以是第二终端设备上的浏览器的一个网页程序(webApp)，本实施例对此不进行特别限定。
这样，通过获取互联应用所在第一终端设备所连接的第二终端设备的显示装置上可投射区域所显示的投射图像数据，进而对所述投射图像数据，进行视频编码处理，以获得投射视频数据流，使得能够向所述互联应用发送投射视频数据流，以供所述互联应用输出所述投射视频数据流，由于通过将配合应用所在终端设备的显示装置所显示的实时内容投射到互联应用中进行输出，使得互联应用不再独立输出其相关的服务内容，因此，只需要针对互联应用所实现的简单服务即内容输出服务，开发该互联应用，无需针对配合应用所实现的复杂服务内容，开发该互联应用，能够有效降低互联应用的开发时间，从而提高了应用的开发效率。
可选地，在本实施例的一个可能的实现方式中，所述第一终端设备优选为车载终端设备；所述第二终端设备优选为用户终端设备。
反过来，所述第一终端设备也可以为用户终端设备；所述第二终端设备也可以为车载终端设备。但是，在实际应用中，用户终端设备上所安装的应用都可以单独执行，无需依赖与其连接的另一个终端设备才能正常使用，或者依赖与其连接的另一个终端设备上安装一个相应的配合应用才能正常使用。
本发明中，在完成第一终端设备与第二终端设备之间的设备连接建立之后，基于所建立的设备连接，还需要进一步建立第一终端设备上的互联应用与第二终端设备上的配合应用之间的通信连接。这样，用户才可以通过互联应用，操作配合应用或者配合应用所在第二终端设备。
可以理解的是，所述通信连接可以包括但不限于蓝牙连接、USB连接和WI-FI连接中的至少一项，本实施例对此不进行特别限定。
具体来说，具体可以通过第一终端设备上的互联应用与第二终端设备上的配合应用之间的通信连接，向所述互联应用发送投射视频数据流，以供所述互联应用输出所述投射视频数据流。
可选地，在本实施例的一个可能的实现方式中，在101中，具体可以对所述第二终端设备的显示装置所显示的界面进行图像截取处理，以获得原始图像数据。进而，则可以根据操作人员根据配合应用所在的终端设备的品牌和型号所设置的图像处理参数，对原始图像数据进行一系列转换处理，以获得配合应用所在第二终端设备的视频编码硬件所能够处理的投射图像数据。这样，则可以对所获得的投射图像数据进行视频编码处理，以获得视频数据流，发送给所述互联应用进行输出。
然而，由于配合应用所在的第二终端设备的类型繁多，采用人工操作来逐一根据每种第二终端设备设置不同的图像处理参数，会使得操作复杂，且容易出错，从而导致了图像处理的效率和可靠性的降低。为了解决这一问题，提出了另外一个可能的实现方式。
在该可能的实现方式中，具体可以获取互联应用所在第一终端设备所连接的第二终端设备的显示装置上可投射区域所显示的原始图像数据，进而，则可以根据预设图像转换参数，对所述原始图像数据进行图像转换处理，以获得投射图像数据。然后，则可以将所述投射图像数据存储为指定数据格式，以供对所述指定数据格式的投射图像数据，进行视频编码处理，以获得投射视频数据流发送给所述互联应用。
在该实现方式中，还可以进一步获取所述第二终端设备的显示装置的尺寸数据，进而，则可以根据所述显示装置的尺寸数据，获得所述可投射区域。
在一个具体的实现过程中，具体可以根据显示装置的尺寸数据，例如，720像素(宽)×1280像素(高)，将显示装置的全部显示区域，作为所述可投射区域即起始点为(0，0)，宽为720个像素，高为1280个像素的矩形区域。
在另一个具体的实现过程中，具体可以获取所述第二终端设备的虚拟按键和/或状态栏在所述显示装置上的位置数据，例如，进行竖屏显示时，虚拟按键在显示装置的显示区域的下侧，状态栏在显示装置的显示区域的上侧；进行横屏显示时，虚拟按键在显示装置的显示区域的右侧，状态栏一般不予显示等，进而，则可以根据所述显示装置的尺寸数据和所述虚拟按键和/或状态栏在所述显示装置上的位置数据，将显示装置的全部显示区域中除了虚拟按键和/或状态栏所在显示区域之外的其他显示区域，作为所述可投射区域。
在该实现方式中，所采用的所述图像转换参数，可以包括但不限于下列参数中的至少一项：
图像缩放参数；
图像剪裁参数；以及
图像翻转参数。
在一个具体的实现过程中，若所述可投射区域为显示装置的全部显示区域中除了虚拟按键和/或状态栏所在显示区域之外的其他显示区域，具体可以根据所述可投射区域的尺寸数据，以及与第一终端设备的显示装置的尺寸数据一致或接近的预设尺寸数据，直接确定图像缩放参数即横向缩放比例和纵向缩放比例。利用该图像缩放参数，则可以将所获取的原始图像数据的尺寸转换为预设尺寸。
具体来说，可以预先设置若干组预设尺寸数据即宽高参数对，根据第一终端设备的显示装置的尺寸数据，选择满足转换需求的一组预设尺寸数据，执行上述操作。
在另一个具体的实现过程中，若所述可投射区域为显示装置的全部显示区域，具体可以根据所述可投射区域的尺寸数据，以及稍微大于第一终端设备的显示装置的尺寸数据的预设尺寸数据，确定图像缩放参数即横向缩放比例和纵向缩放比例。然后，再根据预设尺寸数据和第二终端设备的虚拟按键和/或状态栏在所述显示装置上的位置数据，获得图像剪裁参数。利用该图像剪裁参数，则可以将经过缩放处理之后的图像数据中除了虚拟按键和/或状态栏所在区域的图像之外的图像数据提取出来。
具体来说，可以预先设置若干组预设尺寸数据即宽高参数对，根据第一终端设备的显示装置的尺寸数据，选择满足转换需求的一组预设尺寸数据，执行上述操作。
在另一个具体的实现过程中，根据所获取的原始图像数据的横纵比，以及第一终端设备的显示装置的横纵比，获得图像翻转参数。例如，根据所获取的原始图像数据的横纵比，确定所获取的原始图像数据为竖屏图像数据，根据第一终端设备的显示装置的横纵比，确定第一终端设备为横屏显示装置，因此，则可以获得以指定点作为旋转中心，顺时针旋转270°的图像翻转参数。利用该图像翻转参数，则可以将经过缩放处理之后的图像数据进行翻转，以使得经过缩放处理之后的图像数据的起始点与翻转之后的图像数据的起始点重合。
在该实现方式中，还可以进一步获取所述第二终端设备的视频编码硬件的硬件信息，进而，则可以根据所述视频编码硬件的硬件信息，确定所述视频编码硬件所对应的所述指定数据格式。
所谓的视频编码硬件的硬件信息，是指视频编码硬件的硬件名称、硬件类型、待处理图像数据的数据格式等基本属性。根据所述视频编码硬件的硬件信息，则可以确定所述视频编码硬件在执行视频编码处理时所要求的待处理图像数据的数据格式，并可以将该数据格式作为所述指定数据格式。
在一个具体的实现过程中，具体可以直接将所述投射图像数据存储为指定数据格式，例如，RGB_565，其中，R表示红色分量，G绿色分量，B蓝色分量，分别用5位、6位和5位记录RGB值，即R＝5，G＝6，B＝5，那么，一个像素点占5+6+5＝16位。
例如，由于不同终端设备获取其显示装置所显示的界面的图像数据的存储格式各不相同，因此，可以预先获取第二终端设备的显示装置所显示的任意界面的图像数据，根据该图像数据，确定其存储格式。若该存储格式为所述指定数据格式，那么，则可以将后续所获得的投射图像数据，直接进行存储处理；若该存储格式不为所述指定数据格式，那么，则可以将后续所获得的该存储格式的投射图像数据，先转换为所述指定数据格式的投射图像数据，再进行存储处理。其中，具体的转换规则，可以采用现有技术中所提供的转换规则，或者还可以采用本发明自定义的转换规则，本实施例对此不进行特别限定。
在另一个具体的实现过程中，具体可以将所述投射图像数据存储为预设数据格式，例如，ARGB_8888，其中，A表示透明度分量，R表示红色分量，G绿色分量，B蓝色分量，分别用8位记录ARGB值，即A＝8，R＝8，G＝8，B＝8，那么，一个像素点占8+8+8+8＝32位。
例如，由于不同终端设备获取其显示装置所显示的界面的图像数据的存储格式各不相同，因此，可以预先获取第二终端设备的显示装置所显示的任意界面的图像数据，根据该图像数据，确定其存储格式。若该存储格式为所述预设数据格式，那么，则可以将后续所获得的投射图像数据，直接进行存储处理；若该存储格式不为所述预设数据格式，那么，则可以将后续所获得的该存储格式的投射图像数据，先转换为所述预设数据格式的投射图像数据，再进行存储处理。其中，具体的转换规则，可以采用现有技术中所提供的转换规则，或者还可以采用本发明自定义的转换规则，本实施例对此不进行特别限定。
进而，则可以将所述预设数据格式的投射图像数据存储为所述指定数据格式。具体来说，可以将所述预设数据格式的投射图像数据，先转换为所述指定数据格式的投射图像数据，再进行存储处理。其中，具体的转换规则，可以采用现有技术中所提供的转换规则，或者还可以采用本发明自定义的转换规则，本实施例对此不进行特别限定。
这样，通过获取互联应用所在第一终端设备所连接的第二终端设备的显示装置上可投射区域所显示的原始图像数据，进而根据预设图像转换参数，对所述原始图像数据进行图像转换处理，以获得投射图像数据，使得能够将所述投射图像数据存储为指定数据格式，以供对所述指定数据格式的投射图像数据，进行视频编码处理，以获得投射视频数据流发送给所述互联应用，无需人工参与，操作简单，而且正确率高，从而提高了图像处理的效率和可靠性。
可选地，在本实施例的一个可能的实现方式中，所获得的所述投射视频数据流，可以包括但不限于：
带解码时间标签(DecodeTimeStamp，DTS)和显示时间标签(PresentationTimeStamp，PTS)中的至少一项的视频数据帧；或者
不带DTS和PTS的视频数据帧；或者
基于实时传输协议(Real-timeTransportProtocol，RTP)进行传输的视频数据。
其中，DTS用于标识读入内存中的投射视频数据流在什么时候开始送入解码器中进行解码；PTS用于度量解码后的视频帧什么时候被显示出来。
在该实现方式中，若所获得的所述投射视频数据流为不带DTS和PTS的视频数据帧，那么，互联应用在接收到所述投射视频数据之后，则可以实时进行解码和显示，从而能够有效提高图像处理的实时性。
可选地，在本实施例的一个可能的实现方式中，在103之后，所述互联应用还可以利用至少一个组件，对所述投射视频数据流进行处理，以输出所述投射视频数据流。
具体来说，所述至少一个组件可以包括但不限于视频源组件、视频过滤组件、硬解码组件和视频输出组件，本实施例对此不进行特别限定。
视频源组件，用于接收所述投射视频数据中所包含的视频帧，并调整视频帧的传输速度，以保证每秒所传输的视频帧数满足预先设置的条件。
视频过滤组件，对视频源组件所输出的视频帧进行过滤处理。
硬解码组件，对视频过滤组件所输出的视频帧，进行解码处理。
视频输出组件，将硬解码组件所输出的解码之后的视频帧，进行播放。
本实施例中，通过获取互联应用所在第一终端设备所连接的第二终端设备的显示装置上可投射区域所显示的投射图像数据，进而对所述投射图像数据，进行视频编码处理，以获得投射视频数据流，使得能够向所述互联应用发送投射视频数据流，以供所述互联应用输出所述投射视频数据流，由于通过将配合应用所在终端设备的显示装置所显示的实时内容投射到互联应用中进行输出，使得互联应用不再独立输出其相关的服务内容，因此，只需要针对互联应用所实现的简单服务即内容输出服务，开发该互联应用，无需针对配合应用所实现的复杂服务内容，开发该互联应用，能够有效降低互联应用的开发时间，从而提高了应用的开发效率。
另外，采用本发明所提供的技术方案，通过获取互联应用所在第一终端设备所连接的第二终端设备的显示装置上可投射区域所显示的原始图像数据，进而根据预设图像转换参数，对所述原始图像数据进行图像转换处理，以获得投射图像数据，使得能够将所述投射图像数据存储为指定数据格式，以供对所述指定数据格式的投射图像数据，进行视频编码处理，以获得投射视频数据流发送给所述互联应用，无需人工参与，操作简单，而且正确率高，从而提高了图像处理的效率和可靠性。
另外，采用本发明所提供的技术方案，一旦获取原始图像数据，即能够自动获得视频编码处理所需要的投射图像数据，能够有效提高图像处理的效率，而且能够有效提高图像处理的自动化程度。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在所述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
图2为本发明另一实施例提供的图像处理装置的结构示意图，如图2所示。本实施例的图像处理装置可以包括获取单元21、编码单元22和发送单元23。其中，获取单元21，用于获取互联应用所在第一终端设备所连接的第二终端设备的显示装置上可投射区域所显示的投射图像数据；编码单元22，用于对所述投射图像数据，进行视频编码处理，以获得投射视频数据流；发送单元23，用于向所述互联应用发送投射视频数据流，以供所述互联应用输出所述投射视频数据流。
需要说明的是，本实施例的图像处理装置可以为位于第二终端设备的应用即互联应用所对应的配合应用，或者还可以为设置在位于第二终端设备的应用(即互联应用所对应的配合应用)中的插件或软件开发工具包(SoftwareDevelopmentKit，SDK)等功能单元，本实施例对此不进行特别限定。
可以理解的是，所述应用可以是安装在第二终端设备上的本地程序(nativeApp)，或者还可以是第二终端设备上的浏览器的一个网页程序(webApp)，本实施例对此不进行特别限定。
可选地，在本实施例的一个可能的实现方式中，所述第一终端设备优选为车载终端设备；所述第二终端设备优选为用户终端设备。
反过来，所述第一终端设备也可以为用户终端设备；所述第二终端设备也可以为车载终端设备。但是，在实际应用中，用户终端设备上所安装的应用都可以单独执行，无需依赖与其连接的另一个终端设备才能正常使用，或者依赖与其连接的另一个终端设备上安装一个相应的配合应用才能正常使用。
可选地，在本实施例的一个可能的实现方式中，所述编码单元22所获得的所述投射视频数据流，可以包括但不限于：
带解码时间标签(DecodeTimeStamp，DTS)和显示时间标签(PresentationTimeStamp，PTS)中的至少一项的视频数据帧；或者
不带DTS和PTS的视频数据帧；或者
基于实时传输协议(Real-timeTransportProtocol，RTP)进行传输的视频数据。
需要说明的是，图1对应的实施例中方法，可以由本实施例提供的图像处理装置实现。详细描述可以参见图1对应的实施例中的相关内容，此处不再赘述。
本实施例中，通过获取单元获取互联应用所在第一终端设备所连接的第二终端设备的显示装置上可投射区域所显示的投射图像数据，进而由编码单元对所述投射图像数据，进行视频编码处理，以获得投射视频数据流，使得发送单元能够向所述互联应用发送投射视频数据流，以供所述互联应用输出所述投射视频数据流，由于通过将配合应用所在终端设备的显示装置所显示的实时内容投射到互联应用中进行输出，使得互联应用不再独立输出其相关的服务内容，因此，只需要针对互联应用所实现的简单服务即内容输出服务，开发该互联应用，无需针对配合应用所实现的复杂服务内容，开发该互联应用，能够有效降低互联应用的开发时间，从而提高了应用的开发效率。
另外，采用本发明所提供的技术方案，通过获取互联应用所在第一终端设备所连接的第二终端设备的显示装置上可投射区域所显示的原始图像数据，进而根据预设图像转换参数，对所述原始图像数据进行图像转换处理，以获得投射图像数据，使得能够将所述投射图像数据存储为指定数据格式，以供对所述指定数据格式的投射图像数据，进行视频编码处理，以获得投射视频数据流发送给所述互联应用，无需人工参与，操作简单，而且正确率高，从而提高了图像处理的效率和可靠性。
另外，采用本发明所提供的技术方案，一旦获取原始图像数据，即能够自动获得视频编码处理所需要的投射图像数据，能够有效提高图像处理的效率，而且能够有效提高图像处理的自动化程度。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
所述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。所述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，音频处理引擎，或者网络装置等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取互联应用所在第一终端设备所连接的第二终端设备的显示装置上可投射区域所显示的投射图像数据；
对所述投射图像数据，进行视频编码处理，以获得投射视频数据流；
向所述互联应用发送投射视频数据流，以供所述互联应用输出所述投射视频数据流。
2.根据权利要求1所述的方法，其特征在于，所述投射视频数据流包括：
带DTS和PTS中的至少一项的视频数据帧；或者
不带DTS和PTS的视频数据帧；或者
基于RTP进行传输的视频数据。
3.根据权利要求1所述的方法，其特征在于，所述向所述互联应用发送投射视频数据流方法之后，还包括：
所述互联应用利用至少一个组件，对所述投射视频数据流进行处理，以输出所述投射视频数据流。
4.根据权利要求1所述的方法，其特征在于，所述至少一个组件包括视频源组件、视频过滤组件、硬解码组件和视频输出组件。
5.根据权利要求1～4任一权利要求所述的方法，其特征在于，
所述第一终端设备为车载终端设备；
所述第二终端设备为用户终端设备。
6.根据权利要求5所述的方法，其特征在于，所述车载终端设备的操作***为Linux操作***、WinCE操作***、QNX操作***或Android操作***。
7.一种图像处理装置，其特征在于，包括：
获取单元，用于获取互联应用所在第一终端设备所连接的第二终端设备的显示装置上可投射区域所显示的投射图像数据；
编码单元，用于对所述投射图像数据，进行视频编码处理，以获得投射视频数据流；
发送单元，用于向所述互联应用发送投射视频数据流，以供所述互联应用输出所述投射视频数据流。
8.根据权利要求7所述的装置，其特征在于，所述投射视频数据流包括：
带DTS和PTS中的至少一项的视频数据帧；或者
不带DTS和PTS的视频数据帧；或者
基于RTP进行传输的视频数据。
9.根据权利要求7或8所述的装置，其特征在于，
所述第一终端设备为车载终端设备；
所述第二终端设备为用户终端设备。
10.根据权利要求9所述的装置，其特征在于，所述车载终端设备的操作***为Linux操作***、WinCE操作***、QNX操作***或Android操作***。
CN201510994009.3A 2015-12-25 2015-12-25 图像处理方法及装置 Pending CN105635774A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510994009.3A CN105635774A (zh) 2015-12-25 2015-12-25 图像处理方法及装置
PCT/CN2016/088100 WO2017107424A1 (zh) 2015-12-25 2016-07-01 图像处理方法、装置、设备及非易失性计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510994009.3A CN105635774A (zh) 2015-12-25 2015-12-25 图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN105635774A true CN105635774A (zh) 2016-06-01

Family

ID=56050198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510994009.3A Pending CN105635774A (zh) 2015-12-25 2015-12-25 图像处理方法及装置

Country Status (2)

Country Link
CN (1) CN105635774A (zh)
WO (1) WO2017107424A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109874410A (zh) * 2016-10-14 2019-06-11 三星电子株式会社 用于传输内容的方法和设备
CN111107404A (zh) * 2019-12-27 2020-05-05 珠海全志科技股份有限公司 汽车与移动端的界面视频快速播放方法、***及存储介质
CN111225259A (zh) * 2020-01-19 2020-06-02 重庆众鸿科技有限公司 一种车载互联视频显示加速装置
CN112287263A (zh) * 2020-10-30 2021-01-29 安徽鸿程光电有限公司 网页显示方法、装置、***及终端、计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130314302A1 (en) * 2012-05-25 2013-11-28 Samsung Electronics Co., Ltd. Multiple display method with multiple communication terminals, machine-readable storage medium and communication terminal
CN104156258A (zh) * 2013-05-14 2014-11-19 腾讯科技（深圳）有限公司 一种应用程序的共享操作方法、相关设备和***
CN104980326A (zh) * 2014-04-03 2015-10-14 联想移动通信软件（武汉）有限公司 一种终端设备之间分享应用内容的方法及装置
CN105094732A (zh) * 2015-06-29 2015-11-25 小米科技有限责任公司 屏幕显示方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070171979A1 (en) * 2004-02-20 2007-07-26 Onno Eerenberg Method of video decoding
CN101155299A (zh) * 2006-09-29 2008-04-02 明基电通股份有限公司 图像数据更新方法以及应用该方法的播放***
CN103197910B (zh) * 2013-04-17 2016-06-22 东软集团股份有限公司 图像更新方法和装置
CN104333762B (zh) * 2014-11-24 2017-10-10 成都瑞博慧窗信息技术有限公司 一种视频解码方法
CN105611357A (zh) * 2015-12-25 2016-05-25 百度在线网络技术（北京）有限公司 图像处理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130314302A1 (en) * 2012-05-25 2013-11-28 Samsung Electronics Co., Ltd. Multiple display method with multiple communication terminals, machine-readable storage medium and communication terminal
CN104156258A (zh) * 2013-05-14 2014-11-19 腾讯科技（深圳）有限公司 一种应用程序的共享操作方法、相关设备和***
CN104980326A (zh) * 2014-04-03 2015-10-14 联想移动通信软件（武汉）有限公司 一种终端设备之间分享应用内容的方法及装置
CN105094732A (zh) * 2015-06-29 2015-11-25 小米科技有限责任公司 屏幕显示方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109874410A (zh) * 2016-10-14 2019-06-11 三星电子株式会社 用于传输内容的方法和设备
CN111107404A (zh) * 2019-12-27 2020-05-05 珠海全志科技股份有限公司 汽车与移动端的界面视频快速播放方法、***及存储介质
CN111225259A (zh) * 2020-01-19 2020-06-02 重庆众鸿科技有限公司 一种车载互联视频显示加速装置
CN112287263A (zh) * 2020-10-30 2021-01-29 安徽鸿程光电有限公司 网页显示方法、装置、***及终端、计算机可读存储介质
CN112287263B (zh) * 2020-10-30 2024-04-02 安徽鸿程光电有限公司 网页显示方法、装置、***及终端、计算机可读存储介质

Also Published As

Publication number Publication date
WO2017107424A1 (zh) 2017-06-29

Similar Documents

Publication Publication Date Title
CN105611357A (zh) 图像处理方法及装置
CN105635774A (zh) 图像处理方法及装置
EP3039530B1 (en) Method and system for presenting content
EP3097542B1 (en) Creating a realistic color for a virtual object in an augmented reality environment
CN103297855B (zh) 一种应用展示方法以及一种终端
CN106215418B (zh) 一种应用的显示控制方法及其装置、终端
CN108597384B (zh) 显示***及方法
CN109829447B (zh) 用于确定车辆三维框架的方法和装置
EP2889669A1 (en) Method for displaying a content through either a head mounted display device or a display device, corresponding head mounted display device and computer program product
WO2017167036A1 (zh) 目标对象展示方法、装置以及***
CN103365697A (zh) 汽车仪表开机画面个性化方法及相应汽车仪表
CN104484856A (zh) 一种图片标注显示控制方法及处理器
CN107622241A (zh) 用于移动设备的显示方法和装置
CN103902294A (zh) 一种浏览器图像显示方法及终端
CN111787240A (zh) 视频生成方法、装置和计算机可读存储介质
CN111599222B (zh) 一种沙盘展示方法及装置
CN105261044A (zh) 相似图片的识别方法、装置及电子设备
KR102568626B1 (ko) 전자 장치, 그 제어 방법 및 전자 시스템
CN107885674B (zh) 蓝牙设备模拟器及其工作方法、蓝牙设备作业***
CN105245438A (zh) 一种内容共享方法、装置及***
CN109218446A (zh) 一种物联网智能机器人自主学习云计算装置
CN104217182A (zh) 具有移动高画质连接端口的显示器及其信号处理方法
CN112291707A (zh) 基于云边端框架的信息叠加和共享的方法及***
CN101986288A (zh) 一种移动终端的输出显示方法、装置和***
CN105893030A (zh) 用于终端设备的信息显示方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160601