CN114630007B - 显示同步的方法、电子设备以及可读存储介质 - Google Patents

显示同步的方法、电子设备以及可读存储介质 Download PDF

Info

Publication number
CN114630007B
CN114630007B CN202011464391.4A CN202011464391A CN114630007B CN 114630007 B CN114630007 B CN 114630007B CN 202011464391 A CN202011464391 A CN 202011464391A CN 114630007 B CN114630007 B CN 114630007B
Authority
CN
China
Prior art keywords
data
display
processor
display module
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011464391.4A
Other languages
English (en)
Other versions
CN114630007A (zh
Inventor
范伟伟
常鸣
王洪利
曹孝文
蒋文浩
杜思清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011464391.4A priority Critical patent/CN114630007B/zh
Priority to EP21902693.7A priority patent/EP4246961A4/en
Priority to PCT/CN2021/136831 priority patent/WO2022121988A1/zh
Publication of CN114630007A publication Critical patent/CN114630007A/zh
Priority to US18/332,868 priority patent/US20230335081A1/en
Application granted granted Critical
Publication of CN114630007B publication Critical patent/CN114630007B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18Timing circuits for raster scan displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G3/2096Details of the interface to the display terminal specific for a flat panel
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/10Adaptations for transmission by electrical cable
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/08Details of timing specific for flat panels, other than clock recovery
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/16Determination of a pixel data signal depending on the signal applied in the previous frame
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/10Use of a protocol of communication by packets in interfaces along the display data pipeline

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本申请适用于数据处理技术领域,提供了显示同步的方法、电子设备以及可读存储介质,该方法包括:处理器获取待显示的显示数据的若干行数据,生成数据块,并生成所述数据块对应的同步标识,将所述数据块以及与所述数据块对应的同步标识进行封装,得到所述数据块对应的数据包;将所述显示数据对应的各个所述数据包发送给显示模块;显示模块依次对处理发送的各个数据包进行解析,得到各个数据包关联的同步标识,并基于同步标识确定各个数据块在显示面板上的显示位置,以对显示数据进行显示。本申请提供的技术方案无需额外发送同步短包即可实现显示同步,有效提高了显示数据的传输效率,并减少了电子设备的能耗。

Description

显示同步的方法、电子设备以及可读存储介质
技术领域
本申请属于数据处理技术领域,尤其涉及显示同步的方法、电子设备以及可读存储介质。
背景技术
电子设备在对图像或视频等显示数据进行显示时,为了保证显示数据的完整以及准确显示,避免画面发生分屏或撕裂,在处理器和显示模块间需要完成显示同步。现有的显示同步技术,在处理器向显示模块发送显示数据之前,处理器需要先向显示模块发送用于进行显示同步的同步短包,从而增加了显示数据的传输时长,影响了显示数据的传输效率。
发明内容
本申请实施例提供了一种显示同步的方法、装置、电子设备以及计算机可读存储介质,可以无需额外发送同步短包即可实现显示同步,有效提高显示数据的传输效率,并减少电子设备的能耗。
第一方面,本申请实施例提供了一种显示同步的方法,应用与电子设备,所述电子设备包括处理器以及显示模块,所述方法包括:
所述处理器获取待显示的显示数据的若干行数据,生成数据块;
所述处理器生成所述数据块对应的同步标识;
所述处理器将所述数据块以及与所述数据块对应的同步标识进行封装,得到所述数据块对应的数据包;
所述处理器依次将所述显示数据对应的各个所述数据包发送给显示模块;
所述显示模块依次对接收到的各个所述数据包进行解析,得到各个数据包内的数据块及对应的同步标识,并基于所述同步标识确定所述同步标识对应的数据块在所述显示模块的显示面板上的显示位置,以对所述显示数据进行显示。
实施本申请实施例具有以下有益效果:通过对显示数据进行划分,生成多个数据块,并且为每个数据块配置对应的同步标识,将同步标识与数据块一并封装于一个数据包内,并发送给显示模块,显示模块可以在接收到包含数据块以及同步标识的数据包后,可以基于同步标识确定关联的数据块的显示位置,以还原显示数据,在显示面板上显示显示数据,实现了电子设备的处理器与显示模块之间的显示同步。与现有的显示同步技术相比,无需发送额外的同步短包,从而无需电子设备频繁进入高速传输模式,降低了电子设备的能耗;另一方面,上述同步标识的传输方式,也不依赖于专用信号线或双向传输线对同步标识进行传输,并不会增加电子设备的布线难度,降低了电子设备的造价。
在第一方面的一种可能实现方式中,所述处理器将所述数据块以及与所述数据块对应的同步标识进行封装,得到所述数据块对应的数据包,包括:
所述处理器将所述同步标识作为到数据包模板预设的第一字段的值,以及将所述数据块添加到所述数据包模板预设的第二字段,得到所述数据包。
在第一方面的一种可能实现方式中,若所述处理器包含第一时序控制器,则所述处理器获取待显示的显示数据的若干行数据,生成数据块,包括:
所述处理器通过所述第一时序控制器以预设的刷新频率从所述显示数据中依次提取各帧图像数据;
所述处理器通过所述第一时序控制器以预设的发送时隙读取所述图像数据的若干行数据,生成所述数据块。
在第一方面的一种可能实现方式中,所述处理器依次将各个所述数据包发送给显示模块,包括:
所述处理器基于所述发送时隙依次发送各个所述数据块给所述显示模块。
在第一方面的一种可能实现方式中,若所述显示模块包含第二时序控制器以及第二缓存区域,则所述依次对所述处理发送的各个所述数据包进行解析,得到各个数据包内的数据块及对应的所述同步标识,并基于所述同步标识确定各个所述数据块在所述显示模块的显示面板上的显示位置,以对所述显示数据进行显示,包括:
所述显示模块依次对接收到的各个所述数据包进行解析,得到各个数据包内的数据块及对应的同步标识,并根据所述同步标识,确定各个所述数据包之间的读取时隙;
所述显示模块将接收到的所述数据包存储于所述第二缓存区域;
所述显示模块通过所述第二时序控制器以所述读取时隙从所述第二缓存区域内依次读取各个所述数据包;
所述显示模块根据所述数据包内的所述同步标识,确定所述数据包的数据块在所述显示面板的显示位置,以显示各个所述显示数据。
第二方面,本申请实施例提供了一种显示同步的装置,包括:
处理器,用于获取待显示的显示数据的若干行数据,生成数据块;
所述处理器,用于生成所述数据块对应的同步标识;
所述处理器,用于将所述数据块以及与所述数据块对应的同步标识进行封装,得到所述数据块对应的数据包;
所述处理器,用于依次将所述显示数据对应的各个所述数据包发送给显示模块;
所述显示模块,用于依次对接收到的各个所述数据包进行解析,得到各个数据包内的数据块及对应的同步标识,并基于所述同步标识确定所述同步标识对应的数据块在所述显示模块的显示面板上的显示位置,以对所述显示数据进行显示。
在第二方面的一种可能实现方式中,所述处理器,用于将所述数据块以及与所述数据块对应的同步标识进行封装,得到所述数据块对应的数据包,包括:
所述处理器,用于将所述同步标识作为到数据包模板预设的第一字段的值,以及将所述数据块添加到所述数据包模板预设的第二字段,得到所述数据包。
在第二方面的一种可能实现方式中,若所述处理器包含第一时序控制器,则所述处理器,用于获取待显示的显示数据的若干行数据,生成数据块,包括:
所述处理器,用于通过所述第一时序控制器以预设的刷新频率从所述显示数据中依次提取各帧图像数据;
所述处理器,用于通过所述第一时序控制器以预设的发送时隙读取所述图像数据的若干行数据,生成所述数据块。
在第二方面的一种可能实现方式中,所述处理器,用于依次将各个所述数据包发送给显示模块,包括:
所述处理器,用于基于所述发送时隙依次发送各个所述数据块给所述显示模块。
在第二方面的一种可能实现方式中,若所述显示模块包含第二时序控制器以及第二缓存区域,则所述显示模块,用于依次对所述处理发送的各个所述数据包进行解析,得到各个数据包内的数据块及对应的所述同步标识,并基于所述同步标识确定各个所述数据块在所述显示模块的显示面板上的显示位置,以对所述显示数据进行显示,包括:
所述显示模块,用于依次对接收到的各个所述数据包进行解析,得到各个数据包内的数据块及对应的同步标识,并根据所述同步标识,确定各个所述数据包之间的读取时隙;
所述显示模块,用于将接收到的所述数据包存储于所述第二缓存区域;
所述显示模块,用于通过所述第二时序控制器以所述读取时隙从所述第二缓存区域内依次读取各个所述数据包;
所述显示模块,用于根据所述数据包内的所述同步标识,确定所述数据包的数据块在所述显示面板的显示位置,以显示各个所述显示数据。
第三方面,本申请实施例提供了一种显示同步的方法,应用于电子设备的处理器,包括:
所述处理器获取待显示的显示数据的若干行数据,生成数据块;
所述处理器生成所述数据块对应的同步标识;
所述处理器将所述数据块以及与所述数据块对应的同步标识进行封装,得到所述数据块对应的数据包;
所述处理器依次将所述显示数据对应的各个所述数据包发送给显示模块,以使所述显示模块依次对接收到的各个所述数据包进行解析,得到各个数据包内的数据块及对应的同步标识,并基于所述同步标识确定对应的数据块在所述显示模块的显示面板上的显示位置,以对所述显示数据进行显示。
在第三方面的一种可能实现方式中,所述处理器获取待显示的显示数据的若干行数据,生成数据块,包括:
所述处理器通过所述第一时序控制器以预设的刷新频率从所述显示数据中依次提取各帧图像数据;
所述处理器通过所述第一时序控制器以预设的发送时隙读取所述图像数据的若干行数据,生成所述数据块。
在第三方面的一种可能实现方式中,所述处理器依次将各个包含所述同步标识的所述数据包发送给显示模块,包括:
所述处理器基于所述发送时隙依次发送各个所述数据块给所述显示模块。
在第三方面的一种可能实现方式中,所述处理器将所述数据块以及与所述数据块对应的同步标识进行封装,得到所述数据块对应的数据包,包括:
所述处理器将所述同步标识作为到数据包模板预设的第一字段的值,以及将所述数据块添加到所述数据包模板预设的第二字段,得到所述数据包。
第四方面,本申请实施例提供了一种显示同步的方法,应用于电子设备的显示模块,包括:
所述显示模块依次接收处理器发送的多个数据包,其中,每个数据包包含数据块以及所述数据块对应的同步标识,每个所述数据块包含待显示的显示数据的若干行数据;
所述显示模块依次对接收到的各个所述数据包进行解析,得到各个数据包内的数据块及对应的同步标识,并基于所述同步标识确定对应的数据块在所述显示模块的显示面板上的显示位置,以对所述显示数据进行显示。
在第四方面的一种可能实现方式中,若所述显示模块包含第二时序控制器以及第二缓存区域,则所述显示模块依次对接收到的各个所述数据包进行解析,得到各个数据包内的数据块及对应的同步标识,并基于所述同步标识确定对应的数据块在所述显示模块的显示面板上的显示位置,以对所述显示数据进行显示,包括:
所述显示模块依次对接收到的各个所述数据包进行解析,得到各个数据包内的数据块及对应的同步标识,并根据所述同步标识,确定各个所述数据包之间的读取时隙;
所述显示模块将接收到的所述数据包存储于所述第二缓存区域;
所述显示模块通过所述第二时序控制器以所述读取时隙从所述第二缓存区域内依次读取各个所述数据包;
所述显示模块根据所述数据包内的所述同步标识,确定所述数据包的数据块在所述显示面板的显示位置,以显示各个所述显示数据。
第五方面,本申请实施例提供了一种电子设备,存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述第一方面中任一项、第三方面中任一项或第四方面中任一项所述显示同步的方法。
第六方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述第一方面中任一项、第三方面中任一项或第四方面中任一项所述显示同步的方法。
第七方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行上述第一方面中任一项、第三方面中任一项或第四方面中任一项所述显示同步的方法。
第八方面,本申请实施例提供一种芯片***,包括处理器以及显示模块,处理器与存储器耦合,所述处理器执行存储器中存储的计算机程序,以实现如第一方面中任一项、第三方面中任一项或第四方面中任一项所述显示同步的方法。
可以理解的是,上述第二方面至第八方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
图1是本申请实施例提供的电子设备的结构示意图;
图2是本申请实施例的电子设备的软件结构框图;
图3是采用现有显示同步技术时,电子设备中处理器向显示模块发送显示数据时的能耗示意图;
图4是采用基于同步短包进行视频同步信号的传输方式时处理器与显示设备间的数据通路的结构示意图;
图5是基于同步短包方式传输每一帧视频图像的划分得到的图像数据包与同步短包的结构示意图;
图6是采用专用信号线传输同步信号时处理器与显示设备间的数据通路的结构示意图;
图7是采用具有双向通信能力的数据通路传输同步信号时处理器与显示设备间的数据通路的结构示意图;
图8是本申请一实施例提供的电子设备的处理器与显示模块间连接示意图;
图9是本申请一实施例提供的显示同步的方法的实现流程图;
图10是本申请一实施例提供的显示操作的触发示意图;
图11是本申请一实施例提供的预览操作的触发示意图;
图12是本申请一实施例提供的图像数据的读取示意图;
图13是DSI协议的数据长包的包头格式与本申请新定义的数据包的包头格式的对比图;
图14是本申请第二实施例提供的新定义的数据包的包头格式示意图;
图15是本申请第三实施例提供的新定义的数据包的包头格式示意图;
图16是本申请第四实施例提供的新定义的数据包的包头的示意图;
图17是本申请第五实施例提供的新定义的数据包的包头的示意图;
图18是本申请一实施例提供的数据包发送过程中模式切换的示意图;
图19是本申请一实施例提供的图像数据的显示示意图;
图20是本申请另一实施例提供的显示同步的方法;
图21是本申请又一实施例提供的显示同步的方法;
图22是本申请一实施例提供的处理器侧的显示同步的方法的实现流程图;
图23是本申请一实施例提供的显示模块侧的显示同步的方法的实现流程图;
图24是本申请一实施例提供的显示同步的装置的结构框图;
图25是本申请一实施例提供的电子设备的结构框图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的***、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。本申请提及的“多个”是指两个或两个以上。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
本申请实施例提供的显示同步的方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等电子设备上,本申请实施例对电子设备的具体类型不作任何限制。
例如,所述电子设备可以是WLAN中的站点(STAION,ST),可以是蜂窝电话、无绳电话、会话启动协议(Session InitiationProtocol,SIP)电话、无线本地环路(WirelessLocal Loop,WLL)站、个人数字处理(Personal Digital Assistant,PDA)设备、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、电脑、膝上型计算机、手持式通信设备、手持式计算设备、和/或用于在无线***上进行通信的其它设备以及下一代通信***,例如,5G网络中的移动终端或者未来演进的公共陆地移动网络(PublicLand Mobile Network,PLMN)网络中的移动终端等。
图1示出了电子设备100的一种结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
MIPI-DSI接口是现有的电子设备常用的应用于显示技术的串行接口,处理器以串行的方式发送数据包或命令给显示模块,并且从显示设备中读取命令中的状态信息或数据包,而且在传输的过程中拥有MIPI-DSI独立的通信协议,包括数据包格式和纠错检错机制。MIPI-DSI传输的数据包具体可以分为短包和长包。短包可以包含4个字节,分别为:2位虚拟通道标识符、6位数据类型、用于表征命令的2个字节以及8位纠错码EEC,上述短包可以用于MIPI-DSI接口中的大多数命令和相关参数的传输。长包可以包含三个部分,分别为:32位包头、具有可变字节数的专用数据有效载荷以及16位包尾。进一步地,可以对照参见图13中的(a)所示,长包的32位包头具体可以包含三个部分,分别为:8位数据标识符(2位虚拟通道标识符,6位数据类型)、16位有效载荷计数和8位纠错码。长包的包尾可以包含一个部分,即16位循环冗余纠错码CRC。长包的字节长度范围可以在6~65541字节之间,长包具体可以用于传输大块视频数据和其他数据。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等***器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与***设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位***(global positioning system,GPS),全球导航卫星***(global navigation satellite system,GLONASS),北斗卫星导航***(beidounavigation satellite system,BDS),准天顶卫星***(quasi-zenith satellitesystem,QZSS)和/或星基增强***(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。显示屏194可包括触控面板以及其他输入设备。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,脸部识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过***SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时***多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
电子设备100的软件***可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android***为例,示例性说明电子设备100的软件结构。
图2是本申请实施例的电子设备的一种软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android***分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和***库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图***,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图***包括可视控件,例如显示文字的控件,显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
***库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子***进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
下面结合捕获拍照场景,示例性说明电子设备100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为相机应用图标的控件为例,相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头193捕获静态图像或视频。
随着多媒体技术的不断发展,电子设备的显示技术趋向于高分辨率以及高刷新率的方向发展,电子设备在显示高分辨率以及高刷新率的显示内容时,例如显示视频、高精度静态图像以及动态图像等,需要使用高速传输模式来传输显示数据,以满足显示内容的大数据量以及高速传输的需求。电子设备中的处理器在向显示模块发送数据量较大的显示数据时,往往需要将一个视频图像帧或静态图像划分为多个数据包进行发送。而高速传输模式能耗较高,为了降低资源消耗,电子设备在发送上述各个数据包之间的间隔期,电子设备会从高速传输模式切换至低功耗模式,在低功耗模式下会关闭物理层的数据接收以及用于解析接收到数据的电路,从而达到降低电子设备功耗的目的。另一方面,电子设备为了消除残影现象,在一帧视频数据传输结束以后,到下一帧视频数据传输开始之间会存在一定的传输空档期,该传输空档期即为垂直消隐期,也可以称为帧消隐;对应地,在一行视频数据传输结束,到下一行视频数据传输开始之间,也会存在一定的传输空档期,该传输空档期即为水平消隐期,也可以称为行消隐。由于上述两个传输空档期内电子设备中的处理器与显示模块之间无需进行数据传输,因此,电子设备在该传输空档期(垂直消隐期以及水平消隐期)时可以切换至低功耗模式,以降低电子设备的能耗。
示例性地,图3示出了采用现有显示同步技术时,电子设备中的处理器向显示模块发送显示数据时的能耗示意图。参见图3所示,电子设备在显示视频或动态图像时,电子设备的处理器会分别将多帧图像发送给显示模块,如pic1_X表示第一帧图像,pic2_X表示第二帧图像,并且每帧图像会划分为多个图像数据包,每个图像数据包含至少一行图像数据,如pic1_1,表示第一帧图像的第一个图像数据包;pic1_2表示第二帧图像的第二个图像数据包。当电子设备中的处理器向显示模块发送各个图像数据包时,电子设备会处于高速传输模式,此时能耗较高;而在各个数据包的传输空档期,如各帧图像以及同一帧图像内的各个数据包之间的传输空档期,电子设备则会切换至低功耗模式,以免电子设备长期处于高速传输模式,增加设备能耗。
电子设备在对视频等显示内容进行显示的过程中,为了确保显示内容的准确显示,避免画面发生分屏或撕裂等异常显示现象,处理器与显示模块间需要完成显示内容的同步,以确保发送端(即处理器侧)和接收端(即显示模块侧)的数据传输的步调一致,例如上述显示内容为视频图像,则确保每一帧的视频图像,以及同一帧视频图像内各行的图像数据之间不会错乱。所以为了保证处理器发送的显示内容和显示模块显示的显示内容在相位和频率上一致,在每一帧的视频图像传输前,处理器和显示模块间需要进行垂直同步信号的通信,在一行视频数据传输前,处理器和显示模块间需要进行水平同步信号的通信。垂直同步信号以及水平同步信号的通信,一般会在上述的传输空档期中完成,例如在垂直消隐期传输垂直同步信号,而在水平消隐期传输水平同步信号。电子设备常用的串行显示接口,如上述的MIPI-DSI,进行显示内容的同步信号传输可以包含以下两种传输方式。
方式1:基于同步短包进行视频同步信号的传输方式。该方式需要在传输各个视频数据包之前(例如在垂直消隐期或水平消隐期期间),处理器会向显示模块发送额外的同步短包。以传输视频数据为例进行说明,示例性地,图4示出了采用基于同步短包进行视频同步信号的传输方式时处理器与显示设备间的数据通路的结构示意图。参见图4所示,处理器包含三个部件,分别为时序控制器、帧缓存区域以及第一高速传输接口,其中,帧缓存区域用于存储所需发送的视频图像的各个图像数据包,时序控制器用于基于预设的时序依次发送各个图像数据包以及各个图像数据包关联的同步短包,以进行处理器与显示模块间视频图像的同步;显示模块包含两个部件,分别为第二高速传输接口以及显示面板,第一高速传输接口与第二高速传输接口之间存在数据通路,处理器可以通过该数据通路向显示模块发送图像数据包以及同步短包。视频数据传输的过程具体可以为:处理器首先将需要显示的视频数据缓存入本地的帧缓存区域中,帧缓存区域在时序控制器的控制下,于特定的时间将视频数据提供给处理器的协议层进行打包,得到多个图像数据包(可以封装为数据长包)以及与图像数据包对应的同步短包,打包完成的图像数据包与图像数据包对应的同步短包,经第一高速传输接口与第二高速传输接口之间的数据通路发送给显示模块,最终显示模块的协议层对图像数据包以及对应的同步短包进行解析,得到视频数据,显示模块的显示面板获得视频数据后完成图像的显示。
为了清楚说明各个图像数据包与同步短包之间的对应关系,图5示出了基于同步短包方式传输每一帧视频图像的划分得到的图像数据包与同步短包的结构示意图。参见图5所示,在发送每一帧的视频图像的第一个图像数据包前,会发送一个垂直同步短包,即垂直同步开始(Vertical Sync Start,VSS),用于指示开始发送一帧视频图像,与上一帧的视频图像进行区分。可选地,该VSS短包中的数据类型字段可以设置为第一位值,如0x01,用于表示垂直方向同步信号的专用短包,显示模块在接收到该VSS短包后,可以还原垂直方向的同步信号。然后,在发送该帧视频图像的各个图像数据包之前,处理器会先发送一个具备水平方向同步信号的水平同步短包,即水平同步开始(Horizontal Sync Start,HSS),用于指示开始新的一行的视频图像数据的发送操作,与上一行的视频图像数据进行区分。可选地,该HSS短包中的数据类型字段可以设置为第二位值,如0x21,用于表示水平方向同步信号的专用短包。显示模块在接受到该HSS短包后,可以还原水平方向的同步信号。处理器可以根据显示模块的刷新率的要求,确定发送时序,通过时序控制器以预设的时序发送VSS短包、HSS短包以及视频图像的各个图像数据包,完成在显示模块的显示面板的图像显示。为了实现降低***的功耗,处理器会在无需进行数据传输器件结束高速传输(即除进行同步短包和图像数据包传输的其他时间),并将数据通路的驱动到低功耗状态(无数据传输)。通过图5可以看出,低功耗模式包含四种传输空档期,分别为与上一帧视频图像之间的上沿空档期,与下一帧视频图像之间的下沿空档期,与上一行视频图像数据之间的左沿空档期以及与下一行视频图像数据之间的右沿空档期。由于在左右沿空档期期间需要发送HSS短包,割裂了左右沿空档期(如图5中的水平同步有效期HSA),实际处于低功耗模式为图5中的水平后沿时期HBP以及水平前沿时期HFP;而在上下沿空档期又需要发送部分HSS短包以及VSS短包,割裂了上下沿空档期(如图5中的垂直同步开始期VSA与垂直同步有效期VBP),实际处于低功耗模式为图5中的垂直前沿时期VFP以及垂直后沿时期VBP,电子设备无法在预设的时隙连续处于低功耗。
该方式需要在传输各个视频数据包之前(例如在垂直消隐期或水平消隐期期间),处理器会向显示模块发送额外的同步短包,由于上述同步短包的发送时电子设备处于低功耗模式,若需要完成同步短包的发送,则处理器与显示模块之间的数据通道之间需切换至高速模式,割裂了消隐期期间的低功耗模式,无法保持持续的低功耗,增加了***功耗增加。
方式2:基于专用信号线或显示模块控制总线实现信号同步的传输方式。该方式下,为了完成处理器与显示模块间的视频数据在时间上的同步,显示模块可以进行时序控制的操作可以由显示模块侧完成,如完成以预设时序显示各帧视频图像的图像数据,以及确定垂直消隐期或其他消隐期的开始时刻以及结束时刻,并将对应生成的同步信号反馈给处理器。在该传输方式下,显示模块具有时序控制器和第二帧缓存区域,用于显示刷新。处理器可以先将显示的视频数据缓存入本地的第一帧缓存区域中,再通过专用信号线或者显示模块控制的总线接收到同步信号后,将第一帧缓存区域中的视频数据取出并提供给处理器的协议层进行打包,得到各帧视频图像的图像数据包,打包完成的图像数据包经总线发送给显示模块。图像数据包经显示模块的协议层解包后得到像素数据,这些像素数据会先存储于显示模块的第二帧缓存区域中,并在时序控制器下按照一定的时序取出,然后提供给显示模块的显示面板显示。
命令模式下,主机需要接收到显示设备发出的TE同步信号后才能发送图像数据,刷新时序受到显示设备控制。
上述传输方式可以通过以下两种方式实现:
第一种:在处理器与显示模块之间配置一条用于专门传输同步信号的专用信号线TE,显示模块内的时序控制器将生成的同步信号通过专用信号线TE通知处理器,处理器可以基于接收到的同步信号以预设的时序发送各帧视频图像以及各帧视频图像的各个图像数据包。示例性地,图6示出了采用专用信号线传输同步信号时处理器与显示设备间的数据通路的结构示意图。参见图6所示,处理器包含两个部件,分别为第一缓存区域以及第一高速传输接口,其中,第一缓存区域用于存储所需发送的视频图像的各个图像数据包;显示模块包含四个部件,分别为:时序控制器、第二缓存区域、第二高速传输接口以及显示面板,第二缓存区域用于存储处理器发送的视频图像的各个图像数据包,时序控制器用于基于预设的时序依次发送各个图像数据包以及各个图像数据包关联的同步短包,以进行处理器与显示模块间视频图像的同步,第一高速传输接口与第二高速传输接口之间存在两条数据通路,分别为数据高速传输通路以及专用信号线TE的信号通路,处理器可以通过该数据高速传输通路向显示模块发送图像数据包,而显示模块可以将同步短包通过信号通路反馈给处理器。
第二种,处理器与显示模块之间的数据通路具有双向通信能力,即处理器可以通过数据通道向显示模块发送视频数据,而显示模块同样可以通过数据通道向处理器反馈同步信号。处理器可以向显示模块进行同步信号查询,例如向显示模块发送一个同步查询请求,此时,处理器可以将数据通道的发送权限转移给显示模块;显示模块响应于处理器发送的同步查询请求,将同步短包发送给处理器,并在发送完毕后将数据通路的发送权限交还给处理器。示例性地,图7示出了采用具有双向通信能力的数据通路传输同步信号时处理器与显示模块间的数据通路的结构示意图。参见图7所示,与图6所示的结构不同的是,处理器与显示模块之间基于一条数据线相连,并通过交换发送权限从而达到传输同步信号的目的。
基于专用信号线或显示模块控制总线实现信号同步的传输方式,同步信号的传输需要通过显示模块向处理器发送同步信号来完成,对显示模块提出了具备发送同步信号能力的要求。若通过额外的专用信号线来完成同步信号传输,不仅增加了电子设备内设备间的复杂度,还会增加了电路布线的面积;若采用具备双向传输的数据通路,通过显示模块控制数据通路的发送权限以发送同步信号,则需要显示模块的物理层具有发送数据的能力,增加了***的复杂度。另一方面,显示模块配置有第二帧缓存区域,并且时序控制交由显示模块完成,则该第二帧缓存区域需要至少具备一帧的视频图像的缓存容量,增加了显示模块的造价成本,从而增加了整体电子设备的成本。
采用第一种基于额外的同步短包实现显示同步,由于垂直同步和水平同步短包位于数据长包传输之间,因此数据通道需要进入高速模式接收短包,然后再退出高速模式。这样会割裂消隐期,增加了设备能耗;而采用第二种基于专用线或双向数据通路的方式传输同步信号,则会增加设备复杂度以及设备造价成本,无法同时兼顾降低能耗以及降低设备布线复杂度两个方面。
实施例一:
为了解决上述显示同步的技术的缺陷,本申请提供一种显示同步的方法,具体详述如下:该显示同步的方法的执行主体为一电子设备,该电子设备可以为一智能手机、平板电脑、计算机、智能游戏机以及配置有显示模块的任一设备,该电子设备内置有处理器,内置或外接有显示模块,该显示同步的方法用于实现电子设备的处理器与显示模块之间的显示同步。示例性地,图8示出了本申请一实施例提供的电子设备的处理器与显示模块间连接示意图。参见图8中的(a)所示,该显示模块可以是电子设备内置的显示模块,在该情况下,处理器可以通过处理器所安装的电路板上的串行接口与显示模块相连;参见图8中的(b)所示,该显示模块可以为的电子设备外接的显示模块,显示模块可以与电子设备的串行接口相连,通过与串行接口连通的数据总线建立与处理器之间的通信链路。其中,处理器与显示模块之间的串行接口可以为MIPI-DSI接口。图9示出了本申请一实施例提供的显示同步的方法的实现流程图,详述如下:
在S901中,处理器获取待显示的显示数据的若干行数据,生成数据块;处理器生成数据块对应的同步标识;处理器将数据块以及与数据块对应的同步标识进行封装,得到数据包。
在本实施例中,电子设备内置有存储器,显示数据可以存储于电子设备的存储器内,其中,显示数据包括:静态图像文件、动态图像文件、视频文件等;可选地,可显示的文件除了预先存储于电子设备的存储器的文件外,还可以包括通过摄像模块实时采集的预览画面数据以及从通信对端接收到的直播视频数据,对于上述显示操作,电子设备可以将采集得到的预览画面数据和/或直播视频数据缓存于电子设备的存储器内,其中,电子设备的存储器可以包含两个类型的存储介质,分别为内存以及硬盘,内存可以用于存储处理器运行过程中使用的数据,与硬盘相比,内存具有较高的读写速度,然而存储空间较小,因此往往用于存储需要高速存储的数据,例如在一些实施例里面,处理器可以将预览的内容以及接收到的直播视频数据存储于内存中。可选地,电子设备可以将预览画面数据和/或直播视频数据存储于临时文件内,通过预设频率对临时文件内进行更新(即将新采集的预览画面数据和/或接收到的直播视频数据对临时文件内的已有显示数据进行替换),若电子设备接收到用户的拍摄操作或结束预览操作,则可以将用于存储预览画面数据的临时文件删除,或移除预览画面数据在缓存区域所占用的存储空间,同样地,若电子设备接收到用户的直播关闭操作或接收到通信对端反馈的直播结束指令,则可以将用于存储直播视频数据的临时文件删除,或移除直播视频数据在缓存区域所占用的存储空间。电子设备的处理器可以从存储器或缓存区域内获取可显示的数据,即上述的显示数据。
在一种可能的实现方式中,在S901之前,上述显示同步的方法还可以包括:处理器响应于用户发起的显示操作,确定所述显示操作关联的显示数据。示例性地,图10示出了本申请一实施例提供的显示操作的触发示意图。参见图10中的(a)所示,电子设备可以通过显示模块显示多个候选文件的预览图标,如video1、video2以及pic1等。电子设备可以接收用户发起的选择操作,如接收用户对于video1的点击操作,则识别用户发起对于video1的显示操作,将video1对应的文件识别为所需显示的显示数据,并通过显示模块显示video1,如图10中的(b)所示。
在一种可能的实现方式中,在S901之前,上述显示同步的方法还包括:处理器响应于用户发起的预览操作,将摄像模块采集到的预览数据作为显示数据。示例性地,图11示出了本申请一实施例提供的预览操作的触发示意图。参见图11中的(a)所示,电子设备可以通过显示模块显示主界面,该主界面内包含有多个应用程序的图标,例如“相机”应用程序。若电子设备接收到用户对于“相机”应用程序的点击操作,则会生成拍摄预览界面,即图11中的(b)所示,电子设备可以将摄像模块实时采集到的预览数据作为所需显示的显示数据,其中,上述用户点击电子设备上的“相机”应用程序的操作,即为上述预览操作。
在本实施例中,显示数据可以包含至少一帧图像,若该显示数据为视频数据,则该显示数据可以包含多帧视频图像。电子设备在对显示数据进行显示的过程中,处理器可以从显示数据中获取至少一帧图像,并读取该图像中的部分数据,生成对应的数据块,因此在对一整图像的整个显示过程内,处理器会进行多次读取的操作,每一次读取操作会生成对应的数据块,从而处理器将图像发送给显示模块时,会分为多个数据块进行发送。示例性地,图12示出了本申请一实施例提供的图像数据的读取示意图。参见图12所示,每个数据块可以为一帧图像中的若干行数据,具体处理器读取的行数可以由处理器进行确定,在一些实施例中,可以根据处理器的存储器中内存容量的大小或数据包可封装的数据量确定。举例性地,处理器与显示模块约定每个数据块最大包含N行数据,如N的数值为5,则处理器每一次读取一帧图像的5行数据,并生成一个数据块,从而在多次读取操作后,一帧图像可以划分为多个数据块。由于处理器的读取操作是基于行为单位,即同一行数据必然划分至同一数据块内。
在一种可能的实现方式中,电子设备可以为各个数据块配置对应的显示编号,其中,该显示编号具体是基于该数据块所属的图像数据的帧编号以及该数据块在图像数据内的位置确定的。其中,图像数据的帧编号越小,则对应的数据块的显示编号越靠前,该显示编号具体用于确定各个图像数据的发送次序以及显示次序;若显示模块内显示面板的刷新方向是自上而下进行刷新的,则位于同一图像数据内上方的数据块的显示编号会小于位于下方的数据块的显示编号,如图12中的最上方的数据块的显示编号为1,而位于最下方的数据块的显示编号为4。对应地,若显示模块内显示面板的刷新方向是自下往上进行刷新的,则位于同一图像数据内上方的数据块的显示编号会大于下方的数据块的显示编号。
在本实施例中,电子设备会为每个划分得到的数据块配置对应的同步标识,用于进行处理器与显示模块之间的显示同步。该同步标识可以至少包含三种类型,分别为帧开始标识、帧结束标识以及行开始标识。
在一种可能的实现方式中,所述同步标识包含三个标志位,分别帧开始标志位(Start of Frame,SOF)、行开始标志位(StartofLine,SOL)以及帧结束标志位(End ofFrame,EOF)。其中,若该数据块为一帧图像数据的首个显示的数据块,则可以将SOF配置为有效位值,例如将SOF设置为1或0,还可以为其他预设值;若该数据块为一帧图像数据最后显示的数据块,则可以将EOF配置为有效位值,例如将EOF设置为1或0,还可以为其他预设值,通过配置SOF以及EOF,用于区分上一帧图像数据与下一帧图像数据,实现显示过程的垂直同步;除一帧图像数据的首个数据块以及最后一个数据块外,其余数据块,可以将SOL配置为有效位值,以指示显示设备进行换行显示,即实现显示过程的水平同步。示例性地,表1示出了本申请一实施例提供的同步标识的格式示意图。参见表1所示,该同步标识由3比特bit,每一比特可以用于代表一个标志位,依次分别为SOF、SOL以及EOL。需要说明的是,对于一帧图像数据的首个数据块,SOF会配置为有效位值,并且该数据块必然也用于指示一行图像数据的开始,则SOL也可以配置为有效位值,如配置为1,当然,也可以配置为无效位值,如配置为0;对应地,对于一帧图像数据的最后一个数据块,EOF会配置为有效位值,并且该数据库必然也用于指示一行图像数据的开始,则SOL也可以配置为有效位值,如配置为1,也可以配置为无效位值,如配置为0。
SOF SOL EOL
1/0 1/0 1/0
表1
在一种可能的实现方式中,该同步标识可以为2bit,由于2bit的同步标识最多可以配置最多4种标识,因此,处理器可以上述4种标识分配给帧开始标识、行开始标识以及帧结束标识,如将帧开始标识配置为01,将帧结束标识配置为10,将行开始标识配置为11,通过识别同步标识两个比特的具***值,确定该同步标识的具体含义,从而减少了同步标识所占用的比特数。
在本实施例中,处理器可以将对各帧图像数据划分得到的数据块以及与数据块关联的同步标识进行封装,生成具有显示同步功能的数据包。上述同步标识可以配置于数据包的首部,也可以配置于数据包的尾部,或数据包内的任意预先约定的字段内。
在一种可能的实现方式中,该同步标识可以配置于数据包的包头内添加对应的字段,以实现显示同步。例如,该同步标识可以配置在长包的包头中。
可选地,该数据包具体通过MIPI-DSI接口发送给显示模块,在该情况下,该数据包的包头具体可以包含以下五种形式:
格式1:在数据长包的包头的16位有效载荷计数和8位纠错码之间添加同步标识的字段。示例性地,图13示出了DSI协议的数据长包的包头格式与本申请新定义的数据包的包头格式的对比图。参见图13中的(a)所示,该包头格式是现有DSI协议中数据长包的包头格式,数据长包的包头包含三部分,分别为:8位数据标识符Data ID字段(2位虚拟通道标识符,6位数据类型)、16位有效载荷计数WordCount字段和8位纠错码ECC字段,其中WordCount字段可以用于指示显示数据的数据量的数据长度,数据长包的包头之后可以存储有实际需要显示的显示数据,即Payload字段。参见图13中的(b),本申请新定义的数据包可以包含数据类型DataType字段、有效载荷计数WordCount字段、同步字段以及纠错码ECC字段;其中,DataType字段用于确定数据块所对应的数据类型,如图像类型、视频帧类型等等,不同的数据类型可以通过不同的数值表示;同步字段用于存储上述的同步标识,在一种可能的实现方式中,该同步字段可以位于WordCount字段与ECC字段之间,其中,该同步字段包含两部分,分别为同步Flag字段以及保留RSV字段,该同步Flag字段具体可以为3bit,分别为SOF、SOL以及EOL,在该情况下,RSV字段可以为14bit长度,ECC字段对应调整为7bit。当然,该同步Flag字段还可以为2bit,在该情况下,RSV字段可以为14bit,ECC字段对应调整为8bit。可选地,新定义的数据包包含有同步标识,可以无需使用专用信号线或双线总线传输同步信号,因此新定义的数据包内的传输虚拟通道标识可以省略,因此可以将8位全部用于表示数据类型DataType。与现有的DSI协议的数据长包相比,本申请新定义的数据包包含有同步flag字段,用于存储同步标识,在发送该数据包的过程中即可实现处理器与显示模块之间的显示同步,无需进行额外的数据短包的发送操作,因此本申请提供的数据包,有且只有一种类型,统一了数据长包以及数据短包,即本申请的数据包并不存在长包类型或短包类型。由于显示同步过程无需发送额外的同步短包,避免了对消隐期的隔离,或需要配置专用的信号线进行数据短包的传输,能够降低了设备能耗以及设备布线的复杂度,兼顾了降低设备内耗以及布线难度两方面。
格式2:同步标识的字段可以位于数据包的包头的DataType字段与WordCount字段之间。示例性地,图14示出了本申请第二实施例提供新定义的数据包的包头格式示意图。参见图14所示,该数据包包含有以下五部分,分别为DataType字段、Flag字段、WordCount字段、RSV字段以及ECC字段。同样地,该Flag字段可以为3bit,也可以为2bit,根据Flag字段的长度可以调整其他字段的长度的,可以参见上一格式的相关描述,在此不再赘述。
格式3:同步标识的字段可以位于在数据包的包头的RSV字段与ECC字段之间。示例性地,图15示出了本申请第三实施例提供新定义的数据包的包头格式示意图。参见图15所示,该数据包的包头在原始的格式中,添加有保留字段,该保留字段配置于WordCount字段与ECC字段之间,保留用于功能扩展。同步标识Flag字段可以配置于RSV字段与ECC字段之间。
格式4:同步标识的字段可以位于将数据包的包头中的DataType字段内,通过DataType字段携带同步标识。
综上,同步标识可以配置于数据包的包头的任一位置,示例性地,图16示出了本申请又一实施例提供新定义的数据包的包头的示意图,参见图16所示,同步标识可以配置于包头的任一中,该同步标识前面可以包含若干字段,例如为DataType字段或WordCount字段等,该同步标识后面也可以包含若干字段,例如为RSV字段或ECC字段等,从而使得携带有图像数据的数据包也能够实现显示同步的功能。
在一种可能的实现方式中,一个数据包可以包含多行图像数据。在该情况下,处理器可以将一行图像数据的数据长度记录于上述的保留字段,即RSV字段内,显示设备可以通过保留字段内的位值,确定该一帧图像数据每行图像的数据长度,从而对数据块中包含的多行图像数据进行分行处理。
在一种可能的实现方式中,处理器在不增加数据包的包头开销的基础上,将同步标识隐含携带于数据包内。例如,电子设备在生成数据包的ECC字段时,可以通过预设的编码算法,将同步标识隐含携带于ECC字段内,从而使得ECC字段具有纠错检错的功能外,还能用于实现显示同步;举例性地,对于一帧图像数据的首个数据包,其对应的ECC字段中0的个数会多于1的个数;而对于一帧图像数据的最后一个数据包,其对应的ECC字段中1的个数会多于0的个数;而对于一行图像数据的数据包,其对应的ECC字段中1的个数与0的个数相同。处理器可以通过预设的编码算法生成预设字段的值,以使得该预设字段的值可以用于作为关联的数据块的同步标识。
在一种可能的实现方式中,处理器还可以将ECC字段进行划分,降低一定的纠错检错能力,以将划分得到的字段用于携带同步标识。举例性地,ECC字段的长度为8bit,可以将8bit预设数量的位作为同步标识,如将前3位或后3位用于作为同步标识。
在一种可能的实现方式中,添加有同步标识的数据包,可以无需使用专用信号线或双线总线传输同步信号,因此传输虚拟通道标识可以省略,因此,将数据包的包头中传输虚拟通道标识替换为同步标识,即通过识别原本传输虚拟通道的值作为同步标识的值,示例性地,对应的数据包的包头格式可以参见图17所示。
在一种可能的实现方式中,同步标识可以放置于数据包的包尾。数据包的包尾可以包含有保留字段,在该情况下,可以将保留字段的任意预设数量的位作为同步标识,例如保留字段内的前3位作为同步标识,分别为SOF、SOL以及EOF。
在一种可能的实现方式中,处理器将数据块封装为数据包的过程可以发生于应用层中,也可以在处理器的应用层从应用程序获取到图像数据后,并传输至会话层时,通过会话层对数据块进行封装,生成包含同步标识的数据块。处理器的应用层可以依次读取图像数据的若干行的数据,生成数据块,并通过对应的网络层级将数据块封装为数据包。
需要说明的是,S901的其他实现方式,可以参见实施例二中的S2001~S2002,实施例三中的S2101,以及实施例四中的S2201以及S2202。
在S902中,处理器将显示数据的各个数据包依次发送给显示模块。
在本实施例中,处理器在生成各帧图像数据的多个包含同步标识的数据包后,可以通过数据通路向显示模块依次发送各个数据包。需要说明的是,处理器与显示模块之间的数据通路在各个数据包的发送间隔期,可以处于低功耗模式,而在需要传输各个数据包时,数据通路可以切换至高速传输模式,以实现低时延发送图像数据的数据包的目的。
在一种可能的实现方式中,处理器可以根据显示模块的画面刷新频率确定各个数据包之间的发送时长间隔,并基于该发送时长间隔依次向显示模块发送各帧图像数据的多个数据包。
示例性地,图18示出了本申请一实施例提供的数据包发送过程中模式切换的示意图。参见图18所示,根据数据包所包含的数据块在图像数据内的不同位置,其对应的同步标识会不同,对于图像数据的第一个数据块,例如包含第一行图像数据的数据块,其同步标识具体为SOF(例如将同步标识中的SOF位置1,其他位置0),而包含最后一行图像数据的数据块,其同步标识具体为EOF(例如将同步标识中的EOF位置1,其他位置0);除第一行与最后一行外的其他图像数据对应的数据块,其同步标识具体可以为SOL(例如将同步标识中的SOL位置1),与图5示出的现有的DSI接口发送图像数据的过程相比,本申请实施例在传输上述各个数据包时,处理器与显示模块之间的数据通路处于高速传输模式,而在每个数据包之间的发送间隔期,上述数据通路会处于低功耗模式,即图中的Blanking时期;可以看出,通过将同步标识封装于数据包内进行数据传输,消隐期不会被分割,例如,不再存在如图5中的HAS、HBP时期,也不再存在VSA、VBP时期,可以保持低功耗模式的连续,无需频繁进出高速传输模式,从而降低了设备能耗。
示例性地,以下通过一个应用场景说明处理器发送显示数据的多个数据包的显示过程。电子设备上运行有相册应用程序,若电子设备检测到用户点击相册内的任一视频文件,则将该视频文件作为待显示的显示数据。处理器对视频数据进行解析,得到该视频数据对应的多帧视频图像,处理器的应用层从相册应用程序获取一帧视频图像,示例性地,处理器可以将获取的视频图像存储于存储器的内存区域,具体地,可以存储于内存区域的缓存区,处理器的应用层将上述视频数据传输给处理器的会话层,处理器的会话层读取该帧视频图像的若干行数据,生成数据块,处理器的会话层生成数据块对应的同步标识,并将数据块与同步标识进行封装,生成对应的数据包。该数据包可以依次在处理器的传输层、网络层依次进行打包封装,并在数据链路层将打包后的数据包转换为电信号,通过上述处理器与显示模块之间的通信链路传输给显示模块,从而实现了数据包的发送操作。
需要说明的是,S902的其他实现方式,可以参见实施例二中的S2003,实施例三中的S2102,以及实施例四中的S2203。
在S903中,显示模块依次对处理发送的各个数据包进行解析,得到各个数据包关联的同步标识,并基于同步标识确定各个数据块在显示面板上的显示位置,以对显示数据进行显示。
在本实施例中,显示模块通过高速传输接口可以接收处理器发送的数据包,并对数据包进行解析,提取数据包内预设字段内携带的同步标识。需要说明的是,显示模块与处理器传输图像数据的数据包之前,可以预先预定数据包的格式,即确定数据包内各个字段所对应的含义,即通信协议。显示模块可以根据预先约定的通信协议,从数据包内确定同步标识所在的字段,并获取该字段对应的位值,若该同步标识封装于数据长包的包头,则可以对数据长包的包头进行解析,确定长包包头同步标识对应字段的值,从而得到该数据包关联的同步标识;对应地,若该同步标识封装于长包的包尾,则可以对数据长包的包尾进行解析,确定长包包尾同步标识对应字段的值,从而得到该数据包关联的同步标识。
在本实施例中,电子设备的显示模块可以根据数据包关联的同步标识,确定该数据包对应的数据块在显示面板上的显示位置。在一种可能的实现方式中,若该显示模块的刷新方向是自上而下的,且同步标识为SOF的数据包内的数据块,则会显示于显示面板的首行;而同步标识为EOF的数据包内的数据块,则会显示于显示面板的末行;对于同步标识为SOL的数据包的数据块,则可以根据数据块对应的显示编号依次排列,从而能够在显示面板中还原所需显示的图像数据。
示例性地,图19示出了本申请一实施例提供的图像数据的显示示意图。参见图19所示,处理器根据各个图像数据的帧序号以及各个数据块的显示编号,向显示模块发送各个数据包,每个数据包携带有图像数据的数据块,如pic1_1,pic1_2,pic1_3等,显示模块会依次接收到各个数据包,接收次序具体为pic1_1→pic1_2→pic1_3,显示模块依次识别各个数据包的同步标识,例如第一帧图像数据发送的第一数据包pic1_1内的同步标识为SOF,则显示模块会将pic1_1显示于显示面板的首行;继而显示模块会解析第一帧图像数据的第二个数据包pic1_2内的同步标识,确定为SOL,则在pic1_1显示的下一行进行显示,以此类推,若检测到pic1_n内的同步标识为EOF,则表示该数据块为该帧图像数据的最后一个数据块,显示完成该数据块后,该图像数据会完整显示于显示面板上;然后,显示设备会接收到处理器发送的第二帧图像数据的数据包,并重复执行上述的操作,对第二帧图像数据进行显示。
在本实施例中,处理器若以预设的时序发送各个数据包,则显示模块可以根据处理器的时序依次显示各个数据包的数据块;若显示模块配置有时序控制器,则可以通过本地的时序控制器依次解析接收到的各个数据包,并显示各个数据包的数据块。
需要说明的是,S903的其他实现方式,可以参见实施例二中的S2004,实施例三中的S2104~S2106,以及实施例四中的S231~S232。
以上可以看出,本申请实施例提供的一种显示同步的方法可以处理器通过对显示数据进行划分,生成多个数据块,并且为每个数据块配置对应的同步标识,将同步标识与数据块一并封装于一个数据包内,并发送给显示模块,显示模块可以在接收到包含数据块以及同步标识的数据包后,可以基于同步标识确定关联的数据块的显示位置,以还原显示数据,在显示面板上显示显示数据,实现了电子设备的处理器与显示模块之间的显示同步。与现有的显示同步技术相比,无需发送额外的同步短包,从而无需电子设备频繁进入高速传输模式,降低了电子设备的能耗;另一方面,上述同步标识的传输方式,也不依赖于专用信号线或双向传输线对同步标识进行传输,并不会增加电子设备的布线难度,降低了电子设备的造价。
实施例二:
图20示出了本申请另一实施例提供的显示同步的方法,与上一实施例相比,在该实施例中,显示时序具体由电子设备的处理器完成,该处理器包含第一通信接口、第一缓存区域以及第一时序控制器,电子设备的显示模块包含第二通信接口以及显示面板。在该情况下,上述显示同步的方法具体包括:
在S2001中,处理器通过第一时序控制器以预设的刷新频率从显示数据中依次提取各帧图像数据;处理器通过第一时序控制器以预设的发送时隙读取所述图像数据的部分数据,生成数据块;处理器生成上述数据块的同步标识。
在本实施例中,处理器内置有第一时序控制器,该第一时序控制器具体用于控制显示数据的刷新频率。特别地,若该显示数据为视频数据或动态图像数据,该类型的显示数据包含多帧图像数据,为了实现连续流畅的显示,显示模块需要以稳定的刷新频率显示显示数据内的各帧图像数据,例如,每秒显示60帧图像数据,即60fps,此时,处理器需要第一时序控制器确定读取显示图像内各帧图像的时间间隔,若显示模块为60fps,则上述刷新频率为1/60s。处理器基于预设的时间间隔读取显示数据内的各帧图像数据,并生成该图像数据的多个数据块以及多个数据块关联的同步标识。
在本实施例中,处理器可以包含有存储器,该存储器内包含上述的第一缓存区域。
在本实施例中,处理器的应用层可以从运行的应用程序(如相册应用程序、视频播放应用程序以及浏览器应用程序等)中获取待显示的显示数据,并将显示数据存储于处理器的第一缓存区域内,在该情况下,处理器可以根据第一时序控制器以预设的第一刷新频率生成的读取请求,处理器的应用层检测到该读取请求时,则从应用程序除获取显示数据的一帧图像数据,并存储于第一缓存区域内。
在本实施例中,第一时序控制器除了控制刷新频率外,还用于控制处理器读取数据块的速率,第一时序控制器可以根据预设的发送时隙,生成发送指令,处理器在接收到第一时序控制器的发送指令时,可以从第一缓存区域内读取存储的图像数据中若干行数据,并生成对应的数据包,根据读取的若干行数据在图像数据中的位置,生成与该数据块对应的同步标识。需要说明的是,不同的数据块之间的发送时序可以相同也可以不同,具体发送时隙的长短通过第一时序控制器确定。
需要说明的是,生成数据块的同步标识的过程与上一实施例的实现过程完全相同,具体描述可以参见S901的相关描述,在此不再赘述。S2001是实施例一中S901的其中一种实现方式。
在S2002中,处理器将数据块以及数据块关联的同步标识进行封装,生成数据包。
在本实施例中,封装数据包的过程与上一实施例的实现过程完全相同,具体描述可以参见S901的相关描述,在此不再赘述。S2002是实施例一中S901的其中一种实现方式。
在S2003中,处理器基于发送时隙依次发送各个数据包给显示模块。
在本实施例中,处理器在封装得到一个数据包后,则可以通过与显示模块之间的通信链路将数据包发送给显示模块,由于处理器读取的操作是基于第一时序控制器的发送时隙执行的,且生成一个数据包则执行发送操作,因此上述发送数据包之间的时间间隔也与上述第一时序控制器的发送时隙一致。
需要说明的是,发送数据包的过程与上一实施例的实现过程完全相同,具体描述可以参见S902的相关描述,在此不再赘述。S2003是实施例一中S902的其中一种实现方式。
在S2004中,显示模块依次对处理发送的各个数据包进行解析,得到各个数据包关联的同步标识,并基于同步标识确定各个数据块在显示面板上的显示位置,以对图像数据进行显示。
在本实施例中,由于各个数据包是基于固定的时隙以及刷新频率发送的,因此,显示模块可以在接收到各个数据包时,对数据包进行解析,并基于数据包内的同步标识,确定各个数据包的数据块在显示面板上的显示位置,以还原所需显示的图像数据。具体显示流程可以参见上一实施例中S903的具体描述,在此不再赘述。S2004是实施例一中S903的其中一种实现方式。
在本实施例中,由于时隙以及发送频率的控制是由处理器完成的,显示模块内可以无需配置有时序控制器以及缓存区域(由于不会连续接收到多个数据包,不同数据包之间会存在一定的发送时隙),在接收到数据包后可以直接解析并显示。
在本申请实施例中,各个显示数据的数据包同样携带有同步标识,无需割裂消隐期,可以让电子设备保持连续的低功耗模式,降低了电子设备的能耗,并且电子设备无需配置额外的专用信号线来传输同步信号,降低了电路布线难度。另一方面,由于发送时序的控制由电子设备的处理器完成,显示模块无需具备缓存一帧图像数据的能力,以及时序控制的能力,降低了显示模块的硬件需求,继而降低了显示模块的造价成本,即降低了电子设备的造价成本。
实施例三:
图21示出了本申请又一实施例提供的显示同步的方法,与上一实施例相比,在该实施例中,显示时序具体由电子设备的显示模块完成,该处理器包含第一缓存区域以及第一通信接口,电子设备的显示模块包含第二通信接、第二时序控制器、第二缓存区域以及口以及显示面板。在该情况下,上述显示同步的方法具体包括:
在S2101中,处理器从显示数据中依次提取各帧图像数据,并依次读取图像数据的部分数据,生成数据块;处理器生成数据块对应的同步标识;处理器将数据块以及数据块对应的同步标识进行封装,生成数据包。
在S2102中,处理器依次将各个数据包发送给显示模块。
在本实施例中,S2101以及S2102的实现过程与实施例一的S901以及S902的实现过程完全相同,具体描述可以参见S901和S902的相关描述,在此不再赘述。其中,S2101是实施例一中S901的其中一种实现方式,S2102是实施例一中S902的其中一种实现方式。
在S2103中,显示模块依次对接收到的各个数据包进行解析,确定各个数据包携带的同步标识,并根据各个数据包内包含的同步标识,确定各个数据包之间的读取时隙。
在本实施例中,显示模块在接收到处理器发送的数据包后,会对数据包进行解析,确定该数据包内携带的同步标识。其中,同步标识所在字段,是处理器与显示模块之间预先约定的,即可以根据通信协议确定。例如,若该同步标识存储于数据包的包头内,则显示模块可以读取数据包包头对应的字段的值,将该字段的值作为该数据包的同步标识。
在本实施例中,不同的同步标识,对应的消隐期会存在一定的差异。例如,对于图像数据的最后一个数据包,即同步标识为EOF的数据包,由于需要与下一帧图像区分,会包含垂直前沿期VFP,在显示过程中,显示模块读取数据包的读取时隙时长为t1,而对于图像数据的任一同步标识为SOL的数据包,由于需要与上一行的图像数据区分,会包含水平消隐期,在显示过程中,显示模块读取数据包的读取时隙时长为t2,而t1和t2之间可以不同也可以相同,因此不同的数据包的读取时序需要与该数据包的同步标识相匹配,处理器在确定了数据包的同步标识后,则可以确定每个数据包之间的读取时隙。
在S2104中,显示模块将接收到的数据包存储于第二缓存区域。
在本实施例中,处理器侧并不承担时序控制的任务,处理器发送数据包的时间间隔以及频率并不一定以固定的时序发送,因而显示模块可以将接收到的数据包存储于本地的缓存区域,即上述的第二缓存区域,然后通过显示模块的第二时序控制器实现显示同步过程的时序控制,例如以固定时序的读取数据包以及显示各个数据包的数据块的操作。
在一种可能的实现方式中,第二缓存区域的存储容量可以大于或等于一帧图像数据的数据量。在该情况下,处理器可以将一帧图像数据的所有数据包连续发送给显示模块,显示模块通过第二时序控制器实现各个数据包进行显示同步的时序控制。若第二缓存区域的存储容量大于一帧图像数据的情况下,显示模块存储完整的一帧图像数据,在处理器不发送图像数据的情况下,显示模块可以根据存储于第二缓存区域内的一帧完整的图像数据,不影响显示模块的显示面板的图像刷新(即每次刷新依然显示第二缓存区域内存储的图像数据)。
在一种可能的实现方式中,第二缓存区域的存储容量可以小于一帧图像数据的数据量,在该情况下,第二缓存区域的存储容量可以根据处理器的数据发送速率确定,保证显示模块的数据读取速率与数据发送速率相匹配。
在S2105中,显示模块通过第二时序控制器以读取时隙从第二缓存区域内依次读取各个数据包。
在本实施例中,第二时序控制器根据上述确定的读取时序,可以确定每个数据包对应的读取时刻,若到达某一数据包的读取时序,第二时序控制器可以生成一个读取请求,显示模块可以在检测到上述的读取请求后从第二缓存区域内获取对应的数据包。
在S2106中,显示模块根据数据包内的同步标识,确定数据包的数据块在显示面板的显示位置,以显示各个图像数据。
在本实施例中,S2106的具体实现方式与实施例一中的S903的实现过程完全相同,具体描述可以参见S903的相关描述,在此不再赘述。其中,S2104~S2106是实施例一中S903的其中一种实现方式。
需要说明的是,各个数据包的读取以及显示的时序控制是通过显示模块的第二时序控制器实现的,以上述读取时序读取各个数据包,并显示各个数据包的数据块,在显示面板侧会以预设的刷新频率对画面进行刷新。
在本申请实施例中,同样可以将各个数据包的同步标识封装于数据包内,无需通过额外的同步短包或信号专用线传输同步标识,从而能够保持电子设备在整个消隐期处于低功耗模式,降低设备能耗的同时,还无需增加设备的布线难度,简化了总线结构。
实施例四:
实施例一至三以电子设备的处理器与显示模块双方交互的角度说明了显示同步的方法的实现过程,而在实施例四中,则以处理器为流程的执行主体,说明显示同步的方法的实现过程。图22示出了本申请一实施例提供的处理器侧的显示同步的方法的实现流程图,详述如下:
在S2201中,处理器获取待显示的显示数据的若干行数据,生成数据块,并生成数据块对应的同步标识。
在S2202中,处理器将数据块以及与所述数据块对应的同步标识进行封装,得到数据块对应的数据包。
在S2203中,处理器依次将显示数据对应的各个数据包发送给显示模块,以使显示模块根据同步标识对各个数据包进行显示同步,在显示模块的显示面板上显示显示数据。
可选地,若处理器包含第一时序控制器,则S2201具体为:通过第一时序控制器以预设的刷新频率从显示数据中依次提取各帧图像数据;通过第一时序控制器以预设的发送时隙读取图像数据的若干行数据,生成数据块;
对应的,上述S2203具体为:处理器基于发送时隙依次发送各个数据块给显示模块。
可选地,处理器将数据块以及与数据块对应的同步标识进行封装,得到数据块对应的数据包,包括:处理器将同步标识作为到数据包模板预设的第一字段的值,以及将数据块添加到数据包模板预设的第二字段,得到数据包。
实施例五:
实施例一至三以电子设备的处理器与显示模块双方交互的角度说明了显示同步的方法的实现过程,而在实施例五中,则以显示模块为流程的执行主体,说明显示同步的方法的实现过程。图23示出了本申请一实施例提供的显示模块侧的显示同步的方法的实现流程图,详述如下:
在S231中,显示模块依次接收处理器发送关于显示数据的各个数据包;其中,每个数据包包含数据块以及数据块对应的同步标识,每个数据块包含待显示的显示数据的若干行数据。
在S232中,显示模块依次对接收到的各个所述数据包进行解析,得到各个数据包内的数据块及对应的同步标识,并基于所述同步标识确定对应的数据块在所述显示模块的显示面板上的显示位置,以对所述显示数据进行显示。
可选地,若显示模块包含第二缓存区域以及第二时序控制器,则上述S232具体包括:
在S2321中,显示模块依次对接收到的各个数据包进行解析,确定各个数据包携带的同步标识,并根据各个数据包内包含的同步标识,确定各个数据包之间的读取时隙。
在S2322中,显示模块将接收到的数据包存储于第二缓存区域。
在S2323中,显示模块通过第二时序控制器以读取时隙从第二缓存区域内依次读取各个数据包。
在S2324中,显示模块根据数据包内的同步标识,确定数据包的数据块在显示面板的显示位置,以显示各个图像数据。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
实施例六:
对应于上文实施例的显示同步的方法,图24示出了本申请实施例提供的显示同步的装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图24,该显示同步的装置包括:
处理器241,用于获取待显示的显示数据的若干行数据,生成数据块;
处理器241,用于生成数据块对应的同步标识;
处理器241,用于将数据块以及与数据块对应的同步标识进行封装,得到数据块对应的数据包;
处理器241,用于依次将显示数据对应的各个数据包发送给显示模块242;
显示模块242,用于依次对接收到的各个数据包进行解析,得到各个数据包内的数据块及对应的同步标识,并基于同步标识确定同步标识对应的数据块在显示模块242的显示面板上的显示位置,以对显示数据进行显示。
在第二方面的一种可能实现方式中,处理器241,用于将数据块以及与数据块对应的同步标识进行封装,得到数据块对应的数据包,包括:
处理器241,用于将同步标识作为到数据包模板预设的第一字段的值,以及将数据块添加到数据包模板预设的第二字段,得到数据包。
在第二方面的一种可能实现方式中,若处理器241包含第一时序控制器,则处理器241,用于获取待显示的显示数据的若干行数据,生成数据块,包括:
处理器241,用于通过第一时序控制器以预设的刷新频率从显示数据中依次提取各帧图像数据;
处理器241,用于通过第一时序控制器以预设的发送时隙读取图像数据的若干行数据,生成数据块。
在第二方面的一种可能实现方式中,处理器241,用于依次将各个数据包发送给显示模块242,包括:
处理器241,用于基于发送时隙依次发送各个数据块给显示模块242。
在第二方面的一种可能实现方式中,若显示模块242包含第二时序控制器以及第二缓存区域,则显示模块242,用于依次对处理发送的各个数据包进行解析,得到各个数据包内的数据块及对应的同步标识,并基于同步标识确定各个数据块在显示模块242的显示面板上的显示位置,以对显示数据进行显示,包括:
显示模块242,用于依次对接收到的各个数据包进行解析,得到各个数据包内的数据块及对应的同步标识,并根据同步标识,确定各个数据包之间的读取时隙;
显示模块242,用于将接收到的数据包存储于第二缓存区域;
显示模块242,用于通过第二时序控制器以读取时隙从第二缓存区域内依次读取各个数据包;
显示模块242,用于根据数据包内的同步标识,确定数据包的数据块在显示面板的显示位置,以显示各个图像数据。
因此,本申请实施例提供的显示同步的装置同样可以通过处理器对显示数据进行划分,生成多个数据块,并且为每个数据块配置对应的同步标识,将同步标识与数据块一并封装于一个数据包内,并发送给显示模块,显示模块可以在接收到包含数据块以及同步标识的数据包后,可以基于同步标识确定关联的数据块的显示位置,以还原显示数据,在显示面板上显示显示数据,实现了电子设备的处理器与显示模块之间的显示同步。与现有的显示同步技术相比,无需发送额外的同步短包,从而无需电子设备频繁进入高速传输模式,降低了电子设备的能耗;另一方面,上述同步标识的传输方式,也不依赖于专用信号线或双向传输线对同步标识进行传输,并不会增加电子设备的布线难度,降低了电子设备的造价。
图25为本申请一实施例提供的电子设备的结构示意图。如图25所示,该实施例的电子设备25包括:至少一个处理器250(图25中仅示出一个)处理器、存储器251以及存储在存储器251中并可在至少一个处理器250上运行的计算机程序252,处理器250执行计算机程序252时实现上述任意各个显示同步的方法实施例中的步骤。
所述电子设备25可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该电子设备可包括,但不仅限于,处理器250、存储器251。本领域技术人员可以理解,图25仅仅是电子设备25的举例,并不构成对电子设备25的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器250可以是中央处理单元(Central Processing Unit,CPU),该处理器250还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器251在一些实施例中可以是所述电子设备25的内部存储单元,例如电子设备25的硬盘或内存。所述存储器251在另一些实施例中也可以是所述电子设备25的外部存储设备,例如所述电子设备25上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器251还可以既包括所述电子设备25的内部存储单元也包括外部存储设备。所述存储器251用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器251还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供了一种电子设备,该电子设备包括:至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在移动终端上运行时,使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (13)

1.一种显示同步的方法,应用于电子设备,其特征在于,所述电子设备包括处理器以及显示模块,所述方法包括:
所述处理器获取待显示的显示数据的若干行数据,生成数据块;
所述处理器生成所述数据块对应的同步标识;
所述处理器将所述数据块以及与所述数据块对应的同步标识进行封装,得到所述数据块对应的数据包;
所述处理器依次将所述显示数据对应的各个所述数据包发送给显示模块;所述数据包是通过MIPI-DSI接口发送给所述显示模块的;所述同步标识配置于DSI协议中数据长包的包头的任一位置;
所述显示模块依次对接收到的各个所述数据包进行解析,得到各个数据包内的数据块及对应的同步标识,并基于所述同步标识确定所述同步标识对应的数据块在所述显示模块的显示面板上的显示位置,以对所述显示数据进行显示。
2.根据权利要求1所述的方法,其特征在于,所述处理器将所述数据块以及与所述数据块对应的同步标识进行封装,得到所述数据块对应的数据包,包括:
所述处理器将所述同步标识添加到数据包模板预设的第一字段,以及将所述数据块添加到所述数据包模板预设的第二字段,得到所述数据包。
3.根据权利要求1或2所述的方法,其特征在于,若所述处理器包含第一时序控制器,则所述处理器获取待显示的显示数据的若干行数据,生成数据块,包括:
所述处理器通过所述第一时序控制器以预设的刷新频率从所述显示数据中依次提取各帧图像数据;
所述处理器通过所述第一时序控制器以预设的发送时隙读取所述图像数据的若干行数据,生成所述数据块。
4.根据权利要求3所述的方法,其特征在于,所述处理器依次将各个所述数据包发送给显示模块,包括:
所述处理器基于所述发送时隙依次发送各个所述数据块给所述显示模块。
5.根据权利要求1或2所述的方法,其特征在于,若所述显示模块包含第二时序控制器以及第二缓存区域,则所述显示模块依次对所述处理器发送的各个所述数据包进行解析,得到各个数据包内的数据块及对应的所述同步标识,并基于所述同步标识确定各个所述数据块在所述显示模块的显示面板上的显示位置,以对所述显示数据进行显示,包括:
所述显示模块依次对接收到的各个所述数据包进行解析,得到各个数据包内的数据块及对应的同步标识,并根据所述同步标识,确定各个所述数据包之间的读取时隙;
所述显示模块将接收到的所述数据包存储于所述第二缓存区域;
所述显示模块通过所述第二时序控制器以所述读取时隙从所述第二缓存区域内依次读取各个所述数据包;
所述显示模块根据所述数据包内的所述同步标识,确定所述数据包的数据块在所述显示面板的显示位置,以显示各个所述显示数据。
6.一种显示同步的方法,应用于电子设备的处理器,其特征在于,所述电子设备还包括显示模块,所述显示同步的方法包括:
所述处理器获取待显示的显示数据的若干行数据,生成数据块;
所述处理器生成所述数据块对应的同步标识;
所述处理器将所述数据块以及与所述数据块对应的同步标识进行封装,得到所述数据块对应的数据包;
所述处理器依次将所述显示数据对应的各个所述数据包发送给显示模块,以使所述显示模块依次对接收到的各个所述数据包进行解析,得到各个数据包内的数据块及对应的同步标识,并基于所述同步标识确定对应的数据块在所述显示模块的显示面板上的显示位置,以对所述显示数据进行显示;所述数据包是通过MIPI-DSI接口发送给所述显示模块的;所述同步标识配置于DSI协议中数据长包的包头的任一位置。
7.根据权利要求6所述的方法,其特征在于,所述处理器包含第一时序控制器,则所述处理器获取待显示的显示数据的若干行数据,生成数据块,包括:
所述处理器通过所述第一时序控制器以预设的刷新频率从所述显示数据中依次提取各帧图像数据;
所述处理器通过所述第一时序控制器以预设的发送时隙读取所述图像数据的若干行数据,生成所述数据块。
8.根据权利要求7所述的方法,其特征在于,所述处理器依次将各个包含所述同步标识的所述数据包发送给显示模块,包括:
所述处理器基于所述发送时隙依次发送各个所述数据块给所述显示模块。
9.根据权利要求6所述的方法,其特征在于,所述处理器将所述数据块以及与所述数据块对应的同步标识进行封装,得到所述数据块对应的数据包,包括:
所述处理器将所述同步标识添加到数据包模板预设的第一字段,以及将所述数据块添加到所述数据包模板预设的第二字段,得到所述数据包。
10.一种显示同步的方法,应用于电子设备的显示模块,其特征在于,所述电子设备还包括处理器,所述显示同步的方法包括:
所述显示模块依次接收处理器发送的多个数据包,其中,每个数据包包含数据块以及所述数据块对应的同步标识,每个所述数据块包含待显示的显示数据的若干行数据;所述数据包是通过MIPI-DSI接口发送给所述显示模块的;所述同步标识配置于DSI协议中数据长包的包头的任一位置;
所述显示模块依次对接收到的各个所述数据包进行解析,得到各个数据包内的数据块及对应的同步标识,并基于所述同步标识确定对应的数据块在所述显示模块的显示面板上的显示位置,以对所述显示数据进行显示。
11.根据权利要求10所述的方法,其特征在于,若所述显示模块包含第二时序控制器以及第二缓存区域,则所述显示模块依次对接收到的各个所述数据包进行解析,得到各个数据包内的数据块及对应的同步标识,并基于所述同步标识确定对应的数据块在所述显示模块的显示面板上的显示位置,以对所述显示数据进行显示,包括:
所述显示模块依次对接收到的各个所述数据包进行解析,得到各个数据包内的数据块及对应的同步标识,并根据所述同步标识,确定各个所述数据包之间的读取时隙;
所述显示模块将接收到的所述数据包存储于所述第二缓存区域;
所述显示模块通过所述第二时序控制器以所述读取时隙从所述第二缓存区域内依次读取各个所述数据包;
所述显示模块根据所述数据包内的所述同步标识,确定所述数据包的数据块在所述显示面板的显示位置,以显示各个所述显示数据。
12.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项,或者权利要求6-9任一项,或者权利要求10-11任一项所述的方法。
13.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项,或者权利要求6-9任一项,或者权利要求10-11任一项所述的方法。
CN202011464391.4A 2020-12-11 2020-12-11 显示同步的方法、电子设备以及可读存储介质 Active CN114630007B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011464391.4A CN114630007B (zh) 2020-12-11 2020-12-11 显示同步的方法、电子设备以及可读存储介质
EP21902693.7A EP4246961A4 (en) 2020-12-11 2021-12-09 DISPLAY SYNCHRONIZATION METHOD, ELECTRONIC DEVICE AND READABLE STORAGE MEDIUM
PCT/CN2021/136831 WO2022121988A1 (zh) 2020-12-11 2021-12-09 显示同步的方法、电子设备以及可读存储介质
US18/332,868 US20230335081A1 (en) 2020-12-11 2023-06-12 Display Synchronization Method, Electronic Device, and Readable Storage Medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011464391.4A CN114630007B (zh) 2020-12-11 2020-12-11 显示同步的方法、电子设备以及可读存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410383086.4A Division CN118354012A (zh) 2020-12-11 显示同步的方法、电子设备以及可读存储介质

Publications (2)

Publication Number Publication Date
CN114630007A CN114630007A (zh) 2022-06-14
CN114630007B true CN114630007B (zh) 2024-04-26

Family

ID=81895867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011464391.4A Active CN114630007B (zh) 2020-12-11 2020-12-11 显示同步的方法、电子设备以及可读存储介质

Country Status (4)

Country Link
US (1) US20230335081A1 (zh)
EP (1) EP4246961A4 (zh)
CN (1) CN114630007B (zh)
WO (1) WO2022121988A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11983062B2 (en) * 2022-07-27 2024-05-14 Qualcomm Incorporated Power control for a decoder

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101162575A (zh) * 2006-10-12 2008-04-16 佳能株式会社 显示控制设备和方法、显示设备和处理方法、多显示***
CN103916668A (zh) * 2013-01-04 2014-07-09 云联(北京)信息技术有限公司 一种图像处理方法及***
CN108551590A (zh) * 2018-05-16 2018-09-18 青岛海信电器股份有限公司 用于广播接收装置接收ts流处理方法及装置
CN110119263A (zh) * 2019-05-09 2019-08-13 深圳吉迪思电子科技有限公司 一种显示器阵列中显示图像的方法及装置
CN111737012A (zh) * 2020-07-31 2020-10-02 腾讯科技(深圳)有限公司 数据包的同步方法、装置、设备及存储介质
CN112019853A (zh) * 2020-09-01 2020-12-01 西安万像电子科技有限公司 图像处理方法、***、装置、存储介质和处理器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667959B (zh) * 2008-09-05 2014-08-20 华为技术有限公司 一种物理层数据传输的方法、装置及数据传输的***
US8339467B2 (en) * 2010-03-25 2012-12-25 Dacuda Ag Synchronization of navigation and image information for handheld scanner
DE102012107954A1 (de) * 2011-09-02 2013-03-07 Samsung Electronics Co. Ltd. Anzeigetreiber, Betriebsverfahren davon, Host zum Steuern des Anzeigetreibers und System mit dem Anzeigetreiber und dem Host
CN105657364B (zh) * 2015-12-30 2019-04-16 广东威创视讯科技股份有限公司 一种图像处理器的显示方法、装置及***
CN105847990B (zh) * 2016-03-30 2019-03-19 华为技术有限公司 播放媒体文件的方法和设备
CN111163360B (zh) * 2020-01-02 2021-11-16 腾讯科技(深圳)有限公司 视频处理方法、装置、计算机可读存储介质和计算机设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101162575A (zh) * 2006-10-12 2008-04-16 佳能株式会社 显示控制设备和方法、显示设备和处理方法、多显示***
CN103916668A (zh) * 2013-01-04 2014-07-09 云联(北京)信息技术有限公司 一种图像处理方法及***
CN108551590A (zh) * 2018-05-16 2018-09-18 青岛海信电器股份有限公司 用于广播接收装置接收ts流处理方法及装置
CN110119263A (zh) * 2019-05-09 2019-08-13 深圳吉迪思电子科技有限公司 一种显示器阵列中显示图像的方法及装置
CN111737012A (zh) * 2020-07-31 2020-10-02 腾讯科技(深圳)有限公司 数据包的同步方法、装置、设备及存储介质
CN112019853A (zh) * 2020-09-01 2020-12-01 西安万像电子科技有限公司 图像处理方法、***、装置、存储介质和处理器

Also Published As

Publication number Publication date
EP4246961A1 (en) 2023-09-20
CN114630007A (zh) 2022-06-14
EP4246961A4 (en) 2024-02-21
WO2022121988A1 (zh) 2022-06-16
US20230335081A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
CN113448382B (zh) 多屏幕显示电子设备和电子设备的多屏幕显示方法
CN113254409B (zh) 文件共享方法、***及相关设备
CN114650363B (zh) 一种图像显示的方法及电子设备
CN114079893B (zh) 蓝牙通信方法、终端设备及计算机可读存储介质
CN113129202B (zh) 数据传输方法、装置及数据处理***、存储介质
CN113973398B (zh) 无线网络连接方法、电子设备及芯片***
CN114125793A (zh) 一种蓝牙数据传输方法及相关装置
CN116828100A (zh) 蓝牙音频播放方法、电子设备及存储介质
US20230335081A1 (en) Display Synchronization Method, Electronic Device, and Readable Storage Medium
CN115914461B (zh) 位置关系识别方法和电子设备
CN116389884B (zh) 缩略图显示方法及终端设备
CN116708751B (zh) 一种拍照时长的确定方法、装置和电子设备
CN116048831B (zh) 一种目标信号处理方法和电子设备
CN116051351B (zh) 一种特效处理方法和电子设备
CN116048217B (zh) 一种电子设备运行方法、装置和电子设备
CN115482143B (zh) 应用的图像数据调用方法、***、电子设备及存储介质
CN113645595B (zh) 设备交互方法和装置
CN116939559A (zh) 蓝牙音频编码数据分发方法、电子设备及存储介质
CN118354012A (zh) 显示同步的方法、电子设备以及可读存储介质
CN114205318B (zh) 头像显示方法及电子设备
CN116703741B (zh) 一种图像对比度的生成方法、装置和电子设备
CN116703689B (zh) 一种着色器程序的生成方法、装置和电子设备
CN116048629B (zh) ***服务切换方法及控制装置、电子设备和存储介质
CN115460445B (zh) 电子设备的投屏方法和电子设备
CN116935869A (zh) 音频数据分发方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant