CN118037557A - 一种图像数据的处理方法及相关设备 - Google Patents

Abstract

本申请提供了一种图像数据的处理方法及相关设备，通过将主控设备发送给显示驱动设备的图像数据采用新的排布格式，将第一图像数据和第二图像数据进行间插处理形成第一间插区域，可以在数据传输过程中，减小显示驱动设备的时延，节省显示驱动设备的数据缓存量，降低显示驱动设备的成本。

Description

一种图像数据的处理方法及相关设备

技术领域

本发明涉及显示技术领域，尤其涉及一种图像数据的处理方法及相关设备。

背景技术

显示设备比如虚拟现实(virtual reality，VR)设备的角分辨率(points perdegree，PPD)一直受关注，业界普遍认为PPD达到40°以上，可以去除VR设备的纱窗效应，使用户获得较好的画质体验。当前市面主流VR设备的显示屏单眼分辨率在2K*2K左右，若按照VR设备的视场角(angle of view，FOV)为100°计算得到PPD仅为20°，因此越来越多的VR设备计划搭载更大分辨率的屏幕，比如4K*4K分辨率的显示屏，致力于将PPD提升至40°。

发明内容

本申请提供的一种图像数据的处理方法及相关设备，用以减小数据缓存量并减小显示时延。

第一方面，本申请实施例提供的应用于主控设备(AP)的图像数据的处理方法，具体可以包括：根据获取的注视区信息生成至少一个图像数据组，至少一个图像数据组中的一个图像数据组包括第一图像数据和第二图像数据，第一图像数据与注视区信息对应。在第一格式模式下，根据注视区信息，对至少一个图像数据组中的每个图像数据组的第一图像数据和第二图像数据进行间插排列，生成第一格式图像。将生成的第一格式图像和注视区信息输出至显示驱动设备。

在本申请一些实施例中，注视区信息可以包括人眼在屏幕的注视区位置坐标以及注视区的大小等信息。在具体实施时，可以通过设备内部安装的红外相机等器件捕获用户眼球画面，利用眼动追踪算法等计算方法，实时计算用户眼球在屏幕上的注视点坐标和大小。

在本申请一些实施例中，当应用于诸如VR设备等需要区分左右眼显示图像的设备时，可以生成左眼图像数据组和右眼图像数据组，即至少一个图像数据组可以包括左眼图像数据组和右眼图像数据组。当应用于不需要区分左右眼显示图像的设备时，可以直接生成一个图像数据组。

在本申请一些实施例中，VR设备的渲染引擎可以获取注视区信息中的注视区位置坐标，利用注视点渲染技术进行图像渲染，生成第一图像数据，以降低渲染功耗和算力。第一图像数据为高画质小FOV的前景画面，因此第一图像数据也可以称作前景图像数据，第二图像数据为低画质大FOV的背景画面，因此第二图像数据也可以称作背景图像数据。

在本申请一些实施例中，为了降低算力和渲染功耗，在一个图像数据组中，第一图像数据和第二图像数据的数据量相当，即第一图像数据和第二图像数据的数据行数可以相同。例如，在左眼图像数据组和右眼图像数据组中，第一图像数据和第二图像数据的大小为1536*1536。并且，左眼图像数据组可以位于左半帧，右眼图像数据组可以位于右半帧。

在本申请一些实施例中，在第一格式图像中可以包括第一间插区域和背景区域。第一间插区域包括全部的第一图像数据和部分的第二图像数据，在第一间插区域内第一图像数据和第二图像数据间插排列。背景区域仅包括部分的第二图像数据，即背景区域不包括第一图像数据。

在本申请一些实施例中，由于第一图像数据呈现在屏幕的位置会跟随注视区位置的变化而变化，因此，在第一格式图像中，由第一图像数据和第二图像数据间插形成的第一间插区域的位置需要跟随注视区位置进行调节，在第一格式图像中，第一间插区域和背景区域的位置可以灵活变化。例如，注视区位置位于屏幕的最上方时，在第一个格式图像中第一间插区域排列在背景区域之前。又如，注视区位置位于屏幕的最下方时，在第一个格式图像中，背景区域排列在第一间插区域之前。再如，注视区位置位于屏幕的中部时，在第一个格式图像中，背景区域可以分为两部分，即第一背景区域和第二背景区域，第一背景区域排列在第一间插区域之前，第二背景区域排列在第一间插区域之后。

相应地，显示驱动设备可以将第一格式图像中的第二图像数据按照第一放大倍数进行放大的同时，根据注视区信息与第一图像数据进行融合生成显示图像。由于显示驱动设备接收到的第一格式图像中根据注视区信息间插排列了图像数据，在第一间插区域内第一图像数据和第二图像数据间插排列，使得显示驱动设备在接收第一间插区域的图像数据过程中，可以随着将接收到的第二图像数据进行放大的同时，直接与接收到的第一图像数据进行融合，无需等待第一图像数据全部缓存完成后才开始放大第二图像数据并进行融合，因此可以减小缓存的数据量，降低内存成本，并且，减少了由于需要缓存带来的半帧时延，降低了设备的运动到成像时延(motion-to-photon，MTP)。

在本申请一些实施例中，注视区信息可以包括人眼在屏幕的注视区位置坐标以及注视区的大小等信息。具体地，可以选取注视区的左上角坐标为注视区的原点，用(x，y)表示。注视区信息可以携带在第一格式图像中，例如可以位于数据消隐区，或者位于数据有效区的前一行或前几行数据中。

在本申请一些实施例中，主控设备AP可以具有多种模式可供选择，可以根据实际需要选择不同模式传输生成的图像数据组。例如主控设备可以选择采用第一格式、第二格式或第三格式进行数据输出。第一格式为间插格式，需要进行上述生成第一格式图像后输出；第二格式为顺序格式，可以将上述图像数据组中的第一图像数据和第二图像数据顺序排列后生成的第二格式图像输出；第三格式为普通格式，不进行人眼追踪识别，直接输出与屏幕的有效区大小一致的第三格式图像。

在本申请一些实施例中，主控设备还可以向显示驱动设备发送第一格式模式切换指令，以便告知显示驱动设备采用第一格式模式对接收到的数据进行解析，并且，主控设备还可以向显示驱动设备发送第二格式模式切换指令或第三格式模式切换指令，以便告知显示驱动设备采用第二格式模式或第三格式模式切换指令对接收到的数据进行解析。进一步地，在本申请一些实施例中，第一格式模式切换指令可以携带在数据消隐区。同理，在本申请一些实施例中，第二格式模式切换指令和第三格式模式切换指令可以携带在数据消隐区。在本申请一些实施例中，不管是采用哪种模式输出数据，为了降低数据传输量，降低带宽，主控设备AP均可以在数据输出之前进行数据打包压缩。相应地，显示驱动设备DDIC在接收到压缩的数据后，需要先进行数据解压缩，才会执行后续操作步骤。

在本申请一些实施例中，为了降低端口带宽数据，在第一格式模式下，主控设备可以采用一个或多个端口分别将左眼图像数据组和右眼图像数据组对应的第一格式图像发送给DDIC。在第二格式模式下，主控设备可以采用一个或多个端口分别将左眼图像数据组和右眼图像数据组发送给DDIC。在第三格式模式下，主控设备可以采用一个或多个端口将图像数据发送给DDIC。

在本申请一些实施例中，第二图像数据的第一放大倍数是由第二图像数据的行数和屏幕的有效区行数共同决定的。具体地，第一放大倍数等于屏幕的有效区行数除以第二图像数据的行数，例如，第二图像数据的大小为1536*1536，屏幕的有效区尺寸为3840*3840，则第一放大倍数可以为2.5倍。

在本申请一些实施例中，在第一间插区域内，第一图像数据与第二图像数据的比例一般与第一放大倍数相关。具体地，在第一间插区域内，第一图像数据与第二图像数据的比例可以为n：1，n为第一放大倍数，例如在第一间插区域，第一图像数据和第二图像数据的比例关系可以为2.5:1。

在本申请一些实施例中，为了尽可能减小显示驱动设备中缓存的数据量，在第一间插区域内，第一图像数据和第二图像数据的排列格式可以为以重复周期循环排列，一个重复周期内同时包括第一图像数据和第二图像数据。并且，一个重复周期内包含的第一图像数据和第二图像数据的数据量应尽量小。

由于第一放大倍数有可能不是整数倍，因此，在一个重复周期内，第一图像数据和第二图像数据可以间插排列。在一个重复周期内，间插排列的最小单位可以是单行数据或者多行数据或者亚行(小于一行)数据，即在一个重复周期内，连续排列的第一图像数据和连续排列的第二图像数据可以是一整行数据，或多行数据，或小于一行数据。

具体地，在一个重复周期内间插排列的最小单位为单行数据时，可以在多行的第一图像数据之后或之前间插单行的第二图像数据。例如，以第一放大倍数为2.5倍为例，重复周期内可以按照第一图像数据的行数：第二图像数据的行数：第一图像数据的行数：第二图像数据的行数的比例为2:1:3:1进行排列，具体地，在一个重复周期内可以按照两行第一图像数据→一行第二图像数据→三行第一图像数据→一行第二图像数据进行排列。

具体地，在一个重复周期内间插排列的最小单位为多行数据时，在一个重复周期内，第一图像数据与第二图像数据可以按照以下数据行数进行周期排列：m*n行的第一图像数据：m行的第二图像数据，其中，m*n和m可以均为大于1的整数。例如，以第一放大倍数为2.5倍为例，为满足m*n和m均为大于1的整数，则m可以等于2，重复周期内可以按照五行第一图像数据→两行第二图像数据进行排列。

进一步地，m还可以为其他正数，例如m可以为小于1的正数，或m可以为大于1的小数。例如，以第一放大倍数为2.5倍为例，当m等于0.4时，重复周期内可以按照一行第一图像数据→0.4行第二图像数据进行排列；当m等于1.2时，重复周期内可以按照三行第一图像数据→1.2行第二图像数据进行排列。

具体地，在一个重复周期内间插排列的最小单位为亚行数据时，在一个重复周期内，第一图像数据与第二图像数据可以按照以下数据行数进行周期排列：1行的第一图像数据：1/n行的第二图像数据。例如，以第一放大倍数为2.5倍为例，一个重复周期内可以按照一行第一图像数据→0.4行第二图像数据进行排列。

上述一个重复周期内的第一图像数据和第二图像数据的排列方式仅是举例说明，其他可能实现的方式均在本申请保护范围内。

在本申请一些实施例中，由于第一图像数据呈现在屏幕的位置会随注视区位置的变化而变化，因此，在第一格式图像中，由第一图像数据和第二图像数据间插形成的第一间插区域的位置需要根据注视区位置进行调节。具体地，在第一格式图像中第一间插区域的范围可以为：行；其中，x取值范围为[1，Q-R]，x为注视区信息的首行行数，n为第一放大倍数，R为第一图像数据的总行数，Q为屏幕有效区的总行数。例如：以第一放大倍数n＝2.5，R＝1536，Q＝3840为例，第一间插区域的范围可以为：/> 行，x的取值范围为[1，2304]。

相应地，随着第一间插区域的位置变化，背景区域在第一格式图像中的位置也会变化，背景区域可以包括第一背景区域和第二背景区域，第一间插区域位于第一背景区域和第二背景区域之间。具体地，当注视区信息的首行行数满足条件时，在第一间插区域之前不存在第一背景区域，仅在第一间插区域之后设置第二背景区域。在注视区信息的首行行数满足/>条件时，在第一间插区域之前存在第一背景区域，在第一格式图像中的第一背景区域的范围可以为：/>行。具体地，当注视区信息的首行行数满足条件时，在第一间插区域之后不存在第二背景区域，仅在第一间插区域之前设置第一背景区域。在注视区信息的首行行数满足/>条件时，在第一间插区域之后存在第二背景区域，在第一格式图像中的第二背景区域的范围可以为：行；其中，P为第一格式图像中数据的总行数。例如：以第一放大倍数n＝2.5，R＝1536，P＝3072为例，当/>时，不存在第一背景区域；当/>时，第一背景区域的范围可以为/>行；当/>时，不存在第二背景区域；当/>时，第二背景区域的范围为/>行。

在本申请一些实施例中，VR设备的渲染引擎获取注视区信息中的注视区位置坐标，利用注视点渲染技术进行图像渲染生成第一图像数据时，还可以生成第三图像数据，第三图像数据为中画质中FOV的中景画面，因此第三图像数据也可以称作中景图像数据。因此，一个图像数据组还可以包括第三图像数据；对应地，第一间插区域还可以包括部分的第三图像数据，在第一间插区域内第一图像数据、第三图像数据和第二图像数据可以间插排列。并且，第一格式图像中还可以包括第二间插区域，在第二间插区域内可以包括部分的第三图像数据和部分的第二图像数据，在第二间插区域内第三图像数据和第二图像数据可以间插排列。在第一个格式图像中，第二间插区域排列在第一间插区域和背景区域之间。由于在第一格式图像中第一间插区域的位置需要跟随注视区位置进行调节，因此，在第一格式图像中，第二间插区域的位置可以随着第一间插区域的位置灵活变化。例如，注视区位置位于屏幕的最上方时，在第一个格式图像中按照第一间插区域、第二间插区域和第二背景区域的顺序排列。又如，过渡区位置位于屏幕的最上方时，在第一个格式图像中，可以按照第二间插区域、第一间插区域、第二间插区域、第二背景区域的顺序排列。其中过渡区指的是以注视区为中心且边界不超过背景区域的边界，过渡区内显示第三图像数据。又如，注视区位置位于屏幕的中部时，在第一个格式图像中，可以按照第一背景区域、第二间插区域、第一间插区域、第二间插区域、第二背景区域的顺序排列。又如，过渡区位置位于屏幕的最下方时，在第一个格式图像中，可以按照第一背景区域、第二间插区域、第一间插区域、第二间插区域的顺序排列。又如，注视区位置位于屏幕的最下方时，在第一个格式图像中按照第一背景区域、第二间插区域、第一间插区域的顺序排列。

在本申请一些实施例中，在显示驱动设备中可以对第三图像数据以第二放大倍数进行放大，第二放大倍数一般小于第一放大倍数。例如第一放大倍数为2.5倍，第二放大倍数可以为1.5倍。

在本申请一些实施例中，在第一间插区域和第二间插区域内，第三图像数据与第二图像数据的比例一般与第二放大倍数相关。具体地，在第一间插区域和第二间插区域内，第三图像数据与第二图像数据的比例可以为h：1，h为第二放大倍数，例如在第一间插区域和第二间插区域，第三图像数据和第二图像数据的比例关系为1.5:1。

在本申请一些实施例中，为了尽可能减小显示驱动设备中缓存的数据量，在第一间插区域和第二间插区域内，第三图像数据和第二图像数据的排列格式可以为以重复周期循环排列，一个重复周期内同时包括第三图像数据和第二图像数据。并且，一个重复周期内包含的第三图像数据和第二图像数据的数据量应尽量小。对于第二间插区域内的重复周期的具体排布方式可以参考上述第一间插区域内的重复周期的排布方式，再次不做赘述。

第二方面，本申请实施例提供的应用于显示驱动设备(DDIC)的图像数据的处理方法，具体可以包括：接收主控设备发送的第一格式图像和注视区信息。将第一格式图像中的第二图像数据按照第一放大倍数进行放大。根据注视区位置，将第一格式图像中的第一图像数据与放大后的第二图像数据进行融合生成显示图像。

在本申请一些实施例中，注视区信息可以包括人眼在屏幕的注视区位置坐标以及注视区的大小等信息。具体地，可以选取注视区的左上角坐标为注视区的原点，用(x，y)表示。注视区信息可以携带在第一格式图像中，例如可以位于数据消隐区，或者位于数据有效区的前一行或前几行数据中。

在本申请一些实施例中，主控设备AP可以具有多种模式可供选择，可以根据实际需要选择不同模式传输生成的图像数据。例如主控设备可以选择采用第一格式、第二格式或第三格式进行数据输出。第一格式为间插格式，主控设备会生成第一格式图像后输出；第二格式为顺序格式，主控设备会将图像数据组中的第一图像数据和第二图像数据顺序排列后生成的第二格式图像并输出；第三格式为普通格式，不进行人眼追踪识别，主控设备直接输出与屏幕的有效区大小一致的第三格式图像。因此，显示驱动设备有可能会接收到第一格式图像、第二格式图像或第三格式图像。

在本申请一些实施例中，主控设备还可以向显示驱动设备发送第一格式模式切换指令，以便告知显示驱动设备采用第一格式模式对接收到的数据进行解析，对应地，显示驱动设备会接收到主控设备发送的第一格式模式切换指令。并且，主控设备还可以向显示驱动设备发送第二格式模式切换指令或第三格式模式切换指令，以便告知显示驱动设备采用第二格式模式或第三格式模式切换指令对接收到的数据进行解析，对应地，显示驱动设备会接收到主控设备发送的第二格式模式切换指令或第三格式模式切换指令。并且，在本申请一些实施例中，显示驱动设备可以在数据消隐区中解析出第一格式模式切换指令、第二格式模式切换指令或第三格式模式切换指令。

在本申请一些实施例中，为了降低数据传输量，降低带宽，主控设备AP可以发送打包压缩后的数据。因此，显示驱动设备DDIC在接收到压缩的数据后，需要先进行数据解压缩，才能得到第一格式图像和注视区信息。

在本申请一些实施例中，为了降低端口带宽数据，主控设备AP可以采用一个或多个端口分别将左眼图像数据组和右眼图像数据组对应的第一格式图像发送给DDIC。在第二格式模式下，主控设备可以采用一个或多个端口分别将左眼图像数据组和右眼图像数据组发送给DDIC。在第三格式模式下，主控设备可以采用一个或多个端口将图像数据发送给DDIC。因此，显示驱动设备可以通过一个或多个端口分别接收数据。

在本申请一些实施例中，在第一格式图像中可以包括第一间插区域和背景区域。第一间插区域包括全部的第一图像数据和部分的第二图像数据，在第一间插区域内第一图像数据和第二图像数据间插排列。背景区域仅包括部分的第二图像数据。

在本申请一些实施例中，由于第一图像数据呈现在屏幕的位置会跟随注视区位置的变化而变化，因此，在第一格式图像中，由第一图像数据和第二图像数据间插形成的第一间插区域的位置需要跟随注视区位置进行调节，在第一格式图像中，第一间插区域和背景区域的位置可以灵活变化。例如，注视区位置位于屏幕的最上方时，在第一个格式图像中第一间插区域排列在背景区域之前。又如，注视区位置位于屏幕的最下方时，在第一个格式图像中，背景区域排列在第一间插区域之前。再如，注视区位置位于屏幕的中部时，在第一个格式图像中，背景区域可以分为两部分，即第一背景区域和第二背景区域，第一背景区域排列在第一间插区域之前，第二背景区域排列在第一间插区域之后。

具体地，显示驱动设备可以将第一格式图像中的第二图像数据按照第一放大倍数进行放大的同时，根据注视区信息与第一图像数据进行融合生成显示图像。由于显示驱动设备接收到的第一格式图像中根据注视区信息间插排列了图像数据，在第一间插区域内第一图像数据和第二图像数据间插排列，使得显示驱动设备在接收第一间插区域的图像数据过程中，可以随着将接收到的第二图像数据进行放大的同时，直接与接收到的第一图像数据进行融合，无需等待第一图像数据全部缓存完成后才开始放大第二图像数据并进行融合，因此可以减小缓存的数据量，降低内存成本，并且，减少了由于需要缓存带来的半帧时延，降低了设备的MTP。

在本申请一些实施例中，第二图像数据的第一放大倍数是由第二图像数据的行数和屏幕的有效区行数共同决定的。具体地，第一放大倍数等于屏幕的有效区行数除以第二图像数据的行数，例如，第二图像数据的大小为1536*1536，屏幕的有效区尺寸为3840*3840，则第一放大倍数可以为2.5倍。

在本申请一些实施例中，由于第一图像数据呈现在屏幕的位置会随注视区位置的变化而变化，因此，在第一格式图像中，由第一图像数据和第二图像数据间插形成的第一间插区域的位置需要根据注视区位置进行调节。在显示驱动设备中最终生成的显示图像中，第一图像数据的位置也会根据注视区位置进行调节。例如，注视区位置位于屏幕的最上方时，在显示图像中第一图像数据的位置排列在最上方。又如，注视区位置位于屏幕的最下方时，在显示图像中第一图像数据的位置排列在最下方。再如，注视区位置位于屏幕的中部时，在显示图像中第一图像数据的位置排列在中间位置。具体地，在显示图像中第一图像数据的范围可以为：[x+1，x+R]行；x为注视区信息的首行行数，R为第一图像数据的总行数。对应地，在显示图像中第二图像数据的范围为：[1，x]行，[x+R+1，Q]行；其中，x∈[1，Q-R-1]，Q为显示图像中数据的总行数。例如：以R＝1536，Q＝3840为例，第一图像数据的范围可以为：[x+1，x+1536]行，第二图像数据的范围可以为：[1，x]行，[x+1537，3840]行，x的取值范围为[1，2303]。

在本申请一些实施例中，主控设备在生成第一图像数据时，还可以生成第三图像数据，第三图像数据为中画质中FOV的中景画面，因此第三图像数据也可以称作中景图像数据。因此，一个图像数据组还可以包括第三图像数据；对应地，第一间插区域还可以包括部分的第三图像数据，在第一间插区域内第一图像数据、第三图像数据和第二图像数据可以间插排列。并且，第一格式图像中还可以包括第二间插区域，在第二间插区域内可以包括部分的第三图像数据和部分的第二图像数据，在第二间插区域内第三图像数据和第二图像数据可以间插排列。在第一个格式图像中，第二间插区域排列在第一间插区域和背景区域之间。由于在第一格式图像中第一间插区域的位置需要跟随注视区位置进行调节，因此，在第一格式图像中，第二间插区域的位置可以随着第一间插区域的位置灵活变化。最终显示图像中，第一图像数据和第三图像数据的位置也随之变化。例如，注视区位置位于屏幕的最上方时，在显示图像中按照第一图像数据、第三图像数据和第二图像数据的顺序排列。又如，过渡区位置位于屏幕的最上方时，在显示图像中按照第三图像数据、第一图像数据、第三图像数据和第二图像数据的顺序排列。其中过渡区指的是以注视区为中心且边界不超过背景区域的边界，过渡区内显示第三图像数据。又如，注视区位置位于屏幕的中部时，在显示图像中按照第二图像数据、第三图像数据、第一图像数据、第三图像数据和第二图像数据的顺序排列。又如，过渡区位置位于屏幕的最下方时，在显示图像中按照第二图像数据、第三图像数据、第一图像数据、第三图像数据的顺序排列。又如，注视区位置位于屏幕的最下方时，在显示图像中按照第二图像数据、第三图像数据、第一图像数据的顺序排列。

在本申请一些实施例中，显示驱动设备还可以将第一格式图像中的第三图像数据按照第二放大倍数进行放大，并将第一格式图像中的第一图像数据与放大后的第二图像数据和放大后的第三图像数据进行融合生成显示图像。在显示驱动设备中可以对第三图像数据以第二放大倍数进行放大，第二放大倍数一般小于第一放大倍数。例如第一放大倍数为2.5倍，第二放大倍数可以为1.5倍。

在本申请一些实施例中，在第一间插区域和第二间插区域内，第三图像数据与第二图像数据的比例一般与第二放大倍数相关。具体地，在第一间插区域和第二间插区域内，第三图像数据与第二图像数据的比例可以为h：1，h为第二放大倍数，例如在第一间插区域和第二间插区域，第三图像数据和第二图像数据的比例关系为1.5:1。

在本申请一些实施例中，为了尽可能减小显示驱动设备中缓存的数据量，在第一间插区域和第二间插区域内，第三图像数据和第二图像数据的排列格式可以为以重复周期循环排列，一个重复周期内同时包括第三图像数据和第二图像数据。并且，一个重复周期内包含的第三图像数据和第二图像数据的数据量应尽量小。对于第二间插区域内的重复周期的具体排布方式可以参考上述第一间插区域内的重复周期的排布方式，再次不做赘述。

第三方面，本申请提供一种主控设备，包括至少一个处理器，所述至少一个处理器与至少一个存储器耦合，所述至少一个处理器用于读取所述至少一个存储器所存储的计算机程序，以执行上述第一方面中的任意一种图像数据的处理方法。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。

第四方面，本申请提供一种显示驱动设备，包括至少一个处理器，所述至少一个处理器与至少一个存储器耦合，所述至少一个处理器用于读取所述至少一个存储器所存储的计算机程序，以执行上述第二方面中的任意一种图像数据的处理方法。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。

第五方面，本申请提供一种成像***，包括上述第三方面的主控设备和第四方面的显示驱动设备。

上述第二方面至第五方面可以达到的技术效果可以参照上述第一方面中任一可能设计可以达到的技术效果说明，这里不再重复赘述。

附图说明

图1为现有的VR设备的工作示意图；

图2为本申请实施例提供的应用于主控设备的图像数据的处理方法的流程示意图；

图3为本申请实施例提供的第一格式图像的一种结构示意图；

图4为本申请实施例提供的第一格式图像的另一种结构示意图；

图5为本申请实施例提供的第一格式图像的另一种结构示意图；

图6为本申请实施例提供的第一格式图像的另一种结构示意图；

图7为本申请实施例提供的应用于显示驱动设备的图像数据的处理方法的流程示意图；

图8为本申请实施例提供的显示图像的一种结构示意图；

图9为本申请实施例提供的显示图像的另一种结构示意图；

图10为本申请实施例提供的显示图像的另一种结构示意图；

图11为本申请实施例提供的显示图像的另一种结构示意图；

图12为本申请实施例提供的显示图像的另一种结构示意图；

图13为本申请实施例提供的显示图像的另一种结构示意图；

图14为本申请实施例提供的成像***的工作示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本申请更全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。本申请中所描述的表达位置与方向的词，均是以附图为例进行的说明，但根据需要也可以做出改变，所做改变均包含在本申请保护范围内。本申请的附图仅用于示意相对位置关系不代表真实比例。

需要说明的是，在以下描述中阐述了具体细节以便于充分理解本申请。但是本申请能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广。因此本申请不受下面公开的具体实施方式的限制。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。

为了便于了解本申请实施例，下面首先介绍本申请实施例涉及的相关技术。

现有的VR设备会在其内侧安装红外相机捕获用户眼球画面，利用眼动追踪算法，实时计算用户眼球在屏幕上的注视点坐标。之后，VR设备的渲染引擎在获取注视点坐标后，利用注视点渲染技术进行图像渲染，对左右眼分别进行前景画面(高画质小FOV)和背景画面(低画质大FOV)的绘制，以降低渲染功耗和算力。从功耗和成本等方面的考虑，当前VR设备的主芯片(application process，AP)一般移动通信行业处理器(mobile industryprocessor interface，MIPI)接口只有2个端口(port)。由于port数量和传输速率的限制，无法将全幅传输2*4K*4K@90Hz/120Hz的帧数据传输给显示驱动芯片(display driverintegrated circuit，DDIC)。于是注视点点屏技术应运而生，充分利用人眼特性，将原来双眼的2*4K*4K@90Hz/120Hz带宽数据降低至3K*3K@90Hz/120Hz带宽数据，2个port就可以传输双眼图像数据。

具体地，参照图1，注视点点屏技术具体做法为：

AP根据注视点坐标生成左眼图像数据组(1536*3072)的前景图像和背景图像，以及右眼图像数据组(1536*3072)的前景图像和背景图像，之后将前景图像和背景图像顺序排列生成左眼第二格式图像和右眼第二格式图像并进行压缩(DSCE)，AP通过两个端口分别将左眼第二格式图像和右眼第二格式图像发送给DDIC。

DDIC将通过不同端口接收到的左眼第二格式图像和右眼第二格式图像解压(DSCD)后，将其中的前景图像缓存半帧后，将背景图像(1536*1536)数据分别放大到显示图像的像素数据大小(3840*3840)，之后根据AP传来的注视点坐标，将前景图像填入显示图像中对应的区域。

该技术缺点为：由于将画面分成了顺序排列的前景图像和背景图像，此时DDIC无法做全在线通路，DDIC必须开辟半帧大小的内存，例如1.5K*1.5K的内存来缓存前景图像，导致VR设备的显示通路增加半帧的时延(5.6ms@90Hz/4.2ms@120Hz)，且DDIC会增加额外的内存成本。

为了解决注视点点屏技术所带来的半帧时延和DDIC内存成本增加的问题，本申请提供了一种图像数据的处理方法及相关设备。

本申请实施例提供的图像数据的处理方法及相关设备可以应用于可以识别出用户注视位置的显示设备中。显示设备可以是可穿戴设备，可穿戴设备可以是近眼显示(neareye display，NED)设备，例如VR眼镜，或者VR头盔等。例如，用户佩戴NED设备进行游戏、阅读、观看电影(或电视剧)、参加虚拟会议、参加视频教育、或视频购物等。显示设备还可以是具有显示屏的终端设备，例如手机、显示器、电视、车载抬头显示***(head-up display，HUD)等等。

本申请实施例提供的应用于主控设备(AP)的图像数据的处理方法，参照图2，具体可以包括以下步骤：

S101、根据获取的注视区信息生成至少一个图像数据组，至少一个图像数据组中的一个图像数据组包括第一图像数据和第二图像数据，第一图像数据与注视区信息对应。

在本申请一些实施例中，注视区信息可以包括人眼在屏幕的注视区位置坐标以及注视区的大小等信息。在具体实施时，可以通过设备内部安装的红外相机等器件捕获用户眼球画面，利用眼动追踪算法等计算方法，实时计算用户眼球在屏幕上的注视点坐标和大小。

在本申请一些实施例中，当应用于诸如VR设备等需要区分左右眼显示图像的设备时，可以生成左眼图像数据组和右眼图像数据组，即至少一个图像数据组可以包括左眼图像数据组和右眼图像数据组。当应用于不需要区分左右眼显示图像的设备时，可以直接生成一个图像数据组。

在本申请一些实施例中，VR设备的渲染引擎可以获取注视区信息中的注视区位置坐标，利用注视点渲染技术进行图像渲染，生成第一图像数据，以降低渲染功耗和算力。第一图像数据为高画质小FOV的前景画面，因此第一图像数据也可以称作前景图像数据，第二图像数据为低画质大FOV的背景画面，因此第二图像数据也可以称作背景图像数据。

在本申请一些实施例中，为了降低算力和渲染功耗，在一个图像数据组中，第一图像数据和第二图像数据的数据量相当，即第一图像数据和第二图像数据的数据行数可以相同。例如，在左眼图像数据组和右眼图像数据组中，第一图像数据和第二图像数据的大小为1536*1536。并且，左眼图像数据组可以位于左半帧，右眼图像数据组可以位于右半帧。

S102、在第一格式模式下，根据注视区信息，对至少一个图像数据组中的每个图像数据组的第一图像数据和第二图像数据进行间插排列，生成第一格式图像。

在本申请一些实施例中，在第一格式图像中可以包括第一间插区域和背景区域。第一间插区域包括全部的第一图像数据和部分的第二图像数据，在第一间插区域内第一图像数据和第二图像数据间插排列。背景区域仅包括部分的第二图像数据，即背景区域不包括第一图像数据。

在本申请一些实施例中，由于第一图像数据呈现在屏幕的位置会跟随注视区位置的变化而变化，因此，在第一格式图像中，由第一图像数据和第二图像数据间插形成的第一间插区域的位置需要跟随注视区位置进行调节，在第一格式图像中，第一间插区域和背景区域的位置可以灵活变化。例如，注视区位置位于屏幕的最上方时，在第一个格式图像中第一间插区域排列在背景区域之前。又如，注视区位置位于屏幕的最下方时，在第一个格式图像中，背景区域排列在第一间插区域之前。再如，注视区位置位于屏幕的中部时，在第一个格式图像中，背景区域可以分为两部分，即第一背景区域和第二背景区域，第一背景区域排列在第一间插区域之前，第二背景区域排列在第一间插区域之后。

S103、将生成的第一格式图像和注视区信息输出至显示驱动设备。相应地，显示驱动设备可以将第一格式图像中的第二图像数据按照第一放大倍数进行放大的同时，根据注视区信息与第一图像数据进行融合生成显示图像。由于显示驱动设备接收到的第一格式图像中根据注视区信息间插排列了图像数据，在第一间插区域内第一图像数据和第二图像数据间插排列，使得显示驱动设备在接收第一间插区域的图像数据过程中，可以随着将接收到的第二图像数据进行放大的同时，直接与接收到的第一图像数据进行融合，无需等待第一图像数据全部缓存完成后才开始放大第二图像数据并进行融合，因此可以减小缓存的数据量，降低内存成本，并且，减少了由于需要缓存带来的半帧时延，降低了设备的运动到成像时延(motion-to-photon，MTP)。

在本申请一些实施例中，注视区信息可以包括人眼在屏幕的注视区位置坐标以及注视区的大小等信息。具体地，可以选取注视区的左上角坐标为注视区的原点，用(x，y)表示。注视区信息可以携带在第一格式图像中，例如可以位于数据消隐区，或者位于数据有效区的前一行或前几行数据中。

在本申请一些实施例中，主控设备AP可以具有多种模式可供选择，可以根据实际需要选择不同模式传输生成的图像数据组。例如主控设备可以选择采用第一格式、第二格式或第三格式进行数据输出。第一格式为间插格式，需要进行上述步骤S102生成第一格式图像后输出；第二格式为顺序格式，可以将上述步骤S101中生成的图像数据组中的第一图像数据和第二图像数据顺序排列后生成的第二格式图像输出；第三格式为普通格式，不进行人眼追踪识别，直接输出与屏幕的有效区大小一致的第三格式图像。

在本申请一些实施例中，主控设备还可以向显示驱动设备发送第一格式模式切换指令，以便告知显示驱动设备采用第一格式模式对接收到的数据进行解析，并且，主控设备还可以向显示驱动设备发送第二格式模式切换指令或第三格式模式切换指令，以便告知显示驱动设备采用第二格式模式或第三格式模式切换指令对接收到的数据进行解析。进一步地，在本申请一些实施例中，第一格式模式切换指令可以携带在数据消隐区。同理，在本申请一些实施例中，第二格式模式切换指令和第三格式模式切换指令可以携带在数据消隐区。

在本申请一些实施例中，不管是采用哪种模式输出数据，为了降低数据传输量，降低带宽，主控设备AP均可以在数据输出之前进行数据打包压缩(DSCE)。相应地，显示驱动设备DDIC在接收到压缩的数据后，需要先进行数据解压缩(DSCD)，才会执行后续操作步骤。

在本申请一些实施例中，为了降低端口带宽数据，在第一格式模式下，主控设备可以采用一个或多个端口分别将左眼图像数据组和右眼图像数据组对应的第一格式图像发送给DDIC。在第二格式模式下，主控设备可以采用一个或多个端口分别将左眼图像数据组和右眼图像数据组发送给DDIC。在第三格式模式下，主控设备可以采用一个或多个端口将图像数据发送给DDIC。

在本申请一些实施例中，第二图像数据的第一放大倍数是由第二图像数据的行数和屏幕的有效区行数共同决定的。具体地，第一放大倍数等于屏幕的有效区行数除以第二图像数据的行数，例如，第二图像数据的大小为1536*1536，屏幕的有效区尺寸为3840*3840，则第一放大倍数可以为2.5倍。

在本申请一些实施例中，在第一间插区域内，第一图像数据与第二图像数据的比例一般与第一放大倍数相关。具体地，在第一间插区域内，第一图像数据与第二图像数据的比例可以为n：1，n为第一放大倍数，例如在第一间插区域，第一图像数据和第二图像数据的比例关系可以为2.5:1。

在本申请一些实施例中，为了尽可能减小显示驱动设备中缓存的数据量，在第一间插区域内，第一图像数据和第二图像数据的排列格式可以为以重复周期循环排列，一个重复周期内同时包括第一图像数据和第二图像数据。并且，一个重复周期内包含的第一图像数据和第二图像数据的数据量应尽量小。

由于第一放大倍数有可能不是整数倍，因此，在一个重复周期内，第一图像数据和第二图像数据可以间插排列。在一个重复周期内，间插排列的最小单位可以是单行数据或者多行数据或者亚行(小于一行)数据，即在一个重复周期内，连续排列的第一图像数据和连续排列的第二图像数据可以是一整行数据，或多行数据，或小于一行数据。

具体地，在一个重复周期内间插排列的最小单位为单行数据时，可以在多行的第一图像数据之后或之前间插单行的第二图像数据。例如，参照图3，以第一放大倍数为2.5倍为例，重复周期内可以按照第一图像数据的行数：第二图像数据的行数：第一图像数据的行数：第二图像数据的行数的比例为2:1:3:1进行排列，具体地，在一个重复周期内可以按照两行第一图像数据→一行第二图像数据→三行第一图像数据→一行第二图像数据进行排列。

具体地，在一个重复周期内间插排列的最小单位为多行数据时，在一个重复周期内，第一图像数据与第二图像数据可以按照以下数据行数进行周期排列：m*n行的第一图像数据：m行的第二图像数据，其中，m*n和m可以均为大于1的整数。例如，参照图4，以第一放大倍数为2.5倍为例，为满足m*n和m均为大于1的整数，则m可以等于2，重复周期内可以按照五行第一图像数据→两行第二图像数据进行排列。

进一步地，m还可以为其他正数，例如m可以为小于1的正数，或m可以为大于1的小数。例如，以第一放大倍数为2.5倍为例，当m等于0.4时，重复周期内可以按照一行第一图像数据→0.4行第二图像数据进行排列；当m等于1.2时，重复周期内可以按照三行第一图像数据→1.2行第二图像数据进行排列。

具体地，在一个重复周期内间插排列的最小单位为亚行数据时，在一个重复周期内，第一图像数据与第二图像数据可以按照以下数据行数进行周期排列：1行的第一图像数据：1/n行的第二图像数据。例如，以第一放大倍数为2.5倍为例，一个重复周期内可以按照一行第一图像数据→0.4行第二图像数据进行排列。

上述一个重复周期内的第一图像数据和第二图像数据的排列方式仅是举例说明，其他可能实现的方式均在本申请保护范围内。

在本申请一些实施例中，由于第一图像数据呈现在屏幕的位置会随注视区位置的变化而变化，因此，在第一格式图像中，由第一图像数据和第二图像数据间插形成的第一间插区域的位置需要根据注视区位置进行调节。具体地，在第一格式图像中第一间插区域的范围可以为：行；其中，x取值范围为[1，Q-R]，x为注视区信息的首行行数，n为第一放大倍数，R为第一图像数据的总行数，Q为屏幕有效区的总行数。例如：以第一放大倍数n＝2.5，R＝1536，Q＝3840为例，第一间插区域的范围可以为：/> 行，x的取值范围为[1，2304]。

相应地，随着第一间插区域的位置变化，背景区域在第一格式图像中的位置也会变化，背景区域可以包括第一背景区域和第二背景区域，第一间插区域位于第一背景区域和第二背景区域之间。具体地，参照图3，当注视区信息的首行行数满足条件时，在第一间插区域之前不存在第一背景区域，仅在第一间插区域之后设置第二背景区域。参照图5，在注视区信息的首行行数满足/>条件时，在第一间插区域之前存在第一背景区域，在第一格式图像中的第一背景区域的范围可以为：/>行。参照图4，具体地，当注视区信息的首行行数满足/>条件时，在第一间插区域之后不存在第二背景区域，仅在第一间插区域之前设置第一背景区域。参照图5，在注视区信息的首行行数满足/>条件时，在第一间插区域之后存在第二背景区域，在第一格式图像中的第二背景区域的范围可以为：/>行；其中，P为第一格式图像中数据的总行数。例如：以第一放大倍数n＝2.5，R＝1536，P＝3072为例，当/>时，不存在第一背景区域；当/>时，第一背景区域的范围可以为/>行；当时，不存在第二背景区域；当/>时，第二背景区域的范围为/>行。

在本申请一些实施例中，VR设备的渲染引擎获取注视区信息中的注视区位置坐标，利用注视点渲染技术进行图像渲染生成第一图像数据时，还可以生成第三图像数据，第三图像数据为中画质中FOV的中景画面，因此第三图像数据也可以称作中景图像数据。因此，一个图像数据组还可以包括第三图像数据；对应地，第一间插区域还可以包括部分的第三图像数据，在第一间插区域内第一图像数据、第三图像数据和第二图像数据可以间插排列。并且，第一格式图像中还可以包括第二间插区域，在第二间插区域内可以包括部分的第三图像数据和部分的第二图像数据，在第二间插区域内第三图像数据和第二图像数据可以间插排列。在第一个格式图像中，第二间插区域排列在第一间插区域和背景区域之间。由于在第一格式图像中第一间插区域的位置需要跟随注视区位置进行调节，因此，在第一格式图像中，第二间插区域的位置可以随着第一间插区域的位置灵活变化。例如，注视区位置位于屏幕的最上方时，在第一个格式图像中按照第一间插区域、第二间插区域和第二背景区域的顺序排列。又如，过渡区位置位于屏幕的最上方时，在第一个格式图像中，可以按照第二间插区域、第一间插区域、第二间插区域、第二背景区域的顺序排列。其中过渡区指的是以注视区为中心且边界不超过背景区域的边界，过渡区内显示第三图像数据。又如，参照图6，注视区位置位于屏幕的中部时，在第一个格式图像中，可以按照第一背景区域、第二间插区域、第一间插区域、第二间插区域、第二背景区域的顺序排列。又如，过渡区位置位于屏幕的最下方时，在第一个格式图像中，可以按照第一背景区域、第二间插区域、第一间插区域、第二间插区域的顺序排列。又如，注视区位置位于屏幕的最下方时，在第一个格式图像中按照第一背景区域、第二间插区域、第一间插区域的顺序排列。

在本申请一些实施例中，在显示驱动设备中可以对第三图像数据以第二放大倍数进行放大，第二放大倍数一般小于第一放大倍数。例如第一放大倍数为2.5倍，第二放大倍数可以为1.5倍。

在本申请一些实施例中，在第一间插区域和第二间插区域内，第三图像数据与第二图像数据的比例一般与第二放大倍数相关。具体地，在第一间插区域和第二间插区域内，第三图像数据与第二图像数据的比例可以为h：1，h为第二放大倍数，例如在第一间插区域和第二间插区域，第三图像数据和第二图像数据的比例关系为1.5:1。

在本申请一些实施例中，为了尽可能减小显示驱动设备中缓存的数据量，在第一间插区域和第二间插区域内，第三图像数据和第二图像数据的排列格式可以为以重复周期循环排列，一个重复周期内同时包括第三图像数据和第二图像数据。并且，一个重复周期内包含的第三图像数据和第二图像数据的数据量应尽量小。对于第二间插区域内的重复周期的具体排布方式可以参考上述第一间插区域内的重复周期的排布方式，再次不做赘述。

相应地，本申请实施例提供的应用于显示驱动设备(DDIC)的图像数据的处理方法，参照图7，具体可以包括以下步骤：

S201、接收主控设备发送的第一格式图像和注视区信息。

在本申请一些实施例中，注视区信息可以包括人眼在屏幕的注视区位置坐标以及注视区的大小等信息。具体地，可以选取注视区的左上角坐标为注视区的原点，用(x，y)表示。注视区信息可以携带在第一格式图像中，例如可以位于数据消隐区中，或者位于数据有效区的前一行或前几行数据中。

在本申请一些实施例中，主控设备AP可以具有多种模式可供选择，可以根据实际需要选择不同模式传输生成的图像数据组。例如主控设备可以选择采用第一格式、第二格式或第三格式进行数据输出。第一格式为间插格式，主控设备会生成第一格式图像后输出；第二格式为顺序格式，主控设备会将图像数据组中的第一图像数据和第二图像数据顺序排列后生成的第二格式图像并输出；第三格式为普通格式，不进行人眼追踪识别，主控设备直接输出与屏幕的有效区大小一致的第三格式图像。因此，显示驱动设备有可能会接收到第一格式图像、第二格式图像或第三格式图像。

在本申请一些实施例中，主控设备还可以向显示驱动设备发送第一格式模式切换指令，以便告知显示驱动设备采用第一格式模式对接收到的数据进行解析，对应地，显示驱动设备会接收到主控设备发送的第一格式模式切换指令。并且，主控设备还可以向显示驱动设备发送第二格式模式切换指令或第三格式模式切换指令，以便告知显示驱动设备采用第二格式模式或第三格式模式切换指令对接收到的数据进行解析，对应地，显示驱动设备会接收到主控设备发送的第二格式模式切换指令或第三格式模式切换指令。并且，在本申请一些实施例中，显示驱动设备可以在数据消隐区中解析出第一格式模式切换指令、第二格式模式切换指令或第三格式模式切换指令。

在本申请一些实施例中，为了降低数据传输量，降低带宽，主控设备AP可以发送打包压缩后的数据。因此，显示驱动设备DDIC在接收到压缩的数据后，需要先进行数据解压缩，才能得到第一格式图像和注视区信息。

在本申请一些实施例中，为了降低端口带宽数据，主控设备AP可以采用一个或多个端口分别将左眼图像数据组和右眼图像数据组对应的第一格式图像发送给DDIC。在第二格式模式下，主控设备可以采用一个或多个端口分别将左眼图像数据组和右眼图像数据组发送给DDIC。在第三格式模式下，主控设备可以采用一个或多个端口将图像数据发送给DDIC。因此，显示驱动设备可以通过一个或多个端口分别接收数据。

在本申请一些实施例中，在第一格式图像中可以包括第一间插区域和背景区域。第一间插区域包括全部的第一图像数据和部分的第二图像数据，在第一间插区域内第一图像数据和第二图像数据间插排列。背景区域仅包括部分的第二图像数据。

在本申请一些实施例中，由于第一图像数据呈现在屏幕的位置会跟随注视区位置的变化而变化，因此，在第一格式图像中，由第一图像数据和第二图像数据间插形成的第一间插区域的位置需要跟随注视区位置进行调节，在第一格式图像中，第一间插区域和背景区域的位置可以灵活变化。例如，注视区位置位于屏幕的最上方时，在第一个格式图像中第一间插区域排列在背景区域之前。又如，注视区位置位于屏幕的最下方时，在第一个格式图像中，背景区域排列在第一间插区域之前。再如，注视区位置位于屏幕的中部时，在第一个格式图像中，背景区域可以分为两部分，即第一背景区域和第二背景区域，第一背景区域排列在第一间插区域之前，第二背景区域排列在第一间插区域之后。

S202、将第一格式图像中的第二图像数据按照第一放大倍数进行放大。

S203、根据注视区位置，将第一格式图像中的第一图像数据与放大后的第二图像数据进行融合生成显示图像。

具体地，显示驱动设备可以将第一格式图像中的第二图像数据按照第一放大倍数进行放大的同时，根据注视区信息与第一图像数据进行融合生成显示图像。由于显示驱动设备接收到的第一格式图像中根据注视区信息间插排列了图像数据，在第一间插区域内第一图像数据和第二图像数据间插排列，使得显示驱动设备在接收第一间插区域的图像数据过程中，可以随着将接收到的第二图像数据进行放大的同时，直接与接收到的第一图像数据进行融合，无需等待第一图像数据全部缓存完成后才开始放大第二图像数据并进行融合，因此可以减小缓存的数据量，降低内存成本，并且，减少了由于需要缓存带来的半帧时延，降低了设备的MTP。

在本申请一些实施例中，第二图像数据的第一放大倍数是由第二图像数据的行数和屏幕的有效区行数共同决定的。具体地，第一放大倍数等于屏幕的有效区行数除以第二图像数据的行数，例如，第二图像数据的大小为1536*1536，屏幕的有效区尺寸为3840*3840，则第一放大倍数可以为2.5倍。

在本申请一些实施例中，由于第一图像数据呈现在屏幕的位置会随注视区位置的变化而变化，因此，在第一格式图像中，由第一图像数据和第二图像数据间插形成的第一间插区域的位置需要根据注视区位置进行调节。在显示驱动设备中最终生成的显示图像中，第一图像数据的位置也会根据注视区位置进行调节。例如，参照图8，注视区位置位于屏幕的最上方时，在显示图像中第一图像数据的位置排列在最上方。又如，参照图9，注视区位置位于屏幕的最下方时，在显示图像中第一图像数据的位置排列在最下方。再如，参照图10，注视区位置位于屏幕的中部时，在显示图像中第一图像数据的位置排列在中间位置。具体地，在显示图像中第一图像数据的范围可以为：[x+1，x+R]行；x为注视区信息的首行行数，R为第一图像数据的总行数。对应地，在显示图像中第二图像数据的范围为：[1，x]行，[x+R+1，Q]行；其中，x∈[1，Q-R-1]，Q为显示图像中数据的总行数。例如：以R＝1536，Q＝3840为例，第一图像数据的范围可以为：[x+1，x+1536]行，第二图像数据的范围可以为：[1，x]行，[x+1537，3840]行，x的取值范围为[1，2303]。

在本申请一些实施例中，主控设备在生成第一图像数据时，还可以生成第三图像数据，第三图像数据为中画质中FOV的中景画面，因此第三图像数据也可以称作中景图像数据。因此，一个图像数据组还可以包括第三图像数据；对应地，第一间插区域还可以包括部分的第三图像数据，在第一间插区域内第一图像数据、第三图像数据和第二图像数据可以间插排列。并且，第一格式图像中还可以包括第二间插区域，在第二间插区域内可以包括部分的第三图像数据和部分的第二图像数据，在第二间插区域内第三图像数据和第二图像数据可以间插排列。在第一个格式图像中，第二间插区域排列在第一间插区域和背景区域之间。由于在第一格式图像中第一间插区域的位置需要跟随注视区位置进行调节，因此，在第一格式图像中，第二间插区域的位置可以随着第一间插区域的位置灵活变化。最终显示图像中，第一图像数据和第三图像数据的位置也随之变化。例如，注视区位置位于屏幕的最上方时，在显示图像中按照第一图像数据、第三图像数据和第二图像数据的顺序排列。又如，参照图11，过渡区位置位于屏幕的最上方时，在显示图像中按照第三图像数据、第一图像数据、第三图像数据和第二图像数据的顺序排列。其中过渡区指的是以注视区为中心且边界不超过背景区域的边界，过渡区内显示第三图像数据。又如，参照图12，注视区位置位于屏幕的中部时，在显示图像中按照第二图像数据、第三图像数据、第一图像数据、第三图像数据和第二图像数据的顺序排列。又如，参照图13，过渡区位置位于屏幕的最下方时，在显示图像中按照第二图像数据、第三图像数据、第一图像数据、第三图像数据的顺序排列。又如，注视区位置位于屏幕的最下方时，在显示图像中按照第二图像数据、第三图像数据、第一图像数据的顺序排列。

在本申请一些实施例中，显示驱动设备还可以将第一格式图像中的第三图像数据按照第二放大倍数进行放大，并将第一格式图像中的第一图像数据与放大后的第二图像数据和放大后的第三图像数据进行融合生成显示图像。在显示驱动设备中可以对第三图像数据以第二放大倍数进行放大，第二放大倍数一般小于第一放大倍数。例如第一放大倍数为2.5倍，第二放大倍数可以为1.5倍。

在本申请一些实施例中，在第一间插区域和第二间插区域内，第三图像数据与第二图像数据的比例一般与第二放大倍数相关。具体地，在第一间插区域和第二间插区域内，第三图像数据与第二图像数据的比例可以为h：1，h为第二放大倍数，例如在第一间插区域和第二间插区域，第三图像数据和第二图像数据的比例关系为1.5:1。

在本申请一些实施例中，为了尽可能减小显示驱动设备中缓存的数据量，在第一间插区域和第二间插区域内，第三图像数据和第二图像数据的排列格式可以为以重复周期循环排列，一个重复周期内同时包括第三图像数据和第二图像数据。并且，一个重复周期内包含的第三图像数据和第二图像数据的数据量应尽量小。对于第二间插区域内的重复周期的具体排布方式可以参考上述第一间插区域内的重复周期的排布方式，再次不做赘述。

基于以上实施例，本申请还提供一种主控设备，该主控设备包括至少一个处理器和至少一个存储器，所述至少一个存储器中存储计算机程序指令，所述电子设备运行时，所述至少一个处理器执行本申请实施例所描述的各方法中主控设备所执行的功能。

基于以上实施例，本申请还提供一种显示驱动设备，该显示驱动设备包括至少一个处理器和至少一个存储器，所述至少一个存储器中存储计算机程序指令，所述电子设备运行时，所述至少一个处理器执行本申请实施例所描述的各方法中显示驱动设备所执行的功能。

基于以上实施例，参照图14，本申请还提供一种成像***，包括上述主控设备和显示驱动设备。

本申请的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于头戴式显示设备或终端设备中。当然，处理器和存储介质也可以作为分立组件存在于头戴式显示设备或终端设备中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘(digital video disc，DVD)；还可以是半导体介质，例如，固态硬盘(solid state drive，SSD)。

在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。在本申请的文字描述中，字符“/”，一般表示前后关联对象是一种“或”的关系。在本申请的公式中，字符“/”，表示前后关联对象是一种“相除”的关系。本申请中，符号“(a，b)”表示开区间，范围为大于a且小于b；“[a，b]”表示闭区间，范围为大于或等于a且小于或等于b；“(a，b]”表示半开半闭区间，范围为大于a且小于或等于b；“(a，b]”表示半开半闭区间，范围为大于a且小于或等于b。另外，在本申请中，“示例的”一词用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。或者可理解为，使用示例的一词旨在以具体方式呈现概念，并不对本申请构成限定。

可以理解的是，在本申请中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定。术语“第一”、“第二”等类似表述，是用于分区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的方案进行示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (24)

1.一种图像数据的处理方法，其特征在于，应用于主控设备，所述处理方法包括：

根据获取的注视区信息生成至少一个图像数据组，所述至少一个图像数据组中的一个图像数据组包括第一图像数据和第二图像数据，所述第一图像数据与所述注视区信息对应；

在第一格式模式下，根据所述注视区信息，对所述至少一个图像数据组中的每个图像数据组的第一图像数据和第二图像数据进行间插排列，生成第一格式图像；在所述第一格式图像中包括第一间插区域和背景区域，所述第一间插区域包括全部的所述第一图像数据和部分的所述第二图像数据，所述背景区域仅包括部分的所述第二图像数据，在所述第一间插区域内所述第一图像数据和所述第二图像数据间插排列；所述第一间插区域在所述第一格式图像中的位置跟随所述注视区信息的变化而变化；

将生成的所述第一格式图像和所述注视区信息输出至显示驱动设备，以使所述显示驱动设备将所述第一格式图像中的所述第二图像数据按照第一放大倍数进行放大的同时，根据所述注视区信息与所述第一图像数据进行融合生成显示图像。

2.如权利要求1所述的处理方法，其特征在于，在所述第一间插区域内，所述第一图像数据与所述第二图像数据的比例与所述第一放大倍数相关。

3.如权利要求2所述的处理方法，其特征在于，在所述第一间插区域内，所述第一图像数据与所述第二图像数据的比例为n：1，n为所述第一放大倍数。

4.如权利要求2或3所述的处理方法，其特征在于，在所述第一间插区域内，所述第一图像数据和所述第二图像数据的排列格式为以重复周期循环排列。

5.如权利要求4所述的处理方法，其特征在于，在一个所述重复周期内，在多行的所述第一图像数据之后或之前间插单行的所述第二图像数据。

6.如权利要求4所述的处理方法，其特征在于，在一个所述重复周期内，所述第一图像数据与所述第二图像数据按照以下数据行数进行周期排列：

m*n行的所述第一图像数据：m行的所述第二图像数据，其中，m为正数。

7.如权利要求6所述的处理方法，其特征在于，m*n和m均为大于1的整数。

8.如权利要求6所述的处理方法，其特征在于，在一个所述重复周期内，所述第一图像数据与所述第二图像数据按照以下数据行数进行周期排列：

1行的所述第一图像数据：1/n行的所述第二图像数据。

9.如权利要求3-8任一项所述的处理方法，其特征在于，在所述第一格式图像中所述第一间插区域的范围为：行；其中，n为所述第一放大倍数，R为所述第一图像数据的总行数，Q为屏幕有效区的总行数，x为所述注视区信息的首行行数，x取值范围为[1，Q-R]。

10.如权利要求9所述的处理方法，其特征在于，所述背景区域包括第一背景区域和第二背景区域；

在所述注视区信息的首行行数满足条件时，在所述第一格式图像中存在所述第一背景区域，所述第一背景区域的范围为：/>行；

在所述注视区信息的首行行数满足条件时，在所述第一格式图像中存在所述第二背景区域，所述第二背景区域的范围为：/>行；其中，P为所述第一格式图像中数据的总行数。

11.如权利要求1-10任一项所述的处理方法，其特征在于，一个所述图像数据组还包括第三图像数据；

所述第一间插区域还包括部分的所述第三图像数据，在所述第一间插区域内所述第一图像数据、所述第三图像数据和所述第二图像数据间插排列；

所述第一格式图像中还包括第二间插区域，所述第二间插区域内包括部分的所述第三图像数据和部分的所述第二图像数据，在所述第二间插区域内所述第三图像数据和所述第二图像数据间插排列。

12.如权利要求11所述的处理方法，其特征在于，在所述第一间插区域和所述第二间插区域内，所述第二图像数据与所述第三图像数据的比例与第二放大倍数相关，所述第二放大倍数为所述驱动设备将所述第一格式图像中的所述第三图像数据进行放大的倍数。

13.如权利要求12所述的处理方法，其特征在于，在所述第一间插区域和所述第二间插区域内，所述第三图像数据与所述第二图像数据的比例为h：1，h为所述第二放大倍数，且h小于n。

14.如权利要求12或13所述的处理方法，其特征在于，在所述第一间插区域和所述第二间插区域内，所述第二图像数据和所述第三图像数据的排列格式为以重复周期循环排列。

15.如权利要求1-14任一项所述的处理方法，其特征在于，还包括：向所述显示驱动设备发送所述第一格式模式切换指令。

16.如权利要求1-15任一项所述的处理方法，其特征在于，将生成的所述第一格式图像和所述注视区信息输出至显示驱动设备，包括：

将所述注视区信息加入所述第一格式图像中的数据消隐区中，或将所述注视区信息加入所述第一格式图像中的数据有效区的前一行或前多行数据中；

将携带有注视区信息的所述第一格式图像输出至所述显示驱动设备。

17.如权利要求1-16任一项所述的处理方法，其特征在于，所述至少一个图像数据组包括左眼图像数据组和右眼图像数据组。

18.一种图像数据的处理方法，其特征在于，应用于显示驱动设备，所述处理方法包括：

接收主控设备发送的第一格式图像和注视区信息；在所述第一格式图像中包括第一间插区域和背景区域，所述第一间插区域包括全部的第一图像数据和部分的第二图像数据，所述背景区域仅包括部分的所述第二图像数据，在所述第一间插区域内所述第一图像数据和所述第二图像数据间插排列；所述第一间插区域在所述第一格式图像中的位置跟随所述注视区信息的变化而变化；

将所述第一格式图像中的所述第二图像数据按照第一放大倍数进行放大；

根据所述注视区位置，将所述第一格式图像中的所述第一图像数据与放大后的所述第二图像数据进行融合生成显示图像。

19.如权利要求18所述的处理方法，其特征在于，在所述显示图像中所述第一图像数据的范围为：[x+1，x+R]行；

在所述显示图像中所述第二图像数据的范围为：[1，x]行，[x+R+1，Q]行；

其中，x∈[1，Q-R-1]，x为所述注视区信息的首行行数，R为所述第一图像数据的总行数，Q为所述显示图像中数据的总行数。

20.如权利要求18或19所述的处理方法，其特征在于，一个所述图像数据组还包括第三图像数据；

所述第一间插区域还包括部分的所述第三图像数据，在所述第一间插区域内所述第一图像数据、所述第三图像数据和所述第二图像数据间插排列；

所述第一格式图像中还包括第二间插区域，所述第二间插区域内包括部分的所述第三图像数据和部分的所述第二图像数据，在所述第二间插区域内所述第三图像数据和所述第二图像数据间插排列；

所述处理方法还包括：将所述第一格式图像中的所述第三图像数据按照第二放大倍数进行放大；

将所述第一格式图像中的所述第一图像数据与放大后的所述第二图像数据和放大后的所述第三图像数据进行融合生成显示图像。

21.如权利要求18-20任一项所述的处理方法，其特征在于，还包括：接收所述主控设备发送的所述第一格式模式切换指令。

22.一种主控设备，其特征在于，包括存储器和一个或多个处理器；其中，所述存储器存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述计算机指令被所述处理器执行时，使得所述主控设备执行如权利要求1至17中任一项所述的图像数据的处理方法。

23.一种显示驱动设备，其特征在于，包括存储器和一个或多个处理器；其中，所述存储器存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述计算机指令被所述处理器执行时，使得所述显示驱动设备执行如权利要求18至21中任一项所述的图像数据的处理方法。

24.一种成像***，其特征在于，包括如权利要求22所述的主控设备和如权利要求23所述的显示驱动设备。