CN114449237A - 一种反畸变反色散的方法以及相关设备 - Google Patents

一种反畸变反色散的方法以及相关设备 Download PDF

Info

Publication number
CN114449237A
CN114449237A CN202011197969.4A CN202011197969A CN114449237A CN 114449237 A CN114449237 A CN 114449237A CN 202011197969 A CN202011197969 A CN 202011197969A CN 114449237 A CN114449237 A CN 114449237A
Authority
CN
China
Prior art keywords
display
image
inverse
distortion
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011197969.4A
Other languages
English (en)
Other versions
CN114449237B (zh
Inventor
陈启超
赖武军
沈钢
付钟奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011197969.4A priority Critical patent/CN114449237B/zh
Publication of CN114449237A publication Critical patent/CN114449237A/zh
Application granted granted Critical
Publication of CN114449237B publication Critical patent/CN114449237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3173Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种反畸变反色散的方法以及相关设备,所述方法包括:调整设备向VR设备发送第一图像对应的图像数据以及第一反畸变反色散模型,所述第一图像包括多个显示区域;所述调整设备根据所述第一反畸变反色散模型,得到所述多个显示区域中每个显示区域对应的处理函数;所述调整设备对第一显示区域对应的处理函数的系数进行调整,所述第一显示区域为所述多个显示区域中的显示区域;所述调整设备向所述VR设备发送第二反畸变反色散模型,所述第二反畸变反色散模型包括调整后的所述第一显示区域对应的处理函数。通过这种方式,可以提升VR设备显示画面的视觉效果。

Description

一种反畸变反色散的方法以及相关设备
技术领域
本申请涉及虚拟现实(virtualreality,VR)技术领域,尤其涉及一种反畸变反色散的方法以及相关设备。
背景技术
VR是一种可以创建和体验虚拟世界的计算机仿真***,它利用计算机生成一种模拟环境,使用户沉浸到该环境中。人们可以通过佩戴VR头戴式显示设备(或称为VR头盔、VR眼镜)来体验VR。VR头戴式显示设备中包括有透镜以及显示屏,人眼可以通过透镜查看到显示屏上的显示画面。由于透镜对光线具有折射作用,会使得经过透镜折射后的图像产生枕形畸变。另外,由于不同波长的光线的折射率不同,所以同时也会产生色散现象,会导致眼睛透过透镜看到的图像往往是失真的,严重影响VR体验效果。因此,在VR技术中,反畸变、反色散算法的研究至关重要。
反畸变、反色散的处理方法主要是对显示的图像添加一个反向的畸变、色散,添加的反向畸变、色散与透镜产生的畸变、色散效应相“抵消”,这样人眼从VR头盔中看到的就是正常的图像了。现有技术中,反畸变、反色散算法通常是对厂商提供的透镜校正系数进行处理得到反畸变反色散模型,通过反畸变反色散模型计算出三原色对应的尺度因子,再根据原显示坐标和尺度因子计算反畸变反色散模型处理后的显示坐标。
但由于透镜是曲面的,不同区域的最合适的反畸变反色散模型有差异,往往一个区域的效果达到最好的时候,其他区域的效果就会受到影响。
发明内容
本申请提供了一种反畸变反色散的方法以及相关设备,可以提升VR头戴式显示设备显示画面的视觉效果。
第一方面,本申请实施例提供了一种反畸变反色散的方法,所述方法包括:调整设备向虚拟现实VR设备发送第一图像对应的图像数据以及第一反畸变反色散模型,所述第一图像包括多个显示区域;所述调整设备根据所述第一反畸变反色散模型,得到所述多个显示区域中每个显示区域对应的处理函数;所述调整设备对第一显示区域对应的处理函数的系数进行调整,所述第一显示区域为所述多个显示区域中的显示区域;所述调整设备向所述VR设备发送第二反畸变反色散模型,所述第二反畸变反色散模型包括调整后的所述第一显示区域对应的处理函数。通过这种方式,可以调整局部显示区域的反畸变反色散效果,增强反畸变反色散处理的灵活性,提升VR设备显示画面的视觉效果。
结合第一方面,在一些实施例中,所述调整设备根据所述第一反畸变反色散模型,得到所述多个显示区域中每个显示区域对应的处理函数包括:所述调整设备根据预设段数和第一距离的最大值确定分段距离,所述第一距离为被所述VR设备的透镜折射的光线与所述透镜中心之间的距离;所述调整设备基于所述分段距离将所述第一反畸变反色散模型中的尺度因子曲线均匀分为所述预设段数的曲线,所述尺度因子曲线用于表示所述第一距离与尺度因子的对应关系,所述尺度因子用于所述VR设备处理所述图像数据;所述调整设备对所述预设段数的曲线中的每条曲线进行线性拟合,得到所述第一图像中多个显示区域对应的处理函数。
结合第一方面,在一些实施例中,所述第一图像中包含多个圆形,所述圆形的半径为所述分段距离的倍数,所述多个圆形用于指示所述多个显示区域在所述第一图像中的位置。
结合第一方面,在一些实施例中,所述第一显示区域与第二显示区域的相似度低于预设值,所述第二显示区域为所述第三图像中的显示区域,所述第二显示区域在所述第三图像中的位置与所述第一显示区域在所述第一图像中的位置相同;其中,所述第三图像为通过所述VR设备的透镜观测到的VR设备显示的第二图像所形成的图像,所述第二图像为所述VR设备基于所述图像数据以及所述第一反畸变反色散模型显示的图像。
结合第一方面,在一些实施例中,所述第三图像为所述调整设备获取的拍摄装置拍摄所述第二图像得到的图像。
结合第一方面,在一些实施例中,所述第一显示区域对应的处理函数的系数是通过预设调整参数集合中的调整参数进行调整的。
结合第一方面,在一些实施例中,所述第一显示区域对应的处理函数为一次函数,所述第一显示区域对应的处理函数的系数包括第一参数和第二参数。这种方式,由于一次函数包含的可变参数较少,这种方式可以便于处理函数的调整。
结合第一方面,在一些实施例中,所述方法还包括:当所述调整参数集合中的调整参数遍历完成时,停止对所述第一显示区域对应的处理函数的系数进行调整。
结合第一方面,在一些实施例中,所述方法还包括:所述调整设备生成多个所述第二反畸变反色散模型,所述第二反畸变反色散模型包括一次调整后的所述第一显示区域对应的处理函数;所述调整设备从所述多个第二反畸变反色散模型中确定第三反畸变反色散模型,所述第三反畸变反色散模型中包含所述第一显示区域对应的处理函数,所述处理函数对应的第三显示区域与所述第一显示区域的相似度高于,其他第二反畸变反色散模型包含的所述第一显示区域对应的处理函数所对应的第三显示区域与所述第一显示区域的相似度;其中,所述第三显示区域为第五图像中的显示区域,所述第三显示区域在所述第五图像中的位置与所述第一显示区域在所述第一图像中的位置相同,所述第五图像为通过所述VR设备的透镜观测到的VR设备显示的第四图像所形成的图像,所述第四图像为所述VR设备基于所述图像数据以及一个所述第二反畸变反色散模型显示的图像;所述调整设备向所述VR设备发送所述第三反畸变反色散模型,以使所述VR设备根据所述第三反畸变反色散模型处理图像数据。
结合第一方面,在一些实施例中,所述方法还包括:当第三显示区域与所述第一显示区域的相似度高于或等于所述预设值时,停止对所述第一显示区域对应的处理函数的系数进行调整,所述第三显示区域为第五图像中的显示区域,所述第三显示区域在所述第五图像中的位置与所述第一显示区域在所述第一图像中的位置相同;其中,所述第五图像为通过所述VR设备的透镜观测到的VR设备显示的第四图像所形成的图像,所述第四图像为所述VR设备基于所述图像数据以及一个所述第二反畸变反色散模型显示的图像。
结合第一方面,在一些实施例中,所述方法还包括:所述调整设备确定第四反畸变反色散模型,所述第四反畸变反色散模型包括停止调整时所述第一显示区域对应的处理函数;所述调整设备向所述VR设备发送所述第四反畸变反色散模型,以使所述VR设备根据所述第四反畸变反色散模型处理图像数据。
结合第一方面,在一些实施例中,所述第五图像为所述调整设备获取的拍摄装置拍摄所述第四图像得到的图像。
第二方面,本申请实施例提供了又一种反畸变反色散的方法,所述方法包括:VR设备接收调整设备发送的第一图像对应的图像数据以及第一反畸变反色散模型,所述第一图像包括多个显示区域;所述VR设备根据所述第一反畸变反色散模型处理所述图像数据,并根据处理后的所述图像数据显示第二图像;所述VR设备接收所述调整设备发送的第二反畸变反色散模型,所述第二反畸变反色散模型包括所述调整设备调整后的第一显示区域对应的处理函数,所述第一显示区域为所述多个显示区域中的显示区域;所述VR设备根据所述第二反畸变反色散模型对所述图像数据进行处理,并根据处理后的所述图像数据显示第四图像。通过这种方式,可以调整局部显示区域的反畸变反色散效果,增强反畸变反色散处理的灵活性,提升VR设备显示画面的视觉效果。
结合第二方面,在一些实施例中,所述第一图像中包含多个圆形,所述圆形的半径为分段距离的倍数,所述分段距离由预设段数和第一距离的最大值确定,所述第一距离为被所述VR设备的透镜折射的光线与所述透镜中心之间的距离,所述多个圆形用于指示所述多个显示区域在所述第一图像中的位置。
结合第二方面,在一些实施例中,所述VR设备的透镜包括第一透镜和第二透镜,所述VR设备的显示屏包括第一显示屏和第二显示屏,所述第一透镜与所述第一显示屏对应,所述第二透镜与所述第二显示屏对应;所述第一反畸变反色散模型包括第一子模型和第二子模型,所述第一子模型用于校正所述第一显示屏的显示,所述第二子模型用于校正所述第二显示屏的显示;所述第二反畸变反色散模型包括第三模型和第四模型,所述第三模型用于校正所述第一显示屏的显示,所述第四模型用于校正所述第二显示屏的显示。
结合第二方面,在一些实施例中,所述VR设备的透镜包括第一透镜和第二透镜,所述显示屏包括左侧显示区域和右侧显示区域,所述第一透镜与所述显示屏的左侧显示区域对应,所述第二透镜与所述显示屏的右侧显示区域对应;所述第一反畸变反色散模型包括第一子模型和第二子模型,所述第一子模型用于校正所述左侧显示区域的显示,所述第二子模型用于校正所述右侧显示区域的显示;所述第二反畸变反色散模型包括第三模型和第四模型,所述第三模型用于校正所述左侧显示区域的显示,所述第四模型用于校正所述右侧显示区域的显示。
第三方面,本申请实施例提供了一种调整设备,所述调整设备包括一个或多个处理器和存储器,所述存储器与所述一个或多个处理器耦合,所述存储器用于存储程序代码,所述一个或多个处理器调用所述程序代码以使得所述调整设备执行以下操作:向VR设备发送第一图像对应的图像数据以及第一反畸变反色散模型,所述第一图像包括多个显示区域;根据所述第一反畸变反色散模型,得到所述多个显示区域中每个显示区域对应的处理函数;对第一显示区域对应的处理函数的系数进行调整,所述第一显示区域为所述多个显示区域中的显示区域;向所述VR设备发送第二反畸变反色散模型,所述第二反畸变反色散模型包括调整后的所述第一显示区域对应的处理函数。
结合第三方面,在一些实施例中,所述一个或多个处理器调用所述程序代码以使得所述调整设备具体执行以下操作:根据预设段数和第一距离的最大值确定分段距离,所述第一距离为被所述VR设备的透镜折射的光线与所述透镜中心之间的距离;基于所述分段距离将所述第一反畸变反色散模型中的尺度因子曲线均匀分为所述预设段数的曲线,所述尺度因子曲线用于表示所述第一距离与尺度因子的对应关系,所述尺度因子用于所述VR设备处理所述图像数据;对所述预设段数的曲线中的每条曲线进行线性拟合,得到所述第一图像中多个显示区域对应的处理函数。
结合第三方面,在一些实施例中,所述第一图像中包含多个圆形,所述圆形的半径为所述分段距离的倍数,所述多个圆形用于指示所述多个显示区域在所述第一图像中的位置。
结合第三方面,在一些实施例中,所述第一显示区域与第二显示区域的相似度低于预设值,所述第二显示区域为所述第三图像中的显示区域,所述第二显示区域在所述第三图像中的位置与所述第一显示区域在所述第一图像中的位置相同;其中,所述第三图像为通过所述VR设备的透镜观测到的VR设备显示的第二图像所形成的图像,所述第二图像为所述VR设备基于所述图像数据以及所述第一反畸变反色散模型显示的图像。
结合第三方面,在一些实施例中,所述第三图像为所述调整设备获取的拍摄装置拍摄所述第二图像得到的图像。
结合第三方面,在一些实施例中,所述第一显示区域对应的处理函数的系数是通过预设调整参数集合中的调整参数进行调整的。
结合第三方面,在一些实施例中,所述第一显示区域对应的处理函数为一次函数,所述第一显示区域对应的处理函数的系数包括第一参数和第二参数。
结合第三方面,在一些实施例中,所述一个或多个处理器调用所述程序代码以使得所述调整设备还执行以下操作:当所述调整参数集合中的调整参数遍历完成时,停止对所述第一显示区域对应的处理函数的系数进行调整。
结合第三方面,在一些实施例中,所述一个或多个处理器调用所述程序代码以使得所述调整设备还执行以下操作:生成多个所述第二反畸变反色散模型,所述第二反畸变反色散模型包括一次调整后的所述第一显示区域对应的处理函数;从所述多个第二反畸变反色散模型中确定第三反畸变反色散模型,所述第三反畸变反色散模型中包含所述第一显示区域对应的处理函数,所述处理函数对应的第三显示区域与所述第一显示区域的相似度高于,其他第二反畸变反色散模型包含的所述第一显示区域对应的处理函数所对应的第三显示区域与所述第一显示区域的相似度;其中,所述第三显示区域为第五图像中的显示区域,所述第三显示区域在所述第五图像中的位置与所述第一显示区域在所述第一图像中的位置相同,所述第五图像为通过所述VR设备的透镜观测到的VR设备显示的第四图像所形成的图像,所述第四图像为所述VR设备基于所述图像数据以及一个所述第二反畸变反色散模型显示的图像;向所述VR设备发送所述第三反畸变反色散模型,以使所述VR设备根据所述第三反畸变反色散模型处理图像数据。
结合第三方面,在一些实施例中,所述一个或多个处理器调用所述程序代码以使得所述调整设备还执行以下操作:当第三显示区域与所述第一显示区域的相似度高于或等于所述预设值时,停止对所述第一显示区域对应的处理函数的系数进行调整,所述第三显示区域为第五图像中的显示区域,所述第三显示区域在所述第五图像中的位置与所述第一显示区域在所述第一图像中的位置相同;其中,所述第五图像为通过所述VR设备的透镜观测到的VR设备显示的第四图像所形成的图像,所述第四图像为所述VR设备基于所述图像数据以及一个所述第二反畸变反色散模型显示的图像。
结合第三方面,在一些实施例中,所述一个或多个处理器调用所述程序代码以使得所述调整设备还执行以下操作:确定第四反畸变反色散模型,所述第四反畸变反色散模型包括停止调整时所述第一显示区域对应的处理函数;向所述VR设备发送所述第四反畸变反色散模型,以使所述VR设备根据所述第四反畸变反色散模型处理图像数据。
结合第三方面,在一些实施例中,所述第五图像为所述调整设备获取的拍摄装置拍摄所述第四图像得到的图像。
第四方面,本申请实施例提供了一种VR设备,所述VR设备包括:一个或多个处理器、存储器、透镜和显示屏;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储程序代码,所述一个或多个处理器调用所述程序代码以使得所述VR设备执行以下操作:接收调整设备发送的第一图像对应的图像数据以及第一反畸变反色散模型,所述第一图像包括多个显示区域;根据所述第一反畸变反色散模型处理所述图像数据,并根据处理后的所述图像数据在所述显示屏上显示第二图像;接收所述调整设备发送的第二反畸变反色散模型,所述第二反畸变反色散模型包括所述调整设备调整后的第一显示区域对应的处理函数,所述第一显示区域为所述多个显示区域中的显示区域;根据所述第二反畸变反色散模型对所述图像数据进行处理,并根据处理后的所述图像数据在所述显示屏上显示第四图像。
结合第四方面,在一些实施例中,所述第一图像中包含多个圆形,所述圆形的半径为分段距离的倍数,所述分段距离由预设段数和第一距离的最大值确定,所述第一距离为被所述VR设备的透镜折射的光线与所述透镜中心之间的距离,所述多个圆形用于指示所述多个显示区域在所述第一图像中的位置。
结合第四方面,在一些实施例中,所述VR设备的透镜包括第一透镜和第二透镜,所述VR设备的显示屏包括第一显示屏和第二显示屏,所述第一透镜与所述第一显示屏对应,所述第二透镜与所述第二显示屏对应;所述第一反畸变反色散模型包括第一子模型和第二子模型,所述第一子模型用于校正所述第一显示屏的显示,所述第二子模型用于校正所述第二显示屏的显示;所述第二反畸变反色散模型包括第三模型和第四模型,所述第三模型用于校正所述第一显示屏的显示,所述第四模型用于校正所述第二显示屏的显示。
结合第四方面,在一些实施例中,所述VR设备的透镜包括第一透镜和第二透镜,所述显示屏包括左侧显示区域和右侧显示区域,所述第一透镜与所述显示屏的左侧显示区域对应,所述第二透镜与所述显示屏的右侧显示区域对应;所述第一反畸变反色散模型包括第一子模型和第二子模型,所述第一子模型用于校正所述左侧显示区域的显示,所述第二子模型用于校正所述右侧显示区域的显示;所述第二反畸变反色散模型包括第三模型和第四模型,所述第三模型用于校正所述左侧显示区域的显示,所述第四模型用于校正所述右侧显示区域的显示。
第五方面,本申请实施例提供一种包含指令的计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如使得上述电子设备执行如第一方面中任一可能的实现方式,或者使得所述电子设备执行如使得上述电子设备执行如第二方面中任一可能的实现方式。
第六方面,本申请实施例提供一种计算机可读存储介质,包括指令,当所述指令在电子设备上运行时,使得所述电子设备执行如使得上述电子设备执行如第一方面中任一可能的实现方式,或者使得所述电子设备执行如使得上述电子设备执行如第二方面中任一可能的实现方式。
在本申请实施例提供的反畸变反色散的方法中,VR设备根据调整设备发送的第一反畸变反色散模型对第一图像的图像数据进行处理,并根据处理后的图像数据显示图像。调整设备根据所述第一反畸变反色散模型,得到所述多个显示区域中每个显示区域对应的处理函数。之后,所述调整设备对显示效果较差的第一显示区域对应的处理函数的系数进行调整,所述第一显示区域为所述多个显示区域中的显示区域,并向所述VR设备发送第二反畸变反色散模型,所述第二反畸变反色散模型包括调整后的所述第一显示区域对应的处理函数。接下来,VR设备能够根据所述第二反畸变反色散模型对所述图像数据进行处理,并根据处理后的图像数据显示图像。通过这种方式,可以调整局部显示区域的反畸变反色散效果,增强反畸变反色散处理的灵活性,提升VR设备显示画面的视觉效果。
附图说明
图1是本申请实施例提供的一种枕形畸变的示意图;
图2是本申请实施例提供的一种桶形畸变的示意图;
图3是本申请实施例提供的一种反畸变的示意图;
图4是本申请实施例提供的一种反畸变反色散处理之后的显示图像的示意图;
图5是本申请实施例提供的一种处理***10的示意图;
图6是本申请实施例提供的一种电子设备10的结构示意图;
图7是本申请实施例提供的一种电子设备20的结构示意图;
图8是本申请实施例提供的一种确定反畸变反色散模型的方法的流程图;
图9是本申请实施例提供的一种一个像素点的xy坐标与RGB坐标的示意图;
图10是本申请实施例提供的一种显示图像反畸变反色散处理前后的对比示意图;
图11是本申请实施例提供的一种尺度因子曲线的示意图;
图12是本申请实施例提供的一种尺度因子曲线与透镜区域的对应关系的示意图;
图13是本申请实施例提供的一种原始图像的示意图;
图14是本申请实施例提供的一种线性拟合的拟合结果的示意图;
图15是本申请实施例提供的又一种线性拟合的拟合结果的示意图;
图16是本申请实施例提供的一种用户佩戴VR头戴式显示设备100的示意图;
图17是本申请实施例提供的一种VR设备显示图像的方法的流程图;
图18是本申请实施例提供的一种原始图像的示意图;
图19是本申请实施例提供的一种显示屏180A上的显示图像的示意图;
图20是本申请实施例提供的一种显示屏上的直角坐标系的示意图;
图21是本申请实施例提供的一种反畸变反色散的方法的流程示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
接下来对本申请实施例涉及到的一些概念进行介绍。
畸变(distortion)
畸变是一种由于镜头中透镜物理性能以及镜片组结构引起的成像画面与实际画面不同的情况。畸变主要包括枕形畸变(pincushion distortion)和桶形畸变(barreldistortion)。
枕形畸变,又称枕形失真,它是一种成像画面向中间“收缩”的失真现象。参见图1,是本申请实施例提供的一种枕形畸变的示意图。其中,图1的左边为显示屏中显示的实际画面,图1的右边为人眼察看到的成像画面。
桶形畸变,又称桶形失真,它是一种成像画面呈桶形膨胀状的失真现象。参见图2,是本申请实施例提供的一种桶形畸变的示意图。其中,图2的左边为显示屏中显示的实际画面,图2的右边为人眼察看到的成像画面。
色散(dispersion)
材料的折射率随入射光频率的改变而改变的性质,称为“色散”。例如,太阳光通过三棱镜后,产生自红到紫循序排列的彩色连续光谱。从广泛的意义上来说,色散不仅指光波分解成频谱,而且任何物理量只要随频率(或波长)而变,都称色散。在本申请实施例中,复色光进入透镜后,由于透镜对各种频率的光具有不同折射率,各种色光的传播方向有不同程度的偏折,因而在离开透镜时就各自分散,称为“色散”。
反畸变反色散
反畸变反色散的原理是对显示的图像添加一个反向的畸变、色散,可以理解为显示屏的显示图像中每个像素点具有一定的偏移量,添加的反向畸变反色散与透镜产生的畸变、色散效应相“抵消”,这样人眼通过透镜看到的就是正常的图像了。参见图3,是本申请实施例提供的一种反畸变的示意图。其中,图3的左边为显示屏中显示的实际画面,图3的右边为人眼查看到的成像画面。与正常显示的图像不同,图3中的显示图像中的各个像素点具有一定的偏移量。参见图4,图4是本申请实施例提供的一种反畸变反色散处理之后的显示图像的示意图。
反畸变反色散算法
由于每一片生产好的透镜都有其固定的光学系数,透镜生产厂商生产透镜时会进行光谱分析,对透镜的光学特性进行多项式拟合,得到透镜校正系数。现有技术中,反畸变反色散算法通常是对厂商提供的透镜校正系数进行多项式处理,得到反畸变反色散模型,通过反畸变反色散模型计算出三原色对应的尺度因子,再根据原显示坐标和尺度因子计算反畸变反色散模型处理后的显示坐标。
现阶段,对于一个透镜适用有一个反畸变反色散模型。但由于透镜是曲面的,不同区域的最合适的反畸变反色散模型有差异,往往一个区域的效果达到最好的时候,其他区域的效果就会受到影响。
鉴于此,提出本申请实施例的反畸变反色散的方法。在本申请实施例中,可以对根据透镜生产厂商提供的透镜校正系数计算的尺度因子曲线进行分段函数的拟合。可以理解的是,一个分段函数与透镜的一个区域相对应。再对显示效果较差的显示区域对应的分段函数的系数进行调整,使得调整后的分段函数更接近透镜的光学特性。通过这种方式,可以调整局部反畸变反色散效果,增强反畸变反色散处理的灵活性,提升VR头戴式显示设备显示画面的视觉效果。
请参见图5,图5是本申请实施例提供的一种处理***10的示意图。处理***10可以包括VR头戴式显示设备100和调整设备300。在处理***10中,调整设备300首先根据透镜生产厂商提供的透镜校正系数计算基准反畸变反色散模型,并将计算出的基本反畸变反色散模型以及原始图像数据发送给VR头戴式显示设备100。VR头戴式显示设备100根据所述基准反畸变反色散模型对所述原始图像数据进行处理,并根据处理后的图像数据显示图像。之后,调整设备300对基准反畸变反色散模型中的尺度因子曲线进行分段拟合,得到原始图像中不同显示区域对应的线性函数;再对显示效果较差的显示区域对应的线性函数的拟合系数进行调整,并将调整后的反畸变反色散模型发送给VR头戴式显示设备100。接下来,VR头戴式显示设备100根据所述调整后的反畸变反色散模型对所述原始图像数据进行处理,并根据处理后的图像数据显示图像。调整设备300可以根据VR头戴式显示设备100反馈的图像显示效果,持续调整反畸变反色散模型,优化图像显示效果,以得到最终的反畸变反色散模型。通过调整设备300,可以调整局部显示区域的反畸变反色散效果,增强反畸变反色散处理的灵活性,提升VR头戴式显示设备100显示画面的视觉效果。
接下来,对VR头戴式显示设备100和调整设备300进行介绍。其中:
VR头戴式显示设备100,是利用VR技术提供虚拟环境的电子设备。VR头戴式显示设备100利用VR技术渲染并显示一个或多个虚拟对象。VR头戴式显示设备中包括有透镜以及显示屏,人眼可以通过透镜查看到显示屏上的显示画面。显示屏的左右眼屏幕分别显示左右眼的图像,图像分别在人眼的左右眼的视网膜处成像,并在大脑的视觉中枢中重叠起来,构建成一个立体的虚拟环境。
在一些实施例中,用于生成VR头戴式显示设备100的显示屏上的显示界面的图像数据,可以是从其他电子设备接收到的。其他电子设备包括调整设备300。所述调整设备300可以是服务器,也可以包括与VR头戴式显示设备100连接或者配对的智能手机、电脑等。
在一些实施例中,VR头戴式显示设备100包括透镜182和显示屏180。所述显示屏180可以包括显示屏180A和显示屏180B,所述透镜182可以包括透镜182A和透镜182B。所述透镜180和所述显示屏182互相对应。示例性的,所述显示屏180A对应于所述透镜182A,所述显示屏180B对应于所述透镜182B。
在另一些实施例中,VR头戴式显示设备100包括一个显示屏,所述一个显示屏包括两个显示区域,例如,第一显示区域和第二显示区域。示例性的,第一显示区域可以为显示屏180A所在的显示区域,第二显示区域可以为显示屏180B所在的显示区域。一个显示区域与一个透镜相互对应。示例性的,透镜182A对应于第一显示区域,透镜182B对应第二显示区域。
在另一些实施例中,VR头戴式显示设备100的透镜可以为两个以上。例如,所述显示屏180可以包括显示屏180A和显示屏180B,一个显示屏与两个或两个以上的透镜互相对应。示例性的,显示屏180A对应的透镜也可以是上下叠加在一起的两个透镜。
调整设备300,可以为笔记本电脑、台式电脑等具备图像处理功能的电子设备,图1中以台式电脑为例。调整设备300可以向VR头戴式显示设备100发送图像数据以及反畸变反色散模型。VR头戴式显示设备100可以根据接收到的反畸变反色散模型对图像数据进行处理,之后,根据处理后的图像数据在显示屏中显示图像。
本申请实施例中,VR头戴式显示设备100可以为一种电子设备,下面对本申请实施例涉及的电子设备10进行介绍。参见图6,是本申请实施例提供的一种电子设备10的结构示意图。
如图6所示,电子设备10可以包括处理器110,存储器120,传感器模块130,音频模块140,按键150,输入输出接口160,通信模块170,显示屏180以及电池190等。其中传感器模块130可以包括声音探测器132、接近光传感器131,等等。传感器模块130还可以包含其他传感器,例如距离传感器,陀螺仪传感器,环境光传感器和加速度传感器等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备10的具体限定。在本申请另一些实施例中,电子设备10可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(applicationprocessor,AP),调制解调处理器,图形处理器(graphicsprocessingunit,GPU),图像信号处理器(imagesignalprocessor,ISP),视频处理单元(videoprocessingunit,VPU)控制器,存储器,视频编解码器,数字信号处理器(digitalsignalprocessor,DSP),基带处理器,和/或神经网络处理器(neural-networkprocessingunit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
在一些实施例中,处理器110在控制显示屏180(可以参照图5中的显示屏180A和显示屏180B)显示图像之前,调用存储器120中存储的反畸变反色散模型对图像数据进行处理。可选的,电子设备10通过GPU,显示屏180等实现显示功能。GPU为图像处理的微处理器,用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
在一些实施例中,处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。可选的,该校正参数可以存储在处理器110的存储器中。在处理器110需要使用校正参数时,可从该存储器中直接调用。通过这种方式,可以避免重复存取,减少处理器110的等待时间,因而提高了***的效率。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备10在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备10可以支持一种或多种视频编解码器。这样,电子设备10可以播放或录制多种编码格式的视频,例如:动态图像专家组(movingpictureexpertsgroup,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备10的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
其中,控制器可以是电子设备10的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integratedcircuit,I2C)接口,通用异步收发传输器(universalasynchronousreceiver/transmitter,UART)接口,移动产业处理器接口(mobileindustryprocessorinterface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriberidentitymodule,SIM)接口,和/或通用串行总线(universalserialbus,USB)接口,串行外设接口(serialperipheralinterface,SPI)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serialdataline,SDA)和一根串行时钟线(derailclockline,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别电池190,显示屏180等。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与通信模块170。例如:处理器110通过UART接口与通信模块170中的蓝牙模块通信,实现蓝牙功能。
MIPI接口可以被用于连接处理器110与显示屏180等***器件。MIPI接口包括显示屏串行接口(displayserialinterface,DSI)等。在一些实施例中,处理器110和显示屏180通过DSI接口通信,实现电子设备10的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与显示屏180,通信模块170,传感器模块130,麦克风140等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是MiniUSB接口,MicroUSB接口,USBTypeC接口等。USB接口130可以用于连接充电器为电子设备10充电,也可以用于电子设备10与***设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如智能手机等。USB接口可以是USB3.0,用于兼容高速显示接口(displayport,DP)信号传输。在一些实施例中,电子设备10可以通过USB接口接收其他设备(例如,智能手机、电脑)传输的视音频高速数据。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备10的结构限定。在本申请另一些实施例中,电子设备10也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
另外,电子设备10可以包含无线通信功能。通信模块170可以包含无线通信模块和移动通信模块。无线通信功能可以通过天线、移动通信模块,调制解调处理器以及基带处理器等实现。
天线用于发射和接收电磁波信号。电子设备10中可以包含多个天线,每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块可以提供应用在电子设备10上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(lownoiseamplifier,LNA)等。移动通信模块可以由天线接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块还可以对经调制解调处理器调制后的信号放大,经天线转为电磁波辐射出去。在一些实施例中,移动通信模块的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器等)输出声音信号,或通过显示屏180显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块或其他功能模块设置在同一个器件中。
无线通信模块可以提供应用在电子设备10上的包括无线局域网(wirelesslocalareanetworks,WLAN)(如无线保真(wirelessfidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(globalnavigationsatellitesystem,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(nearfieldcommunication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块经由天线接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线转为电磁波辐射出去。
在一些实施例中,电子设备10的天线和移动通信模块耦合,使得电子设备10可以通过无线通信技术与网络以及其他设备通信。例如,电子设备10可以通过无线通信技术接收其他设备(例如,智能手机、电脑)发送的显示屏中需要显示的图像数据。
存储器120可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在存储器120的指令,从而执行电子设备10的各种功能应用以及数据处理。存储器120可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备10使用过程中所创建的数据(比如音频数据)等。此外,存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universalflashstorage,UFS)等。在本申请实施例中,存储120中可以存储调整设备300发送的反畸变反色散模型的数据。
电子设备10可以通过音频模块140以及应用处理器等实现音频功能。例如音乐播放,录音等。音频模块中还可以包括扬声器,麦克风,耳机接口,等等。音频模块140,用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块140还可以用于对音频信号编码和解码。在一些实施例中,音频模块140可以设置于处理器110中,或将音频模块140的部分功能模块设置于处理器110中。
扬声器,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备10可以通过扬声器收听音乐,或收听免提通话。麦克风,也称“话筒”,“传声器”,用于将声音信号转换为电信号。电子设备10可以设置至少一个麦克风。在另一些实施例中,电子设备10可以设置两个麦克风,除了采集声音信号,还可以实现降噪功能。耳机接口用于连接有线耳机。
在一些实施例中,电子设备10可以包括一个或多个按键150,这些按键可以控制电子设备10,为用户提供访问电子设备10上的功能。按键150的形式可以是按钮、开关、刻度盘和触摸或近触摸传感设备(如触摸传感器)。例如,用户可以通过按下按钮来打开电子设备10的显示屏180。按键150可以包括开机键,音量键等。
在一些实施例中,电子设备10可以包括输入输出接口160,输入输出接口160可以通过合适的组件将其他装置连接到电子设备10。组件例如可以包括音频/视频插孔,数据连接器等。
在一些实施例中,电子设备10可以包括声音探测器132,该声音探测器132可以检测和处理用于控制便携电子设备的语音信号。例如,电子设备10可以使用麦克风将声音转换为电信号。声音探测器132随后可以处理电信号,并将信号识别为***命令。处理器110可以被配置为从麦克风接收语音信号。在接收到语音信号后,处理器110可以运行声音探测器132来识别语音命令。
在一些实施例中,电子设备10可以实现眼球追踪(eyetracking)。具体的,可以利用红外设备(如红外发射器)和图像采集设备(如摄像头)来检测眼球注视方向。
接近光传感器可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备10可以利用接近光传感器检测电子设备10特定位置的手势操作,以实现手势操作与操作命令相关联的目的。
距离传感器,用于测量距离。电子设备10可以通过红外或激光测量距离。在一些实施例中,电子设备10可以利用距离传感器测距以实现快速对焦。
陀螺仪传感器可以用于确定电子设备10的运动姿态。在一些实施例中,可以通过陀螺仪传感器确定电子设备10围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器还可以用于导航,体感游戏场景。
环境光传感器用于感知环境光亮度。电子设备10可以根据感知的环境光亮度自适应调节显示屏180亮度。环境光传感器也可用于拍照时自动调节白平衡。
加速度传感器可检测电子设备10在各个方向上(一般为三轴)加速度的大小。当电子设备10静止时可检测出重力的大小及方向。还可以用于识别头戴电子设备姿态,应用于计步器等应用。
显示屏180用于显示图像,视频等。显示屏180包括显示面板。显示面板可以采用液晶显示屏(liquidcrystaldisplay,LCD),有机发光二极管(organiclight-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganiclightemittingdiode的,AMOLED),柔性发光二极管(flexlight-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantumdotlightemittingdiodes,QLED)等。
本申请实施例中,调整设备300可以为一种电子设备,下面对本申请实施例涉及的电子设备20进行介绍。请参阅图7,图7是本申请实施例提供的一种电子设备20的结构示意图。举例而言,该电子设备20可以是台式电脑、笔记本电脑等设备。如图7所示,电子设备20可包括处理器102、存储器103、无线通信处理模块104、电源开关105、输入模块106、输出模块107和USB接口108。这些部件可以通过总线连接。其中:
处理器102可用于读取和执行计算机可读指令。具体实现中,处理器102可主要包括图形处理器(graphicsprocessingunit,GPU),控制器、运算器和寄存器。其中,控制器主要负责指令译码,并为指令对应的操作发出控制信号。运算器主要负责执行定点或浮点算数运算操作、移位操作以及逻辑操作等,也可以执行地址运算和转换。寄存器主要负责保存指令执行过程中临时存放的寄存器操作数和中间操作结果等。具体实现中,处理器102的硬件架构可以是专用集成电路(ApplicationSpecificIntegratedCircuits,ASIC)架构、MIPS架构、ARM架构或者NP架构等等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
在一些实施例中,图形处理器可以用于根据拟合的分段函数对图像数据进行调整。存储器103与处理器102耦合,用于存储各种软件程序和/或多组指令。具体实现中,存储器103可包括高速随机存取的存储器,并且也可包括非易失性存储器,例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器103可以存储操作***,例如windows、Android等嵌入式操作***。存储器103还可以存储通信程序,该通信程序可用于与VR头戴式显示设备100,或附加设备进行通信。
无线通信处理模块104可以提供应用在电子设备20上的包括无线局域网(wirelesslocalareanetworks,WLAN)(如Wi-Fi网络),蓝牙(bluetooth,BT),BLE广播,全球导航卫星***(globalnavigationsatellitesystem,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(nearfieldcommunication,NFC)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。电子设备20可以通过无线通信处理模块104与其他设备建立无线通信连接,通过蓝牙或WLAN中的一种或多种无线通信技术与其他设备进行通信。在一些实施例中,电子设备20可以通过无线通信模块104向VR头戴式显示设备100发送图像数据。在一些实施例中,电子设备20可以通过无线通信模块104向电子设备10发送计算出的反畸变反色散模型的数据。
无线通信处理模块104还可以包括蜂窝移动通信处理模块(未示出)。蜂窝移动通信处理模块可以通过蜂窝移动通信技术与其他设备(如服务器)进行通信。
电源开关105可用于控制电源向电子设备20的供电。
输入模块106可用于接收用户输入的指令,举例而言,该输入模块106可以包括鼠标、键盘、触摸板、触控屏、麦克风等一项或多项。
输出模块107可用于输出信息,举例而言,电子设备20中包括一块或者多块显示屏,显示屏可用于显示图像,视频等。显示屏包括显示面板。显示面板可以采用液晶显示屏(liquidcrystaldisplay,LCD),有机发光二极管(organiclight-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganiclightemittingdiode的,AMOLED),柔性发光二极管(flexlight-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantumdotlightemittingdiodes,QLED)等。另外,输出模块107还可以包括扬声器、音箱等一项或者多项。
USB接口108,是符合USB标准规范的接口,具体可以是MiniUSB接口,MicroUSB接口,USBTypeC接口等。USB接口108可以用于连接充电器为电子设备20充电,也可以用于电子设备20与***设备之间传输数据。例如,该电子设备20可以通过USB接口108接收照相机200发送的拍摄到的原始图像。在一些实施例中,该接口还可以用于连接其他电子设备,例如VR头戴式显示设备100等。该电子设备20可以通过USB接口108向VR头戴式显示设备100发送的计算出的校正参数。
可以理解的是,图7示意的结构并不构成对电子设备20的具体限定。在本申请另一些实施例中,电子设备20可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
下面基于上述内容中介绍的处理***以及电子设备,结合其他附图对本申请实施例提供的反畸变反色散方法进行详细说明。需要说明的是,以下以VR设备为VR头戴式显示设备100为例,调整设备为调整设备300为例进行介绍。该VR头戴式显示设备100包括透镜182A,透镜182B,显示屏180A和显示屏180B。透镜182A与显示屏180A对应,透镜182B与显示屏180B对应。以下以确定透镜182A对应的显示屏180A的反畸变反色散模型的确定方式为例进行说明。需要说明的是,确定透镜182B对应的显示屏180B的反畸变反色散模型可参照相似的方式,后续不再赘述。
参见图8,是本申请实施例提供的一种确定反畸变反色散模型的方法的流程图。该方法至少包括以下步骤:
S101、调整设备300计算透镜182A的基准反畸变反色散模型。
由于透镜形状是中心对称的,其主要为径向畸变且大小与到透镜中心距离有关,所以反畸变反色散模型可以如公式1-1所示:
P′(R,G,B)=f(P(R,G,B),r;k0,k1,k2,k3,k4,k5,k6,k7) 公式1-1
其中,P(R,G,B)为原图像中一个像素点的三原色分量位置,P′(R,G,B)为反畸变反色散处理后该一个像素点的三原色分量位置;r为被所述VR头戴式显示设备100的透镜折射的光线与所述透镜中心之间的距离(或者称为被折射光线距离透镜中心的距离),k0,k1,k2,k3为畸变校正系数,k4,k5,k6,k7为色散校正系数。
畸变校正系数和色散校正系数为透镜生产厂商提供的透镜校正系数。由于每一片生产好的透镜都有其固定的光学系数,透镜生产厂商生产透镜时会进行光谱分析,对透镜的光学特性进行多项式拟合,得到透镜校正系数。在一些实施例中,调整设备300可以接收用户输入的透镜生产厂商提供的透镜校正系数,代入反畸变反色散模型得到基准反畸变反色散模型。
示例性的,介绍一种可能的反畸变反色散模型(f)。反畸变反色散模型可以包括三原色对应的尺度因子的计算公式,以及原图像中的显示坐标与处理后的显现坐标的关系表达式。
三原色对应的尺度因子的计算方式可以如公式1-2、公式1-3以及公式1-4所示。
scaleg=(k0+k1*r2+k2*r4+k3*r6) 公式1-2
scaler=scaleg*(1+k4+k5*r2) 公式1-3
scaleb=scaleg*(1+k6+k7*r2) 公式1-4
其中,scaleg为绿色(green,G)分量上的尺度因子,scaler为在红色(red,R)分量上的尺度因子,scaleb为蓝色(blue,B)分量上的尺度因子,r为被折射光线距离透镜中心的距离。
反畸变反色散模型处理后的显示坐标,与原显示坐标的关系可以如公式1-5所示。
Figure BDA0002754537830000141
其中,(x,y)为原始图像中一个像素点的原显示坐标,该坐标所在的二维坐标系的原点在透镜的轴心线上。(rx0,ry0)、(gx0,gy0)、(bx0,by0)为该一个像素点的RGB颜色分量做反畸变反色散处理后的显示坐标。
根据光路可逆原理,只要把原像素点的RGB三个颜色分量值移动到反畸变反色散后的位置,经过透镜后三条光线汇聚后就是正常的图像。
参见图9,图9是本申请实施例提供的一种一个像素点的xy坐标与RGB坐标的示意图。其中,o为透镜的中心,虚线为透镜的轴心线,r为被折射光线距离透镜中心距离。原显示图像中一个像素点的坐标为(x,y),经过透镜的折射后,该一个像素点在RGB坐标系的坐标为(rx,ry)、(gx,gy)、(bx,by)。需要说明的是,左边的(0,0)为像素点所在的二维坐标系(xoy坐标系)的坐标原点,右边的(0,0)为折射后的该像素点所在的RGB坐标系的坐标原点。这两个坐标原点位于同一条直线上。
参见图10,图10是本申请实施例提供的一种显示图像反畸变反色散处理前后的对比示意图。在图10中,左边的图像为原显示图像,右边的图像为反畸变反色散处理后的显示图像。原显示图像中的一个像素点的坐标为(x,y),该(x,y)对应的反畸变反色散处理后的坐标为(rx0,ry0)、(gx0,gy0)、(bx0,by0)。可选的,调整设备300可以根据公式1-2生成scaleg的尺度因子曲线。参见图11,是本申请实施例提供的一种尺度因子曲线的示意图。图11中,横坐标为被折射光线距离透镜中心的距离,纵坐标为尺度因子。所述尺度因子曲线用于表示被折射光线距离透镜中心的距离与尺度因子的对应关系。所述尺度因子用于所述VR头戴式显示设备100处理所述原始图像的图像数据(可参见公式1-5)。可以看出,随着被折射光线距离透镜中心的距离(即,r)的变化,尺度因子是连续平滑变化的。
之后,可以由scaleg与scaler、scaleb之间的关系(参见上述介绍的公式1-3,以及公式1-4),生成scaler、scaleb的尺度因子曲线。
基准反畸变反色散模型包括scaleg、scaler、scaleb的计算方式(参见公式1-2、公式1-3以及公式1-4)以及处理前后坐标的对应关系(参见公式1-5)。
S102、调整设备300将原始图像数据以及基准反畸变反色散模型发送给VR头戴式显示设备100。
其中,原始图像数据表示的原始图像中,可以包含有多个正方形和圆形。正方形和圆形可以便于用户观测图像的显示效果。可选的,原始图像中的圆形的半径是分段拟合所选取的分段距离的倍数,用于标定不同的透镜区域所对应的图像显示范围。其中,所述分段距离由预设段数和被折射光线距离透镜中心的距离的最大值确定。可选的,分段距离为所述被折射光线距离透镜中心的距离的最大值与所述预设段数的商。需要说明的是,被折射光线距离透镜中心的距离的最大值即为透镜的半径。
示例性的,在后续尺度因子曲线的分段拟合中,划分尺度因子曲线的预设段数可以为为5段、8段、10段,等等。可以理解的是,划分出来的一段曲线与透镜的一个区域相对应。为了更好的观测到各个分段区域的显示效果,不同的半径的圆形用于标定不同的透镜区域所对应的图像显示范围。另外,划分的段数越多,每一段曲线的拟合会更加贴近实际的曲线。在实际应用中,可以按照需要对预设段数进行设定。
举例而言,透镜的半径为2厘米,尺度因子曲线的预设段数为5段,则分段距离可以为2/5=0.4厘米,那么原始图像中的圆形的半径可以为0.4厘米、0.8厘米、1.2厘米、1.6厘米和2.0厘米。原始图像中包括有半径为0.4厘米、0.8厘米、1.2厘米、1.6厘米和2.0厘米的5个同心圆。参见图12,是本申请实施例提供的一种尺度因子曲线与透镜区域的对应关系的示意图。其中,0为透镜的中心,曲线4与透镜的区域4相对应。
示例性的,参见图13,是本申请实施例提供的一种原始图像的示意图。在该原始图像中,包含有正方形和圆形。原始图像中包括有半径为0.4厘米、0.8厘米、1.2厘米、1.6厘米和2.0厘米的5个同心圆。这5个同心圆可以标定不同的透镜区域所对应的图像显示范围。例如,半径为1.2厘米的圆和半径为1.6厘米的圆所形成的圆环区域为透镜的区域4所对应的图像显示区域。另外,原始图像中,同心圆的圆心与该原始图像中各个像素点所在的二维坐标系(xoy坐标系)的原点重合。
可选的,不同的透镜区域对应的图像区域可以显示为不同的颜色。
S103、VR头戴式显示设备100根据基准反畸变反色散模型对原始图像数据进行处理,并根据处理后的图像数据在显示屏180A显示图像。
VR头戴式显示设备100根据反畸变反色散模型对原始图像数据进行处理,以及根据处理后的图像数据显示图像的方式在后续将进行详细的介绍,此处不展开说明。
S104、调整设备300对透镜182A的尺度因子曲线进行分段拟合,得到原始图像中不同显示区域对应的线性函数。
可以理解的是,划分出来的一段曲线与透镜182A的一个区域、原始图像中的一个显示区域相对应,一段曲线与拟合后的一个线性函数相对应;那么,拟合后的一个线性函数与透镜182A的一个区域、原始图像中的一个显示区域相对应。
在一种可能的实现方式中,调整设备300对透镜182A的尺度因子曲线进行分段拟合的实施过程可以参照以下步骤:
S11、调整设备300按照被折射光线距离透镜中心的距离将尺度因子曲线均匀划分为预设段数。
可选的,可以将scaleg尺度因子曲线均匀划分为5段、8段、10段,等等进行拟合。需要说明的是,尺度因子曲线的一段曲线与透镜的一个区域、原始图像中的一个显示区域、VR头戴式显示设备100显示的图像中的一个显示区域相对应。
S12、调整设备300采用线性函数对分段后的每一段曲线进行拟合。
示例性的,线性函数可以如公式1-6所示。
scaleg=mr+n 公式1-6
其中scaleg为尺度因子,m,n为拟合系数。
以将曲线均匀划分为5段为例,线性拟合后将产生5个线性函数。参见图14,是本申请实施例提供的一种线性拟合的拟合结果的示意图。以将曲线均匀划分为10段为例,线性拟合后将产生10个线性函数。参见图15,是本申请实施例提供的又一种线性拟合的拟合结果的示意图。
S105、调整设备300对显示效果较差的显示区域对应的线性函数的拟合系数进行调整。
VR头戴式显示设备100在显示屏180A显示的图像与原始图像对应。若一些显示区域在VR头戴式显示设备100显示的图像中显示效果较差,表明这些显示区域对应的反畸变反色散模型并不适合,调整设备300可以对这些显示效果较差的显示区域对应的线性函数的拟合系数进行调整,进而提升VR头戴式显示设备100的显示效果。
在一种可能的实现方式中,显示效果较差的显示区域一般位于原始图像的边缘。所述显示效果较差的显示区域可以为预设的显示区域。可选的,在一些实施例中,调整设备300也可以对原始图像中每个显示区域对应的线性函数进行调整。
在一种可能的实现方式中,用户可以穿戴VR头戴式显示设备100,直接对VR头戴式显示设备100显示的图像进行观测,确定出显示效果较差的显示区域。
参见图16,是本申请实施例提供的用户佩戴VR头戴式显示设备100的示意图。VR头戴式显示设备100中包括两个显示屏(即,显示屏180A以及显示屏180B),这两个显示屏分别对应两个透镜(即,透镜182A以及透镜182B)。具体的,显示屏180A对应于透镜182A,显示屏180B对应于透镜182A。用户可以通过透镜182A查看到显示屏180A上的显示图像,确定出显示效果较差的显示区域。
在另一种可能的实现方式中,可以通过拍摄装置对VR头戴式显示设备100显示的图像进行拍摄。该拍摄装置对VR头戴式显示设备100显示的图像进行拍摄得到的显示图像,能够表现人眼查看到VR头戴式显示设备100时,人眼所观测到的显示图像。拍摄装置将拍摄到的显示图像发送给调整设备300。可选的,所述拍摄装置可以是所述调整设备300中的部分装置,所述拍摄装置还可以是与所述调整设备300通过有线或者无线连接的装置。调整设备300对比显示图像和原始图像,分别计算显示图像中的一个显示区域,和原始图像中所述一个显示区域对应的显示区域的相似度,将相似度低于预设值的显示区域确定为显示效果较差的显示区域。其中,显示图像中的一个显示区域在所述显示图像中的位置,与原始图像中所述一个显示区域对应的显示区域在所述原始图像中的位置相同。
具体的,调整显示效果较差的显示区域对应的线性函数的拟合系数,以优化该显示区域的图像显示效果。示例性的,显示效果较差的显示区域可以为半径为1.2厘米的圆和半径为1.6厘米的圆所形成的圆环区域(上述图12的区域4对应的显示图像),为了方便描述简称为第三显示区域,以及半径为1.6厘米的圆和半径为2.0厘米的圆所形成的圆环区域,简称为第四显示区域。
以第三显示区域为例,介绍调整拟合系数的实施过程,该第三显示区域对应的分段函数为scaleg=m4r+n4,1.2<r≤1.6。
该线性函数中包括两个拟合系数,即m4和n4。由于线性函数中仅包括两个可变参数,调节方式较为方便。可选的,调整设备300可以对这两个拟合系数进行增减一个或多个单位数值的处理。举例而言,单位数值可以是0.01、0.05、0.1等等,或者是一个像素点的长度。
参见表1,表1中示例性示出了一种预设调整参数集合。在表1中包括了多种可能的调整参数,具体的,表1中的行表示m4的调整参数,在表1中的列表示n4的调整参数。一个空格所处的位置可以指示一种调整线性函数中两个拟合系数的方式。示例性的,(-0.04,-0.04)所指示的调整方式为:将m4减小0.04,将n4减小0.04。
表1
Figure BDA0002754537830000171
Figure BDA0002754537830000181
m4和n4的调整参数在(0,0)所处的位置,第一步的调整可以基于初始位置上移一步,即(0,-0.01)。也即是说,m4的数值保持不变,将n4的数值减小0.01。则修改后的分段函数为scaleg=m4r+(n4-0.01),1.2<r≤1.6。
接下来,将调整后的反畸变反色散模型发送给VR头戴式显示设备100。
该调整后的反畸变反色散模型如下述公式所示:
Figure BDA0002754537830000182
scaler=scaleg*(1+k4+k5*r2) 公式1-3
scaleb=scaleg*(1+k6+k7*r2) 公式1-4
Figure BDA0002754537830000183
之后,VR头戴式显示设备100根据调整后的反畸变反色散模型对原始图像数据进行处理,并根据处理后的图像数据在显示屏180A显示图像。
在一种可能的实现方式中,用户重新对VR头戴式显示设备100显示的图像进行观测。若第三显示区域的显示效果达到了优化要求,则停止调整第三显示区域对应的线性函数的拟合系数;若第三显示区域的显示效果未达到优化要求,则按照上述介绍的方式继续调整第三显示区域的对应的线性函数的拟合系数,直至第三显示区域的显示效果达到优化要求。
可选的,VR头戴式显示设备100显示的图像是否达到优化要求,可以由用户的视觉感受作为判断依据。原始图像数据表示的原始图像中包含有多个正方形和圆形,可以便于用户观测图像的显示效果。
在另一种可能的实现方式中,可以通过拍摄装置重新对VR头戴式显示设备100显示的图像进行拍摄。拍摄装置将再次拍摄到的显示图像发送给调整设备300。调整设备300对比再次拍摄到的显示图像中与所述第三显示区域对应显示区域和原始图像中的第三显示区域,计算这两个显示区域的相似度。若该相似度不低于所述预设值(可视为达到了优化要求),则停止调整第三显示区域对应的线性函数的拟合系数;若该相似度低于所述预设值(可以视为未达到优化要求),则按照上述介绍的方式继续调整第三显示区域对应的线性函数的拟合系数,直至相似度不低于所述预设值。其中,显示图像中与所述第三显示区域对应的显示区域在所述显示图像中的位置,与所述第三显示区域在所述原始图像中的位置相同。
可选的,继续调整原始图像中第三显示区域对应的显示区域,对应的线性函数的拟合系数的方式可以是,继续调整m4和n4的调整参数。示例性的,参照表1,基于第一步的调整,第二步的调整可以再左移一步,即(-0.01,-0.01),也即是说,m4的数值减小0.01,将n4的数值减小0.01。再次修改后的分段函数为scaleg=(m4-0.01)r+(n4-0.01),1.2<r≤1.6。拟合系数的调整参数可以从表1所示的预设调整参数集合中选取,调整设备300依次(例如,调整参数由小到大)或者随机对调整参数进行选取。之后,调整设备300将再次调整后的反畸变反色散模型发送给VR头戴式显示设备100。接着,VR头戴式显示设备100根据再次调整后的反畸变反色散模型对原始图像数据进行处理,并根据处理后的图像数据在显示屏180A显示图像。调整设备300可以根据VR头戴式显示设备100反馈的图像显示效果,持续调整第三显示区域对应的线性函数的拟合系数,直至显示效果达到优化要求,或者相似度不低于所述预设值。
在另一些实施例中,调整设备300可以遍历表1所示的调整参数,其中,一个调整数值可以对应生成一个反畸变反色散模型。调整设备300将反畸变反色散模型发送给VR头戴式显示设备100,VR头戴式显示设备100可以根据不同的反畸变反色散模型反馈不同的显示图像。调整设备300可以从这些显示图像中确定出显示效果最好的显示图像(或相似度最高的显示图像),根据该显示效果最好的显示图像(或相似度最高的显示图像)所对应的反畸变反色散模型确定第三显示区域的对应的线性函数的拟合系数。可选的,可以将相似度大小记录在表1中。
另外,在调整参数的对应的线性函数的拟合系数确定之后,调整设备300再对第四显示区域对应的线性函数的拟合系数进行调整。调整方式可以参照调整第三显示区域对应的线性函数的拟合系数的方式,此处不再赘述。
在第四显示区域对应的线性函数的拟合系数确定了之后,处理装置得到最终的反畸变反色散模型。示例性的,所述最终的反畸变反色散模型可以如下所示:
Figure BDA0002754537830000191
scaler=scaleg*(1+k4+k5*r2) 公式1-3
scaleb=scaleg*(1+k6+k7*r2) 公式1-4
Figure BDA0002754537830000192
S106、调整设备300向VR头戴式显示设备100发送最终的反畸变反色散模型,以使得VR头戴式显示设备100根据该最终的反畸变反色散模型调整显示屏180A的显示。
需要说明的是,可以参照上述流程,测量设备300还可以得到显示屏180B对应的反畸变反色散模型。测量设备300向VR头戴式显示设备100发送显示屏180B对应的反畸变反色散模型,以使得VR头戴式显示设备100根据该显示屏180B对应的反畸变反色散模型调整显示屏180B的显示。
在一些实施例中,VR头戴式显示设备100中显示屏的数量为一个,显示屏被分为两个显示区域,一个显示区域对应一个透镜。示例性的,透镜182A与第一显示区域对应,透镜182B与第二显示区域对应。则在步骤S103中,VR头戴式显示设备100根据基准反畸变反色散模型对原始图像数据进行处理,并根据处理后的图像数据在显示屏的第一显示区域显示图像。后续的调整过程中,VR头戴式显示设备100均在显示屏的第一显示区域显示图像。后续流程可以参照上述内容中的步骤S104-步骤S106,调整设备300可以确定第一显示区域的对应的反畸变反色散模型。同样的,按照相似的流程,调整设备300可以确定第二显示区域的对应的反畸变反色散模型。
测量设备300向VR头戴式显示设备100发送第一显示区域的对应的反畸变反色散模型和第二显示区域的对应的反畸变反色散模型,以使得VR头戴式显示设备100根据第一显示区域的对应的反畸变反色散模型调整第一显示区域的显示,根据第二显示区域的对应的反畸变反色散模型调整第二显示区域的显示。
在一种可能的应用场景中,VR头戴式显示设备100的调试人员可以通过上述介绍的方式,利用调整设备300对VR头戴式显示设备100的反畸变反色散模型进行调整,使得调整后的反畸变反色散模型更加贴合VR头戴式显示设备100的透镜中各个区域的光学特性。在调整反畸变反色散模型的过程中,对一个区域对应的反畸变反色散模型进行调整不会影响其他区域的显示效果。最终,可以确定出VR头戴式显示设备100处理图像数据所使用的最终的反畸变反色散模型。VR头戴式显示设备100存储所述最终的反畸变反色散模型。在后续所述VR头戴式显示设备100的使用过程中,VR头戴式显示设备100可以根据所述最终的反畸变反色散模型对图像数据进行处理,并根据处理后的所述图像数据在显示屏上显示图像。
以上实施例介绍了确定显示屏180A对应的反畸变反色散模型的方法。在VR头戴式显示设备100从调整设备300接收到所述反畸变反色散模型之后,VR头戴式显示设备100根据所述反畸变反色散模型调整显示屏180A的显示。以下对VR头戴式显示设备100显示图像的方式作出具体的介绍。需要说明的是,在确定反畸变反色散模型的过程中,VR头戴式显示设备100根据基准反畸变反色散模型对原始图像数据进行处理,并根据处理后的图像数据在显示屏180A显示图像的过程;以及,VR头戴式显示设备100根据调整过程中的反畸变反色散模型对原始图像数据进行处理,并根据处理后的图像数据在显示屏180A显示图像的过程也可以参照如下内容中的介绍。
参见图17,是一种VR设备显示图像的方法的流程图。
S201、VR头戴式显示设备100接收调整设备300发送的显示屏180A对应的反畸变反色散模型。
在VR头戴式显示设备100接收到所述显示屏180A对应的反畸变反色散模型之后,VR头戴式显示设备100存储所述显示屏180A对应的反畸变反色散模型。
S202、VR头戴式显示设备100接收其他设备发送的显示屏180A所要显示的图像的图像数据。
具体的,图像的图像数据中包括图像上每个像素点的坐标和色值。
在一些实施例中,其他设备可以是智能手机、计算机或者是服务器等设备。其他设备和该VR头戴式显示设备可以有线连接,也可以无线连接。需要说明的是,在确定反畸变反色散模型的过程中,VR头戴式显示设备100接受的图像数据可以是调整设备300发送的。
在一些实施例中,所述显示屏180A所要显示图像的图像数据与显示屏180B所要显示的图像的图像数据相同。
在一些实施例中,显示屏180A所要显示图像的图像数据与显示屏180B所要显示的图像的图像数据不相同。示例性的,所述显示屏180A所要显示的为第一图像,所述显示屏180B所要显示的为第二图像。所述VR头戴式显示设备100根据显示屏180A对应的反畸变反色散模型以及所述第一图像的图像数据处理显示屏180A的显示图像。所述VR头戴式显示设备100根据显示屏180B对应的反畸变反色散模型以及所述第二图像的图像数据处理显示屏180B的显示图像。
需要说明的是,VR头戴式显示设备100的显示屏像素一般大于图像数据所表示的原始图像的像素。举例而言,原始图像的像素可以为:1600×1200,显示屏的像素可以为1700×1300,显示屏在自身的1600×1200的像素范围内显示该图像,剩余区域可以用显示为黑色(色值为(0,0,0))的像素点填满。
S203、VR头戴式显示设备100根据调整前的图像中的各个像素点的坐标、色值和反畸变反色散模型确定调整后的各个像素点在显示屏180A中的坐标和色值。
示例性性的,以图像数据所表示的原始图像中的左上角的像素点为例进行介绍。VR头戴式显示设备100根据调整前的左上角的像素点的坐标、色值和反畸变反色散模型确定调整后所述左上角的像素点在显示屏180A中的坐标和色值。
VR头戴式显示设备100可以采用在显示屏上建立坐标系的方式确定一个像素点的位置。需要说明的是,显示屏上建立的直角坐标系的x轴的正方向与调整设备300中原始图像的x轴的正方向相同,显示屏上建立的直角坐标系的y轴的正方向与调整设备300中原始图像的y轴的正方向相同。在一些实施例中,显示屏上建立直角坐标系的方式与调整设备300中原始图像上建立直角坐标系的方式相同。
参见图18,是本申请实施例提供的一种原始图像的示意图。在图18中,以显示屏的中心为坐标原点O(0,0)建立直角坐标系,一个像素点的长度为单位长度,以该显示屏的水平方向为x轴,垂直方向为y轴。其中,原始图像的右上角的一个像素点的坐标为(a,b),该像素点的色值为(R,G,B)。
以下对VR头戴式显示设备100根据调整前的图像中的右上角的像素点的坐标、色值和反畸变反色散模型,确定调整后所述左上角的像素点在显示屏180A中的坐标和色值的实施过程进行介绍。
S21、VR头戴式显示设备100计算所述一个像素点与坐标原点的距离l。
具体的,该距离的计算方式可以参见公式1-9所示。
Figure BDA0002754537830000211
S22、VR头戴式显示设备100将距离l代入反畸变反色散模型进行计算尺度因子scaleg、scaler和scaleb
所述距离l代入被折射光线距离透镜中心距离r。
示例性的,所述距离l位于1.6<r≤2这个范围,则scaleg=m5r+n5。确定scaleg之后,再根据公式1-3以及公式1-4确定scaler和scaleb的值。
S23、VR头戴式显示设备100根据原坐标(a,b)和尺度因子scaleg、scaler和scaleb确定调整后的坐标。
具体的,根据公式1-5计算调整后的坐标。经过计算,可以得到(rx0,ry0)、(gx0,gy0)、(bx0,by0)三个颜色分量的坐标。
S24、VR头戴式显示设备100根据原坐标的色值,确定三个颜色分量的坐标对应的色值。
其中,(rx0,ry0),即红色分量的坐标,显示红色的色值,(rx0,ry0)对应的色值为(R,0,0);(gx0,gy0)即绿色分量的坐标,显示绿色的色值,(gx0,gy0)对应的色值为(0,G,0);(bx0,by0)即蓝色分量的坐标,显示蓝色的色值,(bx0,by0)对应的色值为(0,0,B)。
参见图19,是本申请实施例提供的一种显示屏180A上的显示图像的示意图。原始图像中右上角像素点的(a,b)坐标与图19中的(rx0,ry0)、(gx0,gy0)、(bx0,by0)三个颜色分量的坐标相对应。另外,显示屏中未对应有图像数据的像素点显示为黑色。
参照上述内容中的介绍,VR头戴式显示设备100还可以确定图像中其他像素点对应的处理后的坐标和色值,此处不再赘述。
S204、VR头戴式显示设备100根据调整后的各个像素点在显示屏180A中的坐标和色值在显示屏180A上显示图像。
在一些实施例中,VR头戴式显示设备100可以按照确定调整后的图像左上角的像素点的坐标和色值的方式,确定图像中其他像素点的坐标和色值。之后,根据图像中各个像素点的坐标和色值显示图像。
需要说明的是,VR头戴式显示设备100可以按照相似的方式,根据调整设备300发送的显示屏180B的反畸变反色散模型,处理显示屏180B的图像数据。之后,再根据处理后的图像数据在显示屏180B上显示图像。VR头戴式显示设备100处理显示屏180A的图像数据和处理显示屏180B的图像数据的过程可以同时进行。
在另一些实施例中,VR头戴式显示设备100中的显示屏为一个,显示屏被分为两个显示区域,一个显示区域对应一个透镜,示例性的,第一显示区域对应透镜182A,第二显示区域对应透镜182B。则VR头戴式显示设备100可以在显示屏的两个显示区域中分别建立直角坐标系。参见图20,是本申请实施例提供的一种显示屏上的直角坐标系的示意图。示例性的,以第一显示区域的中心为坐标原点O1(0,0)建立直角坐标系,一个像素点的长度为单位长度,以该显示屏的水平方向为x轴,垂直方向为y轴。以第二显示区域的中心为坐标原点O2(0,0)建立直角坐标系,一个像素点的长度为单位长度,以该显示屏的水平方向为x轴,垂直方向为y轴。按照上述介绍的相似的方式,VR头戴式显示设备100可以根据第一显示区域的反畸变反色散模型,处理第一显示区域的图像数据。之后,再根据处理后的图像数据在第一显示区域上显示图像。另外,VR头戴式显示设备100可以根据第二显示区域的反畸变反色散模型,处理第二显示区域的图像数据。之后,再根据处理后的图像数据在第二显示区域上显示图像。
通过这种方式,VR头戴式显示设备100可以根据调整设备300确定出的显示屏的反畸变反色散模型,处理需要显示的图像数据,可以提升显示图像的视觉效果。
基于上述内容中介绍的实施例,本申请提供了一种反畸变反色散的方法。参见图21,是本申请实施例提供的一种反畸变反色散的方法的流程示意图。如图21所示,该方法包括:
S301、调整设备向虚拟现实VR设备发送第一图像对应的图像数据以及第一反畸变反色散模型,所述第一图像包括多个显示区域。
在一些实施例中,所述第一图像中包含多个圆形,所述圆形的半径为分段距离的倍数,所述多个圆形用于指示所述多个显示区域在所述第一图像中的位置。其中,所述分段距离是所述调整设备根据预设段数和第一距离的最大值确定的,所述第一距离为被所述VR设备的透镜折射的光线与所述透镜中心之间的距离。
在一些实施例中,所述第一图像中还包括面积相同的多个正方形。这样便于用户观测图像的显示效果。
示例性的,第一图像可以参照图13所示的原始图像。示例性的,第一反畸变反色散模型可以参照图8对应的实施例中的基准反畸变反色散模型,所述基准反畸变反色散模型可以参照公式1-2、公式1-3、公式1-4以及公式1-5。
S302、在所述VR设备接收调整设备发送的第一图像对应的图像数据以及第一反畸变反色散模型之后,所述VR设备根据所述第一反畸变反色散模型处理所述图像数据,并根据处理后的所述图像数据显示第二图像。
示例性的,步骤S402的实施方式可以参照图17所对应的实施例中步骤S203-步骤S204中的介绍。
S303、所述调整设备根据所述第一反畸变反色散模型,得到所述多个显示区域中每个显示区域对应的处理函数。
步骤S303的实施方式可以参照图8中步骤S104中的介绍。
在一些实施例中,所述调整设备根据所述第一反畸变反色散模型,得到所述多个显示区域中每个显示区域对应的处理函数包括:所述调整设备根据预设段数和第一距离的最大值确定分段距离,所述第一距离为被所述VR设备的透镜折射的光线与所述透镜中心之间的距离;所述调整设备基于所述分段距离将所述第一反畸变反色散模型中的尺度因子曲线均匀分为所述预设段数的曲线,所述尺度因子曲线用于表示所述第一距离与尺度因子的对应关系,所述尺度因子用于所述VR设备处理所述图像数据;所述调整设备对所述预设段数的曲线中的每条曲线进行线性拟合,得到所述第一图像中多个显示区域对应的处理函数。其中,所述第一反畸变反色散模型可以参照图8对应的实施例中的基准反畸变反色散模型,所述预设段数可以参照图8中介绍的预设段数。所述处理函数的示意图可以参照图14以及图15所对应的拟合结果的示意图。
S304、所述调整设备对第一显示区域对应的处理函数的系数进行调整,所述第一显示区域为所述多个显示区域中的显示区域。
步骤S304的实施方式可以参照图8中步骤S105中的介绍。其中,所述第一显示区域可以参照步骤S105中的介绍的显示效果较差的显示区域。通过这种方式,调整设备300可以对这些显示效果较差的显示区域对应的处理函数进行调整,进而提升VR设备的显示效果。
在一些实施例中,所述第一显示区域与第二显示区域的相似度低于预设值,所述第二显示区域为所述第三图像中的显示区域,所述第二显示区域在所述第三图像中的位置与所述第一显示区域在所述第一图像中的位置相同。其中,所述第三图像为通过所述VR设备的透镜观测到的VR设备显示的第二图像所形成的图像,所述第二图像为所述VR设备基于所述图像数据以及所述第一反畸变反色散模型显示的图像。示例性的,所述第二显示区域可以为半径为1.2厘米的圆和半径为1.6厘米的圆所形成的圆环区域(上述图12的区域4对应的显示图像),以及半径为1.6厘米的圆和半径为2.0厘米的圆所形成的圆环区域。
在一些实施例中,所述第三图像为用户穿戴VR设备,并通过所述VR设备的透镜观测到的VR设备显示的第二图像所形成的图像。在另一些实施例中,所述第三图像为所述调整设备获取的拍摄装置拍摄所述第二图像得到的图像。
在一些实施例中,所述第一显示区域对应的处理函数的系数是通过预设调整参数集合中的调整参数进行调整的。示例性的,所述预设调整参数集合可以参照表1所示的预设调整参数集合。
在一些实施例中,所述第一显示区域对应的处理函数为一次函数,所述第一显示区域对应的处理函数的系数包括第一参数和第二参数。示例性的,所述第一显示区域对应的处理函数可以为:scaleg=m4r+n4,1.2<r≤1.6,其中,第一参数为m4,第二参数为n4
S305、所述调整设备向所述VR设备发送第二反畸变反色散模型,所述第二反畸变反色散模型包括调整后的所述第一显示区域对应的处理函数。
示例性的,调整后的所述第一显示区域对应的处理函数可以为:scaleg=m4r+(n4-0.01),1.2<r≤1.6。所述第二反畸变反色散模型可以参照公式1-7、公式1-3、公式1-4以及公式1-5。
在一些实施例中,所述方法还包括:当所述调整参数集合中的调整参数遍历完成时,停止对所述第一显示区域对应的处理函数的系数进行调整。
在一些实施例中,所述方法还包括:所述调整设备生成多个所述第二反畸变反色散模型,所述第二反畸变反色散模型包括一次调整后的所述第一显示区域对应的处理函数;所述调整设备从所述多个第二反畸变反色散模型中确定第三反畸变反色散模型,所述第三反畸变反色散模型中包含所述第一显示区域对应的处理函数,所述处理函数对应的第三显示区域与所述第一显示区域的相似度高于,其他第二反畸变反色散模型包含的所述第一显示区域对应的处理函数所对应的第三显示区域与所述第一显示区域的相似度;其中,所述第三显示区域为第五图像中的显示区域,所述第三显示区域在所述第五图像中的位置与所述第一显示区域在所述第一图像中的位置相同,所述第五图像为通过所述VR设备的透镜观测到的VR设备显示的第四图像所形成的图像,所述第四图像为所述VR设备基于所述图像数据以及一个所述第二反畸变反色散模型显示的图像;所述调整设备向所述VR设备发送所述第三反畸变反色散模型,以使所述VR设备根据所述第三反畸变反色散模型处理图像数据。示例性的,所述第三反畸变反色散模型可以参照图8对应的实施例中的最终的反畸变反色散模型。具体的,该第三反畸变反色散模型可以参照公式1-8、公式1-3、公式1-4以及公式1-5。
在一些实施例中,所述方法还包括:当第三显示区域与所述第一显示区域的相似度高于或等于所述预设值时,停止对所述第一显示区域对应的处理函数的系数进行调整,所述第三显示区域为第五图像中的显示区域,所述第三显示区域在所述第五图像中的位置与所述第一显示区域在所述第一图像中的位置相同;其中,所述第五图像为通过所述VR设备的透镜观测到的VR设备显示的第四图像所形成的图像,所述第四图像为所述VR设备基于所述图像数据以及一个所述第二反畸变反色散模型显示的图像。
在一些实施例中,所述第五图像为所述调整设备获取的拍摄装置拍摄所述第四图像得到的图像。
在一些实施例中,所述方法还包括:所述调整设备确定第四反畸变反色散模型,所述第四反畸变反色散模型包括停止调整时所述第一显示区域对应的处理函数;所述调整设备向所述VR设备发送所述第四反畸变反色散模型,以使所述VR设备根据所述第四反畸变反色散模型处理图像数据。示例性的,所述第四反畸变反色散模型可以参照图8对应的实施例中的最终的反畸变反色散模型。具体的,该第三反畸变反色散模型可以参照公式1-8、公式1-3、公式1-4以及公式1-5。S306、在所述VR设备接收所述调整设备发送的第二反畸变反色散模型之后,所述VR设备根据所述第二反畸变反色散模型对所述图像数据进行处理,并根据处理后的所述图像数据显示第四图像。
示例性的,步骤S306的实施方式可以参照图17所对应的实施例中步骤S203-步骤S204中的介绍。
在一些实施例中,所述VR设备的透镜包括第一透镜和第二透镜,所述VR设备的显示屏包括第一显示屏和第二显示屏,所述第一透镜与所述第一显示屏对应,所述第二透镜与所述第二显示屏对应;所述第一反畸变反色散模型包括第一子模型和第二子模型,所述第一子模型用于校正所述第一显示屏的显示,所述第二子模型用于校正所述第二显示屏的显示;所述第二反畸变反色散模型包括第三模型和第四模型,所述第三模型用于校正所述第一显示屏的显示,所述第四模型用于校正所述第二显示屏的显示。示例性的,VR设备的显示屏可以参照图5中的显示屏180,第一显示屏可以为显示屏180A,第二显示屏可以为显示屏180B。
在一些实施例中,所述VR设备的透镜包括第一透镜和第二透镜,所述显示屏包括左侧显示区域和右侧显示区域,所述第一透镜与所述显示屏的左侧显示区域对应,所述第二透镜与所述显示屏的右侧显示区域对应;所述第一反畸变反色散模型包括第一子模型和第二子模型,所述第一子模型用于校正所述左侧显示区域的显示,所述第二子模型用于校正所述右侧显示区域的显示;所述第二反畸变反色散模型包括第三模型和第四模型,所述第三模型用于校正所述左侧显示区域的显示,所述第四模型用于校正所述右侧显示区域的显示。示例性的,VR设备的显示屏可以参照图20中的显示屏,左侧显示区域为图20中所示的第一显示区域,右侧显示区域为图20中所示的第二显示区域。
本申请的各实施方式可以任意进行组合,以实现不同的技术效果。
本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序或指令,当所述计算机程序或指令在电子设备上运行时,使得电子设备执行如上述实施例介绍的反畸变反色散的方法。
本申请还提供了一种计算机程序产品,该计算机程序产品包括计算机程序或指令,当所述计算机程序或指令在电子设备上运行时,使得电子设备执行如上述实施例介绍的反畸变反色散的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid StateDisk)等。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (34)

1.一种反畸变反色散的方法,其特征在于,所述方法包括:
调整设备向虚拟现实VR设备发送第一图像对应的图像数据以及第一反畸变反色散模型,所述第一图像包括多个显示区域;
所述调整设备根据所述第一反畸变反色散模型,得到所述多个显示区域中每个显示区域对应的处理函数;
所述调整设备对第一显示区域对应的处理函数的系数进行调整,所述第一显示区域为所述多个显示区域中的显示区域;
所述调整设备向所述VR设备发送第二反畸变反色散模型,所述第二反畸变反色散模型包括调整后的所述第一显示区域对应的处理函数。
2.根据权利要求1所述的方法,其特征在于,所述调整设备根据所述第一反畸变反色散模型,得到所述多个显示区域中每个显示区域对应的处理函数包括:
所述调整设备根据预设段数和第一距离的最大值确定分段距离,所述第一距离为被所述VR设备的透镜折射的光线与所述透镜中心之间的距离;
所述调整设备基于所述分段距离将所述第一反畸变反色散模型中的尺度因子曲线均匀分为所述预设段数的曲线,所述尺度因子曲线用于表示所述第一距离与尺度因子的对应关系,所述尺度因子用于所述VR设备处理所述图像数据;
所述调整设备对所述预设段数的曲线中的每条曲线进行线性拟合,得到所述第一图像中多个显示区域对应的处理函数。
3.根据权利要求2所述的方法,其特征在于,所述第一图像中包含多个圆形,所述圆形的半径为所述分段距离的倍数,所述多个圆形用于指示所述多个显示区域在所述第一图像中的位置。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述第一显示区域与第二显示区域的相似度低于预设值,所述第二显示区域为第三图像中的显示区域,所述第二显示区域在所述第三图像中的位置与所述第一显示区域在所述第一图像中的位置相同;
其中,所述第三图像为通过所述VR设备的透镜观测到的VR设备显示的第二图像所形成的图像,所述第二图像为所述VR设备基于所述图像数据以及所述第一反畸变反色散模型显示的图像。
5.根据权利要求4所述的方法,其特征在于,所述第三图像为所述调整设备获取的拍摄装置拍摄所述第二图像得到的图像。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述第一显示区域对应的处理函数的系数是通过预设调整参数集合中的调整参数进行调整的。
7.根据权利要求6所述的方法,其特征在于,所述第一显示区域对应的处理函数为一次函数,所述第一显示区域对应的处理函数的系数包括第一参数和第二参数。
8.根据权利要求6或7所述的方法,其特征在于,所述方法还包括:
当所述调整参数集合中的调整参数遍历完成时,停止对所述第一显示区域对应的处理函数的系数进行调整。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
所述调整设备生成多个所述第二反畸变反色散模型,所述第二反畸变反色散模型包括一次调整后的所述第一显示区域对应的处理函数;
所述调整设备从所述多个第二反畸变反色散模型中确定第三反畸变反色散模型,所述第三反畸变反色散模型中包含所述第一显示区域对应的处理函数,所述处理函数对应的第三显示区域与所述第一显示区域的相似度高于,其他第二反畸变反色散模型包含的所述第一显示区域对应的处理函数所对应的第三显示区域与所述第一显示区域的相似度;
其中,所述第三显示区域为第五图像中的显示区域,所述第三显示区域在所述第五图像中的位置与所述第一显示区域在所述第一图像中的位置相同,所述第五图像为通过所述VR设备的透镜观测到的VR设备显示的第四图像所形成的图像,所述第四图像为所述VR设备基于所述图像数据以及一个所述第二反畸变反色散模型显示的图像;
所述调整设备向所述VR设备发送所述第三反畸变反色散模型,以使所述VR设备根据所述第三反畸变反色散模型处理图像数据。
10.根据权利要求6或7所述的方法,其特征在于,所述方法还包括:
当第三显示区域与所述第一显示区域的相似度高于或等于所述预设值时,停止对所述第一显示区域对应的处理函数的系数进行调整,所述第三显示区域为第五图像中的显示区域,所述第三显示区域在所述第五图像中的位置与所述第一显示区域在所述第一图像中的位置相同;
其中,所述第五图像为通过所述VR设备的透镜观测到的VR设备显示的第四图像所形成的图像,所述第四图像为所述VR设备基于所述图像数据以及一个所述第二反畸变反色散模型显示的图像。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
所述调整设备确定第四反畸变反色散模型,所述第四反畸变反色散模型包括停止调整时所述第一显示区域对应的处理函数;
所述调整设备向所述VR设备发送所述第四反畸变反色散模型,以使所述VR设备根据所述第四反畸变反色散模型处理图像数据。
12.根据权利要求9或10所述的方法,其特征在于,所述第五图像为所述调整设备获取的拍摄装置拍摄所述第四图像得到的图像。
13.一种反畸变反色散的方法,其特征在于,包括:
VR设备接收调整设备发送的第一图像对应的图像数据以及第一反畸变反色散模型,所述第一图像包括多个显示区域;
所述VR设备根据所述第一反畸变反色散模型处理所述图像数据,并根据处理后的所述图像数据显示第二图像;
所述VR设备接收所述调整设备发送的第二反畸变反色散模型,所述第二反畸变反色散模型包括所述调整设备调整后的第一显示区域对应的处理函数,所述第一显示区域为所述多个显示区域中的显示区域;
所述VR设备根据所述第二反畸变反色散模型对所述图像数据进行处理,并根据处理后的所述图像数据显示第四图像。
14.根据权利要求13所述的方法,其特征在于,所述第一图像中包含多个圆形,所述圆形的半径为分段距离的倍数,所述分段距离由预设段数和第一距离的最大值确定,所述第一距离为被所述VR设备的透镜折射的光线与所述透镜中心之间的距离,所述多个圆形用于指示所述多个显示区域在所述第一图像中的位置。
15.根据权利要求13或14所述的方法,其特征在于,所述VR设备的透镜包括第一透镜和第二透镜,所述VR设备的显示屏包括第一显示屏和第二显示屏,所述第一透镜与所述第一显示屏对应,所述第二透镜与所述第二显示屏对应;
所述第一反畸变反色散模型包括第一子模型和第二子模型,所述第一子模型用于校正所述第一显示屏的显示,所述第二子模型用于校正所述第二显示屏的显示;
所述第二反畸变反色散模型包括第三模型和第四模型,所述第三模型用于校正所述第一显示屏的显示,所述第四模型用于校正所述第二显示屏的显示。
16.根据权利要求13或14所述的方法,其特征在于,所述VR设备的透镜包括第一透镜和第二透镜,所述显示屏包括左侧显示区域和右侧显示区域,所述第一透镜与所述显示屏的左侧显示区域对应,所述第二透镜与所述显示屏的右侧显示区域对应;
所述第一反畸变反色散模型包括第一子模型和第二子模型,所述第一子模型用于校正所述左侧显示区域的显示,所述第二子模型用于校正所述右侧显示区域的显示;
所述第二反畸变反色散模型包括第三模型和第四模型,所述第三模型用于校正所述左侧显示区域的显示,所述第四模型用于校正所述右侧显示区域的显示。
17.一种调整设备,其特征在于,所述调整设备包括一个或多个处理器和存储器,所述存储器与所述一个或多个处理器耦合,所述存储器用于存储程序代码,所述一个或多个处理器调用所述程序代码以使得所述调整设备执行以下操作:
向VR设备发送第一图像对应的图像数据以及第一反畸变反色散模型,所述第一图像包括多个显示区域;
根据所述第一反畸变反色散模型,得到所述多个显示区域中每个显示区域对应的处理函数;
对第一显示区域对应的处理函数的系数进行调整,所述第一显示区域为所述多个显示区域中的显示区域;
向所述VR设备发送第二反畸变反色散模型,所述第二反畸变反色散模型包括调整后的所述第一显示区域对应的处理函数。
18.根据权利要求17所述的调整设备,其特征在于,所述一个或多个处理器调用所述程序代码以使得所述调整设备具体执行以下操作:
根据预设段数和第一距离的最大值确定分段距离,所述第一距离为被所述VR设备的透镜折射的光线与所述透镜中心之间的距离;
基于所述分段距离将所述第一反畸变反色散模型中的尺度因子曲线均匀分为所述预设段数的曲线,所述尺度因子曲线用于表示所述第一距离与尺度因子的对应关系,所述尺度因子用于所述VR设备处理所述图像数据;
对所述预设段数的曲线中的每条曲线进行线性拟合,得到所述第一图像中多个显示区域对应的处理函数。
19.根据权利要求18所述的调整设备,其特征在于,所述第一图像中包含多个圆形,所述圆形的半径为所述分段距离的倍数,所述多个圆形用于指示所述多个显示区域在所述第一图像中的位置。
20.根据权利要求17-19任一项所述的调整设备,其特征在于,所述第一显示区域与第二显示区域的相似度低于预设值,所述第二显示区域为所述第三图像中的显示区域,所述第二显示区域在所述第三图像中的位置与所述第一显示区域在所述第一图像中的位置相同;
其中,所述第三图像为通过所述VR设备的透镜观测到的VR设备显示的第二图像所形成的图像,所述第二图像为所述VR设备基于所述图像数据以及所述第一反畸变反色散模型显示的图像。
21.根据权利要求20所述的调整设备,其特征在于,所述第三图像为所述调整设备获取的拍摄装置拍摄所述第二图像得到的图像。
22.根据权利要求17-21任一项所述的调整设备,其特征在于,所述第一显示区域对应的处理函数的系数是通过预设调整参数集合中的调整参数进行调整的。
23.根据权利要求22所述的调整设备,其特征在于,所述第一显示区域对应的处理函数为一次函数,所述第一显示区域对应的处理函数的系数包括第一参数和第二参数。
24.根据权利要求22或23所述的调整设备,其特征在于,所述一个或多个处理器调用所述程序代码以使得所述调整设备还执行以下操作:
当所述调整参数集合中的调整参数遍历完成时,停止对所述第一显示区域对应的处理函数的系数进行调整。
25.根据权利要求24所述的调整设备,其特征在于,所述一个或多个处理器调用所述程序代码以使得所述调整设备还执行以下操作:
生成多个所述第二反畸变反色散模型,所述第二反畸变反色散模型包括一次调整后的所述第一显示区域对应的处理函数;
从所述多个第二反畸变反色散模型中确定第三反畸变反色散模型,所述第三反畸变反色散模型中包含所述第一显示区域对应的处理函数,所述处理函数对应的第三显示区域与所述第一显示区域的相似度高于,其他第二反畸变反色散模型包含的所述第一显示区域对应的处理函数所对应的第三显示区域与所述第一显示区域的相似度;
其中,所述第三显示区域为第五图像中的显示区域,所述第三显示区域在所述第五图像中的位置与所述第一显示区域在所述第一图像中的位置相同,所述第五图像为通过所述VR设备的透镜观测到的VR设备显示的第四图像所形成的图像,所述第四图像为所述VR设备基于所述图像数据以及一个所述第二反畸变反色散模型显示的图像;
向所述VR设备发送所述第三反畸变反色散模型,以使所述VR设备根据所述第三反畸变反色散模型处理图像数据。
26.根据权利要求22或23所述的调整设备,其特征在于,所述一个或多个处理器调用所述程序代码以使得所述调整设备还执行以下操作:
当第三显示区域与所述第一显示区域的相似度高于或等于所述预设值时,停止对所述第一显示区域对应的处理函数的系数进行调整,所述第三显示区域为第五图像中的显示区域,所述第三显示区域在所述第五图像中的位置与所述第一显示区域在所述第一图像中的位置相同;
其中,所述第五图像为通过所述VR设备的透镜观测到的VR设备显示的第四图像所形成的图像,所述第四图像为所述VR设备基于所述图像数据以及一个所述第二反畸变反色散模型显示的图像。
27.根据权利要求26所述的调整设备,其特征在于,所述一个或多个处理器调用所述程序代码以使得所述调整设备还执行以下操作:
确定第四反畸变反色散模型,所述第四反畸变反色散模型包括停止调整时所述第一显示区域对应的处理函数;
向所述VR设备发送所述第四反畸变反色散模型,以使所述VR设备根据所述第四反畸变反色散模型处理图像数据。
28.根据权利要求25或26所述的调整设备,其特征在于,所述第五图像为所述调整设备获取的拍摄装置拍摄所述第四图像得到的图像。
29.一种VR设备,其特征在于,所述VR设备包括:一个或多个处理器、存储器、透镜和显示屏;
所述存储器与所述一个或多个处理器耦合,所述存储器用于存储程序代码,所述一个或多个处理器调用所述程序代码以使得所述VR设备执行以下操作:
接收调整设备发送的第一图像对应的图像数据以及第一反畸变反色散模型,所述第一图像包括多个显示区域;
根据所述第一反畸变反色散模型处理所述图像数据,并根据处理后的所述图像数据在所述显示屏上显示第二图像;
接收所述调整设备发送的第二反畸变反色散模型,所述第二反畸变反色散模型包括所述调整设备调整后的第一显示区域对应的处理函数,所述第一显示区域为所述多个显示区域中的显示区域;
根据所述第二反畸变反色散模型对所述图像数据进行处理,并根据处理后的所述图像数据在所述显示屏上显示第四图像。
30.根据权利要求29所述的VR设备,其特征在于,所述第一图像中包含多个圆形,所述圆形的半径为分段距离的倍数,所述分段距离由预设段数和第一距离的最大值确定,所述第一距离为被所述VR设备的透镜折射的光线与所述透镜中心之间的距离,所述多个圆形用于指示所述多个显示区域在所述第一图像中的位置。
31.根据权利要求29或30所述的VR设备,其特征在于,所述VR设备的透镜包括第一透镜和第二透镜,所述VR设备的显示屏包括第一显示屏和第二显示屏,所述第一透镜与所述第一显示屏对应,所述第二透镜与所述第二显示屏对应;
所述第一反畸变反色散模型包括第一子模型和第二子模型,所述第一子模型用于校正所述第一显示屏的显示,所述第二子模型用于校正所述第二显示屏的显示;
所述第二反畸变反色散模型包括第三模型和第四模型,所述第三模型用于校正所述第一显示屏的显示,所述第四模型用于校正所述第二显示屏的显示。
32.根据权利要求29或30所述的VR设备,其特征在于,所述VR设备的透镜包括第一透镜和第二透镜,所述显示屏包括左侧显示区域和右侧显示区域,所述第一透镜与所述显示屏的左侧显示区域对应,所述第二透镜与所述显示屏的右侧显示区域对应;
所述第一反畸变反色散模型包括第一子模型和第二子模型,所述第一子模型用于校正所述左侧显示区域的显示,所述第二子模型用于校正所述右侧显示区域的显示;
所述第二反畸变反色散模型包括第三模型和第四模型,所述第三模型用于校正所述左侧显示区域的显示,所述第四模型用于校正所述右侧显示区域的显示。
33.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-12中任一项所述的方法。
34.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求13-16中任一项所述的方法。
CN202011197969.4A 2020-10-31 2020-10-31 一种反畸变反色散的方法以及相关设备 Active CN114449237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011197969.4A CN114449237B (zh) 2020-10-31 2020-10-31 一种反畸变反色散的方法以及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011197969.4A CN114449237B (zh) 2020-10-31 2020-10-31 一种反畸变反色散的方法以及相关设备

Publications (2)

Publication Number Publication Date
CN114449237A true CN114449237A (zh) 2022-05-06
CN114449237B CN114449237B (zh) 2023-09-29

Family

ID=81357021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011197969.4A Active CN114449237B (zh) 2020-10-31 2020-10-31 一种反畸变反色散的方法以及相关设备

Country Status (1)

Country Link
CN (1) CN114449237B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7652187A (en) * 1986-08-08 1988-02-11 Corning Glass Works Optical fiber dispersion transformer
CA2146384A1 (en) * 1995-04-05 1996-10-06 Joseph Ip Chromatic Dispersion Compensation Device
US20090002574A1 (en) * 2007-06-29 2009-01-01 Samsung Electronics Co., Ltd. Method and a system for optical design and an imaging device using an optical element with optical aberrations
CN101408616A (zh) * 2008-11-24 2009-04-15 江南大学 适用于低信噪比数据的逆合成孔径雷达成像距离对齐方法
CN101895771A (zh) * 2010-07-09 2010-11-24 中国科学院长春光学精密机械与物理研究所 Led显示屏亮色度分离采集混合校正方法
US8917329B1 (en) * 2013-08-22 2014-12-23 Gopro, Inc. Conversion between aspect ratios in camera
US20160180501A1 (en) * 2014-12-22 2016-06-23 Lucasfilm Entertainment Company, Ltd. Efficient lens re-distortion
CN105791789A (zh) * 2016-04-28 2016-07-20 努比亚技术有限公司 头戴设备、显示设备及自动调整显示输出的方法
KR20160097640A (ko) * 2015-02-09 2016-08-18 하이네트(주) 광각 렌즈를 이용한 보안 관제 장치
CN106572342A (zh) * 2016-11-10 2017-04-19 北京奇艺世纪科技有限公司 一种影像的反畸变反色散处理方法、装置和虚拟现实设备
WO2017167107A1 (zh) * 2016-03-28 2017-10-05 腾讯科技(深圳)有限公司 图像显示方法、异形曲面幕布的定制方法和头戴式显示设备
US20180114298A1 (en) * 2016-10-26 2018-04-26 Valve Corporation Using pupil location to correct optical lens distortion
US20190110028A1 (en) * 2016-03-21 2019-04-11 Thomson Licensing Method for correcting aberration affecting light-field data
CN110557626A (zh) * 2019-07-31 2019-12-10 华为技术有限公司 一种图像显示的方法及电子设备
US20200105221A1 (en) * 2018-09-28 2020-04-02 Apple Inc. Color Rendering for Images in Extended Dynamic Range Mode
CN111784615A (zh) * 2016-03-25 2020-10-16 北京三星通信技术研究有限公司 多媒体信息处理的方法和装置
WO2020215214A1 (zh) * 2019-04-23 2020-10-29 深圳市大疆创新科技有限公司 图像处理方法和装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7652187A (en) * 1986-08-08 1988-02-11 Corning Glass Works Optical fiber dispersion transformer
CA2146384A1 (en) * 1995-04-05 1996-10-06 Joseph Ip Chromatic Dispersion Compensation Device
US20090002574A1 (en) * 2007-06-29 2009-01-01 Samsung Electronics Co., Ltd. Method and a system for optical design and an imaging device using an optical element with optical aberrations
CN101408616A (zh) * 2008-11-24 2009-04-15 江南大学 适用于低信噪比数据的逆合成孔径雷达成像距离对齐方法
CN101895771A (zh) * 2010-07-09 2010-11-24 中国科学院长春光学精密机械与物理研究所 Led显示屏亮色度分离采集混合校正方法
US8917329B1 (en) * 2013-08-22 2014-12-23 Gopro, Inc. Conversion between aspect ratios in camera
US20160180501A1 (en) * 2014-12-22 2016-06-23 Lucasfilm Entertainment Company, Ltd. Efficient lens re-distortion
KR20160097640A (ko) * 2015-02-09 2016-08-18 하이네트(주) 광각 렌즈를 이용한 보안 관제 장치
US20190110028A1 (en) * 2016-03-21 2019-04-11 Thomson Licensing Method for correcting aberration affecting light-field data
CN111784615A (zh) * 2016-03-25 2020-10-16 北京三星通信技术研究有限公司 多媒体信息处理的方法和装置
WO2017167107A1 (zh) * 2016-03-28 2017-10-05 腾讯科技(深圳)有限公司 图像显示方法、异形曲面幕布的定制方法和头戴式显示设备
CN105791789A (zh) * 2016-04-28 2016-07-20 努比亚技术有限公司 头戴设备、显示设备及自动调整显示输出的方法
US20180114298A1 (en) * 2016-10-26 2018-04-26 Valve Corporation Using pupil location to correct optical lens distortion
CN106572342A (zh) * 2016-11-10 2017-04-19 北京奇艺世纪科技有限公司 一种影像的反畸变反色散处理方法、装置和虚拟现实设备
US20200105221A1 (en) * 2018-09-28 2020-04-02 Apple Inc. Color Rendering for Images in Extended Dynamic Range Mode
WO2020215214A1 (zh) * 2019-04-23 2020-10-29 深圳市大疆创新科技有限公司 图像处理方法和装置
CN110557626A (zh) * 2019-07-31 2019-12-10 华为技术有限公司 一种图像显示的方法及电子设备

Also Published As

Publication number Publication date
CN114449237B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
WO2020192458A1 (zh) 一种图像处理的方法及头戴式显示设备
CN107580209B (zh) 一种移动终端的拍照成像方法及装置
CN111028144B (zh) 视频换脸方法及装置、存储介质
CN111179282A (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN107248137B (zh) 一种实现图像处理的方法及移动终端
CN111510630A (zh) 图像处理方法、装置及存储介质
CN113038165B (zh) 确定编码参数组的方法、设备及存储介质
WO2021103990A1 (zh) 显示方法、电子设备及***
CN111586413B (zh) 视频调整方法、装置、计算机设备及存储介质
US11798234B2 (en) Interaction method in virtual reality scenario and apparatus
CN113741681A (zh) 一种图像校正方法与电子设备
CN112565735B (zh) 一种虚拟现实的测量和显示方法、装置、以及***
CN114449237B (zh) 一种反畸变反色散的方法以及相关设备
CN112383719A (zh) 图像亮度的调整方法、装置、设备及可读存储介质
CN110889391A (zh) 人脸图像处理的方法、装置、计算设备和存储介质
CN112558847B (zh) 控制界面显示的方法及头戴式显示器
WO2022127612A1 (zh) 图像校准方法和设备
US11789526B2 (en) Method and electronic system for outputting video data and audio data
RU2782312C1 (ru) Способ обработки изображения и устройство отображения, устанавливаемое на голове
WO2022179412A1 (zh) 识别方法及电子设备
US20230169723A1 (en) Electronic device for providing contents in connection with external electronic device and method of the same
CN111353934B (zh) 一种视频合成的方法及装置
CN116774836A (zh) 一种气流产生方法、装置及电子设备
KR20240080050A (ko) 시나리오 컨텍스트에 따른 렌더링 이미지를 생성하기 위한 전자 장치 및 방법
KR20220032452A (ko) 카메라의 신호 라인을 감소시킨 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant