CN112863453B - 全息显示方法及全息显示*** - Google Patents

全息显示方法及全息显示*** Download PDF

Info

Publication number
CN112863453B
CN112863453B CN202110018233.4A CN202110018233A CN112863453B CN 112863453 B CN112863453 B CN 112863453B CN 202110018233 A CN202110018233 A CN 202110018233A CN 112863453 B CN112863453 B CN 112863453B
Authority
CN
China
Prior art keywords
information
face region
region information
face
holographic display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110018233.4A
Other languages
English (en)
Other versions
CN112863453A (zh
Inventor
刘金风
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL China Star Optoelectronics Technology Co Ltd
Original Assignee
TCL China Star Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL China Star Optoelectronics Technology Co Ltd filed Critical TCL China Star Optoelectronics Technology Co Ltd
Priority to CN202110018233.4A priority Critical patent/CN112863453B/zh
Publication of CN112863453A publication Critical patent/CN112863453A/zh
Priority to PCT/CN2021/097499 priority patent/WO2022147956A1/zh
Priority to US17/430,404 priority patent/US20230134309A1/en
Application granted granted Critical
Publication of CN112863453B publication Critical patent/CN112863453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133524—Light-guides, e.g. fibre-optic bundles, louvered or jalousie light-guides
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/1336—Illuminating devices
    • G02F1/133621—Illuminating devices providing coloured light
    • G02F1/133623—Inclined coloured light beams
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/05—Means for tracking the observer

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Nonlinear Science (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

本申请实施例公开了一种全息显示方法及全息显示***，所述全息显示方法包括：获取目标场景信息；识别出所述目标场景信息中的人脸区域信息；确定所述人脸区域信息中的瞳孔位置；计算显示面板内部每一像素区域与所述瞳孔位置之间的侧视角，及每一所述像素区域在对应所述侧视角下的驱动电压值；将所述驱动电压值施加到对应的所述像素区域；所述全息显示***还包括光束控制***、光导***、显示器以及目标场景获取***；本申请实施例能够在提升了液晶显示面板视角的同时，保证液晶显示面板的穿透率不受影响。

Description

全息显示方法及全息显示***
技术领域
本申请涉及显示技术领域，具体涉及一种全息显示方法及全息显示***。
背景技术
液晶显示器(Liquid Crystal Display，LCD)是一种常用的电子设备，由于其具有功耗低、体积小、重量轻等特点，因此备受用户的青睐。目前的液晶显示器主要是以薄膜晶体管(Thin Film Transistor，TFT)液晶显示器为主。液晶显示器主要是在两块透明电极基板间灌注液晶，然后通过对电极基板施加电压或不施加电压以控制液晶分子的排列，进而阻隔光线通过液晶层或使光线顺利通过液晶层，以实现灰阶显示。然而，液晶显示器在应用于全息显示技术的过程中，由于液晶分子具有光学的各向异性特性，且同时随视角和电压所影响。因此液晶显示器通常存在有在不同视角下的色偏问题，即在不同视角下容易观看到颜色失真的画面，降低了液晶显示器在大视角下的观看效果。
目前，现有技术通常采用硬件的调整(例如将4畴像素结构调整为8畴像素结构)来降低液晶显示器在不同视角下的色偏问题。然而，这种硬件调整方法会使得液晶显示面板的穿透率降低，进而导致液晶显示面板的利用率下降。
因此，如何在不影响现有技术中液晶显示器穿透率的情况下降低液晶显示器在不同视角下存在的色偏问题，是本领域技术人员需要解决的技术问题。
发明内容
本申请实施例提供一种全息显示方法及全息显示***，可以在保证液晶显示器的穿透率不受影响的同时，能够改善液晶显示器在不同视角下的色偏问题。
本申请实施例提供一种全息显示方法，包括：
S10，获取目标场景信息；
S20，识别出所述目标场景信息中的人脸区域信息；
S30，确定所述人脸区域信息中的瞳孔位置；
S40，计算显示面板内部每一像素区域与所述瞳孔位置之间的侧视角，及每一所述像素区域在对应所述侧视角下的驱动电压值；
S50，将所述驱动电压值施加到对应的所述像素区域。
可选的，在本申请的一些实施例中，所述S10中，所述目标场景信息由瞳孔***获取，所述瞳孔***为彩色摄像机。
可选的，在本申请的一些实施例中，所述S20还包括：
S201，训练人脸区域定位检测模型；
S202，所述人脸区域定位检测模型识别出所述目标场景信息中的人脸区域信息。
可选的，在本申请的一些实施例中，所述S201还包括：
S2011，提供包含人脸图像的原始图像数据集给到特征提取网络，所述特征提取网络输出原始图像特征信息；
S2022，将所述原始图像特征信息分别输入至区域提取网络和分类与位置反馈网络中，所述区域提取网络用于提取选定区域的HOG特征，所述分类与位置反馈网络对所述HOG特征进行分类，输出人脸区域信息。
可选的，在本申请的一些实施例中，所述S30还包括以下步骤：
S301，判断所述人脸区域信息中的人物是否戴眼镜；若所述人脸区域信息中的人物戴眼镜，则对包含于所述人脸区域信息中的眼镜信息进行移除，并对剩余的所述人脸区域信息进行面部重要特征提取；若所述人脸区域信息中的人物没有戴眼镜，则直接对所述人脸区域信息进行面部重要特征提取；
S302，通过所述人脸区域信息的面部重要特征确认所述人脸区域信息中的瞳孔位置。
可选的，在本申请的一些实施例中，所述S302还包括：
S3021，对所述人脸区域信息进行图像分割提取，得到所述人脸区域信息的面部重要特征；
S3022，所述面部重要特征包括所述人脸区域信息的眼部区域信息，根据所述眼部区域信息中计算瞳孔位置，所述瞳孔位置是所述眼部区域信息中的瞳孔与所述显示面板之间的相对位置。
可选的，在本申请的一些实施例中，所述S40还包括：
S401，根据所述瞳孔位置计算显示面板内部每一像素区域与所述瞳孔位置之间的侧视角；
S402，依据存储在所述显示面板内部寄存器的侧视角与驱动电压信息，计算在所述侧视角下所述显示面板内部每一所述像素区域对应的驱动电压值。
相应的，本申请实施例还提供一种全息显示***，所述全息显示***还包括光束控制***、光导***、显示器以及目标场景获取***；
其中，所述目标场景获取***用于获取目标场景信息，所述全息显示***识别出所述目标场景信息中的瞳孔位置，并计算所述显示器每一像素区域与所述瞳孔位置之间的侧视角及每一所述像素区域在对应所述侧视角下的驱动电压值，并将所述驱动电压值施加到对应的所述像素区域。
可选的，在本申请的一些实施例中，所述全息显示***通过人脸区域定位检测模型识别所述目标场景信息中的人脸区域信息，并确定所述人脸区域信息中的瞳孔位置。
可选的，在本申请的一些实施例中，所述目标场景获取***包括瞳孔***，所述瞳孔***为彩色摄像机；所述光束控制***包括背光源，所述光导***包括光导薄膜或者光导片，所述显示器包括液晶显示器。
本申请实施例通过调节全息显示***中显示画面的每一个子像素在不同侧视角下对应的驱动电压值，在提升了液晶显示面板广视角的同时，保证液晶显示面板的穿透率不受影响。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的全息显示***中内部模块与目标场景信息之间的映射关系图；
图2是本申请实施例提供的全息显示方法流程图；
图3是本申请实施例提供的人脸区域定位检测模型的人脸区域提取框架示意图；
图4是本申请实施例提供的瞳孔跟踪算法框架图；
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种全息显示方法及全息显示***。为使本申请实施例的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请实施例进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请实施例。
本申请实施例针对现有的通过硬件调整来降低液晶显示器在不同视角下的色偏而导致液晶显示面板的穿透率降低，进而导致液晶显示面板的利用率下降的技术问题，本实施例能够解决该缺陷。
如图1所示，本申请实施例提供一种基于全息显示***，所述全息显示***包括光束控制***11、光导***12、显示器13以及目标场景获取***14；
其中，所述显示器13包括液晶显示器，所述显示器13用于显示目标场景信息20；
所述目标场景获取***14用于获取所述目标场景信息20，所述目标场景获取***14包括瞳孔***，所述瞳孔***优选为彩色摄像机；所述光束控制***11包括背光源；所述光导***12包括光导薄膜或者光导片，所述光导***12用于提升所述背光源的利用率。
具体地，所述全息显示***识别出所述目标场景信息20中的瞳孔位置，并计算所述显示器13每一像素区域与所述瞳孔位置之间的侧视角及每一所述像素区域在对应所述侧视角下的驱动电压值，并将所述驱动电压值施加到对应的所述像素区域。其中，所述侧视角为人的眼睛视线与所述显示器13的平面产生的夹角；所述瞳孔位置是人眼中的瞳孔与所述显示器13之间的相对位置。
进一步地，所述全息显示***通过人脸区域定位检测模型识别所述目标场景信息20中的人脸区域信息，并确定所述人脸区域信息中的瞳孔位置。
具体地，所述显示器13的内部寄存器存储有视角与驱动电压信息，所述全息显示***通过所述视角与驱动电压信息可以获得当前所述侧视角下所述显示器13内部每一像素区域的驱动电压值，使得在当前所述侧视角下人眼视觉感受的颜色是画面正常颜色。
进一步地，通过设定所述目标场景获取***14的场景采集频率以对所述瞳孔位置进行实时瞳孔跟踪，从而可以根据人的位置及与所述显示器13的屏幕的角度实时调整对应像素的驱动电压值，对产生的色偏进行实时补偿，最终实现广视角的提升。
本申请实施例提供的全息显示***通过计算显示器每一像素区域与所述瞳孔位置之间的侧视角及每一所述像素区域在对应所述侧视角下的驱动电压值，并采用瞳孔跟踪技术实现实时驱动，即在一定范围内，显示器的视角范围是随着瞳孔位置(即人的位置)变化而变化。其具体工作流程如下：
首先通过目标场景获取***获取所述目标场景信息中的瞳孔位置；之后计算显示器每一像素区域与所述瞳孔位置之间的侧视角及每一所述像素区域在对应所述侧视角下的驱动电压值；最后将所述驱动电压值施加到对应的所述像素区域以补偿色偏，使得人在一定角度(与显示器平面正向形成的角度)内，看到的图像颜色是正常无色偏的，进而提升了显示器的显示效果。
请参阅图2，本申请实施例还提供一种全息显示方法。其中，所述方法包括：
S10，获取目标场景信息。
其中，所述S10还包括：
所述目标场景信息包括移动的人物图像信息以及静态的背景图像信息，所述全息显示方法主要在静态的背景图像信息下对运动的人物图像信息进行检测，即从不断变换的序列图像中进行目标检测；所述目标场景信息由瞳孔***获取，所述瞳孔***优选为彩色摄像机。
S20，识别出所述目标场景信息中的人脸区域信息。
其中，所述S20还包括：
首先训练人脸区域定位检测模型，所述人脸区域定位检测模型识别出所述目标场景信息中的人脸区域信息。
具体地，所述人脸区域定位检测模型包括：提供包含人脸图像的原始图像数据集给到特征提取网络，所述特征提取网络输出原始图像特征信息；将所述原始图像特征信息分别输入至区域提取网络和分类与位置反馈网络中，所述区域提取网络用于提取选定区域的HOG特征(Histogram of Oriented Gradient，方向梯度直方图，是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子)，所述分类与位置反馈网络对所述HOG特征进行分类，输出人脸区域信息。
如图3所示，为本申请实施例提供的人脸区域定位检测模型30的人脸区域提取框架示意图。其中，训练人脸区域定位检测模型30的具体过程如下：
首先，提供包含人脸图像的原始图像数据集；之后，基于深度学习算法的CNN(Convolutional Neural Networks，卷积神经网络)模型训练特征提取网络，以得到原始图像特征信息；其中，深度学习是采用表示学习方法的一类机器学习技术，其允许机器被给予原始数据并且确定数据分类所需的表示。深度学习使用用于改变深度学习机器的内部参数(例如，节点权重)的反向传播算法来确定数据集中的结构。深度学习机器可利用多种多层体系结构和算法。例如，虽然机器学习涉及识别要用于训练网络的特征，但深度学习处理原始数据来识别感兴趣特征而无需外部识别。CNN网络是一种前馈神经网络，它的神经元可以响应一部分覆盖范围内的周围单元，包括卷积层和池化层。
之后，将所述原始图像特征信息分别输入至区域提取网络和分类与位置反馈网络中。在所述区域提取网络中，利用不同尺寸的滑动窗口框住包括所述原始图像特征信息所在区域的一部分作为选定区域并创建感兴趣区域(Region of Interests，ROIs)，所述感兴趣区域用于提取所述选定区域的HOG特征，并输出至所述分类与位置反馈网络。
最后，所述分类与位置反馈网络对所述HOG特征进行分类，识别并对应到人脸的各区域并输出人脸区域信息，得到所述人脸区域定位检测模型30。
具体地，创建所述感兴趣区域的具体步骤还包括：
将包括所述原始图像特征信息所在区域的一部分选定区域中的每一个子像素作为一组，然后计算每一组的纹理特征，并将纹理特征相似度最高的两组所述子像素组合在一起，直到一定空间范围内的多个所述子像素都组合在一起，即得到所述感兴趣区域；其中，所述纹理特征的计算方法主要包括直方图分析法以及边界频率分析法。
S30，确定所述人脸区域信息中的瞳孔位置。
具体地，所述S30还包括：
首先，通过深度学习的CNN模型设计出分类器，用于判断所述人脸区域信息中的人物是否戴眼镜；若所述人脸区域信息中的人物戴眼镜，则采用深度学习中的图像处理算法对包含于所述人脸区域信息中的眼镜信息进行移除，并对剩余的所述人脸区域信息进行面部重要特征提取；若所述人脸区域信息中的人物没有戴眼镜，则直接对所述人脸区域信息进行面部重要特征提取。之后，通过所述人脸区域信息的面部重要特征确定所述人脸区域信息中的瞳孔位置，如图4所示。
其中，所述深度学习的图像处理算法包括GAN网络算法，GAN网络(GenerativeAdverserial Networks，深度卷积生成对抗网络)算法是Ian Goodfellow在2014年提出的一种非监督学习算法，算法的主要思想是训练过程中通过目标生成网络G及目标对抗网络D进行0-1博弈对抗学习，最终收敛得到一个目标生成网络G.。输入一个随机向量rand_vec给目标生成网络G能够得到一张媲美真实D分类器判断为真的数据。
具体地，通过深度学习图像特征提取技术对所述人脸区域信息进行图像分割提取，得到所述人脸区域信息的面部重要特征；所述面部重要特征包括所述人脸区域信息的眼部区域信息，根据所述眼部区域信息中计算瞳孔位置，所述瞳孔位置是所述眼部区域信息中的瞳孔与所述显示面板之间的相对位置。所述瞳孔位置的定位可以根据深度学习的自编码器算法确定瞳孔的具***置。
具体地，所述分割提取即是对图像中每一个像素点进行分类，确定每个点的类别，从而进行区域划分以得到所述人脸区域信息的眼部区域信息。所述深度学习图像特征提取技术包括FCN网络(Fully Convolutional Networks，全卷积神经网络)算法以及U-Net网络(Convolutional Networks for Biomedical Image Segmentation，用于生物图像分割的卷积网络，简称U-Net)算法。其中，所述FCN网络算法主要思想是通过连续的层补充常规的收缩网络，其中通过上采样操作替代池化操作；所述U-Net网络算法主要用于实现基于FCN网络算法的分割算法，其修改并扩展了FC网络算法的架构以使得其能够在非常少的训练图像的情况下使用并产生更精确的分割。
S40，计算显示面板内部每一像素区域与所述瞳孔位置之间的侧视角，及每一所述像素区域在对应所述侧视角下的驱动电压值。
具体地，所述S40还包括：
首先，根据所述瞳孔位置计算显示面板内部每一像素区域与所述瞳孔位置之间的侧视角。之后，依据存储在所述显示面板内部寄存器的侧视角与驱动电压信息，计算在所述侧视角下所述显示面板内部每一所述像素区域对应的驱动电压值。
其中，所述视角与驱动电压信息经由以下步骤获得：
首先通过测量出不同视角下(如15°、30°、45°、60°和75°等，具体采样视角角度可依据实际变更)所述显示面板的色偏度并调试得出相对应的补偿电压差值；之后，将所述补偿电压差值补偿至对应的子像素中得到对应的驱动电压值，使得当前采样视角下所述显示面板的亮度与正视角下所述显示面板的亮度相同。之后，依据所述采样视角及相对应的补偿电压值，通过线性插值或者线性拟合的方式计算出每一个视角下的驱动电压值，并存储在所述显示面板的内部寄存器中，最终得到所述视角与驱动电压信息。
S50，将所述驱动电压值施加到对应的所述像素区域，使得在当前所述侧视角下视觉感受的颜色是画面正常颜色。
本申请提供的基于深度学习的全息显示方法，通过调节全息显示***中显示画面的每一个子像素对应的驱动电压值，并采用瞳孔跟踪技术实现实时驱动，即在一定范围内，显示面板的视角范围是随着瞳孔位置(即人的位置)变化而变化。最终通过定位出瞳孔位置从而调节整个显示画面的像素电压以补偿色偏，使得人在一定角度(与显示面板正向形成的角度)内，看到的图像颜色也是正常无色偏的以提升显示面板的品味。
综上所述，本申请实施例所提供的全息显示方法及全息显示***，通过调节全息显示***中显示画面的每一个子像素在不同侧视角下对应的驱动电压值，在提升了液晶显示面板广视角的同时，保证液晶显示面板的穿透率不受影响。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上对本申请实施例所提供的一种全息显示方法及全息显示***进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (6)

1.一种全息显示方法，其特征在于，所述方法包括：
S10，获取目标场景信息；
S20，训练人脸区域定位检测模型，所述人脸区域定位检测模型识别出所述目标场景信息中的人脸区域信息；其中，训练所述人脸区域定位检测模型的步骤还包括：
提供包含人脸图像的原始图像数据集给到特征提取网络，所述特征提取网络输出原始图像特征信息；
将所述原始图像特征信息分别输入至区域提取网络和分类与位置反馈网络中，所述区域提取网络用于提取选定区域的HOG特征，所述分类与位置反馈网络对所述HOG特征进行分类，输出人脸区域信息；
S30，判断所述人脸区域信息中的人物是否戴眼镜；若所述人脸区域信息中的人物戴眼镜，则对包含于所述人脸区域信息中的眼镜信息进行移除，并对剩余的所述人脸区域信息进行面部重要特征提取；若所述人脸区域信息中的人物没有戴眼镜，则直接对所述人脸区域信息进行面部重要特征提取；
通过所述人脸区域信息的面部重要特征确定所述人脸区域信息中的瞳孔位置；
S40，计算显示面板内部每一像素区域与所述瞳孔位置之间的侧视角，及每一所述像素区域在对应所述侧视角下的驱动电压值；
S50，将所述驱动电压值施加到对应的所述像素区域。
2.根据权利要求1所述的全息显示方法，其特征在于，所述S10中，所述目标场景信息由瞳孔***获取，所述瞳孔***为彩色摄像机。
3.根据权利要求2所述的全息显示方法，其特征在于，所述通过所述人脸区域信息的面部重要特征确定所述人脸区域信息中的瞳孔位置的步骤还包括：
对所述人脸区域信息进行图像分割提取，得到所述人脸区域信息的面部重要特征；
所述面部重要特征包括所述人脸区域信息的眼部区域信息，根据所述眼部区域信息中计算瞳孔位置，所述瞳孔位置是所述眼部区域信息中的瞳孔与所述显示面板之间的相对位置。
4.根据权利要求1所述的全息显示方法，其特征在于，所述S40还包括：
S401，根据所述瞳孔位置计算显示面板内部每一像素区域与所述瞳孔位置之间的侧视角；
S402，依据存储在所述显示面板内部寄存器的侧视角与驱动电压信息，计算在所述侧视角下所述显示面板内部每一所述像素区域对应的驱动电压值。
5.一种全息显示***，其特征在于，所述全息显示***还包括光束控制***、光导***、显示器以及目标场景获取***；
其中，所述目标场景获取***用于获取目标场景信息，所述全息显示***识别出所述目标场景信息中的瞳孔位置，并计算所述显示器每一像素区域与所述瞳孔位置之间的侧视角及每一所述像素区域在对应所述侧视角下的驱动电压值，并将所述驱动电压值施加到对应的所述像素区域；
其中，所述全息显示***通过训练人脸区域定位检测模型识别所述目标场景信息中的人脸区域信息，训练所述人脸区域定位检测模型的步骤还包括：
提供包含人脸图像的原始图像数据集给到特征提取网络，所述特征提取网络输出原始图像特征信息；
将所述原始图像特征信息分别输入至区域提取网络和分类与位置反馈网络中，所述区域提取网络用于提取选定区域的HOG特征，所述分类与位置反馈网络对所述HOG特征进行分类，输出人脸区域信息；
其中，所述全息显示***确定所述人脸区域信息中的瞳孔位置的步骤包括：
判断所述人脸区域信息中的人物是否戴眼镜；若所述人脸区域信息中的人物戴眼镜，则对包含于所述人脸区域信息中的眼镜信息进行移除，并对剩余的所述人脸区域信息进行面部重要特征提取；若所述人脸区域信息中的人物没有戴眼镜，则直接对所述人脸区域信息进行面部重要特征提取；
通过所述人脸区域信息的面部重要特征确定所述人脸区域信息中的瞳孔位置。
6.根据权利要求5所述的全息显示***，其特征在于，所述目标场景获取***包括瞳孔***，所述瞳孔***为彩色摄像机；所述光束控制***包括背光源，所述光导***包括光导薄膜或者光导片，所述显示器包括液晶显示器。
CN202110018233.4A 2021-01-07 2021-01-07 全息显示方法及全息显示*** Active CN112863453B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110018233.4A CN112863453B (zh) 2021-01-07 2021-01-07 全息显示方法及全息显示***
PCT/CN2021/097499 WO2022147956A1 (zh) 2021-01-07 2021-05-31 全息显示方法及全息显示***
US17/430,404 US20230134309A1 (en) 2021-01-07 2021-05-31 Holographic display method and holographic display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110018233.4A CN112863453B (zh) 2021-01-07 2021-01-07 全息显示方法及全息显示***

Publications (2)

Publication Number Publication Date
CN112863453A CN112863453A (zh) 2021-05-28
CN112863453B true CN112863453B (zh) 2022-07-12

Family

ID=76004836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110018233.4A Active CN112863453B (zh) 2021-01-07 2021-01-07 全息显示方法及全息显示***

Country Status (3)

Country Link
US (1) US20230134309A1 (zh)
CN (1) CN112863453B (zh)
WO (1) WO2022147956A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112863453B (zh) * 2021-01-07 2022-07-12 Tcl华星光电技术有限公司 全息显示方法及全息显示***
CN113986169A (zh) * 2021-10-21 2022-01-28 武汉华星光电技术有限公司 显示装置的调节方法及显示装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101950550A (zh) * 2010-09-28 2011-01-19 冠捷显示科技（厦门）有限公司 基于观看者视角显示不同角度画面的显示装置
CN206532099U (zh) * 2017-02-28 2017-09-29 京东方科技集团股份有限公司 一种全息显示装置
CN109359522A (zh) * 2018-09-06 2019-02-19 浙江工业大学 一种小样本皮肤图像分类方法
CN109658876A (zh) * 2019-02-28 2019-04-19 京东方科技集团股份有限公司 图像显示处理方法及装置、显示装置及存储介质
CN111091785A (zh) * 2018-10-24 2020-05-01 上海和辉光电有限公司 一种色偏补偿方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020180733A1 (en) * 2001-05-15 2002-12-05 Koninklijke Philips Electronics N.V. Method and apparatus for adjusting an image to compensate for an offset position of a user
WO2005052673A2 (en) * 2003-11-21 2005-06-09 Sharp Laboratories Of America, Inc. Liquid crystal display with adaptive color
JP5354265B2 (ja) * 2009-01-22 2013-11-27 ソニー株式会社 液晶表示装置
CN103888742A (zh) * 2014-03-06 2014-06-25 京东方科技集团股份有限公司 色偏补偿装置及显示装置
CN108229252B (zh) * 2016-12-15 2020-12-15 腾讯科技（深圳）有限公司 一种瞳孔定位方法及***
CN107239790A (zh) * 2017-05-10 2017-10-10 哈尔滨工程大学 一种基于深度学习的服务机器人目标检测与定位方法
CN110543867B (zh) * 2019-09-09 2021-10-22 北京航空航天大学 一种多摄像头条件下的人群密度估测***及方法
CN111222444A (zh) * 2019-12-31 2020-06-02 的卢技术有限公司 一种考虑驾驶员情绪的增强现实抬头显示方法和***
CN112132042B (zh) * 2020-09-24 2023-08-01 西安电子科技大学 基于对抗域适应的sar图像目标检测方法
CN112863453B (zh) * 2021-01-07 2022-07-12 Tcl华星光电技术有限公司 全息显示方法及全息显示***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101950550A (zh) * 2010-09-28 2011-01-19 冠捷显示科技（厦门）有限公司 基于观看者视角显示不同角度画面的显示装置
CN206532099U (zh) * 2017-02-28 2017-09-29 京东方科技集团股份有限公司 一种全息显示装置
CN109359522A (zh) * 2018-09-06 2019-02-19 浙江工业大学 一种小样本皮肤图像分类方法
CN111091785A (zh) * 2018-10-24 2020-05-01 上海和辉光电有限公司 一种色偏补偿方法及装置
CN109658876A (zh) * 2019-02-28 2019-04-19 京东方科技集团股份有限公司 图像显示处理方法及装置、显示装置及存储介质

Also Published As

Publication number Publication date
WO2022147956A1 (zh) 2022-07-14
US20230134309A1 (en) 2023-05-04
CN112863453A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
Chaudhary et al. Ritnet: Real-time semantic segmentation of the eye for gaze tracking
EP3739431B1 (en) Method for determining point of gaze, contrast adjustment method and device, virtual reality apparatus, and storage medium
CN105930821B (zh) 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置
EP4105877A1 (en) Image enhancement method and image enhancement apparatus
TWI594193B (zh) 凝視追蹤之方法
CN112863453B (zh) 全息显示方法及全息显示***
CN113177515A (zh) 一种基于图像的眼动追踪方法和***
CN110634116A (zh) 一种面部图像评分方法及摄像机
CN114816060A (zh) 基于视觉追踪的用户注视点估计和精度评估方法
Chaudhary et al. Motion tracking of iris features to detect small eye movements
CN112907557A (zh) 道路检测方法、装置、计算设备及存储介质
CN112232128A (zh) 基于视线追踪的老年残障人士照护需求识别方法
US20220369923A1 (en) Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
CN114022514A (zh) 一种融合头部姿态和眼球跟踪的实时视线推断方法
CN113810683A (zh) 一种客观评估水下视频质量的无参考评价方法
CN116602764A (zh) 一种端到端眼科手术定位导航方法及设备
CN110728630A (zh) 基于增强现实的互联网图像处理方法及增强现实眼镜
Zhou Eye-Blink Detection under Low-Light Conditions Based on Zero-DCE
CN115116117A (zh) 一种基于多模态融合网络的学习投入度数据的获取方法
CN114283178A (zh) 图像配准方法、装置、计算机设备及存储介质
Hassoumi et al. Uncertainty visualization of gaze estimation to support operator-controlled calibration
Zhang et al. Eye centre localisation with convolutional neural networks in high-and low-resolution images
CN116999017B (zh) 基于数据分析的辅助眼部护理智能控制***
Yang et al. Spatialgaze: towards spatial gaze tracking for extended reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant