CN108334832A - 一种基于生成对抗网络的视线估计方法 - Google Patents

一种基于生成对抗网络的视线估计方法 Download PDF

Info

Publication number
CN108334832A
CN108334832A CN201810078939.8A CN201810078939A CN108334832A CN 108334832 A CN108334832 A CN 108334832A CN 201810078939 A CN201810078939 A CN 201810078939A CN 108334832 A CN108334832 A CN 108334832A
Authority
CN
China
Prior art keywords
image
network
true
domain
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810078939.8A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201810078939.8A priority Critical patent/CN108334832A/zh
Publication of CN108334832A publication Critical patent/CN108334832A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明中提出的一种基于生成对抗网络的视线估计方法，其主要内容包括：生成纹理、生成真实数据和对眼部进行细化，其过程为，先自动将面部图像与3D模型的水平方向和垂直方向的纹理空间对齐，然后不成对的像素级别域适应技术将合成图像映射到真实域，再使用视线方向的注释和合成数据预训练视线方向估计器，最后在整个映射过程中执行细化网络以保持视线方向，使用预训练网络作为从合成到真实再到合成的转换循环约束。本发明使用新颖的对抗训练方法，将渲染的合成图像映射到逼真的域，可以在实际图像上获得更准确的视线估计，而不需要使用任何来自真实用户的额外标记数据；对于极端头部姿态、模糊、远距离等情况，也能产生具有鲁棒性的视线估计。

Description

一种基于生成对抗网络的视线估计方法
技术领域
本发明涉及视线估计领域，尤其是涉及了一种基于生成对抗网络的视线估计方法。
背景技术
人眼视线方向估计是人机交互技术的重要分支，主要研究对人类眼睛运动特性的检测和识别，它除了可以推断人所关注的目标对象或区域，进一步分析研究人的心理活动等情况，还可以利用眼睛的运动行为来实现对外部设备和***的控制。在交通领域的应用中，它可以检测汽车驾驶员的疲劳状态，判断驾驶员是否为疲劳驾驶；如果驾驶员眼睛一直盯着某个方向不变，说明他很有可能已经走神或者可能会导致走神而发生交通意外。在军事、航空领域中，还可以通过眼睛的转动行为来实现人对外部设备的控制，例如空军飞行员在驾驶飞机的同时，如果发现目标而需要完成其他任务，可以通过眼睛的运动来控制设备并执行任务。在医疗康复领域中，其还可以帮助运动障碍患者或残疾人通过眼睛与外界计算机和医疗设备等进行信息沟通和命令传达等交互操作，甚至可以通过视线来控制计算机操作，从而使他们能和正常人一样使用计算机，或者在没有外人帮助下，通过视线来调节相关设备等等。然而，传统的视线估计方法仍存在一些技术限制，如虹膜轮廓的大部分容易受到眼睑和睫毛遮挡，难以准确判断视线方向；即使使用了对抗网络，训练时也不太稳定，因此只能用于处理小的灰度图像。
本发明提出了一种基于生成对抗网络的视线估计方法，先自动将面部图像与3D模型的水平方向和垂直方向的纹理空间对齐，然后不成对的像素级别域适应技术将合成图像映射到真实域，再使用视线方向的注释和合成数据预训练视线方向估计器，最后在整个映射过程中执行细化网络以保持视线方向，使用预训练网络作为从合成到真实再到合成的转换循环约束。本发明使用新颖的对抗训练方法，将渲染的合成图像映射到逼真的域，可以在实际图像上获得更准确的视线估计，而不需要使用任何来自真实用户的额外标记数据；对于极端头部姿态、模糊、远距离等情况，也能产生具有鲁棒性的视线估计。
发明内容
针对容易受到眼睑和睫毛遮挡，难以准确判断视线方向等问题，本发明的目的在于提供一种基于生成对抗网络的视线估计方法，先自动将面部图像与3D模型的水平方向和垂直方向的纹理空间对齐，然后不成对的像素级别域适应技术将合成图像映射到真实域，再使用视线方向的注释和合成数据预训练视线方向估计器，最后在整个映射过程中执行细化网络以保持视线方向，使用预训练网络作为从合成到真实再到合成的转换循环约束。
为解决上述问题，本发明提供一种基于生成对抗网络的视线估计方法，其主要内容包括：
(一)生成纹理；
(二)生成真实数据；
(三)对眼部进行细化。
其中，所述的视线估计方法，首先，模拟器根据指定的照明条件、视线方向和皮肤形成眼睛区域的3D场景；为了扩展原始基于主成分的纹理模型的有限多样性，自动将面部图像与3D模型的UV(水平方向和垂直方向)纹理空间对齐，使得能够呈现具有无限量纹理的眼部区域的图像；为了改善真实性，不成对的像素级别域适应技术将合成图像映射到真实域；这一步需要提供未标记的真实眼睛区域图像；由于数据是模拟的，因此可以使用视线方向的注释和合成数据预训练视线方向估计器；最后，为了在整个映射过程中执行细化网络以保持视线方向，使用预训练网络作为从合成到真实再到合成的转换循环约束。
其中，所述的生成纹理，几何三维眼睛区域表面通过UV映射技术而具有纹理；使用从前面拍摄的高分辨率面部图像的大数据集来增加皮肤纹理的多样性；每个图像都会为3D模型生成一个UV纹理。
进一步地，所述的为3D模型生成一个UV纹理，首先检测面部图像上的标记关键点，通过旋转、平移和缩放，计算原始面部图像上的标记关键点与3D模型的UV空间上的对应点之间的最小欧几里得距离；最后，为了说明非刚性变形，根据源点和目标点之间的差异，应用一个平滑的图像变形；通过此过程可以生成了五百万个不同的皮肤纹理。
其中，所述的生成真实数据，虽然上一步生成的纹理在图像的皮肤区域看起来很逼真，但眼睛本身仍然是合成的；由于虹膜状态可能是检测视线方向最重要的特征，为了提高性能，还需要生成在这个区域看起来真实的数据；为了转换域，需要使用从互联网取得的大量眼睛区域的未标记真实图像；由于在两个域的图像之间没有对应关系，所以需要从不成对的图像到图像的转换方法开始。
进一步地，所述的从不成对的图像到图像的转换方法，该方法将图像从一个域映射到另一个域，而且不给定训练数据中的像素对齐；细化模型将渲染的图像作为输入并生成具有真实性的图像；将合成的眼部区域图像的空间表示为S，将真实的眼部区域图像的空间表示为R；不成对的图像到图像的平移过程涉及四个不同的网络G、F、DS和DR。
进一步地，所述的四个不同的网络，G表示一个学习S到R映射图像的映射器网络；F表示一个学习R到S映射图像的映射器网络；DS表示从合成域S学习检测图像的鉴别器网络；DR表示从真实域R学习检测图像的鉴别器网络；
为了训练G从合成域S映射到真实域R，使用最小二乘生成对抗损失：
其中，使用0.9来稳定训练过程，使用等价的损失函数来训练网络F和DR；优化上述损失函数训练网络G和F，目的是将图像从一个域映射到另一个域。
进一步地，所述的映射，在整个映射过程中并没有强制保留图像特征，理论上，网络可以产生记忆并从目标域产生单个图像，并使损失最小化；为了产生所需的映射，需要额外的约束；在该方法的原始公式中，提出了以下损失函数，称为循环一致性损失：
这种损失强制F和G对由另一个网络产生的图像进行编码和解码；因此，该体系结构可以认为是两个交错的自动编码器；该框架将合成图像映射到真实图像，同时保留眼部区域的几何结构；使用L1范数重建损失，因为它鼓励网络产生更清晰的图像。
其中，所述的对眼部进行细化，检测眼睛的视线方向需要分析从虹膜边界的投影，这样可以就推断出的眼球的所处的状态；因此，在眼球周围保持场景的几何结构比其他部位更为重要；为了执行转换框架来保存对于视线注释更重要的图像特征，需要预先训练附加的估计网络，表示为仅在合成图像上检测3D视线方向；由于合成数据具有眼睛光轴的标定好的真实标签，且潜在空间是低维的，所以网络E的架构被设计成过度拟合，并以最小误差预测视线方向；接着使用E作为循环转换的附加约束，将图像从合成域S映射到真实域R并且返回到S：
把这个限制称为视线周期一致性损失。
进一步地，所述的视线方向，用额外的损失来训练框架，进一步保留了虚拟真实图像中的视线方向；
训练程序的完整目标如上式所示。
附图说明
图1是本发明一种基于生成对抗网络的视线估计方法的***流程图。
图2是本发明一种基于生成对抗网络的视线估计方法的生成纹理过程。
图3是本发明一种基于生成对抗网络的视线估计方法的生成真实数据和对眼部进行细化。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于生成对抗网络的视线估计方法的***流程图。主要包括生成纹理，生成真实数据和对眼部进行细化。
视线估计方法，首先，模拟器根据指定的照明条件、视线方向和皮肤形成眼睛区域的3D场景；为了扩展原始基于主成分的纹理模型的有限多样性，自动将面部图像与3D模型的UV(水平方向和垂直方向)纹理空间对齐，使得能够呈现具有无限量纹理的眼部区域的图像；为了改善真实性，不成对的像素级别域适应技术将合成图像映射到真实域；这一步需要提供未标记的真实眼睛区域图像；由于数据是模拟的，因此可以使用视线方向的注释和合成数据预训练视线方向估计器；最后，为了在整个映射过程中执行细化网络以保持视线方向，使用预训练网络作为从合成到真实再到合成的转换循环约束。
生成真实数据，虽然上一步生成的纹理在图像的皮肤区域看起来很逼真，但眼睛本身仍然是合成的；由于虹膜状态可能是检测视线方向最重要的特征，为了提高性能，还需要生成在这个区域看起来真实的数据；为了转换域，需要使用从互联网取得的大量眼睛区域的未标记真实图像；由于在两个域的图像之间没有对应关系，所以需要从不成对的图像到图像的转换方法开始。
该方法将图像从一个域映射到另一个域，而且不给定训练数据中的像素对齐；细化模型将渲染的图像作为输入并生成具有真实性的图像；将合成的眼部区域图像的空间表示为S，将真实的眼部区域图像的空间表示为R；不成对的图像到图像的平移过程涉及四个不同的网络G、F、DS和DR。
G表示一个学习S到R映射图像的映射器网络；F表示一个学习R到S映射图像的映射器网络；DS表示从合成域S学习检测图像的鉴别器网络；DR表示从真实域R学习检测图像的鉴别器网络；
为了训练G从合成域S映射到真实域R，使用最小二乘生成对抗损失：
其中，使用0.9来稳定训练过程，使用等价的损失函数来训练网络F和DR；优化上述损失函数训练网络G和F，目的是将图像从一个域映射到另一个域。
在整个映射过程中并没有强制保留图像特征，理论上，网络可以产生记忆并从目标域产生单个图像，并使损失最小化；为了产生所需的映射，需要额外的约束；在该方法的原始公式中，提出了以下损失函数，称为循环一致性损失：
这种损失强制F和G对由另一个网络产生的图像进行编码和解码；因此，该体系结构可以认为是两个交错的自动编码器；该框架将合成图像映射到真实图像，同时保留眼部区域的几何结构；使用L1范数重建损失，因为它鼓励网络产生更清晰的图像。
图2是本发明一种基于生成对抗网络的视线估计方法的生成纹理过程。几何三维眼睛区域表面通过UV映射技术而具有纹理；使用从前面拍摄的高分辨率面部图像的大数据集来增加皮肤纹理的多样性；每个图像都会为3D模型生成一个UV纹理。
首先检测面部图像上的标记关键点，通过旋转、平移和缩放，计算原始面部图像上的标记关键点与3D模型的UV空间上的对应点之间的最小欧几里得距离；最后，为了说明非刚性变形，根据源点和目标点之间的差异，应用一个平滑的图像变形；通过此过程可以生成了五百万个不同的皮肤纹理。
其中，图(a)为典型UV纹理中的眼睛区域标记关键点的位置；为了提取新的纹理，首先自动检测真实图像(b)中的眼睛区域标志，然后计算最佳的二维相似变换，将人脸图像与三维模型的UV空间对齐，如图(c)所示为这种映射的结果，红色的点对应于标准UV纹理中的地标的位置，蓝色的点对应于刚性映射标记关键点的位置；最后，执行非刚性图像变形来计算图(d)中所示的像素级对齐。
图3是本发明一种基于生成对抗网络的视线估计方法的生成真实数据和对眼部进行细化。检测眼睛的视线方向需要分析从虹膜边界的投影，这样可以就推断出的眼球的所处的状态；因此，在眼球周围保持场景的几何结构比其他部位更为重要；为了执行转换框架来保存对于视线注释更重要的图像特征，需要预先训练附加的估计网络，表示为仅在合成图像上检测3D视线方向；由于合成数据具有眼睛光轴的标定好的真实标签，且潜在空间是低维的，所以网络E的架构被设计成过度拟合，并以最小误差预测视线方向；接着使用E作为循环转换的附加约束，将图像从合成域S映射到真实域R并且返回到S：
把这个限制称为视线周期一致性损失。
用额外的损失来训练框架，进一步保留了虚拟真实图像中的视线方向；
训练程序的完整目标如上式所示。
其中，图(a)为两个独立的生成对抗性网络；图(b)为合成-真实-合成循环一致性损失；图(c)为真实-合成-真实循环一致性损失；图(d)为合成-真实-合成视线周期一致性损失。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于生成对抗网络的视线估计方法，其特征在于，主要包括生成纹理(一)；生成真实数据(二)；对眼部进行细化(三)。
2.基于权利要求书1所述的视线估计方法，其特征在于，首先，模拟器根据指定的照明条件、视线方向和皮肤形成眼睛区域的3D场景；为了扩展原始基于主成分的纹理模型的有限多样性，自动将面部图像与3D模型的UV(水平方向和垂直方向)纹理空间对齐，使得能够呈现具有无限量纹理的眼部区域的图像；为了改善真实性，不成对的像素级别域适应技术将合成图像映射到真实域；这一步需要提供未标记的真实眼睛区域图像；由于数据是模拟的，因此可以使用视线方向的注释和合成数据预训练视线方向估计器；最后，为了在整个映射过程中执行细化网络以保持视线方向，使用预训练网络作为从合成到真实再到合成的转换循环约束。
3.基于权利要求书1所述的生成纹理(一)，其特征在于，几何三维眼睛区域表面通过UV映射技术而具有纹理；使用从前面拍摄的高分辨率面部图像的大数据集来增加皮肤纹理的多样性；每个图像都会为3D模型生成一个UV纹理。
4.基于权利要求书3所述的为3D模型生成一个UV纹理，其特征在于，首先检测面部图像上的标记关键点，通过旋转、平移和缩放，计算原始面部图像上的标记关键点与3D模型的UV空间上的对应点之间的最小欧几里得距离；最后，为了说明非刚性变形，根据源点和目标点之间的差异，应用一个平滑的图像变形；通过此过程可以生成了五百万个不同的皮肤纹理。
5.基于权利要求书1所述的生成真实数据(二)，其特征在于，虽然上一步生成的纹理在图像的皮肤区域看起来很逼真，但眼睛本身仍然是合成的；由于虹膜状态可能是检测视线方向最重要的特征，为了提高性能，还需要生成在这个区域看起来真实的数据；为了转换域，需要使用从互联网取得的大量眼睛区域的未标记真实图像；由于在两个域的图像之间没有对应关系，所以需要从不成对的图像到图像的转换方法开始。
6.基于权利要求书5所述的从不成对的图像到图像的转换方法，其特征在于，该方法将图像从一个域映射到另一个域，而且不给定训练数据中的像素对齐；细化模型将渲染的图像作为输入并生成具有真实性的图像；将合成的眼部区域图像的空间表示为S，将真实的眼部区域图像的空间表示为R；不成对的图像到图像的平移过程涉及四个不同的网络G、F、DS和DR。
7.基于权利要求书6所述的四个不同的网络，其特征在于，G表示一个学习S到R映射图像的映射器网络；F表示一个学习R到S映射图像的映射器网络；DS表示从合成域S学习检测图像的鉴别器网络；DR表示从真实域R学习检测图像的鉴别器网络；
为了训练G从合成域S映射到真实域R，使用最小二乘生成对抗损失：
其中，使用0.9来稳定训练过程，使用等价的损失函数来训练网络F和DR；优化上述损失函数训练网络G和F，目的是将图像从一个域映射到另一个域。
8.基于权利要求书7所述的映射，其特征在于，在整个映射过程中并没有强制保留图像特征，理论上，网络可以产生记忆并从目标域产生单个图像，并使损失最小化；为了产生所需的映射，需要额外的约束；在该方法的原始公式中，提出了以下损失函数，称为循环一致性损失：
这种损失强制F和G对由另一个网络产生的图像进行编码和解码；因此，该体系结构可以认为是两个交错的自动编码器；该框架将合成图像映射到真实图像，同时保留眼部区域的几何结构；使用L1范数重建损失，因为它鼓励网络产生更清晰的图像。
9.基于权利要求书1所述的对眼部进行细化(三)，其特征在于，检测眼睛的视线方向需要分析从虹膜边界的投影，这样可以就推断出的眼球的所处的状态；因此，在眼球周围保持场景的几何结构比其他部位更为重要；为了执行转换框架来保存对于视线注释更重要的图像特征，需要预先训练附加的估计网络，表示为E:仅在合成图像上检测3D视线方向；由于合成数据具有眼睛光轴的标定好的真实标签，且潜在空间是低维的，所以网络E的架构被设计成过度拟合，并以最小误差预测视线方向；接着使用E作为循环转换的附加约束，将图像从合成域S映射到真实域R并且返回到S：
把这个限制称为视线周期一致性损失。
10.基于权利要求书9所述的视线方向，其特征在于，用额外的损失来训练框架，进一步保留了虚拟真实图像中的视线方向；
训练程序的完整目标如上式所示。
CN201810078939.8A 2018-01-26 2018-01-26 一种基于生成对抗网络的视线估计方法 Withdrawn CN108334832A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810078939.8A CN108334832A (zh) 2018-01-26 2018-01-26 一种基于生成对抗网络的视线估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810078939.8A CN108334832A (zh) 2018-01-26 2018-01-26 一种基于生成对抗网络的视线估计方法

Publications (1)

Publication Number Publication Date
CN108334832A true CN108334832A (zh) 2018-07-27

Family

ID=62925901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810078939.8A Withdrawn CN108334832A (zh) 2018-01-26 2018-01-26 一种基于生成对抗网络的视线估计方法

Country Status (1)

Country Link
CN (1) CN108334832A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753906A (zh) * 2018-12-25 2019-05-14 西北工业大学 基于域迁移的公共场所异常行为检测方法
CN110009714A (zh) * 2019-03-05 2019-07-12 重庆爱奇艺智能科技有限公司 在智能设备中调整虚拟角色眼神的方法及装置
CN110008835A (zh) * 2019-03-05 2019-07-12 成都旷视金智科技有限公司 视线预测方法、装置、***和可读存储介质
CN110135305A (zh) * 2019-04-30 2019-08-16 百度在线网络技术（北京）有限公司 用于疲劳度检测的方法、装置、设备和介质
CN110244844A (zh) * 2019-06-10 2019-09-17 Oppo广东移动通信有限公司 控制方法及相关装置
CN110717389A (zh) * 2019-09-02 2020-01-21 东南大学 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法
CN111337929A (zh) * 2020-03-26 2020-06-26 上海眼控科技股份有限公司 气象云图预测方法、装置、计算机设备和存储介质
CN112257605A (zh) * 2020-10-23 2021-01-22 中国科学院自动化研究所 基于自标注训练样本的三维目标检测方法、***及装置
CN112766163A (zh) * 2021-01-13 2021-05-07 北京航空航天大学 一种基于对抗优化的视线方向确定方法
CN113223159A (zh) * 2021-05-27 2021-08-06 哈尔滨工程大学 基于目标纹理虚拟化处理的单幅遥感图像三维建模方法
US11347308B2 (en) 2019-07-26 2022-05-31 Samsung Electronics Co., Ltd. Method and apparatus with gaze tracking

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107123151A (zh) * 2017-04-28 2017-09-01 深圳市唯特视科技有限公司 一种基于变分自动编码器和生成对抗网络的图像转化方法
CN107220600A (zh) * 2017-05-17 2017-09-29 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107123151A (zh) * 2017-04-28 2017-09-01 深圳市唯特视科技有限公司 一种基于变分自动编码器和生成对抗网络的图像转化方法
CN107220600A (zh) * 2017-05-17 2017-09-29 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MATAN SELA ET.AL: "GazeGAN – Unpaired Adversarial Image Generation for Gaze Estimation", 《ARXIV:1711.09767V1 [CS.CV]》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753906B (zh) * 2018-12-25 2022-06-07 西北工业大学 基于域迁移的公共场所异常行为检测方法
CN109753906A (zh) * 2018-12-25 2019-05-14 西北工业大学 基于域迁移的公共场所异常行为检测方法
CN110008835B (zh) * 2019-03-05 2021-07-09 成都旷视金智科技有限公司 视线预测方法、装置、***和可读存储介质
CN110009714A (zh) * 2019-03-05 2019-07-12 重庆爱奇艺智能科技有限公司 在智能设备中调整虚拟角色眼神的方法及装置
CN110008835A (zh) * 2019-03-05 2019-07-12 成都旷视金智科技有限公司 视线预测方法、装置、***和可读存储介质
CN110135305A (zh) * 2019-04-30 2019-08-16 百度在线网络技术（北京）有限公司 用于疲劳度检测的方法、装置、设备和介质
CN110135305B (zh) * 2019-04-30 2022-03-01 百度在线网络技术（北京）有限公司 用于疲劳度检测的方法、装置、设备和介质
CN110244844A (zh) * 2019-06-10 2019-09-17 Oppo广东移动通信有限公司 控制方法及相关装置
US11347308B2 (en) 2019-07-26 2022-05-31 Samsung Electronics Co., Ltd. Method and apparatus with gaze tracking
CN110717389B (zh) * 2019-09-02 2022-05-13 东南大学 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法
CN110717389A (zh) * 2019-09-02 2020-01-21 东南大学 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法
CN111337929A (zh) * 2020-03-26 2020-06-26 上海眼控科技股份有限公司 气象云图预测方法、装置、计算机设备和存储介质
CN112257605A (zh) * 2020-10-23 2021-01-22 中国科学院自动化研究所 基于自标注训练样本的三维目标检测方法、***及装置
CN112766163A (zh) * 2021-01-13 2021-05-07 北京航空航天大学 一种基于对抗优化的视线方向确定方法
CN112766163B (zh) * 2021-01-13 2022-05-31 北京航空航天大学 一种基于对抗优化的视线方向确定方法
CN113223159A (zh) * 2021-05-27 2021-08-06 哈尔滨工程大学 基于目标纹理虚拟化处理的单幅遥感图像三维建模方法
CN113223159B (zh) * 2021-05-27 2022-08-23 哈尔滨工程大学 基于目标纹理虚拟化处理的单幅遥感图像三维建模方法

Similar Documents

Publication Publication Date Title
CN108334832A (zh) 一种基于生成对抗网络的视线估计方法
JP7178396B2 (ja) 入力映像に含まれた客体の３次元ポーズの推定のためのデータを生成する方法およびコンピュータシステム
CN105631861B (zh) 结合高度图从无标记单目图像中恢复三维人体姿态的方法
KR102135808B1 (ko) 픽셀 속도들을 사용하는 전자 디스플레이 안정화
CN108140105A (zh) 具有脸部表情检测能力的头戴式显示器
JP7015152B2 (ja) キーポイントデータに関する加工装置、方法及びプログラム
CN109791442A (zh) 表面建模***和方法
CN107516335A (zh) 虚拟现实的图形渲染方法和装置
WO2013175792A1 (ja) 人物属性推定システム、及び学習用データ生成装置
CN104978548A (zh) 一种基于三维主动形状模型的视线估计方法与装置
Levin Real-time target and pose recognition for 3-d graphical overlay
WO2012142202A1 (en) Apparatus, systems and methods for providing motion tracking using a personal viewing device
JP2010113335A (ja) 動的閾値を用いたマーカ認識方法及びこれを活用した増強現実に基づく学習システム
CN105144247A (zh) 用户的三维表示的生成
CN106997618A (zh) 一种虚拟现实与真实场景融合的方法
CN109801379A (zh) 通用的增强现实眼镜及其标定方法
CN111259713B (zh) 一种基于自适应加权的视线跟踪方法
US11694419B2 (en) Image analysis and gaze redirection using characteristics of the eye
CN102360504A (zh) 一种基于多自然特征的自适应虚实三维注册方法
US11809616B1 (en) Twin pose detection method and system based on interactive indirect inference
CN109613982A (zh) 头戴式ar显示设备的显示交互方法
Liu et al. Self-supervised depth estimation to regularise semantic segmentation in knee arthroscopy
Zhang et al. Misleading attention and classification: an adversarial attack to fool object detection models in the real world
CN106971426A (zh) 一种虚拟现实与真实场景融合的方法
CN105814604B (zh) 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180727

WW01 Invention patent application withdrawn after publication