CN103310186B - 校正图像中用户的注视方向的方法和便携式终端 - Google Patents
校正图像中用户的注视方向的方法和便携式终端 Download PDFInfo
- Publication number
- CN103310186B CN103310186B CN201310062577.0A CN201310062577A CN103310186B CN 103310186 B CN103310186 B CN 103310186B CN 201310062577 A CN201310062577 A CN 201310062577A CN 103310186 B CN103310186 B CN 103310186B
- Authority
- CN
- China
- Prior art keywords
- eye
- gaze
- user
- coordinate
- profile point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012937 correction Methods 0.000 title claims abstract description 29
- 230000008859 change Effects 0.000 claims abstract description 16
- 230000009466 transformation Effects 0.000 claims abstract description 16
- 210000001508 eye Anatomy 0.000 claims description 174
- 238000005516 engineering process Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims 2
- 238000001514 detection method Methods 0.000 abstract description 25
- 238000010586 diagram Methods 0.000 description 29
- 238000004891 communication Methods 0.000 description 23
- 230000001815 facial effect Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035939 shock Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
- H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
提供了用于校正图像中用户的注视方向的方法和便携式终端。在图像中检测用户的人脸。在检测的人脸中检测眼睛区域的轮廓点。将在图像中检测到的眼睛区域的轮廓点改变为与朝向参考照相机的注视方向相对应的轮廓点。通过根据改变后的轮廓点变换眼睛区域来校正图像中用户的注视方向。
Description
技术领域
本发明一般涉及用于校正图像的方法，更具体地，涉及用于将用户注视的方向从显示单元校正到照相机的方法。
背景技术
在视频电话通话和视频会议中，由于凝视照相机的用户的注视方向与凝视显示单元的用户的注视方向之间的差，使得对于照相机的每个位置，正在观看显示单元的用户的注视方向可能看上有所不同。当照相机位于显示单元的左上端时，观看显示单元的用户看起来像注视着显示单元的右下端。当照相机位于显示单元的右上端时，观看显示单元的用户看起来像注视着显示单元的左下端。当照相机位于显示单元的上端中部时，观看显示单元的用户看起来像注视着显示单元的下端中部。
可以利用安装在显示单元的上端和下端、或者位于显示单元左侧或右侧的两个照相机所输入的两个图像之间的比较，来校正注视方向。分析两个图像之间的差，并生成看上去像直视前方（看着照相机）的图像。在使用三维人脸模型或三维人眼模型的技术中，可以生成直视前方的图像。
为了试图解决注视方向视差（disparity）的问题，两个照相机的位置大部分是固定的。计算用户与每个照相机之间的距离、以及用户向显示单元的注视方向与用户向照相机的注视方向之间的差。这导致为了解决注视方向视差，整个人脸的姿势都将被改变。为了如上所述改变用户头部的姿势，需要将人脸轮廓区域从背景中分离出来的技术。用于自动地将人脸轮廓区域从背景中分离出来的技术需要大量的处理时间，并且没有成熟的执行方式。使用两个照相机也存在问题。便携式移动终端使用户能在移动的同时通电话，这使照相机、用户和背景之间的距离不断变化。这些因素可能导致更加难以利用便携式通信终端来进行实时视频通话、镜像功能、自拍等等。
发明内容
提出本发明以至少解决上述问题和/或缺点，并至少提供下述优点。从而，本发明的一方面提供一种用于将用户的注视方向从显示单元校正到照相机的方法。
此外，本发明的另一个方面在于在所有应用技术和装置中实时地或高速地校正图像中用户的注视方向，其中，用户注视方向的视差是由用户向显示单元的注视方向与用户向照相机的注视方向之间的差所导致的。
根据本发明的一方面，提供一种用于校正图像中用户的注视方向的方法。在图像中检测用户的人脸。在检测到的人脸中检测眼睛区域的轮廓点。将在图像中检测到的眼睛区域的轮廓点改变为与朝向参考照相机的注视方向相对应的轮廓点。通过根据改变后的轮廓点变换眼睛区域来校正图像中用户的注视方向。
根据本发明的另一个方面，提供一种用于校正图像中用户的注视方向的制造产品。该制造产品包括：非瞬时性机器可读存储介质，用于记录一个或多个程序，所述一个或多个程序当被执行时实现如下步骤：在图像中检测用户的人脸；在检测到的人脸中检测眼睛区域的轮廓点；将在图像中检测到的眼睛区域的轮廓点改变成与朝向参考照相机的注视方向相对应的轮廓点；以及通过根据改变后的轮廓点变换眼睛区域来校正图像中用户的注视方向。根据本发明的再一方面，提供一种用于校正图像中用户的注视方向的便携式终端。该便携式终端包括用于捕获图像的照相机。该便携式终端还包括控制器，用于在图像中检测用户的人脸，在检测到的人脸中检测眼睛区域的轮廓点，将在图像中检测到的眼睛区域的轮廓点改变成与朝向参考照相机的注视方向相对应的轮廓点，以及通过根据改变后的轮廓点变换眼睛区域来校正图像中用户的注视方向。便携式终端还包括显示单元，用于显示控制器变换了眼睛区域的图像。
附图说明
从下面结合附图的详细说明，本发明的上述和其他特征、方面和优点将更加清楚，附图中：
图1是图示根据本发明的实施例的通信终端的配置的框图；
图2是图示根据本发明的实施例的用于校正注视方向的方法的流程图；
图3是图示根据本发明的实施例的检测到的人脸图像的示图；
图4是图示根据本发明的实施例的用于重新调整眼睛检测信息和鼻子检测信息的过程的流程图；
图5是图示根据本发明的实施例的确定是否适于校正注视方向的示图；
图6是图示根据本发明的实施例的检测到的眼睛的轮廓的示图；
图7是图示根据本发明的实施例的变换眼睛的轮廓的示图；
图8A和图8B是图示根据本发明的实施例的通过纹理变形（texture warping）变换眼睛的形状的示图；
图9是图示根据本发明的实施例的在纹理变形中使用的椭圆形遮罩(oval mask)的示图；以及
图10是图示根据本发明的实施例的用于校正注视方向的方法的效果的示图。
具体实施方式
将参照附图详细描述本发明的实施例。尽管在不同的图中图示，但相同或类似的参考标记仍可以指示相同或类似的组件。将省略对本领域中公知的构造或过程的详细描述，以避免模糊本发明的主题。
图1是图示根据本发明的实施例的通信终端的配置的框图。通信终端100可以具体实现为便携式终端，如智能电话、移动电话、游戏控制台、便携式计算机、平板式个人计算机（PC）、个人媒体播放器（Personal Media Player，PMP）和个人数字助理（PDA）、电视机（TV）、显示设备、用于车辆的主机设备（head unit）等等。
通信终端100包括用户接口110，用户接口110包括扬声器112、麦克风114和显示单元116。通信终端还包括传感器单元120、存储器130、通信单元140、照相机150和控制器160。通信终端100还可以包括包含多个按钮的键区、连接器、鼠标等等。
扬声器112将从控制器160输入的语音信号（或语音数据）输出到外部。麦克风114将用户的语音检测为电语音信号，并且向控制器160输出电语音信号。
显示单元116可以基于从控制器160输入的图像信号显示图像，并且同时地，可以接收用户输入数据并且可以向控制器160输出用户输入数据。显示单元116可以具体实现为液晶显示器（LCD）、有机发光二极管（Organic Light Emitting Diode，OLED）或发光二极管（Light Emitting Diode，LED）。显示单元116还可以包括布置在显示单元下方或上方的触控板。触控板感测用户输入。当用户输入装置（例如，手指或触笔）按压显示单元116的表面时，触控板输出感测信号（或触摸感测信号），该感测信号具有关于输入位置（或输入坐标）和/或输入状态（鼠标向下、鼠标向上、鼠标运动等）的信息。例如，用户触摸在显示单元116的屏幕（换句话说，显示单元116的表面）上显示的各种可执行项目，并执行与项目相关的应用。显示单元116是用于接收来自用户的输入的装置。显示单元116还输出与应用相关的屏幕图像，所述应用诸如，例如：自拍应用，在该应用中，用户通过使用照相机150来捕获用户的图像；照相机应用；视频电话通话应用，用于向另一方的便携式终端传送由照相机150捕获的用户的图像，并且在该应用中，在用户观看另一方的图像的同时，用户进行电话通话；以及镜像应用，用于像镜子一样在显示单元116上显示照相机150捕获的用户的图像。包括显示单元和触控板的触摸屏可以用作显示单元116的例子。然而，显示单元116也可以实现为传统的显示单元。
传感器单元120是用于感测通信终端100的位置、方位和运动的传感器，传感器单元120包括加速度传感器、重力传感器、冲击传感器（shock sensor）、全球定位***（GlobalPositioning System，GPS）和指南针传感器中的至少一个。
存储器130存储通信终端100的操作***，它的各种应用，输入到通信终端100的信息、数据、文件等等，以及在通信终端100内部生成的信息、数据、文件等等。
通信单元140以有线或无线方式传送控制器160生成的消息、数据、文件等等，或者以有线或无线方式接收消息、数据、文件等等，并将它们输出到控制器160。
照相机150可以包括镜头***、图像传感器和闪光灯。照相机将通过镜头***输入（或捕获）的光信号转换成电图像信号，并将电图像信号输出到控制器160。用户可以通过照相机150捕获运动图像或静止图像。
镜头***通过使从外部入射的光汇聚来形成对象的图像。镜头***包括至少一个镜头，并且镜头包括凸透镜、非球面镜头等等。镜头***具有相对于通过镜头***中心的光轴的对称性，并且光轴被定义为中心轴。图像传感器将由通过镜头***入射的外界光形成的光学图像检测成为电图像信号。图像传感器包括以M×N矩阵结构排列的多个像素单元，并且像素单元可以包括光电二极管和多个晶体管。像素单元累积因入射光产生的电荷，并且根据累积的电荷的电压代表入射光的照度（illuminance）。当处理静止图像或运动图像文件中包括的一个图像时，从图像传感器输出的图像信号由从像素单元输出的一组电压（即，像素值）形成，并且图像信号代表一帧（即，静止图像）。帧包括M×N个像素。图像传感器可以具体实现为电荷耦合器件（Charge-Coupled Device，CCD）图像传感器、互补金属氧化物半导体（Complementary Metal-Oxide Semiconductor，CMOS）图像传感器。
控制器160是中央处理单元（CPU），用于控制通信终端100的总体操作，并且用于执行根据本发明的实施例的用于校正注视方向的方法。
用于提供程序的装置20包括：存储单元21，用于存储程序、程序的更新信息等等，所述程序包括使通信终端100执行用于校正注视方向的方法的指令；通信单元22，用于执行与通信终端100的有线或无线通信；以及控制器23，用于在通信终端100请求时或自动地向通信终端100传送相关程序或更新信息。
图2是图示根据本发明的实施例的用于校正注视方向的方法的流程图。
在步骤S210，控制器160从照相机150接收图像帧，或者读取存储器130中存储的图像帧。尽管本方法是在每图像帧的基础上描述的，但本方法也可以应用于每个顺序地输入或读取的图像帧。也可以在通信终端100执行一对一视频通话或多方视频会议的同时，对从照相机实时输入的图像执行本方法。或者，也可以针对在诸如，例如自拍应用和镜像应用的不同应用模式中从照相机实时输入的图像执行本方法。
在步骤S220，控制器160从图像帧中检测人脸、眼睛和鼻子。在本发明的实施例中的，出于举例说明的目的描述了检测鼻子以及人脸和眼睛。然而，因为本发明的实施例涉及注视方向的校正，所以对鼻子或鼻子坐标的检测可以省略。
控制器160确定图像帧中是否包括人脸图像。当图像帧中包括人脸图像时，控制器160提取相关的人脸图像。此处，可以通过用于检测人脸的常规方法来检测人脸，具体来说，可以通过使用用于提取人脸的技术来检测人脸，该技术使用人脸的轮廓、脸部皮肤的颜色和/或纹理、模板等等。例如，控制器160可以通过多个人脸图像学习每个人脸，并且可以利用积累的人脸学习数据从输入图像帧中检测人脸图像。
图3是图示根据本发明的实施例的检测到的人脸图像的示图。
控制器160检测关于眼睛和鼻子的信息。眼睛和鼻子的检测可以通过使用如上所述的人脸学习数据来完成。控制器160检测左眼和右眼每一个的中心坐标以及鼻子的中心坐标。每只眼睛的中心坐标可以是瞳孔中心点的X轴和Y轴坐标，并且鼻子的中心坐标可以是鼻尖的X轴和Y轴坐标。
为了使注视方向校正的执行稳定，控制器160可以执行重新调整眼睛检测信息和鼻子检测信息的过程。当从每个图像帧检测到眼睛和鼻子时，在相邻帧中可能出现眼睛位置和鼻子位置的较大变化。具体来说，当在显示单元116上的连续的帧中显示与检测到的眼睛的坐标和检测到的鼻子的坐标相对应的点时，在显示单元116上可能发生不稳定晃动的现象。这一现象可能影响对每只眼睛外缘的检测和对人脸的角度和/或倾斜度的估计。结果，存在已经校正了注视方向的眼睛晃动的现象。
图4是图示根据本发明的实施例的用于重新调整眼睛检测信息和鼻子检测信息的过程的流程图。当未在本过程中重新调整坐标时，按原样使用当前帧中每只眼睛的坐标和鼻子的坐标。
在步骤S410，控制器160检测当前帧中每只眼睛的坐标和鼻子的坐标。
在步骤S420，控制器160确定存储器130中是否存储了从在前帧中检测的每只眼睛的坐标和鼻子的坐标。当不存在在前帧中的每只眼睛的坐标和鼻子的坐标时，本过程完成。
当存在在前帧中的每只眼睛的坐标和鼻子的坐标时，在步骤S430，控制器160将在前帧中每只眼睛的坐标和当前帧中每只眼睛的坐标之间的差D_EYE与预先设置的阈值T_eye进行比较。针对左眼和右眼中的每一个执行步骤S430。当D_eye小于T_eye时，执行步骤S440。相反，当D_eye大于或等于T_eye时，执行步骤S450。
在步骤S440，控制器160重新调整当前帧中每只眼睛的坐标。
在步骤S450，控制器160将在前帧中鼻子的坐标和当前帧中鼻子的坐标之间的差D_nose与预先设置的阈值T_nose进行比较。当D_nose小于T_nose时，执行步骤S460。相反，当D_nose大于或等于T_nose时，本过程完成。
在步骤S460，控制器160重新调整当前帧中鼻子的坐标。
在步骤S440和S460，可以如下面的公式（1）所示重新调整每只眼睛的坐标和鼻子的坐标。在重新调整坐标的步骤中，将当前帧中的坐标变成位于在前帧中的坐标和当前帧中的坐标之间的坐标。
Final_LeftEyeX=ALPHA×Curr_LeftEyeX+(1-ALPHA)×Prev_LeftEyeX
Final_LeftEyeY=ALPHA×Curr_LeftEyeY+(1-ALPHA)×Prev_LeftEyeY
Final_RightEyeX=ALPHA×Curr_RightEyeX+1-ALPHA)×Prev_RightEyeX
Final_RightEyeY=ALPHA×Curr_RightEyeY+(1-ALPHA)×Prev_RightEyeY
Final_NoseX=ALPHA×Curr_NoseX+(1-ALPHA)×Prev_NoseX
Final_NoseY=ALPHA×Curr_NoseY+(1-ALPHA)×Prev_NoseY …(1)
ALPHA表示权重，Final_LeftEyeX和Final_LeftEyeY表示左眼最终的X轴和Y轴坐标，Final_RightEyeX和Final_RightEyeY表示右眼最终的X轴和Y轴坐标，Curr_LeftEyeX和Curr_LeftEyeY表示在当前帧中检测到的左眼的X轴和Y轴坐标，Curr_RightEyeX和Curr_RightEyeY表示在当前帧中检测到的右眼的X轴和Y轴坐标，Pre_LeftEyeX和Pre_LeftEyeY表示在在前帧中检测到的左眼的X轴和Y轴坐标，并且Pre_RightEyeX和Pre_RightEyeY表示在在前帧中检测到的右眼的X轴和Y轴坐标。此外，Final_NoseX和Final_NoseY表示鼻子最终的X轴和Y轴坐标，Curr_NoseX和Curr_NoseY表示在当前帧中检测到的鼻子的坐标，并且Prev_NoseX和Prev_NoseY表示在在前帧中检测到的鼻子的坐标。
用于重新调整眼睛检测信息和鼻子检测信息的权重ALPHA可以由用户基于检测到的眼睛的坐标和检测到的鼻子的坐标来定义。如上所述的对坐标的重新调整不仅可以应用于眼睛检测信息和鼻子检测信息，而且还可以应用于人脸检测信息和嘴检测信息。例如，通过将权重ALPHA设置为0.5，在前帧和当前帧都被给予等同的权重。此外，如下面的公式（2）所示，可以确定左眼的权重ALPHA、右眼的权重ALPHA和鼻子的权重ALPHA，以使它们根据D_left，D_right、D_nose、T_eye和T_nose动态地改变。
ALPHA_LeftEye=D_left/T_eye
ALPHA_RightEye=D_right/T_eye
ALPHA_Nose=D_nose/T_nose …(2)
再次参考图2，在步骤S230，控制器160使用检测到的人脸、眼睛和鼻子的坐标信息估计人脸的大小、位置和角度。
控制器160可以首先检测人脸的注视方向（或它的角度）和/或人脸的倾斜度，然后可以确定检测到的人脸图像是否直视前方、向左看、向右看、向上看、向下看或看向对角方向（朝向左上、朝向右上、朝向左下或朝向右下）。例如，控制器160可以通过不同角度的人脸图像来学习每个人脸，并且可以利用积累的人脸学习数据从输入图像帧中检测人脸的角度或人脸的注视方向。
当实时校正注视方向时，取决于屏幕图像中人脸的比例、人脸的位置以及人脸的角度/倾斜度，检测人脸/眼睛/鼻子的失败和成功频繁地相互交替。执行注视方向校正和不执行注视方向校正相互交替，从而会出现眼睛看上去像在眨眼的现象。为了解决这个问题，在图2的步骤S240，控制器160可以确定是否适于校正注视方向。
为了确定是否适于校正注视方向，控制器160确定是否满足以下条件。具体来说，控制器160执行以下三个步骤中的至少一个，由此可以确定是否适于校正注视方向。
图5是图示根据本发明的实施例的确定是否适于校正注视方向的步骤的示图。
首先，作为取决于人脸的大小的条件，当左眼中心坐标510与右眼中心坐标520之间的距离D_eyes小于或等于预先设置的阈值T_size时，校正注视方向。相反，当D_eyes大于T_size时，校正注视方向，直到人脸/眼睛/鼻子的检测失败。在人脸/眼睛/鼻子的检测失败之后，不校正注视方向，直到D_eyes变成小于或等于T_size。当D_eyes大于T_size并且人脸/眼睛/鼻子的检测失败时，在显示单元116上可以显示适于校正注视方向的人脸区域指导（或指导区域）530，或者可以在显示单元116上显示一消息。
第二，作为取决于人脸位置的条件，当以预先确定的使得能够检测人脸/眼睛/鼻子的指导区域530作为参考、两眼的坐标510和520位于指导区域内部时，校正注视方向。相反，当两眼的坐标510和520位于指导区域外部时，校正注视方向，直到人脸/眼睛/鼻子的检测失败。然后，在人脸/眼睛/鼻子的检测失败之后，不校正注视方向，直到两眼的坐标510和520位于指导区域530内部。
第三，在使用两眼的坐标510和520估计倾斜度之后，换句话说，当连接两眼坐标510和520的虚拟线段与屏幕上X轴形成的角度小于或等于预先确定的倾斜度时，校正注视方向。当该角度大于预先确定的倾斜度时，校正注视方向，直到人脸/眼睛/鼻子的检测失败，反之不校正注视方向，直到两眼的倾斜度变成小于或等于确定的倾斜度。在所有的情况中，在人脸/眼睛/鼻子的检测失败之后，都可以在显示单元116上显示适于校正注视方向的人脸区域指导530或X轴，或者可以在显示单元116上显示一消息。
再次参考图2，在步骤S250，控制器160使用每个最终检测的眼睛的坐标作为参考来检测每只眼睛的轮廓（即，眼睛区域）。步骤S250将在自眼睛区域的中心坐标起通过预先设置的眼睛模型的每个轮廓点的矢量的方向上具有最大的像素亮度值变化的点，设置为眼睛区域的轮廓点。
可以使用基于眼睛模型的轮廓提取技术来检测每只眼睛的精确轮廓。使用对各种眼睛形状的学***均形状（mean shape）位于经过照度校正的眼睛区域中，并且每只眼睛的坐标以及每只眼睛的端点被设置为初始点。每只眼睛的端点被定义为其到相关瞳孔的距离是相关瞳孔与另一瞳孔之间距离的1/5的点。在选择了初始点之后，搜索在眼睛模型的平均形状中包括的N个点中的每个点的法线矢量方向上（即，在连接中心坐标与眼睛模型的每个点的矢量的方向上），具有最大的像素亮度值变化的点。将连接N个点的曲线定义为每只眼睛的轮廓，所述N个点中的每一个均如上所述具有最大的像素亮度值变化。
图6是图示检测到的眼睛的轮廓的示图。如图6中所示，检测到的眼睛的轮廓620被定义为连接八个轮廓点610的曲线。
正如为了使经过注视方向校正的眼睛的晃动最小化而重新调整每只眼睛的坐标和鼻子的坐标一样，可以使用在在前帧中获得的轮廓信息，对确定检测到的眼睛的轮廓的N个点执行重新调整过程。重新调整的例子如下。针对在在前帧中获得的确定轮廓的N个点以及在当前帧中获得的N个点，计算相互匹配的点之间的运动距离Di（i=1、2、3...N）和平均运动距离DM。当平均运动距离小于或等于预先确定的阈值T_contour时，给予在前帧中的坐标信息和当前帧中的坐标信息以权重，并且重新调整每个点的坐标。当平均运动距离大于预先确定的阈值T_contour时，按原样使用当前帧中获得的轮廓信息。像在重新调整每只眼睛的坐标和鼻子的坐标的情况一样，用于重新调整每个点的坐标的权重可以使用固定值。或者，也可以使用利用人脸/眼睛/鼻子的坐标信息、Di和DM动态确定的数值。此外，在提取确定每只眼睛的轮廓的点时，可能发生错误地提取了一些点的现象。为了避免这些错误，可以使用这样的方法：其中，相对于运动距离大于关于在前帧中的点所计算的平均运动距离的每一个点，给予在前帧中的每个点以大的权重。
再次参考图2，在步骤S260，控制器160将检测到的眼睛的轮廓变换成眼睛注视照相机的方向上的眼睛的轮廓。换句话说，控制器160将当前帧中眼睛区域的轮廓点改变成预先设置的向着参考照相机的注视方向上的轮廓点。控制器160应该基于当前帧中用户的人脸的注视方向（换句话说，人脸的角度或倾斜度）与预先设置的向着参考照相机的注视方向（即，人脸的角度或倾斜度）之间的差，来改变定义检测到的眼睛的轮廓的轮廓点。具体来说，为了生成具有看着照相机150的形状的眼睛，控制器160移动检测到的轮廓点中的至少一些，以使它们与预先存储的直视前方的眼睛区域的轮廓点匹配。作为用于移动轮廓点的方法，可以生成并使用一变换函数，该变换函数用于使用看着显示单元116的眼睛的数据和看着照相机150的眼睛的学习数据来改变眼睛形状。例如，可以生成并使用仿射变换函数（affine transformation function），该仿射变换函数用于将看着显示单元116的眼睛的轮廓点变换成看着照相机的眼睛的轮廓点。或者，可以将每只眼睛的上部的轮廓点与其下部的轮廓点分离，从而可以生成和使用两个仿射变换函数。作为另一个例子，可以根据学习数据生成用于眼睛上部轮廓点的仿射变换函数，然后可以使用该仿射变换函数来变换眼睛的轮廓点。在获得连接每只眼睛的内端点和外端点的直线之后，可以将眼睛的下部的轮廓转换成具有与该直线接近的形状的轮廓。此外，用户可以沿着Y轴调整每只眼睛的上部轮廓点的运动范围，从而可以调整校正了注视方向的每只眼睛的大小。
图7是图示根据本发明的实施例的变换眼睛轮廓的示图。图7图示了通过根据仿射变换函数向上移动检测到的眼睛的上部轮廓720的点710而获得的眼睛上部的新轮廓720a的点710a。此外，图7图示了通过根据直线函数向上移动眼睛的下部轮廓740的点730而获得的眼睛下部的新轮廓740a的点730a。
再次参考图2，在步骤S270，控制器160根据变换后的眼睛轮廓对眼睛区域执行纹理变形。具体来说，控制器160使用正向变形（forward warping）技术或反向变形(backwardwarping)技术来对眼睛区域执行纹理映射。
只有在执行了纹理变形之后才可以获得已经校正了注视方向的眼睛的形状。可以使用与在变形前作为参考的眼睛区域的每个点执行映射的正向变形以及与在变形后作为参考的眼睛区域的每个点执行映射的反向变形两者。这些变形技术是常规技术，因此不在这里进行详细描述。在正向变形过程中，生成未被纹理填充的孔。在这种情况下，与使用附近的纹理信息来填充该孔并行地执行正向变形。因为在反向变形过程中不生成孔，所以优选的是使用反向变形方法。
图8A和图8B是图示根据本发明的实施例的通过纹理变形变换眼睛的形状的示图。图8A图示了变换前眼睛的形状，图8B图示了变换后眼睛的形状。
在本发明的实施例中，可以使用椭圆形遮罩或椭圆形区域来减少变形所需的处理时间并解决在对戴眼镜的人执行变形时出现的在眼镜框周围的不自然。
图9是图示在纹理变形中使用的椭圆形遮罩的示图。在包括眼睛轮廓910的所有点920的矩形窗930内生成椭圆形遮罩940。在椭圆形遮罩940内执行变形。此外，在执行变形之后，为了解决椭圆形边界部分的不自然，可以模糊椭圆形边界区域。
图10是图示根据本发明的实施例的用于校正注视方向的方法的效果的示图。根据例如从用户的视点对注视方向的校正，向上看的眼睛1010、向左上方看的眼睛1020、向左看地眼睛1030、向左下方看的眼睛1040、向下看的眼睛1050、向右下看的眼睛1060、向右看的眼睛1070以及向右上看的眼睛1080全部被变换成直视前方的眼睛1000。换句话说，注视显示单元的眼睛被变换成注视照相机的眼睛。没有变换人脸的总体形状、它的角度以及它的倾斜度，而是仅仅变换了眼睛的形状。
在本发明的实施例中，可以在具有容量有限的存储介质以及有限的计算处理能力的电子装置中，利用安装到电子装置的单个照相机、无需添加单独的照相机或传感器，在所有应用技术中实时地或高速地校正图像中用户的注视方向，其中用户注视方向的视差是由用户向显示单元的注视方向与用户向照相机的注视方向之间的差而引起的。本发明的实施例具有这样的效果：在视频电话通话期间或者在视频会议期间，用户或会议参加者之间的目光接触不仅能使它们专注于谈话，而且增强了便利性。此外，本发明的实施例提供了在镜子功能中看上去用户像是正在实际看向镜子的效果。此外，本发明提供了这样的优点：它提供了便利性，使得用户为了在自拍时捕获好的他/她自己的图像，用户能够在观看显示单元上显示的他/她自己的人脸图像的同时捕获图像，而无需举高便携式通信终端并且在看向照相机的同时捕获图像。
将会理解，本发明的实施例可以以硬件、软件或硬件和软件的组合的形式来实现。任何这样的软件都可以存储在易失性或非易失性存储设备中，如只读存储器（ROM），或存储在诸如随机存取存储器（RAM）、存储器芯片、存储器器件或存储器集成电路的存储器中，或者存储在能够以光学方式或磁性方式进行记录、同时可由机器读取的诸如光盘（CD）、数字多功能盘（DVD）、磁盘或磁带的存储介质中，而不管软件是否能够被删除或重写。将会理解，存储器是适用于存储包括用来实现本发明的实施例的指令的程序或多个程序的机器（例如计算机）可读的存储介质的例子。因此，本发明的实施例包括程序以及用于存储该程序的机器可读存储介质，所述程序包括代码，该代码用于实现本申请文件的任意权利要求中要求保护的方法。同时，该程序可以经由诸如通过有线或无线连接传输的通信信号的任何介质来以电的方式传送，并且本发明的实施例适于包括该程序的等效物。
便携式终端可以从用于提供程序的装置接收程序，并且可以存储接收到的程序，所述便携式终端以有线或无线方式连接到该用于提供程序的装置。用于提供程序的装置可以包括：存储单元，用于存储包括指令的程序，所述指令使得便携式终端执行用于校正预先设置的图像中用户的注视方向的方法，该存储单元还用于存储用校正图像中用户的注视方向的方法所需的信息，等等；通信单元，用于与便携式终端执行有线或无线通信；以及控制器，用于在便携式终端请求时或者自动地向便携式终端传送相关程序。
虽然已经参照本发明的特定实施例示出和描述了本发明，但本领域技术人员将会理解，可以对其进行形式上和细节上的各种改变而不会脱离本发明的精神和范围。因此，本发明的精神和范围不局限于所描述的本发明的实施例，而是由权利要求及其等效物来限定。
Claims (14)
1.一种用于校正图像中用户的注视方向的方法，该方法包括如下步骤：
在图像中检测用户的人脸；
在检测到的人脸中检测眼睛区域的轮廓点；
将在图像中检测到的眼睛区域的轮廓点改变为与朝向参考照相机的注视方向相对应的轮廓点；以及
通过根据改变后的轮廓点变换眼睛区域来校正图像中用户的注视方向，
其中，所述方法还包括：
通过执行以下步骤中的至少一个来确定是否适于校正注视方向：
确定图像中两只眼睛之间的距离是否小于或等于预先设置的阈值；
确定两只眼睛是否位于预先设置的指导区域中；以及
确定使用两只眼睛的坐标测量的检测到的人脸的倾斜度是否小于或等于预先设置的倾斜度。
2.如权利要求1所述的方法，其中，在图像中检测用户的人脸包括：
将预设阈值与在前帧中每只眼睛的坐标和当前帧中每只眼睛的坐标之间的差进行比较；以及
当所述差小于该阈值时，调整当前帧中每只眼睛的坐标。
3.如权利要求2所述的方法，其中，调整每只眼睛的坐标包括：将当前帧中每只眼睛的坐标改变为位于在前帧中每只眼睛的坐标和当前帧中每只眼睛的坐标之间的坐标。
4.如权利要求1所述的方法，其中，在检测到的人脸中检测眼睛区域的轮廓点包括：将在从眼睛区域的中心坐标起通过预先设置的眼睛模型的每个轮廓点的矢量方向上具有最大的像素亮度值变化的点，设置为眼睛区域的轮廓点。
5.如权利要求1所述的方法，其中，朝向参考照相机的注视方向对应于直视前方的注视方向。
6.如权利要求1所述的方法，其中，改变轮廓点包括：将检测到的轮廓点中的至少一些轮廓点改变成预先存储的、注视朝向参考照相机方向的眼睛区域的轮廓点。
7.如权利要求1所述的方法，其中，变换眼睛区域包括：使用正向变形技术或反向变形技术来对眼睛区域执行纹理映射。
8.如权利要求7所述的方法，其中，在包括改变后的眼睛区域的轮廓点的椭圆形遮罩内执行该纹理映射。
9.如权利要求1所述的方法，其中，改变轮廓点包括：基于图像中用户的人脸的注视方向和预先设置为参考的朝向参考照相机的注视方向之间的差，改变所述轮廓点。
10.如权利要求1所述的方法，其中，在执行自拍应用、视频电话通话应用或镜像应用的同时捕获所述图像。
11.一种用于记录程序的机器可读存储介质，该程序用于执行如权利要求1到10中的任意一项所述的用于校正图像中用户的注视方向的方法。
12.一种便携式终端，其包括如权利要求11所述的机器可读存储介质。
13.一种用于校正图像中用户的注视方向的便携式终端，该便携式终端包括：
照相机，用于捕获图像；
控制器，用于在图像中检测用户的人脸，在检测到的人脸中检测眼睛区域的轮廓点，将在图像中检测到的眼睛区域的轮廓点改变成与朝向参考照相机的注视方向相对应的轮廓点，以及通过根据改变后的轮廓点变换眼睛区域来校正图像中用户的注视方向；以及
显示单元，用于显示控制器变换了眼睛区域的图像，
其中，所述控制器还被配置为：
通过执行以下步骤中的至少一个来确定是否适于校正注视方向：
确定图像中两只眼睛之间的距离是否小于或等于预先设置的阈值；
确定两只眼睛是否位于预先设置的指导区域中；以及
确定使用两只眼睛的坐标测量的检测到的人脸的倾斜度是否小于或等于预先设置的倾斜度。
14.如权利要求13所述的便携式终端，其中，在执行自拍应用、视频电话通话应用或镜像应用的同时捕获所述图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2012-0021091 | 2012-02-29 | ||
| KR1020120021091A KR101977638B1 (ko) | 2012-02-29 | 2012-02-29 | 영상 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103310186A CN103310186A (zh) | 2013-09-18 |
| CN103310186B true CN103310186B (zh) | 2018-01-16 |
Family
ID=47891377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310062577.0A Active CN103310186B (zh) | 2012-02-29 | 2013-02-28 | 校正图像中用户的注视方向的方法和便携式终端 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US9288388B2 (zh) |
| EP (1) | EP2634727B1 (zh) |
| JP (1) | JP6165459B2 (zh) |
| KR (1) | KR101977638B1 (zh) |
| CN (1) | CN103310186B (zh) |
| AU (1) | AU2013200807B2 (zh) |
| WO (1) | WO2013129792A1 (zh) |
Families Citing this family (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101979669B1 (ko) | 2012-07-13 | 2019-05-17 | 삼성전자주식회사 | 이미지 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말 |
| KR20140090538A (ko) * | 2013-01-09 | 2014-07-17 | 삼성전자주식회사 | 디스플레이 장치 및 제어 방법 |
| KR102195314B1 (ko) * | 2013-08-28 | 2020-12-24 | 삼성전자주식회사 | 전자 장치 및 그 동작 방법 |
| KR102171332B1 (ko) * | 2013-09-10 | 2020-10-28 | 에스케이플래닛 주식회사 | 얼굴 영상 보정 장치, 방법 및 컴퓨터 프로그램이 기록된 기록매체 |
| WO2015056466A1 (ja) | 2013-10-16 | 2015-04-23 | オリンパスイメージング株式会社 | 表示装置、画像生成装置、表示方法およびプログラム |
| WO2015064144A1 (ja) * | 2013-10-30 | 2015-05-07 | オリンパスイメージング株式会社 | 撮像装置、撮像方法およびプログラム |
| JP5702037B1 (ja) * | 2013-10-30 | 2015-04-15 | オリンパスイメージング株式会社 | 撮像装置、撮像方法およびプログラム |
| WO2015103745A1 (en) * | 2014-01-08 | 2015-07-16 | Nokia Technologies Oy | An apparatus and associated methods for image capture |
| JP6402301B2 (ja) * | 2014-02-07 | 2018-10-10 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 視線変換装置、視線変換方法及びプログラム |
| US9883138B2 (en) * | 2014-02-26 | 2018-01-30 | Microsoft Technology Licensing, Llc | Telepresence experience |
| CN105279764B (zh) | 2014-05-27 | 2020-09-11 | 北京三星通信技术研究有限公司 | 眼睛图像处理设备和方法 |
| US9798383B2 (en) * | 2014-09-19 | 2017-10-24 | Intel Corporation | Facilitating dynamic eye torsion-based eye tracking on computing devices |
| US9430696B2 (en) * | 2014-10-09 | 2016-08-30 | Sensory, Incorporated | Continuous enrollment for face verification |
| US10452136B2 (en) | 2014-10-13 | 2019-10-22 | Thomson Licensing | Method for controlling the displaying of text for aiding reading on a display device, and apparatus adapted for carrying out the method, computer program, and computer readable storage medium |
| CN105763829A (zh) * | 2014-12-18 | 2016-07-13 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
| CN105791671B (zh) * | 2014-12-26 | 2021-04-02 | 中兴通讯股份有限公司 | 一种前摄像头拍摄修正方法、装置及终端 |
| CN104574321B (zh) * | 2015-01-29 | 2018-10-23 | 京东方科技集团股份有限公司 | 图像修正方法、图像修正装置和视频*** |
| US9300916B1 (en) | 2015-02-10 | 2016-03-29 | International Business Machines Corporation | Natural gazes during online video conversations |
| CN105989577B (zh) * | 2015-02-17 | 2020-12-29 | 中兴通讯股份有限公司 | 一种图像校正的方法和装置 |
| RU2596062C1 (ru) | 2015-03-20 | 2016-08-27 | Автономная Некоммерческая Образовательная Организация Высшего Профессионального Образования "Сколковский Институт Науки И Технологий" | Способ коррекции изображения глаз с использованием машинного обучения и способ машинного обучения |
| WO2016176225A1 (en) * | 2015-04-28 | 2016-11-03 | Microsoft Technology Licensing, Llc | Eye gaze correction |
| GB201507210D0 (en) | 2015-04-28 | 2015-06-10 | Microsoft Technology Licensing Llc | Eye gaze correction |
| GB201507224D0 (en) | 2015-04-28 | 2015-06-10 | Microsoft Technology Licensing Llc | Eye gaze correction |
| TW201639347A (zh) * | 2015-04-28 | 2016-11-01 | 微軟技術授權有限責任公司 | 視線校正(二) |
| KR102317021B1 (ko) | 2015-06-26 | 2021-10-25 | 삼성전자주식회사 | 디스플레이 장치 및 이의 영상 보정 방법 |
| CN105592249B (zh) * | 2015-12-23 | 2018-12-21 | 努比亚技术有限公司 | 基于眼纹识别对照片中人物进行眼部修复的终端及方法 |
| US10321123B2 (en) | 2016-01-05 | 2019-06-11 | Reald Spark, Llc | Gaze correction of multi-view images |
| US10423830B2 (en) * | 2016-04-22 | 2019-09-24 | Intel Corporation | Eye contact correction in real time using neural network based machine learning |
| US10664949B2 (en) * | 2016-04-22 | 2020-05-26 | Intel Corporation | Eye contact correction in real time using machine learning |
| CN108347578B (zh) * | 2017-01-23 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 视频通话中视频图像的处理方法及装置 |
| EP3665553B1 (en) | 2017-08-08 | 2023-12-13 | RealD Spark, LLC | Adjusting a digital representation of a head region |
| CN107562199B (zh) * | 2017-08-31 | 2020-10-09 | 北京金山安全软件有限公司 | 一种页面对象设置方法、装置、电子设备及存储介质 |
| KR102460665B1 (ko) * | 2017-12-14 | 2022-10-31 | 삼성전자주식회사 | 응시 거리를 결정하는 방법 및 디바이스 |
| JP7255721B2 (ja) * | 2018-02-08 | 2023-04-11 | 日本電気株式会社 | 視線推定装置、視線推定方法、およびプログラム |
| US11017575B2 (en) | 2018-02-26 | 2021-05-25 | Reald Spark, Llc | Method and system for generating data to provide an animated visual representation |
| EP3766039A4 (en) * | 2018-03-15 | 2021-04-07 | Magic Leap, Inc. | IMAGE CORRECTION BY DEFORMING COMPONENTS OF A VIEWING DEVICE |
| JP2019201360A (ja) * | 2018-05-17 | 2019-11-21 | 住友電気工業株式会社 | 画像処理装置、コンピュータプログラム、ビデオ通話システム、及び画像処理方法 |
| KR20200067465A (ko) | 2018-12-04 | 2020-06-12 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
| CN111368589A (zh) * | 2018-12-25 | 2020-07-03 | 北京三星通信技术研究有限公司 | 用于视线估计的方法、装置和电子设备 |
| US11360555B2 (en) | 2019-05-20 | 2022-06-14 | Cyberlink Corp. | Systems and methods for automatic eye gaze refinement |
| CN110196640A (zh) * | 2019-05-31 | 2019-09-03 | 维沃移动通信有限公司 | 一种操作控制方法及终端 |
| CN112085647B (zh) * | 2019-06-14 | 2024-01-19 | 华为技术有限公司 | 一种人脸校正方法及电子设备 |
| CN110458121B (zh) * | 2019-08-15 | 2023-03-14 | 京东方科技集团股份有限公司 | 一种人脸图像生成的方法及装置 |
| CN110544317A (zh) * | 2019-08-29 | 2019-12-06 | 联想(北京)有限公司 | 图像处理方法、装置、电子设备和可读存储介质 |
| CN111399658B (zh) * | 2020-04-24 | 2022-03-15 | Oppo广东移动通信有限公司 | 眼球注视点的校准方法、装置、电子设备及存储介质 |
| US11647158B2 (en) | 2020-10-30 | 2023-05-09 | Microsoft Technology Licensing, Llc | Eye gaze adjustment |
| CN112733797B (zh) * | 2021-01-22 | 2021-10-08 | 腾讯科技（深圳）有限公司 | 人脸图像的视线矫正方法、装置、设备及存储介质 |
| CN112733794B (zh) * | 2021-01-22 | 2021-10-15 | 腾讯科技（深圳）有限公司 | 人脸图像的视线矫正方法、装置、设备及存储介质 |
| US11871147B2 (en) | 2021-06-09 | 2024-01-09 | Microsoft Technology Licensing, Llc | Adjusting participant gaze in video conferences |
| KR20230001715A (ko) * | 2021-06-29 | 2023-01-05 | 삼성전자주식회사 | 시선 방향 인식 시에 에러를 보정하는 전자 장치 및 전자 장치의 동작 방법 |
| CN113885699B (zh) * | 2021-09-03 | 2023-12-01 | 南京信息工程大学 | 一种眼标控制方法 |
| US11695897B2 (en) | 2021-09-27 | 2023-07-04 | Advanced Micro Devices, Inc. | Correcting engagement of a user in a video conference |
| US20240012472A1 (en) * | 2022-07-08 | 2024-01-11 | Tencent America LLC | Vergence based gaze matching for mixed-mode immersive telepresence application |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04271476A (ja) * | 1991-02-26 | 1992-09-28 | Sanki Syst Eng Kk | マルチワイヤフレーム |
| JP2000137789A (ja) * | 1998-10-29 | 2000-05-16 | Sharp Corp | 画像処理装置 |
| JP2009246408A (ja) * | 2008-03-28 | 2009-10-22 | Toshiba Corp | 対話装置、画像処理モジュール、画像処理方法およびプログラム |
| JP2011204182A (ja) * | 2010-03-26 | 2011-10-13 | Konami Digital Entertainment Co Ltd | 画像生成装置、画像加工方法、および、プログラム |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SG91841A1 (en) | 1999-11-03 | 2002-10-15 | Kent Ridge Digital Labs | Face direction estimation using a single gray-level image |
| KR100307854B1 (ko) | 1999-11-10 | 2001-11-02 | 전병우 | 단일카메라를 이용한 시선 맞춤 보정 방법 및 그 장치 |
| US7206435B2 (en) * | 2002-03-26 | 2007-04-17 | Honda Giken Kogyo Kabushiki Kaisha | Real-time eye detection and tracking under various light conditions |
| US6771303B2 (en) | 2002-04-23 | 2004-08-03 | Microsoft Corporation | Video-teleconferencing system with eye-gaze correction |
| US8098901B2 (en) * | 2005-01-26 | 2012-01-17 | Honeywell International Inc. | Standoff iris recognition system |
| JP2005117106A (ja) | 2003-10-02 | 2005-04-28 | Nec Corp | 撮像機能付携帯電話機とその制御方法及び制御プログラム |
| JP4038689B2 (ja) * | 2004-01-21 | 2008-01-30 | ソニー株式会社 | 表示制御装置および方法、記録媒体、並びにプログラム |
| US7623683B2 (en) * | 2006-04-13 | 2009-11-24 | Hewlett-Packard Development Company, L.P. | Combining multiple exposure images to increase dynamic range |
| JP4999570B2 (ja) * | 2007-06-18 | 2012-08-15 | キヤノン株式会社 | 表情認識装置及び方法、並びに撮像装置 |
| DE102008011836A1 (de) * | 2008-02-28 | 2009-09-03 | Carl Zeiss Meditec Ag | Ophthalmologisches Gerät und Verfahren zur Beobachtung, Untersuchung, Diagnose und/oder Therapie eines Auges |
| JP4862934B2 (ja) * | 2008-11-28 | 2012-01-25 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US8581838B2 (en) * | 2008-12-19 | 2013-11-12 | Samsung Electronics Co., Ltd. | Eye gaze control during avatar-based communication |
| JP2010239583A (ja) | 2009-03-31 | 2010-10-21 | Brother Ind Ltd | 通信端末装置、通信端末装置の通信制御方法、通信制御プログラム |
| BR112012005222A2 (pt) * | 2009-09-11 | 2019-09-24 | Koninklijke Philips Electrnics N. V. | método para um sistema de processamento de imagem, sistema de processamento de imagem e produto de programa de computador |
| KR101184097B1 (ko) | 2009-12-07 | 2012-09-18 | 삼성전자주식회사 | 얼굴 정면포즈 판단 방법 |
| JP5639832B2 (ja) * | 2010-09-30 | 2014-12-10 | 任天堂株式会社 | 情報処理プログラム、情報処理方法、情報処理システム、及び情報処理装置 |
| KR20120053803A (ko) * | 2010-11-18 | 2012-05-29 | 삼성전자주식회사 | 시선 궤적을 이용한 컨텐츠 표시 장치 및 방법 |
| JP4893863B1 (ja) * | 2011-03-11 | 2012-03-07 | オムロン株式会社 | 画像処理装置、および画像処理方法 |
| US9041734B2 (en) * | 2011-07-12 | 2015-05-26 | Amazon Technologies, Inc. | Simulating three-dimensional features |
| US8885882B1 (en) * | 2011-07-14 | 2014-11-11 | The Research Foundation For The State University Of New York | Real time eye tracking for human computer interaction |
| US9075453B2 (en) * | 2011-12-29 | 2015-07-07 | Khalifa University of Science, Technology & Research (KUSTAR) | Human eye controlled computer mouse interface |
| US20150084864A1 (en) * | 2012-01-09 | 2015-03-26 | Google Inc. | Input Method |
-
2012
- 2012-02-29 KR KR1020120021091A patent/KR101977638B1/ko active IP Right Grant
-
2013
- 2013-01-15 US US13/741,991 patent/US9288388B2/en active Active
- 2013-02-14 JP JP2013026367A patent/JP6165459B2/ja active Active
- 2013-02-14 AU AU2013200807A patent/AU2013200807B2/en not_active Ceased
- 2013-02-15 EP EP13155468.5A patent/EP2634727B1/en active Active
- 2013-02-15 WO PCT/KR2013/001194 patent/WO2013129792A1/en active Application Filing
- 2013-02-28 CN CN201310062577.0A patent/CN103310186B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04271476A (ja) * | 1991-02-26 | 1992-09-28 | Sanki Syst Eng Kk | マルチワイヤフレーム |
| JP2000137789A (ja) * | 1998-10-29 | 2000-05-16 | Sharp Corp | 画像処理装置 |
| JP2009246408A (ja) * | 2008-03-28 | 2009-10-22 | Toshiba Corp | 対話装置、画像処理モジュール、画像処理方法およびプログラム |
| JP2011204182A (ja) * | 2010-03-26 | 2011-10-13 | Konami Digital Entertainment Co Ltd | 画像生成装置、画像加工方法、および、プログラム |
Non-Patent Citations (4)
| Title |
|---|
| An Eye for an Eye：A Single Camera Gaze-Replacement Method;Lior Wolf等;《Computer Vision and Pattern Recognition(CVPR),2010 IEEE Conference on》;20100601;第817页第21-27行、第818页第44-72页 * |
| FACE AND EYE RECTIFICATION IN VIDEO CONFERENCE USING ARTIFICIAL NEURAL NETWORK;Ben Yip;《Multimedia and Expo,2005.ICME 2005.IEEE International Conference on》;20050706;第690-693页 * |
| Radial Symmetry Guided Particle Filter for Robust Iris Tracking;Francis Martinez等;《SpringerLink》;20111231;第531-539页 * |
| Virtual Gaze Redirection in Face Images;Dorian Weiner and Nahum Kiryati;《Image Analysis and Processing ,2003,Proceedings.12th International Conference on》;20030919;第76-81页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2634727B1 (en) | 2018-11-07 |
| US9288388B2 (en) | 2016-03-15 |
| AU2013200807A1 (en) | 2013-09-12 |
| JP6165459B2 (ja) | 2017-07-19 |
| EP2634727A3 (en) | 2015-07-15 |
| US20130222644A1 (en) | 2013-08-29 |
| WO2013129792A1 (en) | 2013-09-06 |
| CN103310186A (zh) | 2013-09-18 |
| EP2634727A2 (en) | 2013-09-04 |
| AU2013200807B2 (en) | 2016-02-18 |
| KR101977638B1 (ko) | 2019-05-14 |
| JP2013182616A (ja) | 2013-09-12 |
| KR20130099521A (ko) | 2013-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103310186B (zh) | 校正图像中用户的注视方向的方法和便携式终端 | |
| RU2679986C2 (ru) | Отслеживание выражения лица | |
| KR101979669B1 (ko) | 이미지 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말 | |
| CN108399349B (zh) | 图像识别方法及装置 | |
| JP5450739B2 (ja) | 画像処理装置及び画像表示装置 | |
| US11977981B2 (en) | Device for automatically capturing photo or video about specific moment, and operation method thereof | |
| CN112069863B (zh) | 一种面部特征的有效性判定方法及电子设备 | |
| KR102134476B1 (ko) | 인공신경망을 이용한 가상 피팅 시스템, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 | |
| JP2015088096A (ja) | 情報処理装置および情報処理方法 | |
| US10602077B2 (en) | Image processing method and system for eye-gaze correction | |
| CN111242090A (zh) | 基于人工智能的人脸识别方法、装置、设备及介质 | |
| WO2021042364A1 (zh) | 拍摄图像的方法和装置 | |
| US11284020B2 (en) | Apparatus and method for displaying graphic elements according to object | |
| US20220329729A1 (en) | Photographing method, storage medium and electronic device | |
| US9323981B2 (en) | Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored | |
| JP7400721B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| KR102039164B1 (ko) | 다중 구조 인공신경망을 이용한 가상 피팅을 수행하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 | |
| CN115393962A (zh) | 动作识别方法、头戴显示设备和存储介质 | |
| JP2014120139A (ja) | 画像処理装置およびその制御方法、撮像装置、および表示装置 | |
| KR20190114603A (ko) | 순환 구조 인공신경망을 이용한 가상 피팅을 수행하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 | |
| CN115880348B (zh) | 一种人脸深度的确定方法、电子设备及存储介质 | |
| KR20210106763A (ko) | 객체의 움직임을 추적하는 전자 장치 및 방법 | |
| KR20130123316A (ko) | 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치 및 방법 | |
| CN117041670A (zh) | 图像处理方法及相关设备 | |
| JP2018033054A (ja) | 撮影装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |