CN105989577B - 一种图像校正的方法和装置 - Google Patents

一种图像校正的方法和装置 Download PDF

Info

Publication number
CN105989577B
CN105989577B CN201510086541.5A CN201510086541A CN105989577B CN 105989577 B CN105989577 B CN 105989577B CN 201510086541 A CN201510086541 A CN 201510086541A CN 105989577 B CN105989577 B CN 105989577B
Authority
CN
China
Prior art keywords
image
virtual
eyes
image plane
binocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510086541.5A
Other languages
English (en)
Other versions
CN105989577A (zh
Inventor
吴钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201510086541.5A priority Critical patent/CN105989577B/zh
Priority to PCT/CN2015/079708 priority patent/WO2016131217A1/zh
Publication of CN105989577A publication Critical patent/CN105989577A/zh
Application granted granted Critical
Publication of CN105989577B publication Critical patent/CN105989577B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像校正的方法,该方法包括:建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面;将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上;用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像。本发明能够对近距离拍摄画面中人物的视线进行校正,校正后的人物视线接近直视状态。本发明还公开了一种图像校正的装置。

Description

一种图像校正的方法和装置
技术领域
本发明涉及图像处理技术领域,尤其涉及的是一种图像校正的方法和装置。
背景技术
手机自拍或者视频通话的时候,因为人眼注视的目标是屏幕,而摄像头与注视的焦点有位置差,这个位置差在近距离拍照或者摄像的时候会造成人眼的视线偏差,使得画面中人物的视线总是向下(眼睛朝下看),用户体验不理想。
发明内容
本发明所要解决的技术问题是提供一种图像校正的方法和装置,能够对近距离拍摄画面中人物的视线进行校正,校正后的人物视线接近直视状态。
为了解决上述技术问题,本发明提供了一种图像校正的方法,该方法包括:
建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面;
将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上;
用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像。
进一步地,该方法还包括下述特点:
建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面,包括:
建立注视焦点落在终端屏幕画面中双眼中心点时对应的虚拟原始像平面;其中,所述虚拟原始像平面与经过双眼中心点和所述终端屏幕画面中双眼中心点的原始视线垂直相交于所述双眼中心点;
建立注视焦点落在所述摄像头时对应的虚拟校正像平面;其中,所述虚拟校正像平面与经过双眼中心点和所述摄像头的校正视线垂直相交于所述双眼中心点。
进一步地,该方法还包括下述特点:
将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上,包括:
将终端屏幕画面上显示的双眼图像的上半部分纵向根据函数f1(y)进行变化,将终端屏幕画面上显示的双眼图像的下半部分纵向根据函数f2(y)进行变化;
其中,f1(y)和f2(y)的函数式相同或不相同,y是终端屏幕画面上显示的双眼图像在直角坐标系中的纵坐标,所述直角坐标系的横轴为经过图像中双眼瞳孔中心的坐标轴,所述直角坐标系的纵轴垂直于所述横轴,所述横轴以上为双眼图像的上半部分,所述横轴以下为双眼图像的下半部分。
进一步地,该方法还包括下述特点:
如果校正后的视线垂直于摄像头所在的终端屏幕平面,则
f1(y)=|y|/(cosθ+(|y|/α)·sinθ),y≥0;
f2(y)=-|y|/(cosθ-(|y|/α)·sinθ),y<0;
其中,α是摄像头焦距;
其中,θ是虚拟原始像平面与虚拟校正像平面之间的夹角,θ=arctan(d1/d2);
其中,d1是摄像头与所述屏幕画面中双眼中心点之间的距离值,d2是摄像头与双眼中心点之间的距离值。
进一步地,该方法还包括下述特点:
所述方法还包括:
获取摄像头与人物双眼中心点之间的距离值,以及摄像头与屏幕画面中双眼中心点的距离值;
其中,摄像头与人物双眼中心点之间的距离值预先设定或通过红外传感器测距获得;其中,所述红外传感器装配在所述摄像头旁边;
其中,摄像头与屏幕画面中双眼中心点的距离值根据摄像头的物理位置,对屏幕画面中双眼位置进行分析和计算后获得。
进一步地,该方法还包括下述特点:
如检测到用户拍摄了双眼直视摄像头的参考图像,则用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像之前,还包括:
根据所述参考图像中的眼睛图像参数调整所述虚拟校正像平面上的眼睛的外轮廓的外接矩形的长宽比、眼球的外接矩形的长宽比、以及眼皮遮盖眼球的区域的宽度。
进一步地,该方法还包括下述特点:
用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像后,还包括:
对替换完成后的图像进行边缘融合处理。
为了解决上述技术问题,本发明提供了一种图像校正的装置,包括:
虚拟像平面构造模块,用于建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面;
映射模块,用于将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上;
图像合成模块,用于用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像。
进一步地,该装置还包括下述特点:
虚拟像平面构造模块,用于建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面,包括:
建立注视焦点落在终端屏幕画面中双眼中心点时对应的虚拟原始像平面;其中,所述虚拟原始像平面与经过双眼中心点和所述终端屏幕画面中双眼中心点的原始视线垂直相交于所述双眼中心点;
建立注视焦点落在所述摄像头时对应的虚拟校正像平面;其中,所述虚拟校正像平面与经过双眼中心点和所述摄像头的校正视线垂直相交于所述双眼中心点。
进一步地,该装置还包括下述特点:
映射模块,用于将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上,包括:
将终端屏幕画面上显示的双眼图像的上半部分纵向根据函数f1(y)进行变化,将终端屏幕画面上显示的双眼图像的下半部分纵向根据函数f2(y)进行变化;
其中,f1(y)和f2(y)的函数式相同或不相同,y是终端屏幕画面上显示的双眼图像在直角坐标系中的纵坐标,所述直角坐标系的横轴为经过图像中双眼瞳孔中心的坐标轴,所述直角坐标系的纵轴垂直于所述横轴,所述横轴以上为双眼图像的上半部分,所述横轴以下为双眼图像的下半部分。
进一步地,该装置还包括下述特点:
如果校正后的视线垂直于摄像头所在的终端屏幕平面,则
f1(y)=|y|/(cosθ+(|y|/α)·sinθ),y≥0;
f2(y)=-|y|/(cosθ-(|y|/α)·sinθ),y<0;
其中,α是摄像头焦距;
其中,θ是虚拟原始像平面与虚拟校正像平面之间的夹角,θ=arctan(d1/d2);
其中,d1是摄像头与所述屏幕画面中双眼中心点之间的距离值,d2是摄像头与双眼中心点之间的距离值。
进一步地,该装置还包括下述特点:
所述装置还包括:
数据获取模块,用于获取摄像头与人物双眼中心点之间的距离值,以及摄像头与屏幕画面中双眼中心点的距离值;
其中,摄像头与人物双眼中心点之间的距离值预先设定或通过红外传感器测距获得;其中,所述红外传感器装配在所述摄像头旁边;
其中,摄像头与屏幕画面中双眼中心点的距离值根据摄像头的物理位置,对屏幕画面中双眼位置进行分析和计算后获得。
进一步地,该装置还包括下述特点:
图像合成模块,还用于如检测到用户拍摄了双眼直视摄像头的参考图像,则用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像之前,还根据所述参考图像中的眼睛图像参数调整所述虚拟校正像平面上的眼睛的外轮廓的外接矩形的长宽比、眼球的外接矩形的长宽比、以及眼皮遮盖眼球的区域的宽度。
进一步地,该装置还包括下述特点:
图像合成模块,还用于用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像后,还对替换完成后的图像进行边缘融合处理。
与现有技术相比,本发明提供的一种图像校正的方法和装置,利用摄像头、人眼和屏幕画面中双眼图像之间的位置关系对近距离拍摄画面中的人物视线进行校正,校正后的人物视线接近直视状态。
附图说明
图1为本发明实施例的一种图像校正的方法的流程图。
图2为本发明中近距离拍摄时人眼视线的示意图。
图3为本发明实施例中虚拟原始像平面和虚拟校正像平面的示意图。
图4为校正视线垂直屏幕时虚拟原始像平面和虚拟校正像平面夹角的示意图。
图5为虚拟原始像平面和虚拟校正像平面成像原理示意图。
图6为将人眼图像从虚拟原始像平面映射到虚拟校正像平面的效果示意图。
图7为人眼图像的参数。
图8为本发明实施例的一种图像校正的装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
如图1所示,本发明实施例提供了一种图像校正的方法,该方法包括:
S10,建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面;
S20,将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上;
S30,用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像;
所述方法还可以包括下述特点:
其中,所述方法应用于视频通话或自拍;
其中,如图2所示,终端屏幕画面中显示的人物图像(笑脸)中双眼中心点C与前置摄像头B之间具有一定的距离,C点与B点之间的水平距离为图中标记的x,垂直距离为图中标记的y;人物双眼中心点记作A点,经过A、C两点的直线
Figure BDA0000674669700000061
与经过A、B两点的直线
Figure BDA0000674669700000062
之间的夹角为图中标记的∠b。
其中,建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面,包括:
建立注视焦点落在终端屏幕画面中双眼中心点时对应的虚拟原始像平面;其中,所述虚拟原始像平面与经过双眼中心点和所述终端屏幕画面中双眼中心点的原始视线垂直相交于所述双眼中心点;
建立注视焦点落在所述摄像头时对应的虚拟校正像平面;其中,所述虚拟校正像平面与经过双眼中心点和所述摄像头的校正视线垂直相交于所述双眼中心点;
如图3所示,A点为人物双眼中心点,B点为前置摄像头,C点为屏幕画面中双眼中心点。D点为终端屏幕上的一点,B点、C点和D点构成一个直角三角形,其中,∠BDC为直角。人眼原始视线落在屏幕画面中双眼中心点时对应的虚拟原始像平面为图中的平面a,直线
Figure BDA0000674669700000071
与平面a垂直相交于A点;人眼校正视线落在所述摄像头时对应的虚拟校正像平面为图中的平面b,直线
Figure BDA0000674669700000072
与平面b垂直相交于A点;平面a与平面b的夹角θ等于∠BAC。
其中,将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上,包括:
将终端屏幕画面上显示的双眼图像的上半部分纵向根据函数f1(y)进行变化,将终端屏幕画面上显示的双眼图像的下半部分纵向根据函数f2(y)进行变化;
其中,f1(y)和f2(y)相同或不相同,y是终端屏幕画面上显示的双眼图像在直角坐标系中的纵坐标,所述直角坐标系的横轴为经过图像中双眼瞳孔中心的坐标轴,所述直角坐标系的纵轴垂直于所述横轴,所述横轴以上为双眼图像的上半部分,所述横轴以下为双眼图像的下半部分;
其中,在自拍或者视频通话过程中,如果人眼视线与摄像头所在的手机平面垂直,手机平面跟人脸平面平行,则能够获得最好的拍摄角度和观看角度,也即,人眼视线近似垂直状态。
其中,如图4所示,如果校正后的视线垂直于摄像头所在的终端屏幕平面,则虚拟原始像平面(a平面)与虚拟校正像平面(b平面)之间的夹角θ的值为:θ=arctan(d1/d2);
其中,d1是摄像头B与所述屏幕画面中双眼中心点C之间的距离值,d2是摄像头与人物双眼中心点A之间的距离值;如图4所示,d1等于
Figure BDA0000674669700000081
的长度,d2等于
Figure BDA0000674669700000082
的长度,△ABC是直角三角形,AB⊥BC,AB垂直于b平面,AC垂直于a平面。
其中,如图5所示,B点为摄像头,o点为虚拟原始像平面a与虚拟校正像平面b交线上的点,o’为o点在摄像头成像平面上的像点;
为了计算虚拟原始像平面a和虚拟校正像平面b之间的映射关系,也即,为了计算视线调整后的人眼图像与原始人眼图像之间的关系,假设c点是虚拟原始像平面a的上半平面上的任意一个像素点,d点是虚拟原始像平面a的下半平面上的任意一个像素点,e点是虚拟校正像平面b的上半平面上的任意一个像素点,f点是虚拟校正像平面b的下半平面上的任意一个像素点,c’点是虚拟原始像平面a的上半平面上的c点在摄像头成像平面上成的像点,d’点是虚拟原始像平面a的下半平面上的d点在摄像头成像平面上成的像点,e’点是虚拟校正像平面b的上半平面上的e点在摄像头成像平面上成的像点,f’点是虚拟校正像平面b的下半平面上的f点在摄像头成像平面上成的像点;从c点向oo’轴作垂线cm,cm与oo’轴交于m点,从d点向oo’轴作垂线dn,dn与oo’轴交于n点;如果
Figure BDA0000674669700000083
则:
Figure BDA0000674669700000084
Figure BDA0000674669700000085
因为
Figure BDA0000674669700000086
所以得到
Figure BDA0000674669700000087
Figure BDA0000674669700000088
Figure BDA0000674669700000089
因为
Figure BDA00006746697000000810
所以得到
Figure BDA00006746697000000811
因此,f1(y)=(α·|y|)/(α·cosθ+|y|·sinθ),y≥0; (1-9)
也即,f1(y)=|y|/(cosθ+(|y|/α)·sinθ),y≥0; (1-10)
f2(y)=-(α·|y|)/(α·cosθ-|y|·sinθ),y<0; (1-11)
也即,f2(y)=-|y|/(cosθ-(|y|/α)·sinθ),y<0; (1-12)
其中,α是摄像头焦距,y是终端屏幕画面上显示的双眼图像在直角坐标系中的纵坐标,所述直角坐标系的横轴为经过图像中双眼瞳孔中心的坐标轴,所述直角坐标系的纵轴垂直于所述横轴。
其中,所述方法还包括:
获取摄像头与人物双眼中心点之间的距离值,以及摄像头与屏幕画面中双眼中心点的距离值;
其中,摄像头与人物双眼中心点之间的距离值预先设定或通过红外传感器测距获得;其中,所述红外传感器装配在所述摄像头旁边;
其中,摄像头与屏幕画面中双眼中心点的距离值根据摄像头的物理位置,对屏幕画面中双眼位置进行分析和计算后获得。
如图6所示,经过视线校正后,眼睛上半部分沿纵向缩短了,眼睛下半部分沿纵向拉伸了,眼皮的遮盖区域变窄了,校正后的视线接近眼睛直视状态。
其中,如检测到用户拍摄了双眼直视摄像头的参考图像,则用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像之前,还包括:
根据所述参考图像中的眼睛图像参数调整所述虚拟校正像平面上的眼睛的外轮廓的外接矩形的长宽比、眼球的外接矩形的长宽比、以及眼皮遮盖眼球的区域的宽度。调整后的眼睛图像的比例接近参考图像中眼睛图像的比例。
如图7所示,参考图像中的眼睛图像的参数包括:眼睛的外轮廓的外接矩形的横向长度(长)Lx,纵向长度(宽)Ly,眼球的外接矩形的横向长度(长)Lx1,纵向长度(宽)Ly,眼皮遮盖眼球的区域的宽度Ly1。
其中,用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像后,还包括:
对替换完成后的图像进行边缘融合处理。
如图8所示,本发明实施例提供了一种图像校正的装置,包括:
虚拟像平面构造模块,用于建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面;
映射模块,用于将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上;
图像合成模块,用于用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像。
所述图像校正的装置还可以包括下述特点:
其中,虚拟像平面构造模块,用于建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面,包括:
建立注视焦点落在终端屏幕画面中双眼中心点时对应的虚拟原始像平面;其中,所述虚拟原始像平面与经过双眼中心点和所述终端屏幕画面中双眼中心点的原始视线垂直相交于所述双眼中心点;
建立注视焦点落在所述摄像头时对应的虚拟校正像平面;其中,所述虚拟校正像平面与经过双眼中心点和所述摄像头的校正视线垂直相交于所述双眼中心点。
其中,映射模块,用于将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上,包括:
将终端屏幕画面上显示的双眼图像的上半部分纵向根据函数f1(y)进行变化,将终端屏幕画面上显示的双眼图像的下半部分纵向根据函数f2(y)进行变化;
其中,f1(y)和f2(y)的函数式相同或不相同,y是终端屏幕画面上显示的双眼图像在直角坐标系中的纵坐标,所述直角坐标系的横轴为经过图像中双眼瞳孔中心的坐标轴,所述直角坐标系的纵轴垂直于所述横轴,所述横轴以上为双眼图像的上半部分,所述横轴以下为双眼图像的下半部分。
其中,如果校正后的视线垂直于摄像头所在的终端屏幕平面,则
f1(y)=|y|/(cosθ+(|y|/α)·sinθ),y≥0;
f2(y)=-|y|/(cosθ-(|y|/α)·sinθ),y<0;
其中,α是摄像头焦距;
其中,θ是虚拟原始像平面与虚拟校正像平面之间的夹角,θ=arctan(d1/d2);
其中,d1是摄像头与所述屏幕画面中双眼中心点之间的距离值,d2是摄像头与双眼中心点之间的距离值。
其中,θ是虚拟原始像平面与虚拟校正像平面之间的夹角,θ=arctan(d1/d2);
其中,d1是摄像头与所述屏幕画面中双眼中心点之间的距离值,d2是摄像头与双眼中心点之间的距离值。
其中,所述装置还包括:
数据获取模块,用于获取摄像头与人物双眼中心点之间的距离值,以及摄像头与屏幕画面中双眼中心点的距离值;
其中,摄像头与人物双眼中心点之间的距离值预先设定或通过红外传感器测距获得;其中,所述红外传感器装配在所述摄像头旁边;
其中,摄像头与屏幕画面中双眼中心点的距离值根据摄像头的物理位置,对屏幕画面中双眼位置进行分析和计算后获得。
其中,图像合成模块,还用于如检测到用户拍摄了双眼直视摄像头的参考图像,则用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像之前,还根据所述参考图像中的眼睛图像参数调整所述虚拟校正像平面上的眼睛的外轮廓的外接矩形的长宽比、眼球的外接矩形的长宽比、以及眼皮遮盖眼球的区域的宽度。调整后的眼睛图像的比例接近参考图像中眼睛图像的比例。
其中,图像合成模块,还用于用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像后,还对替换完成后的图像进行边缘融合处理。
上述实施例提供的一种图像校正的方法和装置,利用摄像头、人眼和屏幕画面中双眼图像之间的位置关系对近距离拍摄画面中的人物视线进行校正,校正后的人物视线接近直视状态。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成,所述程序可以存储于计算机可读存储介质中,如只读存储器、磁盘或光盘等。可选地,上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现,相应地,上述实施例中的各模块/单元可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
需要说明的是,本发明还可有其他多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种图像校正的方法,该方法包括:
建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面;
将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上,其包括:将终端屏幕画面上显示的双眼图像的上半部分纵向根据函数f1(y)进行变化,将终端屏幕画面上显示的双眼图像的下半部分纵向根据函数f2(y)进行变化;
如果校正后的视线垂直于摄像头所在的终端屏幕平面,则
f1(y)=|y|/(cosθ+(|y|/α)·sinθ),y≥0;
f2(y)=-|y|/(cosθ-(|y|/α)·sinθ),y<0;
其中,f1(y)和f2(y)的函数式相同或不相同,y是终端屏幕画面上显示的双眼图像在直角坐标系中的纵坐标,所述直角坐标系的横轴为经过图像中双眼瞳孔中心的坐标轴,所述直角坐标系的纵轴垂直于所述横轴,所述横轴以上为双眼图像的上半部分,所述横轴以下为双眼图像的下半部分;
其中,α是摄像头焦距;θ是虚拟原始像平面与虚拟校正像平面之间的夹角,θ=arctan(d1/d2);其中,d1是摄像头与所述屏幕画面中双眼中心点之间的距离值,d2是摄像头与双眼中心点之间的距离值;
用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像。
2.如权利要求1所述的方法,其特征在于:
建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面,包括:
建立注视焦点落在终端屏幕画面中双眼中心点时对应的虚拟原始像平面;其中,所述虚拟原始像平面与经过双眼中心点和所述终端屏幕画面中双眼中心点的原始视线垂直相交于所述双眼中心点;
建立注视焦点落在所述摄像头时对应的虚拟校正像平面;其中,所述虚拟校正像平面与经过双眼中心点和所述摄像头的校正视线垂直相交于所述双眼中心点。
3.如权利要求1所述的方法,其特征在于,还包括:
获取摄像头与人物双眼中心点之间的距离值,以及摄像头与屏幕画面中双眼中心点的距离值;
其中,摄像头与人物双眼中心点之间的距离值预先设定或通过红外传感器测距获得;其中,所述红外传感器装配在所述摄像头旁边;
其中,摄像头与屏幕画面中双眼中心点的距离值根据摄像头的物理位置,对屏幕画面中双眼位置进行分析和计算后获得。
4.如权利要求1所述的方法,其特征在于:
如检测到用户拍摄了双眼直视摄像头的参考图像,则用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像之前,还包括:
根据所述参考图像中的眼睛图像参数调整所述虚拟校正像平面上的眼睛的外轮廓的外接矩形的长宽比、眼球的外接矩形的长宽比、以及眼皮遮盖眼球的区域的宽度。
5.如权利要求1所述的方法,其特征在于:
用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像后,还包括:
对替换完成后的图像进行边缘融合处理。
6.一种图像校正的装置,包括:
虚拟像平面构造模块,用于建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面;
映射模块,用于将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上,其包括:将终端屏幕画面上显示的双眼图像的上半部分纵向根据函数f1(y)进行变化,将终端屏幕画面上显示的双眼图像的下半部分纵向根据函数f2(y)进行变化;
如果校正后的视线垂直于摄像头所在的终端屏幕平面,则
f1(y)=|y|/(cosθ+(|y|/α)·sinθ),y≥0;
f2(y)=-|y|/(cosθ-(|y|/α)·sinθ),y<0;
其中,f1(y)和f2(y)的函数式相同或不相同,y是终端屏幕画面上显示的双眼图像在直角坐标系中的纵坐标,所述直角坐标系的横轴为经过图像中双眼瞳孔中心的坐标轴,所述直角坐标系的纵轴垂直于所述横轴,所述横轴以上为双眼图像的上半部分,所述横轴以下为双眼图像的下半部分;
其中,α是摄像头焦距;θ是虚拟原始像平面与虚拟校正像平面之间的夹角,θ=arctan(d1/d2);其中,d1是摄像头与所述屏幕画面中双眼中心点之间的距离值,d2是摄像头与双眼中心点之间的距离值;
图像合成模块,用于用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像。
7.如权利要求6所述的装置,其特征在于:
虚拟像平面构造模块,用于建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面,包括:
建立注视焦点落在终端屏幕画面中双眼中心点时对应的虚拟原始像平面;其中,所述虚拟原始像平面与经过双眼中心点和所述终端屏幕画面中双眼中心点的原始视线垂直相交于所述双眼中心点;
建立注视焦点落在所述摄像头时对应的虚拟校正像平面;其中,所述虚拟校正像平面与经过双眼中心点和所述摄像头的校正视线垂直相交于所述双眼中心点。
8.如权利要求6所述的装置,其特征在于,还包括:
数据获取模块,用于获取摄像头与人物双眼中心点之间的距离值,以及摄像头与屏幕画面中双眼中心点的距离值;
其中,摄像头与人物双眼中心点之间的距离值预先设定或通过红外传感器测距获得;其中,所述红外传感器装配在所述摄像头旁边;
其中,摄像头与屏幕画面中双眼中心点的距离值根据摄像头的物理位置,对屏幕画面中双眼位置进行分析和计算后获得。
9.如权利要求6所述的装置,其特征在于:
图像合成模块,还用于如检测到用户拍摄了双眼直视摄像头的参考图像,则用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像之前,还根据所述参考图像中的眼睛图像参数调整所述虚拟校正像平面上的眼睛的外轮廓的外接矩形的长宽比、眼球的外接矩形的长宽比、以及眼皮遮盖眼球的区域的宽度。
10.如权利要求6所述的装置,其特征在于:
图像合成模块,还用于用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像后,还对替换完成后的图像进行边缘融合处理。
CN201510086541.5A 2015-02-17 2015-02-17 一种图像校正的方法和装置 Active CN105989577B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510086541.5A CN105989577B (zh) 2015-02-17 2015-02-17 一种图像校正的方法和装置
PCT/CN2015/079708 WO2016131217A1 (zh) 2015-02-17 2015-05-25 一种图像校正的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510086541.5A CN105989577B (zh) 2015-02-17 2015-02-17 一种图像校正的方法和装置

Publications (2)

Publication Number Publication Date
CN105989577A CN105989577A (zh) 2016-10-05
CN105989577B true CN105989577B (zh) 2020-12-29

Family

ID=56689160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510086541.5A Active CN105989577B (zh) 2015-02-17 2015-02-17 一种图像校正的方法和装置

Country Status (2)

Country Link
CN (1) CN105989577B (zh)
WO (1) WO2016131217A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2996269A1 (en) * 2014-09-09 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio splicing concept
CN107123099B (zh) * 2017-04-27 2020-02-14 广东华中科技大学工业技术研究院 人机界面数据采集方法
CN106973237B (zh) * 2017-05-25 2019-03-01 维沃移动通信有限公司 一种拍摄方法及移动终端
CN107277375B (zh) * 2017-07-31 2020-03-27 维沃移动通信有限公司 一种自拍方法和移动终端
CN108234994B (zh) * 2017-12-29 2020-09-29 张家港康得新光电材料有限公司 一种人眼位置确定方法及装置
CN108491775B (zh) * 2018-03-12 2021-04-23 维沃移动通信有限公司 一种图像修正方法及移动终端
WO2020047860A1 (en) * 2018-09-07 2020-03-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electronic device and image processing method
CN112085647B (zh) * 2019-06-14 2024-01-19 华为技术有限公司 一种人脸校正方法及电子设备
CN112153272B (zh) * 2019-06-28 2022-02-25 华为技术有限公司 一种图像拍摄方法与电子设备
CN110597387B (zh) * 2019-09-05 2021-11-30 腾讯科技(深圳)有限公司 基于人工智能的画面显示方法和装置、计算设备、存储介质
CN115707355A (zh) * 2021-06-16 2023-02-17 华为技术有限公司 图像处理方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101986346A (zh) * 2010-11-01 2011-03-16 华为终端有限公司 人脸图像处理方法及装置
CN203118420U (zh) * 2012-08-21 2013-08-07 京东方科技集团股份有限公司 显示画面调节装置和显示装置
CN103310186A (zh) * 2012-02-29 2013-09-18 三星电子株式会社 校正图像中用户的注视方向的方法和便携式终端
CN103501688A (zh) * 2011-03-18 2014-01-08 感官运动仪器创新传感器有限公司 注视点映射的方法和装置
CN103809737A (zh) * 2012-11-13 2014-05-21 华为技术有限公司 一种人机交互方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4966816B2 (ja) * 2007-10-25 2012-07-04 株式会社日立製作所 視線方向計測方法および視線方向計測装置
CN101866215B (zh) * 2010-04-20 2013-10-16 复旦大学 在视频监控中采用视线跟踪的人机交互装置和方法
US8888287B2 (en) * 2010-12-13 2014-11-18 Microsoft Corporation Human-computer interface system having a 3D gaze tracker
US20120274735A1 (en) * 2011-04-28 2012-11-01 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8957943B2 (en) * 2012-07-02 2015-02-17 Bby Solutions, Inc. Gaze direction adjustment for video calls and meetings
US9123142B2 (en) * 2012-10-02 2015-09-01 At&T Intellectual Property I, L.P. Adjusting content display orientation on a screen based on user orientation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101986346A (zh) * 2010-11-01 2011-03-16 华为终端有限公司 人脸图像处理方法及装置
CN103501688A (zh) * 2011-03-18 2014-01-08 感官运动仪器创新传感器有限公司 注视点映射的方法和装置
CN103310186A (zh) * 2012-02-29 2013-09-18 三星电子株式会社 校正图像中用户的注视方向的方法和便携式终端
CN203118420U (zh) * 2012-08-21 2013-08-07 京东方科技集团股份有限公司 显示画面调节装置和显示装置
CN103809737A (zh) * 2012-11-13 2014-05-21 华为技术有限公司 一种人机交互方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"针对自拍视频的眼睛图像校正研究";杨冠男等;《现代电子技术》;20121115;第33卷(第22期);全文 *
Image Processing for Eye Detection and Classification of the Gaze Direction;Helton M. Peixoto et al;《Proceedings of International Joint Conference on Neural Networks》;20090619;全文 *

Also Published As

Publication number Publication date
WO2016131217A1 (zh) 2016-08-25
CN105989577A (zh) 2016-10-05

Similar Documents

Publication Publication Date Title
CN105989577B (zh) 一种图像校正的方法和装置
KR101741335B1 (ko) 안구추적을 기반으로 한 홀로그램 디스플레이 방법 및 홀로그램 디스플레이 장치
CN106791784B (zh) 一种虚实重合的增强现实显示方法和装置
JP6263623B2 (ja) 画像生成方法及びデュアルレンズ装置
WO2015085956A1 (zh) 一种基于投影图像的处理方法及装置
US20070248260A1 (en) Supporting a 3D presentation
CN111010560B (zh) 一种头戴显示设备的反畸变调节方法、装置和虚拟现实***
CN105787884A (zh) 一种图像处理方法及电子设备
US10122918B2 (en) System for producing 360 degree media
WO2015051606A1 (zh) 定位方法及定位***
US10885651B2 (en) Information processing method, wearable electronic device, and processing apparatus and system
JP2019047911A (ja) ゴーグル型表示装置、視線検出方法及び視線検出システム
US10987198B2 (en) Image simulation method for orthodontics and image simulation device thereof
CN101163189A (zh) 人脸图像校正方法
CN108605120A (zh) 基于关于显示器的眼调节的观看设备调整
KR20170011362A (ko) 영상 처리 장치 및 그 방법
TW201814356A (zh) 頭戴顯示裝置與其鏡片位置調整方法
CN109799899B (zh) 交互控制方法、装置、存储介质和计算机设备
JP6576639B2 (ja) 電子眼鏡および電子眼鏡の制御方法
CN113112407B (zh) 基于电视的照镜视野生成方法、***、设备及介质
CN111694158A (zh) 近眼显示装置的校准方法、校准设备及校准***
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
JP5645255B2 (ja) 画像処理装置および画像処理方法
TWI603225B (zh) 液晶顯示器顯示視角的調整方法和裝置
WO2016101505A1 (zh) 一种前摄像头拍摄修正方法、装置及终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant