CN107659772A - 3d图像生成方法、装置及电子设备 - Google Patents
3d图像生成方法、装置及电子设备 Download PDFInfo
- Publication number
- CN107659772A CN107659772A CN201710885264.3A CN201710885264A CN107659772A CN 107659772 A CN107659772 A CN 107659772A CN 201710885264 A CN201710885264 A CN 201710885264A CN 107659772 A CN107659772 A CN 107659772A
- Authority
- CN
- China
- Prior art keywords
- mrow
- mtd
- mfrac
- images
- data matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明实施例提供一种3D图像生成方法、装置及电子设备,该方法包括:首先,单摄像头的拍摄设备获取与用户当前观看物体对应的原始图像的数据矩阵。然后,确定此用户左右眼视线聚焦到此观看物体上时形成的角度,此角度即为视差角度。此视差角度可以看作是使看到的图像产生3D立体效果的基础。接着,对原始图像的数据矩阵分别进行顺时针旋转以及逆时针旋转,以分别生成与旋转后的数据矩阵对应的右眼2D图像和左眼2D图像。经过上述旋转过程,使生成的左眼2D图像与右眼2D图像之间存在视差角度。对具有此角度的两张2D图像进行合成,从而生成具有立体效果的3D图像。用户在使用单摄像头的拍摄设备时也能根据本发明方法得到具有立体效果的3D图像。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种3D图像生成方法、装置及电子设备。
背景技术
人之所以能够产生立体视觉是因为当左右眼从不同的角度去看某一个物体时,在左右眼视网膜上所成的图像是有差异的,人的大脑可以根据这种图像差异来判断物体的空间位置关系,从而使人产生立体视觉。
现有技术中,只有采用3D摄像头才能使得用户看到3D图像。现有的3D摄像头多数都是模仿人眼的结构,由双摄像头构成,使3D摄像头的成本较高。在实际应用中,利用普通的摄像头并不能拍出具有3D效果的图像,使普通摄像头在3D图像的应用上具有较大的局限性。
发明内容
有鉴于此,本发明实施例提供一种3D图像生成方法、装置及电子设备,用以利用单摄像头生成3D图像。
本发明实施例提供一种3D图像生成方法,包括:
获取与用户当前观看物体对应的原始图像的数据矩阵;
确定用户的左右眼视线聚焦到所述当前观看物体上时所形成的角度;
根据所述角度对所述原始图像的数据矩阵分别进行顺时针旋转以及逆时针旋转,以生成右眼2D图像和左眼2D图像;
合成所述右眼2D图像和所述左眼2D图像以生成3D图像。
可选地,所述确定用户的左右眼视线聚焦到所述当前观看物体上时所形成的角度,包括:
根据如下公式计算所述角度:θ=2*tan-1((d/2)/u);
其中,d为所述用户的瞳距,u为物距。
可选地,所述方法还包括:
根据如下公式计算所述物距:
其中,f为焦距,u为所述物距,v为像距,所述像距v=(((Y-X)*t*M)+f),X为将拍照镜头对焦到无穷远时对焦马达移动的步数,Y为将拍照镜头对焦到被拍摄物体时对焦马达移动的步数,M为拍照镜头的放大倍率,t为对焦马达的运动精度。
可选地,所述方法还包括:
提取预先拍摄的用户面部图像中的眼部区域;
将所述眼部区域中两眼球的中心点之间的距离确定为所述用户的瞳距。
可选地,所述根据所述角度对所述原始图像的数据矩阵分别进行顺时针旋转以及逆时针旋转,以生成右眼2D图像和左眼2D图像,包括:
根据如下公式确定所述原始图像的数据矩阵中的任一元素在右眼2D图像的数据矩阵中的位置,以生成所述右眼2D图像的数据矩阵:R=A*C1;
根据如下公式确定所述原始图像的数据矩阵中的任一元素在左眼2D图像的数据矩阵中的位置,以生成所述左眼2D图像的数据矩阵:L=A*C2;
其中,A为原始图像的数据矩阵中任一元素在所述原始图像的数据矩阵中的位置,C1、C2分别为顺时针旋转对应的图像转换矩阵,逆时针旋转对应的图像旋转矩阵,
θ为用户的左右眼视线聚焦到所述当前观看物体上时所形成的角度,W为所述原始图像的宽度,H为所述原始图像的高度,W′1为预设的顺时针旋转后图像的宽度,H′1为预设的顺时针旋转后图像的高度,W′2为预设的逆时针旋转后图像的宽度,H′2为预设的逆时针旋转后图像的高度;
分别根据所述右眼2D图像的数据矩阵以及所述左眼2D图像的数据矩阵生成所述右眼2D图像和所述左眼2D图像。
本发明实施例提供一种3D图像生成装置,包括:
获取模块,用于获取与用户当前观看物体对应的原始图像的数据矩阵;
角度确定模块,用于确定用户的左右眼视线聚焦到所述当前观看物体上时所形成的角度;
旋转模块,用于根据所述角度对所述原始图像的数据矩阵分别进行顺时针旋转以及逆时针旋转,以生成右眼2D图像和左眼2D图像;
合成模块,用于合成所述右眼2D图像和所述左眼2D图像以生成3D图像。
本发明实施例提供一种电子设备,包括:存储器,以及与所述存储器连接的处理器;
所述存储器,用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令供所述处理器调用执行;
所述处理器,用于执行所述一条或多条计算机指令以上述3D图像生成方法中的任意一种方法。
本发明实施例提供的3D图像生成方法、装置及电子设备,首先,单摄像头的拍摄设备获取与用户当前观看物体对应的原始图像的数据矩阵。然后,确定此用户左右眼视线聚焦到此观看物体上时形成的角度,此角度即为视差角度。此视差角度可以看作是使看到的图像产生3D立体效果的基础。接着,对原始图像的数据矩阵分别进行顺时针旋转以及逆时针旋转,以分别生成与旋转后的数据矩阵对应的右眼2D图像和左眼2D图像。经过上述旋转过程,使生成的左眼2D图像与右眼2D图像之间存在视差角度。对具有此角度的两张2D图像进行合成,从而生成具有立体效果的3D图像。用户在使用单摄像头的拍摄设备时也能根据本发明方法得到具有立体效果的3D图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的3D图像生成方法实施例一的流程图;
图2为本发明实施例提供的3D图像生成方法实施例二的流程图;
图3为本发明实施例提供的3D图像生成装置实施例一的结构示意图;
图4为本发明实施例提供的3D图像生成装置实施例二的结构示意图;
图5为本发明实施例提供的电子设备实施例一的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX,但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如,在不脱离本发明实施例范围的情况下,第一XXX也可以被称为第二XXX,类似地,第二XXX也可以被称为第一XXX。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者***中还存在另外的相同要素。
图1为本发明实施例提供的3D图像生成方法实施例一的流程图,本实施例提供的该3D图像生成方法的执行主体可以为单摄像头的拍摄设备,如图1所示,该方法包括如下步骤:
S101,获取与用户当前观看物体对应的原始图像的数据矩阵。
S102,确定用户的左右眼视线聚焦到当前观看物体上时所形成的角度。
S103,根据角度对原始图像的数据矩阵分别进行顺时针旋转以及逆时针旋转,以生成右眼2D图像和左眼2D图像。
S104,合成右眼2D图像和左眼2D图像以生成3D图像。
首先,单摄像头的拍摄设备对用户当前观看物体进行拍照后便可以得到此当前观看物体的原始图像以及此原始图像的数据矩阵,可选地,此数据矩阵中的每个元素可以表示为原始图像中每个像素点的灰度值。
进而,由于人的两只眼睛之间具有一定的距离,这个距离可以认为是瞳距,因此当左右眼的视线聚焦到当前观看物体上时会产生一定的角度,正是由于这个角度的存在才会使用户看到的图像产生立体效果,并且此角度的大小通常和用户瞳距的大小有关。通常来说,成人的瞳距在58~72mm之间。为了后续描述方便,可以把这个角度称为视差角度。在实际应用中,可选地,可以选择58~72mm之间的一个中值即65mm,并将此中间值确定为用户的瞳距。
在得到用户的瞳距后,可选地,可以根据以下公式(1)计算出用户的左右眼视线聚焦到当前观看物体上时所形成的角度即视差角度:
θ=2*tan-1((d/2)/u) (1)
其中,d为用户的瞳距,u为物距。此物距u即为当前观看物体到拍摄设备的拍摄镜头之间的距离。可选地,此物距u可以通过以下公式(2)计算得到:
其中,f为焦距,u为物距,v为像距,并且像距v=(((Y-X)*t*M)+f),X为将拍照镜头对焦到无穷远时对焦马达移动的步数,Y为将拍照镜头对焦到被拍摄物体时对焦马达移动的步数,M为拍照镜头的放大倍率,t为对焦马达的运动精度,此精度表示对焦马达每移动一步,拍摄镜头运动的距离。
上述计算过程中涉及到的多种参数中,X、M、以及t都是拍摄镜头所固有的参数,可以直接获得,而Y是根据当前观看物体到拍照镜头之间的距离的不同而会发生变化的,可以在用户触发拍照操作后,拍摄设备根据对焦马达移动的步数自动计算得到。
将前述获得的原始图像的数据矩阵沿顺时针方向旋转前述视差角度的一半以形成右眼2D图像;再将前述获得的原始图像的数据矩阵沿逆时针方向旋转前述视差角度的一半以形成左眼2D图像。可选地,此旋转过程可以理解为对原始图像的数据矩阵中每个像素点的灰度值进行旋转的一个过程。举例来说,经过旋转后,某一像素点的灰度值在数据矩阵中的位置会由原来的第x行第y列旋转至第X行第Y列。按照上述方式对数据矩阵中的每个像素点的灰度值都进行旋转也即是完成了对原始图像数据矩阵的旋转。顺时针旋转后的数据矩阵即为右眼2D图像的数据矩阵,可以由右眼2D图像的数据矩阵生成右眼2D图像。逆时针旋转后的数据矩阵即为左眼2D图像的数据矩阵,可以由左眼2D图像的数据矩阵生成左眼2D图像。
在经过此旋转操作之后,便可以使生成的右眼2D图像和左眼2D图像之间存在视差角度。最后,将此右眼2D图像和左眼2D图像进行合成便可生成具有立体效果的3D图像。
本实施例中,首先,单摄像头的拍摄设备获取与用户当前观看物体对应的原始图像的数据矩阵。然后,确定此用户左右眼视线聚焦到此观看物体上时形成的角度,此角度即为视差角度。此视差角度可以看作是使看到的图像产生3D立体效果的基础。接着,对原始图像的数据矩阵分别进行顺时针旋转以及逆时针旋转,以分别生成与旋转后的数据矩阵对应的右眼2D图像和左眼2D图像。经过上述旋转过程,使生成的左眼2D图像与右眼2D图像之间存在视差角度。对具有此角度的两张2D图像进行合成,从而生成具有立体效果的3D图像。用户在使用单摄像头的拍摄设备时也能根据本发明方法得到具有立体效果的3D图像。
图2为本发明实施例提供的3D图像生成方法实施例二的流程图,如图2所示,该方法包括如下步骤:
S201,获取与用户当前观看物体对应的原始图像的数据矩阵。
上述步骤S201执行过程与前述实施例的相应步骤相似,可以参见如图1所示实施例中的相关描述,在此再不赘述。
S202,提取预先拍摄的用户面部图像中的眼部区域。
S203,将眼部区域中两眼球的中心点之间的距离确定为用户的瞳距。
拍照设备可以在用户拍摄任一当前观看物体之前,预先拍摄一张用户的面部图像。然后,从整张面部图像中得到眼部区域,进一步从眼部区域中识别出瞳孔在预设坐标系中的位置坐标。可选地,预设坐标系是以眼部区域的中心位置作为坐标原点,水平方向作为X轴,垂直方向作为Y轴。从而根据两瞳孔所在的位置坐标计算出两瞳孔之间的距离,并将此距离确定为此用户的瞳距。
上述这种通过分析用户的眼部图像而确定出用户的瞳距的方式相较于实施例一中涉及到的使用平均瞳距作为用户的瞳距更具有针对性。准确地确定出使用拍摄设备的用户的瞳距,可以为生成对该用户效果最佳的3D图像做好基础。
需要说明的是,按照上述执行步骤虽然是拍摄用户的面部图像在获取原始图像的数据矩阵之后,但是本发明并不限定拍摄面部图像的具体执行时刻,此拍摄操作只要是在确定用户的左右眼视线聚焦到当前观看物体上时所形成的角度的步骤之前执行即可。可选地,该步骤也可以在获取原始图像的数据矩阵之前执行。
S204,确定用户的左右眼视线聚焦到当前观看物体上时所形成的角度。
上述步骤S204执行过程与前述实施例的相应步骤相似,可以参见如图1所示实施例中的相关描述,在此再不赘述。
S205,根据角度对原始图像的数据矩阵分别进行顺时针旋转以及逆时针旋转,以生成右眼2D图像和左眼2D图像。
原始图像的数据矩阵中的每一个像素点的灰度值都可以采用以下方式进行顺时针或者逆时针旋转。
假设某一像素点的灰度值在原始图像的数据矩阵中的位置可以表示为A=(x,y,z),其中x值和y值分别表示此像素点在原始图像的数据矩阵中的第x行第y列,而z值仅是为了方便旋转计算而统一设置的一个值,没有具体含义,可选地,实际应用中,z值一般取1。
当对原始图像的数据矩阵进行顺时针旋转时,可以分别将此像素点灰度值在原始图像的数据矩阵中的位置与图像转换矩阵C1相乘,即:R=A*C1,从而得到顺时针旋转后此像素点灰度值在右眼2D图像的数据矩阵中的位置。
其中,A为原始图像的数据矩阵中任一元素在原始图像的数据矩阵中的位置,θ为用户的左右眼视线聚焦到当前观看物体上时所形成的角度即视差角度,W为原始图像的宽度,H为原始图像的高度,W′1为预设的顺时针旋转后图像的宽度,H′1为预设的顺时针旋转后图像的高度。
重复上述过程,即可得到每个像素点灰度值的旋转后在右眼2D图像的数据矩阵中的位置,以形成右眼2D图像的数据矩阵,根据此右眼2D图像的数据矩阵生成右眼2D图像。
当对原始图像的数据矩阵进行逆时针旋转时,可以分别将此像素点灰度值在原始图像的数据矩阵中的位置与图像转换矩阵C2相乘,即:L=A*C2,从而得到逆时针旋转后此像素点灰度值在左眼2D图像的数据矩阵中的位置。
其中,
A为原始图像的数据矩阵中任一元素在原始图像的数据矩阵中的位置,θ为用户的左右眼视线聚焦到当前观看物体上时所形成的角度,W为原始图像的宽度,H为原始图像的高度,W′2为预设的逆时针旋转后图像的宽度,H′2为预设的逆时针旋转后图像的高度。
重复上述过程,即可得到每个像素点灰度值的旋转后在左眼2D图像的数据矩阵中的位置,以形成左眼2D图像的数据矩阵,根据此左眼2D图像的数据矩阵生成左眼2D图像。
可选地,在实际应用中,转换后的图像的宽度和高度通常可以是一个预设值,并且预设的宽度和高度与转换前的图像的宽度和高度相同,也即是H=H′1=H′2,W=W′1=W′2。
S206,合成右眼2D图像和左眼2D图像以生成3D图像。
上述步骤S206执行过程与前述实施例的相应步骤相似,可以参见如图1所示实施例中的相关描述,在此再不赘述。
本实施例中,确定用户瞳距的方式是分析当前使用拍摄设备的用户面部图像中的眼部区域,并不是将瞳距确定为一个固定的平均值。这种确定瞳距的方式更准确、具有针对性。在确定出瞳距后,需要根据此瞳距进一步计算出用户的左右眼视线聚焦到当前观看物体上时所形成的角度即视差角度,而此视差角度又是生成3D图像的重要参数,得到的视差角度是否准确能够直接影响到生成的3D图像的立体效果。根据此准确地角度对原始图像的数据矩阵进行旋转,最终,生成立体效果更佳的3D图像。
图3为本发明实施例提供的3D图像生成装置实施例一的结构示意图,如图3所示,该3D图像生成装置包括:获取模块11、角度确定模块12、旋转模块13、合成模块14。
获取模块11,用于获取与用户当前观看物体对应的原始图像的数据矩阵。
角度确定模块12,用于确定用户的左右眼视线聚焦到当前观看物体上时所形成的角度。
旋转模块13,用于根据角度对原始图像的数据矩阵分别进行顺时针旋转以及逆时针旋转,以生成右眼2D图像和左眼2D图像。
合成模块14,用于合成右眼2D图像和左眼2D图像以生成3D图像。
可选地,该3D图像生成装置中的第一确定模块12具体用于:
根据如下公式计算角度:θ=2*tan-1((d/2)/u),
其中,d为用户的瞳距,u为物距。
可选地,该3D图像生成装置还包括:计算模块15。
计算模块15具体用于:根据如下公式计算物距:
其中,f为焦距,u为物距,v为像距,像距v=(((Y-X)*t*M)+f),X为将拍照镜头对焦到无穷远时对焦马达移动的步数,Y为将拍照镜头对焦到被拍摄物体时对焦马达移动的步数,M为拍照镜头的放大倍率,t为对焦马达的运动精度。
图3所示装置可以执行图1所示实施例的方法,本实施例未详细描述的部分,可参考对图1所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1所示实施例中的描述,在此不再赘述。
图4为本发明实施例提供的3D图像生成装置实施例二的结构示意图,如图4所示,在图3所示实施例基础上,该3D图像生成装置还包括:拍摄模块21、距离确定模块22。
拍摄模块21,用于提取预先拍摄的用户面部图像中的眼部区域。
距离确定模块22,用于将眼部区域中两眼球的中心点之间的距离确定为用户的瞳距。
可选地,该3D图像生成装置中的旋转模块13具体用于:
根据如下公式确定原始图像的数据矩阵中的任一元素在右眼2D图像的数据矩阵中的位置,以生成右眼2D图像的数据矩阵:R=A*C1。
根据如下公式确定原始图像的数据矩阵中的任一元素在左眼2D图像的数据矩阵中的位置,以生成左眼2D图像的数据矩阵:L=A*C2。
其中,A为原始图像的数据矩阵中任一元素在原始图像的数据矩阵中的位置,C1、C2分别为顺时针旋转对应的图像转换矩阵,逆时针旋转对应的图像旋转矩阵,
θ为用户的左右眼视线聚焦到当前观看物体上时所形成的角度,W为原始图像的宽度,H为原始图像的高度,W′1为预设的顺时针旋转后图像的宽度,H′1为预设的顺时针旋转后图像的高度,W′2为预设的逆时针旋转后图像的宽度,H′2为预设的逆时针旋转后图像的高度。
分别根据右眼2D图像的数据矩阵以及左眼2D图像的数据矩阵生成右眼2D图像和左眼2D图像。
图4所示装置可以执行图2所示实施例的方法,本实施例未详细描述的部分,可参考对图2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图2所示实施例中的描述,在此不再赘述。
以上描述了3D图像生成装置的内部功能和结构,在一个可能的设计中,3D图像生成装置的结构可实现为一电子设备,该电子设备比如为单摄像头的照相机。图5为本发明实施例提供的电子设备实施例一的结构示意图,如图5所示,该电子设备包括:存储器31,以及与存储器连接的处理器32,存储器31用于存储电子设备执行上述任一实施例中提供的3D图像生成方法的程序,处理器32被配置为用于执行存储器31中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被处理器32执行时能够实现如下步骤:
获取与用户当前观看物体对应的原始图像的数据矩阵;
确定用户的左右眼视线聚焦到当前观看物体上时所形成的角度;
根据角度对原始图像的数据矩阵分别进行顺时针旋转以及逆时针旋转,以生成右眼2D图像和左眼2D图像;
合成右眼2D图像和左眼2D图像以生成3D图像。
可选地,处理器32还用于执行前述各方法步骤中的全部或部分步骤。
其中,电子设备的结构中还可以包括通信接口33,用于电子设备与其他设备或通信网络通信。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以产品的形式体现出来,该计算机产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种3D图像生成方法,其特征在于,包括:
获取与用户当前观看物体对应的原始图像的数据矩阵;
确定用户的左右眼视线聚焦到所述当前观看物体上时所形成的角度;
根据所述角度对所述原始图像的数据矩阵分别进行顺时针旋转以及逆时针旋转,以生成右眼2D图像和左眼2D图像;
合成所述右眼2D图像和所述左眼2D图像以生成3D图像。
2.根据权利要求1所述的方法,其特征在于,所述确定用户的左右眼视线聚焦到所述当前观看物体上时所形成的角度,包括:
根据如下公式计算所述角度:θ=2*tan-1((d/2)/u);
其中,d为所述用户的瞳距,u为物距。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
根据如下公式计算所述物距:
其中,f为焦距,u为所述物距,v为像距,所述像距v=(((Y-X)*t*M)+f),X为将拍照镜头对焦到无穷远时对焦马达移动的步数,Y为将拍照镜头对焦到被拍摄物体时对焦马达移动的步数,M为拍照镜头的放大倍率,t为对焦马达的运动精度。
4.根据权利要求2方法,其特征在于,所述方法还包括:
提取预先拍摄的用户面部图像中的眼部区域;
将所述眼部区域中两眼球的中心点之间的距离确定为所述用户的瞳距。
5.根据权利要求1所述的方法,其特征在于,所述根据所述角度对所述原始图像的数据矩阵分别进行顺时针旋转以及逆时针旋转,以生成右眼2D图像和左眼2D图像,包括:
根据如下公式确定所述原始图像的数据矩阵中的任一元素在右眼2D图像的数据矩阵中的位置,以生成所述右眼2D图像的数据矩阵:R=A*C1;
根据如下公式确定所述原始图像的数据矩阵中的任一元素在左眼2D图像的数据矩阵中的位置,以生成所述左眼2D图像的数据矩阵:L=A*C2;
其中,A为原始图像的数据矩阵中任一元素在所述原始图像的数据矩阵中的位置,C1、C2分别为顺时针旋转对应的图像转换矩阵,逆时针旋转对应的图像旋转矩阵,
<mrow>
<msub>
<mi>C</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>cos</mi>
<mrow>
<mo>(</mo>
<mrow>
<mo>-</mo>
<mfrac>
<mi>&theta;</mi>
<mn>2</mn>
</mfrac>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>sin</mi>
<mrow>
<mo>(</mo>
<mrow>
<mo>-</mo>
<mfrac>
<mi>&theta;</mi>
<mn>2</mn>
</mfrac>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mi>sin</mi>
<mrow>
<mo>(</mo>
<mrow>
<mo>-</mo>
<mfrac>
<mi>&theta;</mi>
<mn>2</mn>
</mfrac>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>cos</mi>
<mrow>
<mo>(</mo>
<mrow>
<mo>-</mo>
<mfrac>
<mi>&theta;</mi>
<mn>2</mn>
</mfrac>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>0.5</mn>
<mi>W</mi>
<mi> </mi>
<mi>cos</mi>
<mrow>
<mo>(</mo>
<mrow>
<mo>-</mo>
<mfrac>
<mi>&theta;</mi>
<mn>2</mn>
</mfrac>
</mrow>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mn>0.5</mn>
<mi>H</mi>
<mi> </mi>
<mi>sin</mi>
<mrow>
<mo>(</mo>
<mrow>
<mo>-</mo>
<mfrac>
<mi>&theta;</mi>
<mn>2</mn>
</mfrac>
</mrow>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mn>0.5</mn>
<msubsup>
<mi>W</mi>
<mn>1</mn>
<mo>&prime;</mo>
</msubsup>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>0.5</mn>
<mi>W</mi>
<mi> </mi>
<mi>sin</mi>
<mrow>
<mo>(</mo>
<mrow>
<mo>-</mo>
<mfrac>
<mi>&theta;</mi>
<mn>2</mn>
</mfrac>
</mrow>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mn>0.5</mn>
<mi>H</mi>
<mi> </mi>
<mi>sin</mi>
<mrow>
<mo>(</mo>
<mrow>
<mo>-</mo>
<mfrac>
<mi>&theta;</mi>
<mn>2</mn>
</mfrac>
</mrow>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mn>0.5</mn>
<msubsup>
<mi>H</mi>
<mn>1</mn>
<mo>&prime;</mo>
</msubsup>
</mrow>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
<mrow>
<msub>
<mi>C</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>cos</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mi>&theta;</mi>
<mn>2</mn>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>sin</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mi>&theta;</mi>
<mn>2</mn>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mi>sin</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mi>&theta;</mi>
<mn>2</mn>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>cos</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mi>&theta;</mi>
<mn>2</mn>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>0.5</mn>
<mi>W</mi>
<mi> </mi>
<mi>cos</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mi>&theta;</mi>
<mn>2</mn>
</mfrac>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mn>0.5</mn>
<mi>H</mi>
<mi> </mi>
<mi>sin</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mi>&theta;</mi>
<mn>2</mn>
</mfrac>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mn>0.5</mn>
<msubsup>
<mi>W</mi>
<mn>2</mn>
<mo>&prime;</mo>
</msubsup>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>0.5</mn>
<mi>W</mi>
<mi> </mi>
<mi>sin</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mi>&theta;</mi>
<mn>2</mn>
</mfrac>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mn>0.5</mn>
<mi>H</mi>
<mi> </mi>
<mi>sin</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mi>&theta;</mi>
<mn>2</mn>
</mfrac>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mn>0.5</mn>
<msubsup>
<mi>H</mi>
<mn>2</mn>
<mo>&prime;</mo>
</msubsup>
</mrow>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
θ为用户的左右眼视线聚焦到所述当前观看物体上时所形成的角度,W为所述原始图像的宽度,H为所述原始图像的高度,W′1为预设的顺时针旋转后图像的宽度,H′1为预设的顺时针旋转后图像的高度,W′2为预设的逆时针旋转后图像的宽度,H′2为预设的逆时针旋转后图像的高度;
分别根据所述右眼2D图像的数据矩阵以及所述左眼2D图像的数据矩阵生成所述右眼2D图像和所述左眼2D图像。
6.一种3D图像生成装置,其特征在于,包括:
获取模块,用于获取与用户当前观看物体对应的原始图像的数据矩阵;
角度确定模块,用于确定用户的左右眼视线聚焦到所述当前观看物体上时所形成的角度;
旋转模块,用于根据所述角度对所述原始图像的数据矩阵分别进行顺时针旋转以及逆时针旋转,以生成右眼2D图像和左眼2D图像;
合成模块,用于合成所述右眼2D图像和所述左眼2D图像以生成3D图像。
7.一种电子设备,其特征在于,包括:存储器,以及与所述存储器连接的处理器;
所述存储器,用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令供所述处理器调用执行;
所述处理器,用于执行所述一条或多条计算机指令以实现权利要求1-5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710885264.3A CN107659772B (zh) | 2017-09-26 | 2017-09-26 | 3d图像生成方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710885264.3A CN107659772B (zh) | 2017-09-26 | 2017-09-26 | 3d图像生成方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107659772A true CN107659772A (zh) | 2018-02-02 |
CN107659772B CN107659772B (zh) | 2020-10-09 |
Family
ID=61116060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710885264.3A Active CN107659772B (zh) | 2017-09-26 | 2017-09-26 | 3d图像生成方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107659772B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108200422A (zh) * | 2018-02-11 | 2018-06-22 | 潍坊歌尔电子有限公司 | 生成3d图像的方法、设备、单镜头摄像装置及电子设备 |
CN109756723A (zh) * | 2018-12-14 | 2019-05-14 | 深圳前海达闼云端智能科技有限公司 | 获取影像的方法和装置,存储介质和电子设备 |
WO2022228119A1 (zh) * | 2021-04-30 | 2022-11-03 | 纵深视觉科技(南京)有限责任公司 | 图像采集方法、装置、电子设备及介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101685194A (zh) * | 2008-09-26 | 2010-03-31 | 鸿富锦精密工业(深圳)有限公司 | 自动对焦装置及方法 |
CN101718912A (zh) * | 2009-11-27 | 2010-06-02 | 北京工业大学 | 放大倍率可变的工业x射线底片数字化细节观察仪 |
CN101742350A (zh) * | 2008-11-21 | 2010-06-16 | 索尼株式会社 | 图像信号处理装置、图像信号处理方法和图像投影装置 |
CN102005062A (zh) * | 2010-11-09 | 2011-04-06 | 福州瑞芯微电子有限公司 | 用于三维立体显示的三维图像的产生方法及装置 |
CN102063735A (zh) * | 2010-11-09 | 2011-05-18 | 福州瑞芯微电子有限公司 | 通过改变视点角度制作三维图像源的方法和装置 |
CN102168954A (zh) * | 2011-01-14 | 2011-08-31 | 浙江大学 | 基于单目摄像机的深度、深度场及物体大小的测量方法 |
CN102868902A (zh) * | 2011-07-08 | 2013-01-09 | 宏碁股份有限公司 | 立体图像显示装置及其方法 |
CN103327357A (zh) * | 2012-03-19 | 2013-09-25 | 联想(北京)有限公司 | 三维画面呈现方法及装置 |
US20140125934A1 (en) * | 2012-11-07 | 2014-05-08 | Japan Display Inc. | Image display device and liquid crystal lens |
US20160073089A1 (en) * | 2014-09-04 | 2016-03-10 | Acer Incorporated | Method for generating 3d image and electronic apparatus using the same |
CN105430331A (zh) * | 2015-11-13 | 2016-03-23 | 浙江宇视科技有限公司 | 调整监控图像显示方向的方法和装置 |
-
2017
- 2017-09-26 CN CN201710885264.3A patent/CN107659772B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101685194A (zh) * | 2008-09-26 | 2010-03-31 | 鸿富锦精密工业(深圳)有限公司 | 自动对焦装置及方法 |
CN101742350A (zh) * | 2008-11-21 | 2010-06-16 | 索尼株式会社 | 图像信号处理装置、图像信号处理方法和图像投影装置 |
CN101718912A (zh) * | 2009-11-27 | 2010-06-02 | 北京工业大学 | 放大倍率可变的工业x射线底片数字化细节观察仪 |
CN102005062A (zh) * | 2010-11-09 | 2011-04-06 | 福州瑞芯微电子有限公司 | 用于三维立体显示的三维图像的产生方法及装置 |
CN102063735A (zh) * | 2010-11-09 | 2011-05-18 | 福州瑞芯微电子有限公司 | 通过改变视点角度制作三维图像源的方法和装置 |
CN102168954A (zh) * | 2011-01-14 | 2011-08-31 | 浙江大学 | 基于单目摄像机的深度、深度场及物体大小的测量方法 |
CN102868902A (zh) * | 2011-07-08 | 2013-01-09 | 宏碁股份有限公司 | 立体图像显示装置及其方法 |
CN103327357A (zh) * | 2012-03-19 | 2013-09-25 | 联想(北京)有限公司 | 三维画面呈现方法及装置 |
US20140125934A1 (en) * | 2012-11-07 | 2014-05-08 | Japan Display Inc. | Image display device and liquid crystal lens |
US20160073089A1 (en) * | 2014-09-04 | 2016-03-10 | Acer Incorporated | Method for generating 3d image and electronic apparatus using the same |
CN105430331A (zh) * | 2015-11-13 | 2016-03-23 | 浙江宇视科技有限公司 | 调整监控图像显示方向的方法和装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108200422A (zh) * | 2018-02-11 | 2018-06-22 | 潍坊歌尔电子有限公司 | 生成3d图像的方法、设备、单镜头摄像装置及电子设备 |
CN109756723A (zh) * | 2018-12-14 | 2019-05-14 | 深圳前海达闼云端智能科技有限公司 | 获取影像的方法和装置,存储介质和电子设备 |
US11076144B2 (en) | 2018-12-14 | 2021-07-27 | Cloudminds (Shenzhen) Robotics Systems Co., Ltd. | Method and apparatus for obtaining image, storage medium and electronic device |
WO2022228119A1 (zh) * | 2021-04-30 | 2022-11-03 | 纵深视觉科技(南京)有限责任公司 | 图像采集方法、装置、电子设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107659772B (zh) | 2020-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3101624A1 (en) | Image processing method and image processing device | |
CN107666606B (zh) | 双目全景图像获取方法及装置 | |
US10284817B2 (en) | Device for and method of corneal imaging | |
US20210374994A1 (en) | Gaze point calculation method, apparatus and device | |
CN106161939B (zh) | 一种照片拍摄方法及终端 | |
CN106708270B (zh) | 一种虚拟现实设备的显示方法、装置以及虚拟现实设备 | |
US11132544B2 (en) | Visual fatigue recognition method, visual fatigue recognition device, virtual reality apparatus and storage medium | |
CN104036169B (zh) | 生物认证方法及生物认证装置 | |
EP4383193A1 (en) | Line-of-sight direction tracking method and apparatus | |
CN113366491B (zh) | 眼球追踪方法、装置及存储介质 | |
EP3953859A1 (en) | Method and system for estimating eye-related geometric parameters of a user | |
CN108090463B (zh) | 对象控制方法、装置、存储介质和计算机设备 | |
CN109840946B (zh) | 虚拟对象显示方法及装置 | |
Sun et al. | Real-time gaze estimation with online calibration | |
JP2021531601A (ja) | ニューラルネットワーク訓練、視線検出方法及び装置並びに電子機器 | |
CN107659772A (zh) | 3d图像生成方法、装置及电子设备 | |
WO2014100447A1 (en) | Generating panorama images based on attention information | |
WO2014008320A1 (en) | Systems and methods for capture and display of flex-focus panoramas | |
US20200393896A1 (en) | System and method for gaze estimation | |
CN108701361A (zh) | 深度值确定方法和装置 | |
CN110503068A (zh) | 视线估计方法、终端及存储介质 | |
CN105488780A (zh) | 一种用于工业生产线的单目视觉测距追踪装置及其追踪方法 | |
CN106461982A (zh) | 用于确定至少一个行为参数的方法 | |
CN116012459A (zh) | 基于三维视线估计和屏幕平面估计的鼠标定位的方法 | |
CN104092946B (zh) | 图像采集方法及图像采集装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20211019 Address after: 264300 No. 699, Jiangjun South Road, Rongcheng City, Weihai City, Shandong Province Patentee after: Rongcheng goer Technology Co.,Ltd. Address before: 266104 Room 308, North Investment Street Service Center, Laoshan District, Qingdao, Shandong. Patentee before: GOERTEK TECHNOLOGY Co.,Ltd. |