CN105389845B - 三维重建的图像获取方法和***、三维重建方法和*** - Google Patents

三维重建的图像获取方法和***、三维重建方法和*** Download PDF

Info

Publication number
CN105389845B
CN105389845B CN201510680737.7A CN201510680737A CN105389845B CN 105389845 B CN105389845 B CN 105389845B CN 201510680737 A CN201510680737 A CN 201510680737A CN 105389845 B CN105389845 B CN 105389845B
Authority
CN
China
Prior art keywords
photographic head
light source
cycle
image
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510680737.7A
Other languages
English (en)
Other versions
CN105389845A (zh
Inventor
范浩强
印奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Beijing Aperture Science and Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd, Beijing Aperture Science and Technology Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201510680737.7A priority Critical patent/CN105389845B/zh
Priority to US15/010,683 priority patent/US10080009B2/en
Publication of CN105389845A publication Critical patent/CN105389845A/zh
Application granted granted Critical
Publication of CN105389845B publication Critical patent/CN105389845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

提供了用于三维重建的图像的获取方法和***、三维重建方法和***。所述用于三维重建的图像的获取方法包括:控制在空间上分离设置的至少两个光源中的每个光源的亮度周期性地变化,其中所述至少两个光源中至少有一个光源的亮度变化的周期与其他光源不同,或者所述至少两个光源的亮度变化的周期相同、且其中至少有一个光源的亮度变化的相位与其他光源不同;以及采用在空间上位置不同的至少三个摄像头分别采集用于三维重建的图像,其中至少有一个摄像头进行采集的开始曝光时间与其他摄像头不同。根据所述用于三维重建的图像的获取方法和***、三维重建方法和***,可以排除高光干扰所致的像素匹配偏差导致的错误三维点,有效减少三维重建错误。

Description

三维重建的图像获取方法和***、三维重建方法和***
技术领域
本公开总体涉及立体成像,具体涉及用于三维重建的图像的获取方法和***、以及三维重建方法和***。
背景技术
多目立体成像是指根据多目立体视觉的基本原理来获取、产生和传输一个场景,并将这个场景展现出具有立体感的景象,其在虚拟现实、机器视觉、多媒体教学、数字娱乐、产品外观设计、雕刻与建筑等领域都有着广泛的应用。多目立体成像的基本处理过程是在同一时间用多个不同位置的摄像头拍摄同一物体的图像,在得到的多张图像中进行像素匹配,最后通过诸如三角测距原理来获得各像素的深度信息(即,三维坐标),由此得到三维立体图像。
图1示例性的说明了三角测距原理。如图1所示,两个不同位置的摄像头分别拍摄同一物体的图像。之后,对于从一个摄像头看到的点(即由该摄像头拍摄得到的图像中的像素),寻找从另一个摄像头看到的与之对应的点(即由该另一个摄像头拍摄得到的图像中的匹配像素)。求出上述两个点与各自对应的摄像头的连线的延长线(以下简称三维射线)的交点,即可得到待测的三维点的坐标。类似的,当采用三个及以上摄像头进行拍摄时,对于从一个摄像头看到的点,可以分别寻找从其他各个摄像头看到的与之对应的点,并通过两两求出三维射线的交点,得到待测的三维点的坐标。
多目立体成像中的一个重要问题是非漫反射现象,也叫高光现象。当物体表面存在高光时,由于高光区域的物体图像受物体表面法向、光源和摄像头位置的影响,因此在像素匹配时可能出现***性偏差,从而导致采集到的物体形状信息出现变形,这一问题在物体表面凸起的位置产生高光的情况下尤为严重。
图2示出了由于高光导致采集到的物体形状信息出现变形现象的示意图。如图2所示,假设对于摄像头1拍摄得到的图像中位于物体凸起处的一个像素,试图在摄像头2和3拍摄得到的图像中分别找出匹配像素。由于在物体凸起处表面法向快速单调变化,受高光的影响,在摄像头2拍摄得到的图像中找到的匹配像素的位置比实际正确的位置偏右,而在摄像头3拍摄得到的图像中找到的匹配像素的位置比实际正确的位置更加偏右。而当对于摄像头2、摄像头3找到的匹配像素位置偏右的程度恰好合适时,有可能在三角测距时与各摄像头对应的三维射线刚好交于同一点(三维点),由此导致误以为找到了一个重建三维点。然而实际上,这个三维点的位置比实际的凸起位置靠后,从而导致在输出的重建结果中,本该凸起的地方出现了一块凹下去的地方。
针对上述高光问题,本领域中已经进行了一些研究,并提出了依赖硬件改动和依赖软件处理的方法。所述依赖硬件改动的方法例如在摄像头和光源前加偏振片,然而这会增加***的硬件复杂度,同时降低光源的效率。所述依赖软件处理的方法例如判断像素的灰度值是否过亮,但这种方法不够鲁棒,例如无法处理皮肤等产生的高光不是特别亮的情形。
发明内容
考虑到上述问题而提出了本公开。
根据本公开的一个方面,提供了一种用于三维重建的图像的获取方法,包括:控制在空间上分离设置的至少两个光源中的每个光源的亮度周期性地变化,其中所述至少两个光源中至少有一个光源的亮度变化的周期与其他光源不同,或者所述至少两个光源的亮度变化的周期相同、且其中至少有一个光源的亮度变化的相位与其他光源不同;以及采用在空间上位置不同的至少三个摄像头分别采集用于三维重建的图像,其中至少有一个摄像头进行采集的开始曝光时间与其他摄像头不同。
根据本公开的另一个方面,提供了一种三维重建方法,包括:控制在空间上分离设置的至少两个光源中的每个光源的亮度周期性地变化,其中所述至少两个光源中至少有一个光源的亮度变化的周期与其他光源不同,或者所述至少两个光源的亮度变化的周期相同、且其中至少有一个光源的亮度变化的相位与其他光源不同;采用在空间上位置不同的至少三个摄像头分别采集用于三维重建的图像,其中至少有一个摄像头进行采集的开始曝光时间与其他摄像头不同;以任一摄像头采集到的图像为基准图像,对于该基准图像中的任一像素,利用该任一像素与每一个其他摄像头采集到的图像中与该像素匹配的像素分别确定一个候选的重建点;如果各个候选的重建点在预定范围内,则基于各个候选的重建点构建三维重建点,否则不构建所述三维重建点。
根据本公开的另一个方面,提供了一种用于三维重建的图像的获取***,包括:在空间上分离设置的至少两个光源,各光源的亮度周期性地变化;和在空间上位置不同的至少三个摄像头,分别采集用于三维重建的图像。所述至少两个光源中至少有一个光源的亮度变化的周期与其他光源不同,或者所述至少两个分离的光源的亮度变化的周期相同、且其中至少有一个光源的亮度变化的相位与其他光源不同。所述至少三个摄像头中至少有一个摄像头进行采集的开始曝光时间与其他摄像头不同。
根据本公开的另一个方面,提供了一种三维重建***,包括:在空间上分离设置的至少两个光源,各光源的亮度周期性地变化;在空间上位置不同的至少三个摄像头,分别采集用于三维重建的图像;和图像处理设备,以所述至少三个摄像头中任一摄像头采集到的图像为基准图像,对于该基准图像中的任一像素,利用该任一像素与每一个其他摄像头采集到的图像中与该像素匹配的像素分别确定一个候选的重建点,并且如果各个候选的重建点在预定范围内,则基于各个候选的重建点构建三维重建点,否则不构建所述三维重建点。所述至少两个光源中至少有一个光源的亮度变化的周期与其他光源不同,或者所述至少两个光源的亮度变化的周期相同、且其中至少有一个光源的亮度变化的相位与其他光源不同。所述至少三个摄像头中至少有一个摄像头进行采集的开始曝光时间与其他摄像头不同。
根据本公开的用于三维重建的图像的获取方法和***、以及三维重建方法和***,通过控制光源亮度变化和摄像头的开始曝光时间,可以有效识别出图像中受高光影响的区域,从而能够排除高光干扰所致的像素匹配偏差导致的错误三维点,有效减少三维重建错误。
附图说明
通过结合附图对本公开实施例进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示例性的说明了三角测距原理。
图2示出了由于高光导致采集到的物体形状信息出现变形现象的示意图。
图3例示了根据本公开实施例的用于三维重建的图像的获取方法的流程图。
图4示出了根据本公开实施例的用于三维重建的图像的获取方法的一个具体示例。
图5例示了根据本公开实施例的三维重建方法的流程图。
图6示出了根据本公开实施例的用于三维重建的图像的获取***的示意性框图。
图7示出了根据本公开实施例的三维重建***的示意性结构框图。
具体实施方式
为了使得本公开的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本公开的示例实施例。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的示例实施例的限制。基于本公开中描述的实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本公开的保护范围之内。
首先,参照图3来描述根据本公开实施例的用于三维重建的图像的获取方法。该方法中需要至少两个光源和至少三个摄像头。
如图3所示,在步骤S310,控制在空间上分离设置的至少两个光源中的每个光源的亮度周期性地变化。
在该步骤中对光源的亮度进行控制。具体的,控制光源的亮度使得所述至少两个光源中至少有一个光源的亮度变化的周期与其他光源不同,或者所述至少两个光源的亮度变化的周期相同、且其中至少有一个光源的亮度变化的相位与其他光源不同。
例如,假设所述光源为m个(m≥2),则控制该m个光源的亮度均周期性的变化。该m个光源各自的亮度变化的周期可以根据具体情况来任意设定,只要保证m个光源的亮度变化的周期不全都相同(即至少要有一个光源的亮度变化的周期不同于其他光源)、或者m个光源的亮度变化的周期全都相同但相位不全都相同(即至少要有一个光源的亮度变化的相位不同于其他光源)即可。
可选的,可以控制所述m个光源的亮度变化的周期与进行图像采集的至少三个摄像头的曝光时间相当。例如,可以控制m个光源的亮度变化的周期与各摄像头的曝光时间为同一数量级;再比如,可以控制光源的亮度变化的周期和摄像头的曝光时间使得所述至少三个摄像头的曝光时间均大于m个光源的亮度变化的周期中的最大周期的一半,并且均小于m个光源的亮度变化的周期中的最小周期的两倍。
另外,本实施例中对于所述m个光源的物理位置没有特殊的要求,只要它们是空间上分离的即可。
在步骤S320中,采用在空间上位置不同的至少三个摄像头分别采集用于三维重建的图像。
与常见的多目相机图像采集方式不同,在该步骤中,所述至少三个摄像头中至少有一个摄像头进行采集的开始曝光时间与其他摄像头不同。例如,假设所述摄像头为n个(n≥3),则该n个摄像头并非全都在同一时刻进行拍摄,而是至少要有一个摄像头的开始曝光时间不同于其他摄像头。
可选的,具有与其他摄像头不同的开始曝光时间的摄像头比其他摄像头延迟预定的时间开始曝光。例如,假设摄像头i的开始曝光时间不同于其他摄像头,并且其他n-1个摄像头均在t0时刻开始曝光,则摄像头i在t1=t0+△t时刻开始曝光,其中△t为预定的延迟时间。可选的,该预定的延迟时间小于所述m个光源的亮度变化的周期中的最大周期。
以上,已经对根据本公开实施例的用于三维重建的图像的获取方法进行了描述。按照该方法,通过控制光源亮度变化和摄像头的开始曝光时间,使得各摄像头在拍摄时,对其产生主要影响的光源可能不相同,从而从各摄像头看到的高光区域的位置倾向于并不都是由相同的光源造成的;因此即使由于受高光的影响,在进行像素匹配时针对各摄像头找到的匹配像素的位置与实际正确的位置有偏差,也不太可能由于偏差程度恰好合适而导致在三角测距时误以为找到了一个重建三维点,从而有效地减少了三维重建错误。另外,能够理解,在上述方法中,在一次采集中,每个摄像头均只需拍摄一幅图像,因此采集所需要的时间较短。
为了使得本领域技术人员能够更好地理解上述根据本实施例的用于三维重建的图像的获取方法,以下结合图4利用一个具体而非限制性的示例对该方法进行描述。
图4示出了根据本公开实施例的用于三维重建的图像的获取方法的一个具体示例。如图4所示,在该具体示例中采用两个光源和三个摄像头,并且光源和摄像头一字排布。当然,光源和摄像头的这一排布方式仅仅是一种示例,本领域技术人员可以根据具体情况采用其他排布方式,只要两个光源是空间上分离的即可。
在该示例中,光源1和光源2的亮度按照例如三角波做周期变化,并且光源1和光源2的亮度变化的周期相同、相位相差半个周期。能够理解,光源1和光源2的亮度变化的相位相差半个周期仅仅是一个示例,两者的相位也可以相差其他角度。另外,尽管图4中显示出光源1和2的亮度变化的最大值是相同的,但这并不是必须的,本公开中对此并无限制。
另一方面,如图4所示,在该示例中,假设摄像头1和3在同一时刻开始进行拍摄,而摄像头2比摄像头1和3延迟一段时间后曝光。另外,作为示例,图4中示出摄像头1-3的曝光时间相同,但这并不是必须的,本公开中对此并无限制。
对于如图4所示的示例,由于在摄像头1和3的曝光过程中,光源1的亮度较高,而光源2的亮度较低,因此摄像头1和3受光源1的影响较多,从而从摄像头1和3看到的高光区域的位置更倾向于是由于光源1而造成的;与此相反,在摄像头2的曝光过程中,光源2的亮度较高,而光源1的亮度较低,因此摄像头2受光源2的影响较多,从而从摄像头2看到的高光区域的位置更倾向于是由于光源2而造成的。在这样的情况下,对于例如图2所示的物体形状,从摄像头2看到的高光区域的位置会比实际位置偏左,而从摄像头3看到的高光区域的位置会比实际位置偏右,因此在三角测距时与各摄像头对应的三维射线不可能刚好交于同一点,从而避免了错误地找到一个重建三维点的情形。
以上已经对根据本公开实施例的用于三维重建的图像的获取方法进行了描述。下面将对应用该方法的三维重建进行描述。图5例示了根据本公开实施例的三维重建方法的流程图。
如图5所示,在步骤S510,控制在空间上分离设置的至少两个光源中的每个光源的亮度周期性地变化,其中所述至少两个光源中至少有一个光源的亮度变化的周期与其他光源不同,或者所述至少两个光源的亮度变化的周期相同、且其中至少有一个光源的亮度变化的相位与其他光源不同;在步骤S520,采用在空间上位置不同的至少三个摄像头分别采集用于三维重建的图像,其中至少有一个摄像头进行采集的开始曝光时间与其他摄像头不同。步骤S510和步骤S520的具体处理分别与上文中描述的图3中的步骤S310和步骤S320的具体处理相同,此处不再赘述。
在步骤S530,以任一摄像头采集到的图像为基准图像,对于该基准图像中的任一像素,利用该任一像素与每一个其他摄像头采集到的图像中与该像素匹配的像素分别确定一个候选的重建点。
假设摄像头共有n个(n≥3),并以该n个摄像头中的摄像头j采集到的图像作为基准图像,则对于该基准图像中的任一像素都按照该步骤的处理来选择候选的重建点。具体的,针对基准图像中的任一像素P,对于其他n-1个摄像头中的每个摄像头采集到的图像,均通过诸如特征匹配等方式在其中寻找一个匹配像素,并通过三角测距利用该匹配像素与所述像素P确定一个候选的重建点,由此对于n个摄像头可以得到n-1个候选的重建点。上述匹配像素的寻找、利用三角测距确定候选重建点等均是本领域中的常见处理,此处不再对其细节进行详细描述。
在步骤S540,如果各个候选的重建点在预定范围内,则基于各个候选的重建点构建三维重建点,否则不构建所述三维重建点。
如前所述,对于n个摄像头,通过步骤S530将确定出n-1个候选的重建点。如果该n-1个候选的重建点之间的距离比较近,例如在一个预定范围内,则认为所确定的该n-1个候选的重建点是正确的,均指向空间中的同一个三维重建点。此时可以利用最小二乘法等本领域中各种常用处理方式基于该n-1个候选的重建点来构建对应于像素P的三维重建点。所述预定范围的大小代表对于匹配误差的容忍程度,其可以根具体需要来设定。
相反,如果该n-1个候选的重建点之间出现了冲突,即该n-1个候选的重建点之间的距离过远,例如超出了预定范围,则认为所确定的该n-1个候选的重建点受到了高光的干扰,是不正确的,因而无法构建正确的三维重建点。此时不基于所述n-1个候选的重建点来构建对应于像素P的三维重建点,而是丢弃它们。
以上,已经对根据本公开实施例的三维重建方法进行了描述。在该方法中,通过控制光源亮度变化和摄像头的开始曝光时间,可以有效识别出图像中受高光影响的区域,从而能够排除高光干扰所致的像素匹配偏差导致的错误三维点,有效减少三维重建错误。
下面,参考图6来描述根据本公开实施例的用于三维重建的图像的获取***。
如图6所示,该获取***600包括在空间上分离设置的m(m≥2)个光源、以及在空间上位置不同的n(n≥3)个摄像头。
m个光源中的每个光源的亮度均周期性地变化,并且其中至少有一个光源的亮度变化的周期与其他光源不同,或者所述m个光源的亮度变化的周期相同、且其中至少有一个光源的亮度变化的相位与其他光源不同。
该m个光源各自的亮度变化的周期可以根据具体情况来任意设定,只要保证m个光源的亮度变化的周期不全都相同(即至少要有一个光源的亮度变化的周期不同于其他光源)、或者m个光源的亮度变化的周期全都相同但相位不全都相同(即至少要有一个光源的亮度变化的相位不同于其他光源)即可。
可选的,m个光源的亮度变化的周期与n个摄像头的曝光时间相当。例如,m个光源的亮度变化的周期与各摄像头的曝光时间为同一数量级;再比如,光源的亮度变化的周期和摄像头的曝光时间可以设定为:n个摄像头的曝光时间均大于m个光源的亮度变化的周期中的最大周期的一半,并且均小于m个光源的亮度变化的周期中的最小周期的两倍。
另外,本实施例中对于m个光源的物理位置没有特殊的要求,只要它们是空间上分离的即可。
空间上位置不同的n个摄像头分别采集用于三维重建的图像。与常见的多目相机图像采集方式不同,n个摄像头并非全都在同一时刻进行拍摄,而是至少要有一个摄像头的开始曝光时间不同于其他摄像头。
可选的,具有与其他摄像头不同的开始曝光时间的摄像头比其他摄像头延迟预定的时间开始曝光。例如,假设摄像头i的开始曝光时间不同于其他摄像头,并且其他n-1个摄像头均在t0时刻开始曝光,则摄像头i在t1=t0+△t时刻开始曝光,其中△t为预定的延迟时间。可选的,该预定的延迟时间小于所述m个光源的亮度变化的周期中的最大周期。
在如上所述的***中,通过控制光源亮度变化和摄像头的开始曝光时间,使得各摄像头在拍摄时,对其产生主要影响的光源可能并不相同,从而从各摄像头看到的高光区域的位置倾向于并不都是由相同的光源造成的;因此即使由于受高光的影响,在进行像素匹配时针对各摄像头找到的匹配像素的位置与实际正确的位置有偏差,也不太可能由于偏差程度恰好合适而导致在三角测距时误以为找到了一个重建三维点,从而有效地减少了三维重建错误。另外,能够理解,在该***中,在一次采集中,每个摄像头均只需拍摄一幅图像,因此采集所需要的时间较短。
以上已经对根据本公开实施例的用于三维重建的图像的获取***进行了描述。下面将结合图7对应用该***的三维重建***进行描述。图7示出了根据本公开实施例的三维重建***的示意性结构框图。
如图7所示,该三维重建***700包括在空间上分离设置的m(m≥2)个光源、在空间上位置不同的n(n≥3)个摄像头、以及图像处理设备710。
m个光源中的每个光源的亮度均周期性地变化,并且其中至少有一个光源的亮度变化的周期与其他光源不同,或者m个光源的亮度变化的周期相同、且其中至少有一个光源的亮度变化的相位与其他光源不同。
空间上位置不同的n个摄像头分别采集用于三维重建的图像。与常见的多目相机图像采集方式不同,所述n个摄像头并非全都在同一时刻进行拍摄,而是至少要有一个摄像头的开始曝光时间不同于其他摄像头。
上述空间上分离设置的m个光源、空间上位置不同的n个摄像头的具体结构和功能分别与上文中描述的图6中的m个光源和n个摄像头的具体结构和功能处理相同,此处不再赘述。
图像处理设备710以任一摄像头采集到的图像为基准图像,对于该基准图像中的任一像素,利用该任一像素与每一个其他摄像头采集到的图像中与该像素匹配的像素分别确定一个候选的重建点;如果各个候选的重建点在预定范围内,则图像处理设备710基于各个候选的重建点构建三维重建点,否则不构建所述三维重建点。
假设以n个摄像头中的摄像头j采集到的图像作为基准图像,则图像处理设备710对于该基准图像中的任一像素都按照上述方式来选择候选的重建点。具体的,针对基准图像中的任一像素P,对于其他n-1个摄像头中的每个摄像头采集到的图像,图像处理设备710均通过诸如特征匹配等方式在其中寻找一个匹配像素,并通过三角测距利用该匹配像素与所述像素P确定一个候选的重建点,由此对于n个摄像头可以得到n-1个候选的重建点。匹配像素的寻找、利用三角测距确定候选重建点等均是本领域中的常见处理,此处不再对其细节进行详细描述。
如果该n-1个候选的重建点之间的距离比较近,例如在一个预定范围内,则认为所确定的该n-1个候选的重建点是正确的,均指向空间中的同一个三维重建点。此时图像处理设备710可以利用最小二乘法等本领域中各种常用处理方式基于该n-1个候选的重建点来构建对应于像素P的三维重建点。所述预定范围的大小代表对于匹配误差的容忍程度,其可以根具体需要来设定。
相反,如果该n-1个候选的重建点之间出现了冲突,即该n-1个候选的重建点之间的距离过远,例如超出了预定范围,则认为所确定的该n-1个候选的重建点受到了高光的干扰,是不正确的,因而无法构建正确的三维重建点。此时图像处理设备710不基于所述n-1个候选的重建点来构建对应于像素P的三维重建点,而是丢弃它们。
以上,已经对根据本公开实施例的三维重建***进行了描述。在该***中,通过控制光源亮度变化和摄像头的开始曝光时间,可以有效识别出图像中受高光影响的区域,从而能够排除高光干扰所致的像素匹配偏差导致的错误三维点,有效减少三维重建错误。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
另外,如在此使用的,在以“至少一个”开始的项的列举中使用的“或”指示分离的列举,以便例如“A、B或C的至少一个”的列举意味着A或B或C,或AB或AC或BC,或ABC(即A和B和C)。此外,措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是,在本公开的***和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外,本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而,所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种用于三维重建的图像的获取方法,包括:
控制在空间上分离设置的至少两个光源中的每个光源的亮度周期性地变化,其中所述至少两个光源中至少有一个光源的亮度变化的周期与其他光源不同,或者所述至少两个光源的亮度变化的周期相同、且其中至少有一个光源的亮度变化的相位与其他光源不同;以及
采用在空间上位置不同的至少三个摄像头分别采集用于三维重建的图像,其中至少有一个摄像头进行采集的开始曝光时间与其他摄像头不同,
其中,具有与其他摄像头不同的开始曝光时间的所述摄像头比其他摄像头延迟预定的时间开始曝光,所述预定的时间小于所述至少两个光源的亮度变化的周期中的最大周期。
2.如权利要求1所述的获取方法,其中在进行采集时,所述至少三个摄像头中的每一个均只拍摄一幅图像。
3.如权利要求1或2所述的获取方法,其中所述至少三个摄像头的曝光时间与所述至少两个光源的亮度变化的周期相当。
4.如权利要求3所述的获取方法,其中所述至少三个摄像头的曝光时间大于所述至少两个光源的亮度变化的周期中的最大周期的一半,并且小于所述至少两个光源的亮度变化的周期中的最小周期的两倍。
5.一种三维重建方法,包括:
控制在空间上分离设置的至少两个光源中的每个光源的亮度周期性地变化,其中所述至少两个光源中至少有一个光源的亮度变化的周期与其他光源不同,或者所述至少两个光源的亮度变化的周期相同、且其中至少有一个光源的亮度变化的相位与其他光源不同;
采用在空间上位置不同的至少三个摄像头分别采集用于三维重建的图像,其中至少有一个摄像头进行采集的开始曝光时间与其他摄像头不同,并且具有与其他摄像头不同的开始曝光时间的所述摄像头比其他摄像头延迟预定的时间开始曝光,所述预定的时间小于所述至少两个光源的亮度变化的周期中的最大周期;
以任一摄像头采集到的图像为基准图像,对于该基准图像中的任一像素,利用该任一像素与每一个其他摄像头采集到的图像中与该像素匹配的像素分别确定一个候选的重建点;
如果各个候选的重建点在预定范围内,则基于各个候选的重建点构建三维重建点,否则不构建所述三维重建点。
6.一种用于三维重建的图像的获取***,包括:
在空间上分离设置的至少两个光源,各光源的亮度周期性地变化;和
在空间上位置不同的至少三个摄像头,分别采集用于三维重建的图像,
其中,所述至少两个光源中至少有一个光源的亮度变化的周期与其他光源不同,或者所述至少两个光源的亮度变化的周期相同、且其中至少有一个光源的亮度变化的相位与其他光源不同,
所述至少三个摄像头中至少有一个摄像头进行采集的开始曝光时间与其他摄像头不同,具有与其他摄像头不同的开始曝光时间的所述摄像头比其他摄像头延迟预定的时间开始曝光,所述预定的时间小于所述至少两个光源的亮度变化的周期中的最大周期。
7.如权利要求6所述的获取***,其中在进行采集时,所述至少三个摄像头中的每一个均只拍摄一幅图像。
8.如权利要求6或7所述的获取***,其中所述至少三个摄像头的曝光时间与所述至少两个光源的亮度变化的周期相当。
9.如权利要求8所述的获取***,其中所述至少三个摄像头的曝光时间大于所述至少两个光源的亮度变化的周期中的最大周期的一半,并且小于所述至少两个光源的亮度变化的周期中的最小周期的两倍。
10.一种三维重建***,包括:
在空间上分离设置的至少两个光源,各光源的亮度周期性地变化;
在空间上位置不同的至少三个摄像头,分别采集用于三维重建的图像;和
图像处理设备,以所述至少三个摄像头中任一摄像头采集到的图像为基准图像,对于该基准图像中的任一像素,利用该任一像素与每一个其他摄像头采集到的图像中与该像素匹配的像素分别确定一个候选的重建点,并且如果各个候选的重建点在预定范围内,则基于各个候选的重建点构建三维重建点,否则不构建所述三维重建点,
其中,所述至少两个光源中至少有一个光源的亮度变化的周期与其他光源不同,或者所述至少两个光源的亮度变化的周期相同、且其中至少有一个光源的亮度变化的相位与其他光源不同,
所述至少三个摄像头中至少有一个摄像头进行采集的开始曝光时间与其他摄像头不同,具有与其他摄像头不同的开始曝光时间的所述摄像头比其他摄像头延迟预定的时间开始曝光,所述预定的时间小于所述至少两个光源的亮度变化的周期中的最大周期。
CN201510680737.7A 2015-10-19 2015-10-19 三维重建的图像获取方法和***、三维重建方法和*** Active CN105389845B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510680737.7A CN105389845B (zh) 2015-10-19 2015-10-19 三维重建的图像获取方法和***、三维重建方法和***
US15/010,683 US10080009B2 (en) 2015-10-19 2016-01-29 Method and system for obtaining images for 3D reconstruction and method and system for 3D reconstruction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510680737.7A CN105389845B (zh) 2015-10-19 2015-10-19 三维重建的图像获取方法和***、三维重建方法和***

Publications (2)

Publication Number Publication Date
CN105389845A CN105389845A (zh) 2016-03-09
CN105389845B true CN105389845B (zh) 2017-03-22

Family

ID=55422093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510680737.7A Active CN105389845B (zh) 2015-10-19 2015-10-19 三维重建的图像获取方法和***、三维重建方法和***

Country Status (2)

Country Link
US (1) US10080009B2 (zh)
CN (1) CN105389845B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6566737B2 (ja) * 2015-06-18 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
CN106131405A (zh) * 2016-06-30 2016-11-16 北京旷视科技有限公司 图像处理方法和装置及用于其的图像采集***
CN107123136B (zh) * 2017-04-28 2019-05-24 深圳岚锋创视网络科技有限公司 基于多路图像的全景图像对齐方法、装置及便携式终端
CN110322549B (zh) * 2019-06-12 2021-01-22 清华大学 一种基于图像的三维重建的方法及***
CN110830718B (zh) * 2019-11-12 2021-07-20 广州极飞科技股份有限公司 拍照控制方法、测绘方法及相关装置
CN112918373A (zh) * 2021-01-21 2021-06-08 广州小鹏自动驾驶科技有限公司 一种数据处理的方法和装置
CN115100383B (zh) * 2022-08-24 2022-11-15 深圳星坊科技有限公司 基于普通光源的镜面物体三维重建方法、装置和设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8516207D0 (en) * 1985-06-26 1985-07-31 Samuelson D W Cinematograph camera flicker control device
US5818959A (en) * 1995-10-04 1998-10-06 Visual Interface, Inc. Method of producing a three-dimensional image from two-dimensional images
WO1999061948A1 (fr) * 1998-05-25 1999-12-02 Matsushita Electric Industrial Co., Ltd. Telemetre et appareil photographique
US20100231692A1 (en) * 2006-07-31 2010-09-16 Onlive, Inc. System and method for performing motion capture and image reconstruction with transparent makeup
CN101719264B (zh) * 2009-12-28 2012-05-23 清华大学 一种多视角动态场景采集的视觉场计算方法
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8939374B2 (en) * 2010-12-30 2015-01-27 Hand Held Products, Inc. Terminal having illumination and exposure control
CN102236912A (zh) * 2011-07-08 2011-11-09 清华大学 变光照条件下运动目标的三维重建方法及三维重建装置
JP5860663B2 (ja) * 2011-10-18 2016-02-16 日立オートモティブシステムズ株式会社 ステレオ撮像装置
US8638989B2 (en) * 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9578259B2 (en) * 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
CN104296690A (zh) * 2014-10-24 2015-01-21 四川大学 一种基于图像融合的多线结构光三维测量方法
US9838622B2 (en) * 2015-03-13 2017-12-05 Apple Inc. Flicker detection using semiconductor light source

Also Published As

Publication number Publication date
US10080009B2 (en) 2018-09-18
US20170111628A1 (en) 2017-04-20
CN105389845A (zh) 2016-03-09

Similar Documents

Publication Publication Date Title
CN105389845B (zh) 三维重建的图像获取方法和***、三维重建方法和***
US9094675B2 (en) Processing image data from multiple cameras for motion pictures
TWI497980B (zh) 處理3d立體影像的系統與方法
JP5370542B1 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5214826B2 (ja) 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体
CN102447934B (zh) 稀疏镜头采集的组合立体图像***中立体元的合成方法
WO2017183470A1 (ja) 三次元再構成方法
JP2010510569A (ja) 2次元から3次元に変換するためのオブジェクトのモデルフィッティング及びレジストレーションのシステム及び方法
JP2006107213A (ja) 立体画像印刷システム
US20090244262A1 (en) Image processing apparatus, image display apparatus, imaging apparatus, and image processing method
US20200137376A1 (en) Method for generating a light-field 3d display unit image and a generating device
CN104333747A (zh) 一种立体拍照方法和立体拍照设备
JP2009175866A (ja) 立体像生成装置、その方法およびそのプログラム
JP2013176035A (ja) 立体映像出力装置及び立体映像出力方法
TW202014993A (zh) 資訊處理裝置、記錄媒體、程式產品及資訊處理方法
JP4996922B2 (ja) 立体映像化
CN112648935A (zh) 一种图像处理方法、装置和三维扫描***
CN101697597A (zh) 产生3d影像的方法
JP5840022B2 (ja) 立体画像処理装置、立体画像撮像装置、立体画像表示装置
CN104155839B (zh) 用于提供3维图像的***和方法
KR102082277B1 (ko) 파노라마 영상 생성 방법 및 그 장치
JP7476511B2 (ja) 画像処理システム、画像処理方法及びプログラム
TW201733351A (zh) 3d自動對焦顯示方法及其系統
CN105282534B (zh) 用于嵌入立体图像的***及方法
TW201327019A (zh) 利用多畫面三維相機拍攝具視角彈性視點合成全景三維影像的技術

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP03 Change of name, title or address

Address after: 100190 room 313, block A, 2 South Road, Haidian District Academy of Sciences, Beijing, China

Co-patentee after: Beijing maigewei Technology Co., Ltd.

Patentee after: MEGVII INC.

Address before: 100080 room A, block, No. 2 South Road, Haidian District Academy of Sciences, Beijing, China

Co-patentee before: Beijing aperture Science and Technology Ltd.

Patentee before: MEGVII INC.

CP03 Change of name, title or address