CN111540042B - 用于三维重构的方法、装置以及相关设备 - Google Patents

用于三维重构的方法、装置以及相关设备 Download PDF

Info

Publication number
CN111540042B
CN111540042B CN202010350942.8A CN202010350942A CN111540042B CN 111540042 B CN111540042 B CN 111540042B CN 202010350942 A CN202010350942 A CN 202010350942A CN 111540042 B CN111540042 B CN 111540042B
Authority
CN
China
Prior art keywords
ideal
target object
exposure intensity
pixel point
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010350942.8A
Other languages
English (en)
Other versions
CN111540042A (zh
Inventor
吴笛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shenghuang Optical Technology Co ltd
Original Assignee
Shanghai Shenghuang Optical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shenghuang Optical Technology Co ltd filed Critical Shanghai Shenghuang Optical Technology Co ltd
Priority to CN202010350942.8A priority Critical patent/CN111540042B/zh
Publication of CN111540042A publication Critical patent/CN111540042A/zh
Application granted granted Critical
Publication of CN111540042B publication Critical patent/CN111540042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开提供一种用于三维重构的方法、装置、电子设备、计算机可读存储介质、逻辑电路以及***,该方法包括:将第一预测图像投影至目标对象,并通过第一曝光强度同步拍摄目标对象以获得目标对象各个像素点的目标灰度值;根据理想灰度值、第一曝光强度以及各个像素点的目标灰度值,确定目标对象各个像素点对应的理想曝光强度;按照理想曝光强度对目标对象的各个像素点进行分组统计,以获得分组统计结果;根据分组统计结果确定目标对象的理想曝光设置,以便根据理想曝光设置通过结构光技术对目标对象进行三维重构。本公开实施例提供的方法,可以确定一个能够覆盖目标对象多数像素点的理想曝光设置,以更好的对目标对象进行三维重构。

Description

用于三维重构的方法、装置以及相关设备
技术领域
本公开涉及图像处理技术领域,尤其涉及一种用于三维重构的方法、装置、电子设备计算机可读存储介质、逻辑电路以及***。
背景技术
结构光技术是一种非接触式三维重构技术。它采用一个或多个光源将特定的单幅或多幅图案投影到被测物体上,同时以一个或多个图像传感器拍摄被测物体,通过对图像传感器采集得到的图像数据进行分析计算,最终获得包含深度信息的图像数据。
成像完整性是衡量三维重构技术的最重要指标之一。对于面结构光技术而言,合适的曝光强度至关重要,过曝或欠曝都会造成像素点重构失败,从而影响成像完整性。
因此,针对目标对象找到一种合适的曝光设置,并通过该曝光设置对目标对象进行三维重构,对提高目标对象三维重构的完整性至关重要。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开实施例提供一种用于三维重构的方法、装置、电子设备、计算机可读存储介质、逻辑电路以及***,能够确定一种可以使得目标对象上的各个像素点尽可能成像的理想曝光设置,通过该曝光设置对目标对象进行三维重构,可以提高目标对象三维重构的完整性,并进一步的提高目标对象三维成像质量。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
本公开实施例提出一种用于三维重构的方法,该方法包括:将第一预测图像投影至目标对象,并通过第一曝光强度同步拍摄所述目标对象以获得所述目标对象各个像素点的目标灰度值;根据理想灰度值、所述第一曝光强度以及各个像素点的目标灰度值,确定所述目标对象各个像素点对应的理想曝光强度;按照所述理想曝光强度对所述目标对象的各个像素点进行分组统计,以获得分组统计结果;根据所述分组统计结果确定所述目标对象的理想曝光设置,以便根据所述理想曝光设置通过结构光技术,对所述目标对象进行三维重构。
在一些实施例中,所述目标对象包括第一像素点,所述第一像素点对应的目标灰度值为第一灰度值;其中,根据理想灰度值、所述第一曝光强度以及各个像素点的目标灰度值,确定所述目标对象各个像素点对应的理想曝光强度,包括:根据所述理想灰度值、所述第一灰度值以及所述第一曝光强度,获取基于所述目标测量图像获得所述理想灰度值时,所述第一像素点需要的第一目标曝光强度;根据所述第一目标曝光强度确定所述第一像素点的理想曝光强度。
在一些实施例中,根据所述第一曝光强度确定所述第一像素点的理想曝光强度,包括:将所述第一预测图像投影至所述第一像素点上,并通过第二曝光强度同步拍摄所述第一像素点以获得第二灰度值;根据所述理想灰度值、所述第二灰度值以及所述第二曝光强度,获取基于所述目标测量图像获得所述理想灰度值时,所述第一像素点需要的第二目标曝光强度;若所述第一目标曝光强度大于所述第二目标曝光强度,则所述第一目标曝光强度就是所述第一像素点的理想曝光强度。
在一些实施例中,所述目标对象包括第二像素点,所述第二像素点对应的目标灰度值为第三灰度值,所述第一预测图像与所述第二像素点的目标测量图像不同;其中,根据理想灰度值、所述第一曝光强度以及各个像素点的目标灰度值,确定所述目标对象各个像素点对应的理想曝光强度,包括:确定所述第二像素点的目标测量图像和所述第一预测图像的灰度增强系数比;根据理想灰度值、所述第三灰度值、所述第一曝光强度以及所述灰度增强系数比,获取基于所述目标测量图像获得所述理想灰度值时,所述第二像素点需要的理想曝光强度。
在一些实施例中,确定所述第二像素点的目标测量图像和所述第一预测图像的灰度增强系数比,包括:将所述第一预测图像投影至反光率均匀的目标物体上,并通过第三曝光强度同步拍摄所述目标物体,获得所述目标物体的第一平均灰度值;将所述第二像素点的目标测量图像投影至所述目标物体上,并通过所述第三曝光强度同步拍摄所述目标物体,获得所述目标物体的第二平均灰度值;根据所述第一平均灰度值和所述第二平均灰度值的比值,确定所述第二像素点的目标测量图像和所述第一预测图像的灰度增强系数比。
在一些实施例中,根据所述分组统计结果确定所述目标对象的理想曝光设置,包括:获取候选曝光设置;根据所述分组统计结果确定在所述候选曝光设置下所述目标对象的成像质量;根据所述成像质量在候选曝光设置中确定所述目标对象的理想曝光设置。
在一些实施例中,所述分组统计结果为像素点个数相对于理想曝光强度的频数分布图;其中,获取候选曝光设置,包括:获取第一曝光次数;根据所述第一曝光次数,按照面积将所述频数分布图等分以获取第一等分图;获取各个第一等分图的重心对应的理想曝光强度,以生成所述候选曝光设置。
在一些实施例中,根据所述分组统计结果确定在所述候选曝光设置下所述目标对象的成像质量,包括:获取在所述候选曝光设置下所述目标对象可以成像的第三像素点;根据所述第三像素点确定在所述候选曝光设置下所述目标对象的成像质量。
在一些实施例中,所述候选曝光设置包括第四曝光强度,在所述第四曝光强度下所述目标对象中的第四像素点可以成像;其中,根据所述第三像素点确定在所述候选曝光设置下所述目标对象的成像质量,包括:获取所述第四像素点对应的理想曝光强度与所述第四曝光强度的目标差值;根据所述目标差值确定所述第四像素点的权重;将所述第四像素点按照所述权重进行个数的加权求和,确定所述第四曝光强度的成像质量。
在一些实施例中,所述用于三维重构的方法还包括:将第二预测图像投影至所述目标对象上,并通过所述第四曝光强度同步拍摄所述目标对象以获得第四灰度值;获取所述第四灰度值中最大未过曝灰度值和最小未欠曝灰度值对应的第五像素点;基于所述第五像素点对应的理想曝光强度,根据所述分组统计结果确定在所述第四曝光强度下所述目标对象可成像的所述第四像素点。
在一些实施例中,所述分组统计结果为像素点个数相对于理想曝光强度的频数分布图;其中,根据所述分组统计结果确定所述目标对象的理想曝光设置,包括:获取第二曝光次数;根据所述第二曝光次数,按照面积将所述频数分布图等分以获取第二等分图;获取各个第二等分图的重心对应的理想曝光强度;根据所述第二等分图的重心对应的理想曝光强度确定所述理想曝光设置。
在一些实施例中,所述理想曝光设置包括第六曝光强度和第七曝光强度,所述目标对象包括第六像素点;其中,根据所述理想曝光设置通过结构光技术对所述目标对象进行三维重构,包括:将目标测量图像投影至所述第六像素点;通过所述第六曝光强度对所述第六像素点进行同步拍摄以获得第五灰度值,所述第五灰度值没有过曝;通过所述第七曝光强度对所述第六像素点进行同步拍摄以获得第六灰度值,所述第六灰度值没有过曝;若所述第五灰度值大于所述第六灰度值,则根据所述第六曝光强度通过所述结构光技术对所述第六像素点进行所述三维重构。
本公开实施例提供一种用于三维重构的装置,所述用于三维重构的装置包括:目标灰度值获取模块、理想曝光强度获取模块、分组统计结果获取模块、理想曝光设置获取模块。
其中,所述目标灰度值获取模块可以配置为将第一预测图像投影至目标对象,并通过第一曝光强度同步拍摄所述目标对象以获得所述目标对象各个像素点的目标灰度值。所述理想曝光强度获取模块可以配置为根据理想灰度值、所述第一曝光强度以及各个像素点的目标灰度值,确定所述目标对象各个像素点对应的理想曝光强度。所述分组统计结果获取模块可以配置为按照所述理想曝光强度对所述目标对象的各个像素点进行分组统计,以获得分组统计结果。所述理想曝光设置获取模块可以配置为根据所述分组统计结果确定所述目标对象的理想曝光设置,以便根据所述理想曝光设置通过结构光技术,对所述目标对象进行三维重构。
本公开实施例提供一种逻辑电路,所述逻辑电路包括:可编程逻辑芯片。所述可编程逻辑芯片被执行时可以实现上述任一项所述的用于三维重构的方法。
本公开实施例提供一种用于三维重构的***,所述用于三维重构的***包括:目标投影设备、目标图像采集设备以及理想曝光设置确定设备。
其中,所述目标投影设备可以将第一预测图像投影至目标对象。所述目标图像采集设备可以在将所述第一预测图像投影至所述目标对象的同时,通过第一曝光强度同步拍摄所述目标对象以获得所述目标对象各个像素点的目标灰度值。所述理想曝光设置确定设备可以根据理想灰度值、所述第一曝光强度以及各个像素点的目标灰度值,确定所述目标对象各个像素点对应的理想曝光强度,按照所述理想曝光强度对所述目标对象的各个像素点进行分组统计,以获得分组统计结果,根据所述分组统计结果确定所述目标对象的理想曝光设置,以便根据所述理想曝光设置通过结构光技术,对所述目标对象进行三维重构。
在一些实施例中,所述理想曝光设置确定设备为逻辑电路。
本公开实施例提出一种电子设备,该电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述任一项所述的用于三维重构的方法。
本公开实施例提出一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上述任一项所述的用于三维重构的方法。
本公开某些实施例提供的用于三维重构的方法、装置、***、逻辑电路、电子设备和计算机可读存储介质,获取了目标对象各个像素的理想曝光强度,并通过对各个像素的理想曝光强度的统计分析确定了针对目标对象的理想曝光设置,按照该理想曝光设置并通过结构光技术对目标对象进行三维重构,可以提高目标对象各个像素点的三维重构率以及三维成像质量。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。下面描述的附图仅仅是本公开的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种应用于用于三维重构的装置的计算机***的结构示意图。
图2是根据相关技术示出的一种面阵结构光***。
图3是根据一示例性实施例示出的一种用于三维重构的方法的流程图。
图4是根据一示例性实施例示出的一种根据理想曝光强度对像素点进行分组的示意图。
图5是图3中步骤S2在一示例性实施例中的流程图。
图6是图5中步骤S21在一示例性实施例中的流程图。
图7是图3中步骤S2在一示例性实施例中的流程图。
图8是图7中步骤S23在一示例性实施例中的流程图。
图9是图3中步骤S4在一示例性实施例中的流程图。
图10是根据一示例性实施例示出的一种根据理想曝光强度对像素点进行分组统计的示意图。
图11是图9中步骤S41在一示例性实施例中的流程图。
图12是根据一示例性实施例示出的一种根据第一曝光次数对频分图进行等分的示意图。
图13是图9中步骤S42在一示例性实施例中的流程图。
图14是图13中步骤S422在一示例性实施例中的流程图。
图15是根据一示例性实施例示出的一种确定第四曝光强度可成像分组的示意图。
图16是根据一示例性实施例示出的一种获取目标对象在第四曝光强度下可成第四像素点的方法的流程图。
图17是根据一示例性实施例示出的一种确定候选曝光设置中各个曝光强度可成像的像素点的示意图。
图18是图3中步骤S4在一示例性实施例中的流程图。
图19是根据一示例性实施例示出的一种用于三维重构的方法。
图20是根据一示例性实施例示出的一种用于三维重构的***。
图21是根据一示例性实施例示出的一种图像数据输入示意图。
图22是根据一示例性实施例示出的一种图像数据输入示意图。
图23是根据一示例性实施例示出的一种感兴趣区域示意图。
图24是根据一示例性实施例示出的一种用于三维重构的装置的框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本公开将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
本公开所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图仅为本公开的示意性图解,图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和步骤,也不是必须按所描述的顺序执行。例如,有的步骤还可以分解,而有的步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
本说明书中,用语“一个”、“一”、“该”、“所述”和“至少一个”用以表示存在一个或多个要素/组成部分/等;用语“包含”、“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等;用语“第一”、“第二”和“第三”等仅作为标记使用,不是对其对象的数量限制。
下面结合附图对本公开示例实施方式进行详细说明。
图1是根据一示例性实施例示出的一种应用于用于三维重构的装置的计算机***的结构示意图。
下面参考图1,其示出了适于用来实现本申请实施例的终端设备的计算机***100的结构示意图。图1示出的终端设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图1所示,计算机***100包括中央处理单元(CPU)101,其可以根据存储在只读存储器(ROM)102中的程序或者从储存部分108加载到随机访问存储器(RAM)103中的程序而执行各种适当的动作和处理。在RAM 103中,还存储有***100操作所需的各种程序和数据。CPU 101、ROM 102以及RAM 103通过总线104彼此相连。输入/输出(I/O)接口105也连接至总线104。
以下部件连接至I/O接口105:包括键盘、鼠标等的输入部分106;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分107;包括硬盘等的储存部分108;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分109。通信部分109经由诸如因特网的网络执行通信处理。驱动器110也根据需要连接至I/O接口105。可拆卸介质111,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器110上,以便于从其上读出的计算机程序根据需要被安装入储存部分108。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分109从网络上被下载和安装,和/或从可拆卸介质111被安装。在该计算机程序被中央处理单元(CPU)101执行时,执行本申请的***中限定的上述功能。
需要说明的是,本申请所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质,该计算机可读存储介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块和/或子模块和/或单元和/或子单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块和/或子模块和/或单元和/或子单元也可以设置在处理器中,例如,可以描述为:一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中,这些模块和/或子模块和/或单元和/或子单元的名称在某种情况下并不构成对该模块和/或子模块和/或单元和/或子单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备可实现功能包括:将第一预测图像投影至目标对象,并通过第一曝光强度同步拍摄所述目标对象以获得所述目标对象各个像素点的目标灰度值;根据理想灰度值、所述第一曝光强度以及各个像素点的目标灰度值,确定所述目标对象各个像素点对应的理想曝光强度;按照所述理想曝光强度对所述目标对象的各个像素点进行分组统计,以获得分组统计结果;根据所述分组统计结果确定所述目标对象的理想曝光设置,以便根据所述理想曝光设置通过结构光技术,对所述目标对象进行三维重构。
从获取数据的维度上进行区分,可以将结构光技术分为点结构光技术、线结构光技术和面结构光技术。点结构光技术的投射光源为单个光点,图像传感器通常为线阵图像传感器,点结构光技术可以获得单个点的深度信息,即一维信息(Z)。线结构光的投射光源是一条线,图像传感器可以是面阵图像传感器,线结构光技术可以获得线阵的深度信息,即二维信息(X,Z)。面结构光技术的投射光源是面阵光源,图像传感器是面阵图像传感器,该技术可以获得面阵的深度信息,即三维信息(X,Y,Z)。尽管点结构光技术和线结构光技术并不能直接获得包含X,Y,Z的完整三维信息,但在实际应用中可以通过机械移动扫描来提升数据维度,以最终获取三维信息,因此点结构光技术和线结构光技术通常仍被认为属于三维重构技术。
为了便于阐述本公开的原理和思路,首先介绍一种典型的三步正弦条纹移相法***的原理和步骤。
需要说明的是,本公开实施例提供的技术方案可以适用于面结构光技术、线结构光技术以及其他三维重构技术,本公开对此不作限制。
图2是根据相关技术示出的一种面阵结构光***。如图2所述,该面阵结构光***可以包括投影光源201、面阵相机202以及目标对象203。
其中,投影光源201可以将投影图像204投影至目标对象203上,在投影的同时面阵相机205可以同步对目标对象进行图像采集。其中,投影至目标对象203上的投影图像204可以为三张正弦条纹图案,在各个投影图像中各像素的亮度随其在光源靶面的横坐标呈正弦曲线变化,视野中可以包括多个正弦周期。另外,三张投影图像的相位可以不同,例如三张条纹图两两之间的相位差为2/3π,其中第一张图相位为0,第二张图相位为2/3π,第三张图的相位为4/3π。
在一些实施例中,通过上述三张投影图像向目标对象203投影并拍摄后可以获得P1,P2,P3三个图像。相对应地,P1对应的相位为0,P2对应的相位为2/3π,P3对应的相位为4/3π。
一个在面阵相机靶面上的像素坐标为(Xc,Yc)的像素点A在P1,P2,P3中的像素灰度值分别为G1,G2,G3。G1,G2,G3的表达式可以分别为:
G1=I(Ra sinα+Rb) (1)
其中:
I为面阵相机的曝光强度。它描述对于整个***而言相机像素的灵敏度,它与曝光时间和相机增益呈正相关;
Ra为被测物体在像素点A位置的反射率;
α为像素点A的调制相位,它与调制光在光源靶面的横坐标呈线性关系;
Rb为目标对象周围的环境光辐射强度;
由于图像传感器的像素单元具有固定的最大数据值,比如8比特的A/D转换结果最大为255,过曝将导致像素灰度值不再随着像素单元所接受到的光辐射量增加,因此上述公式成立的前提为对应的像素未发生过曝(即灰度值过高)也未发生欠曝(即灰度值过低)。
联立公式(1)~公式(3),可以获得如下解:
在结构光技术中,在获取目标像素点在各个投影图像下的调制相位后,即可建立相机像素和光源像素的对应关系,完成三角测量法计算,得到被测点的三维坐标信息。
一般来说,在以下三种情况下会认为像素点无法重构。
(1)在***的有效景深内没有被测物体的情况下,G1,G2,G3的值可能会十分接近,其振幅主要由***噪音导致,所以根据公式(4)无法对调制相位进行有效的确认。因为尽管在公式(4)中,2G1≠G2+G3时仍然能够解得调制相位α,但结果没有意义。
(2)像素点的灰度值过大(过曝)。当曝光强度过高时,像素点将发生过曝,传感器获得的灰度值不再符合公式(1)~(3),通过公式(4)解得的调制相位α将包含较大的误差。因此,过大的灰度值对应的像素点应被标记为不可重构。
(3)像素点的灰度值过小(欠曝)。当曝光强度过低时,G1,G2,G3的值将十分接近,其表现与景深内没有被测物体的情况相同,也应被标记为不可重构。
一般来说,若一个像素点不存在以上三种情况,则可以被有效地三维重构。此时,曝光强度越高,像素点成像的信噪比越好,计算得到的调制相位α的精度越高。因此,对于结构光的三维重构技术来说,我们希望每一个像素点在成像时对应的曝光强度都能够足够高。
对于一个像素点而言,其理想曝光强度应使其灰度值G接近像素饱和。
在本发明中,一个接近像素饱和的灰度值被称之为理想灰度值GIdeal。理想灰度值GIdeal距离饱和值应留有一定的余量,避免像素因为随机噪音导致过曝。举例而言,对于8位模数转换得到的图像数据,其灰度值范围为0~255,所以GIdeal可以被设定为220。
对于单个像素而言,其像素灰度值G正比于曝光强度I,若能通过调整曝光强度,使其G=GIdeal,则可以实现最佳的重构效果,此时的曝光强度记为IIdeal。因此,我们希望可以通过找到一组理想曝光设置,使得尽可能多的像素点的灰度值能够达到理想灰度值。
在结构光***中,有多个可调参数可以线性或接近线性地影响在单位时间内图像传感器像素录得的灰度值,比如:相机增益,相机曝光时间,光源曝光时间,光源辐射强度,光源图像调制幅度等等。本公开所指的曝光强度、曝光设置,泛指所有此类参数。在具体实施中可以根据***的实际情况,对所有可以影响图像传感器像素录得的灰度值大小的可调参数中的一个或几个进行调整,以实现调整曝光强度的目的。
本公开实施例提供了一种用于三维重构的方法,可以为结构光技术提供一个理想曝光设置,通过该理想曝光设置对目标对象进行三维重构可以使得尽可能多的像素点成像,还可以提高目标对象三维成像的质量。
图3是根据一示例性实施例示出的一种用于三维重构的方法的流程图。本公开实施例所提供的方法可以由任意具备计算处理能力的电子设备处理,本公开对此不做限制。
参照图3,本公开实施例提供的用于三维重构的方法可以包括以下步骤。
在步骤S1中,将第一预测图像投影至目标对象,并通过第一曝光强度同步拍摄所述目标对象以获得所述目标对象各个像素点的目标灰度值。
在一些实施例中,第一预测图像可以是正弦条纹图像、二值化条纹以及全白图像等,本公开对此不作限制。
在一些实施例中,可以通过结构光***中的目标投影设备将第一预测图像投影至目标对象,并通过结构光***中的图像采集设备同步对目标对象进行采集,以分别获得各个像素点的目标灰度值。
可以理解的是由于可以通过不同的第一预测图像获取目标灰度值,所以目标对象的第一预测图像可以有多种实现方式,本公开对此不作限制。
在步骤S2中,根据理想灰度值、所述第一曝光强度以及各个像素点的目标灰度值,计算得到所述目标对象各个像素点对应的理想曝光强度。
本实施例将以目标对象的目标像素点为例,解释如何获得该目标像素点的理想曝光强度。
在结构光技术中,对于同一个像素点,不同的测量拍摄图像可以得到不同的灰度值。一般来说,灰度值越大,对该像素点进行三维重构的信噪比越好。
在一些实施例中,可以向目标像素点投影多个图像,任意一个投影图像都可以是目标测量图像,通过目标测量图像向目标像素点投影后获得的灰度值为目标灰度值。
在一些实施例中,可以通过公式(5)描述目标像素点的目标灰度值与获取目标灰度值对应的曝光强度I之间的关系。
Gp=Ip(RaC+Rb) (5)
其中:
Gp为目标像素点的目标灰度值。
Ip为获取目标像素点的目标灰度值时所应用的曝光强度;
Ra为目标对象在目标像素点位置的反射率;
C为灰度增强系数,描述一种特定的投影图像造成灰度值增加的能力;
Rb为目标对象所在环境的环境光辐射强度。
在一些实施例中,目标像素点的理想灰度值可以被提前设定,例如可以设置为220。在不发生过曝的情况下,相机的曝光强度越大,通过该相机对目标像素点进行拍摄获得的灰度值越大,最终对该目标像素的三维重构的信噪比也就越好。因此,可以通过本公开实施例提供的理想曝光设置,使得目标对象中尽可能多的像素点可以成像,并且使尽可能多的像素点对应的灰度值都能达到或者接近理想灰度值。
在一些实施例中,若向目标像素点投影的第一预测图像与该目标像素点的目标测量图案相同,则可以通过公式(6)描述目标像素点的理想灰度值与理想曝光强度之间的关系。
GIdeal=IIdeal(RaC+Rb) (6)
其中,
GIdeal为目标像素点的理想灰度值;
IIdeal为目标像素点的理想曝光强度;
Ra为目标对象在目标像素点位置的反射率;
C为灰度增强系数,描述一种特定的投影图像造成灰度值增加的能力;
Rb为目标对象所在环境的环境光辐射强度。
联立公式(5)和公式(6),可以获得用来描述理想曝光强度IIdeal与理想灰度值GIdeal、目标灰度值Gp以及目标灰度值对应的曝光强度Ip之间的关系的公式(7)。
在一些实施例中,若向目标像素点投影的第一预测图像与该目标像素点的目标测量图案不相同,并且目标对象所在环境的环境光辐射强度可以忽略不计,则可以通过公式(8)描述第一预测图像下目标灰度值Gp与该次曝光的曝光强度Ip的关系,通过公式(9)描述目标测量图像下理想灰度值GIdeal与理想曝光强度IIdeal的关系。
Gp=IpRaCp (8)
GIdeal=IIdealRaCM (9)
其中,CP为第一预测图像的灰度增强系数,CM为目标测量图像的灰度增强系数。
根据公式(8),公式(9)可得:
其中,为预先测量得到的值。测量方法为:使用同一套结构光***,使用相同的曝光强度I,在未过曝且信噪比足够,无环境光干扰的情况下,分别使用目标像素点的第一预测图像和目标测量图像拍摄反光率均匀的被测物体,计算每一个像素点在第一预测图像和目标测量图像的灰度值,然后计算所有像素点在第一预测图像下的平均灰度值/>和所有像素点在目标测量图像下的平均灰度峰值/>则可得到公式(11):
将公式(11)代入公式(10)即可确定目标像素点的理想灰度值。
在步骤S3中,按照所述理想曝光强度对所述目标对象的各个像素点进行分组统计,以获得分组统计结果。
在一些实施例中,获得目标对象各个像素点的理想曝光强度之后,可以按照曝光强度的大小对各个像素点进行分组统计。
例如,可以通过以下步骤对各个像素点进行分组统计。
通过目标灰度值将目标对象中发生过曝或者欠曝的像素点剔除;将最大理想曝光强度和最小理想曝光强度,分别作为分组统计过程中理想曝光强度的上下限Imax、Imin;如图4所示,可以将分组总范围划分成序号为1~n的n(n为大于1的正整数)个区域,每一个区域称为一个理想曝光强度分组,标记为Ki(1≤i≤n,i∈N)(N代表自然数),相邻的最佳曝光强度分组上下限相衔接。每一个组拥有一个计数器Cnti(1≤i≤n,i∈N),用以统计最佳曝光强度在该组范围内的像素数量。开始一次统计之前,首先将各组的计数器清零,然后遍历每一个像素,若当前像素未被标记为无效点(未发生过曝或者欠曝),且其最佳曝光强度在某一分组Ki的范围内,则将该组的计数器Cnti值增加1。
在步骤S4中,根据所述分组统计结果确定所述目标对象的理想曝光设置,以便根据所述理想曝光设置通过结构光技术,对所述目标对象进行三维重构。
在一些实施例中,可以根据各个像素点的分组统计结果确定理想曝光设置。
例如,可以将像素点个数比较多的理想曝光强度分组中的某个曝光强度作为理想曝光设置中的理想曝光强度;再例如,可以人为设置多个候选曝光设置,然后通过分组统计结果评价各个候选设置可以覆盖的像素的个数,以确定理想曝光设置;再例如,可以人为设置多个候选曝光设置,然后通过分组统计结果评价各个候选设置可以覆盖的像素的个数以及每个像素点的成像精度,以确定理想曝光设置;再例如,可以设定某种算法,按照一定规则选择多个候选曝光设置,通过分组统计结果评价它们的成像质量以确定理想曝光设置。任何可以通过上述分组统计结果确定的理想曝光设置均在本公开的保护范围之内,本公开对此不做限制。
本实施例提供的技术方案,通过对目标对象各个像素点的理想曝光强度进行统计分析,并基于该统计分析结果确定了目标对象的理想曝光设置。通过该理想曝光设置对目标对象进行三维重构,考虑了目标对象中各个像素点的理想曝光强度,可以提高目标对象的重构成像率以及成像质量。
在一些实施例中,需要进行三维重构的目标对象可以包括第一像素点,该第一像素点对应的目标灰度值称之为第一灰度值。因为目标对象中各个像素点的理想曝光强度的获取过程大致相同,本实施例将以第一像素点为例对此进行说明,但本公开对此不作限制。
在目标像素点的第一预测图像与第一像素点的目标测量图像相同时,可以采用如图5所示实施例提高的方法,确定目标像素点的理想曝光强度。
在一些实施例中,第一像素点的目标测量图像可以指的是:通过结构光技术对目标像素点进行三维重构时,任意一个向目标像素点进行投影的图像。
图5是图3中步骤S2在一示例性实施例中的流程图。参考图5,上述步骤S2可以包括以下步骤。
在步骤S21中,根据所述理想灰度值、所述第一灰度值以及所述第一曝光强度,获取基于所述目标测量图像获得所述理想灰度值时,所述第一像素点需要的第一目标曝光强度。
一般来说,在不发生过曝的情况下,曝光强度越大,第一像素点的灰度值越大,最终对第一像素点三维重构的信噪比也会越好。为了确定第一像素点的最佳曝光强度,可以提前为第一像素点设定理想灰度值,例如可以将理想灰度值设定为220。
可以根据公式(5)确定可以确定在目标测量图像下拍摄目标像素的曝光强度Ip与目标灰度值Gp之间的关系。
根据公式(6)可以确定理想曝光强度IIdeal与理想灰度值GIdeal之间的关系。
联立公式(5)和公式(6),可以获得用来描述理想曝光强度IIdeal与理想灰度值GIdeal、目标灰度值Gp以及目标灰度值对应的曝光强度Ip之间的关系的公式(7)。
通过公式(7)对第一像素点的理想灰度值、第一灰度值以及第一曝光强度进行处理,就可以获取基于目标测量图像获得理想灰度值时,第一像素点需要的第一目标曝光强度。
在步骤S22中,根据所述第一目标曝光强度确定所述第一像素点的理想曝光强度。
在一些实施例中,可以将第一目标曝光强度直接作为第一像素点的理想曝光强度,本公开对此不作限制。
本实施例提供的技术方案,可以准确、高效地确定第一像素点的理想曝光强度。
在进行理想曝光强度预测时,采取一个确定的第一目标曝光强度IP对像素点的反光率的覆盖范围是有限的。当某一个像素点的反射率Ra低于第一目标曝光强度IP所能接受的范围,通过该第一目标曝光强度预测的理想曝光强度的量子化误差和随机噪音相对很大、信噪比差,导致最终结果不准确;当某一个像素点的反射率Ra高于第一目标曝光强度IP所能接受的范围,预测图像过曝,无法获得准确结果。
本实施例采用以下方案,可以有效的避免上述问题。
图6是图5中步骤S21在一示例性实施例中的流程图。参考图6,上述步骤S21可以包括以下步骤。
在步骤S221中,将所述第一预测图像投影至所述第一像素点上,并通过第二曝光强度同步拍摄所述第一像素点以获得第二灰度值。
在步骤S222中,根据所述理想灰度值、所述第二灰度值以及所述第二曝光强度,获取基于所述目标测量图像获得所述理想灰度值时,所述第一像素点需要的第二目标曝光强度。
在步骤S223中,若所述第一目标曝光强度大于所述第二目标曝光强度,则所述第一曝光强度就是所述第一像素点的理想曝光强度。
本实施例提供的技术方案,通过对第一像素点进行多次曝光,以对理想曝光强度进行多次预测,然后将多次预测获得的理想曝光强度的最大值作为最终预测的理想曝光强度。本方案可以避免由于第一像素点的反光率不在第一目标曝光强度的预测范围内而导致对理想曝光强度的预测不准确。
在一些实施例中,需要进行三维重构的目标对象可以包括第二像素点,该第二像素点对应的目标灰度值可以为第三灰度值,对第二像素点的理想曝光强度进行预测的第一预测图像可以与第二像素点的目标测量图像不同。
图7是图3中步骤S2在一示例性实施例中的流程图。参考图7,上述步骤S2可以包括以下步骤。
在步骤S23中,确定所述第二像素点的目标测量图像和所述第一预测图像的灰度增强系数比。
在一些实施例中,若目标对象所在环境的环境光辐射强度可以忽略不计,则可以通过公式(8)描述在第一预测图像下第二像素点的目标灰度值Gp与该次曝光的曝光强度Ip的关系,通过公式(9)描述在目标测量图像下第二像素点的理想灰度值GIdeal与理想曝光强度IIdeal的关系。
在步骤S24中,根据理想灰度值、所述第三灰度值、所述第一曝光强度以及所述灰度增强系数比,获取基于所述目标测量图像获得所述理想灰度值时,所述第二像素点需要的理想曝光强度。
联立公式(8)和公式(9),可以获得能够确定第二像素点的理想曝光强度IIdeal的公式(10)。
在一些实施例中,可以采用不同的曝光强度IP对理想曝光强度进行多次预测,并对预测结果进行拼合。优选地,采用多次预测中预测成功(即预测图像未发生振幅过低或过曝的情况)且预测曝光强度IP最高的预测结果,作为最终该第二像素点的最佳曝光强度。
本实施例提供的技术方案,可以避免由于第二像素点的反光率不在第一曝光强度的曝光范围内,而导致的对第二像素点的理想曝光强度预测不准确的问题。
图8是图7中步骤S23在一示例性实施例中的流程图。参考图8,上述步骤S23可以包括以下步骤。
在步骤S231中,将所述第一预测图像投影至反光率均匀的目标物体上,并通过第三曝光强度同步拍摄所述目标物体,获得所述目标物体的第一平均灰度值。
在一些实施例中,为确定公式(10)中的首先在第三曝光强度下,在未过曝且信噪比足够、无环境光干扰的情况下,使用第一预测图像和目标测量图像拍摄反光率均匀的被测物体,计算在第一预测图像下目标对象中每一个像素点的灰度值,然后计算所有像素点的第一平均灰度值/>
在步骤S232中,将所述第二像素点的目标测量图像投影至所述目标物体上,并通过所述第三曝光强度同步拍摄所述目标物体,获得所述目标物体的第二平均灰度值。
在一些实施例中,可以采用相同的结构光***,同样在第三曝光强度下,在未过曝且信噪比足够,无环境光干扰的情况下,使用第二像素点的目标测量图像拍摄上述反光率均匀的被测物体,计算在目标测量图像下目标对象中每一个像素点的灰度值,然后计算所有像素点的第二平均灰度值
在步骤S233中,根据所述第一平均灰度值和所述第二平均灰度值的比值,确定所述第二像素点的目标测量图像和所述第一预测图像的灰度增强系数比。
在一些实施例中,可以根据公式(11)确定第一预测图像的灰度增强系数比
图9是图3中步骤S4在一示例性实施例中的流程图。参考图9,上述步骤S4可以包括以下步骤。
在步骤S41中,获取候选曝光设置。
在一些实施例中,候选曝光设置可以包括一个曝光强度,也可以包括多个曝光强度,本公开对此不做限制。
在一些实施例中,可以随机获取多个候选曝光强度以生成候选曝光设置;可以根据各个像素点的理想曝光强度的分组统计结果生成候选曝光设置,例如可以根据分布比较集中的理想曝光强度生成候选曝光设置。本公开对候选曝光设置的获取不作限制。
在步骤S42中,根据所述分组统计结果确定在所述候选曝光设置下所述目标对象的成像质量。
在一些实施例中,可以根据目标对象各个像素点的分组统计结果,对各个候选曝光设置的成像质量进行评价,例如可以评价在各个候选曝光设置下目标对象的成像率等,本公开对此不作限制。
本实施例提供的技术方案,基于目标对象各个像素点的理想曝光强度的分组统计结果,可以对各个候选曝光设置的成像质量进行综合评价,以便于确认理想曝光设置。
在一些实施例中,可以根据理想曝光程度对目标对象各个像素点进行分组统计,例如可以获取如图10所示的分组统计结果,横坐标代表理想曝光强度,纵坐标代表像素点的个数。
一般来说,可以将各理想曝光强度分组的上限或下限设为等比数列,即对于一个分组Ki(1≤i≤n,i∈N),其范围满足如下公式:
其中,n为大于等于1的正整数,N为自然数,b为大于0的整数,c为常量。
在一些实施例中,可以根据上述分组统计结果,获取目标对象在各个候选曝光设置下可以成像的像素点个数,作为目标对象的成像质量。
在一些实施例中,还可以将目标对象在各个候选曝光设置下的可成像的像素点个数与目标对象所有的可成像的像素点个数做比值,以作为目标对象在各个候选曝光设置下的成像质量。用户可以通过该比值比较直观的了解到各个候选曝光设置的成像质量,以直观的获取评价结果。
在步骤S43中,根据所述成像质量在候选曝光设置中确定所述目标对象的理想曝光设置。
在一些实施例中,可以将成像质量较好的候选曝光设置作为理想曝光设置,本公开对此不作限制。
在一些实施例中,基于理想曝光强度对目标对象的各个像素点进行的分组统计,可以获得如图10所示的像素点个数相对于理想曝光强度的频数分布图。
图11是图9中步骤S41在一示例性实施例中的流程图。参考图11,上述步骤S41可以包括以下步骤。
在步骤S411中,获取第一曝光次数。
在一些实施例中,可以提前设定一个第一曝光次数以作为理想曝光设置中的曝光强度的个数。
在步骤S412中,根据所述第一曝光次数,按照面积将所述频数分布图等分以获取第一等分图。
在一些实施例中,可以根据第一曝光次数将如图12所示的频数分布图按照面积等分,以获得第一等分图。
在步骤S413中,获取各个第一等分图的重心对应的理想曝光强度,以生成所述候选曝光设置。
在一些实施例中,可以根据各个第一等分图的重心(G)所对应的理想曝光强度(例如图12中的I1、I2以及I3等)生成候选曝光设置。
应该理解的是,可以根据不同的第一曝光次数生成不同的候选曝光设置,然后再在不同的候选曝光设置中确定成像质量较好的理想曝光设置。
在一些实施例中,假设曝光次数最多为N,N为大于等于1的正整数,可以通过以下步骤确定理想曝光设置。
步骤一:令第一曝光次数为1;在频数分布图中找到重心对应的第一理想曝光强度;根据该理想曝光强度确定第一候选曝光设置,并确定在第一候选曝光设置下目标对象的第一成像质量;判断第一成像质量是否超过预设阈值,若第一成像质量超过预设阈值则可以认为第一理想曝光强度就是理想曝光设置,若第一次成像质量未超过预设阈值,则执行步骤二。
步骤二:令第一曝光次数为2;将频数分布图按照面积分为两个第一等分图;获取各个第一等分图的重心对应的理想曝光强度,以生成第二候选曝光设置;获取在候选曝光设置下目标对象的第二成像质量,若第二成像质量超过预设阈值则可以认为第二候选曝光设置就是理想曝光设置,若第二次成像质量未超过预设阈值,则继续对第一曝光次数进行递增处理,直至找到一个可以满足预设阈值的理想曝光设置。
通过本实施例提供的理想曝光设置进行三维重构,可以在尽可能少的曝光次数下,对尽可能多的像素点进行有效成像。
图13是图9中步骤S42在一示例性实施例中的流程图。参考图13,上述步骤S42可以包括以下步骤。
在步骤S421中,获取在所述候选曝光设置下所述目标对象可以成像的第三像素点。
在一些实施例中,可以获取候选曝光设置中各个曝光强度对应的可以成像的像素点,作为第三像素点。
在步骤S422中,根据所述第三像素点确定在所述候选曝光设置下所述目标对象的成像质量。
在一些实施例中,可以统计第三像素点的个数以作为在该候选曝光设置下目标对象的成像质量;还可以统计第三像素点占目标对象所有有效成像像素点的比例(既未发生过曝,也未发生欠曝),作为在该候选曝光设置下目标对象的成像质量。
在一些实施例中,若采用一个低于某个像素的最佳曝光强度的曝光强度对该像素点进行拍摄,尽管可能可以有效成像,但该像素点的成像精度会随着拍摄曝光强度的降低而降低。在评价一个曝光设置时,若对于不同成像精度的最佳曝光强度分组,都以相同的权重对其分组内的像素点个数直接累加,将会出现牺牲大多数像素点的精度以满足少数点的成像完整性的方案。
为了解决该问题,本公开实施例提供了以下的技术方案。
在一些实施例中,所述候选曝光设置包括第四曝光强度,在所述第四曝光强度下所述目标对象中的第四像素点可以成像。
图14是图13中步骤S422在一示例性实施例中的流程图。参考图14,上述步骤S422可以包括以下步骤。
在步骤S4221中,获取所述第四像素点对应的理想曝光强度与所述第四曝光强度的目标差值。
在步骤S4222中,根据所述目标差值确定所述第四像素点的权重。
在一些实施例中,若第四像素点的理想曝光强度远大于第四曝光强度,则可以认为通过第四曝光强度对第四像素点进行曝光,获得的成像精度会降低,以使得目标对象的成像质量降低;若第四像素点的理想曝光强度小于第四曝光强度的差值较大,则通过第四曝光强度对第四像素点进行拍摄,最多会发生过曝(发生过曝的像素点一般会被剔除),而不会导致目标对象的成像质量的降低。因此,如图15所示,在第四曝光强度可以覆盖的动态范围内(通过第四曝光强度可以成像的像素点覆盖的范围),若曝光强度大于第四曝光强度I1,为该曝光强度对应的像素点赋值较小的权重(例如可以赋值为0.99、0.98、0.97等);若曝光强度小于第四曝光强度I1,则可以为该曝光强度对应的像素点赋值权重为1。
在步骤S4223中,将所述第四像素点按照所述权重进行个数的加权求和,确定所述第四曝光强度的成像质量。
本实施例中,将以候选曝光设置中的第四曝光强度为例,解释如何确定目标对象在第四曝光强度下的可成像的第四像素点。
图16是根据一示例性实施例示出的一种获取目标对象在第四曝光强度下可成像的第四像素点的方法流程图。参考图16,上述方法可以包括以下步骤。
在步骤S4224,将第二预测图像投影至所述目标对象上,并通过所述第四曝光强度同步拍摄所述目标对象以获得第四灰度值。
在一些实施例中,为了准确的获取第四曝光强度的可成像的第四像素点,可以通过结构光***将第二预测图像投影至目标对象,然后获得目标对象各个像素点的第四灰度值。
在步骤S4225中,获取所述第四灰度值中最大未过曝灰度值和最小未欠曝灰度值对应的第五像素点。
在步骤S4226中,基于所述第五像素点对应的理想曝光强度,根据所述分组统计结果确定在所述第四曝光强度下所述目标对象可成像的所述第四像素点。
在一些实施例中,可以根据第五像素点对应的理想曝光强度在如图17的频数分布图中,确定第四曝光强度I1的可成像像素点的动态范围。可以理解的是,在I1动态范围内的所有像素点均可以通过第四曝光强度I1成像。
同理,其他曝光强度I2、I3等均可以通过上述方法确定可成像像素点的动态范围。
在一些实施例中,基于理想曝光强度对目标对象各个像素点进行分组统计,可以获得如图12所示的像素点个数相对于理想曝光强度的频数分布图。
图18是图3中步骤S4在一示例性实施例中的流程图。参考图18,上述步骤S4可以包括以下步骤。
在步骤S44中,获取第二曝光次数。
在步骤S45中,根据所述第二曝光次数,按照面积将所述频数分布图等分以获取第二等分图。
在步骤S46中,获取各个第二等分图的重心对应的理想曝光强度。
在步骤S47中,根据所述第二等分图的重心对应的理想曝光强度确定所述理想曝光设置。
在一些实施例中,可以直接将各个第二等分图的重心对应的理想曝光强度作为理想曝光设置。
本实施例提供的技术方案,能够直观、有效地从频数分布图中确定理想曝光设置,并可以确保在理想曝光设置下,目标对象的像素点大部分都能够成像。
在一些实施例中,所述理想曝光设置包括第六曝光强度和第七曝光强度,所述目标对象包括第六像素点。
在一些实施例中,理想曝光设置可以包括多个曝光强度,每个曝光强度可成像的像素点可能有所重叠。
本实施例采用以下技术方案,解决像素点重叠的问题。
图19是根据一示例性实施例示出的一种用于三维重构的方法。参考图19,上述用于三维重构的方法可以包括以下步骤。
在步骤S5中,将目标测量图像投影至所述第六像素点。
在步骤S6中,通过所述第六曝光强度对所述第六像素点进行同步拍摄以获得第五灰度值,所述第五灰度值没有过曝。
在步骤S7中,通过所述第七曝光强度对所述第六像素点进行同步拍摄以获得第六灰度值,所述第六灰度值没有过曝。
在步骤S8中,若所述第五灰度值大于所述第六灰度值,则根据所述第六曝光强度通过所述结构光技术对所述第六像素点进行所述三维重构。
本实施例提供的技术方案,充分考虑了灰度值越大,三维重构效果越好这一特点,从多个重叠的曝光强度分组中选择最大灰度值对应的曝光强度进行三维重构,保证了三维重构的精度。
图20是根据一示例性实施例示出的一种用于三维重构的***。参考图20,上述用于三维重构的***可以包括:目标投影设备2001、目标图像采集设备2002以及理想曝光设置确定设备2003。
其中,目标投影设备2001可以将第一预测图像投影至目标对象;目标图像采集设备2002可以在将所述第一预测图像投影至所述目标对象的同时,通过第一曝光强度同步拍摄所述目标对象以获得所述目标对象各个像素点的目标灰度值;理想曝光设置确定设备2003可以根据理想灰度值、所述第一曝光强度以及各个像素点的目标灰度值,确定所述目标对象各个像素点对应的理想曝光强度,按照所述理想曝光强度对所述目标对象的各个像素点进行分组统计,以获得分组统计结果,根据所述分组统计结果确定所述目标对象的理想曝光设置,以便根据所述理想曝光设置通过结构光技术,对所述目标对象进行三维重构。
在一些实施例中,目标投影设备2001可以是任意一种可以进行图像投影的设备,例如投影机;目标图像采集设备2002可以是任意一种可以进行图像采集的设备,例如面阵图像传感器、线阵图像传感器等;理想曝光设置确定设备2003可以是任意一种可以执行计算的计算单元,例如可以是服务器、可以进行计算的电子设备,可以是一种嵌入式***固件,还可以是一种逻辑电路(例如FPGA(Field-Programmable Gate Array,现场可编程门阵列)、ASIC(Application Specific Integrated Circuit,专用集成电路)等)。理想曝光设置的确定可以通过单一载体实现,也可以通过多种载体混合实现。优选地,采用如FPGA,ASIC以逻辑电路实现曝光设置预测单元,可以有较强的并行运算能力,获得更短的处理时间。
本实施例提供的用于三维重构的***,能够在需要时自动调整曝光设置,减少人工干预,提升成像质量。
在一些实施例中,若目标对象各个像素点的第一预测图像不同(即第一预测图像可以有多张),可以在拍摄过程中先将各张图像存储到存储器中,然后将属于不同图片,同一个像素坐标的图像数据相临地传输至曝光设置预测单元(与理想曝光设置确定设备对应),例如:设第一预测图像一共有n张图片,每张图片记为Pi(i∈[1,n],i∈N),在图片Pi上,像素坐标为(X,Y)的像素点记作Pn(X,Y)。
P1(X,Y),P2(X,Y),P3(X,Y)……,Pn(X,Y),
P1(X+1,Y),P2(X+1,Y),P3(X+1,Y)……,Pn(X+1,Y)……
在一些实施例中,为了节约计算资源,可以如图21所示,将同一像素点在各个第一预测图像下的灰度值同时输入至理想曝光设置确定设备以确定该像素点的理想曝光强度。
由于对一个像素进行最佳曝光强度的预测需要该像素在每一张预测拍摄图像中的值,使用上述方法可以简化预测单元的结构,无需增加图片分辨率大小级别的缓存。
存储器具有一定的位宽,其位宽可能大于一个像素的图像数据的位宽。若每次只读出一个像素的数据,可能造成存储器带宽的浪费。为了充分利用存储器的带宽,另一种实施方式是,在拍摄过程中先将各张图像存储到存储器中,然后以若干个相邻像素作为一个像素小组,将同属不同图片,同一个像素小组的图像数据相邻地传输至曝光设置预测单元的图像数据输入接口。例如可以令4个相邻像素作为一个像素小组,如下所示。
P1(X,Y),P2(X,Y),P3(X,Y)……,Pn(X,Y),……
P1(X+1,Y),P2(X+1,Y),P3(X+1,Y)……,Pn(X+1,Y)……
Pn(X,Y),Pn(X+1,Y),Pn(X+2,Y),Pn(X+3,Y),
P1(X+4,Y),P1(X+5,Y),P1(X+6,Y),P1(X+7,Y),
P2(X+4,Y),P2(X+5,Y),P2(X+6,Y),P2(X+7,Y),
Pn(X+4,Y),Pn(X+5,Y),Pn(X+6,Y),Pn(X+7,Y),……
如图22所示,可以将同一像素小组的图像数据相邻地传输。
在一些实施例中,还可以将各个像素点的理想曝光强度值和/或各个像素的可预测状态信息(例如是否发生过曝或者欠曝)直接输出展示给用户,方便用户了解被测场景的最佳曝光强度分布信息,以帮助用户更准确,更快速地通过人工方式调整曝光设置。
在一些实施例中,可以将根据各个像素点的理想曝光强度确定目标对象的理想曝光设置的过程,称之为一次曝光设置预测。本公开所提出的用于三维重构的***,其触发曝光预测的时机和方式可以是多种多样的。
在一些实施例中,可以通过人工方式触发理想曝光设置的预测,***仅在用户认为需要的时候重新获取理想曝光设置,并应用于后续的拍摄。这种方式与传统的人工干预调整曝光参数的工作流程最为接近,但相比于通过人工寻找优选曝光设置,理想曝光设置确定设备所给出的结果更为准确,过程耗时更短。对于一些被测场景变化很小,曝光设置很少需要调整的应用场合,这种方式是合适的。
在一些实施例中,可以在进行一次三维重构之前,自动触发一次曝光预测,然后将获取的理想曝光设置应用于该次三维重构。该方式的优点是,可以确保三维重构的曝光设置自动根据场景调整,获得最佳的成像完整性。
在一些实施例中,当一次三维重构的成像完整性低于一定的阈值(例如,目标对象最终成像的像素点个数少于预设的阈值)或相比于上一次三维重构发生了大于一定阈值的恶化之后(例如,当次三维重构成像的像素点个数远低于上次三维重构过程中成像的像素点的个数),自动触发一次曝光预测。该方式仅在需要时启动曝光预测,相比于每一次拍摄都触发曝光预测,可以节省时间,对于需要连续拍摄的应用场合,被测场景总是连续变化,该方法能够自动适应。
在一些实施例中,当一次三维重构的成像完整性低于一定的阈值或相比于上一次三维重构发生了大于一定程度的恶化之后,自动触发一次曝光预测,并在曝光预测完成之后,应用优选曝光设置,重新进行一次三维拍摄。该方法可以按需启动曝光预测,节省时间,也可以在非连续拍摄时适应差异大的被测场景。
在大部分应用场合中,结构光***的视野内既包含了用户感兴趣的区域,也包含了用户不感兴趣的区域。如图23所示,一被测工件被放置在载具上,结构光***的视野包含了载具。被测工件的被测区域即为用户感兴趣区域,载具和被测工件的非被测区域即为用户不感兴趣的区域。对于感兴趣区域,成像完成性和成像精度非常重要,而对于非感兴趣区域,成像完整性和成像精度并不会对***运行的结果产生影响,仅影响成像结果的美观。
在一些不要求成像结果美观的应用中,曝光设置预测流程可以仅针对感兴趣区域展开,以提升***运行速度和用户感兴趣区域的成像精度、成像完整性。
图24是根据一示例性实施例示出的一种用于三维重构的装置的框图。参照图24,本公开实施例提供的用于三维重构的装置2400可以包括:目标灰度值获取模块2401、理想曝光强度获取模块2402、分组统计结果获取模块2403以及理想曝光设置获取模块2404。
其中,所述目标灰度值获取模块2401可以配置为将第一预测图像投影至目标对象,并通过第一曝光强度同步拍摄所述目标对象以获得所述目标对象各个像素点的目标灰度值。所述理想曝光强度获取模块2402可以配置为根据理想灰度值、所述第一曝光强度以及各个像素点的目标灰度值,确定所述目标对象各个像素点对应的理想曝光强度。所述分组统计结果获取模块2403可以配置为按照所述理想曝光强度对所述目标对象的各个像素点进行分组统计,以获得分组统计结果。所述理想曝光设置获取模块2404可以配置为根据所述分组统计结果确定所述目标对象的理想曝光设置,以便根据所述理想曝光设置通过结构光技术,对所述目标对象进行三维重构。
在一些实施例中,所述目标对象包括第一像素点,所述第一像素点对应的目标灰度值为第一灰度值。
在一些实施例中,所述理想曝光强度获取模块2402可以包括:第一目标曝光强度获取子模块和第一理想曝光强度获取子模块。
其中,所述第一曝光强度获取子模块可以配置为根据所述理想灰度值、所述第一灰度值以及所述第一曝光强度,获取基于所述目标测量图像获得所述理想灰度值时,所述第一像素点需要的第一目标曝光强度。所述第一理想曝光强度获取子模块可以配置为根据所述第一曝光强度确定所述第一像素点的理想曝光强度。
所述第一理想曝光强度获取子模块可以包括:第二灰度值获取单元、第二目标曝光强度获取单元以及理想曝光强度获取单元。
其中,所述第二灰度值获取单元可以配置为将所述第一预测图像投影至所述第一像素点上,并通过第二曝光强度同步拍摄所述第一像素点以获得第二灰度值,所述第二曝光强度获取单元可以配置为根据所述理想灰度值、所述第二灰度值以及所述第二曝光强度,获取基于所述目标测量图像获得所述理想灰度值时,所述第一像素点需要的第二目标曝光强度;所述理想曝光强度获取单元可以配置为若所述第一目标曝光强度大于所述第二目标曝光强度,则所述第一目标曝光强度就是所述第一像素点的理想曝光强度。
在一些实施例中,所述目标对象包括第二像素点,所述第二像素点对应的目标灰度值为第三灰度值,所述第一预测图像与所述第二像素点的目标测量图像不同。
在一些实施例中,所述理想曝光强度获取模块2402可以包括:增强系数比确定子模块和第二理想曝光强度获取子模块。
其中,所述增强系数比确定子模块可以配置为确定所述第二像素点的目标测量图像和所述第一预测图像的灰度增强系数比。所述第二理想曝光强度获取子模块可以配置为根据理想灰度值、所述第三灰度值、所述第一曝光强度以及所述灰度增强系数比,获取基于所述目标测量图像获得所述理想灰度值时,所述第二像素点需要的理想曝光强度。
在一些实施例中,所述增强系数比确定子模块可以包括:第一平均灰度值确定单元、第二平均灰度值确定单元以及灰度增强系数比确定单元。
其中,所述第一平均灰度值确定单元可以配置为将所述第一预测图像投影至反光率均匀的目标物体上,并通过第三曝光强度同步拍摄所述目标物体,获得所述目标物体的第一平均灰度值。所述第二平均灰度值确定单元可以配置为将所述第二像素点的目标测量图像投影至所述目标物体上,并通过所述第三曝光强度同步拍摄所述目标物体,获得所述目标物体的第二平均灰度值。所述灰度增强系数比确定单元可以配置为根据所述第一平均灰度值和所述第二平均灰度值的比值,确定所述第二像素点的目标测量图像和所述第一预测图像的灰度增强系数比。
在一些实施例中,所述理想曝光设置获取模块2404可以包括:第一候选曝光设置获取子模块、成像质量确定子模块以及第一理想曝光设置确定子模块。
其中,所述第一候选曝光设置获取子模块可以配置为获取候选曝光设置。所述成像质量确定子模块可以配置为根据所述分组统计结果确定在所述候选曝光设置下所述目标对象的成像质量。所述第一理想曝光设置确定子模块可以配置为根据所述成像质量在候选曝光设置中确定所述目标对象的理想曝光设置。
在一些实施例中,所述分组统计结果为像素点个数相对于理想曝光强度的频数分布图。
在一些实施例中,所述第一候选曝光设置获取子模块可以包括:第一曝光次数获取单元、第一等分图获取单元以及第一候选设置生成单元。
其中,所述第一曝光次数获取单元可以配置为获取第一曝光次数。所述第一等分图获取单元可以配置为根据所述第一曝光次数,按照面积将所述频数分布图等分以获取第一等分图。所述第一候选设置生成单元可以配置为获取各个第一等分图的重心对应的理想曝光强度,以生成所述候选曝光设置。
在一些实施例中,所述成像质量确定子模块可以包括:第三像素点获取单元和成像质量确定单元。
其中,所述第三像素点获取单元可以配置为获取在所述候选曝光设置下所述目标对象可以成像的第三像素点。所述成像质量确定单元可以配置为根据所述第三像素点确定在所述候选曝光设置下所述目标对象的成像质量。
在一些实施例中,所述候选曝光设置包括第四曝光强度,在所述第四曝光强度下所述目标对象中的第四像素点可以成像。
在一些实施例中,所述成像质量确定单元可以包括:目标差值获取子单元、权重确定子单元以及成像质量确定子单元。
其中,目标差值获取子单元可以配置为获取所述第四像素点对应的理想曝光强度与所述第四曝光强度的目标差值。所述权重确定子单元可以配置为根据所述目标差值确定所述第四像素点的权重。所述成像质量确定子单元可以配置为将所述第四像素点按照所述权重进行个数的加权求和,确定所述第四曝光强度的成像质量。
在一些实施例中,所述成像质量确定单元还包括:第四灰度值确定子单元、第五像素点获取子单元以及第四像素点确定子单元。
其中,所述第四灰度值确定子单元可以配置为将第二预测图像投影至所述目标对象上,并通过所述第四曝光强度同步拍摄所述目标对象以获得第四灰度值,所述第四灰度值没有发生过曝或欠曝。所述第五像素点获取子单元可以配置为获取所述第四灰度值中最大灰度值和最小灰度值对应的第五像素点。所述第四像素点确定子单元可以配置为基于所述第五像素点对应的理想曝光强度,根据所述分组统计结果确定在所述第四曝光强度下所述目标对象可成像的所述第四像素点。
在一些实施例中,所述分组统计结果为像素点个数相对于理想曝光强度的频数分布图。
在一些实施例中,所述理想曝光设置获取模块2404包括:第二曝光次数获取子模块、第二等分图获取子模块、第三理想曝光强度获取子模块以及重心确定子模块。
其中,所述第二曝光次数获取子模块可以配置为获取第二曝光次数。所述第二等分图获取子模块可以配置为根据所述第二曝光次数,按照面积将所述频数分布图等分以获取第二等分图。所述第三理想曝光强度获取子模块可以配置为获取各个第二等分图的重心对应的理想曝光强度。所述重心确定子模块可以配置为根据所述第二等分图的重心对应的理想曝光强度确定所述理想曝光设置。
在一些实施例中,所述理想曝光设置包括第六曝光强度和第七曝光强度,所述目标对象包括第六像素点。
在一些实施例中,所述理想曝光设置获取模块2404可以包括:目标测量图像投影子模块、第五灰度值获取子模块、第六灰度值获取子模块以及三维重构子模块。
其中,所述目标测量图像投影子模块可以配置为将目标测量图像投影至所述第六像素点。所述第五灰度值获取子模块可以配置为通过所述第六曝光强度对所述第六像素点进行同步拍摄以获得第五灰度值,所述第五灰度值没有过曝。所述第六灰度值获取子模块可以配置为通过所述第七曝光强度对所述第六像素点进行同步拍摄以获得第六灰度值,所述第六灰度值没有过曝。所述三维重构子模块可以配置为若所述第五灰度值大于所述第六灰度值,则根据所述第六曝光强度通过所述结构光技术对所述第六像素点进行所述三维重构。
由于本公开的示例实施例的用于三维重构的装置2400的各个功能模块与上述用于三维重构的方法的示例实施例的步骤对应,因此在此不再赘述。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者智能设备等)执行根据本公开实施例的方法,例如图3的一个或多个所示的步骤。
此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理是可以在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其他实施例。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不限于这里已经示出的详细结构、附图方式或实现方法,相反,本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (16)

1.一种用于三维重构的方法,其特征在于,包括:
将第一预测图像投影至目标对象,并通过第一曝光强度同步拍摄所述目标对象以获得所述目标对象各个像素点的目标灰度值;
根据理想灰度值、所述第一曝光强度以及各个像素点的目标灰度值,确定所述目标对象各个像素点对应的理想曝光强度;
按照所述理想曝光强度对所述目标对象的各个像素点进行分组统计,以获得分组统计结果;
根据所述分组统计结果确定所述目标对象的理想曝光设置,以便根据所述理想曝光设置通过结构光技术,对所述目标对象进行三维重构;
所述目标对象包括第一像素点,所述第一像素点对应的目标灰度值为第一灰度值;其中,根据理想灰度值、所述第一曝光强度以及各个像素点的目标灰度值,确定所述目标对象各个像素点对应的理想曝光强度,包括:
根据所述理想灰度值、所述第一灰度值以及所述第一曝光强度,获取基于目标测量图像获得所述理想灰度值时,所述第一像素点需要的第一目标曝光强度;
根据所述第一目标曝光强度确定所述第一像素点的理想曝光强度;
根据所述分组统计结果确定所述目标对象的理想曝光设置,包括:
获取候选曝光设置;
根据所述分组统计结果确定在所述候选曝光设置下所述目标对象的成像质量;
根据所述成像质量在候选曝光设置中确定所述目标对象的理想曝光设置。
2.根据权利要求1所述方法,其特征在于,根据所述第一目标曝光强度确定所述第一像素点的理想曝光强度,包括:
将所述第一预测图像投影至所述第一像素点上,并通过第二曝光强度同步拍摄所述第一像素点以获得第二灰度值;
根据所述理想灰度值、所述第二灰度值以及所述第二曝光强度,获取基于所述目标测量图像获得所述理想灰度值时,所述第一像素点需要的第二目标曝光强度;
若所述第一目标曝光强度大于所述第二目标曝光强度,则所述第一目标曝光强度就是所述第一像素点的理想曝光强度。
3.根据权利要求1所述方法,其特征在于,所述目标对象包括第二像素点,所述第二像素点对应的目标灰度值为第三灰度值,所述第一预测图像与所述第二像素点的目标测量图像不同;其中,根据理想灰度值、所述第一曝光强度以及各个像素点的目标灰度值,确定所述目标对象各个像素点对应的理想曝光强度,包括:
确定所述第二像素点的目标测量图像和所述第一预测图像的灰度增强系数比;
根据理想灰度值、所述第三灰度值、所述第一曝光强度以及所述灰度增强系数比,获取基于所述目标测量图像获得所述理想灰度值时,所述第二像素点需要的理想曝光强度。
4.根据权利要求3所述方法,其特征在于,确定所述第二像素点的目标测量图像和所述第一预测图像的灰度增强系数比,包括:
将所述第一预测图像投影至反光率均匀的目标物体上,并通过第三曝光强度同步拍摄所述目标物体,获得所述目标物体的第一平均灰度值;
将所述第二像素点的目标测量图像投影至所述目标物体上,并通过所述第三曝光强度同步拍摄所述目标物体,获得所述目标物体的第二平均灰度值;
根据所述第一平均灰度值和所述第二平均灰度值的比值,确定所述第二像素点的目标测量图像和所述第一预测图像的灰度增强系数比。
5.根据权利要求1所述方法,其特征在于,所述分组统计结果为像素点个数相对于理想曝光强度的频数分布图;其中,获取候选曝光设置,包括:
获取第一曝光次数;
根据所述第一曝光次数,按照面积将所述频数分布图等分以获取第一等分图;
获取各个第一等分图的重心对应的理想曝光强度,以生成所述候选曝光设置。
6.根据权利要求1所述方法,其特征在于,根据所述分组统计结果确定在所述候选曝光设置下所述目标对象的成像质量,包括:
获取在所述候选曝光设置下所述目标对象可以成像的第三像素点;
根据所述第三像素点确定在所述候选曝光设置下所述目标对象的成像质量。
7.根据权利要求6所述方法,其特征在于,所述候选曝光设置包括第四曝光强度,在所述第四曝光强度下所述目标对象中的第四像素点可以成像;其中,根据所述第三像素点确定在所述候选曝光设置下所述目标对象的成像质量,包括:
获取所述第四像素点对应的理想曝光强度与所述第四曝光强度的目标差值;
根据所述目标差值确定所述第四像素点的权重;
将所述第四像素点按照所述权重进行个数的加权求和,确定所述第四曝光强度的成像质量。
8.根据权利要求7所述方法,其特征在于,还包括:
将第二预测图像投影至所述目标对象上,并通过所述第四曝光强度同步拍摄所述目标对象以获得第四灰度值;
获取所述第四灰度值中最大未过曝灰度值和最小未欠曝灰度值对应的第五像素点;
基于所述第五像素点对应的理想曝光强度,根据所述分组统计结果确定在所述第四曝光强度下所述目标对象可成像的所述第四像素点。
9.根据权利要求1所述方法,其特征在于,所述分组统计结果为像素点个数相对于理想曝光强度的频数分布图;其中,根据所述分组统计结果确定所述目标对象的理想曝光设置,包括:
获取第二曝光次数;
根据所述第二曝光次数,按照面积将所述频数分布图等分以获取第二等分图;
获取各个第二等分图的重心对应的理想曝光强度;
根据所述第二等分图的重心对应的理想曝光强度确定所述理想曝光设置。
10.根据权利要求1所述方法,其特征在于,所述理想曝光设置包括第六曝光强度和第七曝光强度,所述目标对象包括第六像素点;其中,根据所述理想曝光设置通过结构光技术对所述目标对象进行三维重构,包括:
将目标测量图像投影至所述第六像素点;
通过所述第六曝光强度对所述第六像素点进行同步拍摄以获得第五灰度值,所述第五灰度值没有过曝;
通过所述第七曝光强度对所述第六像素点进行同步拍摄以获得第六灰度值,所述第六灰度值没有过曝;
若所述第五灰度值大于所述第六灰度值,则根据所述第六曝光强度通过所述结构光技术,对所述第六像素点进行所述三维重构。
11.一种采用权利要求1-10中任一项所述方法的用于三维重构的装置,其特征在于,包括:
目标灰度值获取模块,配置为将第一预测图像投影至目标对象,并通过第一曝光强度同步拍摄所述目标对象以获得所述目标对象各个像素点的目标灰度值;
理想曝光强度获取模块,配置为根据理想灰度值、所述第一曝光强度以及各个像素点的目标灰度值,确定所述目标对象各个像素点对应的理想曝光强度;
分组统计结果获取模块,配置为按照所述理想曝光强度对所述目标对象的各个像素点进行分组统计,以获得分组统计结果;
理想曝光设置获取模块,配置为根据所述分组统计结果确定所述目标对象的理想曝光设置,以便根据所述理想曝光设置通过结构光技术,对所述目标对象进行三维重构。
12.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-10中任一项所述的方法。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-10中任一项所述的方法。
14.一种逻辑电路,其特征在于,包括:
可编程逻辑芯片,被执行时实现如权利要求1-12中任一项所述的方法。
15.一种采用权利要求1-10中任一项所述方法的用于三维重构的***,其特征在于,包括:
目标投影设备,将第一预测图像投影至目标对象;
目标图像采集设备,在将所述第一预测图像投影至所述目标对象的同时,通过第一曝光强度同步拍摄所述目标对象以获得所述目标对象各个像素点的目标灰度值;
理想曝光设置确定设备,根据理想灰度值、所述第一曝光强度以及各个像素点的目标灰度值,确定所述目标对象各个像素点对应的理想曝光强度,按照所述理想曝光强度对所述目标对象的各个像素点进行分组统计,以获得分组统计结果,根据所述分组统计结果确定所述目标对象的理想曝光设置,以便根据所述理想曝光设置通过结构光技术,对所述目标对象进行三维重构。
16.根据权利要求15所述***,其特征在于,所述理想曝光设置确定设备为逻辑电路。
CN202010350942.8A 2020-04-28 2020-04-28 用于三维重构的方法、装置以及相关设备 Active CN111540042B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010350942.8A CN111540042B (zh) 2020-04-28 2020-04-28 用于三维重构的方法、装置以及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010350942.8A CN111540042B (zh) 2020-04-28 2020-04-28 用于三维重构的方法、装置以及相关设备

Publications (2)

Publication Number Publication Date
CN111540042A CN111540042A (zh) 2020-08-14
CN111540042B true CN111540042B (zh) 2023-08-11

Family

ID=71975785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010350942.8A Active CN111540042B (zh) 2020-04-28 2020-04-28 用于三维重构的方法、装置以及相关设备

Country Status (1)

Country Link
CN (1) CN111540042B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113014826B (zh) * 2021-02-18 2023-05-05 科络克电子科技(上海)有限公司 一种图像感光强度参数调整方法、装置、设备及介质
CN113645459B (zh) * 2021-10-13 2022-01-14 杭州蓝芯科技有限公司 一种高动态3d成像方法及装置、电子设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108742663A (zh) * 2018-04-03 2018-11-06 深圳蓝韵医学影像有限公司 曝光剂量评价方法、装置及计算机可读存储介质
CN109510948A (zh) * 2018-09-30 2019-03-22 先临三维科技股份有限公司 曝光调整方法、装置、计算机设备和存储介质
CN110177221A (zh) * 2019-06-25 2019-08-27 维沃移动通信有限公司 高动态范围图像的拍摄方法及装置
WO2020042074A1 (zh) * 2018-08-30 2020-03-05 深圳市大疆创新科技有限公司 曝光调整方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7542600B2 (en) * 2004-10-21 2009-06-02 Microsoft Corporation Video image quality
KR100914961B1 (ko) * 2008-01-23 2009-09-02 성균관대학교산학협력단 구조광 기반 3차원 카메라의 최적 노출 결정방법 및 시스템
US10666874B2 (en) * 2017-06-02 2020-05-26 Apple Inc. Reducing or eliminating artifacts in high dynamic range (HDR) imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108742663A (zh) * 2018-04-03 2018-11-06 深圳蓝韵医学影像有限公司 曝光剂量评价方法、装置及计算机可读存储介质
WO2020042074A1 (zh) * 2018-08-30 2020-03-05 深圳市大疆创新科技有限公司 曝光调整方法和装置
CN109510948A (zh) * 2018-09-30 2019-03-22 先临三维科技股份有限公司 曝光调整方法、装置、计算机设备和存储介质
CN110177221A (zh) * 2019-06-25 2019-08-27 维沃移动通信有限公司 高动态范围图像的拍摄方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴丽娟 ; 刘桂华 ; 刘先勇 ; 张启戎 ; 魏志勇 ; 高国防 ; .基于结构光技术的高光表面三维测量方法.工具技术.2011,(03),全文. *

Also Published As

Publication number Publication date
CN111540042A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
JP7350343B2 (ja) 対象物の3次元画像を生成するための方法およびシステム
US9432589B2 (en) Systems and methods for generating high dynamic range images
JP4999680B2 (ja) 画像ノイズを低減することによる画像データ処理方法および該方法を実行するカメラ組み込み手段
JP4883517B2 (ja) 三次元計測装置および三次元計測方法並びに三次元計測プログラム
KR100850729B1 (ko) 데이터 해상도를 향상시키는 방법 및 장치
JP2021526248A (ja) シングルショットhdrカラーイメージセンサからのhdr画像生成
US20170243358A1 (en) Detection system
US8111290B2 (en) Radiometric calibration using temporal irradiance mixtures
CN111540042B (zh) 用于三维重构的方法、装置以及相关设备
JP6444233B2 (ja) 距離計測装置、距離計測方法、およびプログラム
CN110519585B (zh) 一种应用于图像采集设备的成像校准方法及装置
Foi et al. Noise measurement for raw-data of digital imaging sensors by automatic segmentation of nonuniform targets
KR102254627B1 (ko) 높은 스루풋 및 저비용 높이 삼각측량 시스템 및 방법
CN112200848B (zh) 低光照弱对比复杂环境下的深度相机视觉增强方法及***
JP2017003469A (ja) 三次元計測装置、三次元計測装置の制御方法及びプログラム
JP4176369B2 (ja) 光バランスの変化を最小としつつディジタル画像を光フォールオフについて補償する方法
CN109405735B (zh) 三维扫描***和三维扫描方法
US8035703B2 (en) Device and method for measuring noise characteristics
JP2019168862A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体
US11871117B2 (en) System for performing ambient light image correction
US20220329716A1 (en) Method for determining one or more groups of exposure settings to use in a 3d image acquisition process
KR101418521B1 (ko) 밝기 대비 향상을 통한 영상 화질 개선 방법 및 장치
JP2020106502A (ja) 形状計測装置、制御方法及びプログラム
CN113340235B (zh) 基于动态投影的投影***及相位移动图案生成方法
JP2021117109A (ja) 距離推定装置、距離推定方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant