CN112106055A - 利用增强现实在制造期间进行实时质量控制 - Google Patents
利用增强现实在制造期间进行实时质量控制 Download PDFInfo
- Publication number
- CN112106055A CN112106055A CN201980031235.8A CN201980031235A CN112106055A CN 112106055 A CN112106055 A CN 112106055A CN 201980031235 A CN201980031235 A CN 201980031235A CN 112106055 A CN112106055 A CN 112106055A
- Authority
- CN
- China
- Prior art keywords
- virtual
- real world
- world
- sensors
- physical object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003908 quality control method Methods 0.000 title claims abstract description 34
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 21
- 230000003190 augmentative effect Effects 0.000 title abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 81
- 238000013461 design Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 28
- 239000000463 material Substances 0.000 claims description 12
- 239000004984 smart glass Substances 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract description 8
- 238000012937 correction Methods 0.000 abstract description 4
- 239000003550 marker Substances 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000010146 3D printing Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011152 fibreglass Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Quality & Reliability (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Abstract
本文说明利用增强现实在制造期间提供实时质量控制的各种技术。尤其，在一个实施例中，本文中的技术将三维(3D)虚拟形状/模型投射到现实世界中的在制品部件上，以实时看到缺陷，从而允许在制造中校正。本文中的实施例通常由以下步骤组成：首先将“虚拟世界”校准至现实世界，接着将物理产品校准至该虚拟世界，以及最后在物理产品上投射信息，例如各种设计信息及/或质量控制信息。
Description
相关申请
本申请要求Borke等人于2018年3月9日提交的名称为“REAL-TIME QUALITYCONTROL DURING MANUFACTURING USING AUGMENTED REALITY”的美国临时专利申请号62/640,877的优先权，其内容整体通过参考包括于此。
技术领域
本揭露通常涉及增强现实，尤其涉及利用增强现实在制造期间进行的实时质量控制。
背景技术
质量控制(quality control；QC)是一个过程，实体通过该过程审查生产中所涉及的特定(例如，全部)因素的质量。一般来说，尽管质量可基于“较软”的要素(例如，工作管理、绩效、能力、诚信等)，但检查是质量控制的主要组成部分，其中，对物理产品进行目视检查。因此，例如，产品检查员通常可以得到不可接受的产品缺陷(例如裂缝或表面瑕疵)的清单和说明。质量控制的早期形式例如为所需物品的绘图，其中，若物品与绘图不匹配，则拒收该物品。然而，更复杂的制造产品难以使部件与其说明完全相同，从而导致引入容限，其中，应当理解，只要产品的部件经测量在该容限内，该产品就能够充分发挥作用。基于此理解，许多制造产品的“质量”可通过使用例如塞规(plug gauge)及环规(ring gauge)等装置来确定。
然而，随着制程变得更加复杂，量级变得较大，且常常具有较低的容限，执行质量控制的传统方法效率低下。例如，传统的质量控制技术常常在产品已被完全制造后才检测到缺陷，从而导致浪费时间及材料。
发明内容
依据本文中的实施例，各种技术利用增强现实在制造期间提供实时质量控制。尤其，在一个实施例中，本文中的技术将三维(3D)虚拟形状/模型投射到现实世界中的在制品部件上，以实时看到缺陷，从而允许在制造中校正。本文中的实施例通常由以下步骤组成：首先将“虚拟世界”校准至现实世界，接着将物理产品校准至该虚拟世界，以及最后在物理产品上投射信息，例如各种设计信息及/或质量控制信息。
具体地说，在本文中的一个实施例中，本文中的技术将虚拟世界校准至现实世界，该现实世界具有一个或多个投影仪以及一个或多个传感器；基于该一个或多个传感器将该现实世界中的物理对象校准至该虚拟世界中的虚拟对象；基于该一个或多个传感器比较该物理对象与该虚拟对象；基于该比较确定关于该物理对象的信息；以及利用该一个或多个投影仪在该物理对象上投射关于该物理对象的该信息。
下面还说明其它具体实施例、扩展或实施细节。
附图说明
通过结合附图参照下面的说明可更好地理解本文中的实施例，该些附图中类似的附图标记表示相同或功能类似的元件，其中：
图1A-1B显示利用增强现实在制造期间进行实时质量控制的校准的例子；
图2A-2C显示利用增强现实在制造期间进行实时质量控制的校准的另一个例子；
图3显示利用增强现实在制造期间进行实时质量控制的例子；
图4显示示例计算装置的示意方块图；以及
图5显示利用增强现实在制造期间进行实时质量控制的示例简化程序。
具体实施方式
如上所述，用于复杂制程的质量控制可能是困难的及/或通常效率低下的。例如，对于增材制造，例如材料层(例如，玻璃纤维、碳纤维，或其它复合材料)的3D打印或手动施加，该制程可能需要花费几天或甚至几周。若在该制程结束时确定产品制造不当(例如形状错误，在特定或全部区域中的材料过多或过少等)，则必须校正或完全丢弃该制成品。若需要移除多余的材料(例如，修整以匹配所需深度/尺寸/形状等)，则就浪费的材料及时间而言，校正缺陷(即使可能)可能是浪费的，此外，若添加额外材料，其中，引发的成本可能包括需要粘合剂、预处理等。而且，当修整多余材料时，校正还必须确保不会移除过多的材料。
因此，依据本文中的实施例，提供了用以将三维(3D)虚拟形状/模型(例如，计算机辅助设计或“CAD”文件)投射到现实世界中的在制品部件上的技术，以实时看到缺陷，从而允许在制造中校正。如下所述，本文中的实施例通常由以下步骤组成：首先将“虚拟世界”校准至现实世界，接着将物理产品校准至该虚拟世界，以及最后在物理产品上投射信息，例如各种设计信息及/或质量控制信息。
操作上，本揭露首先提供一种校准技术，以将虚拟模拟空间映射至现实世界空间。例如，大体参照图1A-1B的***100，可设置一个或多个投影仪110，以投射于给定区域上(例如，洁净室、制造车间，或其它地方)。此外，可将一个或多个传感器120例如示例红外(IR)相机(或激光、光雷达、相机等)设置于已知位置(例如，锁固的/静止的，要不然可例如通过“内向外追踪(inside-out tracking)”确定位置，本领域的技术人员将理解)，并布置成可看到该投射区域的某部分。(要注意，在校准期间，通常可相对于该投影仪“锁固”该些传感器，以相对该投影仪确定传感器位置)。不过，通过使用随时追踪传感器的位置(相对于投影仪)的技术，传感器位置相应地可为可移动的。
依据本文中的技术，接着，至少一个投影仪在已知的投影仪相关地标处投射彩色点115，例如，在该投射的中心线上从上至下的五个等间距点。还可将参考对象130(例如方块)设置于该投射之下，以使该些彩色投射点的其中之一与对象130的特定位置(例如该块体的顶部的中心)对齐。通过使用Blob检测(一种图像处理技术，在给定一组参数的情况下，在图像中定义“blobs”或分组的像素集，如本领域的技术人员所了解的那样)，传感器120检测该块体并储存其相对于该传感器的虚拟参考点(例如，中心点)以及相对于该投影仪的彩色点位置作为锚点。多次重复此步骤(例如，四次-在两个不同的彩色投射点上两次)，以获得多个(例如，四个)锚点。
一般来说，应当测量最少要四个锚点。例如，这四个点用以绘制两条线；一条线连接共用一个彩色点的每对虚拟点。所形成的线的交点将产生该投影仪相对于该传感器的虚拟位置。通过使用这些线，计算并使用现实世界投射区域的虚拟边界值(顶部、底部、左侧、右侧、***面及远平面)以利用下面的公式创建透视投射变换矩阵：
这里，假设相对于投影仪的虚拟位置及旋转的坐标***，n对应于投射体积的“近”边界平面，f对应于投射体积的“远”边界平面，l对应于投射体积的左侧边界平面，r对应于投射体积的右侧边界平面，t对应于投射体积的顶部边界平面，以及b对应于投射体积的底部边界平面。
其次，在本文中定义取向技术，以将3D虚拟对象(例如，CAD文件)与具有未知的取向、比例/尺寸及位置的现实世界对象匹配。(例如，除旋转取向外，对象可位于其侧面上，而相应CAD文件处于垂直位置)。一种示例取向技术如下，大体参考图2A-2B的例子200，具有虚拟对象210以及物理对象220：
1.在现实世界对象220上放置三个点(实际标记225)。
2.在该3D虚拟对象上，设置与现实世界点225的位置完全匹配的虚拟标记215(在虚拟世界中取光标，并在该CAD文件上标记与该现实世界对象上标记的点相同的点，例如，容易识别的特征，如角落或实际标记)。
3.测量现实世界点225离地面的高度(也就是，若点在地板上，则其高度为0)。这些是各该三个点的Y轴值。
4.由于上面的现实世界至虚拟的转换，本文中的***现在具有这三个点的虚拟高度。利用这些虚拟高度，本文中的技术可随后确定与实际对象220匹配的虚拟模型/对象210(例如，CAD模型)的俯仰与滚动。
5.如图2B中所示，该软件可随后在现实世界对象220上投射十字准线230。接着，用户(或机器人)可拖动并匹配该十字准线投射，以与该现实世界对象的点/标记“1”及“2”匹配，从而提供X及Z虚拟点值。
6.因此，可知道两个现实世界标记的虚拟x、y及z，以及第三标记的虚拟y。由此，本文中的技术可确定偏航(例如，通过在前两个CAD模型标记之间绘制一条线，并在刚刚计算的“点云”点之间绘制另一条线，在这两条线之间的角度差就是偏航旋转，如图2B中所示(例如，基于角度a、b、c，以及d，如本领域的技术人员将理解的那样)。
7.现在，本文中的***计算该两个CAD点(虚拟标记215)及该两个点云点(实际标记225)之间的距离。若该两个距离不相同，则可缩放该CAD文件，以匹配该点云。
8.最后，本文中的***获取该点云的标记1的位置并转换该CAD，以使两个标记1匹配。该CAD、点云及现实世界对象现在是匹配的，也就是，它们具有相同的取向、比例、以及位置。
如图2A中进一步说明，可从现实世界对象上的真实点至虚拟空间中的虚拟点执行传递属性转换，该虚拟点可用以取向/定位/缩放对象的虚拟表示。首先，本文中的技术将虚拟空间投射于现实世界空间上并移动虚拟点(可因该投射而实际看到)以覆盖/对齐/匹配相应物理特征。这将物理位置转换为虚拟位置，且该虚拟点现在表示该物理特征的虚拟位置(用以取向/定位/缩放该3D模型)。换句话说，此过程是关于利用投影仪(将虚拟空间覆盖于物理空间上)作为转换装置从物理至虚拟的转换。为说明这一点，图2C显示从取向程序240提供给投影仪110并投射于物理盒220上的虚拟标记/点215，其中，传感器首先确定该投射标记不与实际标记225对齐(如图2C的左侧“未对齐”部分中所示)，接着可移动该虚拟标记，以适当对齐(如图2C的右侧“对齐”部分中所示)，以使该投射的虚拟标记与该实际标记对齐。要注意，在特定实施例中，该软件可移动该虚拟/投射标记，从而调节虚拟模型以匹配现实世界模型，而在替代或附加实施例中，可重新定位该实际对象以与该投射标记对齐。
关于图2B，该校准过程也涉及从物理至虚拟空间的转换。不过，在此步骤中(其技术上在图2A之前)试图通过将物理与虚拟空间对齐来创建图2A所需的“转换装置”。也就是说，本文中的技术使用投影仪110来投射虚拟参考点，我们的传感器120(其测量物理空间)可读取并使用该虚拟参考点，以将物理空间映射(取向/缩放/定位)至虚拟空间中。一旦将物理空间完美地表示于虚拟空间中，就可将物理测量转换成图2A的虚拟测量。尤其，所示的点1-6(测量)用以1)找到投影仪在虚拟世界中的位置，并因此2)使用透视投射矩阵变换来对齐物理/虚拟空间。
因此，依据本文中的一个或多个实施例，并大体参照图3，现在可通过比较物理对象320上的点云中的点(例如，每个可测量点)与其在3D虚拟对象(CAD)310中的匹配点来采取质量控制措施。若距离为零，则可投射第一颜色330(例如，绿色)，标示该现实世界对象正确匹配该CAD文件。若距离小于X，则可投射第二颜色340(例如，黄色)，以突显存在微小差异。若距离大于X，则可投射第三颜色350(例如，红色)，以突显差异很大。可开发其它颜色及容差***，例如低于及超过容差(例如，材料不足或过多)，缺失或多余的组件(例如，缺失的紧固件、多余的垫片等)，不同程度/范围的容差(例如，颜色阴影)、闪烁/闪光显示、动态显示(例如，标示需要将部件或材料从当前位置移动至新位置)等。以此方式，本文中的技术生成实时拓扑图，以突显在例如3D打印、复合材料等制程期间的缺陷，并可选地提供进一步的信息，例如方向、背景等。
有利地，本文中的技术利用增强现实在制造期间提供实时质量控制。尤其，如上所述，本文中的技术提供视觉上有益的质量控制***，其仅需要一个或多个投影仪、一个或多个传感器(例如，IR传感器)、以及适当的控制软件，该软件实时投射(例如，一致投射)关于制造产品的特定方面是否正确及/或尤其在给定的容差内的准确标志。尤其，若在制造期间移动对象，则相应地，通过使用上述取向技术，本文中的***也可轻易地重新校准自身，以匹配新的取向。
尽管显示并说明了示例实施例，但应当理解，可在本文中的实施例的精神及范围内作各种其它修改及变更。例如，本文中所述的实施例主要参照在制造对象上投射实际颜色的投影仪来说明。然而，其它实施例可投射其它信息，例如文字、指令、图像等。另外，尽管将投影仪显示为在对象上投射图像(“图像投影仪”)，但其它实施例可使用眼镜、耳机、或其它视觉辅助来示例说明质量标志(例如，仅针对用户，而不投射于产品本身上)。也就是说，在本文中，可将耳机、平板电脑、电话，以及其它装置配置为投影仪，以允许用户将数字/虚拟模型覆盖到现实世界对象上(增强现实、虚拟现实等)。
而且，本文中的实施例通常可结合一个或多个计算装置(例如，个人电脑、膝上型电脑、服务器、特定配置的电脑、基于云的计算装置等)执行，该计算装置可通过各种本地及/或网络连接互连。本文中说明的各种动作可具体地与该些装置的其中一个或多个相关，但本文中对特定类型的装置的任何提及并不意味着限制本文中的实施例的范围。
例如，图4显示可用于本文中所述的一个或多个实施例的示例计算装置400的示意方块图。该示例装置可包括通过***总线480互连的至少一个网络接口410、一个或多个音频/视频(A/V)接口415、至少一个处理器420、存储器430、以及用户接口组件470(例如，键盘、监控器、鼠标等)，以及电源490。可在本文中的实施例中添加其它组件，且本文中所列的组件仅为示例。
网络接口410包含机械、电气及信号电路，以通过与电脑网络耦接的链路传输数据。A/V接口415包含机械、电气及信号电路，以向/自一个或多个A/V装置(例如相机、IR传感器、投影仪、显示器等)传输数据。存储器430包括可由处理器420寻址的多个储存位置，以储存与本文中所述的实施例相关联的软件程序及数据结构。处理器420可包括适于执行该软件程序并操作数据结构439的硬件元件或硬件逻辑。操作***432(其部分通常驻留于存储器430中并由该处理器执行)通过调用支持在该机器上执行的软件过程及/或服务的操作来功能性组织该机器。这些软件过程及/或服务可包括示例校准过程434以及实时质量控制投射过程436。
本领域的技术人员将明白，可使用其它处理器及存储器类型(包括各种电脑可读媒体)来储存并执行与本文中所述的技术相关的程序指令。另外，尽管该说明示例说明各种过程，但明确考虑可将各种过程实施为模块，其经配置以依据本文中的技术(例如，依据类似过程的功能)操作。另外，尽管独立显示该些过程，但本领域的技术人员将了解，过程可为其他过程内的例程或模块。
作为示例，本文中所述技术的特定态样可由硬件、软件及/或固件执行，例如依据本文中所述的各种过程及组件，其可包含由处理器420及/或相关联的硬件组件执行的电脑可执行指令，以执行与本文中所述的技术相关的功能。
通过大体参照上述技术，图5显示依据本文中所述的一个或多个实施例利用增强现实在制造期间进行实时质量控制的示例简化程序。程序500可开始于步骤505，并进至步骤510，其中，如上更详细所述，本文中的技术将虚拟世界校准至现实世界，该现实世界具有一个或多个投影仪以及一个或多个传感器(例如，红外(IR)传感器、光雷达(LIDAR)传感器、激光、相机等)。要注意，如上所述，可将该一个或多个传感器锁固于该现实世界中已知的位置，或者在该现实世界中可移动(从而该方法将进一步包括例如通过内向外追踪确定该现实世界中各该一个或多个传感器的位置)。
另外，如上所述，将该虚拟世界校准至该现实世界可包括将(在该虚拟世界内映射的)多个点投射至该现实世界中，感测该现实世界中所投射的多个点的位置，以及将所感测的位置与该虚拟世界内的该映射的点关联。如上所述，可将该多个点的其中一个或多个投射于该现实世界中的一个或多个参考对象上，且可在该多个点中彼此区分。
在步骤515中，本文中的技术还基于该一个或多个传感器将该现实世界中的物理对象校准至该虚拟世界中的虚拟对象。如所述那样，此类校准可基于执行取向技术，以依据该一个或多个传感器确定该物理对象相对于该虚拟对象的取向、比例、以及位置。
在步骤520中，本文中的技术可随后基于该一个或多个传感器比较该物理对象与该虚拟对象，以在步骤525中，基于该比较确定关于该物理对象的信息。例如，该信息可包括设计信息(对象应该是什么样子)，制造说明标示(例如，下一步骤、部件的位置等)，或质量控制信息。关于确定该质量控制信息，这可基于该比较依据该虚拟对象与该物理对象之间的差异而如上所述执行。
在步骤530中，本文中的技术可随后利用该一个或多个投影仪在该物理对象上投射关于该物理对象的该信息。例如，质量控制信息可包括质量的颜色编码标示，材料过少或过多的其中一种或两种的标示等。也可投射文字、图像、动作、动画等用于质量控制、设计、制造说明等。
简化程序500结束于步骤535，尤其，可选择继续检测缺陷/差异、重新定向该对象(例如，检测到该物理对象已在该现实世界内移动，以及基于一个或多个传感器，将该现实世界中的该物理对象重新校准至该虚拟世界中的该虚拟对象)等。
应当注意，尽管程序500内的特定步骤如上所述可为选择性的，但图5中所示的步骤仅是用于说明的例子，且可根据需要包括或排除特定的其它步骤。另外，尽管显示该些步骤的特定顺序，但此顺序仅为示例，并可使用该些步骤的任意合适的排列，而不背离本文中的实施例的范围。
上面的说明涉及特定实施例。不过，显然，可对所述实施例作其它变更及修改而实现其优点的其中一些或全部。例如，明确考虑可将本文中所述的特定组件及/或元件实施为软件，该软件被储存于有形的(非暂时性)电脑可读媒体(例如硬盘/CD/RAM/EEPROM/等)上，该电脑可读媒体具有执行于电脑、硬件、固件或其组合上的程序指令。相应地，此说明仅为示例，而不限制本文中的实施例的范围。因此，所附权利要求意图覆盖落入本文中的实施例的真实精神及范围内的所有此类变更及修改。
Claims (20)
1.一种方法，包括：
通过过程将虚拟世界校准至现实世界，该现实世界具有一个或多个投影仪以及一个或多个传感器；
通过该过程，基于该一个或多个传感器将该现实世界中的物理对象校准至该虚拟世界中的虚拟对象；
通过该过程，基于该一个或多个传感器比较该物理对象与该虚拟对象；
通过该过程，基于该比较确定关于该物理对象的信息；以及
通过该过程，利用该一个或多个投影仪在该物理对象上投射关于该物理对象的该信息。
2.如权利要求1所述的方法，其中，该信息包括设计信息。
3.如权利要求1所述的方法，其中，该信息包括质量控制信息。
4.如权利要求3所述的方法，还包括：
基于该比较，依据该虚拟对象与该物理对象之间的差异确定该质量控制信息。
5.如权利要求3所述的方法，其中，该质量控制信息包括质量的颜色编码标示。
6.如权利要求3所述的方法，其中，该质量控制信息包括材料过少或过多的其中一种或两种的标示。
7.如权利要求1所述的方法，其中，该信息包括制造说明标示。
8.如权利要求1所述的方法，其中，该一个或多个传感器选自由红外(IR)传感器；光雷达(LIDAR)传感器；激光；以及相机组成的群组。
9.如权利要求1所述的方法，其中，将该一个或多个传感器锁固于该现实世界中已知的位置。
10.如权利要求1所述的方法，其中，该一个或多个传感器在该现实世界中可移动，该方法还包括：
确定该现实世界中各该一个或多个传感器的位置。
11.如权利要求10所述的方法，其中，确定该位置包括内向外追踪。
12.如权利要求1所述的方法，其中，将该虚拟世界校准至该现实世界包括：
将该虚拟世界内映射的多个点投射至该现实世界中；
感测该现实世界中所投射的多个点的位置；以及
将所感测的位置与该虚拟世界内的该映射的点关联。
13.如权利要求12所述的方法，其中，将该多个点的其中一个或多个投射于该现实世界中的一个或多个参考对象上。
14.如权利要求12所述的方法，其中，该多个点的其中一个或多个可在该多个点中彼此区分。
15.如权利要求1所述的方法，其中，将该现实世界中的该物理对象校准至该虚拟世界中的该虚拟对象包括：
执行取向技术，以依据该一个或多个传感器确定该物理对象相对于该虚拟对象的取向、比例、以及位置。
16.如权利要求1所述的方法，还包括：
检测到该物理对象已在该现实世界内移动；以及
基于该一个或多个传感器，将该现实世界中的该物理对象重新校准至该虚拟世界中的该虚拟对象。
17.如权利要求1所述的方法，其中，该一个或多个投影仪选自由图像投影仪；耳机；平板电脑；电话；以及智能眼镜组成的群组。
18.一种有形的、非暂时性电脑可读媒体，包括指令，该指令可由处理器执行以执行过程，该过程包括：
将虚拟世界校准至现实世界，该现实世界具有一个或多个投影仪以及一个或多个传感器；
基于该一个或多个传感器将该现实世界中的物理对象校准至该虚拟世界中的虚拟对象；
基于该一个或多个传感器比较该物理对象与该虚拟对象；
基于该比较确定关于该物理对象的信息；以及
利用该一个或多个投影仪在该物理对象上投射关于该物理对象的该信息。
19.如权利要求18所述的电脑可读媒体，其中，该信息包括设计信息及质量控制信息的其中一种或两种。
20.如权利要求18所述的电脑可读媒体，其中，校准包括：
将该虚拟世界内映射的多个点投射至该现实世界中；
感测该现实世界中所投射的多个点的位置；以及
将所感测的位置与该虚拟世界内的该映射的点关联。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862640877P | 2018-03-09 | 2018-03-09 | |
| US62/640,877 | 2018-03-09 | ||
| PCT/US2019/021505 WO2019173808A1 (en) | 2018-03-09 | 2019-03-09 | Real-time quality control during manufacturing using augmented reality |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112106055A true CN112106055A (zh) | 2020-12-18 |
Family
ID=67843402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980031235.8A Pending CN112106055A (zh) | 2018-03-09 | 2019-03-09 | 利用增强现实在制造期间进行实时质量控制 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10854015B2 (zh) |
| CN (1) | CN112106055A (zh) |
| WO (1) | WO2019173808A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3086383B1 (fr) * | 2018-09-21 | 2020-08-28 | Diotasoft | Procede, module et systeme de projection sur une piece d’une image calculee a partir d’une maquette numerique |
| US11024096B2 (en) * | 2019-04-29 | 2021-06-01 | The Board Of Trustees Of The Leland Stanford Junior University | 3D-perceptually accurate manual alignment of virtual content with the real world with an augmented reality device |
| FR3110143B1 (fr) * | 2020-05-12 | 2022-05-13 | Safran Eng Services | Procédé et système d’inspection visuelle d’une pièce mécanique par un opérateur |
| CN112330170B (zh) * | 2020-11-12 | 2022-10-04 | 福建京力信息科技有限公司 | 一种基于ar技术的输变电工程质量通病防治平台 |
| DE102021200730A1 (de) | 2021-01-27 | 2022-07-28 | Volkswagen Aktiengesellschaft | Verfahren und Einrichtung zur generativen Herstellung wenigstens eines Bauteils aus einem formlosen Material |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060233423A1 (en) * | 2005-04-19 | 2006-10-19 | Hesam Najafi | Fast object detection for augmented reality systems |
| CN102314259A (zh) * | 2010-07-06 | 2012-01-11 | 株式会社理光 | 一种在显示区域内检测物体的方法和设备 |
| CN105188516A (zh) * | 2013-03-11 | 2015-12-23 | 奇跃公司 | 用于增强和虚拟现实的***与方法 |
| CN105190703A (zh) * | 2012-12-28 | 2015-12-23 | 微软技术许可有限责任公司 | 使用光度立体来进行3d环境建模 |
| US20170097676A1 (en) * | 2015-10-01 | 2017-04-06 | Disney Enterprises, Inc. | Augmented Reality Controls for User Interactions with a Virtual World |
| CN107209950A (zh) * | 2015-01-29 | 2017-09-26 | 微软技术许可有限责任公司 | 从现实世界材料自动生成虚拟材料 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8730309B2 (en) * | 2010-02-23 | 2014-05-20 | Microsoft Corporation | Projectors and depth cameras for deviceless augmented reality and interaction |
| US9547222B2 (en) * | 2013-02-08 | 2017-01-17 | University Of South Australia | Method and apparatus for calibration of multiple projector systems |
| FR3021784B1 (fr) | 2014-05-27 | 2017-10-13 | European Aeronautic Defence & Space Co Eads France | Procede de projection de donnees virtuelles et dispositif permettant cette projection |
-
2019
- 2019-03-09 US US16/297,639 patent/US10854015B2/en active Active
- 2019-03-09 CN CN201980031235.8A patent/CN112106055A/zh active Pending
- 2019-03-09 WO PCT/US2019/021505 patent/WO2019173808A1/en active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060233423A1 (en) * | 2005-04-19 | 2006-10-19 | Hesam Najafi | Fast object detection for augmented reality systems |
| CN102314259A (zh) * | 2010-07-06 | 2012-01-11 | 株式会社理光 | 一种在显示区域内检测物体的方法和设备 |
| CN105190703A (zh) * | 2012-12-28 | 2015-12-23 | 微软技术许可有限责任公司 | 使用光度立体来进行3d环境建模 |
| CN105188516A (zh) * | 2013-03-11 | 2015-12-23 | 奇跃公司 | 用于增强和虚拟现实的***与方法 |
| CN107209950A (zh) * | 2015-01-29 | 2017-09-26 | 微软技术许可有限责任公司 | 从现实世界材料自动生成虚拟材料 |
| US20170097676A1 (en) * | 2015-10-01 | 2017-04-06 | Disney Enterprises, Inc. | Augmented Reality Controls for User Interactions with a Virtual World |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190279433A1 (en) | 2019-09-12 |
| US10854015B2 (en) | 2020-12-01 |
| WO2019173808A1 (en) | 2019-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10854015B2 (en) | Real-time quality control during manufacturing using augmented reality | |
| US9529945B2 (en) | Robot simulation system which simulates takeout process of workpieces | |
| US7596468B2 (en) | Method for measuring a selected portion of a curved surface of an object | |
| CN103512548B (zh) | 距离测量装置及距离测量方法 | |
| US10304206B2 (en) | Selecting feature patterns and corresponding layout positions for viewpoint measurement | |
| JP6703812B2 (ja) | ３次元物体検査装置 | |
| US20180290300A1 (en) | Information processing apparatus, information processing method, storage medium, system, and article manufacturing method | |
| JP6468756B2 (ja) | 三次元モデルの生成方法、三次元モデルの生成システム及び三次元モデルの生成プログラム | |
| US11488354B2 (en) | Information processing apparatus and information processing method | |
| JP2016170050A (ja) | 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム | |
| CN115187612A (zh) | 一种基于机器视觉的平面面积测量方法、装置及*** | |
| CN106067160B (zh) | 大屏幕融合投影方法 | |
| CN110619661A (zh) | 一种基于增强现实的测量室外料场原料体积的方法 | |
| CN108627103A (zh) | 一种零部件高度尺寸的2d激光测量方法 | |
| JP5492343B1 (ja) | 写真計測図化方法、及び写真計測図化装置 | |
| CN113012238A (zh) | 一种多深度相机快速标定与数据融合的方法 | |
| CN106248000A (zh) | 零件孔轴线的测量方法 | |
| US20200218756A1 (en) | System and Method for Generating Digital Information and Altering Digital Models of Components With Same | |
| CN110866951A (zh) | 一种单目摄像机光轴倾斜的校正方法 | |
| CN115578465B (zh) | 一种基于双目视觉的激光定位与标注方法及产品和应用 | |
| US11941852B2 (en) | Three-dimensional measurement device, three-dimensional measurement method, and three-dimensional measurement program | |
| JP7179243B2 (ja) | 情報処理装置、学習データ作成システム、学習データ作成方法、及び学習データ作成プログラム | |
| CN112229331B (zh) | 基于单目视觉的物体旋转角度与平移距离的测量方法 | |
| WO2022249295A1 (ja) | ロボットシミュレーション装置 | |
| Cheng et al. | Light pen calibration for a monocular-vision-based coordinate measuring system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |