CN108340405A - 一种机器人三维扫描***及方法 - Google Patents

一种机器人三维扫描***及方法 Download PDF

Info

Publication number
CN108340405A
CN108340405A CN201810083964.5A CN201810083964A CN108340405A CN 108340405 A CN108340405 A CN 108340405A CN 201810083964 A CN201810083964 A CN 201810083964A CN 108340405 A CN108340405 A CN 108340405A
Authority
CN
China
Prior art keywords
image
robot
scan images
database
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810083964.5A
Other languages
English (en)
Other versions
CN108340405B (zh
Inventor
李新福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Kang Yun Multidimensional Vision Intelligent Technology Co Ltd
Original Assignee
Guangdong Kang Yun Multidimensional Vision Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Kang Yun Multidimensional Vision Intelligent Technology Co Ltd filed Critical Guangdong Kang Yun Multidimensional Vision Intelligent Technology Co Ltd
Publication of CN108340405A publication Critical patent/CN108340405A/zh
Application granted granted Critical
Publication of CN108340405B publication Critical patent/CN108340405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/56Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种机器人三维扫描***及方法,***包括数据库、一个或多个相机、深度传感器以及处理器;方法包括:拍摄得到对象的至少一个用于扫描的图像;创建对象的点云数据;将拍摄得到的至少一个图像与所述数据库中预先存储的多个3D扫描图像进行匹配,生成3D扫描图像;其中,若匹配得到的匹配图像与数据库中预先存储的至少一个可用的3D扫描图像相对应时,则通过匹配得到的匹配图像来生成3D扫描图像;反之,则将拍摄得到的至少一个图像与点云数据进行合并以及处理,生成3D扫描图像。本发明大大降低了扫描时间并提高了扫描效率,另外,本发明提高了3D扫描图像的准确率和对象的渲染质量,可广泛应用于成像和扫描技术领域。

Description

一种机器人三维扫描***及方法
技术领域
本发明涉及成像和扫描技术领域,尤其是一种机器人三维扫描***及方法。
背景技术
三维(3D)扫描仪是一种能够对环境或真实世界对象进行分析的装置,其一般用于收集与形状和外观相关的数据,例如颜色、高度、长度和宽度等。通过3D扫描仪收集到的数据可以用来构建三维数字模型。通常,三维激光扫描仪会通过对对象表面的扫描,生成相应的点云数据。另外,3D激光扫描仪获取的物理对象的精确大小和形状数据,通常会以三维数据的形式进行存储并用于进一步的计算。3D激光扫描仪通过在整个视场内发射激光束来测量水平角度,发射出去的激光束无论在何时照射到反射表面,其都会反射回3D激光扫描仪。
现有的3D扫描仪或3D扫描***具有很多缺陷。例如:1)、现有的3D扫描***需要用户拍摄大量的图片才能实现360度的观看;2)、现有的3D扫描仪需要花费较多的时间来进行录像或拍摄照片;3)、现有的3D扫描***需要花费较多的时间对大量的图片(或映像)进行拼接,同理,此***还需要花费较多的时间对图片进行处理;4)、由于图片的数量较大,最终得到的扫描图片会占用大量的存储空间,硬件成本较大;5)、现有的3D扫描仪需要用户进行手动拍摄,增加了用户对对象和环境的扫描工作量,效率低;6)、现有的3D扫描仪无法对点云数据和图像数据进行实时合并;7)、现有的3D扫描***只能向用户呈现最终得到的产品,但是无法向用户呈现产品形成的中间过程;8)、在现有3D扫描***中,处理器一般需要在实验室中才能对对象进行渲染、优化等后续处理,不够实时。
发明内容
为解决上述技术问题,本发明的第一目的在于:提供一种无需任何人工干预、能够自动扫描且主要基于三维扫描的,用于对对象进行三维扫描的机器人***和自动扫描方法,所述对象包括对称对象和不对称对象中的至少一个。
本发明的第二目的在于:提供一种机器人三维扫描***和自动扫描方法,用于将扫描得到的图像与预先存储的3D扫描图像进行匹配,进而对扫描对象进行实时渲染或优化等后续处理。
本发明的第三目的在于:提供一种利用预先存储的图像数据来生成对象的3D扫描图像的机器人3D扫描***。
本发明的第四目的在于:提供一种机器人3D扫描***,用于通过使用预先存储的3D扫描图像数据来节省对对象进行3D扫描的时间。
本发明所采取的第一技术方案是:
一种机器人三维扫描***,包括:
数据库,用于对多个3D扫描图像进行预先存储;
一个或多个相机,用于对对象进行拍摄,得到至少一个用于扫描的图像;
深度传感器,用于创建对象的点云数据;
处理器,用于将拍摄得到的至少一个图像与所述数据库中预先存储的多个3D扫描图像进行匹配,根据匹配得到的匹配图像来生成3D扫描图像,其中,所述匹配图像与数据库中预先存储的至少一个可用的3D扫描图像相对应;或者,处理器,用于将拍摄得到的至少一个图像与点云数据进行合并以及处理,生成3D扫描图像;
其中,所述生成的3D扫描图像存储在所述数据库中。
进一步,还包括:
运动控制模块,所述运动控制模块包括至少一个轮子,所述轮子用于将机器人从当前位置移动到目标位置,以便对所述对象进行逐一拍摄,并得到至少一个图像。
进一步,所述深度传感器包括RGB-D相机、飞行时间相机、测距相机以及闪光式激光雷达中的至少一个。
进一步,还包括:
激光灯,用于通过绿光来对至少一个精确拍摄位置进行指示。
进一步,还包括:
反馈模块,用于通过绿光反馈、视觉反馈和音频反馈中的至少一种来对至少一个精确拍摄位置进行反馈。
本发明所采取的第二技术方案是:
一种机器人三维扫描***,包括:
机器人扫描仪,所述机器人扫描仪包括:
一个或多个相机,用于拍摄对象的至少一个图像;
深度传感器,用于创建对象的点云数据;
第一收发器,用于将拍摄得到的至少一个图像和创建的点云数据发送至云网络做进一步处理;
云网络中的服务器,所述云网络中的服务器包括:
第二收发器,用于通过云网络接收机器人扫描仪拍摄得到的至少一个图像以及创建的点云数据;
数据库,用于对多个3D扫描图像进行预先存储;
处理器,用于将拍摄得到的至少一个图像与所述数据库中预先存储的多个3D扫描图像进行匹配,根据匹配得到的匹配图像来生成3D扫描图像,其中,所述匹配图像与数据库中预先存储的至少一个可用的3D扫描图像相对应;或者,处理器,用于将拍摄得到的至少一个图像与点云数据进行合并以及处理,生成3D扫描图像;
其中,所述3D扫描图像存储在数据库中,所述第二收发器将3D扫描图像的对象发送至机器人扫描仪。
进一步,所述深度传感器包括RGB-D相机、飞行时间相机、测距相机以及闪光式激光雷达中的至少一个。
进一步,所述机器人扫描仪是手持式设备。
进一步,所述机器人扫描仪还包括激光灯,用于通过绿光来对至少一个精确拍摄位置进行指示。
进一步,所述机器人扫描仪还包括运动控制模块,所述运动控制模块包括至少一个轮子,所述轮子用于将机器人从当前位置移动到目标位置,以便对所述对象进行逐一拍摄,并得到至少一个图像。
本发明所采取的第三技术方案是:
一种机器人三维扫描方法,包括以下步骤:
拍摄得到对象的至少一个用于扫描的图像;
创建对象的点云数据;
将拍摄得到的至少一个图像与所述数据库中预先存储的多个3D扫描图像进行匹配,生成3D扫描图像;其中,若匹配得到的匹配图像与数据库中预先存储的至少一个可用的3D扫描图像相对应时,则通过匹配得到的匹配图像来生成3D扫描图像;反之,则将拍摄得到的至少一个图像与点云数据进行合并以及处理,生成3D扫描图像;
所述3D扫描图像存储在数据库中,所述数据库包括预先存储的多个3D扫描图像。
进一步,所述深度传感器包括RGB-D相机、飞行时间相机、测距相机以及闪光式激光雷达中的至少一个。
本发明所采取的第四技术方案是:
一种机器人三维扫描方法,包括以下步骤:
通过机器人扫描仪上的一个或多个相机拍摄得到对象的至少一个用于扫描的图像;
通过机器人扫描仪上的深度传感器创建对象的点云数据;
通过机器人扫描仪上的第一收发器将拍摄得到的至少一个图像和创建的点云数据发送至云网络做进一步处理;
通过云网络中的服务器存储多个3D扫描图像;
通过第二收发器接收拍摄得到的至少一个图像以及创建的点云数据;
通过处理器将拍摄得到的至少一个图像与所述数据库中预先存储的多个3D扫描图像进行匹配,根据匹配得到的匹配图像来生成3D扫描图像,其中,所述匹配图像与数据库中预先存储的至少一个可用的3D扫描图像相对应;或者,处理器,用于将拍摄得到的至少一个图像与点云数据进行合并以及处理,生成3D扫描图像;
其中,所述3D扫描图像存储在数据库中,所述第二收发器将3D扫描图像的对象发送至机器人扫描仪。
进一步,所述深度传感器包括RGB-D相机、飞行时间相机、测距相机以及闪光式激光雷达中的至少一个。
进一步,所述机器人扫描仪是手持式设备。
本发明的有益效果是:本发明一种机器人三维扫描***及方法,通过将对象的至少一个图像与数据库中预先存储的3D扫描图像进行匹配,能够快速得到对象的3D扫描图像,整个扫描过程无需人工干预,大大降低了扫描时间并提高了扫描效率;另外,本发明还通过将点云数据与至少一个图像进行合并以及处理,生成3D扫描图像,能够提高3D扫描图像的准确率。
附图说明
图1为本发明的实施例的扫描环境的第一示意图;
图2为本发明的实施例的扫描环境的第二示意图;
图3为本发明的实施例的机器人三维扫描***的结构框图;
图4为本发明的实施例的机器人三维扫描方法的第一步骤流程图;
图5为本发明的实施例的机器人三维扫描方法的第二步骤流程图;
图6为本发明的实施例的对对象进行自动三维扫描的步骤流程图。
具体实施方式
下面参照说明书附图对本发明作详细的解释和说明,其中不同附图中的类似元件用相同的附图标记标识。不一定按比例绘制的附图描绘了说明性实施例,并且不旨在限制本公开的范围。
本发明的实施例提供了一种用于扫描物体的机器人三维扫描***,其包括:数据库,用于对多个3D扫描图像进行预先存储;一个或多个相机,用于对对象进行拍摄,得到至少一个用于扫描的图像;深度传感器,用于创建对象的点云数据;处理器,用于将拍摄得到的至少一个图像与所述数据库中预先存储的多个3D扫描图像进行匹配,根据匹配得到的匹配图像来生成3D扫描图像,其中,所述匹配图像与数据库中预先存储的至少一个可用的3D扫描图像相对应;或者,处理器,用于将拍摄得到的至少一个图像与点云数据进行合并以及处理,生成3D扫描图像。所述生成的3D扫描图像存储在所述数据库中以备将来使用。
进一步作为优选的实施方式,本发明利用拍摄得到的一个或多个图像对点云数据进行渲染,生成完整度高且效果好的对象的3D扫描图像。
本发明的另一实施例提供了一种用于扫描物体的机器人三维扫描***,其包括:机器人扫描仪,所述机器人扫描仪包括:一个或多个相机,用于拍摄对象的至少一个图像;深度传感器,用于创建对象的点云数据;第一收发器,用于将拍摄得到的至少一个图像和创建的点云数据发送至云网络做进一步处理;所述机器人三维扫描***还包括云网络中的服务器,所述云网络中的服务器包括:第二收发器,用于通过云网络接收机器人扫描仪拍摄得到的至少一个图像以及创建的点云数据;数据库,用于对多个3D扫描图像进行预先存储;处理器,用于将拍摄得到的至少一个图像与所述数据库中预先存储的多个3D扫描图像进行匹配,根据匹配得到的匹配图像来生成3D扫描图像,其中,所述匹配图像与数据库中预先存储的至少一个可用的3D扫描图像相对应;或者,用于将拍摄得到的至少一个图像与点云数据进行合并以及处理,生成3D扫描图像;其中,所述3D扫描图像存储在数据库中,所述第二收发器将3D扫描图像的对象发送至机器人扫描仪。
本发明的另一实施例提供了一种用于扫描物体的机器人三维扫描方法,包括以下步骤:通过机器人扫描仪上的一个或多个相机拍摄得到对象的至少一个用于扫描的图像;通过机器人扫描仪上的深度传感器创建对象的点云数据;通过机器人扫描仪上的第一收发器将拍摄得到的至少一个图像和创建的点云数据发送至云网络做进一步处理;通过云网络中的服务器存储多个3D扫描图像;通过第二收发器接收拍摄得到的至少一个图像以及创建的点云数据;通过处理器将拍摄得到的至少一个图像与所述数据库中预先存储的多个3D扫描图像进行匹配,根据匹配得到的匹配图像来生成3D扫描图像,其中,所述匹配图像与数据库中预先存储的至少一个可用的3D扫描图像相对应;或者,用于将拍摄得到的至少一个图像与点云数据进行合并以及处理,生成3D扫描图像;其中,所述3D扫描图像存储在数据库中,所述第二收发器将3D扫描图像的对象发送至机器人扫描仪。
进一步作为优选的实施方式,所述深度传感器包括RGB-D相机、飞行时间相机、测距相机以及闪光式激光雷达中的至少一个。
进一步作为优选的实施方式,所述数据库可设于云网络中。
进一步作为优选的实施方式,所述机器人扫描仪是手持式设备。
进一步作为优选的实施方式,所述一个或多个相机通过激光中心坐标和相对宽度,对对象进行逐一拍摄,并得到至少一个图像。
进一步作为优选的实施方式,所述机器人扫描仪还包括:激光灯,用于通过绿光来对至少一个精确拍摄位置进行指示。
进一步作为优选的实施方式,所述机器人三维扫描***基于激光中心坐标拍摄对象的第一镜头(即N1),所述激光中心坐标根据对象进行定义。
进一步作为优选的实施方式,所述机器人三维扫描***包括数据库,所述数据库用于预先存储多个3D扫描图像,所述预先存储的3D扫描图像用于生成对象的3D扫描图像,从而减少图像的生成时间。
进一步作为优选的实施方式,所述机器人三维扫描***拍摄对象的第二镜头(即N2),并生成相应的反馈信息,根据反馈信息拍摄对象的第三镜头(N3)和第四镜头(N4)等,所述机器人三维扫描***可自动移动到准确的位置进行第二镜头以及第三镜头等的拍摄。
进一步作为优选的实施方式,所述机器人三维扫描***可根据拍摄得到的多张图像,得到对象或环境的360度视图或者3D视图。
进一步作为优选的实施方式,所述将拍摄得到的至少一个图像与所述数据库中预先存储的多个3D扫描图像进行匹配,根据匹配得到的匹配图像来生成3D扫描图像中,所述匹配采用包括但不限于机器视觉匹配、人工智能匹配和模式匹配等的相关技术来实现。在一些实施例中,只有被扫描的部分可从数据库中预先存储的3D扫描图像中获得。
进一步作为优选的实施方式,拍摄图像的匹配参数包括但不限于对象的形状、纹理、颜色、阴影和几何形状等。
进一步作为优选的实施方式,在拍摄物体的多个不同镜头的时候,激光中心坐标不受干扰。
进一步作为优选的实施方式,所述机器人三维扫描***对拍摄的照片进行实时处理。在一些实施例中,拍摄的照片可以发送至云网络中的处理器做进一步的实时处理。
进一步作为优选的实施方式,所述机器人三维扫描***可以根据第一镜头为对象定义激光中心坐标,其中,所述处理器用于确定拍摄的精确位置,所述激光中心坐标基于反馈信息且不受多个不同镜头的拍摄的干扰。
进一步作为优选的实施方式,所述机器人三维扫描***还包括反馈模块,用于通过绿光反馈、视觉反馈和音频反馈中的至少一种来对至少一个精确拍摄位置进行反馈。
进一步作为优选的实施方式,根据两个镜头的时间间隔,对多个镜头进行逐一拍摄。
进一步作为优选的实施方式,所述机器人三维扫描***还包括运动控制模块,所述运动控制模块包括至少一个轮子,所述轮子用于将机器人从当前位置移动到目标位置,以便对所述对象进行逐一拍摄,并得到至少一个图像。
进一步作为优选的实施方式,所述机器人三维扫描***包括自学习模块,所述自学习模块通过自我检查和自我监测确定扫描过程的质量以及渲染的图质量。
参照图1和图2,本实施例公开了可以进行扫描的示例性环境,如图1所示,环境包括用于对例如对象104的多个对象进行3D扫描的机器人3D扫描***102。对象104可以是对称对象和具有不平坦表面的不对称对象。尽管图1仅示出了一个对象104,但是本领域的技术人员将认识到,环境可以包括多个对象104。机器人3D扫描***102还包括用于预先存储多个3D扫描图像的数据库106,所述数据库106可以对拍摄得到的一个或多个图像进行处理或者搜索操作。在一些实施例中,机器人3D扫描***102可以是一个设备或多个设备的组合,用于分析真实世界的对象或环境,并且可以用于收集或者捕捉关于对象或环境的形状和外观的数据,例如颜色,高度,长度等等。机器人3D扫描***102可以使用所收集的数据来构建数字三维模型。
进一步作为优选的实施方式,机器人3D扫描***102可用于处理渲染对象的点云数据和图像镜头。机器人3D扫描***102可以存储多个3D扫描图像。机器人3D扫描***102可以搜索与预先存储在数据库106中的3D扫描图像相对应的拍摄到的匹配的3D扫描图像,进而生成对象或环境的3D扫描图像。
在一些实施例中,机器人3D扫描***102可用于确定捕捉对象的一个或多个图像照片的精确位置。机器人3D扫描***102可以是包括至少一个车轮的自动移动装置。机器人3D扫描***102能够从当前位置移动到精确位置。包括诸如RGB-D相机的深度传感器的机器人3D扫描***102可用于创建对象104的点云数据。点云数据可以包括一些坐标***中的一组数据点,通常,在三维坐标系中,这些点可以由X,Y和Z坐标来定义,并且可以用于表示对象104的外表面。
进一步作为优选的实施方式,机器人3D扫描***102可用于拍摄对象104的一个或多个图像,以生成包括对象104的至少一个图像的3D模型。在一些实施例中,机器人3D扫描***102可用于拍摄对象104的少量图像,并生成对象104的360度视图。另外,在一些实施例中,机器人3D扫描***102可用于通过图像镜头对点云数据进行处理,进而生成对象104的3D扫描模型和图像。
进一步作为优选的实施方式,机器人3D扫描***102可以根据拍摄的第一镜头为物体104定义激光中心坐标。另外,机器人3D扫描***102可用于拍摄多个镜头的精确位置而不干扰对象的激光中心坐标,且在不干扰对象104的激光中心坐标的情况下,对后续拍摄镜头的确切位置进行定义。
进一步作为优选的实施方式,机器人3D扫描***102根据激光中心坐标,确定新的位置坐标、纵坐标以及激光射击的相对宽度。机器人3D扫描***102可以根据激光指示或反馈信息来自动移动到精确位置以逐个拍摄对象104的一个或多个镜头。在一些实施例中,机器人3D扫描***102可以根据激光中心坐标和拍摄的第一镜头的相对宽度,对对象104的后续镜头进行逐一拍摄。另外,在完成第一次拍摄之后,可以逐个拍摄后续的一个或多个镜头。对于每一个将要进行拍摄的镜头,机器人3D扫描***102可以将绿色激光指向精确位置或者可以提供关于准确位置的反馈信息,然后进行准确的拍摄。
进一步作为优选的实施方式,此外,机器人3D扫描***102可以对拍摄得到的图像进行实时处理。首先,机器人3D扫描***102可以基于一个或多个参数,对于拍摄得到的一个或多个图像,搜索它们与数据库106中预先存储的3D扫描图像对应的匹配3D扫描图像。所述参数包括但不限于几何,形状,纹理,颜色,阴影等等。另外,本发明可以使用包括机器视觉匹配和人工智能(AI)匹配等的各种技术来执行匹配操作。其中,如果找到匹配的3D扫描图像,则机器人3D扫描***102可以使用相同的方法来生成对象104的完整3D扫描图像,从而节省生成3D模型或3D扫描图像所需的时间;若没有找到匹配的3D扫描图像,机器人3D扫描***102可对拍摄得到的多个图像与对象104的点云数据进行合并以及处理,以生成对象104的至少一个高质量3D扫描图像。机器人3D扫描***102可以对点云数据和一个或多个镜头进行合并以及处理,以用于渲染对象104。机器人3D扫描***102可以自我检查和监视对象104的渲染图的质量,如果质量不好,机器人3D扫描***102可采取一个或多个措施,比如重新扫描对象104。
进一步作为优选的实施方式,机器人3D扫描***102可以包括用于自动移动到精确位置的轮子。另外,机器人3D扫描***102可以自动停止在将要进行拍摄的确切位置。机器人3D扫描***102中的一个相机可以包括一个或多个用于按下快门以拍摄对象104图像的手臂。手臂可以使相机能够精确地从不同角度捕捉照片。在一些实施例中,用户(附图未示出)可以经由远程控制装置或像智能手机那样的移动装置来控制机器人3D扫描***102的移动。
在一些实施例中,机器人3D扫描***102不包括数据库,如图2所示,所述数据库106可以位于云网络108中。机器人3D扫描***102可以访问数据库106以搜索或处理拍摄得到的一个或多个图像对应的匹配3D扫描图像。
进一步作为优选的实施方式,机器人3D扫描***102在接收到点云数据和拍摄的图像之后,对拍摄的图像进行实时处理。首先,机器人3D扫描***102可以基于一个或多个参数来搜索与数据库106中的预先存储的3D扫描图像中的一个或多个图像对应的匹配3D扫描图像。所述参数包括但不限于几何,形状,纹理,颜色,阴影等等。此外,可以使用包括机器视觉匹配和人工智能(AI)匹配等的各种技术来执行匹配。如果找到匹配的3D扫描图像,则机器人3D扫描***102可以使用相同的方法来生成对象104的完整3D扫描图像,从而节省生成3D模型或3D扫描图像所需的时间;若没有找到匹配的3D扫描图像,机器人3D扫描***102可对拍摄得到的多个图像与对象104的点云数据进行合并以及处理,以生成对象104的至少一个高质量3D扫描图像。
在一些实施例中,机器人3D扫描***102可以向机器人3D扫描***102发送关于渲染和扫描的质量的反馈。机器人3D扫描***102可重新扫描或重新获取包括对象104的遗漏部分的图像并将其发送到云网络108。机器人3D扫描***102可以再次检查与拍摄得到的上述遗漏部分的新图像所对应的匹配3D扫描图像。在一些实施例中,机器人3D扫描***102可以检查渲染的质量,并且如果质量是好的,那么机器人3D扫描***102可批准渲染的图并生成高质量的3D扫描图像。机器人3D扫描***102也可以将3D扫描图像保存在数据库106中。3D扫描图像可以存储在云网络108中的数据库106中和/或机器人3D扫描***102处的数据库中。
参照图3,本实施例公开了机器人3D扫描***102的***元件的组成示例。如图3所示,机器人3D扫描***102主要包括深度传感器204,一个或多个相机206,处理器208,运动控制模块210,自学习模块212,数据库106,收发器216和激光灯218。参照图1和图2,机器人3D扫描***102可用于生成对象104的3D扫描图像。在一些实施例中,机器人3D扫描***102可以仅包括相机206中的一个。
进一步作为优选的实施方式,深度传感器204用于创建诸如图1的对象104之类的一个或多个对象的点云数据。点云数据可以包括一些坐标***中的一组数据点,通常,在三维坐标系中,这些点可以由X,Y和Z坐标来定义,并且可以用于表示对象104的外表面。深度传感器204可以是RGB-D相机、飞行时间(ToF)相机、测距相机和闪光式激光雷达中的至少一个。
进一步作为优选的实施方式,处理器208可以用于识别拍摄对象104的一个或多个镜头的精确位置。在一些实施例中,精确位置可以如通过激光灯218或反馈模块(图中未示出)来指示。例如,激光灯218可以在准确的位置上指示绿灯以指示进行下一次拍摄的位置。
进一步作为优选的实施方式,运动控制模块210可以将机器人3D扫描***102从一个当前位置移动到确切的目标位置。运动控制模块210可以包括用于使机器人3D扫描***102能够从一个位置移动到另一个位置的至少一个轮子。在一些实施例中,运动控制模块210包括一个或多个包括相机206的手臂,用于使相机能够从不同的角度拍摄对象104的图像,以完全覆盖对象104。在一些实施例中,运动控制模块210包括至少一个轮子,该轮子被用于将机器人3D扫描***102从当前位置移动到精确位置,以便对对象104的一个或多个图像进行逐一拍摄。运动控制模块210可以将机器人3D扫描***102停在需要的停止精确的位置。
进一步作为优选的实施方式,相机206可以用于对对象104的一个或多个图像进行拍摄。另外,所述一个或多个相机206可基于确切的拍摄位置对对象104的一个或多个图像进行拍摄。在一些实施例中,相机206可以基于激光中心坐标和第一镜头的相对宽度,来拍摄第一镜头和对象104的一个或多个图像镜头,所述激光中心坐标保持稳定,不受拍摄干扰。
进一步作为优选的实施方式,所述机器人3D扫描***102包括激光灯218,用于通过将特定颜色(例如但不限于绿色光)指向确切的位置来指示用于拍摄的精确位置。
进一步作为优选的实施方式,处理器208可以用于实时处理图像和点云数据。在一些实施例中,机器人3D扫描***102可以基于一个或多个参数在数据库106中预先存储的3D扫描图像中搜索与一个或多个拍摄图像对应的匹配3D扫描图像,所述参数包括但不限于几何,形状,纹理,颜色,阴影等等。此外,可以使用包括机器视觉匹配和人工智能(AI)匹配等的各种技术来执行匹配。如果找到匹配的3D扫描图像,则处理器208可以使用相同的方法来生成对象104的完整3D扫描图像,从而节省生成3D模型或3D扫描图像所需的时间;若没有找到匹配的3D扫描图像,处理器208可对拍摄得到的多个图像与对象104的点云数据进行合并以及处理,以生成对象104的至少一个高质量3D扫描图像并对其进行实时渲染。处理器208通过将点云数据与扫描图像进行合并以及处理,生成相应的渲染图。
进一步作为优选的实施方式,自学习模块212可实时查看或监视/检查对象104或对象104的3D扫描图像的扫描质量或渲染质量。另外,当扫描/渲染图的质量不好时,自学习模块212可以指示相机206重新捕获至少一个图像,并且可以指示深度传感器204创建至少一个点云数据,直到生成包括高质量的3D扫描图像以及渲染图像。处理器208可以重复进行匹配处理,以得到相应的匹配图像,从而生成高质量的3D扫描图像。
进一步作为优选的实施方式,收发器216可用于采用包括无线网络和有线网络的网络通讯方式,向其他设备发送和接收诸如拍摄的图像数据和点云数据等。
参照图4和图5,本实施例的机器人三维扫描方法具体包括以下步骤:
步骤302,创建对象的点云数据:机器人3D扫描***的深度传感器对对象的点云数据进行创建;
步骤304,确定拍摄至少一个图像的确切位置;
步骤306,机器人3D扫描***从当前位置移动到上述确切位置;
步骤308,机器人3D扫描***的一个或多个相机在所述确切位置上,拍摄对象的至少一个图像,其中,所述对象可以是对称或者不对称的对象,且对象可以是人、产品或者环境;
步骤310,实时将至少一个对象的点云数据和至少一个图像进行合并以及处理;
步骤312,基于一个或者多个参数,通过机器人3D扫描***的自学习模块,对对象的渲染图的质量进行实时的自我检查和自我监测;
步骤314,判断渲染图的质量是否合格,若是,则执行步骤320;反之,则执行步骤316;
步骤316,通过一个或多个相机重新扫描对象,以获取相应遗漏部分的扫描图像;
步骤318,基于一个或多个参数,再次对对象的渲染图质量进行实时检查;
步骤320,根据高质量的渲染图,生成对象的3D扫描图像,在一些实施例中,可通过处理器生成对象的高质量3D扫描图像;
步骤322,将生成的3D扫描图像存储在数据库中,在一些实施例中,数据库可以设于云网络中或者网络中的任何其他设备上。
参照图6,本实施例通过搜索机器人3D扫描***的数据库来对对象进行自动三维扫描的方法具体包括以下步骤:
步骤402,通过机器人3D扫描***的深度传感器创建对象的点云数据;
步骤404,通过机器人3D扫描***的相机拍摄至少一个图像;
步骤406,将拍摄得到的至少一个图像与数据库中预先存储的图像进行匹配比较,找到对应于所述至少一个图像的匹配的3D扫描图像;
步骤408,判断是否存在与所述至少一个图像对应的匹配的3D扫描图像,若是,则执行步骤412;反之,则执行步骤410;
步骤410,机器人3D扫描***的处理器将拍摄的到的至少一个图像与点云数据进行合并以及处理,生成对象的高质量3D扫描图像;
步骤412,根据得到的匹配的3D扫描图像,生成对象的高质量3D扫描图像,通过步骤412,处理器可以不用再次根据点云数据对拍摄得到的图像进行处理,而是可以直接使用现成的3D扫描图像作为对象的整体或者部分3D扫描图像。
本实施例公开了一种用于扫描对象的手持式机器人3D扫描***。所述机器人3D扫描***包括预先存储有多个3D扫描图像的数据库,所述预先存储的3D扫描图像用于生成对象的3D扫描图像,以便节省处理时间。
进一步作为优选的实施方式,所述机器人3D扫描***能够在短时间内对对象进行充分扫描,且能够高效地将点云数据与扫描图像进行拼接合并。所述机器人3D扫描***能够生成100%映射的扫描图像,不会遗漏对象的任何部分,大大降低了扫描结果的错误率以及扫描花费的时间。
综上所述,本发明提供了一种用于对多个对象或产品进行扫描的手持式机器人3D扫描***。
本发明提供了一种机器人三维扫描***和自动扫描方法,用于在较短的时间内产生较高质量的对象的3D扫描图像。
本发明提供了一种具有多个用于存储3D扫描图像的数据库的机器人3D扫描***。
以上方法和***的流程图和/或框图详细描述了本发明的实施例。本领域的技术人员容易理解,上述流程图和/或框图中的每个框以及流程图和/或框图中的框的组合可以通过计算机程序指令来实现。这些计算机程序指令可以实现在流程图和/或框图的一个或多个框中指定的动作的手段,可以被提供给通用计算机,专用计算机或其他可编程数据处理装置的处理器以产生可由计算机或其他可编程数据处理装置的处理器执行的机器指令。这些计算机程序指令还可以被存储在计算机可读存储器中,该计算机可读存储器可以指导计算机或其他可编程数据处理装置以特定方式操作,使得存储在计算机可读存储器中的指令产生能实现该指令在流程图和/或框图的一个或多个方框中指定的动作的装置。计算机程序指令还可以被加载到计算机或其他可编程数据处理装置上,使计算机或其他可编程装置上执行一系列操作,从而在计算机或其他可编程装置根据加载的指令实现在流程图和/或框图的一个或多个框中所指定的动作或步骤。
另外,本发明实施例中的步骤编号或模块编号,其仅为了便于阐述说明而设置,对步骤之间的顺序或模块间的连接关系不做任何限定,实施例中的各步骤的执行顺序和模块间的连接关系均可根据本领域技术人员的理解来进行适应性调整。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种机器人三维扫描***,其特征在于:包括:
数据库,用于对多个3D扫描图像进行预先存储;
一个或多个相机,用于对对象进行拍摄,得到至少一个用于扫描的图像;
深度传感器,用于创建对象的点云数据;
处理器,用于将拍摄得到的至少一个图像与所述数据库中预先存储的多个3D扫描图像进行匹配,根据匹配得到的匹配图像来生成3D扫描图像,其中,所述匹配图像与数据库中预先存储的至少一个3D扫描图像相对应;
或者,处理器,用于将拍摄得到的至少一个图像与点云数据进行合并以及处理,生成3D扫描图像;
其中,所述生成的3D扫描图像存储在所述数据库中。
2.根据权利要求1所述的一种机器人三维扫描***,其特征在于:还包括:
运动控制模块,所述运动控制模块包括至少一个轮子,所述轮子用于将机器人从当前位置移动到目标位置,以便对所述对象进行逐一拍摄,并得到至少一个图像。
3.根据权利要求1所述的一种机器人三维扫描***,其特征在于:所述深度传感器包括RGB-D相机、飞行时间相机、测距相机以及闪光式激光雷达中的至少一个。
4.根据权利要求1所述的一种机器人三维扫描***,其特征在于:还包括:
激光灯,用于通过绿光来对至少一个精确拍摄位置进行指示。
5.根据权利要求1所述的一种机器人三维扫描***,其特征在于:还包括:
反馈模块,用于通过绿光反馈、视觉反馈和音频反馈中的至少一种来对至少一个精确拍摄位置进行反馈。
6.一种机器人三维扫描***,其特征在于:包括:
机器人扫描仪和云网络中的服务器,所述机器人扫描仪包括:
一个或多个相机,用于拍摄对象的至少一个图像;
深度传感器,用于创建对象的点云数据;
第一收发器,用于将拍摄得到的至少一个图像和创建的点云数据发送至云网络做进一步处理;
所述云网络中的服务器包括:
第二收发器,用于通过云网络接收机器人扫描仪拍摄得到的至少一个图像以及创建的点云数据;
数据库,用于对多个3D扫描图像进行预先存储;
处理器,用于将拍摄得到的至少一个图像与所述数据库中预先存储的多个3D扫描图像进行匹配,根据匹配得到的匹配图像来生成3D扫描图像,其中,所述匹配图像与数据库中预先存储的至少一个3D扫描图像相对应;
或者,处理器,用于将拍摄得到的至少一个图像与点云数据进行合并以及处理,生成3D扫描图像;
其中,所述3D扫描图像存储在数据库中,所述第二收发器将3D扫描图像的对象发送至机器人扫描仪。
7.根据权利要求6所述的一种机器人三维扫描***,其特征在于:所述机器人扫描仪是手持式设备。
8.一种机器人三维扫描方法,其特征在于:包括以下步骤:
拍摄得到对象的至少一个用于扫描的图像;
创建对象的点云数据;
将拍摄得到的至少一个图像与所述数据库中预先存储的多个3D扫描图像进行匹配,生成3D扫描图像;其中,若匹配得到的匹配图像与数据库中预先存储的至少一个可用的3D扫描图像相对应时,则通过匹配得到的匹配图像来生成3D扫描图像;反之,则将拍摄得到的至少一个图像与点云数据进行合并以及处理,生成3D扫描图像;
所述3D扫描图像存储在数据库中,所述数据库包括预先存储的多个3D扫描图像。
9.一种机器人三维扫描方法,其特征在于:包括以下步骤:
通过机器人扫描仪上的一个或多个相机拍摄得到对象的至少一个用于扫描的图像;
通过机器人扫描仪上的深度传感器创建对象的点云数据;
通过机器人扫描仪上的第一收发器将拍摄得到的至少一个图像和创建的点云数据发送至云网络做进一步处理;
通过云网络中的服务器存储多个3D扫描图像;
通过第二收发器接收拍摄得到的至少一个图像以及创建的点云数据;
通过处理器将拍摄得到的至少一个图像与所述数据库中预先存储的多个3D扫描图像进行匹配,根据匹配得到的匹配图像来生成3D扫描图像,其中,所述匹配图像与数据库中预先存储的至少一个可用的3D扫描图像相对应;或者,用于将拍摄得到的至少一个图像与点云数据进行合并以及处理,生成3D扫描图像;
其中,所述3D扫描图像存储在数据库中,所述第二收发器将3D扫描图像的对象发送至机器人扫描仪。
10.根据权利要求9所述的一种机器人三维扫描方法,其特征在于:所述深度传感器包括RGB-D相机、飞行时间相机、测距相机以及闪光式激光雷达中的至少一个。
CN201810083964.5A 2017-11-10 2018-01-29 一种机器人三维扫描***及方法 Active CN108340405B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762584136P 2017-11-10 2017-11-10
US62/584,136 2017-11-10

Publications (2)

Publication Number Publication Date
CN108340405A true CN108340405A (zh) 2018-07-31
CN108340405B CN108340405B (zh) 2021-12-07

Family

ID=62961578

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201810083964.5A Active CN108340405B (zh) 2017-11-10 2018-01-29 一种机器人三维扫描***及方法
CN201821171050.6U Active CN208589219U (zh) 2017-11-10 2018-07-23 一种三维成像***
CN201821170803.1U Active CN208751480U (zh) 2017-11-10 2018-07-23 一种三维扫描***

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201821171050.6U Active CN208589219U (zh) 2017-11-10 2018-07-23 一种三维成像***
CN201821170803.1U Active CN208751480U (zh) 2017-11-10 2018-07-23 一种三维扫描***

Country Status (3)

Country Link
US (1) US20200193698A1 (zh)
CN (3) CN108340405B (zh)
WO (1) WO2019091118A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109269405A (zh) * 2018-09-05 2019-01-25 天目爱视(北京)科技有限公司 一种快速3d测量和比对方法
WO2019091118A1 (en) * 2017-11-10 2019-05-16 Guangdong Kang Yun Technologies Limited Robotic 3d scanning systems and scanning methods
CN111168685A (zh) * 2020-02-17 2020-05-19 上海高仙自动化科技发展有限公司 机器人控制方法、机器人和可读存储介质
CN113485330A (zh) * 2021-07-01 2021-10-08 苏州罗伯特木牛流马物流技术有限公司 基于蓝牙基站定位与调度的机器人物流搬运***及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1249793A2 (en) * 2001-04-09 2002-10-16 Eastman Kodak Company Template for an image capture device
CN1669052A (zh) * 2002-07-10 2005-09-14 日本电气株式会社 使用三维物体模型的图像匹配***、图像匹配方法以及图像匹配程序
CN101945295A (zh) * 2009-07-06 2011-01-12 三星电子株式会社 生成深度图的方法和设备
CN102419868A (zh) * 2010-09-28 2012-04-18 三星电子株式会社 基于3d头发模板进行3d头发建模的设备和方法
US20150269792A1 (en) * 2014-03-18 2015-09-24 Robert Bruce Wood System and method of automated 3d scanning for vehicle maintenance
CN104952111A (zh) * 2014-03-31 2015-09-30 特里库比奇有限公司 采用便携式相机获得三维脸部模型的方法和装置
CN105578954A (zh) * 2013-09-25 2016-05-11 迈恩德玛泽股份有限公司 生理参数测量和反馈***
CN106021550A (zh) * 2016-05-27 2016-10-12 湖南拓视觉信息技术有限公司 一种发型设计方法和***
US20160350618A1 (en) * 2015-04-01 2016-12-01 Take-Two Interactive Software, Inc. System and method for image capture and modeling
CN106952336A (zh) * 2017-03-13 2017-07-14 武汉山骁科技有限公司 一种保特征的人类三维头像生产方法
CN107144236A (zh) * 2017-05-25 2017-09-08 西安交通大学苏州研究院 一种机器人自动扫描仪及扫描方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9400503B2 (en) * 2010-05-20 2016-07-26 Irobot Corporation Mobile human interface robot
TW201419172A (zh) * 2012-11-09 2014-05-16 Chiuan Yan Technology Co Ltd 臉部識別系統及其識別方法
CN104408616A (zh) * 2014-11-25 2015-03-11 苏州福丰科技有限公司 基于三维人脸识别的超市预付费支付方法
WO2016126297A2 (en) * 2014-12-24 2016-08-11 Irobot Corporation Mobile security robot
US10127685B2 (en) * 2015-12-16 2018-11-13 Objectvideo Labs, Llc Profile matching of buildings and urban structures
CN108340405B (zh) * 2017-11-10 2021-12-07 广东康云多维视觉智能科技有限公司 一种机器人三维扫描***及方法
CN108362223B (zh) * 2017-11-24 2020-10-27 广东康云多维视觉智能科技有限公司 一种便携式3d扫描仪、扫描***和扫描方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1249793A2 (en) * 2001-04-09 2002-10-16 Eastman Kodak Company Template for an image capture device
CN1669052A (zh) * 2002-07-10 2005-09-14 日本电气株式会社 使用三维物体模型的图像匹配***、图像匹配方法以及图像匹配程序
CN101945295A (zh) * 2009-07-06 2011-01-12 三星电子株式会社 生成深度图的方法和设备
CN102419868A (zh) * 2010-09-28 2012-04-18 三星电子株式会社 基于3d头发模板进行3d头发建模的设备和方法
CN105578954A (zh) * 2013-09-25 2016-05-11 迈恩德玛泽股份有限公司 生理参数测量和反馈***
US20150269792A1 (en) * 2014-03-18 2015-09-24 Robert Bruce Wood System and method of automated 3d scanning for vehicle maintenance
CN104952111A (zh) * 2014-03-31 2015-09-30 特里库比奇有限公司 采用便携式相机获得三维脸部模型的方法和装置
US20160350618A1 (en) * 2015-04-01 2016-12-01 Take-Two Interactive Software, Inc. System and method for image capture and modeling
CN106021550A (zh) * 2016-05-27 2016-10-12 湖南拓视觉信息技术有限公司 一种发型设计方法和***
CN106952336A (zh) * 2017-03-13 2017-07-14 武汉山骁科技有限公司 一种保特征的人类三维头像生产方法
CN107144236A (zh) * 2017-05-25 2017-09-08 西安交通大学苏州研究院 一种机器人自动扫描仪及扫描方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019091118A1 (en) * 2017-11-10 2019-05-16 Guangdong Kang Yun Technologies Limited Robotic 3d scanning systems and scanning methods
CN109269405A (zh) * 2018-09-05 2019-01-25 天目爱视(北京)科技有限公司 一种快速3d测量和比对方法
CN109269405B (zh) * 2018-09-05 2019-10-22 天目爱视(北京)科技有限公司 一种快速3d测量和比对方法
CN111168685A (zh) * 2020-02-17 2020-05-19 上海高仙自动化科技发展有限公司 机器人控制方法、机器人和可读存储介质
CN111168685B (zh) * 2020-02-17 2021-06-18 上海高仙自动化科技发展有限公司 机器人控制方法、机器人和可读存储介质
CN113485330A (zh) * 2021-07-01 2021-10-08 苏州罗伯特木牛流马物流技术有限公司 基于蓝牙基站定位与调度的机器人物流搬运***及方法

Also Published As

Publication number Publication date
CN208751480U (zh) 2019-04-16
CN208589219U (zh) 2019-03-08
WO2019091118A1 (en) 2019-05-16
CN108340405B (zh) 2021-12-07
US20200193698A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
CN107247834B (zh) 一种基于图像识别的三维环境模型重构方法、设备及***
CN108340405A (zh) 一种机器人三维扫描***及方法
CN108362223B (zh) 一种便携式3d扫描仪、扫描***和扫描方法
WO2019233445A1 (zh) 对房屋进行数据采集和模型生成的方法
CN108297115B (zh) 一种机器人的自主重定位方法
CN108332660B (zh) 机器人三维扫描***和扫描方法
CN108286945A (zh) 基于视觉反馈的三维扫描***和方法
US10607397B2 (en) Generating three dimensional models
JP6352208B2 (ja) 三次元モデル処理装置およびカメラ校正システム
JP2023546739A (ja) シーンの3次元モデルを生成するための方法、装置、およびシステム
CN108287345A (zh) 基于点云数据的空间扫描方法及***
CN108347561B (zh) 激光引导扫描***及扫描方法
US20240179416A1 (en) Systems and methods for capturing and generating panoramic three-dimensional models and images
JP2006098256A (ja) 3次元サーフェスモデル作成システム、画像処理システム、プログラム及び情報記録媒体
US20210055420A1 (en) Base for spherical laser scanner and method for three-dimensional measurement of an area
KR20200042781A (ko) 입체 모델 생성 방법 및 장치
KR101817756B1 (ko) 인터랙티브한 시점 제어가 가능한 3차원 모델 기반의 ptm 생성 시스템 및 이를 이용한 ptm 생성 방법
CN110191284B (zh) 对房屋进行数据采集的方法、装置、电子设备和存储介质
CN108364340A (zh) 同步空间扫描的方法及***
CN111526297B (zh) 曲面屏图像采集方法、装置及终端设备
CN109035390A (zh) 基于激光雷达的建模方法及装置
CN108317954A (zh) 一种激光引导扫描***和方法
CN108282615A (zh) 周边环境扫描方法及***
CN108363392A (zh) 确定扫描的最佳路径的方法及***
García Fernandez et al. An approach to 3D digital modeling of surfaces with poor texture by range imaging techniques.‘Shape from stereo’vs.‘shape from silhouette’in digitizing Jorge Oteiza’s sculptures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PP01 Preservation of patent right
PP01 Preservation of patent right

Effective date of registration: 20220704

Granted publication date: 20211207