CN111433809A - 行进路线及空间模型生成方法、装置、*** - Google Patents
行进路线及空间模型生成方法、装置、*** Download PDFInfo
- Publication number
- CN111433809A CN111433809A CN202080000591.6A CN202080000591A CN111433809A CN 111433809 A CN111433809 A CN 111433809A CN 202080000591 A CN202080000591 A CN 202080000591A CN 111433809 A CN111433809 A CN 111433809A
- Authority
- CN
- China
- Prior art keywords
- travel route
- images
- image
- module
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000004590 computer program Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 13
- 230000001133 acceleration Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/04—Architectural design, interior design
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Navigation (AREA)
Abstract
本公开提供了一种行进路线及空间模型生成方法、装置、***、设备、存储介质。行进路线生成方法,包括:第一图像拍摄步骤,从第一拍摄点起移动并拍摄多张图像;第一行进路线生成步骤,对在第一图像拍摄步骤中拍摄的多张图像的特征点进行匹配以生成第一行进路线;第二图像拍摄步骤,从第二拍摄点起移动并拍摄多张图像;第二行进路线生成步骤,对在第二图像拍摄步骤中拍摄的多张图像的特征点进行匹配以生成第二行进路线;拼接步骤,将在第二行进路线上的图像的特征点与在第一行进路线上的图像的特征点进行匹配以使第二行进路线与第一行进路线拼接。本公开可以实现克服由于意外中断导致行进路线丢失并能自动化拼接生成空间模型,提升了用户体验。
Description
技术领域
本公开涉及图像处理领域,尤其涉及一种行进路线及空间模型生成方法、装置、***、设备、存储介质。
背景技术
随着互联网数字化社会的发展,在很多方面例如建筑工程、室内设计、装修、房屋买卖、出租等场景下往往需要将实际的空间结构例如房屋结构转化为虚拟的空间模型,以便用户直观感受该空间的布局和实景信息。现有的空间模型一般利用建模软件来进行构建,需要通过***的学习后才可以掌握,一般的用户难以应用。并且在空间模型的构建过程中操作繁琐,导致空间模型制作时间非常长。
现有技术中提出利用例如手机等终端设备进行空间模型例如房屋模型的自动化生成,但模型生成过程会由于各种原因而中断,导致生成模型过程中的行进路线丢失,导致无法对多个空间各自的模型进行自动拼接处理,无法实现自动生成房屋模型,从而需要大量的人工操作介入来手动进行拼接,耗时耗力。
如何解决由于意外中断导致的行进路线丢失以及空间模型自动化拼接处理成为亟待解决的问题。
发明内容
本公开正是为了解决上述课题而完成,其目的在于提供一种能够自动化拼接生成空间模型而克服由于意外中断导致行进路线丢失的行进路线及空间模型生成方法、装置、***、设备、存储介质。
本公开提供该发明内容部分以便以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
为了解决上述技术问题,本公开实施例提供一种行进路线生成方法,采用了如下所述的技术方案,包括:
第一图像拍摄步骤,从第一拍摄点起移动并拍摄多张图像;
第一行进路线生成步骤,对在所述第一图像拍摄步骤中拍摄的多张所述图像的特征点进行匹配,以生成第一行进路线;
第二图像拍摄步骤,从第二拍摄点起移动并拍摄多张图像;
第二行进路线生成步骤,对在所述第二图像拍摄步骤中拍摄的多张所述图像的特征点进行匹配,以生成第二行进路线;
拼接步骤,将在所述第二行进路线上的所述图像的特征点与在所述第一行进路线上的所述图像的特征点进行匹配,以使所述第二行进路线与所述第一行进路线拼接。
为了解决上述技术问题,本公开实施例还提供一种行进路线生成装置,采用了如下所述的技术方案,包括:
接收模块,接收从不同拍摄点起移动并分别拍摄的多组图像;
行进路线生成模块,分别对所述多组图像的特征点进行匹配,以分别生成多条行进路线;
拼接模块,对不同组图像的特征点进行匹配,以使所述多条行进路线进行拼接。
为了解决上述技术问题,本公开实施例还提供一种行进路线生成***,采用了如下所述的技术方案,包括:
图像拍摄模块,从不同拍摄点起移动并分别拍摄多组图像;
行进路线生成模块,分别对所述多组图像的特征点进行匹配,以分别生成多条行进路线;
拼接模块,对不同组图像的特征点进行匹配,以使所述多条行进路线进行拼接。
为了解决上述技术问题,本公开实施例还提供一种空间模型生成方法,采用了如下所述的技术方案,包括:
行进路线生成步骤,使用如前项所述的行进路线生成方法以生成行进路线;
模型图像拍摄步骤,在根据所述行进路线进行移动的过程中对所处空间拍摄用于生成所述空间模型的模型图像;
模型生成步骤,分别基于各个所述空间拍摄的所述模型图像,生成各个所述空间的模型;
模型拼接步骤,基于各个所述空间的在所述行进路线中的位置和朝向信息,将各个所述空间的模型在同一个坐标系内进行拼接处理,形成由各个所述空间各自的模型拼接而成的整体模型。
为了解决上述技术问题,本公开实施例还提供一种空间模型生成装置,采用了如下所述的技术方案,包括:
如前项所述的行进路线生成装置以生成行进路线;
接收装置,接收对多个空间分别拍摄的多组模型图像;
模型生成模块,基于所述接收装置接收的所述多组模型图像,分别生成各个所述空间的模型;
模型拼接模块,基于各个所述空间的在所述行进路线中的位置和朝向信息,将各个所述空间的模型在同一个坐标系内进行拼接处理,形成由各个所述空间各自的模型拼接而成的整体模型。
为了解决上述技术问题,本公开实施例还提供一种空间模型生成***,采用了如下所述的技术方案,包括:
模型图像拍摄装置,对所处空间拍摄用于生成所述空间模型的模型图像;
模型生成模块,基于所述模型图像拍摄装置针对多个所述空间分别拍摄的所述模型图像,分别生成各个所述空间的模型;
如前项所述的行进路线生成***以生成行进路线;
模型拼接模块,基于各个所述空间的在所述行进路线中的位置和朝向信息,将各个所述空间的模型在同一个坐标系内进行拼接处理,形成由各个所述空间各自的模型拼接而成的整体模型。
为了解决上述技术问题,本公开实施例还提供一种计算机设备,采用了如下所述的技术方案,包括:
存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现如前述所述的方法。
为了解决上述技术问题,本公开实施例还提供一种计算机可读存储介质,采用了如下所述的技术方案,包括:
所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如前述所述的方法。
根据本公开所公开的技术方案,与现有技术相比,本公开可以实现克服由于意外中断导致行进路线丢失并能自动化拼接生成空间模型,提升了用户体验。
附图说明
图1是本公开可以应用于其中的示例性***架构图;
图2是根据本公开的行进路线生成方法的一个实施例的流程图;
图3是根据本公开的行进路线生成方法的一个实施例的示意图;
图4是根据本公开的行进路线生成装置的一个实施例的示意图;
图5是根据本公开的行进路线生成***的一个实施例的示意图;
图6是根据本公开的空间模型生成方法的一个实施例的流程图;
图7是根据本公开的空间模型生成装置的一个实施例的示意图;
图8是根据本公开的空间模型生成***的一个实施例的示意图;
图9是根据本公开的计算机设备的一个实施例的结构示意图。
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本公开;本公开的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本公开的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本公开的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本公开方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
[***结构]
首先,说明本公开的一个实施例的***的结构。如图1所示,***结构100可以包括终端设备101、102、103、104,网络105和服务器106。网络105用以在终端设备101、102、103、104和服务器106之间提供通信链路的介质。
在本实施例中,行进路线生成方法运行于其上的电子设备(例如图1所示的终端设备101、102、103或104)可以通过网络105进行各种信息的传输。网络105可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。需要指出的是,上述无线连接方式可以包括但不限于3G/4G/5G连接、Wi-Fi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB连接、局域网(“LAN”)、广域网(“WAN”)、网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络)以及其他现在已知或将来开发的网络连接方式。网络105可以利用诸如HTTP(HyperText Transfer Protocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。
用户可以使用终端设备101、102、103、104通过网络105与服务器106交互,以接收或发送消息等。终端设备101、102、103或104上可以安装有各种客户端应用,例如视频直播与播放类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103或104可以是具有触摸显示屏和/或支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(动态影像专家压缩标准音频层面3)、MP4(动态影像专家压缩标准音频层面4)播放器、头戴式显示设备、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等。
服务器106可以是提供各种服务的服务器,例如对终端设备101、102、103或104上显示的页面或传输的数据提供支持的后台服务器。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
这里,终端设备可以独立或通过与其他电子终端设备配合运行各类操作***例如安卓***中的应用实现本公开的实施例方法,也可以运行其他操作***中的应用例如iOS***、Windows***、鸿蒙***等的应用实现本公开的实施例方法。
[行进路线生成方法]
参考图2,示出了根据本公开的行进路线生成方法的一个实施例的流程图。所述行进路线生成方法,包括以下步骤:
第一图像拍摄步骤S21,从第一拍摄点起移动并拍摄多张图像;
这里,第一拍摄点例如为行进路线的起始点,从第一拍摄点开始生成行进路线;从第一拍摄点拍摄的图像例如为定位用图像,可以是拍摄的照片、预览图、视频帧等,可以存储,也可以不存储而仅用于进行特征点的识别及匹配。
第一行进路线生成步骤S22,对在第一图像拍摄步骤S21中拍摄的多张图像的特征点进行匹配,以生成第一行进路线;
这里,例如通过相近拍摄点的定位用图像的特征点进行匹配来获得各拍摄点的相对位移,从而提供每个拍摄点的相对位置和方向,将各个拍摄点进行连接以生成行进路线。这里,行进路线可以是显示出各拍摄点的连线即为可见形式的,也可以不显示各拍摄点的连线即为不可见形式。这里,当行进路线显示为可见形式时,其显示出的路线颜色、粗细、线形、虚实等形式不做限定,可以是***示形式。
第二图像拍摄步骤S23,从第二拍摄点起移动并拍摄多张图像;
这里,例如在第一行进路线生成步骤S22进行多张图像的特征点匹配的过程中出现特征点失配的情况下,开始第二图像拍摄步骤S23。这里,特征点失配的原因例如为:移动过快造成相邻两帧图像没有足够多的特征点进行匹配;或是在移动过程中,环境中存在干扰或环境发生改变,例如进入毛坯房或者光线条件差(过暗或过强)的环境;或是在拍摄过程中被外部因素中断拍摄,例如接电话导致拍摄中断等。
这里,第二拍摄点可以在第一行进路线上,当然也可以不在第一行进路线上,例如可以在第一行进路线上的点的附近位置,当然如果长时间无法匹配找回路线时(例如环境发生了较大变化造成无法匹配特征点时)也可以不在第一行进路线上的拍摄点的附近位置而重新开始一条独立的行进路线。
第二行进路线生成步骤S24,对在第二图像拍摄步骤S23中拍摄的多张图像的特征点进行匹配,以生成第二行进路线;
这里,生成行进路线的方法和路线的显示形式同第一行进路线生成步骤S22,不再赘述。
拼接步骤S25,将在第二行进路线上的图像的特征点与在第一行进路线上的图像的特征点进行匹配,以使第二行进路线与第一行进路线拼接。
这里,当第二行进路线上的图像的拍摄点在第一行进路线上或在第一行进路线上的点的附近位置的情况下,通过第二图像拍摄步骤S23中拍摄的图像的特征点与已有的第一图像拍摄步骤S21中拍摄的图像的特征点进行对比,尝试找到足够多的特征点进行匹配,从而推算出两条行进路线的相互位置,并进行路线拼接。
这里,第二行进路线上的图像的拍摄点可以是一个,也可以是多个,只要特征点足够多以进行匹配即可,并不做限定。
当第二行进路线上的图像的拍摄点不能确定与第一行进路线的位置关系的情况下,通过第一图像拍摄步骤S21中拍摄的图像的位置信息和第二图像拍摄步骤S23中拍摄的图像的位置信息,推算出两条行进路线的相互位置,并进行路线拼接。
在一个或多个实施例中,行进路线生成方法还可以包括:保存步骤,保存在第一图像拍摄步骤S21中拍摄的多张图像的至少一部分信息;
这里,保存步骤保存的信息的图像可以一张也可以是多张,可以是初始拍摄位置处的一张或多张,也可以是特征点失配情况前的位置处的一张或多张,可以是间隔一定距离的多张图像也可以是连续拍摄的多张图像,这里并不做限定。
这里,保存步骤中保存的图像的一部分信息可以保存在本地,也可以上传至服务器进行保存。
这里,保存步骤中保存的图像的一部分信息至少包括至少一张图像中的特征点信息,当然也可以保存至少一张图像或图像的画面信息以用于提取其中的特征点信息,当然也可以保存至少一张图像的属性信息,例如图像的拍摄时间、拍摄位置、拍摄方向、拍摄角度等,并不做限定。
在该实施例中,例如在拼接步骤中,对在第二拍摄点拍摄的图像的特征点与在保存步骤中保存的图像的特征点进行匹配,以使第二行进路线与第一行进路线拼接。
在一个或多个实施例中,行进路线生成方法还可以包括:提示步骤,提示第一行进路线上的、在保存步骤中最后保存至少一部分信息的图像的拍摄点以前的点,作为所述第二拍摄点。
这里,最后保存至少一部分信息的图像的拍摄点以前的点可以包括最后一点。这里第一行进路线上的点可以是行进路线上的确定的某一点,也可以是行进路线上的某一点的一定范围内的点。
这里,提示的方法例如可以是:
例如通过屏幕显示提醒:“路线丢失!请回到XX点,重复行进路线!”,例如还可以同时在屏幕上设置多重显示方式帮助用户理解行进路线,例如有红色标记在路线上移动或者路线闪动的方式,例如还可以同时展示需要回到的拍摄点照片;
例如通过语音播报上述提示内容:“路线丢失!请回到XX点,重复行进路线!”,本公开并不做限定。
在一个或多个实施例中,例如当第二行进路线上的图像的拍摄点不能确定与第一行进路线的位置关系的情况下,行进路线生成方法还可以包括:
第一定位步骤,至少定位并记录在保存步骤中保存的一张图像的拍摄点的位置信息,例如是最后一张图像的拍摄点的位置信息;
这里,当然也可以是定位并记录保存步骤中保存的所有的图像的拍摄点的位置信息,并不做限定。
第二定位步骤,至少定位并记录第二行进路线上的一个拍摄点的位置信息;
这里,当然也可以是定位并记录第二行进路线上的所有的图像的拍摄点的位置信息,并不做限定。
在第二行进路线上的图像的特征点与在保存步骤中保存的图像的特征点无法进行匹配的情况下,利用第一定位步骤中定位并记录的位置信息和第二定位步骤中定位并记录的位置信息,进行第一行进路线和所述第二行进路线的拼接。这里,第二行进路线上的图像的特征点可以是第二行进路线上的任一拍摄点的图像对应的一组特征点与在保存步骤中保存的图像的一组或多组特征点无法匹配的情况,也可以是第二行进路线上的图像对应的全部特征点与在保存步骤中保存的图像的全部特征点无法匹配的情况,对于不能匹配的特征点的数量并不做限定。这里,拼接时利用第一定位步骤中定位并记录的一个或多个拍摄点的位置信息和第二定位步骤中定位并记录的一个或多个拍摄点的位置信息进行相对位置的确定。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[行进路线生成方法实施例]
下面,说明本公开的一个实施例,如图3所示,是根据本公开的行进路线生成方法的一个实施例的示意图。在本实施例中,玄关处为第一拍摄点1,圆形箭头为特征点失配的位置,客厅拍摄点2为在第一行进路线上保存的点,可以是第一行进路线上保存的最后一点当然也可以是最后一点之前的点,三角形箭头为行进路线的方向。本实施例包括:
步骤1,从第一拍摄点起移动并拍摄多张图像;
这里,例如将具有拍照功能的移动设备(可以是手机、平板电脑等各类移动终端)固定在拍摄支架(可以是例如三脚架等)上,如图3所示,将玄关作为起始位置确定为第一拍摄点1,并开始移动支架,在移动支架的过程中拍摄多张定位用图像。
步骤2,对在步骤1中拍摄的多张定位用图像的特征点进行匹配,如图3所示,以生成第一行进路线1-2;
这里,行进路线显示出了各拍摄点的连线即为可见形式的,当然也可以不显示各拍摄点的连线即为不可见形式。
步骤3,保存在步骤1中拍摄的一张或多张图像的特征点,在本实施例中例如是客厅拍摄点2处的客厅的图像的特征点;
步骤4,如图3所示,圆形箭头为当前特征点失配即丢失位置的点,这里,特征点失配的原因在本实施中例如为:移动过快造成相邻两帧图像没有足够多的特征点进行匹配;或是在移动过程中,环境中存在干扰或环境发生改变,例如进入毛坯房或者光线条件差(过暗或过强)的环境;或是在拍摄过程中被外部因素中断拍摄,例如接电话导致拍摄中断等。
在出现特征点失配的情况下,提示第一行进路线上1-2上的客厅拍摄点2或客厅拍摄点2之前的保存的一张或多张图像的拍摄点,作为第二拍摄点,本实施例中例如提示客厅拍摄点2作为第二拍摄点。
在本实施例中,如图3所示,提醒的方式包括通过屏幕显示提醒:“路线丢失!请移动支架到客厅,重复客厅之后的行进路线”,并且同时屏幕上设置多重显示方式帮助用户理解行进路线,例如通过三角形箭头在路线上移动的方式并同时展示需要回到的拍摄点2的照片,同时通过语音播报上述提示内容:“路线丢失!请移动支架到客厅,重复客厅之后的行进路线”。
步骤5,从第二拍摄点2起移动并拍摄多张图像;
这里,在本实施例中第二拍摄点2在第一行进路线上1-2上,当然也可以不在第一行进路线1-2上,例如可以在第一行进路线上的点的附近位置。
步骤6,对在步骤5中拍摄的多张图像的特征点进行匹配,以生成第二拍摄点2后的第二行进路线;
步骤7,将在步骤5中拍摄的图像的特征点与在步骤1中拍摄的图像的特征点进行匹配,以使第二行进路线与第一行进路线1-2拼接。
具体来说,在本实施例中,对在第二拍摄点2拍摄的图像的特征点与在保存步骤中保存的客厅拍摄点2的图像的特征点进行匹配,以使第二行进路线与第一行进路线1-2拼接。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(ROM)等非易失性存储介质,或随机存储记忆体(RAM)等。
[行进路线生成装置]
为了实现本公开实施例中的技术方案,本公开的一个实施例提供了一种行进路线生成装置,该装置具体可以应用于各种电子终端设备中,包括:接收模块、行进路线生成模块、拼接模块。
接收模块,接收从不同拍摄点起移动并分别拍摄的多组图像;
这里,不同拍摄点至少包括第一拍摄点和第二拍摄点,从每个拍摄点其移动拍摄的图像为一组图像。每个拍摄点拍摄的图像例如为定位用图像,可以是拍摄的照片、预览图、视频帧等,可以存储,也可以不存储而仅用于进行特征点的识别及匹配。
行进路线生成模块,分别对多组图像的特征点进行匹配,以分别生成多条行进路线;
这里,每组图像通过特征点匹配生成一条行进路线,例如通过相近拍摄点的定位用图像的特征点进行匹配来获得各拍摄点的相对位移,从而提供每个拍摄点的相对位置和方向,将各个拍摄点进行连接以生成行进路线。这里,行进路线可以是显示出各拍摄点的连线即为可见形式的,也可以不显示各拍摄点的连线即为不可见形式。这里,当行进路线显示为可见形式时,其显示出的路线颜色、粗细、线形、虚实等形式不做限定,可以是***示形式。
拼接模块,对不同组图像的特征点进行匹配,以使多条行进路线进行拼接;这里,当不同行进路线的拍摄点有重合或在附近位置的情况下,通过对不同行进路线上拍摄的图像的特征点进行对比,尝试找到足够多的特征点进行匹配,从而推算出不同行进路线的相互位置,并进行路线拼接。
当不同行进路线的拍摄点不能确定位置关系的情况下,通过不同行进路线上拍摄的图像的位置信息,推算出不同行进路线的相互位置,并进行路线拼接。
在一个或多个实施例中,多组图像至少包括第一组图像和第二组图像,如图4所示,行进路线生成装置可以包括:接收模块401、行进路线生成模块402、拼接模块403、保存模块404、提示模块405、定位模块406。
其中,接收模块401、行进路线生成模块402、拼接模块403的功能例如可以与上述实施例中相应模块的功能相同,这里不再赘述。
保存模块404,保存接收模块401接收的第一组图像的至少一部分信息;
这里,保存模块404保存信息的图像可以一张也可以是多张,可以是初始拍摄位置处的一张或多张,也可以是特征点失配情况前的位置处的一张或多张,可以是间隔一定距离的多张图像也可以是连续拍摄的多张图像,这里并不做限定。
这里,保存模块404中保存的图像的一部分信息可以保存在本地,也可以上传至服务器进行保存。
这里,保存模块404中保存的图像的一部分信息至少包括至少一张图像中的特征点信息,当然也可以保存至少一张图像或图像的画面信息以用于提取其中的特征点信息,当然也可以保存至少一张图像的属性信息,例如图像的拍摄时间、拍摄位置、拍摄方向、拍摄角度等,并不做限定。
在该实施例中,拼接模块403对第二组图像与保存模块404中保存的图像的特征点进行匹配,以使多条行进路线拼接。
提示模块405,在行进路线生成模块402进行图像的特征点匹配的过程中出现特征点失配的情况下,生成用于指示回到特定拍摄位置的信息,例如提示第一组图像对应的行进路线中的、保存模块404中最后保存至少一部分信息的图像的拍摄点以前的点,作为第二组图像的起始拍摄点。
这里,最后保存至少一部分信息的图像的拍摄点以前的点可以包括最后一点。这里第一行进路线上的点可以是行进路线上的确定的某一点,也可以是行进路线上的某一点的一定范围内的点。
定位模块406,至少定位并记录保存模块404中保存的一张图像例如最后一张图像的拍摄点的位置信息;以及至少定位并记录第二组图像的一个拍摄点的位置信息;
这里,当然也可以是定位并记录保存模块404中保存的所有的图像的拍摄点的位置信息,并不做限定。这里,当然也可以是定位并记录第二组图像的所有的图像的拍摄点的位置信息,并不做限定。
在第二组图像的特征点与在保存模块404中保存的图像的特征点无法进行匹配的情况下,利用定位模块406中定位并记录的位置信息进行行进路线的拼接。
这里,拼接时利用定位模块406中定位并记录的第一组图像的一个或多个拍摄点的位置信息和第二组图像的一个或多个拍摄点的位置信息进行相对位置的确定。
应该理解的是,虽然附图的框图中的每个方框可以代表一个模块,该模块的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令,但是这些模块并不是必然按照顺序依次执行。本公开中装置实施例中的各模块及功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上的模块或功能单元集成在一个模块中。上述集成的各个模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器,磁盘或光盘等。
[行进路线生成***]
为了实现本公开实施例中的技术方案,本公开的一个实施例提供了一种行进路线生成***,包括:
图像拍摄模块,从不同拍摄点起移动并分别拍摄多组图像;
这里,图像拍摄模块例如可以由相机和/或带拍照功能的手机等终端设备实现,在一个或多个实施例中,例如可以将实现图像拍摄模块的相机和/或带拍照功能的手机固定在同一拍摄支架上;在移动支架的过程中,获取多张相机或带拍照功能的手机所拍摄的定位用图像,从而获取并记录相机或带拍照功能的手机对所处空间拍摄图像时的位置和朝向信息。
这里,还可以基于相机或所述带拍照功能的手机的定位***,使用相机或带拍照功能的手机拍摄的定位用图像,通过相近拍摄点的定位用图像的特征点进行匹配来获得各拍摄点的相对位移,从而提供每个拍摄点的相对位置和方向。
当然,这里,拍摄点的位置、方向和路线图也可以由相机图像计算得到。
行进路线生成模块,分别对多组图像的特征点进行匹配,以分别生成多条行进路线;这里,行进路线生成模块的功能例如可以与上述行进路线生成装置中的行进路线生成模块相同,这里不再赘述,但并不做限定,当然可以根据与本实施例中行进路线生成***中其他模块的配合具有其他功能。
拼接模块,对不同组图像的特征点进行匹配,以使多条行进路线进行拼接,这里,拼接模块的功能例如可以与上述行进路线生成装置中的拼接模块相同,这里不再赘述,但并不做限定,当然可以根据与本实施例中行进路线生成***中其他模块的配合具有其他功能。
在一个或多个实施例中,如图5所示,本实施例所述的行进路线生成***包括:图像拍摄模块501、行进路线生成模块502、拼接模块503、保存模块504、提示模块505、定位模块506。
这里,本实施例中的行进路线生成***的各个模块可以全部或部分设置在实现本实施例的终端设备中,当然也可以设置全部或部分设置在服务器上,例如将行进路线生成模块502、拼接模块503、保存模块504、定位模块506设置在实现本实施例的服务器中,将图像拍摄模块501、提示模块505设置在实现本实施例的终端设备中。
这里,图像拍摄模块501、行进路线生成模块502、拼接模块503的功能例如可以与上述实施例中相应模块的功能相同,当然也可以根据与本实施例中行进路线生成***中其他模块的配合具有其他功能。这里,本实施例中各个模块的功能例如可以与上述行进路线生成装置中的相应模块相同,这里不再赘述,但并不做限定,当然可以根据与本实施例中行进路线生成***中其他模块的配合具有其他功能。
其中,在本实施例中,多组图像至少包括第一组图像和第二组图像,图像拍摄模块501从第一拍摄点起移动并拍摄第一组图像并从第二拍摄点起移动并拍摄第二组图像;
行进路线生成模块502对第一组图像的特征点进行匹配,以生成第一行进路线;以及对第二组图像的特征点进行匹配,以生成第二行进路线;
拼接模块503将第二组图像的特征点与第一组图像的特征点进行匹配,以使第二行进路线与所述第一行进路线拼接。
在一个或多个实施例中,保存模块504还保存第一组图像的至少一部分信息;并且拼接模块503对在第二拍摄点拍摄的图像的特征点与保存模块504保存的图像的特征点进行匹配,以使第二行进路线与第一行进路线拼接。
提示模块505,提示第一行进路线上的、保存模块504最后保存至少一部分信息的图像的拍摄点以前的点,作为第二拍摄点。
定位模块506,至少定位并记录保存模块504保存的一张图像例如最后一张图像的拍摄点的位置信息;以及至少定位并记录第二行进路线上的一个拍摄点的位置信息;
在第二拍行进路线上的图像的特征点与保存模块504保存的图像的特征点无法进行匹配的情况下,利用定位模块506定位并记录的位置信息进行第一行进路线和第二行进路线的拼接。
在一个或多个实施例中,行进路线生成***例如还可以包括接收模块、发送模块等,具体功能包括:
接收模块,接收图像拍摄模块501移动并拍摄的多张定位用图像;
行进路线生成模块502对定位用图像的特征点进行匹配,以生成行进路线;
保存模块504保存多张定位用图像的至少一部分信息;
提示模块505在行进路线生成模块502进行图像的特征点匹配的过程中出现特征点失配的情况下,生成用于指示图像拍摄模块501回到特定拍摄位置的信息,这里,特定拍摄位置是在已生成的行进路线上的、在失配前保存模块504最后保存的至少一部分信息的定位用图像的拍摄位置以前的位置;
发送模块,将提示模块505生成的用于指示图像拍摄模块501回到特定拍摄位置的信息发送给图像拍摄模块501。
在该实施例中,例如接收模块收到图像拍摄模块501回到特定拍摄位置并重新拍摄的定位用图像时,行进路线生成模块502将该定位用图像的特征点与保存模块504保存的定位用图像的特征点进行匹配,以进行路线拼接。
在该实施例中,例如在接收模块接收到的、图像拍摄模块501回到特定拍摄位置并重新拍摄的定位用图像的特征点与保存模块504保存的图像的特征点无法进行匹配的情况下,以特定拍摄位置作为起点,生成新行进路线。
在该实施例中,例如还包括拼接模块503,利用图像拍摄模块501回到特定拍摄位置并重新拍摄时的位置信息和特定拍摄位置的信息,将新行进路线与失配前已生成的行进路线进行拼接。
[空间模型生成方法]
如图6所示,为了实现本公开实施例中的技术方案,本公开提供了一种空间模型生成方法,包括:
行进路线生成步骤S61,例如可以使用如本公开中的行进路线生成方法的一个或多个实施例的方法以生成行进路线;
当然,行进路线生成步骤S61还可以包括其他方式,并不做限定,例如行进路线通过人工拼接生成,或可以根据预先输入的路线位置、方向信息进行生成,或者可以通过例如下述空间模型生成***中相关模块具备的加速度传感器、速度传感器提供的加速度信息和移动速度信息等生成行进路线。
模型图像拍摄步骤S62,在根据行进路线进行移动的过程中对所处空间拍摄用于生成空间模型的模型图像;
这里,在一个或多个实施例中例如在根据行进路线进行移动的过程中的不同拍摄点使用下述空间模型生成***中相关模块具备的双目镜头分别拍摄模型图像或使用全景相机拍摄及生成全景图作为模型图像。
模型生成步骤S63,分别基于各个空间拍摄的模型图像,生成各个空间的模型;
这里,在一个或多个实施例中例如通过对上述双目镜头各自拍摄的模型图像进行图像比对,确定对应像素,并获得每个对应像素的深度信息,以用于生成空间模型;对于全景图,这里也可以通过深度学习技术,预测模型图像中每个像素的深度,计算或直接运用深度学习技术预测每个像素的法线方向,或者预测墙体的位置和房间轮廓,以生成各个空间模型。
这里,模型生成步骤S63例如可以在本地实现或者由远程服务器实现,在由远程服务器实现的情况下,其通过网络接收发送来的各个空间的模型图像,基于对各个空间拍摄的模型图像,生成各个空间的模型。
模型拼接步骤S64,基于各个空间的在行进路线中的位置和朝向信息,将各个空间的模型在同一个坐标系内进行拼接处理,形成由各个空间各自的模型拼接而成的整体模型。
这里,在一个或多个实施例中例如根据各个空间的位置和朝向信息,例如利用一个转换矩阵,把单个空间模型的局部坐标转换为全局的世界坐标,从而获得所有拍摄点的整体模型。
这里,模型拼接步骤S64例如也可以在本地实现或者由远程服务器实现,在由远程服务器实现的情况下,其通过网络接收发送来的各个空间模型的位置和朝向信息,基于该位置和朝向信息完成拼接处理以生成整体模型。
这里,空间模型可以是三维空间模型,当然也可以是二维平面模型;这里,生成二维平面模型的方法例如可以是在模型生成步骤S63中生成各个空间的二维平面模型,再在模型拼接步骤S64中基于各个空间在行进路线中的位置和朝向信息,将各个空间的二维平面模型在同一个坐标系内进行拼接处理,形成整体的二维平面模型;当然生成二维平面模型的方法例如也可以是在模型生成步骤S63和模型拼接步骤S64中分别先生成单独的三维空间模型和整体的三维空间模型,再将整体的三维空间模型转换为整体的二维平面模型,并不做限定。
[空间模型生成装置]
如图7所示,为了实现本公开实施例中的技术方案,本公开提供了一种空间模型生成装置,包括:
行进路线生成装置701,例如包括本公开中的行进路线生成装置的一个或多个实施例的装置,以生成行进路线;
这里,行进路线生成装置701还可以通过其他方式生成行进路线,并不做限定,例如行进路线通过人工拼接生成,或可以根据预先输入的路线位置、方向信息进行生成,或者例如具备加速度传感器、速度传感器等提供加速度信息和移动速度信息等以生成行进路线。
接收装置702,接收对多个空间分别拍摄的多组模型图像;
这里,多个空间的每个空间可以对应一组模型图像,当然每个空间也可以对应多组模型图像,并不做限定。
模型生成模块703,基于接收装置702接收的多组模型图像,分别生成各个空间的模型;
这里,在一个或多个实施例中模型生成模块703例如通过对模型图像进行图像比对,确定对应像素,并获得每个对应像素的深度信息,以用于生成空间模型;对于全景图,这里也可以通过深度学习技术,预测模型图像中每个像素的深度,计算或直接运用深度学习技术预测每个像素的法线方向,或者预测墙体的位置和房间轮廓以生成各个空间模型。
模型拼接模块704,基于各个空间的在行进路线中的位置和朝向信息,将各个空间的模型在同一个坐标系内进行拼接处理,形成由各个空间各自的模型拼接而成的整体模型。
这里,在一个或多个实施例中模型拼接模块704例如根据各个空间的位置和朝向信息,例如利用一个转换矩阵,把单个空间模型的局部坐标转换为全局的世界坐标,从而获得所有拍摄点的整体模型。
这里,空间模型可以是三维空间模型,当然也可以是二维平面模型;这里,例如可以是由模型生成模块703生成各个空间的二维平面模型,再由模型拼接模块704基于各个空间在行进路线中的位置和朝向信息,将各个空间的二维平面模型在同一个坐标系内进行拼接处理,形成整体的二维平面模型;当然例如也可以是由模型生成模块703和模型拼接模块704分别先生成单独的三维空间模型和整体的三维空间模型,再由模型生成模块703或模型拼接模块704将整体的三维空间模型转换为整体的二维平面模型,并不做限定。
[空间模型生成***]
如图8所示,为了实现本公开实施例中的技术方案,本公开提供了一种行进路线生成***,包括:
模型图像拍摄装置801,对所处空间拍摄用于生成空间模型的模型图像;
这里,模型图像拍摄装置801例如具有定位传感器和方向传感器,能够获得在对所处空间拍摄模型图像时的定位信息和拍摄方向信息,例如可以具有双目镜头,在同一个拍摄点分别拍摄模型图像或使用全景相机拍摄及生成全景图作为模型图像。
模型生成模块802,基于模型图像拍摄装置针对多个空间分别拍摄的模型图像,分别生成各个空间的模型;这里,模型生成模块802的功能例如可以与上述空间模型生成装置中的模型生成模块703相同,这里不再赘述,但并不做限定,当然可以根据与本实施例中空间模型生成***中其他模块的配合具有其他功能。
行进路线生成***803,包括本公开中的行进路线生成***的一个或多个实施例的***,以生成行进路线;
模型拼接模块804,基于各个空间的在行进路线中的位置和朝向信息,将各个空间的模型在同一个坐标系内进行拼接处理,形成由各个空间各自的模型拼接而成的整体模型。这里,模型拼接模块804的功能例如可以与上述空间模型生成装置中的模型拼接模块704相同,这里不再赘述,但并不做限定,当然可以根据与本实施例中空间模型生成***中其他模块的配合具有其他功能。
[行进路线生成设备]
下面参考图9,其示出了适于用来实现本公开实施例的电子设备(例如图1中的终端设备或服务器)900的结构示意图。本公开实施例中的终端设备可以是上述***中的各种终端设备。图9示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示,电子设备900可以包括处理装置(例如中央处理器、图形处理器等)901,用于控制电子设备的整体操作。处理装置可以包括一个或多个处理器来执行指令,以完成上述的方法的全部或部分步骤。此外,处理装置901还可以包括一个或多个模块,用于处理和其他装置之间的交互。
存储装置902用于存储各种类型的数据,存储装置902可以是包括各种类型的计算机可读存储介质或者它们的组合,例如可以是电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
传感器装置903,用于感受规定的被测量的信息并按照一定的规律转换成可用输出信号,可以包括一个或多个传感器。例如,其可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器等,用于检测电子设备的打开/关闭状态、相对定位、加速/减速、温度、湿度和光线等的变化。
处理装置901、存储装置902以及传感器装置903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
多媒体装置906可以包括触摸屏、触摸板、键盘、鼠标、摄像头、麦克风等的输入装置用以接收来自用户的输入信号,在各种输入装置可以与上述传感器装置903的各种传感器配合完成例如手势操作输入、图像识别输入、距离检测输入等;多媒体装置906还可以包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置。
电源装置907,用于为电子设备中的各种装置提供电力,可以包括电源管理***、一个或多个电源及为其他装置分配电力的组件。
通信装置908,可以允许电子设备900与其他设备进行无线或有线通信以交换数据。
上述各项装置也均可以连接至I/O接口905以实现电子设备900的应用。
虽然图9示出了具有各种装置的电子设备,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置从网络上被下载和安装,或者从存储装置被安装。在该计算机程序被处理装置执行时,执行本公开实施例的方法中限定的上述功能。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。
要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑设备(CPLD)等等。
根据本公开的一个或多个实施例,提供了一种行进路线生成方法,其特征在于,所述方法包括:
第一图像拍摄步骤,从第一拍摄点起移动并拍摄多张图像;
第一行进路线生成步骤,对在所述第一图像拍摄步骤中拍摄的多张所述图像的特征点进行匹配,以生成第一行进路线;
第二图像拍摄步骤,从第二拍摄点起移动并拍摄多张图像;
第二行进路线生成步骤,对在所述第二图像拍摄步骤中拍摄的多张所述图像的特征点进行匹配,以生成第二行进路线;
拼接步骤,将在所述第二行进路线上的所述图像的特征点与在所述第一行进路线上的所述图像的特征点进行匹配,以使所述第二行进路线与所述第一行进路线拼接。
根据本公开的一个或多个实施例,提供了一种行进路线生成方法,其特征在于,还包括:
保存步骤,保存在所述第一图像拍摄步骤中拍摄的多张所述图像的至少一部分信息;
所述多张所述图像的至少一部分信息至少包括一张所述图像的特征点;
在所述拼接步骤中,对在所述第二行进路线上的所述图像的特征点与在所述保存步骤中保存的图像的特征点进行匹配,以使所述第二行进路线与所述第一行进路线拼接。
根据本公开的一个或多个实施例,提供了一种行进路线生成方法,其特征在于,还包括:
提示步骤,提示所述第一行进路线上的、在所述保存步骤中最后保存所述至少一部分信息的图像的拍摄点以前的点,作为所述第二拍摄点。
根据本公开的一个或多个实施例,提供了一种行进路线生成方法,其特征在于,还包括:
第一定位步骤,至少定位并记录在所述保存步骤中保存的一张图像的拍摄点的位置信息;
第二定位步骤,至少定位并记录所述第二行进路线上的一个拍摄点的位置信息;
在所述第二行进路线上的所述图像的特征点与在所述保存步骤中保存的图像的特征点无法进行匹配的情况下,利用所述第一定位步骤中定位并记录的位置信息和所述第二定位步骤中定位并记录的位置信息,进行所述第一行进路线和所述第二行进路线的拼接。
根据本公开的一个或多个实施例,提供了一种行进路线生成装置,包括:
接收模块,接收从不同拍摄点起移动并分别拍摄的多组图像;
行进路线生成模块,分别对所述多组图像的特征点进行匹配,以分别生成多条行进路线;
拼接模块,对不同组图像的特征点进行匹配,以使所述多条行进路线进行拼接。
根据本公开的一个或多个实施例,提供了一种行进路线生成装置,其特征在于,所述多组图像至少包括第一组图像和第二组图像,所述装置还包括:
保存模块,保存所述接收模块接收的所述第一组图像的至少一部分信息;
所述第一组图像的至少一部分信息至少包括所述第一组图像的一张图像的特征点;
所述拼接模块对所述第二组图像的特征点与所述保存模块中保存的图像的特征点进行匹配,以使所述多条行进路线拼接。
根据本公开的一个或多个实施例,提供了一种行进路线生成装置,其特征在于,还包括:
提示模块,提示所述第一组图像对应的行进路线中的、所述保存模块中最后保存所述至少一部分信息的图像的拍摄点以前的点,作为所述第二组图像的起始拍摄点。
根据本公开的一个或多个实施例,提供了一种行进路线生成装置,其特征在于,还包括:
定位模块,至少定位并记录所述保存模块中保存的一张图像的拍摄点的位置信息;以及至少定位并记录所述第二组图像的一个拍摄点的位置信息;
在所述第二组图像的特征点与在所述保存模块中保存的图像的特征点无法进行匹配的情况下,利用所述定位模块中定位并记录的位置信息进行所述行进路线的拼接。
根据本公开的一个或多个实施例,提供了一种行进路线生成***,包括:
图像拍摄模块,从不同拍摄点起移动并分别拍摄多组图像;
行进路线生成模块,分别对所述多组图像的特征点进行匹配,以分别生成多条行进路线;
拼接模块,对不同组图像的特征点进行匹配,以使所述多条行进路线进行拼接。
根据本公开的一个或多个实施例,提供了一种行进路线生成***,其特征在于,
所述多组图像至少包括第一组图像和第二组图像,
所述图像拍摄模块从第一拍摄点起移动并拍摄所述第一组图像;以及从第二拍摄点起移动并拍摄所述第二组图像;
所述行进路线生成模块对所述第一组图像的特征点进行匹配,以生成第一行进路线;以及对所述第二组图像的特征点进行匹配,以生成第二行进路线;
所述拼接模块将所述第二组图像的特征点与所述第一组图像的特征点进行匹配,以使所述第二行进路线与所述第一行进路线拼接。
根据本公开的一个或多个实施例,提供了一种行进路线生成***,其特征在于,还包括,
保存模块,保存所述第一组图像的至少一部分信息;
所述第一组图像的至少一部分信息至少包括第一组图像的一张图像的特征点;
所述拼接模块对所述第二组图像的特征点与所述保存模块保存的图像的特征点进行匹配,以使所述第二行进路线与所述第一行进路线拼接。
根据本公开的一个或多个实施例,提供了一种行进路线生成***,其特征在于,还包括,
提示模块,提示所述第一行进路线上的、所述保存模块最后保存所述至少一部分信息的图像的拍摄点以前的点,作为所述第二拍摄点。
定位模块,至少定位并记录所述保存模块保存的一张图像的拍摄点的位置信息;以及至少定位并记录所述第二行进路线上的一个拍摄点的位置信息;
在所述第二组图像的特征点与所述保存模块保存的图像的特征点无法进行匹配的情况下,利用所述定位模块定位并记录的位置信息进行所述第一行进路线和所述第二行进路线的拼接。
根据本公开的一个或多个实施例,提供了一种空间模型生成方法,包括:
行进路线生成步骤,使用如前任一项所述的行进路线生成方法以生成行进路线;
模型图像拍摄步骤,在根据所述行进路线进行移动的过程中对所处空间拍摄用于生成所述空间模型的模型图像;
模型生成步骤,分别基于各个所述空间拍摄的所述模型图像,生成各个所述空间的模型;
模型拼接步骤,基于各个所述空间的在所述行进路线中的位置和朝向信息,将各个所述空间的模型在同一个坐标系内进行拼接处理,形成由各个所述空间各自的模型拼接而成的整体模型。
根据本公开的一个或多个实施例,提供了一种一种空间模型生成装置,包括:
如前任一项所述的行进路线生成装置以生成行进路线;
接收装置,接收对多个空间分别拍摄的多组模型图像;
模型生成模块,基于所述接收装置接收的所述多组模型图像,分别生成各个所述空间的模型;
模型拼接模块,基于各个所述空间的在所述行进路线中的位置和朝向信息,将各个所述空间的模型在同一个坐标系内进行拼接处理,形成由各个所述空间各自的模型拼接而成的整体模型。
根据本公开的一个或多个实施例,提供了一种空间模型生成***,包括:
模型图像拍摄装置,对所处空间拍摄用于生成所述空间模型的模型图像;
模型生成模块,基于所述模型图像拍摄装置针对多个所述空间分别拍摄的所述模型图像,分别生成各个所述空间的模型;
如前任一项所述的行进路线生成***以生成行进路线;
模型拼接模块,基于各个所述空间的在所述行进路线中的位置和朝向信息,将各个所述空间的模型在同一个坐标系内进行拼接处理,形成由各个所述空间各自的模型拼接而成的整体模型。
根据本公开的一个或多个实施例,提供了一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现如上述任一项所述的方法。
根据本公开的一个或多个实施例,提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一项所述的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (17)
1.一种行进路线生成方法,包括:
第一图像拍摄步骤,从第一拍摄点起移动并拍摄多张图像;
第一行进路线生成步骤,对在所述第一图像拍摄步骤中拍摄的多张所述图像的特征点进行匹配,以生成第一行进路线;
第二图像拍摄步骤,从第二拍摄点起移动并拍摄多张图像;
第二行进路线生成步骤,对在所述第二图像拍摄步骤中拍摄的多张所述图像的特征点进行匹配,以生成第二行进路线;
拼接步骤,将在所述第二行进路线上的所述图像的特征点与在所述第一行进路线上的所述图像的特征点进行匹配,以使所述第二行进路线与所述第一行进路线拼接。
2.如权利要求1所述的行进路线生成方法,其特征在于,还包括:
保存步骤,保存在所述第一图像拍摄步骤中拍摄的多张所述图像的至少一部分信息;
所述多张所述图像的至少一部分信息至少包括一张所述图像的特征点;
在所述拼接步骤中,对在所述第二行进路线上的所述图像的特征点与在所述保存步骤中保存的所述图像的特征点进行匹配,以使所述第二行进路线与所述第一行进路线拼接。
3.如权利要求2所述的行进路线生成方法,其特征在于,还包括:
提示步骤,提示所述第一行进路线上的、在所述保存步骤中最后保存所述至少一部分信息的图像的拍摄点以前的点,作为所述第二拍摄点。
4.如权利要求1至3的任一项所述的行进路线生成方法,其特征在于,还包括:
第一定位步骤,至少定位并记录在所述保存步骤中保存的一张图像的拍摄点的位置信息;
第二定位步骤,至少定位并记录所述第二行进路线上的一个拍摄点的位置信息;
在所述第二行进路线上的图像的特征点与在所述保存步骤中保存的图像的特征点无法进行匹配的情况下,利用所述第一定位步骤中定位并记录的位置信息和所述第二定位步骤中定位并记录的位置信息,进行所述第一行进路线和所述第二行进路线的拼接。
5.一种行进路线生成装置,包括:
接收模块,接收从不同拍摄点起移动并分别拍摄的多组图像;
行进路线生成模块,分别对所述多组图像的特征点进行匹配,以分别生成多条行进路线;
拼接模块,对不同组图像的特征点进行匹配,以使所述多条行进路线进行拼接。
6.如权利要求5所述的行进路线生成装置,其特征在于,所述多组图像至少包括第一组图像和第二组图像,所述装置还包括:
保存模块,保存所述接收模块接收的所述第一组图像的至少一部分信息;
所述第一组图像的至少一部分信息至少包括所述第一组图像中的一张图像的特征点;
所述拼接模块对所述第二组图像的特征点与所述保存模块中保存的图像的特征点进行匹配,以使所述多条行进路线拼接。
7.如权利要求6所述的行进路线生成装置,其特征在于,还包括:
提示模块,提示所述第一组图像对应的行进路线中的、所述保存模块中最后保存所述至少一部分信息的图像的拍摄点以前的点,作为所述第二组图像的起始拍摄点。
8.如权利要求5至7的任一项所述的行进路线生成装置,其特征在于,还包括:
定位模块,至少定位并记录所述保存模块中保存的一张图像的拍摄点的位置信息;以及至少定位并记录所述第二组图像的一个拍摄点的位置信息;
在所述第二组图像的特征点与在所述保存模块中保存的图像的特征点无法进行匹配的情况下,利用所述定位模块中定位并记录的位置信息进行所述行进路线的拼接。
9.一种行进路线生成***,包括:
图像拍摄模块,从不同拍摄点起移动并分别拍摄多组图像;
行进路线生成模块,分别对所述多组图像的特征点进行匹配,以分别生成多条行进路线;
拼接模块,对不同组图像的特征点进行匹配,以使所述多条行进路线进行拼接。
10.如权利要求9所述的行进路线生成***,其特征在于,
所述多组图像至少包括第一组图像和第二组图像,
所述图像拍摄模块从第一拍摄点起移动并拍摄所述第一组图像;以及从第二拍摄点起移动并拍摄所述第二组图像;
所述行进路线生成模块对所述第一组图像的特征点进行匹配,以生成第一行进路线;以及对所述第二组图像的特征点进行匹配,以生成第二行进路线;
所述拼接模块将所述第二组图像的特征点与所述第一组图像的特征点进行匹配,以使所述第二行进路线与所述第一行进路线拼接。
11.如权利要求10所述的行进路线生成***,其特征在于,还包括,
保存模块,保存所述第一组图像的至少一部分信息;
所述第一组图像的至少一部分信息至少包括所述第一组图像的一张图像的特征点;
所述拼接模块对所述第二组图像的特征点与所述保存模块保存的图像的特征点进行匹配,以使所述第二行进路线与所述第一行进路线拼接。
12.如权利要求11所述的行进路线生成***,其特征在于,还包括,
提示模块,提示所述第一行进路线上的、所述保存模块最后保存所述至少一部分信息的图像的拍摄点以前的点,作为所述第二拍摄点。
定位模块,至少定位并记录所述保存模块保存的一张图像的拍摄点的位置信息;以及至少定位并记录所述第二行进路线上的一个拍摄点的位置信息;
在所述第二组图像的特征点与所述保存模块保存的图像的特征点无法进行匹配的情况下,利用所述定位模块定位并记录的位置信息进行所述第一行进路线和所述第二行进路线的拼接。
13.一种空间模型生成方法,包括:
行进路线生成步骤,使用如权利要求1-4任一项所述的行进路线生成方法以生成行进路线;
模型图像拍摄步骤,在根据所述行进路线进行移动的过程中对所处空间拍摄用于生成所述空间模型的模型图像;
模型生成步骤,分别基于各个所述空间拍摄的所述模型图像,生成各个所述空间的模型;
模型拼接步骤,基于各个所述空间的在所述行进路线中的位置和朝向信息,将各个所述空间的模型在同一个坐标系内进行拼接处理,形成由各个所述空间各自的模型拼接而成的整体模型。
14.一种空间模型生成装置,包括:
如权利要求5-8中任一项所述的行进路线生成装置以生成行进路线;
接收装置,接收对多个空间分别拍摄的多组模型图像;
模型生成模块,基于所述接收装置接收的所述多组模型图像,分别生成各个所述空间的模型;
模型拼接模块,基于各个所述空间的在所述行进路线中的位置和朝向信息,将各个所述空间的模型在同一个坐标系内进行拼接处理,形成由各个所述空间各自的模型拼接而成的整体模型。
15.一种空间模型生成***,包括:
模型图像拍摄装置,对所处空间拍摄用于生成所述空间模型的模型图像;
模型生成模块,基于所述模型图像拍摄装置针对多个所述空间分别拍摄的所述模型图像,分别生成各个所述空间的模型;
如权利要求9-12的任一项所述的行进路线生成***以生成行进路线;
模型拼接模块,基于各个所述空间的在所述行进路线中的位置和朝向信息,将各个所述空间的模型在同一个坐标系内进行拼接处理,形成由各个所述空间各自的模型拼接而成的整体模型。
16.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-4或13中任一项所述的方法。
17.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-4或13中任一项所述的方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/072814 WO2021142787A1 (zh) | 2020-01-17 | 2020-01-17 | 行进路线及空间模型生成方法、装置、*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111433809A true CN111433809A (zh) | 2020-07-17 |
CN111433809B CN111433809B (zh) | 2021-08-27 |
Family
ID=71559084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080000591.6A Active CN111433809B (zh) | 2020-01-17 | 2020-01-17 | 行进路线及空间模型生成方法、装置、*** |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111433809B (zh) |
WO (1) | WO2021142787A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112204625A (zh) * | 2020-09-08 | 2021-01-08 | 上海亦我信息技术有限公司 | 移动路线的处理方法、装置、终端和存储介质 |
CN114500831A (zh) * | 2021-12-30 | 2022-05-13 | 北京城市网邻信息技术有限公司 | 图像采集过程中的提示方法、装置、电子设备及存储介质 |
CN114511622A (zh) * | 2021-12-30 | 2022-05-17 | 北京城市网邻信息技术有限公司 | 全景图像采集方法、装置、电子终端及介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103392191A (zh) * | 2011-02-22 | 2013-11-13 | 3M创新有限公司 | 混合拼接 |
CN104135617A (zh) * | 2014-07-29 | 2014-11-05 | 深圳市中兴移动通信有限公司 | 物体运动轨迹拍摄方法、终端及*** |
CN108961395A (zh) * | 2018-07-03 | 2018-12-07 | 上海亦我信息技术有限公司 | 一种基于拍照重建三维空间场景的方法 |
US20190054937A1 (en) * | 2017-08-15 | 2019-02-21 | Bnsf Railway Company | Unmanned aerial vehicle system for inspecting railroad assets |
CN110334568A (zh) * | 2019-03-30 | 2019-10-15 | 深圳市晓舟科技有限公司 | 轨迹生成与监控方法、装置、设备及存储介质 |
CN110505463A (zh) * | 2019-08-23 | 2019-11-26 | 上海亦我信息技术有限公司 | 基于拍照的实时自动3d建模方法 |
CN110532962A (zh) * | 2019-08-30 | 2019-12-03 | 上海秒针网络科技有限公司 | 轨迹的检测方法及装置、存储介质和电子装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101214471B1 (ko) * | 2011-04-11 | 2012-12-24 | 주식회사 이미지넥스트 | 감시 영상의 3차원 정합 방법 및 시스템 |
CN102298779B (zh) * | 2011-08-16 | 2013-08-21 | 淮安盈科伟力科技有限公司 | 全景辅助泊车***的图像配准方法 |
CN107248169B (zh) * | 2016-03-29 | 2021-01-22 | 中兴通讯股份有限公司 | 图像定位方法及装置 |
ES2877499T3 (es) * | 2016-04-25 | 2021-11-17 | Alstom Transp Tech | Método de inspección de la integridad de un ensamble utilizando el rango activo |
KR101908952B1 (ko) * | 2017-02-27 | 2018-12-19 | (주)진명아이앤씨 | Uhd동영상 스티칭 방법 및 그 장치 |
-
2020
- 2020-01-17 WO PCT/CN2020/072814 patent/WO2021142787A1/zh active Application Filing
- 2020-01-17 CN CN202080000591.6A patent/CN111433809B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103392191A (zh) * | 2011-02-22 | 2013-11-13 | 3M创新有限公司 | 混合拼接 |
CN104135617A (zh) * | 2014-07-29 | 2014-11-05 | 深圳市中兴移动通信有限公司 | 物体运动轨迹拍摄方法、终端及*** |
US20190054937A1 (en) * | 2017-08-15 | 2019-02-21 | Bnsf Railway Company | Unmanned aerial vehicle system for inspecting railroad assets |
CN108961395A (zh) * | 2018-07-03 | 2018-12-07 | 上海亦我信息技术有限公司 | 一种基于拍照重建三维空间场景的方法 |
CN110334568A (zh) * | 2019-03-30 | 2019-10-15 | 深圳市晓舟科技有限公司 | 轨迹生成与监控方法、装置、设备及存储介质 |
CN110505463A (zh) * | 2019-08-23 | 2019-11-26 | 上海亦我信息技术有限公司 | 基于拍照的实时自动3d建模方法 |
CN110532962A (zh) * | 2019-08-30 | 2019-12-03 | 上海秒针网络科技有限公司 | 轨迹的检测方法及装置、存储介质和电子装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112204625A (zh) * | 2020-09-08 | 2021-01-08 | 上海亦我信息技术有限公司 | 移动路线的处理方法、装置、终端和存储介质 |
WO2022051899A1 (zh) * | 2020-09-08 | 2022-03-17 | 上海亦我信息技术有限公司 | 移动路线的处理方法、装置、终端和存储介质 |
CN114500831A (zh) * | 2021-12-30 | 2022-05-13 | 北京城市网邻信息技术有限公司 | 图像采集过程中的提示方法、装置、电子设备及存储介质 |
CN114511622A (zh) * | 2021-12-30 | 2022-05-17 | 北京城市网邻信息技术有限公司 | 全景图像采集方法、装置、电子终端及介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021142787A1 (zh) | 2021-07-22 |
CN111433809B (zh) | 2021-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021036353A1 (zh) | 基于拍照的3d建模***及方法、自动3d建模装置及方法 | |
CN111433809B (zh) | 行进路线及空间模型生成方法、装置、*** | |
US8661053B2 (en) | Method and apparatus for enabling virtual tags | |
US11417365B1 (en) | Methods, systems and apparatuses for multi-directional still pictures and/or multi-directional motion pictures | |
US11272160B2 (en) | Tracking a point of interest in a panoramic video | |
EP2974509B1 (en) | Personal information communicator | |
CN103335657A (zh) | 一种基于图像捕获和识别技术增强导航功能的方法和*** | |
US11657085B1 (en) | Optical devices and apparatuses for capturing, structuring, and using interlinked multi-directional still pictures and/or multi-directional motion pictures | |
CN105447864A (zh) | 图像的处理方法、装置及终端 | |
CN112424837B (zh) | 模型修正方法、装置、设备 | |
EP3933753A1 (en) | Method for processing image, related device and storage medium | |
CN113436311A (zh) | 一种户型图生成方法及其装置 | |
US20210127020A1 (en) | Method and device for processing image | |
EP3651144A1 (en) | Method and apparatus for information display, and display device | |
CN112432636B (zh) | 定位方法及装置、电子设备和存储介质 | |
CN204046707U (zh) | 一种便携式场景拍照装置 | |
CN104715446A (zh) | 一种移动终端及其将摄像中运动的目标移除的方法和装置 | |
Kawaji et al. | An image-based indoor positioning for digital museum applications | |
CN113129360B (zh) | 视频内对象的定位方法、装置、可读介质及电子设备 | |
CN114299271A (zh) | 三维建模方法、三维建模装置、电子设备和可读存储介质 | |
CN109472873B (zh) | 三维模型的生成方法、装置、硬件装置 | |
JP2022551671A (ja) | オブジェクトの表示方法、装置、電子機器及びコンピュータ可読型記憶媒体 | |
WO2024087067A1 (zh) | 图像标注方法及装置、神经网络训练方法及装置 | |
CN113890984B (zh) | 拍照方法、图像处理方法和电子设备 | |
CA3102860C (en) | Photography-based 3d modeling system and method, and automatic 3d modeling apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |