CN108282615A - 周边环境扫描方法及*** - Google Patents

周边环境扫描方法及*** Download PDF

Info

Publication number
CN108282615A
CN108282615A CN201810084872.9A CN201810084872A CN108282615A CN 108282615 A CN108282615 A CN 108282615A CN 201810084872 A CN201810084872 A CN 201810084872A CN 108282615 A CN108282615 A CN 108282615A
Authority
CN
China
Prior art keywords
surrounding enviroment
data
capture
scan method
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810084872.9A
Other languages
English (en)
Other versions
CN108282615B (zh
Inventor
李新福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Kang Yun Multidimensional Vision Intelligent Technology Co Ltd
Original Assignee
Guangdong Kang Yun Multidimensional Vision Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Kang Yun Multidimensional Vision Intelligent Technology Co Ltd filed Critical Guangdong Kang Yun Multidimensional Vision Intelligent Technology Co Ltd
Publication of CN108282615A publication Critical patent/CN108282615A/zh
Application granted granted Critical
Publication of CN108282615B publication Critical patent/CN108282615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种周边环境扫描方法及***，方法包括：在同一时间捕捉多个方向的周边环境数据；对捕捉的周边环境数据进行处理，其中所述处理包括实时地拼接多个方向的周边环境数据；根据处理的结果生成复合的周边环境信息。***包括主框架、多个数据捕捉模块和处理模块。本发明能在同一时间捕捉多个方向的周边环境数据，不受检测范围和采集数据的限制，效率更高且能保证扫描精度；对捕捉的周边环境数据进行处理时能实时地拼接多个方向的周边环境数据，实现了多个扫描数据的整合，实时性更好。本发明可广泛应用于环境扫描领域。

Description

周边环境扫描方法及***
技术领域
本发明涉及环境扫描领域，尤其是一种室内周边环境扫描方法及***。
背景技术
近年来，激光技术、计算机技术发展迅速，环境扫描技术在环境识别、导航和定位等方面的应用也越来越广泛。以谷歌地球和谷歌街景为例，其能提供基于GPS定位信息的高精度360度全景照片，极大地方便了用户进行导航、路径规划等操作，其应用已扩展到与空间分布有关的诸多方面，如自然环境监测与分析、资源调查与开发、交通导航等。然而，目前的环境扫描技术大多针对的是室外环境，对室内环境的扫描方案较为少见。在数字城市、应急响应模拟与培训、数字文化遗产、展会等方面的巨大应用需求推动下，尤其在反恐、消防、展会、智慧楼宇等典型应用中，室内环境扫描技术获得的室内环境信息是不可或缺的基础数据。和室外不同，室内环境具有近距离、多转角、易遮挡、光照复杂、缺乏绝对定位等特点，高效、准确地获取室内环境信息是具有挑战性的课题。目前普遍使用的解决方案是通过使用扫描设备来对室内环境进行人工扫描，但此人工扫描方式的扫描效率低下(尤其是在大规模场景下的室内环境扫描，如在1万平方米的博物馆内进行环境扫描)且难以保证扫描精度。而且目前的人工扫描方式受检测范围和采集数据的限制，无法在同一时间扫描多个方向的室内环境数据，也无法进行多个扫描数据的整合，实时性较差。
发明内容
为解决上述技术问题，本发明的目的在于：提供一种高效、精度高和实时的周边环境扫描方法及***。
本发明所采取的第一技术方案是：
周边环境扫描方法，包括以下步骤：
在同一时间捕捉多个方向的周边环境数据；
对捕捉的周边环境数据进行处理，其中所述处理包括实时地拼接多个方向的周边环境数据；
根据处理的结果生成复合的周边环境信息。
进一步，所述多个方向的方向数量是4。
进一步，所述多个方向的周边环境数据由自主机器人捕捉。
进一步，所述自主机器人包括至少4个摄像头，所述至少4个摄像头用于从4个方向捕捉周边环境数据。
进一步，所述摄像头包括鱼眼镜头，所述鱼眼镜头用于捕捉非球面结构的周边环境数据。
进一步，所述周边环境是室内环境。
进一步，所述多个方向的周边环境数据包括重叠区域的环境数据，所述重叠区域是指捕捉不同方向的周边环境数据时公共的捕捉区域。
进一步，所述处理还包括以下步骤：
对重叠区域的环境数据进行匹配和识别，并在重叠区域的环境数据存在差异时重新捕捉重叠区域的环境数据。
本发明所采取的第二技术方案是：
周边环境扫描***，其特征在于：包括：
主框架，用于提供支撑；
安装在主框架上的多个数据捕捉模块，用于捕捉多个方向的环境数据；
处理模块，可通信地连接至所述多个数据捕捉模块，用于将多个方向的环境数据进行拼接，以生成复合的周边环境信息。
进一步，所述主框架、多个数据捕捉模块和处理模块组成自主机器人。
进一步，所述多个数据捕捉模块中的每一个为摄像头。
进一步，所述摄像头包括鱼眼镜头，所述鱼眼镜头用于捕捉球形图像。
进一步，所述复合的周边环境信息是实时生成的。
本发明的有益效果是：本发明周边环境扫描方法及***，能在同一时间捕捉多个方向的周边环境数据，不受检测范围和采集数据的限制，效率更高且能保证扫描精度；对捕捉的周边环境数据进行处理时能实时地拼接多个方向的周边环境数据，实现了多个扫描数据的整合，实时性更好。
附图说明
图1为本发明周边环境扫描***的最优实施例结构示意图；
图2为本发明周边环境扫描***的一种优选实施例结构示意图；
图3为本发明处理模块的内部结构框图；
图4为本发明周边环境扫描方法的一种实施例的整体流程图。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。
参考图1，本实施例一种用于生成实时周边环境信息的扫描***，可以采用手动控制方式、机器人自主控制方式或两者的组合，还可以使用移动应用来远程控制。如图1所示，该扫描***主要包括主框架102和多个支撑腿104。如图1所示，所述主框架102上安装有多个数据捕捉模块106，所述多个数据捕捉模块106中的每个数据捕捉模块用于捕捉对应方向的环境数据。其中，主框架102可以由木材、金属、合金、塑料、橡胶和纤维中的任意一种或任意几种的组合构成。图1所示的主框架102的形状仅起方便说明的作用，本领域的技术人员可以理解，主框架102可以具有任何形状和尺寸。所述多个支撑腿104用于为主框架102提供支撑，以调整多个数据捕捉模块106的高度，使得多个数据捕捉模块106对整个环境区域的多方向扫描能在某一高度下一次性完成。
进一步作为优选的实施方式，所述多个数据捕捉模块中的每个数据捕捉模块是摄像头。
进一步作为优选的实施方式，所述摄像头包括鱼眼镜头。其中，鱼眼镜头，用于捕捉对应方向区域的球形视图或非球面结构视图，以突出感兴趣区域，增强视觉冲击力。
进一步作为优选的实施方式，所述多个支撑腿包括至少一个用于移动整个扫描***的移动装置。其中，移动装置可以选择轮子，该轮子能在任意方向自由地滑动，从而能驱动整个扫描***自动移动(对应于机器人自主控制方式)或受控移动(对应于手动控制方式)到目标位置，以进行实时运动扫描，解决了现有人工扫描方式无法实现实时运动扫描的问题。
本实施例的扫描***还包括处理模块(图1中未示出)，处理模块与多个数据捕捉模块106连接，接收多个数据捕捉模块106捕捉的多方向环境数据并进行进一步的处理(如对准和拼接等)。
参考图2，本实施例用于生成实时周边环境信息的扫描***可以选用4个数据捕捉模块。如图2所示，4个数据捕捉模块106可以捕捉来自室内环境的数据并将其发送到处理模块204来进行进一步处理。
进一步作为优选的实施方式，4个数据捕捉模块106(包括数据捕捉模块106A、数据捕捉模块106B、数据捕捉模块106C、数据捕捉模块106D)中每一个的外侧可具有对应的扫描扩展部202A-202D(这4个扩展部统称为扫描扩展部202)。其中，扫描扩展部202用于通过具有更广视野的摄像头(如鱼眼摄像头)来扩展拍摄的视野，防止室内环境的数据被漏扫描，提升了扫描质量。
进一步作为优选的实施方式，对应于4个数据捕捉模块106的4个扫描扩展部202中的每一个可以彼此重叠，使得室内环境扫描没有细节数据被遗漏。扫描扩展部202的重叠可以通过手动固定来实现，也可以在扫描开始前由处理模块204来自动完成。因此，4个数据捕捉模块106可以一起启动数据捕捉过程。
参考图3，本实施例的处理模块204的内部组件包括摄像头控制模块302，摄像头数据捕捉模块304，数据比较模块306，复合环境生成器308和存储器310。本实施例的处理模块204可以是内部具有各种硬件处理部件的独立处理器，或者处理模块204内部组件是软件生成的。本实施例的处理模块204还可以是多个处理器的集合，共同实现与独立处理器相同的功能。
其中，摄像头控制模块302，用于控制多个数据捕捉模块或多个摄像头中的每一个。摄像头控制模块302可以在一定程度上设定摄像头的视野，角度、扩散参数和移动参数等参数。
摄像头数据捕捉模块304，用于接收由多个数据捕捉模块106捕捉的多方向环境数据，识别接收的数据是由哪个数据捕捉模块捕捉的，并将接收的数据存储在存储器310中相应数据捕捉模块下的时间列表中。
数据比较模块306，用于比较来自多个数据捕捉模块的数据，识别这些数据的差异，并且将识别出的差异存储在存储器310对应的差异列表中。数据比较模块306还将检查和比较所捕捉的来自于扫描扩展部重叠区域的数据，如果来自于同一重叠区域但由不同数据捕捉模块的数据存在差异，则使用相同的数据捕捉模块再次扫描该重叠区域，以使得该重叠区域的数据保持一致。
复合环境生成器308，用于将室内周边环境的各种视图(由多个数据捕捉模块的数据)进行对准并拼接在一起，且实时生成室内周边环境区域的复合三维地图并将其存储在存储器310内。
参考图4，本实施例一种用于扫描周边环境的扫描方法的具体流程如下：
步骤402：初始化，由处理模块204启动多个数据捕捉模块106以开始扫描并开始捕捉周围环境数据。本实施例控制多个数据捕捉模块106的指令可以存储在存储器310中。另外，本实施例处理模块204还可以接收来自远程设备(比如移动应用)的指令，以控制多个数据捕捉模块106。
步骤404：处理多个数据捕捉模块106所捕捉的数据。步骤404具体的处理可以包括步骤4042：将从多个方向捕捉的数据进行匹配/对准并拼接在一起。
步骤406：根据拼接得到的数据生成复合环境数据，该复合环境数据通过三维视图的方式来描述室内的周边环境。
步骤408：根据多个数据捕捉模块106捕捉的新环境信息对生成的复合环境数据进行更新。
上述步骤402～步骤408组成的过程以预设的间隔重复进行，直到扫描完成且预定数量的捕捉数据在随后的周期性更新信息中没有变化。此外，如上所述，还可以根据远程设备的指令手动停止扫描。
以上方法和***的流程图和/或框图详细描述了本发明的实施例。本领域的技术人员容易理解，上述流程图和/或框图中的每个框以及流程图和/或框图中的框的组合可以通过计算机程序指令来实现。这些计算机程序指令可以实现在流程图和/或框图的一个或多个框中指定的动作的手段，可以被提供给通用计算机，专用计算机或其他可编程数据处理装置的处理器以产生可由计算机或其他可编程数据处理装置的处理器执行的机器指令。这些计算机程序指令还可以被存储在计算机可读存储器中，该计算机可读存储器可以指导计算机或其他可编程数据处理装置以特定方式操作，使得存储在计算机可读存储器中的指令产生能实现该指令在流程图和/或框图的一个或多个方框中指定的动作的装置。计算机程序指令还可以被加载到计算机或其他可编程数据处理装置上，使计算机或其他可编程装置上执行一系列操作，从而在计算机或其他可编程装置根据加载的指令实现在流程图和/或框图的一个或多个框中所指定的动作或步骤。
另外，本发明实施例中的步骤编号或模块编号，其仅为了便于阐述说明而设置，对步骤之间的顺序或模块间的连接关系不做任何限定，实施例中的各步骤的执行顺序和模块间的连接关系均可根据本领域技术人员的理解来进行适应性调整。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.周边环境扫描方法，其特征在于：包括以下步骤：
在同一时间捕捉多个方向的周边环境数据；
对捕捉的周边环境数据进行处理，其中所述处理包括实时地拼接多个方向的周边环境数据；
根据处理的结果生成复合的周边环境信息。
2.根据权利要求1所述的周边环境扫描方法，其特征在于：所述多个方向的方向数量是4。
3.根据权利要求2所述的周边环境扫描方法，其特征在于：所述多个方向的周边环境数据由自主机器人捕捉。
4.根据权利要求3所述的周边环境扫描方法，其特征在于：所述自主机器人包括至少4个摄像头，所述至少4个摄像头用于从4个方向捕捉周边环境数据。
5.根据权利要求4所述的周边环境扫描方法，其特征在于：所述摄像头包括鱼眼镜头，所述鱼眼镜头用于捕捉非球面结构的周边环境数据。
6.根据权利要求1所述的周边环境扫描方法，其特征在于：所述多个方向的周边环境数据包括重叠区域的环境数据，所述重叠区域是指捕捉不同方向的周边环境数据时公共的捕捉区域。
7.根据权利要求6所述的周边环境扫描方法，其特征在于：所述处理还包括以下步骤：
对重叠区域的环境数据进行匹配和识别，并在重叠区域的环境数据存在差异时重新捕捉重叠区域的环境数据。
8.周边环境扫描***，其特征在于：包括：
主框架，用于提供支撑；
安装在主框架上的多个数据捕捉模块，用于捕捉多个方向的环境数据；
处理模块，可通信地连接至所述多个数据捕捉模块，用于将多个方向的环境数据进行拼接，以生成复合的周边环境信息。
9.根据权利要求8所述的周边环境扫描***，其特征在于：所述多个数据捕捉模块中的每一个为摄像头。
10.根据权利要求9所述的周边环境扫描***，其特征在于：所述摄像头包括鱼眼镜头，所述鱼眼镜头用于捕捉球形图像。
CN201810084872.9A 2017-11-02 2018-01-29 周边环境扫描方法及*** Active CN108282615B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762580468P 2017-11-02 2017-11-02
US62/580,468 2017-11-02

Publications (2)

Publication Number Publication Date
CN108282615A true CN108282615A (zh) 2018-07-13
CN108282615B CN108282615B (zh) 2021-01-05

Family

ID=62805568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810084872.9A Active CN108282615B (zh) 2017-11-02 2018-01-29 周边环境扫描方法及***

Country Status (2)

Country Link
CN (1) CN108282615B (zh)
WO (1) WO2019085497A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017407A (zh) * 2020-09-08 2020-12-01 中国科学院上海微***与信息技术研究所 一体化无线地标监测装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5023725A (en) * 1989-10-23 1991-06-11 Mccutchen David Method and apparatus for dodecahedral imaging system
US5137238A (en) * 1991-09-09 1992-08-11 Hutten Friedrich W Fast access camera mounting device
CN1745337A (zh) * 2002-12-05 2006-03-08 索尼株式会社 摄像设备
CN101577795A (zh) * 2009-06-17 2009-11-11 深圳华为通信技术有限公司 一种实现全景图像的实时预览的方法和装置
CN105678729A (zh) * 2016-02-24 2016-06-15 段梦凡 鱼眼镜头全景图像拼接方法
CN106161937A (zh) * 2016-07-23 2016-11-23 徐荣婷 一种全景摄像机器人
CN106572313A (zh) * 2016-10-31 2017-04-19 腾讯科技（深圳）有限公司 视频拍摄盒及视频拍摄方法和装置
US20170187956A1 (en) * 2015-12-29 2017-06-29 VideoStitch Inc. System for processing data from an omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
CN107027338A (zh) * 2014-05-06 2017-08-08 扎卡里亚·尼亚齐 成像***、方法和应用
CN107219615A (zh) * 2017-07-31 2017-09-29 武汉赫天光电股份有限公司 全景光学***和电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101437155A (zh) * 2007-11-12 2009-05-20 詹雨明 全方位环境视频监控***
US10531071B2 (en) * 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5023725A (en) * 1989-10-23 1991-06-11 Mccutchen David Method and apparatus for dodecahedral imaging system
US5137238A (en) * 1991-09-09 1992-08-11 Hutten Friedrich W Fast access camera mounting device
CN1745337A (zh) * 2002-12-05 2006-03-08 索尼株式会社 摄像设备
CN101577795A (zh) * 2009-06-17 2009-11-11 深圳华为通信技术有限公司 一种实现全景图像的实时预览的方法和装置
CN107027338A (zh) * 2014-05-06 2017-08-08 扎卡里亚·尼亚齐 成像***、方法和应用
US20170187956A1 (en) * 2015-12-29 2017-06-29 VideoStitch Inc. System for processing data from an omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
CN105678729A (zh) * 2016-02-24 2016-06-15 段梦凡 鱼眼镜头全景图像拼接方法
CN106161937A (zh) * 2016-07-23 2016-11-23 徐荣婷 一种全景摄像机器人
CN106572313A (zh) * 2016-10-31 2017-04-19 腾讯科技（深圳）有限公司 视频拍摄盒及视频拍摄方法和装置
CN107219615A (zh) * 2017-07-31 2017-09-29 武汉赫天光电股份有限公司 全景光学***和电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017407A (zh) * 2020-09-08 2020-12-01 中国科学院上海微***与信息技术研究所 一体化无线地标监测装置

Also Published As

Publication number Publication date
WO2019085497A1 (en) 2019-05-09
CN108282615B (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CA3120725C (en) Surveying and mapping system, surveying and mapping method and device, apparatus and medium
CN110136208A (zh) 一种机器人视觉伺服***的联合自动标定方法及装置
RU2741443C1 (ru) Способ и устройство для планирования точек выборки для съёмки и картографирования, терминал управления и носитель для хранения данных
CN108789421B (zh) 基于云平台的云机器人交互方法和云机器人及云平台
JP2018124985A (ja) 平面セグメントを用いて点群を完成させる方法およびシステム
CN107438152B (zh) 一种运动摄像机对全景目标快速定位捕捉方法及***
CN105635551A (zh) 一种球型摄像机生成全景图像的方法及球型摄像机
CN108287345A (zh) 基于点云数据的空间扫描方法及***
WO2020103023A1 (zh) 一种测绘***、测绘方法、装置、设备及介质
WO2020211427A1 (zh) 基于扫描点云数据的分割与识别方法、***及存储介质
CN113781664B (zh) 基于三维模型的vr全景图构造显示方法、***及终端
CN112669469B (zh) 基于无人机和全景相机的发电厂虚拟漫游***及方法
CN109523499A (zh) 一种基于众包的多源融合全景建模方法
CN108332660A (zh) 机器人三维扫描***和扫描方法
CN108340405A (zh) 一种机器人三维扫描***及方法
CN110969696A (zh) 三维建模快速空间重构的方法及***
JP6725736B1 (ja) 画像特定システムおよび画像特定方法
CN108364340A (zh) 同步空间扫描的方法及***
US20240244330A1 (en) Systems and methods for capturing and generating panoramic three-dimensional models and images
CN108282615A (zh) 周边环境扫描方法及***
CN108347561A (zh) 激光引导扫描***及扫描方法
CN116360406A (zh) 可移动平台的控制方法、装置及控制***
CN111868656B (zh) 一种作业控制***、作业控制方法、装置、设备及介质
CN111050128A (zh) 基于户外场景的视频融合方法、***、装置和存储介质
CN108287549A (zh) 一种改善空间扫描时间性能的方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PP01 Preservation of patent right
PP01 Preservation of patent right

Effective date of registration: 20220704

Granted publication date: 20210105