CN116416291A - 电子围栏自动生成方法、实时检测方法及装置 - Google Patents

电子围栏自动生成方法、实时检测方法及装置 Download PDF

Info

Publication number
CN116416291A
CN116416291A CN202111679498.5A CN202111679498A CN116416291A CN 116416291 A CN116416291 A CN 116416291A CN 202111679498 A CN202111679498 A CN 202111679498A CN 116416291 A CN116416291 A CN 116416291A
Authority
CN
China
Prior art keywords
electronic fence
plane
environment image
structure information
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111679498.5A
Other languages
English (en)
Inventor
吴亚飞
邵刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202111679498.5A priority Critical patent/CN116416291A/zh
Priority to PCT/CN2022/141783 priority patent/WO2023125363A1/zh
Publication of CN116416291A publication Critical patent/CN116416291A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/02—Mechanical actuation
    • G08B13/12—Mechanical actuation by the breaking or disturbance of stretched cords or wires
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/02—Mechanical actuation
    • G08B13/12—Mechanical actuation by the breaking or disturbance of stretched cords or wires
    • G08B13/122—Mechanical actuation by the breaking or disturbance of stretched cords or wires for a perimeter fence
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请实施例提供了电子围栏自动生成方法、实时检测方法及装置，包括：获取环境图像，所述环境图像是对用户所处场景拍摄获得的；根据所述环境图像生成空间结构信息，所述空间结构信息包括3D点云和至少一个平面的信息，其中所述平面由在所述平面上的所述3D点云的点的分布所确定；根据所述空间结构信息生成电子围栏。本申请能够自动生成电子围栏，一方面能降低电子围栏的使用门槛，一方面自动生成的电子围栏准确度高，安全性强，能够极大的提高用户体验。

Description

电子围栏自动生成方法、实时检测方法及装置
技术领域
本申请实施例涉及通信领域，尤其涉及一种电子围栏自动生成方法、实时检测方法及装置。
背景技术
近年来，虚拟现实(Virtual Reality，VR)技术受到产业界和消费者领域越来越多的关注，其中VR设备的市场需求稳步增长。VR设备在使用过程中，将虚拟世界和真实世界进行了完全的隔离，用户在使用过程中无法感知到周围的环境，所以为了保护用户的安全，设定电子围栏作为安全区域边界，当用户超出电子围栏范围时，会向用户提示风险。
但电子围栏对使用场景要求较高，用户使用准入门槛较高，不便于日常使用。
发明内容
本申请提供了一种电子围栏自动生成方法、实时检测方法及装置，能够自动生成电子围栏，一方面降低电子围栏的使用门槛，一方面自动生成的电子围栏准确度高，安全性强，能够极大的提高用户体验，实时检测方法及装置可以及时更新电子围栏，进一步提高电子围栏的准确度和安全性。
第一方面，本申请实施例提供一种电子围栏自动生成方法，包括：获取环境图像，所述环境图像是对用户所处场景拍摄获得的；根据所述环境图像生成空间结构信息，所述空间结构信息包括3D点云和至少一个平面的信息，其中所述平面由在所述平面上的所述3D点云的点的分布所确定；根据所述空间结构信息生成电子围栏。
本申请实施例是当用户需要使用电子设备时，电子设备的相机或摄像头可以对用户所处场景拍摄获得环境图像；根据所述环境图像生成可以表征出所述场景中的3D物体、地面等不同物体形态的空间结构信息；再根据这样的空间结构信息确定用户可以安全活动的边界，这个边界联通后得到所述电子围栏。
空间结构信息中的3D点云也可以由该SLAM***输出，可以用来描述3D物体的形状；平面的信息是根据所处空间中3D点云模拟物体分布的实际3D点云拟合出的平面，可以表征物体真实的平面，平面的信息是指可以描述平面的信息，如平面的长宽等；
电子设备可以根据不同的空间结构信息，使用不同的方式生成电子围栏。如先生成一个与地面对应的无边际的参考平面，再通过上述空间结构信息对用户所处空间中的物体做检测、识别等处理，根据处理后的空间结构信息得到参考平面的边界和空间中物体的障碍物区域，在无边际的参考平面上联通参考平面边界和障碍物区域，得到用户可以安全活的安全区域，该安全区域的边界为所述电子围栏。
本申请实施例能够根据环境图像自动生成电子围栏，环境图像的获取也可以是开机启动照相或摄像模式获得，不需要用户操作。本申请实施例生成的电子围栏准确度高，安全性强且与用户所处场景适配度高，不会受到电子围栏形状的限制，用户使用场景的门槛降低，极大的提高了用户体验。
本申请的平面为水平面或垂直平面或斜平面，所述斜平面为非平行于水平面或垂直平面的平面。
在一种可能的实现方式中，所述至少一个平面包括至少一个水平面和其他平面，所述其他平面包括水平面或垂直平面。
在一种可能的实现方式中，所述至少一个平面包括至少一个水平面和至少一个垂直平面。
在一种可能的实现方式中，根据所述环境图像生成空间结构信息之前，还包括：获取测量单元(Inertial Measurement Unit，IMU)数据，所述IMU数据是对用户所处场景中的物体进行IMU解算得到的；所述根据所述环境图像生成空间结构信息包括：根据所述环境图像和所述IMU数据生成所述空间结构信息。
IMU数据是根据测得用户所处场景中的物体在载体坐标***独立三轴的加速度信号和该载体相对于导航坐标系的角速度信号、以及测得其在三维空间中的角速度和加速度解算出来的。
电子设备可以根据不同的空间结构信息，使用不同的方式生成电子围栏。如先生成一个与地面对应的无边际的参考平面，再通过上述空间结构信息对用户所处空间中的物体做检测、识别等处理，根据处理后的空间结构信息得到参考平面的边界和空间中物体的投影，即障碍物区域，在无边际的参考平面上联通参考平面边界和障碍物区域，得到用户可以安全活的安全区域，该安全区域的边界便是电子围栏。
在一种可能的实现方式中，所述环境图像是通过VR眼镜或有摄像头的智能设备对用户所处场景拍摄获得的。当用户进入需要电子围栏的场景时，可以是基于用户的开机操作相机或摄像头自动对用户所处场景拍摄，对获得的图像进行处理或检测，如可以进行环境检测，地形检测，环境数据提取，图像描述子获取等，得到包含前述各类信息的环境图像。
在一种可能的实现方式中，当所述空间结构信息为所述位姿信息、所述3D点云、所述平面、所述深度数据、所述Mesh识别数据和所述3D物体识别信息时，所述根据所述环境图像和所述IMU生成空间结构信息，根据所述空间结构信息生成电子围栏包括：根据所述环境图像和所述IMU得到所述位姿信息和所述3D点云；对所述位姿信息和所述3D点云进行平面检测得到平面；根据所述环境图像进行深度检测得到所述深度数据；根据所述深度数据处理所述Mesh识别数据和所述3D物体识别信息；根据所述3D点云、所述平面和经过深度数据处理的所述Mesh识别数据和所述3D物体识别信息生成所述电子围栏。
空间结构信息可以是位姿信息、3D点云、平面的信息、深度数据、Mesh识别数据和3D物体识别信息。其中，位姿信息可以由电子设备配置的同步定位与建图(SimultaneousLocalization and Mapping,SLAM)***进行实时的位姿估计得到，主要用于对齐坐标使得生成的电子围栏与检测到的3D实景吻合度更高；深度数据可以由深度估计得到，电子设备输入深度数据后，可以得到深度图，通过该深度图与环境图像中平面图像的对齐，获取到平面图像上每个像素点对应的深度值，输入环境图像和IMU时如果加入该深度值可以有效提高输出的3D点云准确度，还可以使得输出的3D点云更加稠密；Mesh识别数据是Mesh识别后用于描述用户所处场景中的物体生成的三角面片；3D物体识别信息是识别3D物体后用于描述的3D物体的外表面的信息。根据环境图像和IMU生成空间结构信息生成空间结构信息可以是在SLAM***中输入环境图像和IMU，基于输入的环境图像进行实时的特征提取和匹配，得到图像间的平面特征的匹配关系，再基于IMU数据和拍摄装置如相机与IMU之间的对应位置关系参数对相机本身的位姿进行估计，得到相机的原始位姿即为位姿信息，而后根据该位姿信息和平面特征匹配关系，根据算法如三角化算法进行3D点云的生成，得到通过SLAM***输出的3D点云，再通过平面检测得到空间中的平面。再以环境图像为输入，进行深度估计，得到深度数据，该深度数据可以作为其他数据检测的输入，如以深度数据为输入，进行Mesh识别和3D物体检测，分别得到Mesh识别数据和3D物体识别信息。根据上述方法由3D点云获得参考平面和参考平面边界，该3D点云可以是经过深度估计后得到的更为密集和准确的3D点云，再根据上述方法通过代表障碍物的3D点云得到障碍物区域，根据平面的信息和经过深度数据处理的Mesh识别数据和3D物体识别信息优化障碍物区域，使得障碍物区域更接近于用户所处场景中真实的3D空间物***置、平面和边界，再在参考平面上连通周围障碍物区域，即获得更加准确的可供安全活动的区域，该区域的边界即为生成的电子围栏。
在一种可能的实现方式中，所述生成电子围栏包括：以所述用户所处场景中用户位置的平面点为中心、与所述环境图像的坐标系对齐生成所述电子围栏。
电子设备以当前使用设备的用户为中心，在参考平面上连通周围障碍物区域，即获得可供安全活动的区域，该障碍物区域的边界与环境图像的中相应的障碍物3D物体的边界的坐标系对齐，生成的电子围栏基本与用户所处场景中的各3D物***置一致，使得电子围栏更贴合用户所处场景。
在一种可能的实现方式中，所述生成电子围栏之后，还包括：将所述电子围栏保存为历史电子围栏。
电子设备生成电子围栏后，将其保存为历史电子围栏，以便于用户下次使用时，可以从多个保存的历史电子围栏中检索并调用适合下次使用场景的历史电子围栏作为电子围栏，而不需要每次都对同一场景重复生成电子围栏。
在一种可能的实现方式中，所述获取环境图像之后，还包括：在已保存的历史电子围栏中检索所述环境图像，若得到相似度关联的所述历史电子围栏，则计算所述历史电子围栏的加权得分，确定所述加权得分最高的所述历史电子围栏为目标电子围栏；对所述目标电子围栏位姿求解，若解算成功，则根据所述位姿的差异设置所述目标电子围栏，以使得所述目标电子围栏的坐标系与所述环境图像的坐标系对齐。
本申请实施例基于描述子距离排序，对不同历史电子围栏中对应的候选帧进行加权聚类，得到加权得分最高的目标电子围栏。对该目标电子围栏解算位姿，若解算成功，则可以根据成功解算出的位姿，根据目标电子围栏和环境图像的位姿差异，算出坐标转换关系，根据这个坐标转换关系加载目标电子围栏，将其与环境图像对应的，即用户需要使用的电子围栏的坐标系对齐。
在一种可能的实现方式中，所述深度数据为飞行时间TOF数据。
由于TOF传感器输出的深度数据在精度上远远优于深度估计结果，因此深度数据最好可以是通过TOF传感器得到的TOF数据，如使用TOF传感器输出的深度图作为Mesh识别和3D物体检测的输入，分别得到更加准确的Mesh识别数据和3D物体识别信息。根据上述方法由3D点云获得参考平面和参考平面边界，该3D点云可以是经过深度估计后得到的更为密集和准确的3D点云，再根据上述方法通过代表障碍物的3D点云得到障碍物区域，根据平面的信息和经过深度数据处理的Mesh识别数据和3D物体识别信息优化障碍物区域，使得障碍物区域更接近于用户所处场景中真实的3D空间物***置、平面和边界，再在参考平面上连通周围障碍物区域，即获得更加准确的可供安全活动的区域，该区域的边界即为生成的电子围栏。
在一种可能的实现方式中，所述根据所述空间结构信息生成电子围栏包括：根据所述3D点云和所述平面的信息构建优化方程得到已优化平面；根据所述优化方程优化所述平面得到已优化平面；根据与地面对应的已优化平面确定参考平面；在重力方向上将代表边界的已优化平面向所述参考平面投影确定参考平面边界，得到与所述地面对应的带有边界的参考水平面；在重力方向上将代表障碍物的已优化平面向所述参考水平面投影确定所述参考水平面的障碍物区域；根据所述参考水平面和所述障碍物区域生成所述电子围栏。
根据所述3D点云和所述平面的信息构建优化方程；根据所述优化方程优化所述平面得到已优化平面，得到的已优化平面既能真实的表征出用户所处环境的各种物体，又可以通过平面的信息优化掉一些场景中不影响用户使用的小平面物体对电子围栏生成造成的误影响，使得已有化的平面更加准确，基于此，电子围栏的的生成也会更符合使用需求。根据所述参考水平面和所述障碍物区域生成所述电子围栏可以是以当前使用设备为中心，在参考水平面上连通周围障碍物区域，即获得可供安全活动的区域，该区域的边界即为生成的电子围栏。
第二方面，本申请实施例提供一种电子围栏自动生成方法，包括：获取环境图像，所述环境图像是对用户所处场景拍摄获得的；根据所述环境图像生成空间结构信息，所述空间结构信息包括当空间结构信息为或3D点云和3D物体识别信息时，可以根据3D点云识别地面对应的参考平面；根据3D物体识别信息确定距离地面超过第一阈值的3D物体在参考平面的投影确定参考平面边界和障碍物区域；根据参考平面、参考平面边界和障碍物区域生成电子围栏。通过3D点云识别地面对应的参考平面，方法可以参照上述实例，再将距离地面距离超过第一阈值的3D物体向该参考平面进行投影，确定障碍物区域，在参考平面上剪切掉障碍物区域后，联通参考平面边界即可获得安全区域，安全区域的边界即为电子围栏。
第三方面，本申请实施例提供一种电子围栏自动生成方法，包括：获取环境图像，所述环境图像是对用户所处场景拍摄获得的；根据所述环境图像生成空间结构信息，所述空间结构信息包括Mesh识别数据和3D物体识别信息，根据所述Mesh识别地面对应的参考平面；根据所述3D物体识别信息确定距离地面超过第一阈值的3D物体在所述参考平面的投影确定所述参考平面边界和障碍物区域；根据所述参考平面、所述参考平面边界和所述障碍物区域生成电子围栏。
可以先根据Mesh识别地面对应的参考平面，如通过Mesh识别得到的Mesh识别数据为与地面对应的三角面片，地面三角面片连通后获得初始的地面面片区域，该区域可以确定为参考平面；再将距离地面距离超过第一阈值的Mesh三角面片和3D物体向参考平面进行投影，确定障碍物区域；根据参考平面、参考平面边界和障碍物区域生成电子围栏，如，在参考平面上剪切掉障碍物区域后，联通参考平面边界即可获得安全区域，安全区域的边界即为电子围栏。
这样组合两种空间结构信息内容得到电子围栏的方法可以在保证主要功能的前提下，最大限度降低方案对算力的要求的同时又能得到较为精确的安全活动区域。
第四方面，本申请实施例提供一种电子围栏实时检测方法，包括：周期性采集用户所处场景的实时环境图像；若检测到所述实时环境图像对应的空间结构信息与已有空间结构信息的差异超过第二阈值，则根据所述实时环境图像生成的空间结构信息更新电子围栏。
可以使用摄像头周期性采集用户所处场景的实时环境图像，也可以通过其他可拍摄装置实时获取实景并周期性采集该实时环境图像，从该图像中提取实时的空间结构信息。根据实时环境图像得到实时的空间结构信息，环境图像得到已有空间结构信息，进行实时的空间结构信息与已有的空间结构信息的局部对比。针对空间结构信息变化的类型，可以通过不同的融合权重值，来进行实时的空间结构信息与已有的空间结构信息间的融合：如新增空间结构、已有空间结构大小、位姿发生变化、原有空间结构消失等都属于空间结构信息变化。
本申请实施例当实时环境图像中有新增空间结构信息时，为保障使用过程中的安全性，应及时将差异更新到电子围栏中；若实时环境图像中有的空间结构信息发生变化，为避免检测误差对更新电子围栏的影响，此时应根据变化结构的位置、大小、变化的绝对数值设定不同的权重值，变化差异越大，权重值越高；若现实时环境图像中有的空间结构信息被删除，此时应进行多帧的数据校验，多次确认空间结构信息确实消失，完成融合后，依据各空间结构信息对应的权重值，进行全局的优化，然后根据设备使用的空间结构信息，完成电子围栏的更新。
这样实时更新电子围栏，不需要重新生成电子围栏，而是在现有基础上完成融合，将新增或减少的部分实时的体现在电子围栏中，可以高效地提高电子围栏的安全性。
第五方面，本申请实施例提供一种电子围栏自动生成装置，包括：
输入模块，用于获取环境图像，所述环境图像是对用户所处场景拍摄获得的；
处理模块，用于根据所述环境图像生成空间结构信息，所述空间结构信息包括3D点云至少一个平面的信息，其中所述平面由在所述平面上的所述3D点云的点的分布所确定；
所述处理模块，还用于根据所述空间结构信息生成电子围栏。
在一种可能实现的方式中，所述至少一个平面包括至少一个水平面和其他平面，所述其他平面包括水平面或垂直平面。
在一种可能实现的方式中，所述至少一个平面包括至少一个水平面和至少一个垂直平面。
在一种可能实现的方式中，所述输入模块，还用于获取测量单元IMU数据，所述IMU数据是对用户所处场景中的物体进行IMU解算得到的；所述处理模块，还用于根据所述环境图像和所述IMU数据生成所述空间结构信息。
在一种可能实现的方式中，所述输入模块，还用于通过对用户所处场景拍摄获得环境图像。
在一种可能实现的方式中，所述处理模块，具体用于根据所述3D点云和所述平面的信息构建优化方程；根据所述优化方程优化所述平面得到已优化平面；根据与地面对应的已优化平面确定参考平面；在重力方向上将代表边界的已优化平面向所述参考平面投影确定参考平面边界，得到与所述地面对应的带有边界的参考水平面；在重力方向上将代表障碍物的已优化平面向所述参考水平面投影确定所述参考水平面的障碍物区域；根据所述参考水平面和所述障碍物区域生成所述电子围栏。
在一种可能实现的方式中，所述处理模块还包括位姿估计单元、深度估计单元、Mesh识别单元和3D物体识别单元：所述位姿估计单元，用于根据所述环境图像和所述IMU数据得到所述位姿信息；所述3D点云处理单元，还用于根据所述环境图像和所述IMU数据得到所述3D点云；所述平面检测单元，还用于对所述位姿信息和所述3D点云进行平面检测得到所述平面；所述深度估计单元，用于根据所述环境图像进行深度检测得到所述深度数据；所述Mesh识别单元，用于根据所述深度数据处理所述Mesh识别数据；所述3D物体识别单元，用于根据所述深度数据处理所述3D物体识别信息；所述电子围栏生成单元，还用于根据所述3D点云、所述平面和经过深度数据处理的所述Mesh识别数据和所述3D物体识别信息生成所述电子围栏。
在一种可能实现的方式中，所述深度数据为飞行时间TOF数据。
在一种可能实现的方式中，所述电子围栏生成单元，还用于以所述用户所处场景中用户位置的平面点为中心、与所述环境图像的坐标系对齐生成所述电子围栏。
在一种可能实现的方式中，所述装置还包括：
存储模块，用于将所述电子围栏保存为历史电子围栏。
在一种可能实现的方式中，所述处理模块还包括历史电子围栏检索单元：所述历史电子围栏检索单元，用于在所述存储模块已保存的历史电子围栏中检索所述环境图像，若得到相似度关联的所述历史电子围栏，则计算所述历史电子围栏的加权得分，确定所述加权得分最高的所述历史电子围栏为目标电子围栏；若所述位姿估计单元对所述目标电子围栏位姿解算成功，则所述电子围栏生成单元根据所述位姿的差异设置所述目标电子围栏，以使得所述目标电子围栏的坐标系与所述环境图像的坐标系对齐。
第六方面，本申请实施例提供一种电子围栏自动生成装置，包括：
输入模块，用于获取环境图像，所述环境图像是对用户所处场景拍摄获得的；
处理模块，用于根据所述3D点云识别地面对应的参考平面；根据所述3D物体识别信息确定距离地面超过第一阈值的3D物体在所述参考平面的投影确定所述参考平面边界和障碍物区域；
所述处理模块，还用于根据所述参考平面、所述参考平面边界和所述障碍物区域生成电子围栏。
第七方面，本申请实施例提供一种电子围栏自动生成装置，包括：
输入模块，用于获取环境图像，所述环境图像是对用户所处场景拍摄获得的；
处理模块，用于根据所述3D物体识别信息确定距离地面超过第一阈值的3D物体在参考平面的投影确定所述参考平面边界和障碍物区域；
所述处理模块，还用于根据所述参考平面、所述参考平面边界和所述障碍物区域生成电子围栏。
第八方面，本申请实施例提供一种电子围栏实时检测装置，包括：
输入模块，还用于周期性采集用户所处场景的实时环境图像；
电子围栏更新模块，用于若检测到所述实时环境图像对应的空间结构信息与已有空间结构信息的差异超过第二阈值，则根据所述实时环境图像生成的空间结构信息更新电子围栏。
第五、六、七、八方面以及其任意一种实现方式分别与第一、二、三四方面以及其任意一种实现方式相对应。第五、六、七、八方面以及其任意一种实现方式所对应的技术效果可参见上述第一、二、三四方面以及其的任意一种实现方式所对应的技术效果，此处不再赘述。
第九方面，本申请实施例提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第一至四方面中任一项所述的方法。
第十方面，本申请实施例提供一种计算机可读存储介质，包括计算机程序，所述计算机程序在计算机上被执行时，使得所述计算机执行上述第一至四方面中任一项所述的方法。
第十一方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括计算机程序代码，当所述计算机程序代码在计算机上运行时，用于执行上述第一至四方面中任一项所述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例的能自动生成电子围栏的电子设备结构图；
图2是本申请实施例的一种自动生成电子围栏的方法流程图；
图3是本申请实施例的另一种自动生成电子围栏的方法流程图；
图4是本申请实施例的一种电子围栏实时检测的方法流程图；
图5是一种电子围栏自动生成流程示意图；
图6是同一场景下的3D物体识别效果图；
图7是电子围栏自动生成中空间信息融合示意图；
图8是一种场景的检测效果图；
图9是电子围栏的原始效果图；
图10是场景中新增物体后的检测效果图；
图11是电子围栏更新效果图；
图12是另一种电子围栏自动生成流程示意图；
图13是又一种电子围栏自动生成流程示意图；
图14是再一种电子围栏自动生成流程示意图；
图15是本申请实施例的自动生成电子围栏装置的结构框图；
图16是本申请实施例的另一种自动生成电子围栏装置的结构框图；
图17是本申请实施例的又一种自动生成电子围栏装置的结构框图；
图18是本申请实施例的再一种自动生成电子围栏装置的结构框图；
图19是本申请实施例的一种实时检测电子围栏装置的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一目标对象和第二目标对象等是用于区别不同的目标对象，而不是用于描述目标对象的特定顺序。
在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。例如，多个处理单元是指两个或两个以上的处理单元；多个***是指两个或两个以上的***。
由于VR设备的使用广泛，在相关技术中，有的VR设备是预先设定某种形状的电子围栏，如将直径为4米的圆形区域划定电子围栏，或将对角线长度4米的方形区域划定为电子围栏。这种预先设计好形状的电子围栏，在使用时，需要用户事先寻找满足该形状要求的安全场地，然后在场地中心处打开设备才可以正常使用。VR设备默认电子围栏内部为安全区域，用户可以在该区域内任意移动，当检测到用户的肢体超出或即将超出电子围栏时，会在显示界面上显示提示信息，或直接发出警告声音，以提醒用户可能会发生危险，应退回到电子围栏内的安全区域中。这种通过预先设定某种形状的电子围栏来保护用户使用安全，对使用场地选择的要求较高，家庭生活和工作等场景中，寻找到这样一处符合设定形状的场景并不容易，因此这种电子围栏存在使用场景受限的问题，不便于用户使用；还有的VR设备，通过引导用户操作得到电子围栏，如该VR设备在启动VR眼后，要求用户在以自己为中心的活动场地上，对VR设备显示的虚拟平面高度进行调整，使得该平面尽量与地面贴合，再通过手柄发射虚拟射线，在周围平坦、无障碍物的区域内划线，线段收尾连接后，VR眼在对应区域生成电子围栏。这种情况下因需要用户参与，有一定的学***面高度、划线都会直接影响电子围栏的准确度，使用不方便，用户体验感较差。
基于以上问题，本申请实施例提供一种可以自动生成电子围栏的电子设备，它可以是VR眼镜、配置有VR的体感游戏装备或配置有电子围栏的轮椅等设备。能够自动生成电子围栏，降低电子围栏的使用门槛，准确度高，安全性强，能够极大的提高用户体验。
图1示出了本申请实施例的一种电子设备100的示意图，如图1所示，该电子设备100包括处理器110、显示器120，传感器130，存储器140和包括手柄150、扬声器160、麦克风170、手柄180和指示器190。
处理器110，可以包括一个或多个中央处理器，或者包括一个中央处理器和一个图形处理器，或者包括应用处理器和协处理器(例如微控制单元或神经网络处理器)，还可以包括缓存器和寄存器。当处理器110包括多个处理器时，这多个处理器可以集成在同一块芯片上，也可以各自为独立的芯片。一个处理器可以包括一个或多个物理核，其中物理核为最小的处理模块。处理器110可以配置有即时定位与地图构建(simultaneous localizationand mapping，SLAM)***，SLAM***能够进行定位、位姿(位置与姿态)构建物体形态。处理器110可以用于下述实施例中的空间结构信息识别、拟合优化和根据权重进行融合等。
显示器120用于显示图像，视频等。显示器120包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。
传感器130可以感测***的当前状态，诸如打开/闭合状态、位置、与用户是否有接触、方向、和加速/减速，并且传感器130可以生成用于控制***的操作的感测信号。传感器130可以包括视觉传感器131、惯性传感器(IMU，Inertial Measurement Unit)132，也可以包括深度传感器133或激光传感器134。视觉传感器131，如相机、摄像头、深度相机、激光雷达、毫米波雷达等，通常可以用于获取场景的平面图像信息。其中，相机可以用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。IMU传感器132可以包含三个单轴的加速度计和三个单轴的陀螺仪，通常用于获取设备的运动信息，如线加速度、角速度等；深度传感器133或激光传感器134，通常可以用于获取场景的深度信息。其中深度传感器133可以是飞行时间(Time Of Flight，TOF)传感器，通常用于获取精度更高的深度图。
存储器140可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器321可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备，如VR设备使用过程中所创建的数据(比如历史电子围栏，图像对应的描述子)等。此外，存储器140可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(Universal Flash Storage，UFS)等。处理器120通过运行存储在存储器140的指令，和/或存储在设置于处理器130中的存储器120的指令，执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过扬声器160和麦克风170等实现音频功能。例如声音控制、音乐播放、录音等。扬声器160，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器160收听声音，如VR眼镜可以通过扬声器向用户发出超出电子围栏的警示音。
麦克风170，也称“话筒”，“传声器”，用于将声音信号转换为电信号。用户可以通过人嘴靠近麦克风170发声，将声音信号输入到麦克风170。麦克风170除了采集声音信号，还可以实现降噪功能。在一些实施例中，电子设备可以设置多个麦克风170，实现采集声音信号，降噪，识别声音来源，实现定向录音等功能。
手柄180，可以用于确定电子设备100的运动姿态或输入用户的需求信号。
指示器190可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，闪烁以警示用户超出电子围栏范围等。
接口是符合标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USBType C接口等。该接口可以用于连接充电器为电子设备100充电，也可以用于电子设备与其他设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他手机，例如AR设备等。
可以理解的是，本发明实施例示意的结构并不构成对主控设备的具体限定。在本申请另一些实施例中，主控设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
上述电子设备100可以通过如下方法，根据用户所处场景自动生成电子围栏，无需用户操作，自动向用户提供安全性较高的电子围栏。图2是本申请实施例的一种自动生成电子围栏的方法流程图，如图2所示，该方法包括步骤101、步骤102和步骤103，如下：
步骤101、获取环境图像。
环境图像是对用户所处场景拍摄获得的。如环境图像是通过虚拟现实技术VR眼镜或有摄像头的智能设备对用户所处场景拍摄获得的。如，可以使用器诸如相机或摄像头之类的视觉传感对用户所处场景拍摄获得环境图像，该拍摄可以是基于用户的开机操作自动进行的，拍摄可以是拍摄多张不同方位的照片，也可以是通过拍摄一段小视频取某一帧等方法获得。
在一些示例中，电子设备还可以获取IMU数据，IMU数据是对用户所处场景中的物体进行IMU解算得到的。
IMU数据可以用来表征物体的姿态是，是通过IMU解算出来的，可以是根据加速度计测得用户所处场景中的物体在载体坐标***独立三轴的加速度信号，陀螺仪根据该载体相对于导航坐标系的角速度信号测得其在三维空间中的角速度和加速度解算出来的。
在一些示例中，如果用户之前使用过本申请提供的装置，那么，用户之前使用时生成的电子围栏可以被保存在历史电子围栏中，每次开机使用时，都可以将环境图像与历史电子围栏相对比，确定有无适配的历史电子围栏可供使用。如配置有该装置的VR设备可以调取自身存储的历史电子围栏比对，如是其他没有保存历史电子围栏的智能设备也可以通过与其他存储有历史电子围栏的设备利用蓝牙、云共享或其他传输方式获得历史电子围栏进行比对。或者，还可以根据用户所在位置，根据GPS或北斗等定位功能确定位置，调取曾在该位置活动时存储的历史电子围栏进行比对。
图3是本申请实施例的另一种自动生成电子围栏的方法流程图，如图3，包括步骤101、步骤102、步骤103、步骤104、步骤105和步骤106。
步骤104、在已保存的历史电子围栏中检索环境图像，是否得到相似度关联的历史电子围栏，是则执行步骤105，否则执行步骤102。
在一些示例中，在已保存的历史电子围栏中检索环境图像，可以先基于输入的环境图像进行全局特征提取，得到描述子及当前帧，根据已保存的历史电子围栏得到全局描述子，由于描述子距离越小，表征图像越相似，所以对比选取描述子距离最小的前N个历史电子围栏图像作为候选帧，其中0＜N＜1000，如N为100。若得到N个候选帧，则确定得到相似度关联的历史电子围栏。
步骤105、计算历史电子围栏的加权得分，确定加权得分最高的历史电子围栏为目标电子围栏。
基于描述子距离排序，对不同历史电子围栏中对应的候选帧进行加权聚类，得到加权得分最高的目标电子围栏。
步骤106、对目标电子围栏位姿求解，若解算成功，则根据位姿的差异设置目标电子围栏，以使得目标电子围栏的坐标系与环境图像的坐标系对齐。
对该目标电子围栏解算位姿，若解算成功，则可以根据目标电子围栏和环境图像的位姿差异，算出坐标转换关系，根据这个坐标转换关系加载目标电子围栏，将其与环境图像对应的，即用户需要使用的电子围栏的坐标系对齐。
在一些示例中，为了得到更加准确的坐标转换关系，还可以再得到加权得分最高的帧对应的目标电子围栏之后，继续计算连续候选帧，在位姿解算成功后，若解算成功的候选帧与加权分最高的帧对应同一目标电子围栏，则可以通过这几帧的均值得到坐标转换关系。如，可以在已保存的历史电子围栏中检索环境图像，得到描述子距离最小的前600个历史电子围栏图像作为候选帧，其中，100个候选帧对应历史电子围栏A，200个候选帧对应历史电子围栏B，300个候选帧对应历史电子围栏C，基于描述子距离排序，对不同600个候选帧进行加权聚类，如果得到加权得分最高的帧对应的是目标电子围栏A，那么对目标电子围栏A位姿求解，若解算成功，还可以继续在100个候选帧中继续对连续的图像求解位姿，若有连续M帧解算成功，1<M<20，如，M为3，则可以判断这3帧候选帧是否都对应历史电子围栏A，若是，则可以算出各候选帧到目标电子围栏A的坐标转换关系，再通过这连续的3帧求取矩阵平均值以得到更加准确的坐标对应关系，再根据该坐标将目标电子围栏A加载给用户使用，使得检索出的历史电子围栏A对用户所处环境的匹配度更高，还原性更强。
上述全局特征和局部特征提取得到描述子，可以是通过事先训练好的人工智能(Artificial Intelligence，AI)模型获得，同样也可以使用传统的特征提取方法，如快速特征点提取和描述的算法(Oriented FAST and Rotated BRIEF)，SIFT算法(Scale-Invariant Feature Transform，SIFT)等得到。
步骤102、根据环境图像生成空间结构信息，空间结构信息包括3D点云和至少一个平面的信息，其中平面由在平面上的3D点云的点的分布所确定。
若如上例电子设备还获取了IMU数据，则步骤102可以根据环境图像和IMU数据生成空间结构信息。
其中，3D点云可以由SLAM***输出，可以用来描述场景中3D物体的形状；平面是根据实际的3D点云的分布进行分割聚类，得到较为连续密集的点云簇的面而得到的平面，而不是将3D点云投影到某个位置得到的。。
在一些示例中，至少一个平面包括至少一个水平面和其他平面，其他平面包括水平面或垂直平面。也就是说，3D点云聚类得出的平面应当至少能组成一个与地面对应的无线平面，否则将重新获取环境图像，重新得到3D点云继而得到平面。
如果用户所处的场景中还存在有墙面等较大的外侧物体，那么该由3D点云的分布得到的平面应该至少包括一个水平面和一个垂直平面，来表征地面与墙面。当然在实际应用中，由3D点云得到的平面应当较多，在所处空间中的物体的水平面和垂直平面都能由3D点云得到其平面，以此生成更为准确的电子围栏。
进一步的，为了使得得到的电子围栏更加精准，空间结构信息还可以包括其他的数据，如位姿信息，深度数据，Mesh识别数据和3D物体识别信息。其中，位姿信息可以由配置的SLAM***进行实时的位姿估计得到，主要用于对齐坐标使得生成的电子围栏与检测到的3D实景吻合度更高；深度数据可以由深度估计得到，电子设备输入深度数据后，可以得到深度图，通过该深度图与环境图像中平面图像的对齐，获取到平面图像上每个像素点对应的深度值，输入环境图像和IMU时如果加入该深度值可以有效提高输出的3D点云准确度，还可以使得输出的3D点云更加稠密；Mesh识别数据是Mesh识别后用于描述用户所处场景中的物体生成的三角面片；3D物体识别信息是识别3D物体后用于描述的3D物体的外表面的信息。
在一些示例中，根据环境图像生成空间结构信息可以是在SLAM***中输入环境图像，基于输入的图像进行实时的特征提取和匹配，得到图像间的平面特征的匹配关系，再根据一些其他的检测或处理方法，如环境检测，地形检测，环境数据等得到位姿差异，根据这种位姿差异调整空间结构信息，使得空间结构信息更接近于用户所处场景，能够相对真实的还原所处场景。
在一些示例中，根据环境图像和IMU生成空间结构信息可以是在SLAM***中输入环境图像和IMU，基于输入的图像进行实时的特征提取和匹配，得到图像间的平面特征的匹配关系，再基于IMU数据和拍摄装置如相机与IMU之间的对应位置关系参数对相机本身的位姿进行估计，得到相机的原始位姿即为位姿信息，而后根据该位姿信息和平面特征匹配关系，根据算法如三角化算法进行3D点云的生成，得到3D点云。再根据SLAM***输出的3D点云，通过平面检测得到空间中水平面和垂直面的平面的信息，如检测到场景中某一桌子的水平面为60cm*50cm等。
还可以基于事先训练好的AI模型，以图像为输入，进行深度估计，得到深度数据，该深度数据可以作为其他数据检测的输入，如以深度数据为输入，进行Mesh识别和3D物体检测，分别得到Mesh识别数据和3D物体识别信息。也可以只基于环境图像和IMU分别检测得到Mesh识别数据和3D物体识别信息，但其检测结果不如加入深度数据准确。
步骤103、根据空间结构信息生成电子围栏。
如，电子设备以当前使用设备的用户为中心，在参考平面上连通周围障碍物区域，即获得可供安全活动的区域，该障碍物区域的边界与环境图像的中相应的障碍物3D物体的边界的坐标系对齐，生成的电子围栏基本与用户所处场景中的各3D物***置一致，使得电子围栏更贴合用户所处场景。
可以根据不同的空间结构信息，使用不同的方式生成电子围栏，如先生成一个与地面对应的无边际的参考平面，再通过上述空间结构信息对用户所处空间中的物体做检测、识别等处理，根据处理后的空间结构信息得到参考平面的边界和空间中物体的投影，即障碍物区域，在无边际的参考平面上联通参考平面边界和障碍物区域，得到用户可以安全活的安全区域，再以用户所处场景中用户位置的在参考平面上的平面点为中心、将该边界的坐标系与环境图像对应物体的坐标系对齐，该安全区域的边界便是电子围栏。
如，当空间结构信息包括3D点云和平面的信息时，根据3D点云和平面的信息构建优化方程；根据优化方程优化平面得到已优化平面；根据与地面对应的已优化平面确定参考平面；在重力方向上将代表边界的已优化平面向参考平面投影确定参考平面边界，得到与地面对应的带有边界的参考水平面；在重力方向上将代表障碍物的已优化平面向参考水平面投影确定参考水平面的障碍物区域；根据参考水平面和障碍物区域生成电子围栏。
比如VR眼镜，可以获得SLAM***输出的3D点云，平面的信息可以是如果空间中有小于20cm*30cm的矩形，即平面短边小于20cm，且长边小于30cm的矩形，则属于需要忽略的平面；根据3D点云和平面的信息构建优化方程得到已优化平面，该已优化平面中不再含有小于20cm*30cm的矩形的物体的平面。优化方程除了优化掉较小的平面外，还能使平面的误差值变小，已优化的平面更加接近于场景中的物体形状。
已优化平面中，与对面对应且无限大的平面应确定为参考平面，再在重力方向上将已优化平面中代表该空间边缘的物体的平面投影在该参考平面上，将其联通则可以得到一个有边界的参考平面，即参考水平面。场景中其他的物体也已经被优化为能代表他们的已优化平面，在重力方向上，也将该已优化平面投影在参考水平面上得到障碍物区域；再以当前使用设备为中心，在参考水平面上连通周围障碍物区域，即获得可供安全活动的区域，该区域的边界即为生成的电子围栏。
为了在保证主要功能的前提下，最大限度降低方案对算力要求的同时又能得到较为精确的安全活动区域。在一些示例中，空间结构信息可以是上述的两种。
如，当空间结构信息为Mesh识别数据和3D物体识别信息，可以先根据Mesh识别地面对应的参考平面，如通过Mesh识别得到的Mesh识别数据为与地面对应的三角面片，地面三角面片连通后获得初始的地面面片区域，该区域可以确定为参考平面；再根据3D物体识别信息确定距离地面超过第一阈值的3D物体在参考平面的投影确定参考平面边界和障碍物区域，如，第一阈值是10cm，再将距离地面距离超过10cm的Mesh三角面片和3D物体向参考平面进行投影，确定障碍物区域；根据参考平面、参考平面边界和障碍物区域生成电子围栏，如，在参考平面上剪切掉障碍物区域后，联通参考平面边界即可获得安全区域，安全区域的边界即为电子围栏。
如，当空间结构信息为或3D点云和3D物体识别信息时，可以根据3D点云识别地面对应的参考平面；根据3D物体识别信息确定距离地面超过第一阈值的3D物体在参考平面的投影确定参考平面边界和障碍物区域；根据参考平面、参考平面边界和障碍物区域生成电子围栏。通过3D点云识别地面对应的参考平面，方法可以参照上述实例，再将空间中距离地面距离超过10cm的3D物体向该参考平面进行投影，确定障碍物区域，在参考平面上剪切掉障碍物区域后，联通参考平面边界即可获得安全区域，安全区域的边界即为电子围栏。
在一些示例中，空间结构信息包括位姿信息、3D点云、平面、深度数据和Mesh识别数和3D物体识别信息时，通过多种信息融合处理，可以得到准确性最高的电子围栏。如根据环境图像和IMU得到位姿信息和3D点云；对位姿信息和3D点云根据平面检测得到平面；根据环境图像进行深度检测得到深度数据；根据深度数据处理Mesh识别数据和3D物体识别信息；根据3D点云、平面和经过深度数据处理的Mesh识别数据和3D物体识别信息生成电子围栏。
根据环境图像和IMU生成空间结构信息生成空间结构信息可以是在SLAM***中输入环境图像和IMU，基于输入的环境图像进行实时的特征提取和匹配，得到图像间的平面特征的匹配关系，再基于IMU数据和拍摄装置如相机与IMU之间的对应位置关系参数对相机本身的位姿进行估计，得到相机的原始位姿即为位姿信息，而后根据该位姿信息和平面特征匹配关系，根据算法如三角化算法进行3D点云的生成，得到3D点云。
再根据SLAM***输出的3D点云，通过平面检测得到空间中的平面的信息，如检测到场景中某一桌子的水平面为60cm*50cm，大于最小的识别平面20cm*30cm，则保留该桌子的水平平面，该水平平面投影在参考平面上得到一块障碍物区域。
再以环境图像为输入，进行深度估计，得到深度数据，该深度数据可以作为其他数据检测的输入，如以深度数据为输入，进行Mesh识别和3D物体检测，分别得到Mesh识别数据和3D物体识别信息。由于TOF传感器输出的深度数据在精度上远远优于深度估计结果，因此，若VR设备配置有TOF传感器，深度数据最好可以是通过TOF传感器得到的TOF数据，如使用TOF传感器输出的深度图作为Mesh识别和3D物体检测的输入，分别得到更加准确的Mesh识别数据和3D物体识别信息。
根据上述方法由3D点云获得参考平面和参考平面边界，该3D点云可以是经过深度估计后得到的更为密集和准确的3D点云，再根据上述方法通过代表障碍物的3D点云得到障碍物区域，根据平面的信息和经过深度数据处理的Mesh识别数据和3D物体识别信息优化障碍物区域，使得障碍物区域更接近于用户所处场景中真实的3D空间物***置、平面和边界，再在参考平面上连通周围障碍物区域，即获得更加准确的可供安全活动的区域，该区域的边界即为生成的电子围栏。
在一些实施例中，深度数据为TOF数据，由于进行Mesh识别或平面检测时可能会对拟合或检测到的平面大小进行一些限制，如上述举例说明的一些小的平面将会被忽略，一些其他小面积的物体也可能会因小于内设的阈值被Mesh识别遗漏，但实际应用时，场景中可能会出现扶手、棍子等凸起类物体，这些物体因为体积或平面过小而未被获取为场景中的3D物体，未能形成障碍物区域，在生成电子围栏时，将会被忽略，可能会对用户的安全形成隐患。为避免这种情况的发生，可以利用TOF传感器获取的深度数据，识别出这类物体，形成障碍物区域，可以有效弥补上述问题，进一步提升检测得到的电子围栏的安全性。
如生成3D点云的SLAM***，输入TOF后，通过深度图与2D图像的对齐，可以获取到2D图像上每个像素点对应的深度值，以该深度值作为三角化模块的深度初值，同时约束优化模块，可以有效提高3D点云的准确度，输出的3D点云更加稠密，3D点云所示物体的位置、大小、轮廓准确度更高。
深度数据为TOF数据时，得到的深度数据更加精准，可以识别出面积小但深度大的物体，并将该类物体补充到3D物体外表面信息中，得到更为精准的用户所处空间3D物体的外表面信息。在一些例子中，用TOF数据处理后生成的3D点云、或TOF数据输入后进行的Mesh拟合、3D物体检测所获取的结果准确度会有明显的提升。
可选的，本申请实施例中根据图像信息生成的空间结构信息是可以基于实现训练好的AI模型实***面、Mesh信息等进行全局的空间结构融合，完成整体的优化，得到更为精准的用户所处空间3D物体的外表面信息。
在一些示例中，电子围栏生成后，可以由VR设备判断该电子围栏的范围大小是否满足用户本次使用需求，如判断不满足需求，可以向用户提示，同时引导用户移动至其他区域重新进行电子围栏的扫描生成。
在一些示例中，可以将生成的电子围栏保存为历史电子围栏。如生成的电子围栏可以满足本次使用需求，不再需要引导用户移动至其他区域，则将其保存为历史电子围栏。以便于用户下次启用设备时，电子设备可以在其存储的多个历史电子围栏中检索适合其使用场景的历史电子围栏并进行调用。
在一些生活场景中，如VR眼镜用户游戏时，用户与真实世界进行了完全的隔离，用户在使用过程中无法感知周围的环境变化，一旦开始游戏，用户所在场景发生了变化，临时出现了一些可能会造成伤害的物体，用户将无从察觉。如视力障碍人士的轮椅，在使用过程中，用户也无法感知周围的环境变化，为了帮助用户实时判断所处区域是否安全，每当场景变化，电子围栏就都需要及时更新，这样才能保护用户使用过程中的安全。图4是本申请实施例的一种电子围栏实时检测的方法流程图，如图4所示，包括如下步骤107、步骤108：
步骤107、周期性采集用户所处场景的实时环境图像。
如，可以使用摄像头周期性采集用户所处场景的实时环境图像，也可以通过其他可拍摄装置实时获取实景并周期性采集该实时环境图像，从该图像中提取实时的空间结构信息。
步骤108、若检测到实时环境图像对应的空间结构信息与已有空间结构信息的差异超过第二阈值，则根据实时环境图像生成的空间结构信息更新电子围栏。
在一些示例中，可以根据实时环境图像得到实时的空间结构信息，环境图像得到已有空间结构信息，进行实时的空间结构信息与已有的空间结构信息的局部对比。针对空间结构信息变化的类型，可以通过不同的融合权重值，来进行实时的空间结构信息与已有的空间结构信息间的融合：如新增空间结构、已有空间结构大小、位姿发生变化、原有空间结构消失等都属于空间结构信息变化。
如，出现实时环境图像中有新增空间结构信息时，为保障使用过程中的安全性，应及时将差异更新到电子围栏中。可以将新增加空间结构信息对应的平面、点云或Mesh数据的权重设置为100％，根据数据完成融合。
如，出现实时环境图像中有的空间结构信息发生变化，为避免检测误差对更新电子围栏的影响，此时应根据变化结构的位置、大小、变化的绝对数值设定不同的权重值，变化差异越大，权重值越高，权重值的范围可以控制在30％-70％，通过2-3帧数据，平缓的完成融合，完成电子围栏的更新。
如，出现实时环境图像中有的空间结构信息被删除，此时应进行多帧的数据校验，多次确认空间结构信息确实消失，如连续3帧数据确认空间结构消失后，权重值设置为33％，通过3帧数据完成空间结构信息的删除，完成融合。
完成融合后，依据各空间结构信息对应的权重值，进行全局的优化，然后根据设备使用的空间结构信息，如位姿信息、3D点云、平面的信息、深度数据、Mesh识别数据和3D物体识别信息，完成电子围栏的更新。
这样实时更新电子围栏，不需要重新生成电子围栏，而是在现有基础上完成融合，将新增或减少的部分实时的体现在电子围栏中，可以高效地提高电子围栏的安全性。
以下通过举例说明上述实施例提供装置的使用方法，如装置配置在VR设备中，且配置有相机、可使用SLAM***。
步骤1、先进行电子围栏检索，确定是否有相似度关联的历史电子围栏：对拍摄到的图像进行全局特征的提取，根据全局特征进行全局检索，若全局检索成功则进行局部结构信息的投影，根据成功解算出的位姿，加载对应的电子围栏，并将二者的坐标系对齐。
在一些示例中，图5是一种电子围栏自动生成流程示意图，如图5中S1所示，VR设备可以先基于当前图像进行全局描述子的提取，将当前图像的描述子与历史电子围栏中所包含的所有图像对应的描述子进行比对，其中，已保存的历史电子围栏对应的全局描述子是已经提取和保存好的。由于描述子距离越小，表征图像越相似，所以可以选取描述子距离最小的100帧图像作为候选帧。基于描述子距离排序，对不同历史电子围栏中对应的候选帧进行加权聚类，加权得分最高的历史电子围栏即为目标电子围栏。
加权得分的计算可以如公式1-1所示，计算历史电子围栏i对应的加权分数Scorei时，权值aj表征排序j的候选帧是否属于历史电子围栏i，属于则取值1.0，不属于则取值0.0；权值bj表征候选帧相似度排序对应的加权系数，排名1-20的候选帧加权系数2.0，排名20-50的候选帧加权系数1.5，排名50-100的候选帧加权系数1.0，最终计算得到各个历史电子围栏i的加权得分。
Figure BDA0003453577820000161
获取候选历史电子围栏及对应的候选帧后，对候选帧对应的2D特征和3D点云进行聚合，提取当前输入图像对应的2D特征作为当前帧，可以通过特征匹配、重投影、外点剔除等手段中的一种或多种获取候选帧与当前帧的3D与2D匹配关系，再通过PNP等算法解算当前帧在目标电子围栏中的位姿Twh。如位姿解算成功，则确定在历史电子围栏中的第一次检索成功，可以如公式1-2所示，进一步计算当前帧局部坐标Tws到目标电子围栏之间的坐标转换关系Ths。
基于该候选帧使用上述方法对连续的3帧候选帧进行位姿求解，若3帧均能求解成功，且计算得到的与目标电子围栏坐标转换关系Ths相差小于5cm@5度，且该3帧均与加权得分最高的帧对应同一目标电子围栏，则确定本次历史电子围栏检索成功，取这3帧求解转换关系矩阵的平均值作为转换矩阵，对当前帧所在的局部坐标系进行坐标变换，统一到当前用户所需电子围栏所在的坐标系中，使得候选帧与当前帧坐标对齐，将候选帧对应的历史电子围栏加载为当前用户使用场景所需的电子围栏。
Ths＝Twh -1*Tws -1 (1-2)
在一些示例中，全局描述子和局部特征提取都可以通过事先训练好的AI模型获得，同样也可以直接使用传统的特征提取方法(如ORB、SIFT等)，这里不作要求。
若历史电子围栏检索没有成功，则需自动生成电子围栏，如图5中S2所示，步骤如下：
步骤2、进行场景重建：VR设备根据获取的环境图像和IMU进行位姿估计和3D点云的生成，进而进行平面识别，同时还可以进行Mesh、3D物体等空间结构信息的检测，基于上述信息进行融合和整体优化后，得到全局的空间结构信息。
本实施例以根据环境图像和IMU生成空间结构信息为例进行说明，SLAM基于输入的环境图像使用SLAM进行实时的特征提取和匹配，得到图像间平面特征的匹配关系；基于原始的IMU数据和相机与IMU之间的外部参数对相机本身的位姿进行估计，得到相机的原始位姿；再基于相机位姿及平面特征匹配关系，使用三角化算法进行3D点云的生成；最后对相机位姿和3D点云进行联合优化。根据平面的信息基于输出的3D点云数据进行空间中水平面和垂直面的拟合，并对检测到的平面大小进行限制，如最小能识别的平面为20cm*30cm的矩形，这样可以避免小平面对输出结果的影响。
VR可以基于事先训练好的AI模型，以环境图像为输入，进行深度估计，而后将深度估计结果即深度数据输入事先训练好的Mesh识别和3D物体检测模型，进行Mesh和3D物体的检测，分别得到Mesh识别数据和3D物体识别信息。
图6是同一场景下的3D物体识别效果图，如图6所示分别为同一场景下3D点云、平面、Mesh、3D物体识别的结果，信息融合模块以上述信息为输入，进行全局的融合优化，调整识别平面的空间位姿。图7是电子围栏自动生成中空间信息融合示意图，如图7图所示：黑点表示3D点，1表示平面，2表示Mesh，3表示3D物体识别结果。
如图6所示，以纸箱上表面对应的平面为例，平面方程如公式1-3所示，3D点pi与平面的距离dpi由公式1-4所示，Mesh结果中每个三角面片角点mj到平面的距离dmj同样由公式1-4所得，平面与3D物体识别的长方体上方平面tk距离为dtk，由此平面与附近的i个3D点、j个三角面片、k个3D物体构成了联合误差方程，通过优化平面表达式1-5，使得整体误差e最小，从而求得准确度更高的已优化平面。
Ax+By+Cz+D＝0(A2+B2+C2＝1) (1-3)
dpi＝Axi+Byi+Czi+D (1-4)
Figure BDA0003453577820000171
如公式1-3所示为平面方程，其中A、B、C、D为表示该平面的方程系数，平面上的任意3D点的坐标(x,y,z)均符合上述平面方程。3D点pi在三维空间中的坐标为(xi,yi,zi)，则该3D点到公式1-3对应平面的空间距离由公式1-4求得。公式1-5中α、β、γ分别表示3D点、Mesh三角面片、3D物体平面的误差权重系数，在一些实施例中，可以依次取值为0.3、0.3、0.4。也可以根据3D点Mesh三角面片、3D物体平面的可信度调整权重，在误差权重系数总和为1的情况下，可信度高的权重可以相应变大。
通过上述公式，得到优化后的各空间结构信息，以此为基础进行电子围栏的生成，得到的电子围栏更加精准。
在一些示例中，为了降低对算力的要求，可以通过简化上述方程，得到优化的信息，如在空间结构信息为3D点云和平面的信息时，可以先通过1-3得到平面方程，再通过1-4计算得到平面与3D点云的误差，最后通过优化平面表达式1-6，得到误差较小的e，从而获取到准确度较高的已优化平面。
Figure BDA0003453577820000181
步骤3、电子围栏生成：如图5中S3所示，可以基于步骤2中输出的平面进行地面的检测，同时结合步骤2中输出的Mesh识别数据等其它空间结构信息进行地面上方障碍物的检测，连接障碍物外立面，生成电子围栏边界。
图8是一种场景的检测效果图，如图8所示，基于空间中的3D点云检测得到6个平面，如图8所示的场景中，可以基于空间中的3D点云检测得到6个平面，分别标记为“1”、“2”、“3”、“4”、“5”、“6”。其中，标记“1”、“3”、“6”的是水平面，标记“2”、“4”、“5”的是垂直面，基于空间高度可以判断水平面“1”为地面对应的平面，即参考平面，垂直面“2”、“4”、“5”在平面“1”的基础上连通后可以得到图9中左图所示的连通区域，即参考平面边界。以此为基础，空间中“3”、“6”对应的水平面垂直向下投影，得到的是障碍物区域，移除参考平面边界与障碍物区域的交叉区域，即得到图9右图所示的电子围栏的原始结果，图9是电子围栏的原始效果图。
空间中的“3”和“6”也可以基于Mesh识别数据和3D物体识别信息进行识别和投影，本方法在步骤2中已经对其进行了融合优化，因此本步骤主要基于平面进行电子围栏的识别举例。
需要注意，本方法生成的电子围栏提供给VR设备后，需要由该设备判断该电子围栏的范围、大小是否满足用户的使用需求，如确定电子围栏不能满足用户游戏或运动等活动对场景的需求，应在程序界面进行提示，同时引导用户至其他区域重新进行电子围栏的生成。
步骤4、差异检测：如图5的S4，可以以实时的空间结构与已有的空间结构进行局部对比，实时的空间结构可以由当前帧表征，已有的空间结构可以由历史帧来表征，且该已有的空间结构来源于当前电子围栏，当检测的差异超过设定阈值时，触发电子围栏更新，主要检测的差异包括但不限于以下示例：
1. 3D点云差异：ICP(Iterative Closest Point)算法是较常用的点云匹配算法，使用该方法计算当前帧视野中3D点云与历史帧中同区域3D点云的重叠率，重叠率低于指定设定阈值，该设定阈值通常为80％时，可以确定环境发生了变化，需要触发电子围栏的更新。
2.平面差异：当前帧视野中平面的面积大小超过设定阈值，如缩放超10％时，可以确定环境发生了变化，需要触发电子围栏的更新。或位姿差异超过预定阈值，如10cm@3度时，可以确定环境发生了变化，需要触发电子围栏的更新。
3.Mesh差异：当前帧视野中检测到的Mesh中，设定阈值为：部分三角面片距离原始三角面片超10cm，且三角面片连通后面积大小超过20cm*30cm，即出现了短边超过20cm且长边超过30cm的物体，当超过设定阈值时，可以确定环境发生了变化，需要触发电子围栏的更新。
4. 3D物体差异：当前帧视野中检测到3D物体的大小、位姿变化超过设定阈值时，如大小的变长大于10cm或缩放大于10％、位姿的变化大于10cm@3度时，认为地图发生了变化，需要触发电子围栏的更新功能。
特别地，出于安全性的考虑，移除原有空间结构的判断阈值应比新增、更新空间结构时更严格，为避免误测带来的影响，应连续检测到至少两帧同样的差异后，再触发电子围栏的更新。
图10是场景中新增物体后的检测效果图，如图10所示，已建立原始的电子围栏后，用户即可在电子围栏内的安全区域中使用VR设备，用户使用过程中，如实时的获取当前最新的空间结构信息，与已有电子围栏对应安全区域内的空间结构信息进行比对，当差异超过阈值时，触发电子围栏的更新。
以图10中所示场景为例，初始电子围栏建立后，实时检测得到的实时空间结构与已有电子围栏对应的空间结构间出现了差异，即新增了垂直面“7”，该垂直面位于已有电子围栏对应安全区域内，此时应触发地址围栏更新。
步骤5、电子围栏更新：如图5中S5所示，以实时的空间结构为输入，与历史的空间结构中的差异区域进行融合，全局优化后重新进行电子围栏的生成，如上述步骤4中已经检测到已有电子围栏对应的空间结构发生了变化，此时会触发电子围栏的更新功能。
以图10中所示场景为例，初始电子围栏建立后，实时空间结构与已有电子围栏对应的空间结果间出现了差异：新增了垂直面“7”，该垂直面位于已有电子围栏对应安全区域内，此时应触发地址围栏更新。
完成空间结构信息的融合后，依据各空间结构信息对应的权重值，进行全局的优化，优化方法可参照上述示例，重新对变化的物体进行步骤3的处理，完成电子围栏的更新，更新后的电子围栏如图11所示，图11是电子围栏更新效果图。
步骤6、电子围栏保存：如图5中S6所示，电子围栏第一次生成、电子围栏更新完成或退出程序前，对电子围栏及其对应的信息进行保存，供下次使用时，如进行步骤1中电子围栏检索时，可以作为历史电子围栏使用。
本方法使用过程中，会定期的对电子围栏及其对应的信息进行保存，程序退出之前同样会进行保存。VR设备在启动和运行过程中可以按需调取电子围栏及其对应的信息：设备启动时刻，调取该信息步骤1检索使用；设备运行中，调取该信息，供步骤4检测差异使用。
一般情况下，保存空间结构前会进行数据的压缩，同时限制存储的电子围栏及空间结构的数量，如设定最多存储10个历史电子围栏，以减少内存占用。
在一些示例中，VR设备可以配置有TOF传感器，图12是另一种电子围栏自动生成流程示意图，如图12，VR设备生成的3D点云、Mesh识别数据、3D物体识别信息生成时，如加入由TOF传感器获取的TOF数据，所获取的结果准确度会有明显的提升：
生成3D点云的SLAM***，输入深度数据后，通过深度图与平面环境图像的对齐，可以获取到平面环境图像上每个像素点对应的深度值，以该深度值作为三角算法的深度初始值，可以有效提高3D点云的准确度，同时也可以使得SLAM***输出的3D点云更加稠密，描述的空间物***置、大小、轮廓准确度更高。由于TOF传感器输出的深度数据在精度上远远优于一般深度估计结果，因此可以使用TOF传感器输出的深度图作为深度数据。在平面检测、Mesh识别、3D物体识别时，加入深度数据，能有效避免误识别，进一步提升得到的电子围栏的安全性。
在一些示例中，由于前述使用多种空间结构信息得到电子围栏的方法对算法的要求较高，算法较复杂，考虑到目前VR设备的算力有限，可以基于前述示例进行一定简化，能够在保证主要功能的前提下，最大限度降低设备对算力的需求。图13是又一种电子围栏自动生成流程示意图，如图13所示，本实施例除步骤2场景重建及步骤4差异检测与实施例一有区别之外，其它步骤的实现方法同实施例一基本一致。具体差异体现在：
步骤2、场景重建：仅将平面检测过的3D点云的结果作为步骤3生成电子围栏的基础。
步骤4、差异检测：以实时的3D点云为输入，与历史3D点云进行配准，其中实时的3D点云根据实时获取的环境图像得到，历史3D点云为生成电子围栏时的3D点云。计算当前帧对应的3D点云与历史3D点云中同区域3D点云的差异，当差异超过设定值时，触发电子围栏更新。如使用ICP算法计算当前帧3D点云与历史3D点云的重叠率，重叠率低于设定值，通常为80％时，需要更新电子围栏。
在一些示例中，实际上考虑到不同VR设备对电子围栏检测方案的不同需求，可以使用不同类型的空间结构信息组合，用于电子围栏的检测和生成。图14是再一种电子围栏自动生成流程示意图，如图14所示，空间结构信息的组合方式主要为：
空间结构信息为3D点云和3D物体识别信息，可以通过3D点云识别地面对应的参考平面，再根据3D物体识别信息将空间中距离地面距离超过10cm的3D物体向平面进行投影，确定障碍物区域，剪切障碍区域后获得安全区域，安全区域边界即为电子围栏。在差异检测时，也仅需将实时获取的当前帧中3D点云、3D物体识别信息与生成电子围栏时的相应空间结构信息相对比，通过差异值判断是否需要更新，比对方法如上述实施例中所述。
空间结构信息为Mesh识别数据和3D物体识别信息，可以通过Mesh识别数据首先识别地面对应的三角面片，地面三角面片连通后获得初始的地面区域即参考平面，在此基础上根据3D物体识别信息将距离地面距离超过10cm的三角面片和3D物体向地面面片进行投影，确定障碍区域，剪切障碍区域后获得安全区域，即可生成电子围栏。差异检测亦可根据当前帧中Mesh识别数据和3D物体识别信息与生成电子围栏时的相应空间结构信息相对比，通过差异值判断是否需要更新，比对方法如上述实施例中所述。
不同空间结构信息组合后用于电子围栏的生成和更新方法，可以满足不同硬件、不同设备厂商对电子围栏检测方法的定制化需求，可以进一步提升本方法在不同性能、不同配置的设备上的通用性。
图15是本申请实施例的自动生成电子围栏装置的结构框图，该自动生成电子围栏装置200如上述实例图15所示，包括：输入模块201和处理模块202。
输入模块201，用于获取环境图像，环境图像是对用户所处场景拍摄获得的。
如输入模块201可以通过虚拟现实技术VR眼镜或摄像头对用户所处场景拍摄获得环境图像。
处理模块202，用于根据环境图像生成空间结构信息，根据空间结构信息生成电子围栏。
空间结构信息包括3D点云和至少一个平面的信息，其中平面由在平面上的3D点云的点的分布所确定，处理模块202根据上述举例中通过3D点云和平面生成电子围栏的方法生成电子围栏。
在一些示例中，至少一个平面包括至少一个水平面和其他平面，其他平面包括水平面或垂直平面。
进一步的，至少一个平面包括至少一个水平面和至少一个垂直平面。
在一些示例中，输入模块201还用于获取测量单元IMU数据，IMU数据是对用户所处场景中的物体进行IMU解算得到的。
处理模块202，还用于根据环境图像和IMU数据生成空间结构信息。
在一些示例中，空间结构信息只包括3D点云和平面的信息时。
处理模块202，具体用于根据3D点云和平面的信息构建优化方程；根据优化方程优化平面得到已优化平面；根据与地面对应的已优化平面确定参考平面；在重力方向上将代表边界的已优化平面向参考平面投影确定参考平面边界，得到与地面对应的带有边界的参考水平面；在重力方向上将代表障碍物的已优化平面向参考水平面投影确定参考水平面的障碍物区域；根据参考水平面和障碍物区域生成电子围栏。
图16是本申请实施例的又一种自动生成电子围栏装置的结构框图，如图16所示，处理模块202还包括3D点云处理单元2021、电子围栏生成单元2022和平面检测单元2023、位姿估计单元2024、深度估计单元2025、Mesh识别单元2026和3D物体识别单元2027：
位姿估计单元2024，用于根据环境图像和IMU得到位姿信息；
3D点云处理单元2021，还用于根据环境图像和IMU得到3D点云；
平面检测单元2023，还用于对位姿信息和3D点云根据平面检测得到平面；
深度估计单元2024，用于根据环境图像进行深度检测得到深度数据；
Mesh识别单元2025，用于根据深度数据处理Mesh识别数据；
3D物体识别单元2026，用于根据深度数据处理3D物体识别信息；
电子围栏生成单元2022，还用于根据3D点云、平面和经过深度数据处理的Mesh识别数据和3D物体识别信息生成电子围栏。
在一些示例中，自动生成电子围栏装置200可以通过3D点云处理单元2021或Mesh识别单元2025识别地面对应的参考平面，再由3D物体识别单元2026根据3D物体识别信息确定距离地面超过第一阈值的3D物体在参考平面的投影确定参考平面边界和障碍物区域，最后由电子围栏生成单元，还用于根据参考平面、参考平面边界和障碍物区域生成电子围栏。
在一些示例中，深度估计模块为TOF传感器，深度数据为飞行时间TOF数据。
在一些示例中，电子围栏生成单元2022，还用于以用户所处场景中用户位置的平面点为中心、与环境图像的坐标系对齐生成电子围栏。
图17是本申请实施例的又一种自动生成电子围栏装置的结构框图，如图17所示，装置200还包括：存储模块203
存储模块203，用于将电子围栏保存为历史电子围栏。
图18是本申请实施例的再一种自动生成电子围栏装置的结构框图，如图18所示，处理模块202还包括历史电子围栏检索单元2028，用于在存储模块203已保存的历史电子围栏中检索环境图像，若得到相似度关联的历史电子围栏，则计算历史电子围栏的加权得分，确定加权得分最高的历史电子围栏为目标电子围栏。
若位姿估计单元2024对目标电子围栏位姿解算成功，则电子围栏生成单元2022根据位姿的差异设置目标电子围栏，以使得目标电子围栏的坐标系与环境图像的坐标系对齐。
图19是本申请实施例的一种实时检测电子围栏装置的结构框图，如图19所示，装置300包括输入模块301和电子围栏更新模块302。该装置300可以与上述任一装置200集成，但不本实施例举例所包含的模块为限定。
输入模块301，还用于周期性采集用户所处场景的实时环境图像。
电子围栏更新模块302，用于若检测到实时环境图像对应的空间结构信息与已有空间结构信息的差异超过第二阈值，则根据实时环境图像生成的空间结构信息更新电子围栏。
本发明实施例提供的装置实现了电子围栏的自动检测生成，解决了VR设备电子围栏对场地的限制，同时也降低了用户手动规划电子围栏的学习成本，可以显著提升VR设备的使用体验。
电子围栏生成后，本方法还会实时比对空间内物体的差异变化，通过差异检测、融合优化等方法完成电子围栏的自动更新，实时更新的电子围栏具有较高的时效性，可以显著提升使用过程中的安全性。
本发明实施例提供的虚拟装置可以集成到前述实施例中的电子设备中，并使用上述实施例的方法进行电子围栏的生成。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

Claims (29)

1.一种电子围栏自动生成方法，其特征在于，包括：
获取环境图像，所述环境图像是对用户所处场景拍摄获得的；
根据所述环境图像生成空间结构信息，所述空间结构信息包括3D点云和至少一个平面的信息，其中所述平面由在所述平面上的所述3D点云的点的分布所确定；
根据所述空间结构信息生成电子围栏。
2.根据权利要求1所述的方法，其特征在于，所述至少一个平面包括至少一个水平面和其他平面，所述其他平面包括水平面或垂直平面。
3.根据权利要求1或2所述的方法，其特征在于，根据所述环境图像生成空间结构信息之前，还包括：
获取测量单元IMU数据，所述IMU数据是对用户所处场景中的物体进行IMU解算得到的；
所述根据所述环境图像生成空间结构信息，包括：
根据所述环境图像和所述IMU数据生成所述空间结构信息。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述环境图像是通过虚拟现实技术VR眼镜或有摄像头的智能设备对用户所处场景拍摄获得的。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述空间结构信息生成电子围栏，包括：
根据所述3D点云和所述平面的信息构建优化方程；
根据所述优化方程优化所述平面得到已优化平面；
根据与地面对应的已优化平面确定参考平面；
在重力方向上将代表边界的已优化平面向所述参考平面投影确定参考平面边界，得到与所述地面对应的带有边界的参考水平面；
在重力方向上将代表障碍物的已优化平面向所述参考水平面投影确定所述参考水平面的障碍物区域；
根据所述参考水平面和所述障碍物区域生成所述电子围栏。
6.根据权利要求3所述的方法，其特征在于，当所述空间结构信息还包括位姿信息、深度数据、Mesh识别数据和3D物体识别信息时，所述根据所述环境图像和所述IMU数据生成空间结构信息，根据所述空间结构信息生成电子围栏，包括：
根据所述环境图像和所述IMU数据得到所述位姿信息和所述3D点云；
对所述位姿信息和所述3D点云进行平面检测得到所述平面；
根据所述环境图像进行深度检测得到所述深度数据；
根据所述深度数据处理所述Mesh识别数据和所述3D物体识别信息；
根据所述3D点云、所述平面和经过深度数据处理的所述Mesh识别数据和所述3D物体识别信息生成所述电子围栏。
7.根据权利要求6所述的方法，其特征在于，所述深度数据为飞行时间TOF数据。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述生成电子围栏，包括：
以所述用户所处场景中用户位置的平面点为中心、与所述环境图像的坐标系对齐生成所述电子围栏。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述生成电子围栏之后，还包括：
将所述电子围栏保存为历史电子围栏。
10.根据权利要求9所述的方法，其特征在于，所述获取环境图像之后，还包括：
在已保存的所述历史电子围栏中检索所述环境图像，若得到相似度关联的所述历史电子围栏，则计算所述历史电子围栏的加权得分，确定所述加权得分最高的所述历史电子围栏为目标电子围栏；
对所述目标电子围栏位姿求解，若解算成功，则根据所述位姿的差异设置所述目标电子围栏，以使得所述目标电子围栏的坐标系与所述环境图像的坐标系对齐。
11.一种电子围栏自动生成方法，其特征在于，包括：
获取环境图像，所述环境图像是对用户所处场景拍摄获得的；
根据所述环境图像生成空间结构信息，所述空间结构信息包括3D点云和3D物体识别信息；
根据所述3D点云识别地面对应的参考平面；
根据所述3D物体识别信息确定距离地面超过第一阈值的3D物体在所述参考平面的投影确定所述参考平面边界和障碍物区域；
根据所述参考平面、所述参考平面边界和所述障碍物区域生成电子围栏。
12.一种电子围栏自动生成方法，其特征在于，包括：
获取环境图像，所述环境图像是对用户所处场景拍摄获得的；
根据所述环境图像生成空间结构信息，所述空间结构信息包括Mesh识别数据和3D物体识别信息；
根据所述Mesh识别地面对应的参考平面；
根据所述3D物体识别信息确定距离地面超过第一阈值的3D物体在所述参考平面的投影确定所述参考平面边界和障碍物区域；
根据所述参考平面、所述参考平面边界和所述障碍物区域生成所述电子围栏。
13.一种电子围栏实时检测方法，其特征在于，包括：
周期性采集用户所处场景的实时环境图像；
若检测到所述实时环境图像对应的空间结构信息与已有空间结构信息的差异超过第二阈值，则根据所述实时环境图像生成的空间结构信息更新电子围栏。
14.一种电子围栏自动生成装置，其特征在于，包括：
输入模块，用于获取环境图像，所述环境图像是对用户所处场景拍摄获得的；
处理模块，用于根据所述环境图像生成空间结构信息，所述空间结构信息包括3D点云和至少一个平面的信息，其中所述平面由在所述平面上的所述3D点云的点的分布所确定；
所述处理模块，还用于根据所述空间结构信息生成电子围栏。
15.根据权利要求14所述的装置，其特征在于，所述至少一个平面包括至少一个水平面和其他平面，所述其他平面包括水平面或垂直平面。
16.根据权利要求14或15所述的装置，其特征在于，
所述输入模块，还用于获取测量单元IMU数据，所述IMU数据是对用户所处场景中的物体进行IMU解算得到的；
所述处理模块，还用于根据所述环境图像和所述IMU数据生成所述空间结构信息。
17.根据权利要求14至16任一项所述的装置，其特征在于，
所述输入模块，还用于通过对用户所处场景拍摄获得环境图像。
18.根据权利要求14至17任一项所述的装置，其特征在于，
所述处理模块，具体用于根据所述3D点云和所述平面的信息构建优化方程；根据所述优化方程优化所述平面得到已优化平面；根据与地面对应的已优化平面确定参考平面；在重力方向上将代表边界的已优化平面向所述参考平面投影确定参考平面边界，得到与所述地面对应的带有边界的参考水平面；在重力方向上将代表障碍物的已优化平面向所述参考水平面投影确定所述参考水平面的障碍物区域；根据所述参考水平面和所述障碍物区域生成所述电子围栏。
19.根据权利要求16所述的装置，其特征在于，所述处理模块包括位姿估计单元、3D点云处理单元、平面检测单元、深度估计单元、Mesh识别单元和3D物体识别单元：
所述位姿估计单元，用于根据所述环境图像和所述IMU数据得到所述位姿信息；
所述3D点云处理单元，还用于根据所述环境图像和所述IMU数据得到所述3D点云；
所述平面检测单元，还用于对所述位姿信息和所述3D点云进行平面检测得到所述平面；
所述深度估计单元，用于根据所述环境图像进行深度检测得到所述深度数据；
所述Mesh识别单元，用于根据所述深度数据处理所述Mesh识别数据；
所述3D物体识别单元，用于根据所述深度数据处理所述3D物体识别信息；
所述电子围栏生成单元，还用于根据所述3D点云、所述平面和经过深度数据处理的所述Mesh识别数据和所述3D物体识别信息生成所述电子围栏。
20.根据权利要求19所述的装置，其特征在于，所述深度数据为飞行时间TOF数据。
21.根据权利要求14至20任一项所述的装置，其特征在于，
所述电子围栏生成单元，还用于以所述用户所处场景中用户位置的平面点为中心、与所述环境图像的坐标系对齐生成所述电子围栏。
22.根据权利要求14至21任一项所述的装置，其特征在于，所述装置还包括：
存储模块，用于将所述电子围栏保存为历史电子围栏。
23.根据权利要求22所述的装置，其特征在于，所述处理模块还包括历史电子围栏检索单元：
所述历史电子围栏检索单元，用于在所述存储模块已保存的历史电子围栏中检索所述环境图像，若得到相似度关联的所述历史电子围栏，则计算所述历史电子围栏的加权得分，确定所述加权得分最高的所述历史电子围栏为目标电子围栏；
若所述位姿估计单元对所述目标电子围栏位姿解算成功，则所述电子围栏生成单元根据所述位姿的差异设置所述目标电子围栏，以使得所述目标电子围栏的坐标系与所述环境图像的坐标系对齐。
24.一种电子围栏自动生成装置，其特征在于，包括：
输入模块，用于获取环境图像，所述环境图像是对用户所处场景拍摄获得的；
处理模块，用于根据所述3D点云识别地面对应的参考平面；根据所述3D物体识别信息确定距离地面超过第一阈值的3D物体在所述参考平面的投影确定所述参考平面边界和障碍物区域；
所述处理模块，还用于根据所述参考平面、所述参考平面边界和所述障碍物区域生成电子围栏。
25.一种电子围栏自动生成装置，其特征在于，包括：
输入模块，用于获取环境图像，所述环境图像是对用户所处场景拍摄获得的；
处理模块，用于根据所述3D物体识别信息确定距离地面超过第一阈值的3D物体在参考平面的投影确定所述参考平面边界和障碍物区域；
所述处理模块，还用于根据所述参考平面、所述参考平面边界和所述障碍物区域生成电子围栏。
26.一种电子围栏实时检测装置，其特征在于，包括：
输入模块，还用于周期性采集用户所处场景的实时环境图像；
电子围栏更新模块，用于若检测到所述实时环境图像对应的空间结构信息与已有空间结构信息的差异超过第二阈值，则根据所述实时环境图像生成的空间结构信息更新电子围栏。
27.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-13中任一项所述的方法。
28.一种计算机可读存储介质，其特征在于，包括计算机程序，所述计算机程序在计算机上被执行时，使得所述计算机执行权利要求1-13中任一项所述的方法。
29.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序代码，当所述计算机程序代码在计算机上运行时，用于执行权利要求1-13中任一项所述的方法。
CN202111679498.5A 2021-12-31 2021-12-31 电子围栏自动生成方法、实时检测方法及装置 Pending CN116416291A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111679498.5A CN116416291A (zh) 2021-12-31 2021-12-31 电子围栏自动生成方法、实时检测方法及装置
PCT/CN2022/141783 WO2023125363A1 (zh) 2021-12-31 2022-12-26 电子围栏自动生成方法、实时检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111679498.5A CN116416291A (zh) 2021-12-31 2021-12-31 电子围栏自动生成方法、实时检测方法及装置

Publications (1)

Publication Number Publication Date
CN116416291A true CN116416291A (zh) 2023-07-11

Family

ID=86997877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111679498.5A Pending CN116416291A (zh) 2021-12-31 2021-12-31 电子围栏自动生成方法、实时检测方法及装置

Country Status (2)

Country Link
CN (1) CN116416291A (zh)
WO (1) WO2023125363A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934057A (zh) * 2023-09-15 2023-10-24 深圳优立全息科技有限公司 摄像机布设方法、装置及设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117492408B (zh) * 2024-01-03 2024-04-02 建龙西林钢铁有限公司 一种基于plc和图像识别的电子围栏安全***及其控制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10313638B1 (en) * 2015-06-12 2019-06-04 Amazon Technologies, Inc. Image creation using geo-fence data
CN109326001A (zh) * 2018-11-19 2019-02-12 中国恩菲工程技术有限公司 监控一场所中移动体的方法及***
CN110799989A (zh) * 2019-04-20 2020-02-14 深圳市大疆创新科技有限公司 一种障碍物检测方法、设备、可移动平台及存储介质
US20210279967A1 (en) * 2020-03-06 2021-09-09 Apple Inc. Object centric scanning

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934057A (zh) * 2023-09-15 2023-10-24 深圳优立全息科技有限公司 摄像机布设方法、装置及设备
CN116934057B (zh) * 2023-09-15 2023-12-08 深圳优立全息科技有限公司 摄像机布设方法、装置及设备

Also Published As

Publication number Publication date
WO2023125363A1 (zh) 2023-07-06

Similar Documents

Publication Publication Date Title
US11328158B2 (en) Visual-inertial positional awareness for autonomous and non-autonomous tracking
CN107990899B (zh) 一种基于slam的定位方法和***
US10410328B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
WO2019205865A1 (zh) 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN111344644B (zh) 用于基于运动的自动图像捕获的技术
JP2019087229A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
US10169880B2 (en) Information processing apparatus, information processing method, and program
WO2023125363A1 (zh) 电子围栏自动生成方法、实时检测方法及装置
CN112270754B (zh) 局部网格地图构建方法及装置、可读介质和电子设备
US11967026B1 (en) Virtual reality detection and projection system for use with a head mounted display
WO2019136641A1 (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
CN113359782B (zh) 一种融合lidar点云与图像数据的无人机自主选址降落方法
CN106162144A (zh) 一种用于夜视环境的视觉图像处理设备、***和智能机器
CN113256716B (zh) 一种机器人的控制方法及机器人
US20230186542A1 (en) Information processing apparatus, information processing method, and computer-readable recording medium
US10838515B1 (en) Tracking using controller cameras
WO2022261381A9 (en) Localization processing service
CN113439275A (zh) 一种平面语义类别的识别方法以及图像数据处理装置
KR102190743B1 (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
WO2023109664A1 (zh) 监测方法和相关产品
US20220412741A1 (en) Information processing apparatus, information processing method, and program
CN114693865A (zh) 数据处理方法及相关装置
WO2022082440A1 (zh) 确定目标跟随策略的方法、装置、***、设备及存储介质
JP6200604B1 (ja) 全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム
CN113916223B (zh) 定位方法及装置、设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination