CN113219485A - 自主3d数据中心映射*** - Google Patents
自主3d数据中心映射*** Download PDFInfo
- Publication number
- CN113219485A CN113219485A CN202110377735.6A CN202110377735A CN113219485A CN 113219485 A CN113219485 A CN 113219485A CN 202110377735 A CN202110377735 A CN 202110377735A CN 113219485 A CN113219485 A CN 113219485A
- Authority
- CN
- China
- Prior art keywords
- images
- imaging system
- cameras
- guided vehicle
- automated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013507 mapping Methods 0.000 title abstract description 6
- 238000003384 imaging method Methods 0.000 claims abstract description 79
- 238000012634 optical imaging Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 28
- 238000004891 communication Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 description 15
- 230000015654 memory Effects 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000004140 cleaning Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000220317 Rosa Species 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开涉及自主3D数据中心映射***。提供一种自动数据中心成像***,其包括具有外壳的自动导向车。所述***可以包括光学成像***,所述光学成像***耦合到所述外壳并且包括多个相机,每个相机被配置成具有相应的视场,所述视场至少部分地彼此不重叠。所述***可以包括激光成像***,所述激光成像***耦合到所述外壳并且被配置成扫描所述数据中心,以获得在所述外壳与所述数据中心内的多个位置之间的多个距离。所述***可以包括图像处理器,所述图像处理器被配置成将由所述相机获取的多个图像与由所述激光成像***获取的所述多个距离组合成单个镶嵌图,所述图像处理器被配置成相对于所述数据中心的已知坐标系定位所述多个图像和所述多个距离。
Description
技术领域
本公开涉及自主3D数据中心映射***。
背景技术
数据中心内部是复杂的、变化的且动态的。这一系列属性包括数据中心和数据中心内的装置(服务器、货架等)的构造、配置、维护和维修。通常,这些属性的实际布置和内容介于估计和历史之间。难以实现对这些数据中心属性的连续监视和分类,以减轻在理论与实践之间的差距。
基于各种工具和过程将数据中心货架内容的状态理论化,但是对货架内容的了解并不总是完全准确的。常规工具可以基于条形码资产标签信息,使用手动输入的信息来存储数据中心货架内容的状态。然而,如果此类货架内容信息不正确或仅部分准确,则可能没有纠正此类不准确性的简便方法。
发明内容
本公开提供利用自动导向车(AGV)对例如数据中心的物理位置进行成像的自动成像***和方法。AGV可以配备有例如激光器的距离检测工具,以检测在AGV与物理位置内的不同表面之间的距离。成像***包括多个相机,所述相机被配置成从物理位置内采集多个图像。此外,成像***可以使所述距离与多个图像相关,并且可以使用多个图像和距离来生成物理位置的地图。
本公开的一个方面提供一种自动成像***,包括:自动导向车,所述自动导向车具有配置用于移动车辆的推进***以及配置用于控制电机和转向***的处理器;光学成像***,所述光学成像***包括多个相机,所述相机各自被配置成具有相应的视场,所述视场至少部分地彼此不重叠;激光成像***,所述激光成像***被配置成扫描物理区域,以获得在车辆与物理区域内的多个位置之间的相应距离;以及一个或多个处理器,所述处理器被配置成使由相机获取的多个图像与由激光成像***获取的相应距离相关。
根据一些实例,相机布置成阵列,并且所述阵列在竖直方向上可移动。阵列中的相机可以圆形图案彼此间隔开,所述圆形图案在平行于竖直方向的平面中延伸。多个图像可以包括在第一竖直位置处获取的第一组图像和第一组距离、以及在第二竖直位置处获取的第二组图像和第二组距离,所述第一竖直位置和所述第二竖直位置在竖直方向上彼此间隔开。
根据一些实例,一个或多个处理器进一步被配置成将由相机获取的多个图像与由激光成像***获取的相应距离组合在地图中。无线通信组件可以被配置成与远程计算***通信。一个或多个处理器可以被配置成基于从远程计算***的通信将车辆导航到特定位置,所述特定位置对应于由成像***获取的多个图像中的至少一个。推进***可以包括:多个车轮,所述车轮可旋转地安装到外壳;驱动元件,所述驱动元件被配置成使车轮旋转;转向***,所述转向***被配置成枢转车轮并且沿着预定路径导航外壳;以及处理器,所述处理器被配置成控制电机和转向***。
本公开的另一方面提供一种利用自动导向车对物理区域进行成像的方法。所述方法可以包括:通过用于沿着预定路径导航车辆的推进***,将自动导向车移动到物理区域内的多个位置;通过耦合到车辆的光学成像***来获取物理区域的多个图像,所述光学成像***包括多个相机,所述相机各自被配置成具有相应的视场,所述视场至少部分地彼此不重叠;通过耦合到车辆的激光成像***来扫描物理区域,以获得在车辆与物理区域内的多个位置之间的多个距离;以及使由相机获取的多个图像与由激光成像***获取的多个距离相关。
根据一些实例,所述方法可以进一步包括相对于物理区域的已知坐标系定位多个图像和多个距离。
相机可以布置成阵列,并且所述阵列在垂直于物理区域的地面的竖直方向上可移动。阵列中的相机可以在圆形图案彼此间隔开,所述圆形图案在平行于竖直方向的平面中延伸。获取多个图像可以包括在第一竖直位置处获取第一组图像和第一组距离;在竖直方向上将阵列从第一竖直位置移动到与所述第一竖直位置间隔开的第二竖直位置;以及在所述第二竖直位置处获取第二组图像和第二组距离。成像***可以包括固定装置,所述固定装置具有导轨以及托架,所述导轨在竖直方向上延伸,所述托架耦合到导轨并且相对于导轨在竖直方向上可移动,相机固定到所述托架,并且所述移动阵列包括沿着导轨将托架从第一竖直位置移动到第二竖直位置。沿着导轨移动托架可以由耦合到托架的伺服电机驱动。
根据一些实例,所述方法可以进一步包括将多个图像和多个距离无线地发送到图像处理器,所述图像处理器是远离自动导向车的计算机的一部分。将自动导向车移动到第一目标位置可以包括在垂直于所述竖直方向的水平方向上移动自动导向车,并且视场在垂直于水平方向和竖直方向两者的深度方向上从多个相机延伸。
本公开的又另一方面提供一种利用自动导向车对物理区域进行成像的方法,所述方法包括:通过用于沿着预定路径导航车辆的推进***,将自动导向车移动到物理区域内的多个位置;通过耦合到车辆的成像***来获取物理区域的初始的多个图像,所述成像***包括多个相机,所述相机各自被配置成具有相应的视场,所述视场至少部分地彼此不重叠,所述获取初始的多个图像包括在第一竖直位置处获取第一组图像;在竖直方向上将多个相机从第一竖直位置移动到与第一竖直位置间隔开的第二竖直位置;以及在所述第二竖直位置处获取第二组图像;使用图像处理器将由相机获取的初始的多个图像组合成初始的单个镶嵌图像;以及相对于物理区域的已知坐标系定位初始的多个图像。
所述方法可以进一步包括:接收在初始的单个镶嵌图像内的位置的选择,以将自动导向车移动到多个位置中的一个并且获取更新的多个图像;以及使用图像处理器将所述更新的多个图像与由相机获取的初始的多个图像组合成更新的单个镶嵌图像。
附图说明
图1A是根据本公开的各方面的示例自动360度成像***的侧视图。
图1B是示例自动成像***的透视图。
图1C是图1A的自动成像***的侧视图。
图1D是图1A的自动成像***的正视图。
图1E是根据本公开的各方面的用于说明距离检测的图1A的自动成像***的侧视图。
图2A是可以由图1B-D的自动数据中心成像***采集的数据中心图像的示例阵列。
图2B是由图1A的成像***采集的或通过组合图2A的数据中心图像的阵列生成的单个镶嵌数据中心图像。
图2C是基于图2B的单个镶嵌数据中心图像的数据中心地图。
图3是可以用于控制图1A的自动成像***的控制***的图解视图。
图4是使用图1A的自动成像***以确定数据中心布局的状态的方法的流程图。
具体实施方式
本技术大体上涉及自动3D成像***以及使用自动导向车(AGV)对物理位置进行成像的方法。例如,物理位置可以是数据中心或其它室内空间。例如,自动成像***可以被配置成获取数据中心货架的多个高分辨率图像,并且将多个图像组合成单个镶嵌图像。***可以从组合的镶嵌图像中解析位置和条形码数据,从而以自动方式提供数据中心内容的准确当前位置和数据信息。自动成像***还可以提供产品的商业和零售货架的实时库存位置和数据,否则这些商品可能无法以自动方式获得。
参考图1A,其上安装有成像***的AGV可以通过物理位置导航并且用于采集所述位置的360度图像。360度图像随后可以用于生成物理位置的地图。根据例如下文结合图1E描述的一些实例,AGV可以进一步检测在AGV与物理位置内的各个点之间的距离。等待距离可以与所采集的360度图像相关并且用于生成所述地图。在此实例中示出并且在本文中的其它实例中描述的物理位置是数据中心。然而,应当理解,所述物理位置可以是各种类型的位置中的任一个,例如仓库、制造厂等。
图1B至1D仅说明可以用于对数据中心货架1进行成像的自动3D成像***10的一个实例。自动成像***10可以包括具有外壳14的AGV 12以及配置用于移动AGV的推进***16。外壳14被示为大体上矩形棱柱的形状,但是在其它实例中,外壳可以具有任何其它形状,例如正方棱柱、圆柱体等。在其它实例中,可以省略外壳14,使得暴露AGV 12的机械和/或电气组件。
推进***16可以包括:电机和/或另一驱动元件,其被配置成使可旋转地安装到AGV 12的多个车轮18旋转;转向***(未示出),所述转向***被配置以枢转车轮并且沿着预定路径导航AGV 12;以及处理器或控制***100(下文关于图3描述),其被配置以控制电机和转向***。
AGV 12还可以包括传感器(未示出),用于检测AGV周围的条件。在图1B到1D中所示的AGV 12的实例配置仅是灵活的移动机器人平台的一个可能实例。在其它实例中,可能存在用于将AGV 12从一个位置移动到另一位置的组件的许多其它配置。
在使用AGV 12时,可以相对于其中导航AGV的物理区域(例如,数据中心)的已知3D坐标系已知AGV的位置。为了在AGV 12移动时获得其在已知坐标系内的位置,AGV可以读取地面上的条形码,所述条形码在坐标系内的已知位置处。当AGV 12行进时,AGV可以相对于条形码同步其位置。
自动成像***10还可以包括耦合到AGV 12的成像***20。成像***20可以包括多个相机30。相机30各自可以被配置成具有相应的视场32。视场32可以至少部分地彼此不重叠,但是在一些实例,视场可以完全彼此不重叠。相机30的视场32可以在例如数据中心货架1的物体与相机之间的深度距离D上远离相机延伸。
自动成像***10可以包括图像处理器(例如,图3中所示的处理器111),所述图像处理器被配置成将由相机30获取的多个图像组合成单个镶嵌图像。下文关于图2A和2B示出和描述多个图像和单个镶嵌图像的实例。尽管视场32被示为朝向货架1延伸,但是相机30可以用于记录数据中心中的任何事物,包括走廊、门、柱、货架、风扇、电线管道等的位置。图像处理可以完全自动,使得可以从所采集图像生成单个镶嵌图像、360度图像,和/或物理位置的地图,而无需人为干预。
相机30可以包括一个或多个光学相机和激光成像***,例如一个或多个LIDAR(激光雷达)扫描仪。尽管以垂直堆叠的若干行的布置示出相机30,但是应当理解,其它布置也是可能的。例如,相机可以围绕垂直轴或水平轴以360度配置定位。作为另一实例,相机可以布置成玫瑰瓣形,使得相机共同地采集围绕AGV的每一角度。在又其它实例中,相机可以是单个360度相机。
光学相机可以获得图像,可以组合所述图像以获得物理位置的视觉地图。例如,可以组合所采集的图像以生成整个数据中心的地图,使得可以在视觉上识别各个货架组件。
图1E说明使用AGV来检测在A GV与物理位置内的各个点之间的距离的实例。例如,激光雷达扫描仪可以在方向33上扫描,以在映射包络34内获得物理位置的内容的位置数据和/或温度数据。激光雷达扫描仪可以比光学相机获得更准确的位置数据。激光雷达扫描仪可以获得靠近物理位置的天花板2的门、柱、货架、风扇和电线管道的维度位置。
激光雷达扫描的维度精度可以在大约+或-10mm内。在一些实例中,可以使用单个激光雷达扫描仪,其中内部机电镜***可以周围移动单个激光束,从而允许在AGV处于单个位置时收集大致一千个距离。在其它实例中,可以使用激光器的固定阵列。尽管***10被描述为包括激光雷达扫描仪,但是一些实例仅使用光学图像,而其它实例组合光学和激光雷达数据。
在所说明的实例中,成像***20可以包括固定到外壳的固定装置40,所述固定装置具有:导轨42,所述导轨在垂直于深度方向D的竖直方向V上延伸;以及托架44,所述托架在垂直于竖直方向和深度方向的水平方向H上延伸。相机30可以固定到托架44。相机30可以沿着托架44布置成在水平方向H上延伸的阵列。阵列中的相机30可以在水平方向上彼此相等地间隔开距离D1。托架44可以耦合到导轨42,使得托架和固定到其的相机30的阵列在竖直方向V上相对于导轨可移动。成像***20可以包括伺服电机(未示出),所述伺服电机被配置成沿着导轨42在竖直方向V上移动托架44。应当理解,在其它实例中,成像***20可以包括相机30的其它布置,例如通过实施其它安装固定装置或机构。
尽管相机30在上文描述为沿着托架44布置成在水平方向H上延伸的阵列,但是在替代实例中,相机可以布置在围绕垂直轴的圆环中并且在垂直于深度方向D的平面中延伸。圆环可以沿着导轨42在竖直方向V上可移动。根据其它实例,相机可以布置在围绕纵轴延伸的环中。在其它实例中,相机可以布置在玫瑰瓣形或球形中,由此采集围绕AGV的基本上所有环境。在又其它实例中,相机可以是单个360度相机。
托架44可以沿着导轨42在竖直方向V上可移动到任何位置。托架44的第一、第二和第N竖直位置P1、P2和PN在图1B中示出,所述竖直位置在竖直方向V上彼此间隔开。如可以在图1C中看到,当托架44处于沿着竖直方向V的每一位置时,相机30可以各自进行单独的图像扫描。每个相机30可以进行任何数目“N”的图像扫描,当通过图像处理器组合图像时,需要所述图像扫描以形成数据中心的特征的完整镶嵌图像。如上文所提及,此类图像的组合可以完全自动化。
如图1B中所示,托架44可以在第一竖直位置P1处开始并且可以在竖直方向V上向下移动,并且当托架继续向下移动时,每个相机可以在每个竖直位置处记录多个图像扫描,直到托架在第N竖直位置PN处到达其行进范围的末端为止。应当理解,成像***20是成像***的一个实例,并且在其它实例中,可以使用可以携带和移动相机30以扫描数据中心的图像的***的各种其它实施方案中的任一个。
激光雷达扫描仪可以是相机30中的一个或多个,并且可以在其中包含镜子以沿着相对于扫描仪的一千多个定向中的任一个引导激光束。替换地,激光雷达扫描仪可以是相对于AGV 12固定的激光束的阵列,或扫描仪可以沿着导轨42在竖直方向V上可移动。
图2A说明在物理位置的图像扫描期间由相机30获取的多个光学图像50a到50x(统称为图像50)以及由图像处理器从图像50创建的单个镶嵌图像60的实例。尽管实例将物理位置描述为数据中心,但是应当理解,物理位置可以是任何类型的位置。
这些光学图像中的每一个可以与由激光雷达扫描仪获取的维度数据相关。例如,图像50中的每一个可以在一千个点处与对应激光雷达数据重叠,使得当每个图像与对应激光雷达数据相关时,每个图像内的一千个位置将在数据中心的已知坐标系内相对于AGV 12的位置是已知的。
在所示实例中,图像50以四乘六网格布置,其中每行四个图像的六个行各自在水平方向H上延伸。然而,应当理解,图像的数目和布置可以变化。如图2A中所示,图1B到1D中所示的四个相机30各自进行六次图像扫描,每一组扫描S1到S6由图式中的不同水平行表示。沿着托架44在不同竖直位置(例如,P1到PN,其中N=6)处获取图像扫描S1到S6中的每一个。因此,多个图像50包括:在第一竖直位置P1处获取的第一组S1图像,其包括图像50a-50d;在第二竖直位置P2处获取的第二组S2图像,其包括图像50e-50h;到在第n竖直位置PN处获取的第N组图像(在此实例中S6),其包括图像50u-50x。托架44的第一竖直位置P1、第二竖直位置P2和第N竖直位置PN在竖直方向V上彼此间隔开。
在图2A和2B中所示的实例中,多个图像50是数据中心的一个区域的图像。可以使用图像处理器将由相机30在位置P1到PN获取的图像50a到50x组合成单个镶嵌图像60。例如,图像处理器可以识别在所述图像内的物体,检测所述图像内的边界,并将所述图像拼接在一起,使得所述图像内的物体适当地对准。一旦创建了单个镶嵌图像60,图像处理器就可以任选地解析单个镶嵌图像以提取资产位置信息和资产标签条形码信息。一旦提取了资产位置信息和资产标签条形码信息,无线通信组件就可以将光学和距离信息从相机30发送到远程计算机。
为了制作没有水平或垂直间隙的完整单个镶嵌图像60,记录在图像50中的相邻图像中的视场之间可能存在少量重叠。然而,在其它实例中,记录在图像50中的相邻图像中的视场之间可能不存在重叠,因为可能不需要对数据中心进行完整成像以识别特定组件或组件类型以及它们在数据中心内的位置,或解析单个镶嵌图像以提取资产位置信息和资产标签条形码信息。实例图像60可以是整个数据中心的一组20、50、100或500个图像中的单个图像。可以组合任何数目的图像60,以允许对整个数据中心进行成像。
根据其它实例,可以使用单个360度相机生成图2B的360度图像。
参考图2C,可以将图像60映射到单个3D镶嵌数据中心地图62上,所述3D镶嵌数据中心地图可以是数据中心中含有的所有货架、走廊、电线管道等的3D蓝图。在一些实例中,光学图像60和激光雷达数据都可以被组合以创建单个镶嵌数据中心地图62。可以由远离AGV 12的位置处的图像处理器执行将光学数据和激光雷达数据映射在一起的后处理。此种处理可以完全自动化,例如使得在没有用户干预的情况下生成所述地图。例如,图像处理器可以使光学数据和激光雷达数据相关并且还与物理位置内的位置坐标相关。使用此相关性,可以生成所述地图。用户可以使用此所述地图62,使得当用户点击地图上的特定位置时,可以显示图像60中的对应图像。以此方式,用户可以从与用户当其在数据中心内部时可以看到的视点类似的视点,来获得地图62的任何部分的按需光学视图。
地图62还可以用于计算在地图上可见的特征之间的距离。例如,用户可以通过将两个虚拟引脚放置在地图上来计算距离,并且所述地图可以显示在引脚之间的距离(在正或负10mm内)。地图62还可以用于确定数据中心内的物体的大小,例如柱的宽度或货架的宽度,以达到正或负10mm的精度。
可以通过用AGV 12收集新数据来周期性地更新地图62。为了更新地图62,用户可以命令AGV 12行进到数据中心内的一个或多个期望位置以收集新的光学和激光雷达数据,并且这种数据可以替换由于重新定位数据中心内的项目而可能已经过时的地图的部分。每一组光学和激光雷达数据可以与收集数据的日期和时间相关,以帮助用户了解地图62的部分是否已经过时并需要更新。
参考图3,说明实例控制***100。如图所示,控制***100包括耦合到各种组件120-125的一个或多个计算装置110,所述组件例如AGV导航***120、定位***121、照明设备122、感知***123、清洁组件124和电源***125。计算装置110进一步包括一个或多个处理器111、存储器112,以及通常存在于微处理器、通用计算机等中的其它组件。
一个或多个处理器111可以是任何常规处理器,例如可商购的微处理器。替换地,一个或多个处理器可以是专用装置,例如专用集成电路(ASIC)或其它基于硬件的处理器。在一些实例中,一个或多个处理器可以包括例如用于基于机器学习的感知的图形处理单元(GPU)和/或张量处理单元(TPU)。尽管图3在功能上将处理器、存储器和计算装置110的其它元件图示为在同一块内,但是本领域普通技术人员可以理解,处理器、计算装置或存储器实际上可以包括可以或可以不存储在同一物理外壳内的多个处理器、计算设备、或存储器。类似地,存储器可以是位于与计算装置110的外壳不同的外壳中的硬盘驱动器或其它存储介质。因此,对处理器或计算装置的参考将被理解为包括对可以或可以不并行运行的处理器或计算装置或存储器的集合的参考。
存储器112可以存储可由处理器111存取的信息,包括可以由处理器执行的指令113,以及例如资产位置信息和/或资产标签条形码信息的数据114。此类指令113可以包括:基于传感器反馈来检测相机定位;调整成像***的位置;采集数据中心货架的图像;以及组合图像并解析镶嵌图像。存储器112可以是用于存储可由处理器111存取的信息的一种类型的存储器,包括非暂时性计算机可读介质,或者是用于存储可以借助于电子装置读取的数据的其它介质,例如硬盘驱动器、存储卡、只读存储器(“ROM”)、随机存取存储器(“RAM”)、数字多功能光盘(“DVD”)或其它光盘,以及其它可写入存储器和只读存储器。本文公开的主题可以包括前述项的不同组合,由此指令113和数据114的不同部分存储在不同类型的介质上。
处理器111可以根据指令113检索、存储或修改数据114。例如,尽管本公开不受特定数据结构的限制,但是数据114可以作为具有多个不同字段和记录的表、XML文档或平面文件存储在计算机寄存器、关系数据库中。数据114还可以用计算机可读格式来格式化,所述计算机可读格式例如但不限于二进制值、ASCII或Unicode(统一码)。仅进一步借助于实例,数据114可以存储为位图,所述位图包括以压缩或未压缩或各种图像格式(例如,JPEG)、基于矢量的格式(例如,SVG)或用于绘制图形的计算机指令存储的像素。此外,数据114可以包括足以识别相关信息的信息,例如数字、描述性文本、专有代码、指针、对存储在其它存储器(包括其它网络位置)中的数据的参考或由函数用于计算相关数据的信息。
在一个实例中,计算装置110可以是并入到控制***100中的AGV计算***,例如具有成像***20的AGV 12。计算装置可能够自主地或无需人工操作者的连续输入而与***的各种组件通信。例如,计算装置110可以与控制***100的各种组件120-125通信,所述组件以不要求或不需要操作者的连续或周期性输入的自主模式根据存储器112的指令113操作。尽管这些***被示为在计算装置110的外部,但是在其它实例中,这些***还可以并入到计算装置中。
可以执行指令113以使用组件120-125或未示出的其它组件中的一个或多个执行各种操作。例如,AGV导航***120可以包括GPS或将AGV引导到目标数据中心货架1以进行成像的其它***。可以指导定位***121对由感知***123提供的反馈作出响应,所述感知***可以包括一个或多个相机、传感器等。例如,定位***121可以包括一个或多个电机,或用于控制AGV 12和/或相机30的定位的其它装置。当感知***123提供关于数据中心内的目标位置与相机30的接近度的数据时,定位***121可以调整AGV 12或托架44中的一个或多个的位置,以便保持相机处于接近目标位置的位置。
照明***122可以包括一个或多个LED或其它照明装置。当环境条件使得自然光不足时,或在任何其它情况下,只要AGV 12在距目标位置的预定距离内,就可以指导照明***122照明目标位置以对数据中心的一部分进行成像。在这个方面,照明***122还可以对来自感知***123的输入-例如来自光或接近传感器的反馈-作出响应。类似地,清洁组件124还可以对来自感知***123的反馈作出响应。例如,一个或多个处理器111可以基于由感知***123采集的图像确定目标位置是脏的。由于此类污垢可能会阻挡信息,例如需要读取以确定哪个组件位于特定数据中心货架1中的资产标签条形码,因此可以指导清洁组件124喷射空气或执行一些其它操作以清除碎屑。电源***125可以包括例如用于为控制***100供电的电池。
尽管上文参考数据中心成像模式的实例描述组件110-115和120-125,但是应当理解,所述组件还可以响应于操作员输入或其它指令操作。例如,计算装置110可以通过发射器/接收器115将信息提供到例如操作员控制单元的远程计算装置。类似地,计算装置110可以从远程操作员控制单元接收指令。在其它实例中,控制***100可以在自主成像模式下操作,但是仍使用发射器/接收器115将反馈提供到远程计算装置。
图1A至3中所示的自动数据中心成像***10的设计仅是自动数据中心成像***的一个实例。可以预期自动数据中心成像***10的许多其它配置,包括成像***20,所述成像***具有不同数目的相机30、具有不同宽度、高度和/或布置的导轨42和托架44、以及各种设计的AGV 12。在一些配置中,成像***20可以具有多于或少于四个相机30,例如2、3、5、6、8或10个等。在一些实例中,可以在多于或少于六个不同竖直位置(例如2、3、4、5、8、10、15或20个等)处用托架44进行图像扫描。
自动数据中心成像***10还可以用于除数据中心之外的环境中。例如,自动成像***10可以用于制造或零售库存跟踪。例如,成像***20可以在图像50和单个镶嵌图像60中扫描在仓库中的货架上的产品的条形码,并且可以由图像处理器从单个镶嵌图像解析此类条形码。在一些实例中,成像***20可以扫描任何二维空间,并且可以从单个镶嵌图像60解析信息,以基于从单个镶嵌图像解析条形码或基于个别库存项目的形状和布置提供库存信息。
参考图4,描述用AGV对数据中心进行成像的方法400。在框410处,AGV可以移动到第一位置并且采集第一组一个或多个图像。可以例如通过控制推进***的AGV导航***来执行移动AGV。AGV导航***可以由计算装置和/或远离AGV的人类操作员控制。可以使用具有不同位置和/或相机角度的相机阵列采集第一组一个或多个图像,或可以通过例如360度相机的单个相机采集图像。根据一些实例,第一组图像可以是单个360度图像。
根据一些实例,可以将第一组图像组合成第一位置的单个镶嵌图像。例如,可以使用可以位于AGV处或在远程位置处的图像处理器组合图像。单个镶嵌图像可以提供例如物理位置的角度视图,例如360度视图。根据一些实例,可以从多个位置采集多组图像,以生成在不同位置且具有不同视角的多个镶嵌图像。
在框420处,检测在AGV与物理位置中的各种物体之间的距离。可以通过例如激光(例如激光雷达)或其它距离检测机构检测距离。距离可以与所采集的图像相关。例如,在一些实施方案中,可以与采集图像基本上同时地计算距离,并且可以与图像相关联地存储对应于每个图像中的点的距离。例如,距离可以是在相机与所采集图像的视场的中心之间的距离。作为另一实例,距离可以是在AGV上的点与所采集图像中的物体(例如,数据中心货架或位于货架上的计算装置)、或标识符(例如,标记货架上的设备的条形码)之间的距离。
在框430处,AGV可以例如通过导航到物理位置内的第二组坐标从第一位置移动到第二位置。相机可以采集在第二位置处的第二组一个或多个图像。
在框440处,检测在AGV与第二位置处的各种物体之间的距离。
在框450处,第一和第二图像以及检测到的距离可以用于生成物理位置的地图。根据一些实例,物理位置的已知坐标系可以进一步用于生成地图。可以配置地图,使得当用户点击地图上的位置时,可以显示所采集图像中的对应图像,并且可以提供物体的尺寸以及在地图中的位置之间的距离。
通过使用生成的地图,自动成像***可以接收对数据中心地图内的位置的选择,并且AGV可以移动到所选择位置以获取更新的多个图像以及更新的一组激光雷达数据。更新的多个图像以及更新的一组激光雷达数据可以替换地图内的对应图像和数据。
除非另有说明,否则前述替代实例不是互相排斥的,而是可以以各种组合实施以实现独特的优点。由于可以利用以上讨论的特征的这些以及其它变型和组合,而不偏离权利要求书所限定的主题,因此对实例的前述描述应通过说明而不是通过限制权利要求书所限定的主题进行。另外,提供本文描述的实例以及用短语表达为“例如”、“包括”等的子句不应被解释为将权利要求的主题限制于特定实例;相反,实例仅旨在说明许多可能实例中的一个。此外,不同附图中的相同附图标记可以标识相同或相似的元件。
Claims (20)
1.一种自动成像***,包括:
自动导向车,所述自动导向车具有被配置用于移动所述自动导向车的推进***以及被配置用于控制电机和转向***的车辆处理器;
光学成像***,所述光学成像***包括多个相机,每个相机被配置成具有相应的视场,所述多个相机的不同的视场至少部分地彼此不重叠;
激光成像***,所述激光成像***被配置成扫描物理区域,以获得在所述自动导向车与所述物理区域内的多个位置之间的相应距离;以及
一个或多个处理器,所述一个或多个处理器被配置成使由所述多个相机获取的多个图像与由所述激光成像***获取的所述相应距离相关。
2.根据权利要求1所述的自动成像***,其中所述多个相机被布置成阵列,并且所述阵列能在竖直方向上可移动。
3.根据权利要求2所述的自动成像***,其中所述阵列中的所述多个相机以圆形图案彼此间隔开,所述圆形图案在平行于所述竖直方向的平面中延伸。
4.根据权利要求2所述的自动成像***,其中所述多个图像包括在第一竖直位置处获取的与第一组距离相对应的第一组图像以及在第二竖直位置处获取的与第二组距离相对应的第二组图像,所述第一竖直位置和所述第二竖直位置在所述竖直方向上彼此间隔开。
5.根据权利要求1所述的自动成像***,其中所述一个或多个处理器进一步被配置成将由所述多个相机获取的所述多个图像与由所述激光成像***获取的所述相应距离组合在地图中。
6.根据权利要求1所述的自动成像***,进一步包括无线通信组件,所述无线通信组件被配置成与远程计算***通信。
7.根据权利要求6所述的自动成像***,其中所述一个或多个处理器被配置成基于从所述远程计算***的通信将所述自动导向车导航到特定位置,所述特定位置对应于由所述光学成像***获取的所述多个图像中的至少一个。
8.根据权利要求1所述的自动成像***,其中所述推进***包括:多个车轮,所述多个车轮可旋转地安装到外壳;驱动元件,所述驱动元件被配置成使所述多个车轮旋转;以及所述转向***,所述转向***被配置成枢转所述多个车轮并且沿着预定路径导航所述外壳。
9.一种利用自动导向车对物理区域进行成像的方法,所述方法包括:
通过用于沿着预定路径导航所述自动导向车的推进***,将所述自动导向车移动到所述物理区域内的多个位置;
通过耦合到所述自动导向车的光学成像***来获取所述物理区域的多个图像,所述光学成像***包括多个相机,每个相机被配置成具有相应的视场,所述多个相机的不同的视场至少部分地彼此不重叠;
通过耦合到所述自动导向车的激光成像***来扫描所述物理区域,以获得在所述自动导向车与所述物理区域内的多个位置之间的多个距离;以及
使由所述多个相机获取的所述多个图像与由所述激光成像***获取的所述多个距离相关。
10.根据权利要求9所述的方法,进一步包括相对于所述物理区域的已知坐标系定位所述多个图像和所述多个距离。
11.根据权利要求9所述的方法,其中所述多个相机被布置成阵列,并且所述阵列在垂直于所述物理区域的地面的竖直方向上可移动。
12.根据权利要求11所述的方法,其中所述阵列中的所述多个相机以圆形图案彼此间隔开,所述圆形图案在平行于所述竖直方向的平面中延伸。
13.根据权利要求11所述的方法,其中所述获取所述多个图像包括:
在第一竖直位置处获取第一组图像和第一组距离;
在所述竖直方向上将所述阵列从所述第一竖直位置移动到与所述第一竖直位置间隔开的第二竖直位置;以及
在所述第二竖直位置处获取第二组图像和第二组距离。
14.根据权利要求13所述的方法,其中所述光学成像***包括固定装置,所述固定装置具有导轨以及托架,所述导轨在所述竖直方向上延伸,所述托架耦合到所述导轨并且相对于所述导轨在所述竖直方向上可移动,所述多个相机固定到所述托架,并且所述移动所述阵列包括沿着所述导轨将所述托架从所述第一竖直位置移动到所述第二竖直位置。
15.根据权利要求14所述的方法,其中所述沿着所述导轨移动所述托架由耦合到所述托架的伺服电机驱动。
16.根据权利要求9所述的方法,进一步包括将所述多个图像和所述多个距离无线地发送到图像处理器,所述图像处理器是远离所述自动导向车的计算机的一部分。
17.根据权利要求9所述的方法,进一步包括:将所述自动导向车在垂直于所述竖直方向的水平方向上移动所述自动导向车到第一目标位置,并且所述不同的视场在垂直于所述水平方向和所述竖直方向两者的深度方向上从所述多个相机延伸。
18.一种利用自动导向车对物理区域进行成像的方法,所述方法包括:
通过用于沿着预定路径导航所述自动导向车的推进***,将所述自动导向车移动到所述物理区域内的多个位置;
通过耦合到所述自动导向车的成像***来获取所述物理区域的初始的多个图像,所述成像***包括多个相机,每个相机被配置成具有相应的视场,所述多个相机的不同的视场至少部分地彼此不重叠,
其中所述获取所述初始的多个图像包括:在第一竖直位置处获取第一组图像,在所述竖直方向上将所述多个相机从所述第一竖直位置移动到与所述第一竖直位置间隔开的第二竖直位置,以及在所述第二竖直位置处获取第二组图像;
使用图像处理器将由所述多个相机获取的所述初始的多个图像组合成初始的单个镶嵌图像;以及
相对于所述物理区域的已知坐标系定位所述初始的多个图像。
19.根据权利要求18所述的方法,进一步包括接收对在所述初始的单个镶嵌图像内的位置的选择,以将所述自动导向车移动到所述多个位置中的一个位置并且获取更新的多个图像;以及
使用所述图像处理器将所述更新的多个图像与由所述多个相机获取的所述初始的多个图像组合成更新的单个镶嵌图像。
20.根据权利要求18所述的方法,其中所述多个相机被布置成阵列,并且所述方法进一步包括在垂直于所述物理区域的地面的竖直方向上移动所述阵列。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/120,949 | 2020-12-14 | ||
US17/120,949 US20220187844A1 (en) | 2020-12-14 | 2020-12-14 | Autonomous 3D Datacenter Mapping System |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113219485A true CN113219485A (zh) | 2021-08-06 |
Family
ID=75825490
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110377735.6A Pending CN113219485A (zh) | 2020-12-14 | 2021-04-08 | 自主3d数据中心映射*** |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220187844A1 (zh) |
EP (1) | EP4012531B1 (zh) |
CN (1) | CN113219485A (zh) |
DK (1) | DK4012531T3 (zh) |
FI (1) | FI4012531T3 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4332710A1 (en) * | 2022-08-30 | 2024-03-06 | Ovh | Methods and autonomous robots for taking inventory in a structure |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012068675A1 (en) * | 2010-11-25 | 2012-05-31 | Lester Kirkland | An imaging robot |
US20150363758A1 (en) * | 2014-06-13 | 2015-12-17 | Xerox Corporation | Store shelf imaging system |
CN105607635A (zh) * | 2016-01-05 | 2016-05-25 | 东莞市松迪智能机器人科技有限公司 | 自动导引车全景光学视觉导航控制***及全向自动导引车 |
US20170345210A1 (en) * | 2014-12-22 | 2017-11-30 | Husqvarna Ab | Garden mapping and planning via robotic vehicle |
US20180005176A1 (en) * | 2016-06-30 | 2018-01-04 | Bossa Nova Robotics Ip, Inc. | Multiple Camera System for Inventory Tracking |
US20180108134A1 (en) * | 2016-10-17 | 2018-04-19 | Conduent Business Services, Llc | Store shelf imaging system and method using a vertical lidar |
US20180108120A1 (en) * | 2016-10-17 | 2018-04-19 | Conduent Business Services, Llc | Store shelf imaging system and method |
US20180330175A1 (en) * | 2017-05-10 | 2018-11-15 | Fotonation Limited | Multi-camera vision system and method of monitoring |
CN109154993A (zh) * | 2016-03-29 | 2019-01-04 | 波萨诺瓦机器人知识产权有限公司 | 用于对物品定位、识别和计数的***和方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210045229A (ko) * | 2019-10-16 | 2021-04-26 | 삼성전자주식회사 | 컴퓨팅 장치 및 그 동작 방법 |
US11438524B2 (en) * | 2020-01-08 | 2022-09-06 | Hewlett Packard Enterprise Development Lp | Automated rack imaging |
-
2020
- 2020-12-14 US US17/120,949 patent/US20220187844A1/en not_active Abandoned
-
2021
- 2021-04-08 CN CN202110377735.6A patent/CN113219485A/zh active Pending
- 2021-05-05 EP EP21172210.3A patent/EP4012531B1/en active Active
- 2021-05-05 FI FIEP21172210.3T patent/FI4012531T3/fi active
- 2021-05-05 DK DK21172210.3T patent/DK4012531T3/da active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012068675A1 (en) * | 2010-11-25 | 2012-05-31 | Lester Kirkland | An imaging robot |
US20150363758A1 (en) * | 2014-06-13 | 2015-12-17 | Xerox Corporation | Store shelf imaging system |
US20170345210A1 (en) * | 2014-12-22 | 2017-11-30 | Husqvarna Ab | Garden mapping and planning via robotic vehicle |
CN105607635A (zh) * | 2016-01-05 | 2016-05-25 | 东莞市松迪智能机器人科技有限公司 | 自动导引车全景光学视觉导航控制***及全向自动导引车 |
CN109154993A (zh) * | 2016-03-29 | 2019-01-04 | 波萨诺瓦机器人知识产权有限公司 | 用于对物品定位、识别和计数的***和方法 |
US20180005176A1 (en) * | 2016-06-30 | 2018-01-04 | Bossa Nova Robotics Ip, Inc. | Multiple Camera System for Inventory Tracking |
US20180108134A1 (en) * | 2016-10-17 | 2018-04-19 | Conduent Business Services, Llc | Store shelf imaging system and method using a vertical lidar |
US20180108120A1 (en) * | 2016-10-17 | 2018-04-19 | Conduent Business Services, Llc | Store shelf imaging system and method |
US20180330175A1 (en) * | 2017-05-10 | 2018-11-15 | Fotonation Limited | Multi-camera vision system and method of monitoring |
Non-Patent Citations (1)
Title |
---|
PENGCHENG ZHAO 等: ""Panoramic Image and Three-Axis Laser Scanner Integrated Approach for Indoor 3D Mapping"", 《REMOT SENSING》, 12 August 2018 (2018-08-12), pages 1 - 18 * |
Also Published As
Publication number | Publication date |
---|---|
DK4012531T3 (da) | 2023-11-27 |
EP4012531A1 (en) | 2022-06-15 |
EP4012531B1 (en) | 2023-08-30 |
US20220187844A1 (en) | 2022-06-16 |
FI4012531T3 (fi) | 2023-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107202571B (zh) | 用于在存储设施中执行检查的检查***和方法 | |
US20180101813A1 (en) | Method and System for Product Data Review | |
RU2587641C2 (ru) | Способ и система для совместного использования информации карт, связанной с автоматическими промышленными транспортными средствами | |
KR101988083B1 (ko) | 가동 타겟 오브젝트의 위치 탐색을 위한 시스템 및 방법 | |
US11042161B2 (en) | Navigation control method and apparatus in a mobile automation system | |
US20180313956A1 (en) | Device and method for merging lidar data | |
EP3479298A1 (en) | Multiple camera system for inventory tracking | |
US20140267703A1 (en) | Method and Apparatus of Mapping Landmark Position and Orientation | |
KR20190031431A (ko) | 물품의 위치 파악, 식별 및 카운트하는 방법 및 시스템 | |
WO2015035428A4 (en) | Airborne scanning system and method | |
US11055659B2 (en) | System and method for automatic product enrollment | |
CN101839700A (zh) | 一种非接触式影像测量*** | |
WO2013049597A1 (en) | Method and system for three dimensional mapping of an environment | |
KR101341204B1 (ko) | 레이저 스캐너 및 구조물을 이용한 모바일 로봇의 위치추정장치 및 방법 | |
EP3674830A1 (en) | Server and method for controlling laser irradiation of movement path of robot, and robot that moves based thereon | |
JP6328796B2 (ja) | マニプレータ制御方法、システム、およびマニプレータ | |
WO2021046323A1 (en) | Autonomous vehicle warehouse inventory inspection and management | |
EP4012531B1 (en) | Autonomous system for 3d mapping of a datacenter | |
Tsukiyama | Global navigation system with RFID tags | |
US20240139968A1 (en) | Visual Guidance for Locating Obstructed Mobile Robots | |
US20220180559A1 (en) | On-Site Calibration for Mobile Automation Apparatus | |
US20200182623A1 (en) | Method, system and apparatus for dynamic target feature mapping | |
KR102081093B1 (ko) | 모바일 로봇 네비게이션 시스템 | |
CN112887529A (zh) | 自主2d数据中心机架成像器 | |
CN216483094U (zh) | 一种室内移动机器人视觉定位导航*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |