CN118056398A - 俯瞰数据生成装置、俯瞰数据生成程序、俯瞰数据生成方法及机器人 - Google Patents

俯瞰数据生成装置、俯瞰数据生成程序、俯瞰数据生成方法及机器人 Download PDF

Info

Publication number
CN118056398A
CN118056398A CN202280065202.7A CN202280065202A CN118056398A CN 118056398 A CN118056398 A CN 118056398A CN 202280065202 A CN202280065202 A CN 202280065202A CN 118056398 A CN118056398 A CN 118056398A
Authority
CN
China
Prior art keywords
moving body
observed
overhead data
ground
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280065202.7A
Other languages
English (en)
Inventor
黑濑西村真衣
延原章平
西野恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Kyoto University NUC
Original Assignee
Omron Corp
Kyoto University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Kyoto University NUC filed Critical Omron Corp
Publication of CN118056398A publication Critical patent/CN118056398A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

俯瞰数据生成装置(20)包括：获取部(22)，获取表示在动态的环境下以搭载有观测装置的观测移动体的视点观测到的至少一个移动体的二维观测信息的时间序列数据；以及生成部(26)，使用与所述移动体在实际空间中的大小相关的事前信息、所述移动体在实际空间中距离所述观测移动体的相对位置及预先确定的表示所述移动体的动作的动作模型，根据所述二维观测信息的时间序列数据生成俯瞰数据。

Description

俯瞰数据生成装置、俯瞰数据生成程序、俯瞰数据生成方法及 机器人
技术领域
本公开涉及俯瞰数据生成装置、俯瞰数据生成程序、俯瞰数据生成方法及机器人。
背景技术
一直以来，已知一种基于通过在第一人称视点下拍摄得到的影像观测到的人物骨格来推测俯瞰视点下的人物位置分布的技术("MonoLoco:Monocular 3D PedestrianLocalization and Uncertainty Estimation(MonoLoco:单眼3D行人定位和不确定性估计)"，互联网检索＜URL:https://arxiv.org/abs/1906.06059＞，Jun 2019)。
另外，还已知一种对静态的地标标准的自身位置推测(SimultaneouslyLocalization and Mapping(即时定位与地图构建):SLAM)的优化对象加上移动体以进行逐步优化的技术("CubeSLAM:Monocular 3D Object SLAM(CubeSLAM:单眼3D对象SLAM)"，互联网检索＜URL:https://arxiv.org/abs/1806.00557＞，Jun 2018)。
另外，还已知一种通过GNSS(Global Navigation Satellite System:全球导航卫星***)推测位置的技术(“野外机器人学的现状和展望”、互联网检索＜URL:https://committees.jsce.or.jp/opcet_sip/system/files/0130_01.pdf＞)。
另外，还已知一种推测第一人称影像在俯瞰视点影像中的拍摄位置的技术(日本特开2021-77287号公报)。在该技术中，为了进行推测，进行对从俯瞰视点和第一人称视点两视点所提取的动作特征的对照。
发明内容
发明所要解决的技术问题
但是，在上述"MonoLoco:Monocular 3D Pedestrian Localization andUncertainty Estimation(MonoLoco:单眼3D行人定位和不确定性估计)"，互联网检索＜URL:https://arxiv.org/abs/1906.06059＞，Jun 2019记载的技术中，无法恢复观测相机的运动、周边移动体的移动轨迹。
另外，上述"CubeSLAM:Monocular 3D Object SLAM(CubeSLAM:单眼3D对象SLAM)"，互联网检索＜URL:https://arxiv.org/abs/1806.00557＞，Jun 2018记载的技术只能在静态的地标与移动体都稳定且能够进行观测的环境下应用。另外，移动体的动作模型限于简单的刚体运动，无法对应考虑了相互作用的移动体的动作。
另外，在上述“野外机器人学的现状和展望”、互联网检索＜URL:https://committees.jsce.or.jp/opcet_sip/system/files/0130_01.pdf＞记载的技术中，仅以恢复搭载有GNSS的装置自身的自身位置为对象，无法恢复周边的移动体的位置。另外，在因高层建筑等而产生遮蔽的环境下，GPS(Global Positioning System：全球定位***)电波的接收变得不稳定，位置恢复结果变得不准确。
另外，上述日本特开2021-77287号公报记载的技术无法应用于没有俯瞰视点的影像的情况。
本公开是鉴于上述方面而提出的，其目的在于提供俯瞰数据生成装置、俯瞰数据生成程序、俯瞰数据生成方法及机器人，即便是未检测出静态的地标的状况，也能够根据在动态的环境下以搭载有观测装置的观测移动体的视点观测到的二维观测信息生成表示观测移动体在地面上的移动轨迹和各个移动体在地面上的移动轨迹的俯瞰数据。
用于解决技术问题的方案
公开的第一方式是一种俯瞰数据生成装置，包括：获取部，获取表示在动态的环境下以搭载有观测装置的观测移动体的视点观测到的至少一个移动体的二维观测信息的时间序列数据；以及生成部，使用所述移动体在实际空间中距离所述观测移动体的相对位置及预先确定的表示所述移动体的动作的动作模型，根据所述二维观测信息的时间序列数据，生成从俯瞰所述观测移动体的位置观测时得到的表示所述观测移动体在地面上的移动轨迹和各个所述移动体在地面上的移动轨迹的俯瞰数据，所述移动体在实际空间中距离所述观测移动体的相对位置是使用与所述移动体在实际空间中的大小相关的事前信息和所述二维观测信息上的所述移动体的大小和位置求出的。
在上述第一方式中，也可以设为，所述事前信息是与所述移动体的大小在实际空间中的分布相关的信息，所述生成部使用所述移动体距离所述观测移动体的相对位置的分布和表示所述移动体的动作的分布的所述动作模型，根据所述二维观测信息的时间序列数据生成所述俯瞰数据，所述俯瞰数据示出表示所述观测移动体在各时刻在地面上的位置分布的所述移动轨迹和表示各个所述移动体在各时刻在地面上的位置分布的所述移动轨迹。
在上述第一方式中，也可以将所述动作模型设为表示所述移动体的等速运动的模型或者表示与所述移动体之间的相互作用相应的动作的模型。
在上述第一方式中，也可以设为，俯瞰数据生成装置还包括追踪部，所述追踪部根据所述二维观测信息的时间序列数据，追踪各个所述移动体，并获取所述二维观测信息上的各个所述移动体在各时刻的位置和大小，所述生成部根据通过所述追踪部获取到的所述二维观测信息上的各个所述移动体在各时刻的位置和大小生成所述俯瞰数据。
在上述第一方式中，也可以设为，所述生成部以使事后分布最大化的方式生成所述俯瞰数据，所述事后分布是使用所述移动体在各时刻距离所述观测移动体的相对位置和所述动作模型表示的事后分布，并且是在给出了一时刻前的所述观测移动体和各个所述移动体在地面上的位置的基础上的所述观测移动体和各个所述移动体在地面上的位置的事后分布。
在上述第一方式中，也可以设为，所述生成部通过交替反复进行以下处理来生成所述俯瞰数据：固定各个所述移动体在地面上的位置，并以优化表示所述事后分布的能量成本函数的方式推测所述观测移动体在地面上的位置和所述观测装置的观测方向；以及固定所述观测移动体在地面上的位置和所述观测装置的观测方向，并以优化表示所述事后分布的能量成本函数的方式推测各个所述移动体在地面上的位置。
在上述第一方式中，也可以设为，所述生成部在从所述二维观测信息中检测出静态的地标的条件下，使用所述二维观测信息表示的所述静态的地标生成所述俯瞰数据。
公开的第二方式是一种俯瞰数据生成程序，用于使计算机执行以下处理，所述处理包括：获取工序，获取表示在动态的环境下以搭载有观测装置的观测移动体的视点观测到的至少一个移动体的二维观测信息的时间序列数据；以及生成工程，使用所述移动体在实际空间中距离所述观测移动体的相对位置及预先确定的表示所述移动体的动作的动作模型，根据所述二维观测信息的时间序列数据，生成从俯瞰所述观测移动体的位置观测时得到的表示所述观测移动体在地面上的移动轨迹和各个所述移动体在地面上的移动轨迹的俯瞰数据，使用与所述移动体在实际空间中的大小相关的事前信息及所述二维观测信息上的所述移动体的大小和位置求出所述移动体在实际空间中距离所述观测移动体的相对位置。
公开的第三方式是一种俯瞰数据生成方法，计算机执行包括工序的处理：获取工序，获取表示在动态的环境下以搭载有观测装置的观测移动体的视点观测到的至少一个移动体的二维观测信息的时间序列数据；以及生成工程，使用所述移动体在实际空间中距离所述观测移动体的相对位置及预先确定的表示所述移动体的动作的动作模型，根据所述二维观测信息的时间序列数据，生成从俯瞰所述观测移动体的位置观测时得到的表示所述观测移动体在地面上的移动轨迹和各个所述移动体在地面上的移动轨迹的俯瞰数据，所述移动体在实际空间中距离所述观测移动体的相对位置是使用与所述移动体在实际空间中的大小相关的事前信息和所述二维观测信息上的所述移动体的大小和位置求出的。
公开的第四方式是一种机器人，包括：获取部，获取表示在动态的环境下以搭载有观测装置的机器人的视点观测到的至少一个移动体的二维观测信息的时间序列数据；生成部，使用所述机器人在实际空间中距离所述移动体的相对位置及预先确定的表示所述移动体的动作的动作模型，根据所述二维观测信息的时间序列数据，生成从俯瞰所述机器人的位置观测时得到的表示所述机器人在地面上的移动轨迹和各个所述移动体在地面上的移动轨迹的俯瞰数据，所述机器人在实际空间中距离所述移动体的相对位置是使用与所述移动体在实际空间中的大小相关的事前信息及所述二维观测信息上的所述移动体的大小和位置求出的；自主行驶部，使所述机器人自主行驶；以及控制部，使用所述俯瞰数据控制所述自主行驶部，使得所述机器人移动到目的地。
发明的效果
根据本公开，即便是未检测出静态的地标的状况，也能够根据在动态的环境下以搭载有观测装置的观测移动体的视点观测到的二维观测信息生成表示观测移动体在地面上的移动轨迹和各个移动体在地面上的移动轨迹的俯瞰数据。
附图说明
图1为示出第一实施方式涉及的机器人的概略构成的图。
图2为示出通过相机拍摄得到的图像的一例的图。
图3为示出从图像中检测人物而得的结果的一例的图。
图4为示出俯瞰数据的一例的图。
图5为示出第一、第二实施方式涉及的俯瞰数据生成装置的硬件构成的框图。
图6为示出第一、第二实施方式涉及的俯瞰数据生成装置进行的俯瞰数据生成处理的流程的流程图。
图7为示出第二实施方式涉及的信息处理终端的概略构成的图。
图8为图像的时间序列数据的一例。
图9为示出俯瞰数据的一例的图。
图10为示出各人物的位置的分布的一例。
图11为示出从图像中检测人物而得的结果的一例的图。
具体实施方式
下面参照附图对本公开的实施方式的一例进行说明。需要说明的是，在各附图中对同一或等效的构成要素和部分赋予同一参照附图标记。另外，为了便于说明，附图的尺寸比率有时会夸张，有时会与实际的比率不同。
[第一实施方式]
图1为示出本公开的第一实施方式涉及的机器人100的概略构成的图。如图1所示，机器人100具备相机10、俯瞰数据生成装置20、通知部50及自主行驶部60。俯瞰数据生成装置20具备获取部22、追踪部24、生成部26及控制部28。需要说明的是，机器人100是观测移动体的一例，相机10是观测装置的一例。
相机10在从开始地点移动至目的地期间，以预先确定的间隔对机器人100的周围进行拍摄，并将拍摄得到的图像输出到俯瞰数据生成装置20的获取部22。需要说明的是，图像是二维观测信息的一例。
例如，表示在动态的环境下以机器人100的视点观测到的至少一人的人物的图像通过相机10拍摄而得(参照图2)。
作为相机10，既可以使用透视投影的RGB相机，也可以使用鱼眼相机、360度相机。
获取部22获取通过相机10拍摄得到的图像的时间序列数据。
追踪部24根据获取到的图像的时间序列数据，追踪各个人物，并获取图像上的各个人物在各时刻的位置和大小。
例如，如图3所示，针对图像上的各个人物，检测并追踪表示该人物的边界框，并在每个时刻获取图像上的人物的中心位置(边界框的中心位置)和高度(边界框的高度)。
生成部26根据图像的时间序列数据生成从俯瞰机器人100的位置观测时得到的、表示机器人100在地面上的移动轨迹和各个人物在地面上的移动轨迹的俯瞰数据。此时，生成部26使用人物在实际空间中距离机器人100的相对位置的分布以及预先确定的表示人物的动作的分布的动作模型生成俯瞰数据，该人物在实际空间中距离机器人100的相对位置是使用与人物在实际空间中的大小有关的事前信息和图像上的各个人物的大小和位置求出的。
具体地，与人物在实际空间中的大小有关的事前信息是与人物的大小在实际空间中的分布相关的信息，动作模型是表示人物的等速运动的模型或表示与人物间的相互作用相应的动作的模型。另外，生成部26以使事后分布最大化的方式生成俯瞰数据，该事后分布是使用人物在各时刻距离机器人100的相对位置和动作模型表示的。该事后分布是在给出了一时刻前的机器人100和各个人物在地面上的位置以及当前时刻的图像上的各个人物的位置和大小的基础上的机器人100和各个人物在地面上的位置的事后分布。
上述事后分布的最大化通过下面的式来表示。
在此，＾X0:K t表示机器人100和各个人物在时刻t在地面上的位置。X1:K t表示各个人物在时刻t在地面上的位置。Z1:K t表示各个人物在时刻t距离机器人100的相对位置。需要说明的是，数学式中带帽(＾)的变量X在说明书中写成＾X。
在本实施方式中，作为一例，生成部26交替反复进行(A)固定各个人物在地面上的位置，并以使表示上述事后分布的能量成本函数最小化的方式推测机器人100在地面上的位置和相机10的观测方向；以及(B)固定机器人100在地面上的位置和相机10的观测方向，并以使表示上述事后分布的能量成本函数最小化的方式推测各个人物在地面上的位置。由此，生成部26生成俯瞰数据。
将在推测机器人100在地面上的位置和相机10的观测方向时使能量成本函数最小化用下面的(1)式子来表示。另外，将在推测各个人物在地面上的位置时使能量成本函数最小化用下面的(2)式子来表示。
在此，Δx0 t表示在时刻t从一时刻前t－1开始的机器人100在地面上的位置的变化量和相机10的观测方向的变化量。X0:K t－τ:t－1表示在从时刻t－τ到时刻t－1的各时刻的机器人100和各个人物在地面上的位置。
在此，将能量成本函数εc用下面的式子来表示。
在本实施方式中，作为一例，通过采用事后分布的负的对数来导出能量成本函数。
另外，当将动作模型设为表示等速运动的模型，设τ＝2，并将机器人100或人物设为k时，将上述式子的第一项目用下面的式子来表示。
如果k＝0，则x0 t表示在时刻t时机器人100在地面上的位置和相机10的观测方向，如果k＝1～K，则xk t表示在时刻t时人物k在地面上的位置。
另外，如下面的式子所示，第k个人物与相机10在时刻t的相对位置zk t遵循高斯分布。
其中，hk为人物在实际空间中的身高，μh表示平均，σh2表示分散。
另外，将动作模型设为表示与人物间的相互作用相应的动作的模型，将上述式子的第一项目用下面的式子来表示。
另外，将上述能量成本函数εc的第二项目用下面的式子来表示。
生成部26例如生成图4示出的那样的俯瞰数据。图4示出了用连起黑圆点而得的线表示机器人100在地面上的移动轨迹并用虚线表示机器人100在地面上的移动轨迹的例子。
控制部28使用俯瞰数据控制自主行驶部60，使得机器人100移动到目的地。例如，控制部28指定机器人100的移动方向和速度，并控制自主行驶部60以指定的移动方向和速度移动。
另外，控制部28在使用俯瞰数据判断为需要介入行动的情况下，将通知部50控制为以声音输出“请让开道路”等消息，或发出警告声。
接下来，对机器人100的俯瞰数据生成装置20的硬件构成进行说明。
如图5所示，俯瞰数据生成装置20具有CPU(Central Processing Unit：中央处理器)61、ROM(Read Only Memory：只读存储器)62、RAM(Random Access Memory：随机存取存储器)63、储存器64及通信接口(I/F)65。各构成通过总线66能够相互通信地连接。
在本实施方式中，在储存器64中保存有俯瞰数据生成程序。CPU61是中央运算处理单元，执行各种程序或控制各构成。即，CPU61从储存器64读出程序，并以RAM63为作业区域来执行程序。CPU61遵照记录在储存器64中的程序，进行对上述各构成的控制和各种运算处理。
ROM62保存各种程序和各种数据。RAM63作为作业区域临时存储程序或数据。储存器64由HDD(Hard Disk Drive：硬盘驱动器)或SSD(Solid State Drive：固态驱动器)构成，并保存包括操作***在内的各种程序和各种数据。
通信接口65是用于与其他设备进行通信的接口，例如，使用以太网(注册商标)、FDDI或Wi-Fi(注册商标)等规格。
接下来，对机器人100的作用进行说明。
在机器人100通过自主行驶部60移动至目的地时，相机10以预先确定的间隔对机器人100的周围进行拍摄。另外，俯瞰数据生成装置20定期地通过图6示出的俯瞰数据生成处理生成俯瞰数据，并基于俯瞰数据控制自主行驶部60以使得机器人100移动到目的地。
图6示为示出俯瞰数据生成装置20进行的俯瞰数据生成处理的流程的流程图。CPU61从储存器64读出俯瞰数据生成程序，并通过将该俯瞰数据生成程序在RAM63中展开并执行，来进行俯瞰数据生成处理。
在步骤S100中，CPU61作为获取部22获取通过相机10进行拍摄而得的图像的时间序列数据。
在步骤S102中，CPU61作为追踪部24根据获取到的图像的时间序列数据追踪各个人物，并获取图像上的各个人物在各时刻的位置和大小。
在步骤S104中，CPU61作为生成部26对获取到的图像的时间序列数据中的各时刻上的机器人100在地面上的位置、相机10的观测方向和各个人物在地面上的位置分别设定初始值。
在步骤S106中，CPU61作为生成部26，遵照上述(1)式子固定各个人物在地面上的位置，并以优化表示上述事后分布的能量成本函数的方式推测机器人100在地面上的位置和相机10的观测方向。
在步骤S108中，CPU61作为生成部26，遵照上述(2)式子，固定机器人100在地面上的位置和相机10的观测方向，并以优化表示上述事后分布的能量成本函数的方式推测各个人物在地面上的位置。
在步骤S110中，CPU61作为生成部26，判定是否满足预先确定的反复结束条件。例如，将反复次数到达了上限次数、能量成本函数的值收敛了等用作反复结束条件即可。在满足了反复结束条件的情况下，CPU61向步骤S112转移。另一方面，在未满足反复结束条件的情况下，CPU61返回步骤S106。
在步骤S112中，CPU61作为生成部26，生成最终得到的表示在各时刻的机器人100在地面上的位置、相机10的观测方向及各个人物在地面上的位置的俯瞰数据，将该俯瞰数据输出到控制部28，结束俯瞰数据生成处理。
控制部28使用所生成的俯瞰数据，指定机器人100的移动方向和速度，并将自主行驶部60控制为以指定的移动方向和速度移动，使得机器人100移动到目的地。另外，控制部28在使用俯瞰数据判断为需要介入行动的情况下，将通知部50控制为以声音输出“请让开道路”等消息，或发出警告声。
由此可见，在本实施方式中，获取表示在动态的环境下以搭载有相机10的机器人100的视点观测到的至少一人的人物的图像的时间序列数据。使用人物在实际空间中距离机器人100的相对位置以及预先确定的表示人物的动作的动作模型，根据图像的时间序列数据，生成表示机器人100在地面上的移动轨迹和各个人物地面上的移动轨迹的俯瞰数据，该人物在实际空间中距离机器人100的相对位置是使用与人物在实际空间中的大小有关的事前信息和图像上的人物的大小和位置求出的。由此，即便是未检测出静态的地标的状况，也能够根据在动态的环境下以搭载有相机10的机器人100的视点观测到的图像，生成表示机器人100在地面上的移动轨迹和各个人物在地面上的移动轨迹的俯瞰数据。
[第二实施方式]
接下来，对第二实施方式涉及的俯瞰数据生成装置进行说明。需要说明的是，对于作为与第一实施方式同样的构成的部分，标注同一附图标记以省略详细的说明。
在第二实施方式中，以在用户所保持的信息处理终端中具备俯瞰数据生成装置的情况为例进行说明。
图7为示出本公开的第二实施方式涉及的信息处理终端200的概略构成的图。如图7所示，信息处理终端200具备相机10、俯瞰数据生成装置220及输出部250。俯瞰数据生成装置220具备获取部22、追踪部24及生成部26。需要说明的是，用户是观测移动体的一例，相机10是观测装置的一例。
信息处理终端200直接由用户保持或搭载于用户所保持的保持物体(例如行李箱)。
相机10以预先确定的间隔对用户的周围进行拍摄，并将拍摄得到的图像输出到俯瞰数据生成装置220的获取部22。
生成部26根据图像的时间序列数据生成从俯瞰用户的位置观测时得到的表示用户在地面上的移动轨迹和各个人物在地面上的移动轨迹的俯瞰数据，并将该俯瞰数据向输出部250输出。此时，生成部26使用人物在实际空间中距离用户的相对位置以及预先确定的表示人物的动作的动作模型生成俯瞰数据，该人物在实际空间中距离用户的相对位置是使用与人物在实际空间中的大小有关的事前信息和图像上各个人物的大小和位置求出的。
输出部250将所生成的俯瞰数据展示给用户，或通过互联网向服务器(省略图示)发送俯瞰数据。
另外，如图5所示，俯瞰数据生成装置220具有与上述第一实施方式的俯瞰数据生成装置20同样的硬件构成。
需要说明的是，关于俯瞰数据生成装置220的其他构成和作用，由于与第一实施方式是同样的，故而省略说明。
由此可见，在本实施方式中，获取表示在动态的环境下以保持有具有相机10的信息处理终端200的用户的视点观测到的至少一人的人物的图像的时间序列数据。使用人物在实际空间中距离用户的相对位置以及预先确定的表示人物的动作的动作模型，根据图像的时间序列数据，生成表示用户在地面上的移动轨迹和各个人物在地面上的移动轨迹的俯瞰数据，该人物在实际空间中距离用户的相对位置是使用与人物在实际空间中的大小有关的事前信息和图像上的人物大小和位置求出的。由此，即便是未检测出静态的地标的状况，也能够根据在动态的环境下以保持有具有相机10的信息处理终端200的用户的视点观测到的图像，生成表示用户在地面上的移动轨迹和各个人物在地面上的移动轨迹的俯瞰数据。
本公开也能够应用于自动驾驶车辆。在该情况下，观测移动体为自动驾驶车辆，观测装置为相机、激光雷达、毫米波雷达，移动体为其他车辆、摩托车、步行者等。
[实施例]
对通过上述第一实施方式的俯瞰数据生成装置20根据图像的时间序列数据生成俯瞰数据的例子进行说明。
在本实施例中，以在图8示出的那样的拥挤环境下拍摄得到的图像的时间序列数据为输入。在图8中，示出了以由时刻t、t+1、t+2的图像11、12、13构成的时间序列数据为输入的例子。此时，通过俯瞰数据生成装置20生成了图9示出的那样的俯瞰数据。在图9中，示出了俯瞰数据表示在时刻t、t+1、t+2时机器人100和各个人物在地面上的位置的例子。
[变形例]
需要说明的是，在上述实施方式中，对机器人100、信息处理终端200具备俯瞰数据生成装置20、220的情况进行了说明，但是也可以将俯瞰数据生成装置20、220的功能设置于外部服务器。在该情况下，机器人100、信息处理终端200将通过相机10拍摄得到的图像的时间序列数据发送到外部服务器。外部服务器根据所发送的图像的时间序列数据生成俯瞰数据，并将该俯瞰数据发送到机器人100、信息处理终端200。
另外，也可以设为，在俯瞰数据中，将各时刻的机器人100、用户的位置和各人物的位置表示为图10示出的那样的概率分布。在该情况下，生成部26根据图像的时间序列数据生成表示表示机器人100、用户在各时刻在地面上的位置分布的移动轨迹和表示各个人物在各时刻在地面上的位置分布的移动轨迹的俯瞰数据。
另外，生成部26也可以在从通过相机10拍摄得到的图像中检测出静态的地标的条件下，使用图像表示的静态的地标生成俯瞰数据。例如，也可以使用上述"CubeSLAM:Monocular 3D Object SLAM"，互联网检索＜URL:https://arxiv.org/abs/1806.00557＞，Jun 2018记载的技术。在该情况下，也可以设为，在从通过相机10拍摄得到的图像中检测出静态的地标的条件下，使用图像表示的静态的地标生成俯瞰数据，在未从通过相机10拍摄得到的图像中检测出静态的地标的条件(例如拥挤的环境)下，通过上述实施方式中所说明的手法生成俯瞰数据。另外，也可以设为将使用图像表示的静态的地标生成的俯瞰数据和通过上述实施方式中所说明的手法生成的俯瞰数据集成。
另外，以将通过数学式规定的模型用作移动模型的情况为例进行了说明，但是并不限定于此。也可以将预先学习的DNN(Deep Neural Network：深度神经网络)模型用作移动模型。例如，也可以将以周边各个人物的相对位置为输入并输出下一时刻步骤的对象人物的位置的DNN模型用作移动模型。
另外，以如下情况为例进行了说明，即，针对图像上的各个人物，追踪部24检测并追踪表示该人物的边界框，并在每个时刻获取图像上的人物的中心位置(边界框的中心位置)和高度(边界框的高度)，但是并不限定于此。例如，也可以设为，针对图像上的各个人物，追踪部24检测并追踪表示该人物的人物骨格，并在每个时刻获取图像上的人物的中心位置(人物骨格的中心位置)和高度(人物骨格的高度)。另外，如图11所示，也可以设为，针对图像上的各个人物，追踪部24检测并追踪表示该人物的高度的线，并在每个时刻获取图像上的人物的中心位置(线的中心位置)和高度(线的高度)。
另外，以二维观测信息为图像的情况为例进行了说明，但是并不限定于此。例如，如果观测装置是事件相机的话，也可以针对各像素，将具有与动作相应的像素值的数据用作二维观测信息。
另外，以俯瞰数据表示的移动体是人物的情况为例进行了说明，但是并不限定于此。例如，俯瞰数据表示的移动体也可以是自行车、车辆等个人交通工具。
另外，在上述各实施方式中，也可以由CPU读入并执行软件(程序)，而由CPU以外的各种处理器执行俯瞰数据生成处理。作为该情况下的处理器，可例示在制造了FPGA(Field-Programmable Gate Array：现场可编程门阵列)等后能够变更电路构成的PLD(Programmable Logic Device：可编程逻辑器件)和ASIC(Application SpecificIntegrated Circuit：专用集成电路)等作为具有为执行特定处理而专门设计的电路构成的处理器的专用电器电路等。另外，既可以利用这些的各种处理器中的一个来执行俯瞰数据生成处理，也可以利用同种类或不同种类的两个以上的处理器的组合(例如多个FPGA和CPU与FPGA的组合等)来执行俯瞰数据生成处理。另外，更具体地，这些的各种处理器的硬件结构是组合了半导体元件等电路元件而得的电路。
另外，在上述各实施方式中，说明了俯瞰数据生成程序预先存储于储存器64的方式，但是并不限定于此。程序以被记录于CD-ROM(Compact Disc Read Only Memory：只读光盘存储器)、DVD-ROM(Digital Versatile Disc Read Only Memory：数字多功能光盘只读存储器)及USB(Universal Serial Bus：通用串行总线)存储器等记录介质的方式提供。另外，也可以将程序设为通过网络从外部装置下载的方式。
(附录)
关于上面的实施方式，进一步公开下面的附录。
(附录项1)
一种俯瞰数据生成装置：包括：
存储器；以及
至少一个处理器，连接到所述存储器，
所述处理器
获取表示在动态的环境下以搭载有观测装置的观测移动体的视点观测到的至少一个移动体的二维观测信息的时间序列数据；以及
使用所述移动体在实际空间中距离所述观测移动体的相对位置以及预先确定的表示所述移动体的动作的动作模型，根据所述二维观测信息的时间序列数据，生成从俯瞰所述观测移动体的位置观测时得到的表示所述观测移动体在地面上的移动轨迹和各个所述移动体在地面上的移动轨迹的俯瞰数据，使用与所述移动体在实际空间中的大小相关的事前信息以及所述二维观测信息上的所述移动体的大小和位置求出所述移动体在实际空间中距离所述观测移动体的相对位置。
(附录项2)
一种非临时存储介质，存储通过计算机能够执行的程序以便执行俯瞰数据生成处理，
在所述俯瞰数据生成处理中，
获取表示在动态的环境下以搭载有观测装置的观测移动体的视点观测到的至少一个移动体的二维观测信息的时间序列数据；以及
使用所述移动体在实际空间中距离所述观测移动体的相对位置以及预先确定的表示所述移动体的动作的动作模型，根据所述二维观测信息的时间序列数据，生成从俯瞰所述观测移动体的位置观测时得到的表示所述观测移动体在地面上的移动轨迹和各个所述移动体在地面上的移动轨迹的俯瞰数据，使用与所述移动体在实际空间中的大小相关的事前信息以及所述二维观测信息上的所述移动体的大小和位置求出所述移动体在实际空间中距离所述观测移动体的相对位置。
通过参照将日本专利申请2021-177665的公开整个纳入到本说明书中。
关于本说明书记载的所有的文献、专利申请及技术规格，通过参照纳入各个文献、专利申请及技术规格，这与分别具体记载的情况是程度同等的，通过参照而纳入到本说明书中。

Claims (10)

1.一种俯瞰数据生成装置，包括：
获取部，获取表示在动态的环境下以搭载有观测装置的观测移动体的视点观测到的至少一个移动体的二维观测信息的时间序列数据；以及
生成部，使用所述移动体在实际空间中距离所述观测移动体的相对位置及预先确定的表示所述移动体的动作的动作模型，根据所述二维观测信息的时间序列数据，生成从俯瞰所述观测移动体的位置观测时得到的表示所述观测移动体在地面上的移动轨迹和各个所述移动体在地面上的移动轨迹的俯瞰数据，所述移动体在实际空间中距离所述观测移动体的相对位置是使用与所述移动体在实际空间中的大小相关的事前信息和所述二维观测信息上的所述移动体的大小和位置求出的。
2.根据权利要求1所述的俯瞰数据生成装置，其中，
所述事前信息是与所述移动体的大小在实际空间中的分布相关的信息，
所述生成部使用所述移动体距离所述观测移动体的相对位置的分布和表示所述移动体的动作的分布的所述动作模型，根据所述二维观测信息的时间序列数据生成所述俯瞰数据，所述俯瞰数据示出表示所述观测移动体在各时刻在地面上的位置分布的所述移动轨迹和表示各个所述移动体在各时刻在地面上的位置分布的所述移动轨迹。
3.根据权利要求1或2所述的俯瞰数据生成装置，其中，
所述动作模型是表示所述移动体的等速运动的模型或者表示与所述移动体之间的相互作用相应的动作的模型。
4.根据权利要求1至3中任一项所述的俯瞰数据生成装置，其中，
所述俯瞰数据生成装置还包括追踪部，所述追踪部根据所述二维观测信息的时间序列数据，追踪各个所述移动体，并获取所述二维观测信息上的各个所述移动体在各时刻的位置和大小，
所述生成部根据通过所述追踪部获取到的所述二维观测信息上的各个所述移动体在各时刻的位置和大小生成所述俯瞰数据。
5.根据权利要求1至4中任一项所述的俯瞰数据生成装置，其中，
所述生成部以使事后分布最大化的方式生成所述俯瞰数据，所述事后分布是使用所述移动体在各时刻距离所述观测移动体的相对位置和所述动作模型表示的事后分布，并且是在给出了一时刻前的所述观测移动体和各个所述移动体在地面上的位置的基础上的所述观测移动体和各个所述移动体在地面上的位置的事后分布。
6.根据权利要求5所述的俯瞰数据生成装置，其中，
所述生成部通过交替反复进行以下处理来生成所述俯瞰数据：
固定各个所述移动体在地面上的位置，并以优化表示所述事后分布的能量成本函数的方式推测所述观测移动体在地面上的位置和所述观测装置的观测方向；以及
固定所述观测移动体在地面上的位置和所述观测装置的观测方向，并以优化表示所述事后分布的能量成本函数的方式推测各个所述移动体在地面上的位置。
7.根据权利要求1至6中任一项所述的俯瞰数据生成装置，其中，
所述生成部在从所述二维观测信息中检测出静态的地标的条件下，使用所述二维观测信息表示的所述静态的地标生成所述俯瞰数据。
8.一种用于使计算机执行以下处理的俯瞰数据生成程序，所述处理包括：
获取工序，获取表示在动态的环境下以搭载有观测装置的观测移动体的视点观测到的至少一个移动体的二维观测信息的时间序列数据；以及
生成工程，使用所述移动体在实际空间中距离所述观测移动体的相对位置及预先确定的表示所述移动体的动作的动作模型，根据所述二维观测信息的时间序列数据，生成从俯瞰所述观测移动体的位置观测时得到的表示所述观测移动体在地面上的移动轨迹和各个所述移动体在地面上的移动轨迹的俯瞰数据，使用与所述移动体在实际空间中的大小相关的事前信息及所述二维观测信息上的所述移动体的大小和位置求出所述移动体在实际空间中距离所述观测移动体的相对位置。
9.一种俯瞰数据生成方法，计算机执行包括以下工序的处理：
获取工序，获取表示在动态的环境下以搭载有观测装置的观测移动体的视点观测到的至少一个移动体的二维观测信息的时间序列数据；以及
生成工程，使用所述移动体在实际空间中距离所述观测移动体的相对位置及预先确定的表示所述移动体的动作的动作模型，根据所述二维观测信息的时间序列数据，生成从俯瞰所述观测移动体的位置观测时得到的表示所述观测移动体在地面上的移动轨迹和各个所述移动体在地面上的移动轨迹的俯瞰数据，所述移动体在实际空间中距离所述观测移动体的相对位置是使用与所述移动体在实际空间中的大小相关的事前信息和所述二维观测信息上的所述移动体的大小和位置求出的。
10.一种机器人，包括：
获取部，获取表示在动态的环境下以搭载有观测装置的机器人的视点观测到的至少一个移动体的二维观测信息的时间序列数据；
生成部，使用所述机器人在实际空间中距离所述移动体的相对位置及预先确定的表示所述移动体的动作的动作模型，根据所述二维观测信息的时间序列数据，生成从俯瞰所述机器人的位置观测时得到的表示所述机器人在地面上的移动轨迹和各个所述移动体在地面上的移动轨迹的俯瞰数据，所述机器人在实际空间中距离所述移动体的相对位置是使用与所述移动体在实际空间中的大小相关的事前信息及所述二维观测信息上的所述移动体的大小和位置求出的；
自主行驶部，使所述机器人自主行驶；以及
控制部，使用所述俯瞰数据控制所述自主行驶部，使得所述机器人移动到目的地。
CN202280065202.7A 2021-10-29 2022-10-04 俯瞰数据生成装置、俯瞰数据生成程序、俯瞰数据生成方法及机器人 Pending CN118056398A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021177665A JP7438510B2 (ja) 2021-10-29 2021-10-29 俯瞰データ生成装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット
JP2021-177665 2021-10-29
PCT/JP2022/037139 WO2023074279A1 (ja) 2021-10-29 2022-10-04 俯瞰データ生成装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット

Publications (1)

Publication Number Publication Date
CN118056398A true CN118056398A (zh) 2024-05-17

Family

ID=86157838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280065202.7A Pending CN118056398A (zh) 2021-10-29 2022-10-04 俯瞰数据生成装置、俯瞰数据生成程序、俯瞰数据生成方法及机器人

Country Status (3)

Country Link
JP (2) JP7438510B2 (zh)
CN (1) CN118056398A (zh)
WO (1) WO2023074279A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11258427B2 (en) 2016-11-25 2022-02-22 Tohoku University Acoustic wave devices
JP7138856B2 (ja) 2018-06-04 2022-09-20 国立大学法人 東京大学 俯瞰映像提示システム
JP7322670B2 (ja) 2019-11-13 2023-08-08 オムロン株式会社 自己位置推定モデル学習方法、自己位置推定モデル学習装置、自己位置推定モデル学習プログラム、自己位置推定方法、自己位置推定装置、自己位置推定プログラム、及びロボット
JP7400371B2 (ja) 2019-11-13 2023-12-19 オムロン株式会社 ロボット制御モデル学習方法、ロボット制御モデル学習装置、ロボット制御モデル学習プログラム、ロボット制御方法、ロボット制御装置、ロボット制御プログラム、及びロボット

Also Published As

Publication number Publication date
JP2023066840A (ja) 2023-05-16
JP2024060619A (ja) 2024-05-02
WO2023074279A1 (ja) 2023-05-04
JP7438510B2 (ja) 2024-02-27

Similar Documents

Publication Publication Date Title
US10884110B2 (en) Calibration of laser and vision sensors
US10748061B2 (en) Simultaneous localization and mapping with reinforcement learning
Kolhatkar et al. Review of SLAM algorithms for indoor mobile robot with LIDAR and RGB-D camera technology
CN110796692A (zh) 用于同时定位与建图的端到端深度生成模型
CN107735797B (zh) 用于确定第一坐标系与第二坐标系之间的运动的方法
US10909411B2 (en) Information processing apparatus, information processing method, and computer program product
US20190301871A1 (en) Direct Sparse Visual-Inertial Odometry Using Dynamic Marginalization
US20110169923A1 (en) Flow Separation for Stereo Visual Odometry
KR20150144727A (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US11741720B2 (en) System and method for tracking objects using using expanded bounding box factors
Warren et al. Large scale monocular vision-only mapping from a fixed-wing sUAS
EP3258443B1 (en) Information processing device and method
EP4060445A1 (en) Self-position estimation model learning method, self-position estimation model learning device, self-position estimation model learning program, self-position estimation method, self-position estimation device, self-position estimation program, and robot
Pokhrel Drone obstacle avoidance and navigation using artificial intelligence
CN118056398A (zh) 俯瞰数据生成装置、俯瞰数据生成程序、俯瞰数据生成方法及机器人
Silva et al. Towards a grid based sensor fusion for visually impaired navigation using sonar and vision measurements
US20230012905A1 (en) Proximity detection for automotive vehicles and other systems based on probabilistic computing techniques
JP2020064029A (ja) 移動体制御装置
US11443184B2 (en) Methods and systems for predicting a trajectory of a road agent based on an intermediate space
JP7438515B2 (ja) 俯瞰データ生成装置、学習装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット
WO2023176854A1 (ja) 俯瞰データ生成装置、学習装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット
Ravipati Vision Based Vehicle Localization for Infrastructure Enabled Autonomy
US20230102186A1 (en) Apparatus and method for estimating distance and non-transitory computer-readable medium containing computer program for estimating distance
US11448511B2 (en) System and method for probabilistic multi-robot positioning
Katiyar et al. Object Detection and Depth Estimation Using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination