CN110047105A - 信息处理装置、信息处理方法及存储介质 - Google Patents

信息处理装置、信息处理方法及存储介质 Download PDF

Info

Publication number
CN110047105A
CN110047105A CN201910035618.4A CN201910035618A CN110047105A CN 110047105 A CN110047105 A CN 110047105A CN 201910035618 A CN201910035618 A CN 201910035618A CN 110047105 A CN110047105 A CN 110047105A
Authority
CN
China
Prior art keywords
information
learning model
information processing
processing unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910035618.4A
Other languages
English (en)
Other versions
CN110047105B (zh
Inventor
宫谷苑子
藤木真和
小林一彦
铃木雅博
富冈诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110047105A publication Critical patent/CN110047105A/zh
Application granted granted Critical
Publication of CN110047105B publication Critical patent/CN110047105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种信息处理装置、信息处理方法及存储介质。从用于输出与拍摄图像相对应的几何信息而学习的多个学习模型中，获取与设置区域相对应的学习模型。

Description

信息处理装置、信息处理方法及存储介质
技术领域
本发明涉及一种信息处理装置、信息处理方法及非暂时性计算机可读存储介质，特别地涉及操纵学习模型的信息处理技术。
背景技术
为了诸如在混合现实/增强现实中物理空间与虚拟物体之间的对准、机器人或机动车的自身位置评估以及物体或空间的三维建模等的各种目的，使用基于图像信息对摄像设备的位置和朝向的测量。
K.Tateno,F.Tombari,I.Laina,and N.Navab,"CNN-SLAM:Real-time densemonocular SLAM with learned depth prediction",IEEE Computer SocietyConference on Computer Vision and Pattern Recognition(CVPR),2017公开了如下方法：使用预先学习的学习模型，根据图像来评估几何信息(深度信息)，并基于评估出的深度信息计算位置和朝向，该几何信息是用于计算位置和朝向的指标。
在K.Tateno,F.Tombari,I.Laina,and N.Navab,"CNN-SLAM:Real-time densemonocular SLAM with learned depth prediction",IEEE Computer SocietyConference on Computer Vision and Pattern Recognition (CVPR),2017中，需要预先准备学习模型。然而，准备涵盖所有场景的学习模型是困难的，因为这会花费很多时间和劳动。
发明内容
本发明提供了一种有效率进行对学习模型的准备的技术。
根据本发明的第一方面，提供了一种信息处理装置，该信息处理装置包括：设置单元，其被构造成对设置区域进行设置；以及获取单元，其被构造成从用于输出与拍摄图像相对应的几何信息而学习的多个学习模型中，获取与所述设置区域相对应的学习模型。
根据本发明的第二方面，提供了一种信息处理装置，该信息处理装置包括：呈现单元，其被构造成对于用于输出与拍摄图像相对应的几何信息而学习的多个学习模型中的各个学习模型，显现表示如下区域的信息，该区域包括所述拍摄图像的摄像位置；以及获取单元，其被构造成获取与用户从由所述呈现单元呈现的信息中选择的信息相对应的学习模型。
根据本发明的第三方面，提供了一种由信息处理装置进行的信息处理方法，所述信息处理方法包括：对设置区域进行设置；以及从用于输出与拍摄图像相对应的几何信息而学习的多个学习模型中，获取与所述设置区域相对应的学习模型。
根据本发明的第四方面，提供了一种由信息处理装置进行的信息处理方法，所述信息处理方法包括：对于用于输出与拍摄图像相对应的几何信息而学习的多个学习模型中的各个学习模型，呈现表示如下区域的信息，该区域包括所述拍摄图像的摄像位置；以及获取与用户从所呈现的信息中选择的信息相对应的学习模型。
根据本发明的第五方面，提供了一种存储计算机程序的非暂时性计算机可读存储介质，所述计算机程序被构造成使计算机用作：设置单元，其被构造成对设置区域进行设置；以及获取单元，其被构造成从用于输出与拍摄图像相对应的几何信息而学习的多个学习模型中，获取与所述设置区域相对应的学习模型。
根据本发明的第六方面，提供了一种存储计算机程序的非暂时性计算机可读存储介质，所述计算机程序被构造成使计算机用作：呈现单元，其被构造成对于用于输出与拍摄图像相对应的几何信息而学习的多个学习模型中的各个学习模型，显现表示如下区域的信息，该区域包括所述拍摄图像的摄像位置；以及获取单元，其被构造成获取与用户从由所述呈现单元呈现的信息中选择的信息相对应的学习模型。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是示出了***的功能配置的示例的框图；
图2是信息处理装置100进行的处理的流程图；
图3是示出了学习模型信息的显示示例的图；
图4是示出了***的功能配置的示例的框图；
图5是信息处理装置400进行的处理的流程图；
图6是示出了显示单元403的显示画面的示例的图；
图7是示出了***的功能配置的示例的框图；
图8是示出了信息处理装置700的功能配置的示例的框图；
图9是信息处理装置700进行的处理的流程图；
图10是示出了包含区域信息的显示示例的图；
图11是示出了信息处理装置1100的功能配置的示例的框图；
图12是信息处理装置1100进行的处理的流程图；
图13是示出了信息处理装置1300的功能配置的示例的框图；
图14是信息处理装置1300进行的处理的流程图；以及
图15是示出了计算机装置的硬件配置的示例的框图。
具体实施方式
现将参照附图详细描述本发明的实施例。注意，下面要描述的实施例是本发明的具体实施的示例或者是在所附权利要求中描述的配置的具体示例。
[第一实施例]
在本实施例中，将描述应用于如下汽车导航装置的***的示例，该汽车导航装置进行向目的地点的引导。更具体地说，基于从汽车导航装置获得的自出发点到目的地点的路径来设置区域，并获取与该设置区域相对应的学习模型。学习模型是用于根据输入图像来评估(estimate)对应的几何信息的模型，并且在本实施例中例如为CNN(ConvolutionalNeural Network，卷积神经网络)。几何信息是保持与输入图像的各像素相对应的深度值的深度图。通过基于多个图像以及在与所述多个图像相同的时间拍摄相同的视野而获得的多个深度图来预先学习(已经学习过了)，以生成学习模型，使得当输入图像时，能够评估出对应的深度图。注意，在本实施例中，评估出的几何信息的用途没有特别的限制，并且，例如可以用于诸如碰撞预测和碰撞避免等的控制。
首先将参照图1的框图来描述根据本实施例的***的功能配置的示例。如图1所示，根据本实施例的***包括汽车导航装置103、信息处理装置100、生成单元104以及存储设备105。注意，图1将汽车导航装置103、信息处理装置100、生成单元104以及存储设备105作为单独的设备进行示出。然而，可以将这些设备中的两个或更多个设备形成为一个设备。
首先，将说明汽车导航装置103。汽车导航装置103包括获取自身的当前位置的GPS以及显示画面，该显示画面显示包括地图图像的各种信息。另外，在汽车导航装置103中，不同区域的地图图像以不同比例登记。在显示画面上显示由GPS测量的当前位置或者由用户操作汽车导航装置103所指定的位置的周边的地图图像。当用户通过操作汽车导航装置103进行设置目的地点的操作时，汽车导航装置103获得从出发点(当前位置)到目的地点的路径。然后，汽车导航装置103在显示画面上显示关于所获得的路径的信息，并向信息处理装置100输出关于路径的信息作为路径信息。路径信息包括“出发点的位置”、“目的地点的位置”以及“在从出发点到目的地点的路径上的途中点(way point)的位置”。例如，“出发点的位置”、“目的地点的位置”以及“途中点的位置”由经度和纬度表示。
接下来，将描述存储设备105。在存储设备105中，登记有用于当输入拍摄图像时输出对应的几何信息而学习的多个学习模型。例如，多个学习模型中的各个均为通过如下学习处理而生成的学习模型。即，对于各学习数据，获得当学习数据所包括的拍摄图像输入到学习模型时从学习模型中输出的几何信息与学习数据所包括的几何信息(训练数据)之间的差异。然后，更新学习模型以使针对学习数据获得的差异的总和最小化。当使用如下条件(学习环境)下的学习数据进行学习处理时，可以生成与相互不同条件相对应的学习模型：该条件在学习模型之间发生改变。注意，对于登记在存储设备105中的各学习模型，表示在学习模型的学习处理中使用的各拍摄图像的摄像位置(例如，纬度和经度)的信息(摄像位置信息)是相关联的。注意，可以使用任何学习模型，只要当输入图像时能输出对应的几何信息即可。例如，可以使用机器学习的模型作为学习模型，并且学习模型不限于CNN。
接下来，将描述信息处理装置100。如图1所示，信息处理装置100包括区域设置单元101和获取单元102。区域设置单元101基于从汽车导航装置103中获取的信息来对设置区域进行设置。在本实施例中，区域设置单元101从汽车导航装置103中获取路径信息。对于路径信息中包括的“出发点的位置”、“目的地点的位置”和“途中点的位置”中的各个位置，根据本实施例的区域设置单元101将包括该位置的区域设置为设置区域。例如，对于“出发点的位置”、“目的地点的位置”和“途中点的位置”中的各个位置，区域设置单元101将以该位置为中心的圆形区域或矩形区域(以该位置为中心的经度和纬度的范围)设置为设置区域。注意，设置区域不限于圆形区域或矩形区域，而可以例如为包括“出发点的位置”、“目的地点的位置”和“途中点的位置”中的各个位置的行政区划(城镇、城市、县等)的区域。
对于登记在存储设备105中的各学习模型，获取单元102确定在与学习模型相关联的摄像位置信息中，表示设置区域中的摄像位置的摄像位置信息的数量是否为N(N是1或大于1的整数)或者更大。获取单元102将如下学习模型决定为获取目标，并从存储设备105中获取所决定的获取目标的学习模型：针对该学习模型，确定“表示设置区域中的摄像位置的摄像位置信息的数量为N或者更大”。由此，获取单元102获取如下学习模型：在学习处理中，该学习模型已使用了在由汽车导航装置103获得的路径上的及该路径附近的区域中拍摄的图像。
接下来，将描述生成单元104。生成单元104生成在诸如汽车导航装置103的显示画面等的显示设备的显示画面上待显示的显示信息。根据本实施例的生成单元104生成与获取单元104已从存储设备105中获取的学习模型有关的信息，作为学习模型信息。例如，生成单元104生成如下学习模型信息，该学习模型信息包括诸如由获取单元102获取的学习模型的文件名称、学习模型的生成日期/时间以及对学习模型进行学习所使用的拍摄图像的摄像日期/时间和摄像位置等的信息。然后，生成单元104向汽车导航装置103输出所生成的学习模型信息。在汽车导航装置103的显示画面上显示关于如下学习模型的学习模型信息的列表(参照图3)，该学习模型已使用在由汽车导航装置103获得的路径上及该路线附近的区域中拍摄的图像进行了学习。如图3所示，除了出发点、目的地点以及出发点与目的地点之间的路径之外，在汽车导航装置103的显示画面上还显示由获取单元102获取的学习模型a、学习模型b和学习模型c的名称以及这些学习模型的适用范围。学习模型a是在学习处理中已使用了在出发点及其周边拍摄的图像的学习模型。学习模型b是在学习处理中已使用了在途中点及其周边拍摄的图像的学习模型。学习模型c是在学习处理中已使用了在目的地点及其周边拍摄的图像的学习模型。学习模型a的适用范围是包含了由与学习模型a相关联的摄像位置信息组表示的摄像位置组的区域。学习模型b的适用范围是包含了由与学习模型b相关联的摄像位置信息组表示的摄像位置组的区域。学习模型c的适用范围是包含了由与学习模型c相关联的摄像位置信息组表示的摄像位置组的区域。
接下来，将参照图2描述根据本实施例的信息处理装置100进行的处理。根据图2的流程图的处理是在区域设置单元101从汽车导航装置103中获取路径信息之后由信息处理装置100进行的处理。
在步骤S200中，对于从汽车导航装置103中获取的路径信息中所包括的“出发点的位置”、“目的地点的位置”和“途中点的位置”中的各个位置，区域设置单元101将包括该位置的区域设置为设置区域。
在步骤S201中，对于登记在存储设备105中的各学习模型，获取单元102确定在与学习模型相关联的摄像位置信息中，表示设置区域中的摄像位置的摄像位置信息的数量是否为N或者更大。获取单元102将如下学习模型决定为获取目标，并从存储设备105中获取所决定的获取目标的学习模型：针对该学习模型，确定“表示设置区域中的摄像位置的摄像位置信息的数量为N或者更大”。
注意，如果不存在“表示设置区域中的摄像位置的摄像位置信息的数量为N或者更大”的学习模型，则在设置区域中可以禁止对几何信息的评估。另外，如果存在“表示设置区域中的摄像位置的摄像位置信息的数量为N或者更大”的多个学习模型，则如稍后将描述的第三实施例中所述，可以从多个学习模型中评估几何信息。
如上所述，根据本实施例，可以获取与从出发点到目的地点的路径及其周边相对应的学***均摄像位置)。
<第一变型例>
在以下包括该变型例的各实施例和各变型例中，将描述与第一实施例的区别。除非另有特别说明，否则假定其余部分与第一实施例相同。在第一实施例中，获取与包括了出发点、目的地点和途中点的周边区域相对应的学习模型。然而，可以获取与这些点中一个点的周边区域相对应的学习模型。例如，当获取与用户在汽车导航装置103中指定的目的地点的周边相对应的学习模型时，处理与第一实施例的区别在于，在图2的步骤S200中进行以下处理。注意，在以下说明中，在利用“出发点”或“途中点”或“由GPS测量的当前位置”替换“目的地点”时，可以获取与出发点的周边相对应的学习模型、与途中点的周边相对应的学习模型或与当前位置的周边相对应的学习模型。
在步骤S200中，区域设置单元101将从汽车导航装置103中获取的路径信息中包括“目的地点的位置”的区域设置为设置区域。这使得能够获取与目的地点的周边相对应的学习模型。
<第二变型例>
在本变型例中，获取与由用户在汽车导航装置103中指定的区域相对应的学习模型。当用户指定在汽车导航装置103的显示画面上的圆形区域或矩形区域作为指定区域时，汽车导航装置103向信息处理装置100输出定义了指定区域的信息(指定区域信息)。例如，在指定区域为圆形区域的情况下，指定区域信息表示与圆形区域的中心相对应的纬度和经度、以及与圆形区域的半径相对应的距离(可以根据地图图像的比例和在显示画面上的圆形区域的半径计算出的实际半径)。另外，例如，在指定区域为矩形区域的情况下，指定区域信息表示与矩形区域的左上角和右下角相对应的纬度和经度。区域设置单元101将由从汽车导航装置103中输出的指定区域信息表示的指定区域设置为设置区域。获取单元102的操作与第一实施例相同。
在本变型例中，处理与第一实施例的区别在于，在图2所示的流程图的步骤S200中进行以下处理。在步骤S200中，区域设置单元101将由从汽车导航装置103中输出的指定区域信息表示的指定区域设置为设置区域。这使得能够获取与由用户在地图上指定的区域相对应的学习模型。
注意，指定区域的指定方法不限于特定的指定方法。例如，可以在汽车导航装置103的显示画面上显示地址或地名的列表，并且可以将与由用户在列表中指定的地址或地名相对应的区域设置为指定区域。可选地，可以将与由用户以文字或语音形式输入的地址或地名相对应的区域设置为指定区域。指定区域可以包括指定区域和指定区域的周边区域。
<第三变型例>
在本变型例中，从存储设备105中获取与当前位置相对应的学习模型。根据本实施例的汽车导航装置103向信息处理装置100输出由GPS测量的当前位置。
与第一实施例相同，获取单元102获取学习模型作为获取目标。然后，基于从汽车导航装置103中获取的当前位置，获取单元102在所决定的获取目标的学习模型中选择从存储设备105中实际待获取的至少一个学习模型。例如，获取单元102从存储设备105中获取与表示如下摄像位置的摄像位置信息相关联的学习模型，该摄像位置到当前位置的距离等于或小于阈值。因而可以根据当前位置获取学习模型。
注意，如果不存在与表示与当前位置的距离等于或小于阈值的摄像位置的摄像位置信息相关联的学习模型，则在设置区域中可以禁止对几何信息的评估。另外，如果存在与表示与当前位置的距离等于或小于阈值的摄像位置的摄像位置信息相关联的多个学习模型，则如稍后将描述的第三实施例中所述，可以从多个学习模型中评估几何信息。
在本变型例中，处理与第一实施例的区别在于，在图2所示的流程图的步骤S201中进行以下处理。在步骤S201中，如第一实施例中所述，获取单元102获取学习模型作为获取目标。然后，基于从汽车导航装置103中获取的当前位置，获取单元102在所决定的获取目标的学习模型中选择从存储设备105中实际待获取的至少一个学习模型。后续处理与第一实施例中相同。
注意，从存储设备105中获取学习模型的定时(timing)不限于上述示例。例如，对于各学习模型，基于学习模型的数据大小和从存储设备105中的数据读取速度，预先获得从存储设备105中获取(读出)学习模型所需的时间(获取时间)，并将该获取时间登记在存储设备105中。然后，获取单元102获得移动速度与如下学习模型(目标学习模型)的获取时间的乘积(距离)作为基准距离，该学习模型被选择作为从存储设备105中待获取的学习模型。“移动速度”例如是包括汽车导航装置103的车辆的移动速度。然后，当由与目标学习模型相关联的多条摄像位置信息中的一条摄像位置信息表示的摄像位置与当前位置之间的距离下降到低于基准距离时，获取单元102从存储设备105中获取目标学习模型。
<第四变型例>
在本变型例中，与在对学习模型进行学习时使用的拍摄图像相对应的属性信息与学习模型相关联。例如，表示高速公路的属性信息与使用包括高速公路的拍摄图像所学习的学习模型相关联。表示一般道路的属性信息与使用包括一般道路的拍摄图像所学习的学习模型相关联。另外，分类可以符合行政上定义的道路类型。表示第一类型道路的属性信息与使用包括第一类型道路的拍摄图像所学习的学习模型相关联，而表示第二类型道路的属性信息与使用包括第二类型道路的拍摄图像所学习的学习模型相关联。另外，表示第三类型道路的属性信息与使用包括第三类型道路的拍摄图像所学习的学习模型相关联，而表示第四类型道路的属性信息与使用包括第四类型道路的拍摄图像所学习的学习模型相关联。
获取单元102指定由区域设置单元101设置的设置区域的属性信息。例如，如果各道路的类型可以从汽车导航装置103中获取，则获取单元102从汽车导航装置103中获取设置区域中包括的道路的类型。然后，获取单元102从存储设备105中获取与设置区域的属性信息相关联地登记在存储设备105中的学习模型。
在本变型例中，处理与第一实施例的区别在于，在图2所示的流程图的步骤S201中进行如下的处理。在步骤S201中，获取单元102指定区域设置单元102设置的设置区域的属性信息，并从存储设备105中获取与属性信息相关联地登记在存储设备105中的学习模型。后续处理与第一实施例中相同。
因而可以根据设置区域的属性获取学习模型。注意，在本变型例中，属性信息是表示道路类型的信息。然而，属性信息不限于此，例如，可以使用诸如东京或北海道等的地区作为属性信息。在该情况下，表示东京的属性信息与使用通过拍摄东京获得的拍摄图像而学习的学习模型相关联，而表示北海道的属性信息与使用通过拍摄北海道获得的拍摄图像而学习的学习模型相关联。只要表示属性的信息能够与学习模型相关联以知道各学习模型为学习而使用的拍摄图像具有哪种属性(在哪种学习环境中完成了学习)就足够了。获取单元102从汽车导航装置103中获取属性信息，并从存储设备105中获取与属性信息相关联的学习模型。注意，区域设置单元101可以通过指定属性信息来对设置区域进行设置。
<第二实施例>
在本实施例中，对于各学习模型，向用户呈现表示如下地图图像上的区域的信息(区域信息)，该地图图像包含由与学习模型相关联的摄像位置信息组表示的摄像位置组。然后，从存储设备105中获取与由用户在呈现给用户的区域信息中选择的区域信息相对应的学习模型。
将参照图4的框图描述根据本实施例的***的功能配置的示例。如图4所示，根据本实施例的***包括显示单元403、生成单元404、存储设备405以及信息处理装置400。注意，图4将显示单元403、信息处理装置400、生成单元404以及存储设备405作为单独的设备进行示出。然而，可以将这些设备中的两个或更多个设备形成为一个设备。
首先，将描述存储设备405。如在存储设备105中，在存储设备405中，与表示在对学习模型进行学习时使用拍摄图像的摄像位置的摄像位置信息相关联地登记有多个学习模型。各学习模型的识别信息进一步地与学习模型相关联。
接下来，将描述显示单元403。显示单元403是由CRT或液晶屏形成的显示画面。注意，显示单元403可以是汽车导航装置103的显示画面。
接下来，将描述生成单元404。生成单元404在显示单元403上显示地图图像。地图图像是在包括由登记在存储设备103中的所有摄像位置信息表示的摄像位置的范围内的地图图像。对于各学习模型，生成单元404在地图图像上以叠加的方式显示学习模型的识别信息和关于包含区域的包含区域信息，该包含区域包含由与学习模型相关联的所有摄像位置信息表示的摄像位置。图6示出了显示单元403的显示画面的示例。
在图6中，在包括道路和池塘的地图图像上以叠加的方式显示学习模型的名称(学习模型A到E)和包含摄像位置的包含区域的边界，该摄像位置由与学习模型相关联的所有摄像位置信息表示。
接下来，将描述信息处理装置400。当用户在显示单元403的显示画面上或使用操作单元(未示出)指定学习模型的识别信息或包含区域信息时，选择单元401向获取单元402通知所指定的识别信息或包含区域信息。获取单元402从存储设备405中获取与由选择单元401通知的识别信息或包含区域信息相对应的学习模型。
接下来，将参照图5的流程图描述信息处理装置400进行的处理。在步骤S500中，选择单元401向获取单元402通知由用户指定的识别信息或包含区域信息。在步骤S501中，获取单元402从存储设备405中获取与由选择单元401通知的识别信息或包含区域信息相对应的学习模型。这使得能够选择和获取与用户所期望的区域相对应的学习模型。
<第一变型例>
代替了与学习模型相对应的摄像位置信息组，可以在存储设备405中与学习模型相关联地登记关于包含区域的包含区域信息，该包含区域包含由摄像位置信息组表示的摄像位置组。
<第二变型例>
在本变型例中，在存储设备405中登记多个学***均值)的倒数定义为评估值。对于各学习模型预先获得这样的评估值，并将该评估值登记在存储设备405中。
生成单元404在显示单元403上显示地图图像。地图图像是如下范围内的地图图像，该范围包括由在存储设备405中登记的所有摄像位置信息表示的摄像位置。对于各学习模型，生成单元404在地图图像上以根据与学习模型相关联的评估值的显示属性，来显示关于包含区域的包含区域信息，该包含区域包含由与学习模型相关联的所有摄像位置信息表示的摄像位置。
图10示出了生成单元404的包含区域信息的显示画面的示例。如图10所示，将包含区域信息1001、区域信息1002和区域信息1003中的各信息以与相应评估值对应的颜色显示在包括道路和池塘的地图图像上。在图10中，具有较高评估值(较高精度)的包含区域信息以深色显示，具有较低评估(较低精度)的包含区域信息以浅色显示。
当用户在显示单元403的显示画面上或使用操作单元(未示出)指定包含区域信息时，选择单元401向获取单元402通知包含区域信息。获取单元402从存储设备405中获取与由选择单元401通知的包含区域信息相对应的学习模型。
在本变型例中，在图5的流程图中的步骤S500和步骤S501的处理与第二实施例不同。在步骤S500中，选择单元401向获取单元402通知由用户指定的包含区域信息。在步骤S501中，获取单元402从存储设备405中获取与由选择单元401通知的包含区域信息相对应的学习模型。这使得用户能够通过查看汽车导航装置103的显示画面来掌握和选择与更精确的学习模型相对应的区域。
注意，如上所述，评估值只需要是表示学习的精度的值。例如，可以是学习模型的使用频率或由多个用户给定的评估分数。另外，除了包含区域信息外，生成单元404还可以显示与包含区域信息相对应的学习模型的评估值。
注意，在上述的第一实施例和第二实施例及变型例中，没有提到关于获取单元102(402)从存储设备105(405)获取的学习模型的使用目的。即，使用目的不限于特定的使用目的。然而，上述的第一实施例和第二实施例及变型例中的一些或全部，或者上述的第一实施例和第二实施例及变型例中的一些或全部的组合，可以应用于稍后将描述的实施例和变型例。
[第三实施例]
在本实施例中，将描述根据第一实施例的***应用于自动驾驶的情况。首先，将参照图7的框图描述根据本实施例的***的功能配置的示例。
摄像设备702安装到机动车701以拍摄作为车辆的示例的机动车701的前方的影像(movie)。将由机动车701拍摄的影像的各帧的图像(拍摄图像)发送到信息处理装置700。
汽车导航装置103与第一实施例中所述相同。此外，在本实施例中，基于当前位置、路径信息以及机动车701的行驶方向和移动速度，在显示画面上显示用于将机动车701引导至目的地点的信息。
传送/接收设备706经由无线网络与外部设备进行数据通信。与信息处理装置100相同，信息处理装置700获取与设置区域相对应的学习模型。然后，信息处理装置700基于获取的学习模型和从摄像设备702中获取的拍摄图像对几何信息进行评估，并基于该几何信息获得机动车701的位置和朝向。信息处理装置700向驱动控制单元703发送评估出的几何信息以及机动车701的位置和朝向。这里，“位置和朝向”表示“位置和/或朝向”。
驱动控制单元703基于信息处理装置700评估的几何信息以及机动车701的位置和朝向，计算机动车701的行驶方向和移动速度。致动器单元704是被构造成控制机动车701的运动的控制设备，并基于由驱动控制单元703计算出的机动车701的行驶方向和移动速度来控制机动车701的制动器。因此，例如，基于机动车701自身的位置以及由几何信息表示的周边的几何形状，根据几何信息来评估障碍物，并决定速度或行驶方向，使得与障碍物的距离变为预定值以上，由此，进行诸如碰撞避免或加速/减速等的驱动控制。
接下来，将参照图8的框图描述信息处理装置700的功能配置的示例。图8中与图1相同的附图标记指示相同的功能单元，并且将省略其描述。
图像输入单元800获取从摄像设备702发送的拍摄图像，并向下一阶段的评估单元801发送获取的拍摄图像。评估单元801基于根据当前位置而从由获取单元102决定为获取目标的学习模型中选择出的一个学习模型、以及来自图像输入单元800的拍摄图像，评估几何信息。计算单元802基于评估单元801评估出的几何信息，获得摄像设备702的位置和朝向，并将所获得的摄像设备702的位置和朝向转换为机动车701的位置和朝向。然后，计算单元802向驱动控制单元703输出所转换的机动车701的位置和朝向、以及由评估单元801评估的几何信息(或从该几何信息中获得的几何信息)。
接下来，将参照图9描述通过信息处理装置700进行的处理，图9示出了该处理的流程图。注意，在图9中与图2所示的相同的步骤编号指示相同的处理步骤，并且将省略对其的描述。
在步骤S900中，图像输入单元800获取从摄像设备702发送的拍摄图像(例如，灰度图像)，并向下一阶段的评估单元801发送所获取的拍摄图像。
在步骤S901中，基于从汽车导航装置103获取的当前位置，评估单元801从由获取单元102决定为获取目标的学习模型中选择与当前位置相对应的学习模型。作为从由获取单元102决定为获取目标的学习模型中选择与当前位置相对应的学习模型的方法，例如，可以应用第三变型例中所述的方法。评估单元801获取在从摄像设备702输出的拍摄图像被输入到选择出的学习模型时从学习模型中输出的几何信息，作为评估出的几何信息，即“几何信息的评估结果”。
注意，在选择多个学***均值，作为评估出的几何信息。例如，在针对多个学***均值，作为评估出的几何信息中与拍摄图像的像素位置(x,y)相对应的深度值。例如，可以通过以下方法获得针对关注学习模型获取的几何信息的各深度值的权重值。当前位置与包含如下摄像位置组的包含区域的轮廓之间的距离越大，则使针对关注学习模型获取的几何信息的各深度值的权重值越大：该摄像位置组由与关注学习模型相关联的摄像位置信息组表示。例如，包含区域的轮廓近似为多个线段，并且获得当前位置与各线段之间的距离的最小值作为权重值。
在步骤S902中，计算单元802基于由评估单元801评估而评估出的几何信息，获得摄像设备702的位置和朝向，并将所获得的摄像设备702的位置和朝向转换为机动车701的位置和朝向。
根据本实施例的摄像设备702的位置和朝向由总计六个参数定义，该六个参数包括表示摄像设备702的位置的三个参数和表示世界坐标系上的朝向的三个参数。这里，世界坐标系是以物理空间中的预定点为原点，并使用在原点处互相正交的三个轴作为X轴、Y轴和Z轴的坐标系。另外，以下将在摄像设备702上定义的三维坐标系称为相机坐标系，在该三维坐标系中，摄像设备702的光轴为Z轴，由摄像设备702获得的拍摄图像的水平方向为X轴，并且垂直方向为Y轴。此外，以下将以机动车701的重心位置为原点、以机动车701的行驶方向为Z轴、以重力方向为Y轴并且以机动车701的左右方向为X轴的三维坐标系称为机动车坐标系。这里，通过测量预先获得从相机坐标系到机动车坐标系的变换矩阵。例如，可以使用通常用于规定三维位置的已知标记。更具体地说，通过摄像设备拍摄在机动车701的重心位置放置的标记，并根据所拍摄的图像计算出摄像设备的方向和朝向。使用该位置和朝向作为相机与标记之间的坐标变换矩阵，即相机坐标系与机动车坐标系之间的变换矩阵。
在本实施例中，计算单元802获得摄像设备702在世界坐标系上的位置和朝向(相机坐标系在世界坐标系上的位置和朝向)，并将该位置和朝向转换为机动车701在世界坐标系上的位置和朝向(机动车坐标系在世界坐标系上的位置和朝向)。
这里，将描述通过计算单元802计算摄像设备702的位置和朝向的方法的示例。更具体地说，对于在时间t拍摄的拍摄图像(当前帧)，基于当在当前帧之前的时间t’拍摄的拍摄图像(先前帧)被输入到学习模型时从学习模型输出的几何信息(先前几何信息)，来射影先前帧的各像素。这里，“射影(project)”是指计算先前帧的各像素位于当前帧的位置。更具体地说，计算单元802使用先前帧中的关注像素的图像坐标(ut-1,vt-1)、摄像设备702的内部参数(fx,fy,cx,cy)以及先前几何信息中的关注像素的深度值D，来进行如下计算。
因此，计算单元802可以获得先前帧的相机坐标系上关注像素的三维坐标(Xt-1,Yt-1,Zt-1)。
这里，将t(t-1)→t设为拍摄了当前帧的摄像设备702相对于拍摄了先前帧的摄像设备702的位置的位置，而将R(t-1)→t设为拍摄了当前帧的摄像设备702相对于拍摄了先前帧的摄像设备702的朝向的朝向。此时，计算单元802使用t(t-1)→t和R(t-1)→t来进行如下计算。
由此获得当前帧的相机坐标系上关注像素的三维坐标(Xt,Yt,Zt)。
接下来，计算单元802进行如下计算。
由此将当前帧的相机坐标系上关注像素的三维坐标(Xt,Yt,Zt)转换成当前帧的图像坐标(ut,vt)。
在本实施例中，将根据上述式(1)～(3)的处理称为射影。计算单元802对先前帧中的所有关注像素进行这种射影，由此获得当前帧中的相应图像坐标。然后，计算单元802计算t(t-1)→t和R(t-1)→t，使得先前帧中的图像坐标(ut-1,vt-1)处的像素的亮度值与作为像素的射影目的地的当前帧中的像素(图像坐标为(ut,vt))的亮度值之间的亮度差变为最小。
计算单元802使用已拍摄先前帧的摄像设备702在世界坐标系中的位置tw→(t-1)和朝向Rw→(t-1)来进行如下计算。
因而，计算单元802计算拍摄了当前帧的摄像设备702在世界坐标系中的位置tw→t和朝向Rw→t。
然后，计算单元802使用在相机坐标系与机动车坐标系之间预先获得的变换矩阵M，来进行如下计算。
因而，计算单元802将已拍摄当前帧的摄像设备702在世界坐标系中的位置tw→t和朝向Rw→t转换成机动车701在世界坐标系上的位置t’w→t和朝向R’w→t。
计算单元802将转换后的机动车701的位置和朝向以及由评估单元801评估出的几何信息(或加权平均几何信息)输出到驱动控制单元703。
如果满足根据图9流程图的处理的结束条件，则结束根据图9的流程图的处理。如果不满足结束条件，则处理返回到S900。例如，如果机动车701到达目的地点，或者机动车701中的驾驶员或乘员在汽车导航装置103的显示画面上指示***的结束，则确定为满足结束条件。
如上所述，根据本实施例，能够获取自动驾驶所需的学习模型。注意，在本实施例中，如上所述，在机动车701中设置有存储设备105。然而，存储设备105可以是能够与传送/接收设备706通信的外部设备(例如，服务器装置)。在这种情况下，获取单元102可以控制传送/接收设备706，并从用作外部设备的存储设备105获取需要的信息。
另外，可以将描述为登记在存储设备105中的信息的各种信息登记在外部设备中，并且可以将获取单元102通过控制传送/接收设备706而从外部设备接收的学习模型或各种信息下载到存储设备105。根据这种配置，曾经下载到存储设备105的信息不需要再次通过访问外部设备来获取。
<第四实施例>
在本实施例中，利用图11所示的信息处理装置1100替换图7所示的信息处理装置700。如图11所示，信息处理装置1100通过将导航单元1101添加到信息处理装置700而形成。图11是示出了信息处理装置1100的功能配置的示例的框图。
注意，根据本实施例的区域设置单元101将用户想要执行自动驾驶的区域设置为设置区域。例如，当用户在汽车导航装置103的显示画面上所显示的地图图像上设置执行自动驾驶的区域时，汽车导航装置103向信息处理装置1100发送表示由用户设置的区域的信息。区域设置单元101将由从汽车导航装置103接收到的信息表示的区域(由用户设置的区域)设置为设置区域。如在第一实施例中，获取单元102从存储设备105获取与设置区域相对应的学习模型。
导航单元1101获得包含区域，该包含区域包含与由获取单元102获取的学习模型相关联的摄像位置信息组。然后，导航单元1101从汽车导航装置103输出的路径信息中获取出发点和目的地点，并搜索最短距离的路径，作为经由包含区域而从出发点通向目的地点的路径。
将参照图12的流程图描述通过信息处理装置1100进行的处理。在图12中与图2和图9所示的相同的步骤编号指示相同的处理步骤，并且将省略对其的描述。注意，在步骤S200中，区域设置单元101将用户想要执行自动驾驶的区域设置为设置区域。在步骤S201中，获取单元102从存储设备105获取与在步骤S200中设置的设置区域相对应的学习模型。
在步骤S1200中，导航单元1101获得包含区域，该包含区域包含与由获取单元102获取的学习模型相关联的摄像位置信息组。然后，导航单元1101从汽车导航装置103输出的路径信息中获取出发点和目的地点，并搜索最短距离的路径，作为经由包含区域而从出发点通向目的地点的路径。由导航单元1101找到的最短路径由生成单元104显示在汽车导航装置103的显示画面上。
<变型例>
当在步骤S1200中导航单元1101发现多条路径作为“经由包含区域而从出发点通向目的地点的路径”时，生成单元104可以在汽车导航装置103的显示画面上显示多条发现路径。在这种情况下，用户通过操作汽车导航装置103选择多条路径中的一条。
<第五实施例>
在本实施例中，利用图13所示的信息处理装置1300替换图7所示的信息处理装置700。如图13所示，信息处理装置1300通过将通知单元1301添加到信息处理装置700而形成。图13是示出了信息处理装置1300的功能配置的示例的框图。
如在第三实施例中，根据本实施例的评估单元801基于学习模型和拍摄图像评估几何信息。在本实施例中，评估单元801获得表示学习模型与拍摄图像之间的匹配程度的评估值。如果由评估单元801获得的评估值小于预定值，则通知单元1301将其(所获取的学习模型不合适)通知给用户。
将参照图14描述通过信息处理装置1300进行的处理，图14示出了该处理的流程图。在图14中与图2和图9所示的相同的步骤编号指示相同的处理步骤，并且将省略对其的描述。
如在第三实施例中，在根据本实施例的步骤S901中，评估单元801基于学习模型和拍摄图像对评估出的几何信息进行评估。评估单元801还获得表示学习模型与拍摄图像之间的匹配程度的评估值。例如，以如下方式获得评估值。评估单元801获得当拍摄图像被输入到学习模型时从学习模型输出的几何信息与仅由拍摄图像评估出的几何信息之间的各像素的深度值之差(绝对值)的总和的倒数，作为评估值。作为仅由拍摄图像来评估几何信息的方法，例如，可以应用以下方法。评估单元801获取由摄像设备702在第一时间t拍摄的第一拍摄图像、以及在摄像设备702移动了预定移动量(例如，在相机坐标系中在X轴方向上的10cm)之后由摄像设备702在第二时间(t+1)拍摄的第二拍摄图像。然后，评估单元801通过运动立体方法(motion stereo method)从第一拍摄图像和第二拍摄图像中获得几何信息。请注意，使用上述预定移动量作为基线长度来定义深度的比例。
在步骤S1400中，如果在步骤S901中由评估单元801获得的评估值小于预定值，则通知单元1301将其通知给用户。通知单元1301的通知方法不限于特定的通知方法。例如，可以在汽车导航装置103的显示画面上显示消息“学习模型与拍摄图像之间的匹配程度低”或对应的图像，或者可以显示评估值本身。如果汽车导航装置103具有语音输出功能，则可以通过语音向用户通知与评估值相对应的消息。
注意，如果在步骤S901中由评估单元801获得的评估值等于或大于预定值，则通知单元1301可以将其通知用户。如上所述，通知方法不限于特定的通知方法。
<变型例>
由评估单元801获得评估值的方法不限于特定的获得方法。即评估单元801可以获得任何值作为评估值，只要是表示学习模型与输入图像之间的匹配程度的值即可。例如，可以获得在对学习模型进行学习时所使用的拍摄图像的摄像位置与从摄像设备702获取的拍摄图像的摄像位置之差的倒数作为评估值。
上述用户的各种操作方法(例如，在地图图像上指定区域或位置的方法)不限于特定的操作方法。例如，如果汽车导航装置103的显示画面是触摸屏画面，则用户可以通过对触摸屏画面进行操作输入来在地图图像上指定区域或位置。可选地，用户可以例如通过操作设置于汽车导航装置103上的按钮组，来在地图图像上指定区域或位置。
在上述实施例和变型例中，信息处理装置基于来自汽车导航装置103的信息进行诸如设置区域的设置等的处理。然而，本发明不限于此形式。例如，从汽车导航装置103获取的信息可以暂时保存在诸如服务器装置等的设备中，并且信息处理装置可以从服务器装置中获取该信息并进行诸如设置区域的设置等的处理。另外，代替汽车导航装置103，信息处理装置可以基于来自诸如平板电脑终端或智能手机等的设备的信息，进行相同的处理。
注意，可以适当组合上述实施例和变型例中的一些或全部。另外，可以选择性地使用上述实施例和变型例中的一些或全部。
<第六实施例>
信息处理装置100(图1)、信息处理装置400(图4)、信息处理装置700(图8)、信息处理装置1100(图11)或信息处理装置1300(图13)的各功能单元可以通过硬件实现，或者可以通过软件(计算机程序)实现。在后一种情况下，可以将包括能够执行计算机程序的处理器的计算机装置应用于上述信息处理装置100、400、700、1100或1300。将参照图15的框图来描述计算机装置的硬件配置的示例。
CPU 1501使用存储在RAM 1502或ROM 1503中的计算机程序或数据执行各种处理。因此，CPU 1501控制整个计算机装置的操作，并执行或控制以上被描述为由信息处理装置100、400、700、1100或1300待进行的处理的各处理。
RAM 1502具有用于存储从ROM 1503或外部存储设备1505下载的计算机程序和数据或者经由I/F(接口)1506从外部接收数据的区域。RAM1502还具有由CPU 1501执行各种处理所使用的工作区域。以此方式，RAM 1502可以适当地提供各种区域。ROM 1503储存不需要重写的计算机程序和数据。
操作单元1504由诸如鼠标、键盘、触摸屏或按钮组等的用户接口形成，并且用户可以通过操作操作单元1504向CPU 1501输入各种指令。
外部存储设备1505是诸如硬盘驱动器或非易失性存储器等的大容量信息存储设备。OS(Operating System，操作***)保存在外部存储设备1505中。另外，被构造成使CPU1501执行以上被描述为由信息处理装置100、400、700、1100或1300待进行的处理的各处理的计算机程序和数据，保存在外部存储设备1505中。
保存在外部存储设备1505中的计算机程序包括如下计算机程序，该计算机程序被构造成使CPU 1501实现信息处理装置100、400、700、1100或1300的功能单元的功能。另外，保存在外部存储设备1505中的数据包括在以上说明中被描述为已知信息的数据。
保存在外部存储设备1505中的计算机程序和数据在CPU 1501的控制下适当下载到RAM 1502中，并由CPU 1501进行处理。
I/F 1506用作接口，该接口被构造成进行与外部设备的数据通信。外部设备的示例为汽车导航装置103、显示单元403、生成单元104(404)、存储设备105(405)、摄像设备702、传送/接收设备706以及驱动控制单元703。另外，可以为各外部设备设置I/F 1506。
CPU 1501、RAM 1502、ROM 1503、操作单元1504、外部存储设备1505和I/F 1506的全部都连接到总线1507。注意，外部存储设备1505可以存储在以上被描述为在上述存储设备105(405)中登记的信息的各信息。
另外，上述生成单元104(404)也可以由硬件实现，或者也可以由计算机程序实现。在后一种情况下，计算机程序保存在上述外部存储设备1505中。
其他实施例
还可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于进行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的***或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述***或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以进行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路进行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算***的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备以及存储卡等中的一个或更多个。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (20)

1.一种信息处理装置，所述信息处理装置包括：
设置单元，其被构造成对设置区域进行设置；以及
获取单元，其被构造成从用于输出与拍摄图像相对应的几何信息而学习的多个学习模型中，获取与所述设置区域相对应的学习模型。
2.根据权利要求1所述的信息处理装置，其中，所述设置单元将包括由用户指定的点的区域，设置为设置区域。
3.根据权利要求2所述的信息处理装置，其中，所述点包括设置的出发点、目的地点、在所述出发点与所述目的地点之间的路径上的途中点以及包括所述信息处理装置的***的当前位置中的至少一者。
4.根据权利要求1所述的信息处理装置，其中，所述设置单元在地图图像上设置所述设置区域。
5.根据权利要求4所述的信息处理装置，其中，所述设置单元将由用户在所述地图图像上指定的区域，设置为所述设置区域。
6.根据权利要求1所述的信息处理装置，其中，所述获取单元获取，使用在所述设置区域中包括的摄像位置所拍摄的拍摄图像而学习的学习模型。
7.根据权利要求1所述的信息处理装置，其中，所述获取单元基于包括所述信息处理装置的***的当前位置，从与所述设置区域相对应的学习模型中获取至少一个学习模型。
8.根据权利要求7所述的信息处理装置，其中，所述获取单元在如下定时获取所述至少一个学习模型，所述定时基于作为获取学习模型所需的时间而预先获得的获取时间、以及包括所述信息处理装置的所述***的移动速度。
9.根据权利要求1所述的信息处理装置，其中，所述获取单元获取在与所述设置区域中包括的物理空间相对应的学习环境中学习的学习模型。
10.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：
计算单元，其被构造成基于当输入的拍摄图像被输入到由所述获取单元获取的学习模型时从该学习模型输出的几何信息，获得拍摄了拍摄图像的摄像设备的位置和朝向。
11.根据权利要求10所述的信息处理装置，其中，所述计算单元基于当输入的拍摄图像被输入到由所述获取单元获取的学***均值，获得所述摄像设备的位置和朝向。
12.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：
搜索单元，其被构造成基于包括对由所述获取单元获取的学习模型进行学习所使用的拍摄图像的摄像位置的区域、以及指定的出发点和目的地点，来搜索从所述出发点到所述目的地点的路径。
13.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：
被构造成基于当输入的拍摄图像被输入到由所述获取单元获取的学习模型时从该学习模型输出的几何信息、以及从所述输入的拍摄图像中获得的几何信息，来获得由所述获取单元获取的学习模型的评估值的单元；以及
被构造成根据所述评估值进行通知的单元。
14.根据权利要求1所述的信息处理装置，其中，所述几何信息是保持与拍摄图像的各像素相对应的深度值的深度图。
15.一种信息处理装置，所述信息处理装置包括：
呈现单元，其被构造成对于用于输出与拍摄图像相对应的几何信息而学习的多个学习模型中的各个学习模型，显现表示如下区域的信息，该区域包括所述拍摄图像的摄像位置；以及
获取单元，其被构造成获取与用户从由所述呈现单元呈现的信息中选择的信息相对应的学习模型。
16.根据权利要求15所述的信息处理装置，其中，所述呈现单元以与学习模型的学习精度相对应的显示属性，来呈现表示如下区域的信息，该区域包括对学习模型进行学习所使用的拍摄图像的摄像位置。
17.一种由信息处理装置进行的信息处理方法，所述信息处理方法包括：
对设置区域进行设置；以及
从用于输出与拍摄图像相对应的几何信息而学习的多个学习模型中，获取与所述设置区域相对应的学习模型。
18.一种由信息处理装置进行的信息处理方法，所述信息处理方法包括：
对于用于输出与拍摄图像相对应的几何信息而学习的多个学习模型中的各个学习模型，呈现表示如下区域的信息，该区域包括所述拍摄图像的摄像位置；以及
获取与用户从所呈现的信息中选择的信息相对应的学习模型。
19.一种存储计算机程序的非暂时性计算机可读存储介质，所述计算机程序被构造成使计算机用作：
设置单元，其被构造成对设置区域进行设置；以及
获取单元，其被构造成从用于输出与拍摄图像相对应的几何信息而学习的多个学习模型中，获取与所述设置区域相对应的学习模型。
20.一种存储计算机程序的非暂时性计算机可读存储介质，所述计算机程序被构造成使计算机用作：
呈现单元，其被构造成对于用于输出与拍摄图像相对应的几何信息而学习的多个学习模型中的各个学习模型，显现表示如下区域的信息，该区域包括所述拍摄图像的摄像位置；以及
获取单元，其被构造成获取与用户从由所述呈现单元呈现的信息中选择的信息相对应的学习模型。
CN201910035618.4A 2018-01-15 2019-01-15 信息处理装置、信息处理方法及存储介质 Active CN110047105B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018004471A JP7011472B2 (ja) 2018-01-15 2018-01-15 情報処理装置、情報処理方法
JP2018-004471 2018-01-15

Publications (2)

Publication Number Publication Date
CN110047105A true CN110047105A (zh) 2019-07-23
CN110047105B CN110047105B (zh) 2023-12-29

Family

ID=67213978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910035618.4A Active CN110047105B (zh) 2018-01-15 2019-01-15 信息处理装置、信息处理方法及存储介质

Country Status (3)

Country Link
US (1) US11295142B2 (zh)
JP (1) JP7011472B2 (zh)
CN (1) CN110047105B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810466B2 (en) * 2018-08-23 2020-10-20 Fuji Xerox Co., Ltd. Method for location inference from map images
TWI678546B (zh) * 2018-12-12 2019-12-01 緯創資通股份有限公司 距離偵測方法、距離偵測系統與電腦程式產品
US10890916B2 (en) * 2019-01-30 2021-01-12 StradVision, Inc. Location-specific algorithm selection for optimized autonomous driving
JP7342491B2 (ja) 2019-07-25 2023-09-12 オムロン株式会社 推論装置、推論方法、及び推論プログラム
JP7493323B2 (ja) * 2019-11-14 2024-05-31 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
CN112184818B (zh) * 2020-10-09 2022-06-10 重庆邮电大学 基于视觉的车辆定位方法及应用其方法的停车场管理***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100305844A1 (en) * 2009-06-01 2010-12-02 Choi Sung-Ha Mobile vehicle navigation method and apparatus thereof
CN102338639A (zh) * 2010-07-26 2012-02-01 联想(北京)有限公司 信息处理设备和信息处理方法
CN103377374A (zh) * 2012-04-23 2013-10-30 索尼公司 信息处理***、信息处理方法和程序
US8995716B1 (en) * 2012-07-12 2015-03-31 Google Inc. Image search results by seasonal time period
JP2015073191A (ja) * 2013-10-02 2015-04-16 キヤノン株式会社 画像処理システムおよびその制御方法
CN106910217A (zh) * 2017-03-17 2017-06-30 驭势科技（北京）有限公司 视觉地图建立方法、计算装置、计算机存储介质和智能车辆
US20170249752A1 (en) * 2016-02-29 2017-08-31 Canon Kabushiki Kaisha Device for measuring position and orientation of imaging apparatus and method therefor
CN107368838A (zh) * 2016-05-13 2017-11-21 佳能株式会社 图像处理装置、图像处理方法、搜索装置以及搜索方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5144685A (en) * 1989-03-31 1992-09-01 Honeywell Inc. Landmark recognition for autonomous mobile robots
US7668376B2 (en) * 2004-06-30 2010-02-23 National Instruments Corporation Shape feature extraction and classification
JP4327062B2 (ja) 2004-10-25 2009-09-09 三菱電機株式会社 ナビゲーション装置
JP2006170872A (ja) * 2004-12-17 2006-06-29 Seiko Epson Corp 誘導情報システム及び携帯機器
CA2702927A1 (en) * 2007-10-19 2009-04-23 Boston Scientific Scimed, Inc. Display of classifier output and confidence measure in an image
JP2011117739A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd ナビゲーションシステムおよび車載装置
US8498491B1 (en) * 2011-08-10 2013-07-30 Google Inc. Estimating age using multiple classifiers
WO2013173911A1 (en) * 2012-05-23 2013-11-28 Omer Raqib Road surface condition classification method and system
GB201211999D0 (en) * 2012-07-05 2012-08-22 Roke Manor Research Sensor location method and system
DE102012214903A1 (de) * 2012-08-22 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Head-up-Displays eines Fahrzeugs und Bildermittlungssystem für das Head-up-Display
US10127721B2 (en) * 2013-07-25 2018-11-13 Hover Inc. Method and system for displaying and navigating an optimal multi-dimensional building model
US9091561B1 (en) * 2013-10-28 2015-07-28 Toyota Jidosha Kabushiki Kaisha Navigation system for estimating routes for users
KR101751298B1 (ko) * 2016-02-18 2017-07-11 한국전자통신연구원 차량 경로 예측 방법 및 장치
US10336326B2 (en) * 2016-06-24 2019-07-02 Ford Global Technologies, Llc Lane detection systems and methods
EP4386624A2 (en) * 2016-11-04 2024-06-19 DeepMind Technologies Limited Environment navigation using reinforcement learning
KR20180068511A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 영상에 포함된 도로와 관련된 정보를 결정하는 뉴럴 네트워크를 학습시키는 학습 데이터를 생성하는 장치 및 방법
US10019788B1 (en) * 2017-02-14 2018-07-10 Cogniac, Corp. Machine-learning measurements of quantitative feature attributes
US10475165B2 (en) * 2017-04-06 2019-11-12 Disney Enterprises, Inc. Kernel-predicting convolutional neural networks for denoising
EP3635336A4 (en) * 2017-06-13 2020-05-13 Beijing Didi Infinity Technology And Development Co., Ltd. ROUTE PLANNING SYSTEMS AND METHODS BASED ON A DEEP CONVOLUTIONAL NEURAL NETWORK
US10515275B2 (en) * 2017-11-17 2019-12-24 Adobe Inc. Intelligent digital image scene detection
US10710621B2 (en) * 2017-11-28 2020-07-14 Hitachi Rail Sts France Method, system and apparatus for controlling a vehicle
US10515460B2 (en) * 2017-11-29 2019-12-24 Adobe Inc. Neural network-based camera calibration
US10586132B2 (en) * 2018-01-08 2020-03-10 Visteon Global Technologies, Inc. Map and environment based activation of neural networks for highly automated driving

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100305844A1 (en) * 2009-06-01 2010-12-02 Choi Sung-Ha Mobile vehicle navigation method and apparatus thereof
CN102338639A (zh) * 2010-07-26 2012-02-01 联想(北京)有限公司 信息处理设备和信息处理方法
CN103377374A (zh) * 2012-04-23 2013-10-30 索尼公司 信息处理***、信息处理方法和程序
US8995716B1 (en) * 2012-07-12 2015-03-31 Google Inc. Image search results by seasonal time period
JP2015073191A (ja) * 2013-10-02 2015-04-16 キヤノン株式会社 画像処理システムおよびその制御方法
US20170249752A1 (en) * 2016-02-29 2017-08-31 Canon Kabushiki Kaisha Device for measuring position and orientation of imaging apparatus and method therefor
CN107368838A (zh) * 2016-05-13 2017-11-21 佳能株式会社 图像处理装置、图像处理方法、搜索装置以及搜索方法
CN106910217A (zh) * 2017-03-17 2017-06-30 驭势科技（北京）有限公司 视觉地图建立方法、计算装置、计算机存储介质和智能车辆

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
于乃功等: "一种基于海马认知机理的仿生机器人认知地图构建方法", 《自动化学报》 *
何雷等: "从单幅图像学习场景深度信息固有的歧义性", 《中国科学:信息科学》 *

Also Published As

Publication number Publication date
CN110047105B (zh) 2023-12-29
JP7011472B2 (ja) 2022-01-26
US20190220676A1 (en) 2019-07-18
JP2019125113A (ja) 2019-07-25
US11295142B2 (en) 2022-04-05

Similar Documents

Publication Publication Date Title
CN110047105A (zh) 信息处理装置、信息处理方法及存储介质
KR102417645B1 (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
EP3321889A1 (en) Device and method for generating and displaying 3d map
CN110062871A (zh) 用于基于视频的定位及映射的方法及***
CN108961327A (zh) 一种单目深度估计方法及其装置、设备和存储介质
CN107223269A (zh) 三维场景定位方法和装置
CN110226186A (zh) 一种用于表示地图元素的方法和装置以及基于此定位车辆/机器人的方法和装置
CN108604379A (zh) 用于确定图像中的区域的***及方法
US9549169B2 (en) Stereoscopic map display system
JP2019124538A (ja) 情報処理装置、システム、情報処理方法
CN109146786A (zh) 场景图生成方法及装置、电子设备和存储介质
CN110119679A (zh) 物体三维信息估计方法及装置、计算机设备、存储介质
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
CN108629799A (zh) 一种实现增强现实的方法及设备
CN110337671A (zh) 信息处理装置、信息处理方法和程序
CN110060230A (zh) 三维场景分析方法、装置、介质及设备
WO2023193482A1 (zh) 显示方法、装置、电子设备和计算机可读存储介质
US20240077331A1 (en) Method of predicting road attributers, data processing system and computer executable code
CN115731370A (zh) 一种大场景元宇宙空间叠加方法和装置
CN110060296A (zh) 估计姿态的方法、电子设备和显示虚拟对象的方法及设备
CN109115232A (zh) 导航的方法和装置
CN112529006B (zh) 全景图片的检测方法、装置、终端及存储介质
JP6976731B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN108682282A (zh) 一种基于ARKit框架的增强现实版化学元素周期表的交互方法
JP7052613B2 (ja) 表示制御装置、表示制御方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant