CN116643302A - 方位确定装置和方位确定方法 - Google Patents

方位确定装置和方位确定方法 Download PDF

Info

Publication number
CN116643302A
CN116643302A CN202310026004.6A CN202310026004A CN116643302A CN 116643302 A CN116643302 A CN 116643302A CN 202310026004 A CN202310026004 A CN 202310026004A CN 116643302 A CN116643302 A CN 116643302A
Authority
CN
China
Prior art keywords
azimuth
determining
viewpoint axis
predetermined object
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310026004.6A
Other languages
English (en)
Inventor
玉那霸隆介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN116643302A publication Critical patent/CN116643302A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供方位确定装置和方位确定方法，能够在不使用定位的情况下确定方位。方位确定装置具备：摄影图像取得部(40)，其取得由设置于移动体(1)的摄像头(30)拍摄到的摄影图像(A1)；方位信息取得部(50)，其在所述摄影图像(A1)中拍摄到启示方位的规定物标(F)的情况下，取得表示该规定物标(F)所启示的方位的方位信息(G)；以及视点轴方位确定部(52)，其基于所述方位信息(G)及所述摄影图像(A1)中的所述规定物标(F)与所述摄像头(30)的视点轴(K)之间的位置关系，来确定该视点轴(K)所指向的方位。

Description

方位确定装置和方位确定方法
技术领域
本发明涉及方位确定装置和方位确定方法。
背景技术
已知一种移动体，其具备接收由GPS(Global Positioning System：全球定位***)卫星发送的定位信号的GPS接收器，基于该定位信号检测当前位置，并使用当前位置的检测结果来进行自主行驶(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2019-144668号公报
发明内容
发明要解决的课题
但是，当移动体在难以接收定位信号的环境中移动时，存在如下问题：由于定位精度降低，移动体正在移动的方位的确定精度降低，移动体在从规定的移动路径偏离的位置移动。作为该问题的对策，可考虑改良GPS接收机来提高定位信号的接收灵敏度，但会产生GPS接收机的成本增大这样的新问题。
本发明的目的在于提供一种能够在不使用定位的情况下确定方位的方位确定装置和方位确定方法。
用于解决课题的手段
本发明的一个方式是一种方位确定装置，其特征在于，具备：摄影图像取得部，其取得由设置于移动体的摄像头拍摄到的摄影图像；方位信息取得部，其在所述摄影图像中拍摄到启示方位的规定物标的情况下，取得表示该规定物标所启示的方位的方位信息；以及视点轴方位确定部，其基于所述方位信息及所述摄影图像中的所述规定物标与所述摄像头的视点轴之间的位置关系，来确定该视点轴所指向的方位。
本发明的一个方式的特征在于，在上述方位确定装置中，具备：当前位置取得部，其取得当前位置；以及当前日期时间取得部，其取得当前日期时间，在所述规定物标所启示的方位会根据所述当前位置和所述当前日期时间发生变化的情况下，所述视点轴方位确定部基于由所述当前位置取得部取得的所述当前位置和由所述当前日期时间取得部取得的所述当前日期时间来确定所述规定物标所启示的方位，并基于确定出的方位来确定所述视点轴所指向的方位。
本发明的一个方式的特征在于，在上述方位确定装置中，具备规定物标识别部，该规定物标识别部基于是否标注有表示是启示方位的规定物标的识别标识，从所述摄影图像中检测所述规定物标。
本发明的一个方式的特征在于，在上述方位确定装置中，所述视点轴方位确定部基于在所述摄影图像中位于所述移动体正在移动的移动路径旁边的所述规定物标来确定所述视点轴所指向的方位。
本发明的一个方式的特征在于，在上述方位确定装置中，具备前方方位确定部，该前方方位确定部基于所述视点轴所指向的方位来确定所述移动体的前方所指向的方位。
本发明的一个方式的特征在于，在上述方位确定装置中，在所述移动***于规定区域的情况及所述移动体正在移动的情况中的至少任意一种情况下，由所述视点轴方位确定部进行所述视点轴所指向的方位的确定。
本发明的一个方式是一种方位确定方法，该方位确定方法是由确定方位的方位确定装置使用的方法，其特征在于，所述方位确定方法包括以下步骤：取得由设置于移动体的摄像头拍摄到的摄影图像；在所述摄影图像中拍摄到启示方位的规定物标的情况下，取得表示该规定物标所启示的方位的方位信息；以及基于所述方位信息及所述摄影图像中的所述规定物标与所述摄像头的视点轴之间的位置关系，来确定该视点轴所指向的方位。
发明的效果
根据本发明的一个方式，能够在不使用定位的情况下确定方位。
附图说明
图1是示意性地示出本发明的实施方式的车辆的结构的图。
图2是示出方位确定装置的功能性结构的图。
图3是示出方位确定***的动作的流程图。
图4是示出摄影图像的例子和视点轴所指向的方位的示意图。
图5是示出摄影图像的例子和视点轴所指向的方位的示意图。
标号说明
1车辆(移动体)
20 方位确定***
22 方位使用设备
30 摄像头
36 方位确定装置
40 摄影图像取得部
42 当前位置取得部
44 当前日期时间取得部
48 规定物标识别部
50 方位信息取得部
52 视点轴方位确定部
54 前方方位确定部
A1 摄影图像
A2 当前位置
A3 当前日期时间
D1 前方
F 规定物标
Fa 识别标识
G 方位信息
K 视点轴
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
此外，在以下的说明中，术语“前方”和“后方”所表示的朝向分别相当于车辆1的“前进方向”和“后退方向”，分别标注标号D1、D2。
图1是示意性地示出本实施方式的车辆1的结构的图。
车辆1是移动体的一例，具备：车体10，其与移动体主体对应；驱动部12，其具有输出驱动力的电动机和内燃机中的至少任意一方；以及多个车轮14，它们由该驱动部12的驱动力驱动而使车体10推进(在本实施方式中为行驶)。本实施方式的车辆1是车轮14的数量为4个的四轮汽车，但该车轮14的数量及车体10的形状是任意的。
另外，本实施方式的车辆1具备确定方位的方位确定***20和作为使用该方位的车载装置的方位使用设备22。方位使用设备22例如是导航装置、通过自主导航来控制车辆1的行驶的自动驾驶装置这样的适当的装置。
方位确定***20具备摄像头30、位置检测装置32、计时装置34以及方位确定装置36。
摄像头30拍摄车辆1的周边，并将通过该拍摄得到的摄影图像A1输出到方位确定装置36。在本实施方式中，以使视点轴K(也称为注视轴、光轴)与车辆1的前方D1一致的方式将摄像头30设置于车体10，视点轴K所指向的方位视为车体10的前方D1所指向的方位(在车辆1前进时车辆1所朝向的方位)。
另外，摄像头30可以拍摄由以规定帧率拍摄到的摄影图像A1构成的动态图像，也可以以适当的间隔拍摄静止图像作为摄影图像A1。
在此，方位是以车辆1的当前位置A2为基准、通过与规定的基准方向的关系来将摄像头30的视点轴K所指向的方向进行表示的方向，在本实施方式中，使用“东”、“西”、“南”、“北”这4个方向作为规定的基准方向。
位置检测装置32是检测车辆1的当前位置A2并将该当前位置A2输出到方位确定装置36的装置。本实施方式的位置检测装置32具备GNSS(Global NavigationSatelliteSystem：全球导航卫星***)接收装置，该GNSS接收装置接收从多个定位卫星发送的定位信号，并基于这些定位信号来确定当前位置A2。
计时装置34对当前的日期和时刻即当前日期时间A3进行计时，并将该当前日期时间A3输出到方位确定装置36。
方位确定装置36是基于摄影图像A1中拍摄到的规定物标F(图4)来确定方位、并将该方位输出给方位使用设备22的装置。另外，方位确定装置36根据规定物标F的种类，将当前位置A2和当前日期时间A3中的至少任意一个信息与摄影图像A1一起使用来确定方位。
规定物标F是摄影图像A1中拍摄到的被摄体中的、启示方位的地标(天然物或人工物)，在后面对其具体例进行说明。
在本实施方式中，方位确定装置36具备计算机，该计算机具有：CPU(CentralProcessing Unit：中央处理单元)、MPU(Micro-Processing Unit：微处理单元)等处理器；ROM(Read Only Memory：只读存储器)、RAM(Random Access Memory：随机存取存储器)等存储设备(也称为主存储装置)；HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid StateDrive：固态硬盘)等储存装置(也称为副存储装置)；以及与摄像头30、位置检测装置32、计时装置34、传感器类、周边设备等连接的接口电路。在本实施方式的车辆1中，在该计算机中采用了ECU(Electronic Control Unit：电子控制单元)。并且，方位确定装置36通过处理器执行存储在存储设备或储存装置中的计算机程序来实现与方位确定相关的各种功能。此外，也可以是，方位确定装置36具备多个计算机，各个计算机进行协作来实现与方位确定相关的各种功能。
图2是示出方位确定装置36的功能性结构的图。
方位确定装置36具有：摄影图像取得部40，其从摄像头30取得摄影图像A1；当前位置取得部42，其从位置检测装置32取得当前位置A2；以及当前日期时间取得部44，其从计时装置34取得当前日期时间A3。
另外，方位确定装置36具备物标数据源46、规定物标识别部48、方位信息取得部50、视点轴方位确定部52以及前方方位确定部54。
物标数据源46预先存储物标数据库46A。物标数据库46A是针对每个规定物标F记录有表示上述规定物标F所启示的方位的信息(以下，称为方位信息G)的数据库。
规定物标F包括向日葵、太阳、月亮、在物体上产生的影子等天然物、以及带有启示方位的形状、排列、或者标识的人工物(包括对天然物进行加工而得到的物体)。
例如，太阳和月亮是通过它们的位置来启示方位的天然物。由于太阳和月亮的位置会根据当前位置A2和当前日期时间A3发生变化，因此在太阳和月亮的方位信息G中，以当前位置A2和当前日期时间A3为参数而存储有用于导出太阳和月亮所在的方位的计算式、数值表等数据。
另外，例如，从物体延伸出的影子是通过其延伸方向来启示方位的天然物。延伸的方向会根据当时的太阳的位置、即当前位置A2和当前日期时间A3发生变化，因此在影子的方位信息G中，与上述的太阳同样地，以当前位置A2和当前日期时间A3为参数而存储有用于导出太阳所在的方位的计算式、数值表等数据。
另外，例如，向日葵具有在充分成长时总向东开放的性质，因此向日葵是通过其朝向来启示方位的天然物。因此，在向日葵的方位信息G中存储有向日葵的朝向所启示的方位即“东”。另外，未充分成长的向日葵具有随着太阳的活动而朝向的方向改变的性质。因此，在未充分成长的向日葵的方位信息G中，与上述的太阳、影子同样地，以当前位置A2和当前日期时间A3为参数而存储有用于导出太阳所在的方位的计算式、数值表等数据。
作为人工物的例子，可举出通过延伸方向来启示特定方位的护栏或车道这样的东西、通过排列方向来启示特定方位的交通柱群等物体群、指示特定方位的形状(箭头形状等)的建筑物。在作为规定物标F的人工物的方位信息G中，预先存储有延伸方向、排列方向、形状所启示的方位。
此外，在本实施方式中，在作为规定物标F的人工物上标注有识别标识Fa(图4：例3)，通过识别标识Fa，能够识别出是启示方位的人工物。另外，在通过延伸方向、排列方向来启示方位的规定物标F上标注有方向指示标识Fb(图5：例4)，通过方向指示标识Fb能够识别出这些延伸方向、排列方向上的从起点到终点的朝向。
规定物标识别部48通过图像识别从摄影图像A1中检测规定物标F。具体而言，规定物标识别部48针对天然物的规定物标F，通过形状的图案匹配来检测该规定物标F。另外，规定物标识别部48针对人工物的规定物标F通过对识别标识Fa进行识别或者通过该人工物的形状的图案匹配来检测该规定物标F。此外，规定物标识别部48也可以通过使用了AI(Artificial Intelligence：人工智能)的识别处理来检测规定物标F。
方位信息取得部50在由规定物标识别部48从摄影图像A1中检测出规定物标F的情况下(即，在摄影图像A1中拍摄到规定物标F的情况下)，从物标数据源46取得与该规定物标F对应的方位信息G。
视点轴方位确定部52基于方位信息G及摄影图像A1中的规定物标F与摄像头30的视点轴K之间的位置关系来确定该视点轴K所指向的方位。
前方方位确定部54基于视点轴K与车体10的前方D1的基准轴(车辆中心轴)所成的角度α来校正视点轴K所指向的方位，由此确定车体10的前方D1所指向的方位。
更具体而言，在本实施方式中，如上所述，摄像头30的视点轴K与车辆1的前方D1一致，因此角度α为零。与此相对，例如，在摄像头30的视点轴K朝向车体10的侧方设置而角度α不为零的情况下，前方方位确定部54通过使视点轴K所指向的方位移位角度α的量来确定车体10的前方D1所指向的方位。
由前方方位确定部54确定出的方位被输入到方位使用设备22，用于该方位使用设备22中的各种控制(导航控制、自主行驶控制等)。由此，方位使用设备22在不另外具备检测方位的方位检测单元(例如陀螺仪传感器等)的情况下也能够确定方位。另外，在方位使用设备22具备检测方位的方位检测单元的情况下，也能够使用由方位确定装置36确定出的方位来校正方位检测单元的检测结果，在方位检测单元的检测灵敏度较差的环境或状况下，也能够实现高精度的方位检测。
图3是示出方位确定***20的动作的流程图。
在车辆1中，在适当的时机(电源开关或点火钥匙接通的时机、行驶开始时机等)，方位确定***20的各部开始动作。并且，首先，在方位确定装置36中，上述处理器判断规定的动作开始条件是否成立(步骤S1)。动作开始条件是与处于方位确定的有效性高的状况对应的条件。具体而言，动作开始条件是规定的车辆1位于规定区域的情况及车辆1正在行驶(移动)的情况中的至少任意一种情况。规定区域是定位信号的接收状况不理想的区域、不存在规定方位的3维地图信息的区域等。通过以满足该动作开始条件为条件，由方位确定装置36执行确定方位的动作，能够抑制方位确定的有效性低的状况下的动作。
在满足动作开始条件的情况下(步骤S1：是)，摄影图像取得部40从摄像头30取得摄影图像A1(步骤S2)。接着，规定物标识别部48通过对摄影图像A1进行图像识别来检测规定物标F(步骤S3：规定物标检测处理)。
在从摄影图像A1中检测出规定物标F的情况下(即，在摄影图像A1中拍摄到规定物标F的情况下)(步骤S4：是)，方位信息取得部50从物标数据源46取得与检测出的规定物标F对应的方位信息G(步骤S5)。然后，视点轴方位确定部52基于方位信息G来确定规定物标F所启示的方位，并基于确定出的方位及摄影图像A1中的规定物标F与摄像头30的视点轴K之间的位置关系来确定视点轴K所指向的方位(步骤S6)。
在该步骤S6中，在确定规定物标F所启示的方位时需要当前位置A2和当前日期时间A3的情况下、即在方位信息G表示以当前位置A2和当前日期时间A3为参数的方位的情况下，视点轴方位确定部52使用由当前位置取得部42取得的当前位置A2和由当前日期时间取得部44取得的当前日期时间A3来确定规定物标F所启示的方位。接着，视点轴方位确定部52基于确定出的方位及摄影图像A1中的规定物标F与摄像头30的视点轴K之间的位置关系来确定视点轴K所指向的方位。
此外，关于步骤S6中的角度确定的具体方式，将在后面进行详细说明。
接着，前方方位确定部54基于视点轴K与车体10的前方的基准轴(车辆中心轴)所成的角度α(在本实施方式中，α＝零度)来校正视点轴K所指向的方位，由此确定车体10的前方所指向的方位(步骤S7)，并将确定出的方位输出到方位使用设备22(步骤S8)。
由此，在不使用定位的情况下基于摄像头30的摄影图像A1来确定摄像头30的视点轴K所指向的方位、车体10的前方所指向的方位。因此，能够与定位的精度无关地确定这些方位。
图4和图5是示出摄影图像A1的例子和视点轴K所指向的方位的示意图。
在例1的摄影图像A1中，作为规定物标F而拍摄有充分成长的向日葵。在该情况下，视点轴方位确定部52在摄影图像A1中确定为向日葵所朝向的方位H1为“东”，并且基于向日葵与摄像头30之间的位置关系而确定为视点轴K所朝向的方位为“北”。
在例2的摄影图像A1中，作为规定物标F而拍摄有建筑物的影子。在该情况下，视点轴方位确定部52基于当前位置A2和当前日期时间A3来确定太阳所在的方位，并基于太阳所在的该方位和从建筑物延伸出的影子的方向H2来确定影子延伸的方向H2的方位(在图示例子中为“东”)。然后，视点轴方位确定部52基于影子与摄像头30之间的位置关系来确定视点轴K所朝向的方位(在图示例子中为“北”)。
在例3的摄影图像A1中，作为规定物标F而拍摄有作为启示方位的人工物的交通柱群。在该情况下，视点轴方位确定部52基于方位信息G来确定交通柱群的排列方向H3所启示的方位(在图示例子中为“南”)。然后，视点轴方位确定部52基于交通柱群与摄像头30之间的位置关系来确定视点轴K所朝向的方位(在图示例子中为“南”)。
此外，在例3中，在交通柱群上标注有上述的识别标识Fa，视点轴方位确定部52通过对该识别标识Fa进行图像识别，从而判定为该交通柱群是规定物标F。另外，在交通柱群中，在与排列方向H3的起点对应的交通柱上标注有表示该起点的起点标识Fb1，在与终点对应的交通柱上标注有表示该终点的终点标识Fb2。这些起点标识Fb1和终点标识Fb2是表示排列方向H3上的从起点到终点的朝向的上述方向指示标识Fb的一例，视点轴方位确定部52基于这些起点标识Fb1和终点标识Fb2来确定排列方向H3所指的方向。
在例4的摄影图像A1中，作为规定物标F而拍摄有护栏。在该情况下，视点轴方位确定部52基于方位信息G来确定护栏的延伸方向H4所启示的方位(在图示例子中为“北”)。然后，视点轴方位确定部52基于护栏的延伸方向与摄像头30之间的位置关系来确定视点轴K所朝向的方位(在图示例子中为“北”)。此外，与例3的交通柱群同样地，在护栏上也标注有表示是启示方位的人工物的识别标识Fa和表示延伸方向H4的朝向的方向指示标识Fb。
在例5的摄影图像A1中，作为规定物标F而拍摄有描绘于路面的标识即路面标识。在该情况下，视点轴方位确定部52基于路面标识的显示来确定该路面标识所启示的方位(在图示例子中为“北”)。然后，视点轴方位确定部52基于路面标识与摄像头30之间的位置关系来确定视点轴K所朝向的方位(在图示例子中为“北”)。此外，在规定物标F是标识的情况下，由于该标识自身能够区别于其它地标，因此不需要标注识别标识Fa，此外，预先将该标识所启示的方位存储在上述方位信息G中。
在此，如例3至例5那样，在规定物标F为人工物的情况下，规定物标识别部48在图3的步骤S3和S4中检测位于车辆1正在行驶的行驶道路M旁边(更准确地说，是在规定距离的范围内，如例5那样也包括行驶道路M的范围内)的规定物标F，视点轴方位确定部52基于该规定物标F来确定视点轴K所指向的方位。
根据该动作，由规定物标识别部48检测出所启示的方位表示行驶道路M的方位的规定物标F，因此通过确定出视点轴K所指向的方位，也能确定出行驶道路M的方位。因此，例如，在方位使用设备22是具有跟踪行驶道路M的功能的设备的情况下，该方位使用设备22通过将记录在地图数据等中的行驶道路M所表示的方位与从方位确定装置36输出的方位进行比较，能够判定正在跟踪的行驶道路M的正误。
本实施方式起到以下效果。
本实施方式的方位确定装置36具备：摄影图像取得部40，其取得由设置于车辆1的摄像头30拍摄到的摄影图像A1；方位信息取得部50，其在摄影图像A1中拍摄到启示方位的规定物标F的情况下，取得表示该规定物标F所启示的方位的方位信息G；以及视点轴方位确定部52，其基于方位信息G及摄影图像A1中的规定物标F与摄像头30的视点轴K之间的位置关系来确定该视点轴K所指向的方位。
根据该结构，能够在不使用基于GNSS接收机等的定位的情况下确定摄像头30的视点轴K所指向的方位。由此，即使车辆1在不适于定位的环境中行驶，也能够确定方位。
本实施方式的方位确定装置36具备取得当前位置A2的当前位置取得部42和取得当前日期时间A3的当前日期时间取得部44。并且，在规定物标F所启示的方位会根据当前位置A2和当前日期时间A3发生变化的情况下，上述视点轴方位确定部52基于由当前位置取得部42取得的当前位置A2和由当前日期时间取得部44取得的当前日期时间A3来确定规定物标F所启示的方位，并基于确定出的方位来确定视点轴K所指向的方位。
根据该结构，也能够将所启示的方位会根据当前位置A2和当前日期时间A3发生变化的地标作为规定物标F来处理。由此，能够作为规定物标F来处理的地标的选项增加，能够提高方位确定装置36的便利性。
本实施方式的方位确定装置36具备规定物标识别部48，该规定物标识别部48基于是否标注有表示是启示方位的规定物标F的识别标识Fa，从摄影图像A1中检测规定物标F。
根据该结构，能够从摄影图像A1中准确地检测出规定物标F。
在本实施方式的方位确定装置36中，视点轴方位确定部52基于在摄影图像A1中位于车辆1正在行驶的行驶道路M旁边的规定物标F来确定视点轴K所指向的方位。
根据该结构，基于所启示的方位表示行驶道路M的方位的规定物标F来确定视点轴K所指向的方位。由此，根据视点轴K所指向的方位，也能够确定该行驶道路M的方位。
本实施方式的方位确定装置36具有前方方位确定部54，该前方方位确定部54基于视点轴K所指向的方位来确定车辆1的前方D1所指向的方位。
根据该结构，能够在不使用定位的情况下确定车辆1的前方D1所指向的方位。
本实施方式的方位确定装置36在车辆1位于规定区域的情况及车辆1正在行驶的情况中的至少任意一种情况下，由视点轴方位确定部52进行视点轴K所指向的方位的确定。
根据该结构，能够抑制在方位确定的有效性低的状况下的动作。
另外，上述的实施方式只不过是本发明的一个方式的例示。即，在不脱离本发明的主旨的范围内，能够任意地对上述的实施方式进行变形和应用，并且，能够任意地对与这些实施方式、变形以及应用有关的各方式进行组合。
在上述的实施方式中，摄像头30的设置台数不限于1台，也可以是2台以上。在该情况下，方位确定装置36通过对摄像头30各自的摄影图像A1实施图3所示的处理，能够确定各摄像头30的视点轴K所指向的方位。另外，方位确定装置36也能够使用各摄像头30的视点轴K所指向的方位的确定结果，来更高精度地确定车辆1的前方D1所指向的方位。
在上述的实施方式中，方位确定装置36所具备的物标数据源46也可以设置于车辆1所具备的其它车载装置、或者与因特网等电气通信线路连接的外部的计算机。
在上述的实施方式中，也可以将方位确定装置36组装于方位使用设备22。
在上述的实施方式中，例示了对作为规定物标F的人工物标注识别标识Fa的情况。但是，在该人工物(包括该部分)具有能够区别于其它物体的固有的形状、花纹或色彩、或者它们的结合(以下，称为“形状等”)的情况下，该形状等也可以用于代替识别标识Fa。
在上述的实施方式中，例示了在规定的动作开始条件成立的情况下(图3：步骤S1：是)由视点轴方位确定部52进行视点轴K所指向的方位的确定的结构，但视点轴方位确定部52也可以与规定的动作开始条件的正确与否无关地进行视点轴K所指向的方位的确定。并且，在该情况下，前方方位确定部54也可以在图3所示的步骤S1的规定的动作开始条件成立时，执行确定前方D1所指向的方位的处理(图3：步骤S7)。
在上述的实施方式中，移动体也可以不是车辆1，而是飞机、船舶、无人机、机器人等。
图2所示的功能块是为了容易理解本申请发明而根据主要的处理内容将方位确定装置36的结构要素进行分类示出的概略图，也能够根据处理内容将方位确定装置36的结构要素分类为更多的结构要素。另外，也能够以1个结构要素执行更多的处理的方式进行分类。
另外，方位确定装置36的各结构要素的处理可以由1个硬件执行，也可以由多个硬件执行。另外，各结构要素的处理可以由1个程序实现，也可以由多个程序实现。
(本说明书的公开所支持的结构)
本说明书的公开支持以下结构。
(结构1)
一种方位确定装置，其特征在于，具备：摄影图像取得部，其取得由设置于移动体的摄像头拍摄到的摄影图像；方位信息取得部，其在所述摄影图像中拍摄到启示方位的规定物标的情况下，取得表示该规定物标所启示的方位的方位信息；以及视点轴方位确定部，其基于所述方位信息及所述摄影图像中的所述规定物标与所述摄像头的视点轴之间的位置关系，来确定该视点轴所指向的方位。
根据结构1，能够在不使用定位的情况下确定方位。
(结构2)
根据结构1所记载的方位确定装置，其特征在于，所述方位确定装置具备：当前位置取得部，其取得当前位置；以及当前日期时间取得部，其取得当前日期时间，在所述规定物标所启示的方位会根据所述当前位置和所述当前日期时间发生变化的情况下，所述视点轴方位确定部基于由所述当前位置取得部取得的所述当前位置和由所述当前日期时间取得部取得的所述当前日期时间来确定所述规定物标所启示的方位，并基于确定出的方位来确定所述视点轴所指向的方位。
根据结构2，能够作为规定物标来处理的地标的选项增加，能够提高方位确定装置的便利性。
(结构3)
根据结构1或2所记载的方位确定装置，其特征在于，所述方位确定装置具备规定物标识别部，该规定物标识别部基于是否标注有表示是启示方位的规定物标的识别标识，从所述摄影图像中检测所述规定物标。
根据结构3，能够从摄影图像中准确地检测出规定物标。
(结构4)
根据结构1至3中的任意一项所记载的方位确定装置，其特征在于，所述视点轴方位确定部基于在所述摄影图像中位于所述移动体正在移动的移动路径旁边的所述规定物标来确定所述视点轴所指向的方位。
根据结构4，通过确定出视点轴所指向的方位，也能确定出移动路径的方位。
(结构5)
根据结构1至4中的任意一项所记载的方位确定装置，其特征在于，所述方位确定装置具备前方方位确定部，该前方方位确定部基于所述视点轴所指向的方位来确定所述移动体的前方所指向的方位。
根据结构5，能够在不使用定位的情况下确定移动体的前方所指向的方位。
(结构6)
根据结构1至结构5中的任意一项所记载的方位确定装置，其特征在于，在所述移动***于规定区域的情况及所述移动体正在移动的情况中的至少任意一种情况下，由所述视点轴方位确定部进行所述视点轴所指向的方位的确定。
根据结构6，能够抑制在方位确定的有效性低的状况下的动作。
(结构7)
一种方位确定方法，该方位确定方法是由确定方位的方位确定装置使用的方法，其特征在于，所述方位确定方法包括以下步骤：取得由设置于移动体的摄像头拍摄到的摄影图像；在所述摄影图像中拍摄到启示方位的规定物标的情况下，取得表示该规定物标所启示的方位的方位信息；以及基于所述方位信息及所述摄影图像中的所述规定物标与所述摄像头的视点轴之间的位置关系，来确定该视点轴所指向的方位。
根据结构7，能够在不使用定位的情况下确定方位。

Claims (7)

1.一种方位确定装置，其特征在于，具备：
摄影图像取得部，其取得由设置于移动体的摄像头拍摄到的摄影图像；
方位信息取得部，其在所述摄影图像中拍摄到启示方位的规定物标的情况下，取得表示该规定物标所启示的方位的方位信息；以及
视点轴方位确定部，其基于所述方位信息及所述摄影图像中的所述规定物标与所述摄像头的视点轴之间的位置关系，来确定该视点轴所指向的方位。
2.根据权利要求1所述的方位确定装置，其特征在于，
所述方位确定装置具备：
当前位置取得部，其取得当前位置；以及
当前日期时间取得部，其取得当前日期时间，
在所述规定物标所启示的方位会根据所述当前位置和所述当前日期时间发生变化的情况下，所述视点轴方位确定部基于由所述当前位置取得部取得的所述当前位置和由所述当前日期时间取得部取得的所述当前日期时间来确定所述规定物标所启示的方位，并基于确定出的方位来确定所述视点轴所指向的方位。
3.根据权利要求1或2所述的方位确定装置，其特征在于，
所述方位确定装置具备规定物标识别部，该规定物标识别部基于是否标注有表示是启示方位的规定物标的识别标识，从所述摄影图像中检测所述规定物标。
4.根据权利要求1所述的方位确定装置，其特征在于，
所述视点轴方位确定部基于在所述摄影图像中位于所述移动体正在移动的移动路径旁边的所述规定物标来确定所述视点轴所指向的方位。
5.根据权利要求1所述的方位确定装置，其特征在于，
所述方位确定装置具备前方方位确定部，该前方方位确定部基于所述视点轴所指向的方位来确定所述移动体的前方所指向的方位。
6.根据权利要求1所述的方位确定装置，其特征在于，
在所述移动***于规定区域的情况及所述移动体正在移动的情况中的至少任意一种情况下，由所述视点轴方位确定部进行所述视点轴所指向的方位的确定。
7.一种方位确定方法，该方位确定方法是由确定方位的方位确定装置使用的方法，其特征在于，
所述方位确定方法包括以下步骤：
取得由设置于移动体的摄像头拍摄到的摄影图像；
在所述摄影图像中拍摄到启示方位的规定物标的情况下，取得表示该规定物标所启示的方位的方位信息；以及
基于所述方位信息及所述摄影图像中的所述规定物标与所述摄像头的视点轴之间的位置关系，来确定该视点轴所指向的方位。
CN202310026004.6A 2022-02-22 2023-01-09 方位确定装置和方位确定方法 Pending CN116643302A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-025265 2022-02-22
JP2022025265A JP7407213B2 (ja) 2022-02-22 2022-02-22 方角特定装置、及び方角特定方法

Publications (1)

Publication Number Publication Date
CN116643302A true CN116643302A (zh) 2023-08-25

Family

ID=87574670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310026004.6A Pending CN116643302A (zh) 2022-02-22 2023-01-09 方位确定装置和方位确定方法

Country Status (3)

Country Link
US (1) US20230267645A1 (zh)
JP (1) JP7407213B2 (zh)
CN (1) CN116643302A (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009157778A (ja) * 2007-12-27 2009-07-16 Kenwood Corp 車載器，出力可否判定方法，道路通信システムおよびプログラム
JP5551892B2 (ja) * 2009-06-19 2014-07-16 富士通テン株式会社 信号処理装置、及びレーダ装置
US8694051B2 (en) * 2010-05-07 2014-04-08 Qualcomm Incorporated Orientation sensor calibration
JP2012122760A (ja) * 2010-12-06 2012-06-28 Aisin Aw Co Ltd 自車位置認識システム、自車位置認識プログラム、及び自車位置認識方法
WO2018142533A1 (ja) * 2017-02-02 2018-08-09 三菱電機株式会社 位置姿勢推定装置および位置姿勢推定方法
US20210206403A1 (en) * 2020-01-03 2021-07-08 Westinghouse Air Brake Technologies Corporation Systems and methods for vehicle orientation determination

Also Published As

Publication number Publication date
JP2023121914A (ja) 2023-09-01
JP7407213B2 (ja) 2023-12-28
US20230267645A1 (en) 2023-08-24

Similar Documents

Publication Publication Date Title
CN110869700B (zh) 用于确定车辆位置的***和方法
US20230360260A1 (en) Method and device to determine the camera position and angle
CN110462343B (zh) 使用自动标记的图像来对车辆进行导航的方法和***
US10515458B1 (en) Image-matching navigation method and apparatus for aerial vehicles
JP7082545B2 (ja) 情報処理方法、情報処理装置およびプログラム
JP5152244B2 (ja) 追従対象車特定装置
US10885791B2 (en) Vehicle dispatch system, autonomous driving vehicle, and vehicle dispatch method
US9109907B2 (en) Vehicle position recognition apparatus and method using image recognition information
EP2878975A1 (en) System and method for correcting gps using image recognition information
US20170177958A1 (en) Target Detection Apparatus and Target Detection Method
KR102103944B1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
Zacchini et al. Mono visual odometry for Autonomous Underwater Vehicles navigation
CN210038170U (zh) 一种紧耦合的自动驾驶感知***
EP3795952A1 (en) Estimation device, estimation method, and computer program product
CN113091756A (zh) 位置推定装置、以及位置推定方法
CN116643302A (zh) 方位确定装置和方位确定方法
KR102622587B1 (ko) 정밀측위 시스템의 종방향 위치 오차를 보정하기 위한 장치 및 방법
US11920936B2 (en) Vehicle controller, and method and computer program for controlling vehicle
US20220309805A1 (en) Apparatus, method, and computer program for detecting lane boundary
KR20180137904A (ko) 차량 주행 정보의 보정 장치 및 방법
CN102818570B (zh) 利用sins/图像匹配组合导航进行火星捕获的方法
US20230294689A1 (en) Vehicle controller, and method and computer program for controlling vehicle
EP4019897B1 (en) Autonomous travel system
WO2023026962A1 (ja) 自律走行システム及び自律走行システムにおける方法
RU2781373C1 (ru) Способ коррекции собственного местоположения и устройство коррекции собственного местоположения

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination