JP7407213B2

JP7407213B2 - 方角特定装置、及び方角特定方法

Info

Publication number: JP7407213B2
Application number: JP2022025265A
Authority: JP
Inventors: 隆介玉那覇
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2022-02-22
Filing date: 2022-02-22
Publication date: 2023-12-28
Anticipated expiration: 2042-02-22
Also published as: US20230267645A1; CN116643302A; JP2023121914A

Description

本発明は、方角特定装置、及び方角特定方法に関する。

ＧＰＳ（Global Positioning System）衛星が送信する測位信号を受信するＧＰＳ受信器を備え、当該測位信号に基づいて現在位置を検出し、現在位置の検出結果を用いて自律的に走行する移動体が知られている（例えば、特許文献１参照）。

特開２０１９－１４４６６８号公報

しかしながら、測位信号を受信し難い環境を移動体が移動する場合、測位精度が低下することで、移動体が移動している方角の特定精度が低下し、所定の移動経路から外れた箇所を移動する、という問題がある。この問題の対策として、ＧＰＳ受信機を改良して測位信号の受信感度を高めることが考えられるが、ＧＰＳ受信機のコストが増大する、という新たな問題が生じる。

本発明は、測位を用いずに方角を特定できる方角特定装置、及び方角特定方法を提供することを目的とする。

本発明の一態様は、移動体に設けられたカメラによる撮影画像を取得する撮影画像取得部と、方角を示唆する所定物標が前記撮影画像に写っている場合に、当該所定物標が示唆する方角を示す方角情報を取得する方角情報取得部と、前記方角情報と、前記撮影画像における前記所定物標と前記カメラの視点軸との位置関係と、に基づいて、当該視点軸が指向している方角を特定する視点軸方角特定部と、方角を示唆する物標であることを示す識別標識が付されているか否かに基づいて、前記撮影画像から前記所定物標を検出する所定物標認識部と、を備え、前記視点軸方角特定部は、前記所定物標認識部により、前記識別標識が付されて方角を示唆するポール群である前記所定物標が検出された場合に、前記ポール群の配列方向が示唆する方角を前記方角情報に基づいて特定し、前記撮影画像における前記ポール群の配列方向と前記カメラの視点軸との位置関係に基づいて、前記視点軸が指向している方角を特定することを特徴とする方角特定装置である。

本発明の一態様は、移動体に設けられたカメラによる撮影画像を取得する撮影画像取得部と、方角を示唆する所定物標が前記撮影画像に写っている場合に、当該所定物標が示唆する方角を示す方角情報を取得する方角情報取得部と、前記方角情報と、前記撮影画像における前記所定物標と前記カメラの視点軸との位置関係と、に基づいて、当該視点軸が指向している方角を特定する視点軸方角特定部と、方角を示唆する物標であることを示す識別標識が付されているか否かに基づいて、前記撮影画像から前記所定物標を検出する所定物標認識部と、を備え、前記視点軸方角特定部は、前記所定物標認識部により、前記識別標識が付されて方角を示唆するガードレールである前記所定物標が検出された場合に、前記ガードレールの延在方向が示唆する方角を前記方角情報に基づいて特定し、前記撮影画像における前記ガードレールの延在方向と前記カメラの視点軸との位置関係に基づいて、前記視点軸が指向している方角を特定することを特徴とする方角特定装置である。

本発明の一態様は、上記方角特定装置において、前記視点軸が指向している方角に基づいて、前記移動体の前方が指向している方角を特定する前方方角特定部を備える、ことを特徴とする。

本発明の一態様は、上記方角特定装置において、前記移動体が所定エリアにいる場合、及び、前記移動体が移動している場合の少なくともいずれか１つの場合に、前記視点軸が指向している方角の特定が前記視点軸方角特定部によって行われることを特徴とする。

本発明の一態様は、方角を特定する方角特定装置による方角特定方法おいて、前記方角特定装置が、移動体に設けられたカメラによる撮影画像を取得するステップと、方角を示唆する所定物標が前記撮影画像に写っている場合に、当該所定物標が示唆する方角を示す方角情報を取得するステップと、前記方角情報と、前記撮影画像における前記所定物標と前記カメラの視点軸との位置関係と、に基づいて、当該視点軸が指向している方角を特定する視点軸方角特定ステップと、方角を示唆する物標であることを示す識別標識が付されているか否かに基づいて、前記撮影画像から前記所定物標を検出する所定物標認識ステップと、を備え、前記視点軸方角特定ステップは、前記所定物標認識ステップにより、前記識別標識が付されて方角を示唆するポール群である前記所定物標が検出された場合に、前記ポール群の配列方向が示唆する方角を前記方角情報に基づいて特定し、前記撮影画像における前記ポール群の配列方向と前記カメラの視点軸との位置関係に基づいて、前記視点軸が指向している方角を特定することを特徴とする。
本発明の一態様は、方角を特定する方角特定装置による方角特定方法おいて、前記方角特定装置が、移動体に設けられたカメラによる撮影画像を取得するステップと、方角を示唆する所定物標が前記撮影画像に写っている場合に、当該所定物標が示唆する方角を示す方角情報を取得する視点軸方角特定ステップと、前記方角情報と、前記撮影画像における前記所定物標と前記カメラの視点軸との位置関係と、に基づいて、当該視点軸が指向している方角を特定するステップと、方角を示唆する物標であることを示す識別標識が付されているか否かに基づいて、前記撮影画像から前記所定物標を検出する所定物標認識ステップと、を備え、前記視点軸方角特定ステップは、前記所定物標認識ステップにより、前記識別標識が付されて方角を示唆するガードレールである前記所定物標が検出された場合に、前記ガードレールの延在方向が示唆する方角を前記方角情報に基づいて特定し、前記撮影画像における前記ガードレールの延在方向と前記カメラの視点軸との位置関係に基づいて、前記視点軸が指向している方角を特定することを特徴とする。

本発明の一態様によれば、測位を用いずに方角を特定できる。

本発明の実施形態に係る車両の構成を模式的に示す図である。方角特定装置の機能的構成を示す図である。方角特定システムの動作を示すフローチャートである。撮影画像の例と、視点軸が指向している方角とを示す模式図である。撮影画像の例と、視点軸が指向している方角とを示す模式図である。

以下、図面を参照して本発明の実施形態について説明する。
なお、以下の説明において、「前方」及び「後方」の用語が示す向きはそれぞれ、車両１の「前進方向」及び「後進方向」に相当し、それぞれに符号Ｄ１、Ｄ２を付す。

図１は、本実施形態に係る車両１の構成を模式的に示す図である。
車両１は、移動体の一例であり、移動体本体に対応する車体１０と、駆動力を出力する電動機及び内燃機関の少なくともいずれか一方を有する駆動部１２と、当該駆動部１２の駆動力によって駆動され、車体１０を推進（本実施形態では走行）させる複数の車輪１４と、を備える。本実施形態の車両１は、車輪１４の数が４つである四輪自動車であるが、当該車輪１４の数及び車体１０の形状は任意である。

また、本実施形態の車両１は、方角を特定する方角特定システム２０と、当該方角を利用する車載装置である方角利用機器２２とを備える。方角利用機器２２は、例えば、ナビゲーション装置や、自律航法によって車両１の走行を制御する自動運転装置といった適宜の装置である。

方角特定システム２０は、カメラ３０と、位置検出装置３２と、計時装置３４と、方角特定装置３６と、を備える。
カメラ３０は、車両１の周辺を撮影し、当該撮影による撮影画像Ａ１を方角特定装置３６に出力する。本実施形態において、カメラ３０は、視点軸Ｋ（注視軸や光軸とも呼ばれる）を車両１の前方Ｄ１と一致させて車体１０に設置されており、視点軸Ｋが指向している方角が、車体１０の前方Ｄ１が指向している方角（車両１の前進時には車両１が向かっている方角）と見做せるようになっている。
なお、カメラ３０は、所定フレームレートで撮影された撮影画像Ａ１から成る動画像を撮影してもよいし、撮影画像Ａ１として静止画像を適宜の間隔で撮影してもよい。

ここで、方角は、車両１の現在位置Ａ２を基準として、カメラ３０の視点軸Ｋが指向している方向を、所定の基準方向との関係で表した方向であり、本実施形態において、所定の基準方向には「東」、「西」、「南」、「北」の４方向が用いられる。

位置検出装置３２は、車両１の現在位置Ａ２を検出し、当該現在位置Ａ２を方角特定装置３６に出力する装置である。本実施形態の位置検出装置３２は、複数の測位衛星から発信される測位信号を受信し、これらの測位信号に基づいて現在位置Ａ２を特定するＧＮＳＳ（Global Navigation Satellite System：全球測位衛星システム）受信装置を備えている。
計時装置３４は、現在の日付及び時刻である現在日時Ａ３を計時し、当該現在日時Ａ３を方角特定装置３６に出力する。

方角特定装置３６は、撮影画像Ａ１に写っている所定物標Ｆ（図４）に基づき方角を特定し、当該方角を方角利用機器２２に出力する装置である。また、方角特定装置３６は、所定物標Ｆの種類に応じて、現在位置Ａ２及び現在日時Ａ３の少なくともいずれか１つの情報を撮影画像Ａ１とともに用いて方角を特定する。

所定物標Ｆは、撮影画像Ａ１に写っている被写体のうち、方角を示唆する地物（天然物又は人工物）であり、その具体例については後述する。

本実施形態において、方角特定装置３６は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-Processing Unit）などのプロセッサと、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリデバイス（主記憶装置とも呼ばれる）と、ＨＤＤ（hard disk drive）やＳＳＤ（Solid State Drive）などのストレージ装置（副記憶装置とも呼ばれる）と、カメラ３０や位置検出装置３２、計時装置３４、センサ類、周辺機器などが接続されるインターフェース回路と、を備えたコンピュータを備える。本実施形態の車両１において、当該コンピュータにはＥＣＵ（Electronic Control Unit）が用いられる。そして、方角特定装置３６は、プロセッサがメモリデバイス又はストレージ装置に記憶されているコンピュータプログラムを実行することで、方角特定に係る各種の機能を実現する。なお、方角特定装置３６が複数のコンピュータを備え、それぞれのコンピュータが協同して、方角特定に係る各種の機能を実現してもよい。

図２は、方角特定装置３６の機能的構成を示す図である。
方角特定装置３６は、カメラ３０から撮影画像Ａ１を取得する撮影画像取得部４０と、位置検出装置３２から現在位置Ａ２を取得する現在位置取得部４２と、計時装置３４から現在日時Ａ３を取得する現在日時取得部４４と、を備える。
また、方角特定装置３６は、物標データソース４６と、所定物標認識部４８と、方角情報取得部５０と、視点軸方角特定部５２と、前方方角特定部５４と、を備える。

物標データソース４６は、物標データベース４６Ａを予め記憶する。物標データベース４６Ａは、上記所定物標Ｆが示唆する方角を示す情報（以下、方角情報Ｇと言う）が所定物標Ｆごとに記録されたデータである。

所定物標Ｆには、向日葵や太陽、月、物体に生じた影などの天然物、及び、方角を示唆する形状、配列、又は標識を伴う人工物（天然物を加工した物を含む）が含まれる。

例えば、太陽及び月は、その位置によって方角を示唆する天然物である。太陽及び月は、その位置が現在位置Ａ２及び現在日時Ａ３によって変化するため、太陽及び月の方角情報Ｇには、現在位置Ａ２及び現在日時Ａ３をパラメータとして、太陽及び月が位置する方角を導出するための計算式や数値テーブルなどのデータが格納される。

また例えば、物体から延びる影は、その延びる方向によって方角を示唆する天然物である。延びる方向は、そのときの太陽の位置、すなわち、現在位置Ａ２及び現在日時Ａ３によって変化するため、影の方角情報Ｇには、上述の太陽と同様に、現在位置Ａ２及び現在日時Ａ３をパラメータとして、太陽が位置する方角を導出するための計算式や数値テーブルなどのデータが格納される。

また例えば、向日葵は十分に成長すると常に東を向いて咲くという性質を有することから、その向きによって方角を示唆する天然物である。そこで、向日葵の方角情報Ｇには、向日葵の向きが示唆する方角である「東」が格納される。なお、十分に成長していない向日葵は、太陽の動きに合わせて向く方向が変わるという性質を有する。したがって、十分に成長していない向日葵の方角情報Ｇには、上述の太陽や影と同様に、現在位置Ａ２及び現在日時Ａ３をパラメータとして、太陽が位置する方角を導出するための計算式や数値テーブルなどのデータが格納される。

人工物の例には、延在方向によって特定の方角を示唆するガードレールや車線といった物や、配列方向によって特定の方角を示唆するポール群などの物体群、特定の方角を指し示す形状（矢印形状など）の建造物が例に挙げられる。所定物標Ｆとなる人工物の方角情報Ｇには、延在方向や配列方向、形状が示唆する方角が予め格納されている。
なお、本実施形態において、所定物標Ｆとなる人工物には、方角を示唆しない人工物と識別可能にする識別標識Ｆａ（図４：例３）が付されている。また、延在方向や配列方向によって方角を示唆する所定物標Ｆには、これら延在方向や配列方向における起点から終点への向きを識別可能にする方向指示標識Ｆｂ（図５：例４）が付されている。

所定物標認識部４８は、所定物標Ｆを画像認識によって撮影画像Ａ１から検出する。具体的には、所定物標認識部４８は、天然物の所定物標Ｆについては形状のパターンマッチングにより当該所定物標Ｆを検出する。また、所定物標認識部４８は、人工物の所定物標Ｆについては識別標識Ｆａを認識し、又は、当該人工物の形状のパターンマッチングにより当該所定物標Ｆを検出する。なお、所定物標認識部４８は、ＡＩ（Artificial Intelligence）を用いた認識処理によって所定物標Ｆを検出してもよい。

方角情報取得部５０は、所定物標Ｆが撮影画像Ａ１から所定物標認識部４８によって検出された場合（すなわち、所定物標Ｆが撮影画像Ａ１に写っている場合）、当該所定物標Ｆに対応する方角情報Ｇを物標データソース４６から取得する。

視点軸方角特定部５２は、方角情報Ｇと、撮影画像Ａ１における所定物標Ｆとカメラ３０の視点軸Ｋとの位置関係と、に基づいて当該視点軸Ｋが指向している方角を特定する。

前方方角特定部５４は、視点軸Ｋが指向している方角を、視点軸Ｋと車体１０の前方Ｄ１の基準軸（車両中心軸）とが成す角度αに基づき補正することで、車体１０の前方Ｄ１が指向している方角を特定する。
より具体的には、本実施形態では、上述の通り、カメラ３０の視点軸Ｋが車両１の前方Ｄ１と一致するため角度αはゼロである。これに対し、例えば、カメラ３０の視点軸Ｋが車体１０の側方に向けて設置され、角度αがゼロでない場合は、前方方角特定部５４は、視点軸Ｋが指向している方角を角度α分だけ変位させることで、車体１０の前方Ｄ１が指向している方角を特定する。

前方方角特定部５４によって特定された方角が方角利用機器２２に入力され、当該方角利用機器２２における各種の制御（ナビゲーション制御や自律走行制御など）に利用される。これにより、方角利用機器２２は、方角を検出する方角検出手段（例えばジャイロセンサなど）を別途に備えていなくとも、方角を特定することができる。また、方角利用機器２２が方角を検出する方角検出手段を備える場合でも、方角特定装置３６によって特定された方角を用いて方角検出手段の検出結果を補正することができ、方角検出手段の検出感度が悪い環境や状況においても、高精度な方角検出を実現することができる。

図３は、方角特定システム２０の動作を示すフローチャートである。
車両１において、適宜のタイミング（パワースイッチやイグニッションキーがオンになったタイミングや走行開始タイミングなど）で、方角特定システム２０の各部が動作を開始する。そして、先ず、方角特定装置３６において、上記プロセッサが所定の動作開始条件が成立しているか否かを判断する（ステップＳ１）動作開始条件は、方角特定の有効性が高い状況であることに対応した条件である。具体的には、動作開始条件は、所定の車両１が所定エリアにいる場合、及び、車両１が走行（移動）している場合の少なくともいずれか１つの場合である。所定エリアは、測位信号の受信状況が好ましくないエリアや、方角の拠り所となる３次元地図情報が存在しないエリアなどである。かかる動作開始条件が満足されたことを条件に、方角特定装置３６が方角を特定する動作を実行することで、方角特定の有効性が低い状況下での動作が抑えられる。

動作開始条件が満足されている場合（ステップＳ１：Ｙｅｓ）、撮影画像取得部４０がカメラ３０から撮影画像Ａ１を取得する（ステップＳ２）。次いで、所定物標認識部４８が撮影画像Ａ１を画像認識することで所定物標Ｆを検出する（ステップＳ３：所定物標検出処理）。

所定物標Ｆが撮影画像Ａ１から検出された場合（すなわち、所定物標Ｆが撮影画像Ａ１に写っている場合）（ステップＳ４：Ｙｅｓ）、方角情報取得部５０は、検出された所定物標Ｆに対応する方角情報Ｇを物標データソース４６から取得する（ステップＳ５）。そして、視点軸方角特定部５２は、所定物標Ｆが示唆する方角を方角情報Ｇに基づいて特定し、当該方角と、撮影画像Ａ１における所定物標Ｆとカメラ３０の視点軸Ｋとの位置関係と、に基づいて、視点軸Ｋが指向している方角を特定する（ステップＳ６）。

このステップＳ６において、所定物標Ｆが示唆する方角の特定に、現在位置Ａ２及び現在日時Ａ３が必要な場合、すなわち、方角情報Ｇが現在位置Ａ２及び現在日時Ａ３をパラメータとした方角を示す場合、視点軸方角特定部５２は、現在位置取得部４２によって取得された現在位置Ａ２、及び、現在日時取得部４４によって取得された現在日時Ａ３を用いて、所定物標Ｆが示唆する方角を特定する。次いで、視点軸方角特定部５２は、当該方角と、撮影画像Ａ１における所定物標Ｆとカメラ３０の視点軸Ｋとの位置関係と、に基づいて、視点軸Ｋが指向している方角を特定する。

なお、ステップＳ６における角度特定の具体的態様については、後に詳述する。

次に、前方方角特定部５４は、視点軸Ｋが指向している方角を、視点軸Ｋと車体１０の前方の基準軸（車両中心軸）とが成す角度α（本実施形態ではα＝ゼロ度）に基づき補正することで、車体１０の前方が指向している方角を特定し（ステップＳ７）、この方角を方角利用機器２２に出力する（ステップＳ８）。

これにより、測位を用いることなく、カメラ３０の撮影画像Ａ１に基づいて、カメラ３０の視点軸Ｋが指向している方角や車体１０の前方が指向している方角が特定される。したがって、これらの方角を測位の精度によらずに特定することができる。

図４及び図５は、撮影画像Ａ１の例と、視点軸Ｋが指向している方角とを示す模式図である。
例１の撮影画像Ａ１には、十分に成長した向日葵が所定物標Ｆとして写っている。この場合、視点軸方角特定部５２は、撮影画像Ａ１において、向日葵が向いている方角Ｈ１が「東」であると特定し、また、向日葵とカメラ３０との位置関係に基づき、視点軸Ｋが向いている方角が「北」であると特定する。

例２の撮影画像Ａ１には、建物の影が所定物標Ｆとして写っている。この場合、視点軸方角特定部５２は、現在位置Ａ２及び現在日時Ａ３に基づいて、太陽が位置する方角を特定し、当該太陽が位置する方角と、建物から延びる影の方向Ｈ２とに基づいて、影が延びる方向Ｈ２の方角を特定する（図示例では「東」）。そして、視点軸方角特定部５２は、影とカメラ３０との位置関係に基づき、視点軸Ｋが向いている方角（図示例では「北」）を特定する。

例３の撮影画像Ａ１には、方角を示唆する人工物であるポール群が所定物標Ｆとして写っている。この場合、視点軸方角特定部５２は、ポール群の配列方向Ｈ３が示唆する方角を方角情報Ｇに基づいて特定する（図示例では「南」）。そして、視点軸方角特定部５２は、ポール群とカメラ３０との位置関係に基づき、視点軸Ｋが向いている方角（図示例では「南」）を特定する。

なお、例３において、ポール群には、上述の識別標識Ｆａが付されており、視点軸方角特定部５２は、この識別標識Ｆａを画像認識することで、当該ポール群が所定物標Ｆであると判定する。また、ポール群のうち、配列方向Ｈ３の起点に対応するポールには当該起点を示す起点標識Ｆｂ１が付されており、終点に対応するポールには当該終点を示す終点標識Ｆｂ２が付されている。これら起点標識Ｆｂ１及び終点標識Ｆｂ２は、配列方向Ｈ３における起点から終点への向きを示す上述の方向指示標識Ｆｂの一例であり、視点軸方角特定部５２は、これら起点標識Ｆｂ１及び終点標識Ｆｂ２に基づいて、配列方向Ｈ３が指す方向を特定する。

例４の撮影画像Ａ１には、ガードレールが所定物標Ｆとして写っている。この場合、視点軸方角特定部５２は、ガードレールの延在方向Ｈ４が示唆する方角を方角情報Ｇに基づいて特定する（図示例では「北」）。そして、視点軸方角特定部５２は、ガードレールの延在方向とカメラ３０との位置関係に基づき、視点軸Ｋが向いている方角（図示例では「北」）を特定する。なお、ガードレールにも、例３のポール群と同様に、方角を示唆する人工物であることを示す識別標識Ｆａと、延在方向Ｈ４の向きを示す方向指示標識Ｆｂとが付されている。

例５の撮影画像Ａ１には、路面に描かれた標識である路面標識が所定物標Ｆとして写っている。この場合、視点軸方角特定部５２は、路面標識の表示に基づいて、当該路面標識が示唆する方角を特定する（図示例では「北」）。そして、視点軸方角特定部５２は、路面標識とカメラ３０との位置関係に基づき、視点軸Ｋが向いている方角（図示例では「北」）を特定する。なお、所定物標Ｆが標識である場合には、その標識自体が他の地物と識別可能であるため、識別標識Ｆａの付与は不要であり、また、その標識が示唆する方角が上記方角情報Ｇに予め格納される。

ここで、例３から例５のように、所定物標Ｆが人工物である場合、所定物標認識部４８は、図３のステップＳ３及びＳ４において、車両１が走行中の走行路Ｍの傍ら（より正確には、所定距離の範囲内であり、例５のように走行路Ｍの範囲内も含む）に位置する所定物標Ｆを検出し、視点軸方角特定部５２は、かかる所定物標Ｆに基づき、視点軸Ｋが指向している方角を特定する。
この動作によれば、示唆する方角が走行路Ｍの方角を示す所定物標Ｆが所定物標認識部４８によって検出されるため、視点軸Ｋが指向している方角の特定によって、走行路Ｍの方角も特定される。したがって、例えば、方角利用機器２２が走行路Ｍをトラッキングする機能を有した機器である場合、かかる方角利用機器２２は、地図データ等に記録された走行路Ｍが示す方角と、方角特定装置３６から出力された方角とを比較することで、トラッキング中の走行路Ｍの正誤を判定するといったことが可能になる。

本実施形態によれば、次の効果を奏する。

本実施形態の方角特定装置３６は、車両１に設けられたカメラ３０による撮影画像Ａ１を取得する撮影画像取得部４０と、方角を示唆する所定物標Ｆが撮影画像Ａ１に写っている場合に、当該所定物標Ｆが示唆する方角を示す方角情報Ｇを取得する方角情報取得部５０と、方角情報Ｇと、撮影画像Ａ１における所定物標Ｆとカメラ３０の視点軸Ｋとの位置関係と、に基づいて、当該視点軸Ｋが指向している方角を特定する視点軸方角特定部５２と、を備える。
この構成によれば、ＧＮＳＳ受信機などによる測位を用いずに、カメラ３０の視点軸Ｋが指向している方角を特定できる。これにより、測位に適さない環境を車両１が走行中であっても方角を特定できる。

本実施形態の方角特定装置３６は、現在位置Ａ２を取得する現在位置取得部４２と、現在日時Ａ３を取得する現在日時取得部４４と、を備える。そして、上記視点軸方角特定部５２は、所定物標Ｆが示唆する方角が現在位置Ａ２及び現在日時Ａ３によって変わる場合、現在位置取得部４２及び現在日時取得部４４によって取得された現在位置Ａ２及び現在日時Ａ３に基づいて所定物標Ｆが示唆する方角を特定し、当該方角に基づいて視点軸Ｋが指向している方角を特定する。
この構成によれば、示唆する方角が現在位置Ａ２及び現在日時Ａ３に応じて変わる地物も所定物標Ｆとして扱うことができる。これにより、所定物標Ｆとして扱うことが可能な地物の選択肢が増え、方角特定装置３６の利便性を向上させることができる。

本実施形態の方角特定装置３６は、方角を示唆する物標であることを示す識別標識Ｆａが付されているか否かに基づいて、撮影画像Ａ１から所定物標Ｆを検出する所定物標認識部４８を備える。
この構成によれば、撮影画像Ａ１から所定物標Ｆを正確に検出することができる。

本実施形態の方角特定装置３６において、視点軸方角特定部５２は、撮影画像Ａ１において車両１が走行中の走行路Ｍの傍らに位置する所定物標Ｆに基づき、視点軸Ｋが指向している方角を特定する。
この構成によれば、示唆する方角が走行路Ｍの方角を示す所定物標Ｆに基づき、視点軸Ｋが指向している方角を特定される。これにより、視点軸Ｋが指向している方角によって、当該走行路Ｍの方角も特定することができる。

本実施形態の方角特定装置３６は、視点軸Ｋが指向している方角に基づいて、車両１の前方Ｄ１が指向している方角を特定する前方方角特定部５４を備える。
この構成によれば、車両１の前方Ｄ１が指向している方角を、測位を用いずに特定することができる。

本実施形態の方角特定装置３６は、車両１が所定エリアにいる場合、及び、車両１が走行している場合の少なくともいずれか１つの場合に、視点軸Ｋが指向している方角の特定が視点軸方角特定部５２によって行われる。
この構成によれば、方角特定の有効性が低い状況下での動作が抑えられる。

なお、上述した実施形態は、あくまでも本発明の一態様の例示である。すなわち、本発明の主旨を逸脱しない範囲において、上述した実施形態は任意に変形、及び応用が可能であり、かつ、これら実施形態、変形、及び応用に係る各態様は、任意に組み合わせが可能である。

上述した実施形態において、カメラ３０の設置台数は１台に限らず、２台以上であってもよい。この場合、方角特定装置３６は、カメラ３０のそれぞれの撮影画像Ａ１に対して図３に示す処理を施すことで、各カメラ３０の視点軸Ｋが指向している方角を特定することができる。また、方角特定装置３６は、各カメラ３０の視点軸Ｋが指向している方角の特定結果を用いて、より精度良く、車両１の前方Ｄ１が指向している方角を特定することもできる。

上述した実施形態において、方角特定装置３６が備える物標データソース４６は、車両１が備える他の車載装置、又は、インターネットなどの電気通信回線に接続された外部のコンピュータに設けられてもよい。

上述した実施形態において、方角特定装置３６は方角利用機器２２に組み込まれてもよい。

上述した実施形態において、所定物標Ｆとなる人工物には、識別標識Ｆａを付与する場合を例示した。しかしながら、当該人工物（その部分を含む）が他の物体と識別可能な固有の形状、模様若しくは色彩、又は、これらの結合（以下、「形状など」という）を有する場合は、当該形状などが識別標識Ｆａの代替に用いられても良い。

上述した実施形態において、所定の動作開始条件が成立している場合に（図３：ステップＳ１：Ｙｅｓ）、視点軸Ｋが指向している方角の特定が視点軸方角特定部５２によって行われる構成を例示したが、視点軸方角特定部５２は、所定の動作開始条件の正否にかかわらずに視点軸Ｋが指向している方角の特定を行てってもよい。さらに、この場合において、前方方角特定部５４は、図３に示すステップＳ１の所定の動作開始条件が成立したときに、前方Ｄ１が指向している方角を特定する処理（図３：ステップＳ７）を実行してもよい。

上述した実施形態において、移動体は車両１ではなく、飛行機、船舶、ドローンやロボットなどでもよい。

図２に示す機能ブロックは、本願発明を理解容易にするために、方角特定装置３６の構成要素を主な処理内容に応じて分類して示した概略図であり、方角特定装置３６の構成要素は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。
また、方角特定装置３６の各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアにより実行されてもよい。また、各構成要素の処理は、１つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。

（本明細書の開示によりサポートされる構成）
本明細書の開示は、以下の構成をサポートする。

（構成１）
移動体に設けられたカメラによる撮影画像を取得する撮影画像取得部と、方角を示唆する所定物標が前記撮影画像に写っている場合に、当該所定物標が示唆する方角を示す方角情報を取得する方角情報取得部と、前記方角情報と、前記撮影画像における前記所定物標と前記カメラの視点軸との位置関係と、に基づいて、当該視点軸が指向している方角を特定する視点軸方角特定部と、を備えることを特徴とする方角特定装置。
構成１によれば、測位を用いずに方角を特定できる。

（構成２）
現在位置を取得する現在位置取得部と、現在日時を取得する現在日時取得部と、を備え、前記視点軸方角特定部は、前記所定物標が示唆する方角が前記現在位置及び前記現在日時によって変わる場合、前記現在位置取得部及び前記現在日時取得部によって取得された前記現在位置及び前記現在日時に基づいて前記所定物標が示唆する方角を特定し、当該方角に基づいて前記視点軸が指向している方角を特定することを特徴とする構成１に記載の方角特定装置。
構成２によれば、所定物標として扱うことが可能な地物の選択肢が増え、方角特定装置の利便性を向上させることができる。

（構成３）
方角を示唆する物標であることを示す識別標識が付されているか否かに基づいて、前記撮影画像から前記所定物標を検出する所定物標認識部を備えることを特徴とする構成１または２に記載の方角特定装置。
構成３によれば、撮影画像から所定物標を正確に検出することができる。

（構成４）
前記視点軸方角特定部は、前記撮影画像において前記移動体が移動中の移動経路の傍らに位置する前記所定物標に基づき、前記視点軸が指向している方角を特定することを特徴とする構成１から３のいずれかに記載の方角特定装置。
構成４によれば、視点軸が指向している方角の特定によって、移動経路の方角も特定される。

（構成５）
前記視点軸が指向している方角に基づいて、前記移動体の前方が指向している方角を特定する前方方角特定部を備える、ことを特徴とする構成１から４のいずれかに記載の方角特定装置。
構成５によれば、移動体の前方が指向している方角を、測位を用いずに特定することができる。

（構成６）
前記移動体が所定エリアにいる場合、及び、前記移動体が移動している場合の少なくともいずれか１つの場合に、前記視点軸が指向している方角の特定が前記視点軸方角特定部によって行われることを特徴とする構成１から構成５のいずれかに記載の方角特定装置。
構成６によれば、方角特定の有効性が低い状況下での動作が抑えられる。

（構成７）
方角を特定する方角特定装置による方角特定方法おいて、前記方角特定装置が、移動体に設けられたカメラによる撮影画像を取得するステップと、方角を示唆する所定物標が前記撮影画像に写っている場合に、当該所定物標が示唆する方角を示す方角情報を取得するステップと、前記方角情報と、前記撮影画像における前記所定物標と前記カメラの視点軸との位置関係と、に基づいて、当該視点軸が指向している方角を特定するステップと、を備えることを特徴とする。
構成７によれば、測位を用いずに方角を特定できる。

１車両（移動体）
２０方角特定システム
２２方角利用機器
３０カメラ
３６方角特定装置
４０撮影画像取得部
４２現在位置取得部
４４現在日時取得部
４８所定物標認識部
５０方角情報取得部
５２視点軸方角特定部
５４前方方角特定部
Ａ１撮影画像
Ａ２現在位置
Ａ３現在日時
Ｄ１前方
Ｆ所定物標
Ｆａ識別標識
Ｇ方角情報
Ｋ視点軸

Claims

移動体に設けられたカメラによる撮影画像を取得する撮影画像取得部と、
方角を示唆する所定物標が前記撮影画像に写っている場合に、当該所定物標が示唆する方角を示す方角情報を取得する方角情報取得部と、
前記方角情報と、前記撮影画像における前記所定物標と前記カメラの視点軸との位置関係と、に基づいて、当該視点軸が指向している方角を特定する視点軸方角特定部と、
方角を示唆する物標であることを示す識別標識が付されているか否かに基づいて、前記撮影画像から前記所定物標を検出する所定物標認識部と、を備え、
前記視点軸方角特定部は、前記所定物標認識部により、前記識別標識が付されて方角を示唆するポール群である前記所定物標が検出された場合に、前記ポール群の配列方向が示唆する方角を前記方角情報に基づいて特定し、前記撮影画像における前記ポール群の配列方向と前記カメラの視点軸との位置関係に基づいて、前記視点軸が指向している方角を特定する
方角特定装置。
移動体に設けられたカメラによる撮影画像を取得する撮影画像取得部と、
方角を示唆する所定物標が前記撮影画像に写っている場合に、当該所定物標が示唆する方角を示す方角情報を取得する方角情報取得部と、
前記方角情報と、前記撮影画像における前記所定物標と前記カメラの視点軸との位置関係と、に基づいて、当該視点軸が指向している方角を特定する視点軸方角特定部と、
方角を示唆する物標であることを示す識別標識が付されているか否かに基づいて、前記撮影画像から前記所定物標を検出する所定物標認識部と、を備え、
前記視点軸方角特定部は、前記所定物標認識部により、前記識別標識が付されて方角を示唆するガードレールである前記所定物標が検出された場合に、前記ガードレールの延在方向が示唆する方角を前記方角情報に基づいて特定し、前記撮影画像における前記ガードレールの延在方向と前記カメラの視点軸との位置関係に基づいて、前記視点軸が指向している方角を特定する
方角特定装置。
前記視点軸が指向している方角に基づいて、前記移動体の前方が指向している方角を特定する前方方角特定部を備える、
ことを特徴とする請求項１又は請求項２に記載の方角特定装置。
前記移動体が所定エリアにいる場合、及び、前記移動体が移動している場合の少なくともいずれか１つの場合に、前記視点軸が指向している方角の特定が前記視点軸方角特定部によって行われる
ことを特徴とする請求項１から請求項３のうちいずれか１項に記載の方角特定装置。
方角を特定する方角特定装置による方角特定方法おいて、
前記方角特定装置が、
移動体に設けられたカメラによる撮影画像を取得するステップと、
方角を示唆する所定物標が前記撮影画像に写っている場合に、当該所定物標が示唆する方角を示す方角情報を取得するステップと、
前記方角情報と、前記撮影画像における前記所定物標と前記カメラの視点軸との位置関係と、に基づいて、当該視点軸が指向している方角を特定する視点軸方角特定ステップと、
方角を示唆する物標であることを示す識別標識が付されているか否かに基づいて、前記撮影画像から前記所定物標を検出する所定物標認識ステップと、を備え、
前記視点軸方角特定ステップは、前記所定物標認識ステップにより、前記識別標識が付されて方角を示唆するポール群である前記所定物標が検出された場合に、前記ポール群の配列方向が示唆する方角を前記方角情報に基づいて特定し、前記撮影画像における前記ポール群の配列方向と前記カメラの視点軸との位置関係に基づいて、前記視点軸が指向している方角を特定する
方角特定方法。
方角を特定する方角特定装置による方角特定方法おいて、
前記方角特定装置が、
移動体に設けられたカメラによる撮影画像を取得するステップと、
方角を示唆する所定物標が前記撮影画像に写っている場合に、当該所定物標が示唆する方角を示す方角情報を取得するステップと、
前記方角情報と、前記撮影画像における前記所定物標と前記カメラの視点軸との位置関係と、に基づいて、当該視点軸が指向している方角を特定する視点軸方角特定ステップと、
方角を示唆する物標であることを示す識別標識が付されているか否かに基づいて、前記撮影画像から前記所定物標を検出する所定物標認識ステップと、を備え、
前記視点軸方角特定ステップは、前記所定物標認識ステップにより、前記識別標識が付されて方角を示唆するガードレールである前記所定物標が検出された場合に、前記ガードレールの延在方向が示唆する方角を前記方角情報に基づいて特定し、前記撮影画像における前記ガードレールの延在方向と前記カメラの視点軸との位置関係に基づいて、前記視点軸が指向している方角を特定する
方角特定方法。