JP2021026354A - 情報提供システム、情報提供装置、情報提供方法及びプログラム - Google Patents

情報提供システム、情報提供装置、情報提供方法及びプログラム Download PDF

Info

Publication number
JP2021026354A
JP2021026354A JP2019141787A JP2019141787A JP2021026354A JP 2021026354 A JP2021026354 A JP 2021026354A JP 2019141787 A JP2019141787 A JP 2019141787A JP 2019141787 A JP2019141787 A JP 2019141787A JP 2021026354 A JP2021026354 A JP 2021026354A
Authority
JP
Japan
Prior art keywords
information
obstacle
road
terminal
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2019141787A
Other languages
English (en)
Inventor
福田 道隆
Michitaka Fukuda
道隆 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019141787A priority Critical patent/JP2021026354A/ja
Publication of JP2021026354A publication Critical patent/JP2021026354A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

【課題】道路上にある障害物の情報を適切な相手に対して提供する。【解決手段】情報提供システムは、車両で使用される端末装置120a,120bと、端末装置とネットワーク102を介して通信可能な情報提供装置110と、を含む。情報提供装置は、端末装置から受信した、車両が走行する道路の撮影画像データ及び検出位置情報を含む端末情報に対して、撮影画像中の物体が予め定められた障害物である場合、端末情報に含まれる検出位置情報を障害物の位置情報とし、車両が走行する道路の道路幅に応じて車両の進行方向を特定した第1の通知情報及び車両の進行方向を特定しない第2の通知情報のいずれかを、位置情報が示す位置の周辺の端末装置に通知する。【選択図】図1

Description

本発明は、情報提供システム、情報提供装置、情報提供方法及びプログラムに関する。
道路上の障害物の情報を収集し、管理したいという要求がある。そこで、自動車等の車両に搭載された情報処理装置に、障害物等の情報を提供する情報提供システムが知られている。
例えば、車両に搭載された情報処理装置が、道路上で検知された障害物の画像データを含む障害物情報を道路に沿って設置された通信装置に送信し、通信装置から他の車両の情報処理装置に対してその障害物情報を送信して表示させるシステムが知られている(特許文献1参照)。
しかしながら、特許文献1に開示された技術では、例えば、収集した障害物情報に基づく障害物の位置に係る情報を適切な相手に対して提供できているか不明である。
このように、例えば、道路上の障害物の情報を適切な相手に対して提供することには困難を伴っていた。
本発明は、道路上にある障害物の情報を適切な相手に対して提供することを目的とする。
上記課題を解決するため、本発明の一実施形態に係る情報提供システムは、車両で使用される端末装置と、前記端末装置とネットワークを介して通信可能な情報提供装置と、を含む情報提供システムであって前記端末装置は、前記車両が走行する道路を撮影した撮影画像に係る撮影画像データ及び前記道路を撮影した位置を示す検出位置情報を含む端末情報を前記情報提供装置に送信する端末情報送信部を有し、前記情報提供装置は、前記端末装置から前記端末情報を受信する端末情報受信部と、前記撮影画像に写った任意の物体が予め定められた障害物である場合、前記端末情報に含まれる前記検出位置情報を前記障害物の位置情報とし、前記車両が走行する道路の道路幅に応じて前記車両の進行方向を特定した第1の通知情報及び前記車両の進行方向を特定しない第2の通知情報のいずれかを、前記位置情報が示す位置の周辺の装置に通知する通知部と、を有する。
本発明の実施の形態によれば、道路上の障害物の情報を適切な相手に対して提供することができる。
一実施形態に係る情報提供システムのシステム構成の一例を示す図である。 一実施形態に係る端末装置の一例について説明するための図である。 一実施形態に係る管理者用端末の管理画面の一例を示す図である。 一実施形態に係るコンピュータのハードウェア構成の一例を示す図である。 一実施形態に係る端末装置のハードウェア構成の一例を示す図である。 一実施形態に係る情報提供システムの機能構成の一例を示す図である。 一実施形態に係る位置情報取得の一例を示す図である。 一実施形態に係る情報提供システムの全体処理の一例を示すシーケンス図である。 一実施形態に係る端末情報の送信処理の一例を示すフローチャートである。 一実施形態に係る端末情報の登録処理の一例を示すフローチャートである。 一実施形態に係る道路幅検出の一例を示すフローチャートである。 一実施形態に係る管理画面の表示処理の一例を示すフローチャートである。 一実施形態に係る管理者用端末の管理画面の別の一例を示す図である。 一実施形態に係るアラート情報の通知処理の一例を示すフローチャートである。 一実施形態に係る音声情報の出力処理の一例を示すフローチャートである。
以下に、本発明の実施の形態について、添付の図面を参照して説明する。
<システム構成>
図1は、一実施形態に係る情報提供システムのシステム構成の一例を示す図である。情報提供システム100は、車両101a、101b、・・・でそれぞれ使用される端末装置120a、120b、・・・と、端末装置120a、120b、・・・とネットワーク102を介して通信可能な情報提供装置110と、情報提供装置110から提供される各種情報を表示する管理者用端末130と、外部サーバ140と、を含む。なお、端末装置120a、120b、・・・は、車両101a、101b、・・・で使用される場合、例えば、各車両に搭載、接続又は車両101に乗車している人物が手に持って操作することで使用される。加えて、端末装置120a、120b、・・・が車両で使用されるという点については、車内、車外を問わない。つまり、端末装置120a、120b、・・・は、例えば、車両101a、101b、・・・の各ボンネットや屋根、自動二輪車のハンドル等に装着されて使用される構成であっても良い。
なお、以下の説明の中で、端末装置120a、120b、・・・のうち、任意の端末装置を示す場合、「端末装置120」を用いる。また、車両101a、101b、・・・のうち、任意の車両を示す場合、「車両101」を用いる。図1に示す車両101、及び端末装置120の数は一例であり、他の数であっても良い。さらに、車両101b、・・・は、車両101aの後方を走行する後続車両の一例である。
端末装置120は、例えば、自動車や自動二輪車等の車両101で使用される情報端末であり、情報提供システム100に対応するアプリケーションプログラム(以下、アプリと呼ぶ)を実行している。端末装置120は、例えば、スマートフォンやタブレット端末等の携帯型情報端末であっても良いし、ドライブレコーダやカーナビゲーション装置等の車載用の情報端末であっても良い。ここでは、一例として、端末装置120がスマートフォン、又はタブレット端末等の携帯型情報端末を含むものとして以下の説明を行う。
端末装置120は、例えば、図2に示すように、車両101のダッシュボード201等に搭載若しくは装着することも可能である。端末装置120は、情報提供システム100に対応するアプリを実行することにより、車両101の周辺(例えば、前方)の道路211を撮影して得られた画像(例えば、静止画(静止画像)又は動画(動画像)。以下、撮影画像という)を、表示画面210に表示する。さらに、端末装置120は、例えば、助手席に座った同乗者が手に持って操作して、車両101の周辺(前方)の道路211を撮影するように使用される形態でも良い。このように、端末装置120については、各車両101に搭載、接続又は車両101に乗車している人物が手に持って操作及び撮影を行う場合を含めて、車両101で使用される端末装置120と定義する。
なお、道路211を撮影する間隔は、例えば、約80ms(約13FPS)毎に設定することができる。さらに、撮影対象となる道路211は、高速道路等の自動車専用道路に限らず、例えば、人の往来や自転車等の軽車両の走行も可能な道路であっても良く、その種類は問わない。
また、端末装置120は、上述した撮影画像に係る画像データ(以下、撮影画像データという)に画像処理を行い、撮影画像データの中に道路211上にある任意の物体A212を検出する。
さらに、端末装置120は、道路211上の任意の物体A212を検出した場合、物体A212を撮影した撮影画像データ、及び物体A212が検出された地点の位置情報(以下、検出位置情報という)を含む情報(以下、端末情報という)を、情報提供装置110に送信する。
本実施形態では、任意の物体A212のうち、車両101の走行の障害になるものを障害物と呼ぶ。障害物は、例えば、車両101が車線を変更しなくては通常の走行ができない位置に存在するもの、又は車両101が走行そのものを断念しなくてはならない位置に存在するものをいう。障害物は、例えば、車両101から脱落若しくは落下したタイヤ,ホイールカバー,タイヤチェーンのほか、車両101から落下した荷物,スキーキャリア、車両101から投棄されたゴミ、他の場所から飛来した木片,段ボール箱、山や崖等からの落石、道路上に敷設されたマンホールの蓋が外れたもの、又は動物の死体等を含む。これらの障害物は、外的な要因が加わらない限り自らは動かない物体である。このような落下物を含む障害物は、車両101の走行を妨げる可能性が高いため、できるだけすみやかな撤去又は回収が必要とされる。一方、本実施形態において、道路211の路面上に塗装若しくは印刷された路面標示、道路211の横などに設けられたガードレール等は、車両101の走行の障害にならないため障害物とはみなさない。
また、端末装置120は、撮影画像データから、画像に写った物体A212の特徴情報を抽出し、抽出した特徴情報と予め記憶した障害物の特徴情報との類似度が所定の閾値以上の物体を障害物として検出するもの等であっても良い。
さらに、端末装置120は、機械学習により予め学習した予測モデル(例えば、モバイル学習推論:Mobilenet-Tensorflow Lite)を用いて、道路211上にある物体が、障害物であるか否かを判断するものであっても良い。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新たなデータにこれを適用して予測を行う技術である。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習を含むいずれの方法でも良く、さらに、これらの学習方法を組み合わせた学習方法でも良く、機械学習のための学習方法は問わない。
情報提供装置110は、コンピュータの構成を有する情報処理装置、又は複数の情報処理装置を含むシステムである。情報提供装置110は、端末装置120から送信される上述した端末情報を受信し、端末情報に含まれる画像中の物体A212が、予め定められた障害物であるか否かを判断する。
一例として、情報提供装置110は、外部サーバ140で提供される画像認識エンジン等を利用して、端末情報に含まれる画像中の物体A212が何であるかを示す文字列を取得する。また、情報提供装置110は、取得した文字列に予め定められたキーワード(例えば、タイヤ、ホイールカバー、落石、段ボール箱等)が含まれる場合、画像中の物体A212が、予め定められた障害物であると判断する。
なお、外部サーバ140で提供される画像認識エンジンの一例として、例えば、Google(登録商標)が提供する学習済の機械学習API(Application Programming Interface)であるCloud Vision API等を適用することができる。
また、別の一例として、情報提供装置110は、自装置が有する画像認識エンジン等を用いて、端末情報に含まれる画像中の物体A212が予め定められた障害物であるか否かを判断するものであっても良い。例えば、情報提供装置110の画像認識エンジンは、予め定められた障害物を撮影した複数の撮影画像データから抽出した特徴量を用いて機械学習により作成した予測モデルを予め記憶しておく。また、情報提供装置110は、予め記憶した予測モデルに、端末情報に含まれる撮影画像データを入力することにより、撮影画像中の物体A212が、予め定められた障害物であるか否か、障害物が何であるか等の情報(例えば、文字列)を取得することができる。
情報提供装置110は、端末情報に含まれる画像中の物体A212が、予め定められた障害物である場合、障害物を含む画像データ、検出位置情報及び障害物を識別する情報(例えば、障害物名、障害物の種別等)を含む情報(以下、障害物情報という)を、記憶部に記憶して管理する。
例えば、情報提供装置110は、外部サーバ140が提供するストレージサービス、データベースサービス等の記憶部に障害物情報を記憶して管理しても良いし、情報提供装置110が備える記憶部に、障害物情報を記憶して管理しても良い。
さらに、情報提供装置110は、記憶部に記憶した1つ以上の障害物情報を用いて、管理者用端末130等に、道路上にある障害物の情報を提供する。例えば、情報提供装置110は、ウェブサーバの機能を有し、ウェブサーバに接続する管理者用端末130のウェブブラウザ等に、一例として、図3に示すような管理者用端末130の管理画面300(以下、管理画面ともいう)を表示させる。
図3は、一実施形態に係る管理者用端末の管理画面の一例を示す図である。図3に示す管理画面には、障害物が存在する地点を含むその周辺の地図320、障害物の位置を示す表示要素の一例であるピン321、及び障害物の情報である障害物情報310等が表示されている。
管理者用端末130を利用する管理者131は、例えば、地図320上に表示されたピン321の位置、障害物情報310に含まれる位置情報(例えば、緯度及び経度)及び障害物の状態(撤去未指示)等の情報により、障害物の位置や状態を把握することができる。また、管理者131は、例えば、地図320上に表示されたピン321を選択することにより、障害物の画像323を表示する情報ウィンドウ322を表示させることができる。
管理者131は、この障害物の画像323、及び障害物情報310に含まれる障害物を識別する情報(例えば、「自動車用タイヤ」等)により、障害物が何であるかを把握することができる。
また、管理者131は、管理画面を用いて、障害物のステータス(管理状態)を管理することができる。図3の例では、管理画面には、障害物のステータス管理や障害物の撤去又は回収を指示するための作業指示手段の一例である「撤去指示」ボタン311が表示されている。なお、本実施形態において記載される各種ボタンは、例えば、物理的に押下されることで所定の機能が実行される機械式のボタン、操作パネル等に設けられ指などの人体の一部によるタッチ操作によって所定の機能が実行されるタッチキー、スマートフォン等の携帯端末の画面に表示され指やスタイラスペン等によるタップ操作によって所定の機能が実行されるタップ対象等を含むものとし、その種類は問わない。以下、「ボタン」と記載したものについては、上述のいずれかの操作によって実行されるものとして説明する。
さらに、作業指示手段の一例である「撤去指示」ボタン311等は、例えば、情報提供装置110の内部機能によって提供される。
例えば、管理者は、障害物の近くにいる作業者等に、障害物の撤去又は回収を指示する際、若しくは指示した後に、「撤去指示」ボタン311を選択する。これにより、管理者131は障害物のステータスを「撤去未指示」から「撤去指示済」に変更することができる。また、管理者用端末130は、障害物の近くにいる作業者によって障害物が撤去又は回収されたことを、例えば、作業者が所有する作業者用端末との通信により検出する。この検出により、管理者用端末130は、管理者131が作業者用端末等から送信された障害物の撤去又は回収に関する情報を認識した後に、管理者用端末130に表示されている障害物のステータスを変更する等の機能を有する。これにより、「撤去指示」ボタン311は、例えば、「撤去済」ボタンとして機能を変え、管理者131による撤去完了の操作を受け付けることができる。なお、管理者131は、作業者に対する障害物の撤去指示(障害物に対する作業指示)、及び撤去指示に従って作業をした作業者からの障害物の撤去報告(障害物に対する作業完了の報告)を、例えば電話やメール等で行っても良い。その際に、管理者131は、情報提供システム100に、障害物の撤去指示の完了や障害物の撤去作業の完了の状態を入力するようにしても良い。
また、管理画面の障害物情報310には、図3に示すように、障害物が検出された回数を示す「検出数」の情報が含まれる。この「検出数」は、例えば、複数台の車両により同一の障害物が検出されることでその値が増加する。つまり、この「検出数」の情報により、情報提供装置110又は管理者131は、障害物情報310の確からしさを判断することができる。
さらに、管理画面の障害物情報310には、図3に示すように、障害物がどの車線に存在するかを示す「車線」の情報が含まれる。この「車線」の情報は、例えば、情報提供装置110の処理により特定された車線の情報を用いて表示される。この「車線」の情報には、例えば、「上り」、「下り」又は「不明」等が用いられる。なお、本実施形態では、「上り」又は「下り」の車線は、車両101の進行方向を示す車線の意味としても用いられる。
このように、情報提供装置110は、複数の端末装置120から送信される撮影画像中の物体A212が予め定められた障害物である場合、障害物の情報を情報提供装置110が備える記憶部に記憶して管理する。また、情報提供装置110は、記憶部に記憶した1つ以上の障害物の情報を用いて、管理者用端末130に、障害物の位置、画像、種別等の情報を提供し、障害物のステータスを管理する。
従って、本実施形態によれば、道路上にある障害物の情報を後続車両や障害物の近くにいる作業者などの適切な相手に対して提供する情報提供システム100を構築することができる。
なお、図1に示す情報提供システム100のシステム構成は一例である。例えば、情報提供装置110と外部サーバ140とは、同じクラウドサーバ(情報提供装置の別の一例)150等であっても良い。外部サーバ140の機能のうち、少なくとも一部は、情報提供装置110に含まれていても良い。
また、情報提供システム100は、情報提供装置110が備える表示部等に、例えば、図3に示すような管理画面に相当する画面を表示するように構成されても良い。この場合、情報提供システム100は、例えば、情報提供装置110と管理者用端末130とを合わせて、表示機能付き情報提供装置115を構成しても良い。
<ハードウェア構成>
(情報提供装置、外部サーバ、及び管理者用端末のハードウェア構成)
図1に示す情報提供装置110、及び外部サーバ140は、一般的なコンピュータ、又は複数のコンピュータによって実現される。また、管理者用端末130も、一般的なコンピュータの構成を有している。そのため、ここでは、一般的なコンピュータのハードウェア構成の一例について説明する。
図4は、一実施形態に係るコンピュータのハードウェア構成の一例を示す図である。コンピュータ400は、例えば、CPU(Central Processing Unit)401、RAM(Random Access Memory)402、ROM(Read Only Memory)403、ストレージ部404、ネットワークI/F(Interface)405、入力部406、表示部407、外部接続I/F408、及びバス409等を有する。
CPU401は、ROM403やストレージ部404等に格納されたプログラムやデータをRAM402上に読み出し、処理を実行することで、コンピュータ400の各機能を実現する演算装置である。
RAM402は、CPU401のワークエリア等として用いられる揮発性のメモリである。
ROM403は、電源を切ってもプログラムやデータを保持する不揮発性のメモリであり、EPROM(Erasable Programmable Read Only Memory)やフラッシュメモリ(Flash Memory)等を含んでも良い。
ストレージ部404は、例えば、HDD(Hard Disk Drive)や、SSD(Solid State Drive)等の大容量の記憶装置であり、OS(Operating System)、アプリ、各種のデータ等を記憶する。
ネットワークI/F405は、コンピュータ400をネットワーク102に接続するための通信インタフェースである。
入力部406は、例えば、マウス等のポインティングデバイスや、キーボード、タッチ操作により入力を受け付けるタッチパネル等の入力デバイスであり、コンピュータ400に各操作信号を入力するために用いられる。
表示部407はディスプレイ等の表示デバイスであり、コンピュータ400による処理結果等を表示する。
外部接続I/F408は、コンピュータ400に外部装置を接続するためのインタフェースである。外部装置には、例えば、記憶媒体410等が含まれ得る。バス409は、上述した各構成要素に接続され、例えば、アドレス信号、データ信号、及び各種制御信号等を伝送する。
(端末装置のハードウェア構成)
図5は、一実施形態に係る端末装置のハードウェア構成の一例を示す図である。端末装置120は、一般的なコンピュータの構成を含み、例えば、CPU501、RAM502、ROM503、ストレージ部504、外部I/F505、通信I/F506、表示入力部507、カメラ部508、センサ部509、GPS(Global Positioning System)受信部510、スピーカ部511、及びバス512等を有する。
CPU501は、ROM503やストレージ部504等に格納されたプログラムやデータをRAM502上に読み出し、処理を実行することで、端末装置120の各機能を実現する演算装置である。RAM502は、CPU501のワークエリア等として用いられる揮発性のメモリである。ROM503は、電源を切ってもプログラムやデータを保持することができる不揮発性のメモリであり、EPROM(Erasable Programmable Read Only Memory)やフラッシュメモリ(Flash Memory)等を含んでも良い。ストレージ部504は、例えば、HDD、SSD、フラッシュROM等のストレージ装置であり、OS、アプリケーションプログラム、及び各種データ等を記憶する。
外部I/F505は、端末装置120に、例えば、USB(Universal Serial Bus)メモリ等の記憶媒体や、カーナビゲーション装置、カメラ、センサ、及びドライブレコーダ等の外部装置を接続するためのインタフェースである。
通信I/F506は、例えば、LTE(Long Term Evolution)等の移動通信網を介して、端末装置120をネットワーク102に接続して、情報提供装置110等と通信を行うためのインタフェースであり、アンテナ、無線送受信回路、通信制御回路等を含む。また、通信I/F506は、端末装置120が車載ネットワーク対応の装置であれば、例えば、CAN(Controller Area Network)を利用しても良い。この場合、ブリッジやゲートウェイ等を接続して外部のインターネットに接続するような形態としても良い。
表示入力部507は、例えば、タッチパネルディスプレイ等の入力機能と表示機能とを有するデバイスを含む。
カメラ部508は、車両101の周辺の画像を撮像するための撮像素子、及び画像処理デバイス等を含む。
センサ部509は、例えば、加速度センサやジャイロセンサ等のセンサを含む。
GPS受信部510は、GPS衛星から送信される測位信号を受信して、位置情報を出力する位置情報取得デバイスを含む。
スピーカ部511は、音声信号を生成する音声回路、及び音声信号を音声に変換して出力するスピーカ等を含む。
バス512は、上述した各構成に接続され、例えば、アドレス信号、データ信号、及び各種の制御信号等を伝送する。
<機能構成>
図6は、一実施形態に係る情報提供システムの機能構成の一例を示す図である。なお、図6において、端末装置120b、・・・は、端末装置120aと同様の機能構成を有しているものとする。以下に、それぞれの機能構成について説明する。
(端末装置の機能構成)
端末装置120は、例えば、通信部621、画像データ取得部622、検出部623、位置情報取得部624、端末情報送信部625、音声出力部626、及び記憶部627等を有する。
端末装置120は、例えば、図5のCPU501で所定のプログラムを実行することにより、上述した各機能構成を実現している。また、上述した各機能構成のうち少なくとも一部は、ハードウェアによって実現されるものであっても良い。
通信部621は、例えば、図5の通信I/F506等を用いて、端末装置120をネットワーク102に接続し、情報提供装置110等と通信を行う。
画像データ取得部622は、例えば、図5のカメラ部508等を用いて、車両101が走行する道路211の前方の路面上に存在する物体A212を撮影して画像データ又は画像ファイルを取得する。なお、画像データ取得部622は、カメラ部508に限られず、例えば、ドライブレコーダ、車両101に搭載若しくは装着、又は車両101に乗車している人物によって保持可能なカメラ等の外部装置を用いて、撮影画像データ等を取得するものであっても良い。
検出部623は、画像データ取得部622が取得した撮影画像データから、道路211上にある物体A212を検出する。例えば、検出部623は、図2に示すように、車両101のダッシュボード201等に装着された端末装置120が備えるカメラ部508により、撮影画像データを解析して、道路211上にある所定の物体(物体A212)を検出する。
なお、物体A212は、上述したように、例えば、道路211上の障害物であると推定される物体であり、上述したように、道路211上にある所定の大きさの物体である。さらに、物体A212は、撮影画像に係る撮影画像データから抽出した特徴情報と予め記憶した障害物の特徴情報との類似度が所定の閾値以上の物体であっても良い。また、物体A212は、機械学習よって予め学習した予測モデルを用いて、道路211の障害物であると判断された物体であっても良い。
位置情報取得部624は、例えば、図5のGPS受信部510等を用いて、道路211上で物体A212が検出された地点における位置情報(検出位置情報)を取得する。位置情報取得部624は、位置情報を取得する際に、例えば、後述するGPS衛星を利用して取得する。なお、位置情報取得部624は、センサ部509による自立航法をさらに用いて位置情報を取得するものであっても良いし、車両101に搭載されるナビゲーション装置等から位置情報を取得するもの等であっても良い。なお、物体A212が検出された地点とは、例えば、撮像画像データの処理において最初に物体A212が検出された時点の端末装置120(車両101)の位置、又は、撮像画像データの処理において最初に物体A212が検出された時点から所定時間(例えば、1秒等)経過後の時点における端末装置120(車両101)の位置、等を用いても良い。さらに、同一の物体A212を検出した端末装置120(車両101)の時間経過に伴い得られた複数の位置情報を平均して得られた位置情報の平均値を用いても良い。
端末情報送信部625は、検出部623が物体A212を検出した場合、物体A212を撮影した撮影画像データ、及び検出位置情報を含む端末情報を、情報提供装置110に送信する。なお撮影画像データは、例えば、画像データ取得部622が撮影した撮影画像(例えば、静止画(静止画像)又は動画(動画像))から、所定の物体が含まれる画像をキャプチャして静止画像データとしたものが用いられる。この端末情報送信部625は、端末情報を情報提供装置110に送信する端末情報送信部として機能する。
好ましくは、端末情報には、例えば、端末装置120、車両101又はユーザ等を識別するそれぞれの識別情報や、所定の物体が検出された時間を示す時間情報(例えば、年月日等)が含まれる。例えば、端末装置120の識別情報の一例として、端末装置120の製品名、型番、製造シリアル番号等を含めても良い。また、車両101の識別情報の一例として、車種、年式、車両登録番号、車両の現在の走行速度等を含めても良い。また、ユーザの識別情報の一例として、端末装置120を搭載した車両を運転する運転者の氏名、その車両の登録者情報等を含めても良い。
また、端末情報送信部625は、上述した処理とは別に、所定のタイミング(例えば、1分間隔等)で、端末装置120(又は車両101)の検出位置情報を情報提供装置110に送信する。
音声出力部626は、情報提供装置110から通知されるアラート情報(例えば、テキストメッセージ)に基づいて、障害物に対する注意を促す音声メッセージを生成し、生成した音声メッセージを、図5のスピーカ部511等を用いて出力する。なお、音声出力部626は、生成した音声メッセージを、車両101が備える音声回路や音楽、映像用スピーカを用いて出力するものであっても良い。
記憶部627は、例えば、図5のCPU501で実行されるプログラムが記憶されたROM503、ストレージ部504、ROM503やストレージ部504に記憶されたプログラムを一時展開するRAM502等によって実現され、上述のプログラムを含め、端末装置120の識別情報、画像データ取得部622が取得した撮影画像データ、又は情報提供装置110から受信したアラート情報、等の様々なデータ、情報が記憶される。
(情報提供装置の機能構成)
情報提供装置110は、例えば、通信部601、端末情報受信部602、判断部603、情報管理部604、情報提供部605、決定部606、状態管理部607、通知部608、及び記憶部609等を有する。
情報提供装置110は、例えば、図4のCPU401で所定のプログラムを実行することにより、上述した各機能構成を実現している。なお、上述した各機能構成のうち少なくとも一部は、ハードウェアによって実現されるものであっても良い。
通信部601は、例えば、図4のネットワークI/F405等を用いて、情報提供装置110をネットワーク102に接続し、例えば、端末装置120、管理者用端末130、及び外部サーバ140等と通信を行う。
端末情報受信部602は、道路211上にある物体A212を検出したときに端末装置120から送信される撮影画像データ、及び検出位置情報を含む端末情報を受信する。この端末情報受信部602は、端末装置120から端末情報を受信する端末情報受信部の一例として機能する。
判断部603は、端末情報受信部602が受信した端末情報に含まれる画像中の物体が、予め定められた障害物であるか否かを判断する。
一例として、判断部603は、外部サーバ140で提供される画像認識エンジンである画像認識サービス642に撮影画像データを送信し、画像認識サービス642から返信される撮影画像データが何であるかを示す文字列や画像イメージを取得する。また、判断部603は、画像認識サービス642から取得した文字列が、予め定められたキーワード(例えば、「タイヤ」、「ホイールカバー」、「落石」、「段ボール箱」等)を含む場合、端末情報に含まれる画像中の物体が、予め定められた障害物であると判断する。また、判断部603は、画像認識サービス642から取得した画像イメージが、上述した障害物を示す画像イメージを含む場合、端末情報に含まれる画像中の物体が、予め定められた障害物であると判断する。
なお、外部サーバ140で提供される画像認識サービス642として、例えば、上述した学習済の機械学習APIであるCloud Vision API等を利用することができる。
別の一例として、判断部603は、予め定められた障害物を撮影した複数の撮影画像データから抽出した特徴量を用いて機械学習により作成した予測モデルを予め記憶部609に記憶しておくものであっても良い。この場合、判断部603は、予め記憶した予測モデルに、端末情報に含まれる撮影画像データを入力することにより、端末情報に含まれる画像中の物体が、予め定められた障害物であるか否か、障害物が何であるか等の情報(例えば、文字列や画像イメージ)を取得することができる。
情報管理部604は、判断部603により、端末情報に含まれる画像中の物体が予め定められた障害物であると判断された場合、端末情報に含まれる撮影画像データ及び検出位置情報と、障害物を識別する情報とを含む障害物情報を管理する。また、情報管理部604は、例えば、道路211上に存在する障害物に関して、後述する道路幅に応じて第1の情報又は第2の情報を生成し、検出位置情報から得られる障害物の位置情報と関連付けて管理する。上述した第1の情報及び第2の情報は、後述する「車線認識フラグ」の値によって表される。この「車線認識フラグ」の詳細については、別途詳細に説明する。なお、情報管理部604は、障害物情報を、外部サーバ140が提供するストレージサービス643や、データベースサービス644等に記憶して管理しても良いし、情報提供装置110の記憶部609に記憶して管理しても良い。
ここで、障害物を識別する情報とは、例えば、障害物名、障害物の種別、障害物の大きさ等の情報を表す文字列等であり、画像認識サービス642等から取得した複数の文字列(タグ情報)の中から判断部603が選択した1つの文字列(例えば、「タイヤ」等)が用いられる。また、障害物を識別する情報とは、例えば、障害物を視覚的に認識可能な画像イメージであり、画像認識サービス642等から取得した複数の画像イメージの中から判断部603が選択した1つの画像イメージ(例えば、タイヤを示す画像)が用いられる。
好ましくは、情報管理部604は、予め設定された範囲内(例えば、障害物が存在する地点を中心として、その中心から半径15m以内等)で、複数の端末装置120によって検出された障害物を、同じ障害物として管理する。また、別の一例として、情報管理部604は、機械学習によって予め学習した予測モデルを用いて、障害物の品目(例えば、タイヤ、ホイールカバー、落石又は段ボール箱等)を判断し、例えば、同じ品目である場合に同じ障害物として管理するもの等であっても良い。さらに、情報管理部604は、第1の情報及び第2の情報に基づいて障害物に関する通知である第1のアラート情報及び第2のアラート情報を生成する。さらに情報管理部604は、第1のアラート情報及び第2のアラート情報を、障害物の画像データ及び障害物の位置情報にも関連付けて生成し、生成した各アラート情報を記憶部609に記憶させる。
情報提供部605は、情報管理部604が管理する1つ以上の障害物情報を用いて、道路上にある障害物の情報を提供する。例えば、情報提供部605は、ウェブサーバ機能を有しており、当該ウェブサーバにアクセスする管理者用端末130のウェブブラウザ631等に、図3に示すような管理画面を表示させる。また、情報提供部605は、図3に示すような管理画面に対して、「撤去指示」ボタン311等の指示ボタンを表示させるための情報を提供して指示ボタンを表示させる。これによって、管理画面上に表示された各指示ボタンは、管理者131による操作を受け付けることが可能になる。
決定部606は、情報管理部604が同じ障害物として管理する複数の障害物の位置情報を決定する。例えば、決定部606は、情報管理部604が同じ障害物として管理する複数の障害物の位置情報を平均して、平均して得られた平均値を情報管理部604が同一の障害物として管理する当該障害物の位置情報として決定する。なお、決定部606は、平均値に代えて、最頻値、中央値等の他の代表値により、当該障害物の位置情報を決定しても良い。
ここで、情報提供部605は、同じ障害物として管理される障害物の数が所定の数を超えた場合、決定部606により決定される位置情報の精度が向上したと見なして、予め設定された範囲を狭く変更しても良い(例えば、15m以内から5m以内に変更する)。
なお、上述した情報管理部604、情報提供部605及び決定部606は、それらの機能を一纏めにした情報生成部610として機能しても良い。
状態管理部607は、情報管理部604が管理する障害物の管理状態(以下、ステータスと呼ぶ)を管理する。また、状態管理部607は、情報提供部605が受け付けた操作に従って、障害物のステータスを変更するステータス変更処理を実行する。さらに、状態管理部607は、情報提供部605の機能の一部を兼用するよう構成されても良い。例えば、状態管理部607は、情報提供部605に成り代わり、図3に示すような管理画面上に表示される「撤去指示」ボタン311等の指示ボタンや障害物の位置を特定するピン321及び情報ウィンドウ322(障害物の画像323)を表示するように機能しても良い。なお、情報提供部605は、図3に示すような管理画面に、「撤去指示」ボタン311等の指示ボタンを表示させると共に、管理者131による指示ボタンの操作を受け付ける。また、状態管理部607は、情報提供部605が受け付けた操作に従って、障害物のステータスを変更するステータス変更処理を実行する。
通知部608は、車両101、又は端末装置120の位置に対して予め定められた範囲内(例えば、障害物が存在する地点を中心として、その中心から半径2km以内の周辺等)に障害物がある場合、障害物に対して生成されたアラート情報を、端末装置120に通知する。すなわち、道路上の障害物として検出された後に、その道路を走行する少なくとも1台以上の後続車両101b(端末装置120b)、・・・に対してアラート情報を通知する。
情報生成部610(情報管理部604)で生成される上述のアラート情報は、障害物があると判断された道路211の道路幅が所定の閾値以上の場合は、例えば、「現在走行されている車線の前方約1.5km以内に障害物がありますので、注意して走行して下さい。」或いは、「この先、約1.5km付近に自動車用タイヤが落ちていますので、運転に注意して下さい。」等のテキストメッセージとして生成される。但し、アラート情報は、テキストメッセージに限られず、予め設定されたエラーコードや、音声データ等であっても良い。
一方、障害物があると判断された道路211の道路幅が所定の閾値未満の場合は、通知部608は、例えば、アラート情報に含まれるテキストメッセージを「この先約1.5kmに直径約70cmの自動車用タイヤが落ちています。注意して走行して下さい。」等のテキストメッセージ」に変更する。
通知部608から通知されるアラート情報に含まれるテキストメッセージは、上述したように道路幅が所定の閾値未満か閾値以上かの基準で変更するようにしても良い。その理由は、例えば、GPS衛星による測定には測定誤差があるため、道路幅によっては、障害物のある車線を特定できない場合が生じるからである。さらに、測定誤差は簡単に修正できないという事情もある。このような理由により、道路幅が所定の閾値よりも狭い道路の場合は、情報提供装置110は、GPS衛星の測定誤差によって車線を特定できない可能性が高くなると判断して、車線を特定しないアラート情報を生成して対向車線を走行する車両にも提供する。一方、道路幅が所定の閾値以上の広い道路の場合は、情報提供装置110は、GPS衛星による測定誤差が生じても車線を判断できると判断して、車線を特定したアラート情報を生成して車両に提供する。これらのアラート情報の内容を切り替える方法として、車線認識フラグを用いた制御が考えられる。この車線認識フラグの与え方及びテキストメッセージの変更処理については、後述にて詳細を説明する。
このアラート情報を用いて、端末装置120は、アラート情報に対応する音声情報を、音声出力部626を用いて出力する。端末装置120が音声情報を出力することにより、端末装置120を搭載する後続車両101の運転者に、障害物の存在する位置(車線等)に関する情報を高精度に通知することができる。なお、アラート情報に対応する音声情報は、端末装置120を搭載する車両101の現在の走行速度やその車両が通行する道路(車線)の交通量等(例えば、障害物までの到達時間)に応じて、音声情報を出力するタイミングを変更するようにしても良い。これは、例えば、障害物までの距離が1kmで、車両101の走行速度が50km/hの場合と100km/hの場合では、障害物に到達するまでの所要時間が変わるからである。上述の場合、50km/hのときに72秒、100km/hのときに36秒となり、100km/hで走行しているときは、より早く通知されなければならないという状況になるからである。
記憶部609は、上述したアラート情報(例えば、テキストメッセージ)を含む情報が記憶される。記憶部609は、例えば、図4のCPU401で実行されるプログラムが記憶されたROM403、記憶媒体410、ストレージ部404等に記憶されたプログラムを一時展開するRAM402等によって実現される。上述のプログラムを含め、端末装置120に送信されるアラート情報を示すデータ(例えば、障害物の有無を示すアラートフラグ「1」又は「0」の値、障害物までの距離、障害物を識別する情報を含み端末装置120と障害物(物体A212)との間の距離に応じたアラートメッセージを示すテキストデータ、等)は、この記憶部609に記憶される。
(外部サーバの機能構成)
外部サーバ140は、例えば、Google等のサービス提供者が提供する各種のクラウドサービスを提供する情報処理装置、又は情報処理システムである。図6の例では、外部サーバ140は、通信部641、画像認識サービス642、ストレージサービス643、及びデータベースサービス644等を有する。
画像認識サービス642は、上述したCloud Vision APIに限られず、様々なサービス提供者が提供する画像認識サービスを適用することができる。
ストレージサービス643は、外部サーバ140によって提供されるオンラインストレージサービスであり、例えば、撮影画像データ、ファイル等を記憶する。
データベースサービス644は、外部サーバ140によって提供されるクラウド型のデータベースであり、例えば、Googleが提供するCloud SQL等のサービスである。
なお、外部サーバ140は、異なるサービス提供者が提供する複数の外部サーバ140を利用するものであっても良い。また。外部サーバ140が提供する各サービスは任意の構成であって良いので、ここでは詳細な説明は省略する。
(管理者用端末の機能構成)
管理者用端末130は、ウェブブラウザ631を有する情報処理装置である。なお、ウェブブラウザ631は、ウェブサーバに接続してウェブページを閲覧可能な一般的なウェブブラウザで良いので、ここでは詳細な説明を省略する。
<処理の概要>
本実施形態において情報提供装置110は、車両101で使用される端末装置120から送信された端末情報について、端末情報に含まれる撮影画像データ及び検出位置情報並びに車両101が走行する道路211の道路幅及び車両101の進行方向(例えば、上り車線か下り車線か)の情報に応じて、以下の処理を行う。例えば、情報提供装置110は、車両101が走行する道路211の道路幅が所定の閾値以上であれば、車両101の進行方向、すなわち走行する車線を特定するアラート情報を生成して、道路211を走行する後続車両等に提供(通知)する。一方、車両101が走行する道路211の道路幅が所定の閾値未満であれば、走行する車線を特定しないアラート情報を生成して、道路211を走行する後続車両等に提供(通知)する。道路211上に存在する障害物の位置情報の取得やアラート情報の生成及び提供については、以下、図7等を用いて詳細に説明する。ここで、走行する車線を特定するアラート情報を第1の通知情報、走行する車線を特定しないアラート情報を第2の通知情報として説明する。
なお、撮影画像データに含まれる物体が所定の障害物である場合、その位置情報は、複数の検出位置情報の平均値、最頻値、中央値等を含む代表値により決定しても良い。
図7は、一実施形態に係る位置情報取得の一例を示す図である。図7(a)は、道路RDa851について、任意の地点を上空から俯瞰したイメージ図を例示している。また、図7(b)は、道路RDb871について、任意の地点を上空から俯瞰したイメージ図を例示している。
図7(a)に示す道路RDa851は、例えば、上り車線852及び下り車線853(以下、上下車線と呼ぶ)の各2車線を含む左側通行の道路である。この道路RDa851は、例えば、国道や高速道路などの道路で、図示したようにWa[m]の道路幅を有する。一般的に、高速道路では1車線の幅が標準で3.5mであるから、この道路幅Waは、約17m(路側帯856を1.5[m]とした場合)〜21[m]となる。なお、本実施形態の道路RDa851は、片側2車線の道路を例示しているが、片側2車線以上を備える道路であれば、その車線数は問わない。さらに、道路RDa851は、右側通行の道路であっても問題ない。
道路RDa851は、例えば、上述の上り車線852及び下り車線853、中央分離帯854、白線855、路側帯856、白線857及び側壁858を備えている。
中央分離帯854は、例えば、道路RDa851を上下車線に分離するため、その中央部に設けられる地帯である。本実施形態では、例えば、一定間隔ごとに途切れた形状をしているが、連続したものであっても良く、その形状や材質等について種類は問わない。
白線855は、各上下車線の中央付近の路面に白色等のインクやペンキ等で印刷又は塗布されたものである。白線855の長さと間隔は、一般道では長さ5[m]、間隔5[m]であり、高速道路では長さ8[m]、間隔12[m]である。また、白線855によって、上り車線852及び下り車線853は、それぞれ2車線ずつに区分される。
路側帯856は、例えば、上下車線の各走行車線と白線857で区分された一時停止や退避等の目的で使用される地帯である。つまり、路側帯856は、上下車線のそれぞれの端(この場合は左端)と側壁858の間に設けられる。
白線857は、例えば、路面に白色等のインクやペンキ等で印刷又は塗布される。
側壁858は、例えば、道路RDa851の両端に所定の高さでそれぞれ設けられ、道路RDa851を両側から囲うことで、各車線を走行する車両から発生する騒音や車両の飛び出し防止等の機能を持つ。
図7(a)では、上り車線852を矢印の方向を進行方向として車両101aが走行している。この車両101aの前方(例えば、数十メートル前方)の路上に、物体A212(例えば、タイヤ)が存在する。
さらに、道路RDa851の上空には、全地球測位システム(GPS:Global Positioning System)を利用したGPS衛星881(以下、単にGPS衛星881という)が飛行している。
GPS衛星881は、アメリカ合衆国によって運用される上述のGPSを利用した測位手段の一例である。なお、GPS衛星881による測位原理等は公知であるため、ここでの詳細な説明は省略する。
GPS衛星881による道路上の物体の位置情報の取得については、本実施形態では、例えば、以下の方法を採用する。まず、時刻t1において、道路RDa851の上り車線852を走行する車両101aの端末装置120aの内部に備えられたカメラ部508が、一点鎖線で示した画角内の路上に存在する物体A212を認識する。続いて、カメラ部508は物体A212を撮影する。このとき、物体A212以外にも中央分離帯854や対向車線の対向車101が一緒に撮影されてもかまわない。その後、端末装置120aは、物体A212を撮影した撮影画像とあわせてGPS衛星881から受信した車両101aの位置情報などを情報提供装置110に送信する。車両101aと同様に、別の車両101b(例えば、後続車両)が時刻t2において、物体A212を撮影し、撮影画像とあわせてGPS衛星881から受信した車両101bの位置情報などを情報提供装置110に送信する。さらに、車両101a、101bと同様に、別の車両101cが時刻t3において、物体A212を撮影し、撮影画像とあわせてGPS衛星881から受信した車両101cの位置情報などを情報提供装置110に送信する。なお、各車両の端末装置120から情報提供装置110に送信される撮影画像及び各車両101の位置情報などの情報は、上述の例示に限らず、図7(a)の下り車線853を走行する車両から撮影された撮影画像及びその車両の位置情報が含まれてもかまわない。
各車両101の端末装置120が時刻t1、t2及びt3(t1<t2<t3、各時刻の間隔は不定でも良い)で取得した位置情報は、図7(a)に示したように、例えば、異なる3つの地点を中心としてそれぞれ半径r1、r2及びr3[m]の円C861,C862及びC863を描く範囲となり、互いの円が重ならない状態である。つまり、道路RDa851上に存在する同一の物体A212に対して、各車両101によってそれぞれ異なる時刻及び異なる位置から撮影したときの各車両101の位置情報が検出されることになる。ここで、半径r1、r2及びr3は、その大きさに互いの関係性は無いが、本実施形態では、約2〜3[m]とする。なお、本実施形態では、GPS衛星881が検出した各車両101の位置に関して、測定誤差を含めたイメージとしてある地点を中心とした円を例に示したが、これに限らない。図7(b)に示した道路RDb871での実施形態においても同様である。
上述したように、本実施形態では、道路上の物体A212の位置は、GPS衛星881によって検出される各車両の位置よりも手前の位置となる。したがって、物体A212を撮影する各車両101の理想的な検出位置情報としては、例えば、物体A212から10〜15[m]以内とすることが望ましい。但し、各車両101の運転者は、前方の物体A212を回避しなくてはならない状況もあり得るため、上述した距離よりもさらに大きな距離を取って撮影したときの検出位置情報を採用してもかまわない。
なお、GPS衛星881によって検出された各車両101の位置(例えば、円C861,C862及びC863)は、例えば、各時刻t1、t2及びt3のGPS衛星881の飛行位置によるGPS誤差(位置検出精度の低下)によっても異なってくると考えられる。このため、実際には物体A212(障害物)が上り車線852上に存在するにも関わらず、例えば、時刻t3で検出した場合のように、下り車線853上に物体A212(実際には物体A212を検出した車両101の位置)が存在するように誤検出される場合も生じる。
本実施形態では、このようなGPS誤差や各車両の撮影位置の違い等によって発生する障害物の位置検出のばらつきを解決するために、以下の方法を提示する。例えば、端末装置120から送信された端末情報に含まれる検出位置情報に対し、車両101が走行する道路の道路幅及び車両101の進行方向に基づいて、障害物の位置を補正する。例えば、情報提供装置110は、外部サーバ140等を利用して、GPS衛星881によって取得された位置情報から推定された車線の反対側の車線を、障害物の位置として補正すれば良い。なお、車両101が走行する進行方向は、例えば、車両101の位置情報(例えば、経緯情報)の時間的な変化から得られるものであっても良い。
上述したGPS衛星881による障害物の検出については、図7(b)の道路RDb871の場合も同様であるため、詳細な説明は省略する。
一方、図7(b)の道路RDb871は、例えば、中央分離帯854、白線855等の無い交互通行の道路でありその両側に側壁858を備えている。この道路RDb871は、例えば、県道や市道など、比較的道路幅の狭い道路の一例である。また、道路RDb871は、道路RDa851の道路幅Wa[m]よりも狭いWb[m]の道路幅を有する。例えば、1車線道路では一般的に3〜3.5[m]であるため、その道路幅Wbは約6〜7[m]となる。なお、道路RDb871は、道路RDa851と同様に右側通行の道路であっても問題ない。
図7(b)についても図7(a)の場合と同様に、道路RDb871を走行する車両101aの前方(例えば、数メートル前方)の路上には、物体A212(例えば、タイヤ)が存在する。
さらに、道路RDb871の上空には、道路RDa851の場合と同様にGPS衛星881が飛行しており、その構成や働きは上述したとおりである。
<処理の流れ>
続いて、本実施形態に係る情報提供システム100における情報提供方法の流れについて説明する。
(情報提供システムにおけるシーケンス処理)
上述したように、情報提供システム100は、車両101に搭載若しくは装着、又は車両101に乗車している人物によって保持可能な端末装置120(以下、単に「車両101で使用される端末装置120」という。車両101や端末装置120にサフィックスa,b等が付与されていても同様)、情報提供装置110、管理者用端末130、外部サーバ140を含む。この情報提供システム100が実行する道路上の障害物に対するシーケンス処理について、図8を用いて説明する。
図8は、一実施形態に係る情報提供システム100の全体処理例を示すシーケンス図(ステップS2001〜S2020)である。なお、以下に説明する各処理において、上述の各機能構成の説明と重複する部分は詳細な説明を省略する。そのため、ここでは各装置間での基本的なシーケンス処理について説明する。さらに、以下に説明するシーケンス処理は一例であり、目的や用途に応じて処理ステップの順序を入れ替えるなどしてかまわない。
ステップS2001において、車両101aで使用される端末装置120aは、ネットワーク102を介して情報提供装置110と通信を確立する。
ステップS2002において、車両101aの後続車両となる車両101bで使用される端末装置120bは、ネットワーク102を介して情報提供装置110との通信を確立する。
なお、ステップS2001及びS2002において実行される端末装置120a、端末装置120bと情報提供装置110との間のそれぞれの通信確立の処理は、その順番を問わない。さらに、通信確立に用いられる通信プロトコルは、車両の種類や情報提供装置110の仕様等を考慮して、一般に知られているCAN(Controller Area Network)、LIN(Local Interconnect Network)、FlexRay又は車載用イーサネット等の任意のプロトコルが使用されてかまわない。
次に、ステップS2011において、端末装置120aは、車両101aが走行する道路211上の物体A212を撮影する。
ステップS2012において、端末装置120aは、撮影した物体A212を含む撮影画像に係る撮影画像データ、車両101aの識別情報及び位置情報を含む情報を端末情報として情報提供装置110に送信する。
ステップS2013において、情報提供装置110は、受信した端末情報に含まれる撮影画像データを画像認識エンジンが提供される外部サーバ140に送信する。
ステップS2014において、情報提供装置110は、送信した画像データが何であるかを示す文字列や画像イメージに係るデータを、外部サーバ140内の画像認識エンジンから受信(取得)する。
ステップS2015において、情報提供装置110は、画像認識エンジンから受信(取得)した文字列や画像イメージ等に基づいて、物体A212が障害物であるか否かを判定する。
ステップS2016において、情報提供装置110は、障害物と判定された物体A212の位置を特定する。なお、情報提供装置110が物体A212が障害物であるか否かを判定する際、端末装置120aの位置情報取得部624は、例えば、図5のGPS受信部510等を用いて、道路211上における検出位置情報を取得する。しかし、GPSを利用する場合、図7(a)で説明したように、例えば、電離層、対流圏等の大気遅延の影響、その他の要因によってGPS誤差(位置検出精度の低下)が発生することが知られている。それらの影響や要因により、例えば、図7(a)に例示した上り車線852及び下り車線853を備える道路RDa851において、本来は上り車線852上に障害物が存在するにもかかわらず、下り車線853上に障害物が存在するという検出結果も起こり得る。
そこで情報提供装置110は、車両101で使用される端末装置120によって撮影された物体A212(障害物)の位置情報(検出位置情報であり、例えば、GPS衛星881を利用した経緯情報)の取得に関して、以下の処理を実行する。情報提供装置110は、例えば、車両101が走行する道路211(道路RDa851又は道路RDb871)の道路幅及び車両101の進行方向に基づいて障害物の位置を判定し、その障害物に対するアラート情報の後続車両への提供方法を変更する。例えば、自動車専用道路や高速道路等の所定の道路幅以上を有する道路に存在する障害物については、障害物が存在する車線を特定し、その車線を走行する車両に対してアラート情報を提供する。一方、所定の道路幅未満の道路に存在する障害物については、車線を問わず障害物が存在する道路を走行する車両に対してアラート情報を提供するようにする。この障害物の位置の判定及び障害物に対するアラート情報の後続車への提供方法の詳細については後述する。
物体A212が障害物であると判定された場合、ステップS2017において、情報提供装置110は、端末装置120aから送信された端末情報を、情報提供装置110の記憶部609又は外部サーバ140のストレージサービス643若しくはデータベースサービス644に記憶(登録)して管理する。
なお、情報提供システム100を構築する情報提供装置110と管理者用端末130が別に設けられている場合、ステップS2018で、情報提供装置110は、障害物を管理する障害物管理テーブルデータを管理者用端末130に送信する。この障害物管理テーブルデータには、後述するように、撮影画像データを識別するID、障害物の名称、障害物が発見された緯度、経度情報、障害物に対する指示状態、障害物の検出日時、検出通知数、及び障害物に対する更新日時、等が含まれる。
ステップS2019において、管理者用端末130は、情報提供装置110から送信された障害物管理テーブルデータに基づいて、例えば、図3に示したような管理画面を管理者用端末130の画面上に表示する。なお、上述したように、情報提供装置110の表示部に管理者用端末130に相当する機能が備えられた表示機能付き情報提供装置115として構成される場合は、管理者用端末130を設けなくても良い。
ステップS2020において、情報提供装置110は、後続車両101bに対して障害物の存在を知らせるアラート情報(障害物有り)を送信する。なお、情報提供装置110が後続車両であることを把握する方法としては、例えば、以下の方法がある。上述したように、障害物が存在する道路211を走行する各車両のうち、障害物付近を通過した車両の後続車両となり得る車両101で使用される端末装置120は、ネットワーク102を介して情報提供装置110との通信が確立されているとする。これを利用すれば、情報提供装置110は、端末装置120から送信されたその車両からの撮影画像、検出位置情報を含む端末情報から、その車両の位置情報を把握できる。この方法を複数の車両に対して適用すれば、情報提供装置110は、複数の後続車両を特定することが可能になる。なお、後続車両の把握については、上述した内容は一例であり、その他さまざまな方法が考えられる。
ステップS2021において、後続車両101bの端末装置120bは、情報提供装置110からアラート情報(障害物有り)を受信し、端末装置に搭載若しくは装着されたスピーカ125等を用いて、例えば、音声にてアラート情報を再生する。
このような構成を備えることで、本実施形態における情報提供システム100は、道路上にある障害物の情報を適切な相手に対して提供することが可能になる。なお、ここでいう適切な相手とは、例えば、撮影された物体A212(障害物)が存在する道路211を走行する車両101で使用される端末装置120又はその車両101に乗車している人物である。具体的には、道路211の道路幅が所定の閾値以上のときは、障害物が存在する車線を含む同一の進行方向を走行する各後続車両101の端末装置120又は各後続車両に乗車している人物(例えば、運転者)である。一方、道路211の道路幅が所定の閾値未満のときは、障害物が存在する道路を走行する進行方向(車線)を特定しない各後続車両101の端末装置120又は各後続車両に乗車している人物である。さらにまた、適切な相手とは、障害物が存在する道路の付近に配置された、障害物を撤去又は回収する作業者であっても良い。
そのため、例えば、道路を走行する車両のうち、アラート情報を提供する必要のある車両をできるだけ絞り込んで情報提供するため、不要な情報通信も防止できる。さらに、情報提供装置110を管理する管理者131は、道路上に存在する障害物の位置を正確に把握することが可能になり、障害物の撤去又は回収を行う作業者に対して、正しい車線を指定し、適切な現場に向かわせることが可能になる。
(端末情報の送信処理)
図9は、一実施形態に係る端末情報の送信処理の一例を示すフローチャートである。端末装置120は、図9(a)に示す処理と、図9(b)に示す処理とを並行して繰り返し実行し、端末情報を情報提供装置110に送信する。
図9(a)に示す処理は、端末装置120が、道路上にある物体A212を検出したときに実行する端末情報の送信処理の一例を示している。なお、図9(a)、(b)に示す処理の開始時点において、端末装置120は、例えば、図2に示すように、車両101のダッシュボード201に搭載若しくは装着されており、情報提供システム100に対応するアプリを実行しているものとする。
ステップS701において、端末装置120の検出部623は、画像データ取得部622が取得した車両101が走行する道路を撮影した撮影画像から、例えば、図2を用いて上述したように、道路上にある所定の物体を検出する。
ステップS702において、端末装置120は、ステップS701で所定の物体が検出されたか否かを判断し、所定の物体が検出された場合、処理をステップS703に移行させる。一方、所定の物体が検出されない場合、端末装置120は、ステップS701、S702の処理を繰り返し実行する。
ステップS703に移行すると、端末装置120の端末情報送信部625は、位置情報取得部624を用いて、検出部623が所定の物体に対して検出した検出位置情報を取得する。一例として、端末情報送信部625は、位置情報取得部624が継続的に出力する位置情報の中から、所定の物体が検出された時点における検出位置情報を取得する。
また、別の一例として、端末情報送信部625は、ステップS703の処理が実行される時点における位置情報を取得するものであっても良い。これは、例えば、図2に示すように、車両101が走行する道路211を撮影した撮影画像から所定の物体を検出した時点においても、端末装置120の位置と所定の物体の位置との間に若干の距離(ズレ)があるためである。例えば、車両101が所定の物体に向かって進行している場合、所定の物体が検出されてからステップS703の処理までの遅延時間は微少なので、端末装置120の位置と所定の物体の位置との間の距離(ズレ)は、むしろ小さくなると考えられる。
ステップS704において、端末装置120の端末情報送信部625は、ステップS701で検出された所定の物体を撮影した撮影画像データを取得する。例えば、端末情報送信部625は、画像データ取得部622が撮影した撮影画像から、検出部623が所定の物体が含まれる画像をキャプチャして静止画データとしたものを用いる。
なお、ステップS704の処理は、ステップS703の処理より前に実行するものであっても良いし、ステップS703の処理と並行して実行するものであっても良い。
ステップS705において、端末装置120の端末情報送信部625は、ステップS703で取得した検出位置情報、及びステップS704で取得した撮影画像データを含む端末情報を情報提供装置110に送信する。
好ましくは、ステップS705で情報提供装置110に送信する端末情報には、端末装置120を識別する識別情報、所定の物体が検出された時間を示す時間情報、及び所定の物体を検出したことを示す検出フラグ「1」等が含まれる。
なお、所定の物体が検出された時間は、端末情報送信部625が端末情報を送信する時間を用いるものであっても良い。また、所定の物体が検出された時間は、情報提供装置110が端末情報を受信した時間等を用いるものであっても良い。この場合、端末情報には、時間情報が含まれていなくても良い。
また、検出フラグ「1」は、端末情報に撮影画像データが含まれているときに、情報提供装置110が付加するものであっても良い。この場合、端末情報には、検出フラグが含まれていなくても良い。
図9(b)に示す処理は、端末装置120が、図9(a)に示す処理と並行して、所定の時間間隔で繰り返し実行する端末情報の送信処理の一例を示している。
ステップS711において、端末装置120の端末情報送信部625は、例えば、前回端末情報を送信してから所定の時間(例えば、1分等)を経過したか否かを判断する。
所定の時間を経過した場合、端末装置120は、処理をステップS712に移行させる。一方、所定の時間を経過していない場合、端末装置120は、処理をステップS711に戻して、所定の時間を経過するまで同様の処理を繰り返し実行する。
ステップS712に移行すると、端末装置120の端末情報送信部625は、位置情報取得部624を用いて、端末装置120(又は車両101)の検出位置情報を取得する。
ステップS713において、端末装置120の端末情報送信部625は、ステップS712で取得した検出位置情報、現在の時間情報、端末装置120を識別する識別情報及び検出フラグ「0」等を含む端末情報を、情報提供装置110に送信する。なお、検出フラグ「0」は、例えば、端末情報に画像データが含まれていないときに、情報提供装置110が付加するものであっても良い。
ステップS714において、端末装置120は、情報提供装置110から通知される道路の状況や障害物に対するアラート情報を受信した場合、そのアラート情報に関する音声情報の出力処理を実行する。なお、音声情報の出力処理の具体的な処理内容については、図15を用いて後述する。
なお、図9に示す端末情報の送信処理は一例である。例えば、端末情報送信部625は、ステップS701〜S705の処理と、ステップS711〜S714の処理とを並行して実行するものであっても良い。
(端末情報の登録処理1)
図10は、一実施形態に係る端末情報の登録処理の一例を示すフローチャートである。この処理は、情報提供装置110が、端末装置120から送信された端末情報を受信したときに実行する処理の一例を示している。
ステップS801において、情報提供装置110は、端末装置120から送信される端末情報を受信すると、ステップS802以降の処理を実行する。
ステップS802において、情報提供装置110の情報管理部604は、端末情報に含まれる位置情報、時間情報及び識別情報等を、例えば、データベースサービス644等のデータベースに登録する。なお、情報管理部604は、端末情報に含まれる位置情報、時間情報及び識別情報を、情報提供装置110の記憶部609に記憶したデータベースに記憶するものであっても良い。
ステップS803において、情報提供装置110は、端末情報に含まれる検出フラグが「1」であるか否かを判断する。
検出フラグが「1」である場合、情報提供装置110は、処理をステップS804に移行させる。一方、検出フラグが「0」である場合、情報提供装置110は、処理を終了させる。なお、情報提供装置110は、検出フラグによらずに、例えば、端末情報に撮影画像データが含まれるときに、処理をステップS804に移行させるものであっても良い。
ステップS804に移行すると、情報提供装置110の判断部603は、端末情報に含まれる画像中の物体が、予め定められた障害物であるか否かを判断する。端末情報に含まれる画像中の物体が、予め定められた障害物である場合は、判断部603は、ステップS850以降の処理を実行する。一方、端末情報に含まれる画像中の物体が予め定められた障害物でない場合、情報提供装置110は、処理を終了させる。なお、端末情報に含まれる画像中の物体が予め定められた障害物でない場合、情報提供装置110の情報管理部604は、その物体(障害物)を識別する情報を、例えば「不明」として記憶部609に記憶して管理した上で、後述するステップS865及びS866の処理を実行するようにしても良い。
例えば、判断部603は、外部サーバ140で提供される画像認識サービス642に、端末情報に含まれる撮影画像データを通知して画像認識を依頼する。これに応じて画像認識サービス642は、学習済の機械学習APIで画像中の物体が何であるかを示す1つ以上の文字列を情報提供装置110に通知する。判断部603は、画像認識サービス642から通知された1つ以上の文字列に、例えば、タイヤ、ホイールカバー、落石、段ボール箱等の予め定められたキーワードが含まれる場合、端末情報に含まれる画像中の物体が、予め定められた障害物であると判断する。
なお、判断部603は、上述した画像認識サービス642に代えて、記憶部609に予め記憶した予測モデルを用いて、上述の判断を行うものであっても良い。
(障害物が存在する道路の道路幅検出処理)
次に、決定部606によって実行される、障害物が存在する道路211の一例である道路RDa851又は道路RDb8528(以下、単に道路211と呼ぶ場合もある)の道路幅を測定する方法について、ステップS850の道路幅検出に係る定義済み処理を用いて説明する。図11は、一実施形態に係る道路幅検出の一例を示すフローチャートである。
ステップS851において、決定部606は、判断部603によって判断された障害物が存在する道路211について、外部サーバ140を利用するか否かを判断する。
ステップS852において、決定部606は、外部サーバ140にアクセスして障害物が存在する道路211の地図情報を取得する。さらに、決定部606は、例えば、取得した地図情報と障害物が存在する道路211の位置情報とから、障害物が存在する道路211の道路幅情報IWmを取得する。なお、決定部606は、地図情報から道路幅情報が得られない場合でも、例えば、その道路の名称や種類等から道路幅を推定するようにしても良い。
続いてステップS853において、決定部606は、撮影画像に写った道路の路面や側壁等から、道路幅を測定するか否かを判断する。
ステップS854において、決定部606は、端末装置120から取得した撮影画像に写った道路の路面や側壁等の情報を、例えば、上述したモバイル学習推論を利用して道路幅情報IWsを推定しても良い。なお、モバイル学習推論の具体的な内容については公知であるので、ここでの説明は省略する。
続いてステップS855において、決定部606は、端末装置120で動作又は利用される計測機能(例えば、iPhone(登録商標)の「ARメジャー」機能)等を利用して、道路幅を測定するか否かを判断する。
ステップS856において、決定部606は、例えば、障害物が写った撮影画像上でARメジャー機能により測定された道路幅、若しくは他の物体の大きさとの比較から道路幅情報IWaを推定しても良い。
なお、上述した地図情報、モバイル学習推論、ARメジャー機能の何れも使用せずに道路幅を測定しない場合、ステップS857のように、決定部606は、例えば、道路幅を「0」として次の処理を進めるようにしても良い。
また、上述した道路幅測定におけるそれぞれの判断について、情報提供システム100は、情報提供装置110の決定部606によるステップS850の処理に代えて、以下のような環境を与えて道路幅の測定方法を決定しても良い。例えば、端末装置120は、自装置の操作画面等に選択手段の一例である選択ボタン等のユーザーインターフェイス(UI)を開放しても良い。具体的には、端末装置120は、例えば、車両101に乗車している人物に、道路211を含む地図の地図情報、端末装置120が撮影した撮影画像及び端末装置120が有する計測機能アプリを含む計測候補のうち、どの候補によって情報提供装置110に道路幅を測定させるかをUIで選択及び設定できるようにしても良い。
続いて、情報提供装置110の決定部606によって実行される、障害物が存在する道路の道路幅が所定の幅以上であるかの判断処理について、図10に戻って説明する。
ステップS861において、決定部606は、推定した道路幅(例えば、IWm、IWs、IWaの何れか)が所定の閾値以上であるか否かを判断する。この閾値は、例えば、10[m]と設定される。この閾値に関して、決定部606は、道路幅が10[m]以上の道路では、GPS衛星881の測定誤差による影響を考慮しても、障害物が存在する車線を特定することは可能と判断する。その結果、決定部606は、車線認識フラグの値を「1」に設定して障害物が存在する車線を特定する処理を進める。この車線認識フラグとは、例えば、道路上の障害物が上下車線のどちらに存在するかを判断するための処理フラグとして用いることができる。なお、GPS衛星881の測定誤差が比較的小さければ、決定部606は、ステップS861の判断において、判断対象として用いる道路211の道路幅(全車線幅)の代わりに、障害物が存在する車線(上り車線852又は下り車線853)の道路幅(片側車線幅)を用いて障害物の位置検出処理を実行しても良い。その場合、閾値を例えば10[m]から5[m]等に変更してもかまわない。ここで、上述で設定された車線認識フラグ「1」は、第1の情報として扱われる。
一方、決定部606は、道路幅が10[m]未満の道路ではGPS衛星881の測定誤差による影響が大きく、どちら側の車線(進行方向側)上に障害物が存在するかを特定することは不可能と判断する。その判断結果に基づき、決定部606は、道路幅が10[m]未満の道路の場合は、車線認識フラグの値を「0」に設定する。具体的には、例えば、図7(b)において、実際には道路RDb871の右側に物体A212が存在しているにもかかわらず、GPS衛星881の精度によっては、道路の外側(例えば、側壁858の外側の位置)に物体A212が存在するという誤検出が起こり得る。これは、道路幅Wが狭いほど誤検出が起こりやすく、換言すれば、道路幅Wが狭いほどGPS衛星881の検出精度が求められることになる。しかし、実際にはGPS衛星881の検出精度にはある程度限界があり、さらに検出精度を上げようとすると、例えば、システムコストが上昇するなどの影響が出る。そこで、道路RDb871の例のように、道路幅Wbが所定の幅未満の道路でその道路上の物体を検出する場合は、通知部608は、GPS衛星881の誤検出の影響も考慮して、道路RDb871上に所定の物体が存在するというアラート情報(後述の第2のアラート情報)を道路RDbを走行する全車両(上り方向及び下り方向を走行する車両全て)、又は障害物が存在する位置から所定の範囲の車両(端末装置120等)若しくは障害物を回収する作業者の作業者用端末等に対して通知するような仕組みとしても良い。ここで、上述で設定された車線認識フラグ「0」は、第2の情報として扱われる。
ステップS862において、検出車両の進行方向が所定の台数以上である場合、決定部606は、ステップS863,S865,S866の処理を行う。一方、検出車両の進行方向が所定の台数未満である場合は、再度ステップS862の処理を行うようにしても良い。つまり、ステップS862の判断でNoの場合は、決定部606は、例えば、他の車両101の端末装置120から送信された端末情報に含まれる検出位置情報から、その車両の進行方向を割り出して、過去に蓄積した他の車両の進行方向データに加算する。そのようにして得られた加算結果を再度、ステップS862で判断するようにしても良い。この方法を採れば、同一の進行方向を走行する車両が所定台数以上となる時期が来たタイミングでステップS862が判断されるので、障害物が存在する位置の検出精度が向上する。
一方、ステップS861で、道路幅が所定の幅未満であったと判断された場合、すなわち、道路幅の狭い私道などで障害物が撮影された場合には、決定部606は、車線認識フラグを「0」に設定して、後工程の処理に利用しても良い。具体的には、ステップS861の判断で、道路幅が所定の幅以上である場合は、決定部606は、この車線認識フラグを「1」に設定する。一方、上述のように、道路幅が所定の幅未満である場合は、決定部606は、この車線認識フラグを「0」に設定する。決定部606は、車線認識フラグを、例えば、以降のアラート情報送信処理で用いても良い。なお、車線認識フラグの値「1」、「0」のもつ意味合いを入れ替え、車線認識フラグ=「1」で第2の情報、車線認識フラグ=「0」で第1の情報として用いても良い。
ステップS863において、決定部606は、GPS衛星881から得られた検出位置情報を補正して障害物に対する位置情報を与える。この補正は、例えば、GPS衛星881から得られた複数の検出位置情報(経緯情報)が上り車線852側(上りの進行方向)に所定数以上集中している場合に行われる。さらに、決定部606は、上述したように位置情報(検出位置情報でも可)の平均を取って障害物の位置を特定するようにしても良い。具体的には、決定部606は、例えば、情報管理部604が同じ障害物として管理する複数の障害物の位置情報を平均し、得られた位置情報の平均値を当該障害物の位置情報に決定する。なお、決定部606は、平均値に代えて、位置情報の最頻値、中央値等の他の代表値により当該障害物の位置情報を決定しても良い。
GPSの値を補正後、情報提供装置110は、ステップS865、S866の処理を実行する。
ステップS865、S866において、情報提供装置110の情報管理部604は、撮影画像データ、位置情報及び障害物を識別する情報を含む障害物情報を記憶部609に記憶する。
例えば、ステップS865において、情報管理部604は、端末情報に含まれる撮影画像データ(障害物を含む画像データ)に画像データを識別する識別情報(以下、IDという)を付加して、外部サーバ140のストレージサービス643等に登録する。
ステップS866において、情報管理部604は、撮影画像データのID、端末情報に含まれる検出位置情報、障害物を識別する情報及び端末情報に含まれる時間情報を、例えば、データベースサービス644等のデータベースに登録する。
本実施形態の図10に例示したフローチャートにおいて、ステップS804で行う障害物か否かの判断処理を、ステップS850〜S863で行う物体の位置の補正処理と入れ替えても良い。例えば、各車両によって撮影された道路上に存在する物体A212の位置の補正処理を最初に行った後で、その物体A212が所定の障害物であるか否かを判断する処理を実行しても良い。
さらに、ステップS850〜S863の処理のみを行い、ステップS804の処理を省略しても良い。例えば、端末情報に含まれる画像中の物体が予め定められた障害物か否かの判断を行わず、補正により特定された位置に何らかの障害物が存在する情報のみを登録し、後続車両にその情報をアラート情報として提供するようにしても良い。このような処理の入替えや削除が可能な情報提供システム100が構築されることで、例えば、道路上に存在する物体A212が予め定められた障害物であるか否かを判定する処理が不要となる。すなわち、情報提供システム100において、例えば、画像認識サービス642を利用するための外部サーバ140を除いたシステムが構築されても運用可能となる。
上述した処理により、情報管理部604は、所定の時間毎に、端末装置120の識別情報、位置情報及び時間情報を取得し、記憶部609に記憶して管理することができる。
また、情報管理部604は、検出フラグが「1」であり且つ端末情報に含まれる画像中の物体が予め定められた障害物である場合、障害物を含む撮影画像データ、障害物の位置情報、障害物を識別する情報及び時間情報を記憶部609に記憶して管理することができる。
(管理画面の表示処理)
図12は、一実施形態に係る管理画面の表示処理の一例を示すフローチャートである。この処理は、情報提供装置110の情報提供部605が、情報管理部604が管理する障害物情報を用いて、例えば、図3に示すような管理画面を、管理者用端末130のウェブブラウザ631等に表示させる処理の一例を示している。
情報提供装置110の情報提供部605は、例えば、管理者131が、管理者用端末130のウェブブラウザ631を用いて、情報提供部605が提供するウェブサーバにアクセスしたとき等に、図13に示す管理画面の表示処理を実行する。
ステップS1101において、情報提供装置110の情報提供部605は、情報管理部604が管理するデータベースから、検出位置情報を取得し、記憶部609、又は外部サーバ140等から障害物の位置を含むマップデータを読み出す。また、情報提供部605は、読み出したマップデータを用いて、例えば、図3に示すような管理画面に地図320を表示する。
ステップS1102において、情報提供装置110の情報提供部605は、地図320上の障害物の位置に、例えば、図3に示すような、障害物の位置を示すピン321を表示する。
ステップS1103において、情報提供装置110の情報提供部605は、例えば、図3に示すような管理画面300に、障害物情報310、及び指示ボタン(例えば、図3の「撤去指示」ボタン311)を表示する。
なお、障害物情報310には、例えば、図3に示すように、「位置」、「検出日時」、「障害物」及び「検出数」等の情報が含まれる。このうち、「位置」の情報は、例えば、図10のステップS866でデータベースに登録された障害物の位置情報を用いて表示される。また「検出日時」の情報は、例えば、図10のステップS866でデータベースに登録された障害物に対応する時間情報を用いて表示される。さらに、「障害物」の情報は、図10のステップS866でデータベースに登録された障害物を識別する情報を用いて表示される。さらに、「検出数」の情報は、例えば、障害物の位置情報の平均値を求める際に算出した検出数の情報等を用いて表示される。さらにまた、「車線」の情報は、例えば、図10のステップS850〜S862等の処理により特定された車線の情報を用いて表示される。この「車線」の情報には、例えば、「上り」、「下り」又は「不明」等が用いられる。
また、指示ボタンは、管理者131から障害物に対する操作を受け付けていない初期状態では、例えば、図3に示すように、「撤去指示」ボタン311が表示される。
この状態で、例えば、ステップS1104において、図3に示す管理画面300のピン321が選択されると、情報提供部605は、ステップS1105の処理を実行する。
ステップS1105において、情報提供装置110の情報提供部605は、選択されたピン321に対応する障害物の画像データを読み出し、例えば、図3に示す管理画面300の情報ウィンドウ322、及び障害物の画像323を表示する。
なお、障害物の画像データが、外部サーバ140のストレージサービス643に記憶されている場合、情報提供部605は、選択されたピン321に対応する障害物の画像データを識別するIDを用いて、ストレージサービス643から画像データを取得する。
一方、例えば、ステップS1106において、図3に示す管理画面の指示ボタン(例えば、「撤去指示」ボタン311)が選択されると、情報提供装置110は、ステップS1107において、ステータス変更処理を実行する。このステータス変更処理は、例えば、図3に示す管理画面の「撤去指示」ボタン311又は図13に示す管理画面の「撤去指示」ボタン1331に対する操作及び障害物に対する処理結果に応じて、状態管理部607のステータスを変更する。さらに、ステータス変更処理は、ステータスの変更とあわせて管理画面に表示されるボタンの表示内容やボタンの機能を変更する処理を含む。但し、本実施形態では、ステータス変更処理に関する詳細な説明は省略する。
ステップS1108では、情報提供装置110は、例えば、管理者131による終了操作を受け付けたか否かを判断し、終了操作を受け付けていない場合、ステップS1104〜S1107の処理を繰り返し実行する。一方、終了操作を受け付けた場合、情報提供装置110は、管理画面の表示処理を終了させる。
上述した処理により、情報提供装置110は、例えば、図3に示すような管理画面を、管理者用端末130のウェブブラウザ631に表示させることができる。なお、図3に示す管理画面は一例であり、情報提供装置110は、例えば、図13に示すような管理画面を管理者用端末130のウェブブラウザ631に表示させるものであっても良い。
上述した図9〜12、図14、15の処理を含む実施の形態によれば、道路上にある障害物の情報を適切な相手に対して提供することを容易にする情報提供システム100を構築することができる。
(アラート情報の通知処理)
図14は、一実施形態に係るアラート情報の通知処理の一例を示すフローチャートである。この処理は、情報提供装置110が、端末装置120から端末情報を受信したときに実行する処理の一例を示しており、例えば、図10に示した端末情報の登録処理と並行して実行される。
ステップS1501において、情報提供装置110は、端末装置120から送信される端末情報を受信すると、ステップS1502以降の処理を実行する。
ステップS1502において、情報提供装置110の通知部608は、端末情報に含まれる検出位置情報に基づいて、端末装置120の位置に対して予め定められた範囲内(例えば、障害物が存在する地点を中心として、その中心から半径2km以内)に、端末装置120に未通知の障害物があるか否かを判断する。
なお、端末装置120に未通知の障害物とは、当該障害物のアラート情報を、端末情報を送信した端末装置120に未だ通知していない障害物を示すものとする。なお、上述の予め定められた範囲は、他の範囲であっても良い。
ステップS1503において、情報提供装置110の通知部608は、予め定められた範囲内に未通知の障害物があるか否かに応じて、処理を分岐させる。予め定められた範囲内に未通知の障害物がある場合、通知部608は、処理をステップS1504に移行させる。一方、予め定められた範囲内に未通知の障害物がない場合、通知部608は、処理をステップS1509に移行させる。
ステップS1504に移行すると、情報提供装置110の通知部608は、端末情報に含まれる端末装置120の位置情報と、障害物の位置情報とを用いて、端末装置120と障害物との間の距離を算出する。
ステップS1505において、通知部608は、情報管理部604が管理する障害物を識別する情報(例えば、障害物名、障害物の種別、障害物の大きさ等)を取得する。
ステップS1506において、通知部608は、車線認識フラグの値をチェックする。車線認識フラグ=「1」のとき、障害物は車線を特定可能な道路上に存在すると判断されたため、通知部608は、ステップS1507の処理を実行する。一方、車線認識フラグ=「0」のとき、障害物は車線を特定不可能な道路上に存在すると判断されたため、通知部608は、ステップS1508の処理を実行する。
ステップS1507において、通知部608は、障害物があることを示すアラートフラグ「1」、障害物までの距離、車線認識フラグ=「1」及び障害物を識別する情報を含む第1のアラート情報を記憶部609から読み出して、端末情報を送信した端末装置120及び障害物から一定の範囲内を走行する後続車両101の端末装置120に送信する。また、通知部608は、第1のアラート情報を、障害物を撤去又は回収する作業者の作業者用端末等の装置に対して通知しても良い。
上述した第1のアラート情報には、例えば、「現在走行されている車線の前方約1.5kmに直径約70cmの自動車用タイヤが落ちています。注意して走行して下さい。」等のテキストメッセージが含まれる。つまり、第1のアラート情報は、車線を特定可能なテキストメッセージとなる。但し、これに限られず、第1のアラート情報には、現在の車両の位置から障害物までの距離を示す情報、障害物の種別を示す情報(障害物コード等)、現在の車両の位置から障害物までの到達時間を示す情報、等が含まれていても良い。なお、第1のアラート情報は、第1の通知情報としても扱われる。
一方、ステップS1508において、障害物と判断された道路211の道路幅が所定の幅未満の場合、すなわち車線認識フラグ=「0」の場合は、通知部608は、例えば、第2のアラート情報を情報管理部604を介して取得する。この第2のアラート情報に含まれるテキストメッセージには、例えば、「この先約1.5kmに直径約70cmの自動車用タイヤが落ちています。注意して走行して下さい。」等のテキストメッセージが含まれる。つまり、車線を特定しないテキストメッセージとなる。なお、第2のアラート情報は、第2の通知情報としても扱われる。このように、第1のアラート情報及び第2のアラート情報は、障害物の存在する道路の道路幅に応じて、通知部608により選択的に通知される。なお、上述したように、第1のアラート情報及び第2のアラート情報は、例えば、情報管理部604によって生成、管理されているが、情報提供部605や通知部608で生成、管理されるように情報提供システム100が構築されても良い。
一方、ステップS1503からステップS1509に移行すると、通知部608は、障害物が無いことを示すアラートフラグ「0」を、端末情報を送信した端末装置120に返信する。
上述した処理により、情報提供装置110は、端末情報を送信する端末装置120に対して、端末装置120の近くにある障害物に関するアラート情報を提供することができる。
(音声情報の出力処理)
図15は、一実施形態に係る音声情報の出力処理の一例を示すフローチャートである。この処理は、端末装置120が、図14のステップS1506、又はステップS1507において情報提供装置110が送信した情報を受信したときに実行する処理の一例を示している。
ステップS1601において、端末装置120は、図17のステップS1505〜S1509において情報提供装置110が送信した情報を受信した場合、ステップS1602以降の処理を実行する。
ステップS1602において、端末装置120の音声出力部626は、情報提供装置110から受信した情報のアラートフラグが「1」であるか「0」であるかを判断する。アラートフラグが「1」である場合、音声出力部626は、処理をステップS1603に移行させる。一方、アラートフラグが「0」である場合、音声出力部626は、処理を終了させる。
ステップS1603に移行すると、音声出力部626は、情報提供装置110から受信し端末装置120の記憶部627に記憶された情報から、第1のアラート情報又は第2のアラート情報のいずれかを取得する。例えば、音声出力部626は、第1のアラート情報に含まれる「現在走行されている車線の前方約1.5kmに自動車用タイヤが落ちています。注意して走行して下さい。」等のテキストメッセージを取得する。或いは、音声出力部626は、それぞれのアラート情報に含まれる現在の車両の位置から障害物までの距離を示す情報、障害物の種別を示す情報、障害物の大きさを示す情報を取得するものであっても良い。
ステップS1604において、音声出力部626は、取得した第1のアラート情報又は第2のアラート情報に基づいて、アラート音声を生成し、生成したアラート音声を出力する。例えば、音声出力部626は、取得したテキストメッセージを、音声合成処理により音声に変換して出力する。或いは、音声出力部626は、予め記憶された音声メッセージの中から、第1のアラート情報又は第2のアラート情報に含まれる現在の車両の位置から障害物までの距離を示す情報、障害物の種別を示す情報、障害物の大きさを示す各種情報に対応する音声メッセージを選択し、出力するものであっても良い。この場合、音声メッセージの音量を上述の各種情報に応じて制御しても良い。
上述した図14及び図15の処理により、端末装置120の利用者(例えば、後続車両の運転者等)は、近くに障害物がある場合、障害物に関して道路幅に応じた第1のアラート情報又は第2のアラート情報を音声メッセージとして受けられるようになる。これにより、情報提供システム100を利用する端末装置120の利用者は、例えば、図2に示すように、端末装置120を車両101のダッシュボード201に装着して、情報提供システム100に対応するアプリを実行することができる。
なお、本実施の形態において、第1のアラート情報(第1の通知情報)又は第2のアラート情報(第2の通知情報)が通知される装置は、上述した画像データ取得部622等を有する端末装置120に限らず以下のものを含めても良い。例えば、市販されているカーナビゲーションシステムや、音楽、映像等が再生可能なカーコンポーネントシステム等の一般的な車載用製品であっても良い。さらに、障害物が存在する道路上又はその道路付近に存在し、障害物を撤去又は回収する作業者が所有する作業者用端末に対して第1のアラート情報又は第2のアラート情報が通知されても良い。
ここで、図3及び図13に示した情報提供装置110又は管理者用端末130の管理画面に表示されるピン321又はピン1311(以下、単にピン321と呼ぶ)の表示形態について補足する。情報提供装置110の情報提供部605は、管理画面上の障害物の位置にピン321を表示させるが、これを道路幅に応じて生成される第1のアラート情報と第2のアラート情報に関連付けてその表示形態を変えても良い。つまり、道路幅が所定の閾値未満である場合と所定の閾値以上である場合とで、障害物に係る情報、つまりピン321の表示形態を変えるようにしても良い。
例えば、ピン321が表示される道路211が、障害物が存在する車線を特定可能な場合(第1のアラート情報が送信される場合)は、情報提供部605は、ピン321をその道路上の障害物の位置に固定して点灯させる。一方、ピン321が表示される道路211が、障害物が存在する車線を特定不可能な場合(第2のアラート情報が送信される場合)は、情報提供部605は、ピン321を点灯させた上で、その道路上の障害物の位置付近で揺らす、円運動させるなどして、第1のアラート情報が送信される場合と表示形態を分ける。このように、情報提供部605は、管理者用端末を操作する管理者131に対して異なる形態でピン321を表示させても良い。このように表示形態を切り替えることで、管理者131は、対象の障害物を撤去又は回収させるための作業者の選択をしやすくなるという効果が見込める。なお、第1のアラート情報及び第2のアラート情報を送信する場合のピン321の表示形態のバリエーションは、単なる一例であり、上述した形態に限らない。
また、本実施形態では、例えば、図9〜12の処理により、他の複数の端末装置120から、道路上の障害物の情報が高精度に収集、提供されるので、後続車両の端末装置120の利用者は、道路上に存在する障害物に関して信頼性の高いアラート情報を取得することができる。
<まとめ>
本発明の実施形態によれば、道路上にある障害物の情報を適切な相手に対して提供することができる。
本実施形態に係る情報提供システム100によれば、道路を管理する管理者131は、管理用車両を用いて道路を巡回しなくても、管理対象となる道路上の障害物の情報を適切な相手に対して提供することができる。そのため、障害物が存在する道路を走行する後続車両の運転者は、予め危険を察知することができるため安全な運転を継続することが可能となる。
また、障害物を撤去又は回収する作業者は、確実に障害物のある場所に到着することができ、例えば、違う車線側に作業員が到着してしまうといった非効率な事案も回避することが可能となる。さらに、道路上の障害物を撤去又は回収する作業者は、管理用車両を用いて道路を巡回しなくても、例えば、図3、15に示すような管理画面を参照して、障害物の存在する地点に直行できるので、迅速に障害物を撤去又は回収することができるようになる。これにより、道路を管理する管理者は、管理用の車両を巡回させるコストを削減することもできる。
なお、将来的には、情報提供装置を管理する情報管理者が、例えば、図3、15に示すような管理者用の管理画面を参照して障害物の位置を特定し、無人航空機(ドローン等)を用いて障害物を撤去又は回収できるようにシステムが構築されても良い。さらに、道路上の障害物を撤去又は回収する作業者が作業者用端末の制御によりドローンを操作して、障害物を撤去又は回収するようにしても良い。そのようにすることで、作業者による障害物の撤去又は回収が不要となり、作業者にかかる人件費の削減や作業者の安全確保といった効果も期待できる。
<補足>
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
上述の実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの一つを示すものにすぎない。
ある実施形態では、外部サーバ140は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワーク102や共有メモリ等を含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様に、情報提供装置110は、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。
さらに、外部サーバ140及び情報提供装置110は、開示された処理ステップ、例えば図8等をさまざまな組合せで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、情報提供装置110によって実行され得る。同様に、所定のユニットの機能は、情報提供装置110によって実行することができる。また、外部サーバ140と情報提供装置110の各要素は、一つのサーバ装置にまとめられていても良いし、複数の装置に分散されていても良い。
100 情報提供システム
101 車両
110 情報提供装置
115 表示機能付き情報提供装置
120 端末装置
130 管理者用端末
131 管理者
140 外部サーバ
150 クラウドサーバ(情報提供装置の別の一例)
602 端末情報受信部(受信部)
603 判断部
604 情報管理部
605 情報提供部
606 決定部
607 状態管理部
608 通知部
609 記憶部
610 情報生成部
623 検出部
625 端末情報送信部(送信部)
626 音声出力部
643 ストレージサービス(記憶部の別の一例)
644 データベースサービス(記憶部の別の一例)
特開2016−139392号公報

Claims (10)

  1. 車両で使用される端末装置と、前記端末装置とネットワークを介して通信可能な情報提供装置と、を含む情報提供システムであって、
    前記端末装置は、
    前記車両が走行する道路を撮影した撮影画像に係る撮影画像データ及び前記道路を撮影した位置を示す検出位置情報を含む端末情報を前記情報提供装置に送信する端末情報送信部を有し、
    前記情報提供装置は、
    前記端末装置から前記端末情報を受信する端末情報受信部と、
    前記撮影画像に写った任意の物体が予め定められた障害物である場合、前記端末情報に含まれる前記検出位置情報を前記障害物の位置情報とし、前記車両が走行する道路の道路幅に応じて前記車両の進行方向を特定した第1の通知情報及び前記車両の進行方向を特定しない第2の通知情報のいずれかを、前記位置情報が示す位置の周辺の装置に通知する通知部と、
    を有する、情報提供システム。
  2. 前記通知部は、前記道路幅が所定の閾値以上の幅である場合には、前記障害物が存在する車線を含む同一の進行方向に存在する前記装置に対して前記第1の通知情報を通知し、前記道路幅が所定の閾値未満の幅である場合には、前記進行方向を特定せずに前記道路に存在する前記装置に対して前記第2の通知情報を通知する、
    ことを特徴とする、請求項1に記載の情報提供システム。
  3. 前記情報提供装置は、前記第1の通知情報及び前記第2の通知情報を生成する情報生成部をさらに有し、当該情報生成部は、前記情報提供装置から提供される各種情報を表示する管理者用端末に対して、前記道路幅が所定の閾値未満である場合と前記道路幅が所定の閾値以上である場合とで前記障害物に係る情報を表示する形態を変える、
    ことを特徴とする、請求項1に記載の情報提供システム。
  4. 前記情報提供装置は、前記第1の通知情報及び前記第2の通知情報を生成する情報生成部をさらに有し、当該情報生成部は、前記道路幅を、前記道路を含む地図の地図情報、前記撮影画像データ及び前記端末装置が有する計測機能を含む候補のうち、いずれかを用いて計測する、
    ことを特徴とする、請求項1に記載の情報提供システム。
  5. 前記情報生成部は、前記道路幅の計測方法を、前記端末装置が有する選択手段に対する選択操作によって決定する、
    ことを特徴とする、請求項4に記載の情報提供システム。
  6. 前記情報生成部は、前記端末情報に含まれる複数の前記物体の位置情報を平均して得られた平均値を、前記情報生成部が同一の障害物として管理する当該障害物の位置情報として決定する、
    ことを特徴とする、請求項3に記載の情報提供システム。
  7. 前記情報生成部は、前記平均値に代えて、前記位置情報の最頻値及び中央値を含む代表値により前記障害物の位置情報を決定する、
    ことを特徴とする、請求項6に記載の情報提供システム。
  8. 車両で使用される端末装置と、前記端末装置とネットワークを介して通信可能な情報提供装置であって、
    前記端末装置から、前記車両が走行する道路を撮影した撮影画像に係る撮影画像データ及び前記道路を撮影した位置を示す検出位置情報を含む端末情報を受信する端末情報受信部と、
    前記撮影画像に写った任意の物体が予め定められた障害物である場合、前記端末情報に含まれる前記検出位置情報を前記障害物の位置情報とし、前記車両が走行する道路の道路幅に応じて前記車両の進行方向を特定した第1の通知情報及び前記車両の進行方向を特定しない第2の通知情報のいずれかを、前記位置情報が示す位置の周辺の装置に通知する通知部と、
    を有する、情報提供装置。
  9. 車両で使用される端末装置と、前記端末装置とネットワークを介して通信可能な情報提供装置によって実行される情報提供方法であって、
    前記端末装置から、前記車両が走行する道路を撮影した撮影画像に係る撮影画像データ及び前記道路を撮影した位置を示す検出位置情報を含む端末情報を受信する端末情報受信ステップと、
    前記撮影画像に写った任意の物体が予め定められた障害物である場合、前記端末情報に含まれる前記検出位置情報を前記障害物の位置情報とし、前記車両が走行する道路の道路幅に応じて前記車両の進行方向を特定した第1の通知情報及び前記車両の進行方向を特定しない第2の通知情報のいずれかを、前記位置情報が示す位置の周辺の装置に通知する通知ステップと、
    を含む処理を実行する、情報提供方法。
  10. 車両で使用される端末装置と、前記端末装置とネットワークを介して通信可能なコンピュータに、
    前記端末装置から、前記車両が走行する道路を撮影した撮影画像に係る撮影画像データ及び前記道路を撮影した位置を示す検出位置情報を含む端末情報を受信する処理と、
    前記撮影画像に写った任意の物体が予め定められた障害物である場合、前記端末情報に含まれる前記検出位置情報を前記障害物の位置情報とし、前記車両が走行する道路の道路幅に応じて前記車両の進行方向を特定した第1の通知情報及び前記車両の進行方向を特定しない第2の通知情報のいずれかを、前記位置情報が示す位置の周辺の装置に通知する処理と、
    を含む処理を実行させるプログラム。
JP2019141787A 2019-07-31 2019-07-31 情報提供システム、情報提供装置、情報提供方法及びプログラム Withdrawn JP2021026354A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019141787A JP2021026354A (ja) 2019-07-31 2019-07-31 情報提供システム、情報提供装置、情報提供方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019141787A JP2021026354A (ja) 2019-07-31 2019-07-31 情報提供システム、情報提供装置、情報提供方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2021026354A true JP2021026354A (ja) 2021-02-22

Family

ID=74663114

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019141787A Withdrawn JP2021026354A (ja) 2019-07-31 2019-07-31 情報提供システム、情報提供装置、情報提供方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2021026354A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7175373B1 (ja) 2021-12-03 2022-11-18 三菱電機株式会社 自動運転支援システム
WO2023188836A1 (ja) * 2022-03-30 2023-10-05 ソフトバンク株式会社 学習装置、サーバ、移動体、学習方法、学習プログラム、検出装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7175373B1 (ja) 2021-12-03 2022-11-18 三菱電機株式会社 自動運転支援システム
JP2023082748A (ja) * 2021-12-03 2023-06-15 三菱電機株式会社 自動運転支援システム
WO2023188836A1 (ja) * 2022-03-30 2023-10-05 ソフトバンク株式会社 学習装置、サーバ、移動体、学習方法、学習プログラム、検出装置

Similar Documents

Publication Publication Date Title
US11060882B2 (en) Travel data collection and publication
US11710251B2 (en) Deep direct localization from ground imagery and location readings
JP6784854B2 (ja) 復路遅延に基づいたユーザへの交通警告の提供
US11664043B2 (en) Real-time verbal harassment detection system
US20210191394A1 (en) Systems and methods for presenting curated autonomy-system information of a vehicle
US20180203457A1 (en) System and Method for Avoiding Interference with a Bus
CN110192233B (zh) 使用自主车辆在机场搭乘和放下乘客
CN111882907B (zh) 交通工具的导航预警方法、装置、设备和存储介质
CN110741227B (zh) 地标辅助导航
US20210201893A1 (en) Pattern-based adaptation model for detecting contact information requests in a vehicle
JP2016126756A (ja) 危険判定方法、危険判定装置、危険出力装置及び危険判定システム
JP5862609B2 (ja) メッセージ報知システム、メッセージ送受信装置、プログラム、および記録媒体
EP3823321A1 (en) Method, apparatus, and system for detecting joint motion
US11537944B2 (en) Method and system to generate machine learning model for evaluating quality of data
JP2021026354A (ja) 情報提供システム、情報提供装置、情報提供方法及びプログラム
CN113753040A (zh) 预测弱势道路用户乱穿马路行为
JP4595866B2 (ja) 経路情報作成システム及び経路情報作成方法
JP2020024655A (ja) 情報提供システム、情報提供装置、情報提供方法、及びプログラム
JP2006184005A (ja) 経路案内システム及び経路案内方法
JP6909048B2 (ja) 情報処理サーバ
JP2021021995A (ja) 情報提供システム、情報提供装置、情報提供方法及びプログラム
US20200034639A1 (en) Information providing system, information processing apparatus, and information providing method
JP5789482B2 (ja) 運転支援システム、第一情報処理装置、およびプログラム
JP2021124633A (ja) 地図生成システム及び地図生成プログラム
CN106781470B (zh) 城市道路的运行速度的处理方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220518

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20220804