JP2019053438A - 情報処理装置、情報提供システム、情報提供方法、及びプログラム - Google Patents

情報処理装置、情報提供システム、情報提供方法、及びプログラム Download PDF

Info

Publication number
JP2019053438A
JP2019053438A JP2017176119A JP2017176119A JP2019053438A JP 2019053438 A JP2019053438 A JP 2019053438A JP 2017176119 A JP2017176119 A JP 2017176119A JP 2017176119 A JP2017176119 A JP 2017176119A JP 2019053438 A JP2019053438 A JP 2019053438A
Authority
JP
Japan
Prior art keywords
vehicle
detection
information
detection target
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017176119A
Other languages
English (en)
Other versions
JP6933065B2 (ja
Inventor
義博 大栄
Yoshihiro Daiei
義博 大栄
神丸 博文
Hirobumi Kamimaru
博文 神丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017176119A priority Critical patent/JP6933065B2/ja
Priority to US16/046,472 priority patent/US10733461B2/en
Priority to CN201810886275.8A priority patent/CN109493641B/zh
Publication of JP2019053438A publication Critical patent/JP2019053438A/ja
Application granted granted Critical
Publication of JP6933065B2 publication Critical patent/JP6933065B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】車両に搭載され、車両の周辺にある所定の検出対象に関する情報を提供する情報処理装置において、車両から視認できない検出対象に関する情報を提供することができるようにする。【解決手段】情報処理装置は、車両に搭載される情報処理装置であって、車両の周辺にある1つ以上の検出対象が保持する1つ以上の端末から第1の信号を受信する第1の通信制御部と、前記車両から視認可能な所定の範囲を撮影した画像データから前記所定の範囲内にある前記検出対象を検出する検出部と、前記検出部による検出結果と、前記第1の通信制御部が受信した前記第1の信号とに基づいて、前記1つ以上の検出対象が前記車両から視認できるか否かを判断する判断部と、前記1つ以上の検出対象に前記車両から視認できない検出対象が含まれる場合、前記車両から視認できない検出対象に関する情報を提供する情報提供部と、を有する。【選択図】図4

Description

本発明は、情報処理装置、情報提供システム、情報提供方法、及びプログラムに関する。
車両から所定の範囲内に歩行者がいる場合に、その歩行者を表す画像を車両の運転者の視認可能な位置に映すことにより、運転者に歩行者の存在を早期に認識させる技術が知られている(例えば、特許文献1参照)。
特開2016−173652号公報
特許文献1に開示された技術では、車両に接近した歩行者側の発光ダイオードを光らせることにより歩行者を認識する方法であるため、車両から見えない場所にいる歩行者に関する情報を提供することができないという課題がある。
なお、このような課題は、検出対象が歩行者である場合に限られず、車両の周辺にある、所定の検出対象(例えば、子供、高齢者、二輪車等)に関する情報を提供する車載装置(情報処理装置)に共通に存在する。
本発明の実施の形態は、上記の問題点に鑑みてなされたものであって、車両に搭載され、車両の周辺にある所定の検出対象に関する情報を提供する情報処理装置において、車両から視認できない検出対象に関する情報を提供することができるようにする。
上記の課題を解決するため、本発明の一実施形態に係る情報処理装置は、車両に搭載される情報処理装置であって、前記車両の周辺にある1つ以上の検出対象が保持する1つ以上の端末から第1の信号を受信する第1の通信制御部と、前記車両から視認可能な所定の範囲を撮影した画像データから前記所定の範囲内にある前記検出対象を検出する検出部と、前記検出部による検出結果と、前記第1の通信制御部が受信した前記第1の信号とに基づいて、前記1つ以上の検出対象が前記車両から視認できるか否かを判断する判断部と、前記1つ以上の検出対象に前記車両から視認できない検出対象が含まれる場合、前記車両から視認できない検出対象に関する情報を提供する情報提供部と、を有する。
本発明の実施形態に係る情報処理装置は、車両の周辺にある1つ以上の検出対象が保持する1つ以上の端末から第1の信号を受信することにより、車両の周辺にある1つ以上の検出対象の存在を把握する。また、情報処理装置は、車両から視認可能な所定の範囲を撮影した画像データを用いて、車両から視認可能な検出対象の存在を把握する。これにより、情報処理装置は、車両の周辺にある1つ以上の検出対象が車両から視認できるか否かを判断し、車両から視認できない検出対象に関する情報(例えば、警報、音声メッセージ等)を提供することができるようになる。
上述の実施形態において、前記情報処理装置は、前記検出部が検出した前記検出対象の前記車両に対する方向を算出する算出部と、前記算出部が算出した前記方向に対して指向性のある通信を行い、前記方向にある前記端末から第2の信号を取得する第2の通信制御部と、を有し、前記判断部は、前記第1の通信制御部が受信した前記第1の信号と、前記第2の通信制御部が取得した前記第2の信号とを用いて、前記1つ以上の検出対象が前記車両から視認できるか否かを判断しても良い。
これにより、判断部は、第2の通信制御部が第2の信号を受信した端末を保持する検出対象を、車両から視認できると判断し、1つ以上の検出対象が車両から視認できるか否かを、より正しく判断することができる。
上述の実施形態において、前記判断部は、前記第1の通信制御部が前記第1の信号を受信した前記端末のうち、前記第2の通信制御部が前記第2の信号を受信できない端末を保持する前記検出対象を、前記車両から視認できないと判断しても良い。
これにより、判断部は、1つ以上の検出対象のうち車両から視認できない検出対象があることを、より正しく判断することができる。
上述の実施形態において、前記情報処理装置は、前記第1の通信制御部が前記第1の信号を受信した前記端末のうち、前記第2の通信制御部が前記第2の信号を受信した端末の情報、及び該端末を保持する検出対象の情報を記憶する第1のリストを管理する第1のリスト管理部を有し、前記算出部は、前記検出部が検出した前記検出対象のうち、前記第1のリストに記憶されている検出対象を、前記方向の算出の対象から除外しても良い。
これにより、情報処理装置は、算出部による算出処理の対象から、検出済の検出対象を除外することができるようになる。従って、情報処理装置の負荷が低減されると共に、情報処理装置の処理を高速化することができる。
上述の実施形態において、前記情報処理装置は、前記第1の通信制御部が前記第1の信号を受信した前記端末の情報を記憶した第2のリストを管理する第2のリスト管理部を有し、前記判断部は、前記第2のリストに新たに登録され、かつ前記第1のリストに登録されていない前記端末を保持する前記検出対象を、前記車両から視認できないと判断しても良い。
これにより、情報処理装置は、判断部による判断処理の対象から、第2のリストに登録済の端末を除外することができる。従って、情報処理装置の負荷が低減されると共に、情報処理装置の処理を高速化することができる。
上述の実施形態において、前記第1の信号は、前記端末を識別する識別情報を含み、前記情報提供部は、前記1つ以上の検出対象に前記車両から視認できない検出対象が含まれる場合、前記第1の通信制御部が前記第1の信号を受信し、かつ前記第2の通信制御部が前記第2の信号を受信していない前記端末に対して、前記車両から視認できないことを示す情報を送信しても良い。
これにより、情報処理装置は、1つ以上の検出対象のうち記車両から視認できない検出対象が保持する端末に対して、車両から視認できない検出対象に関する情報を提供することができる。
上述の実施形態において、前記情報提供部は、前記1つ以上の検出対象に前記車両から視認できない検出対象が含まれる場合、前記車両の乗員に、前記車両から視認できない検出対象があることを示す情報を提供しても良い。
これにより、情報処理装置は、車両の乗員に対して、車両から視認できない検出対象に関する情報を提供することができる。
上述の実施形態において、前記第1の信号は、前記端末の端末情報を含み、前記情報提供部は、前記車両から視認できない検出対象が保持する前記端末の前記端末情報に対応する、前記車両から視認できない検出対象があることを示す情報を提供しても良い。
これにより、情報処理装置は、車両の乗員に対して、車両から視認できない検出対象が保持する端末の端末種別に対応する、車両から視認できない検出対象に関する情報を提供することができる。
また、他の実施形態は、情報提供システム、情報提供方法、及びプログラムにより実現される。
本発明の実施の形態によれば、車両に搭載され、車両の周辺にある所定の検出対象に関する情報を提供する情報処理装置において、車両から視認できない検出対象に関する情報を提供することができるようになる。
一実施形態に係る情報提供システムのシステム構成の例を示す図である。 一実施形態に係る情報提供システムについて説明するための図である。 一実施形態に係る車載装置のハードウェア構成の例を示す図である。 一実施形態に係る情報提供システムの機能構成の例を示す図である。 一実施形態に係る検出対象の方向を算出する方法について説明するための図である。 一実施形態に係る車載装置が管理する情報の例を示す図である。 一実施形態に係るS2の通信方向のイメージを示す図である。 一実施形態に係る車載装置の処理の流れを示すフローチャートである。 一実施形態に係る第1の信号の受信処理の例を示すフローチャートである。 一実施形態に係る検出処理の例を示すフローチャートである。 一実施形態に係る判断処理の例を示すフローチャートである。 一実施形態に係る携帯端末に対する情報提供処理の例を示すフローチャートである。 一実施形態に係る車両の乗員に対する情報提供処理の例を示す図である。
以下、図面を参照して発明を実施するための形態について説明する。
<システム構成>
図1は、一実施形態に係る情報提供システムのシステム構成の例を示す図である。情報提供システム1は、自動車等の車両10に搭載され、車両10の周辺にある所定の検出対象に関する情報を、車両10の乗員や、歩行者110a、110b等に提供するシステムである。例えば、車両10の乗員に対して車両10から視認できない歩行者がいることを通知する情報や、歩行者110a、110bが所持する携帯端末111a、111bに対して車両10から視認できないことを通知する情報等は、検出対象に関する情報の一例である。
情報提供システム1は、例えば、車両10に搭載される、車載装置100、通信装置101、及びカメラ102と、歩行者110a、110bが保持する携帯端末111a、111bとを含む。ここで、通信装置101は、車載装置100が、無線通信によって携帯端末111a、111b等と通信を行うための装置である。通信装置101は、例えば、DCM(Data Communication Module)を用いて実現されても良い。
なお、以下の説明の中で、歩行者110a、110b等のうち、任意の歩行者を示す場合、「歩行者110」を用いる。また、携帯端末111a、111b等のうち、任意の携帯端末を示す場合、「携帯端末111」を用いる。
携帯端末111を保持(所持)する歩行者110は、車両10の周辺にある1つ以上の検出対象の一例であり、携帯端末111は、車両10の周辺にある1つ以上の検出対象が保持する1つ以上の端末の一例である。ここでは、車両10の周辺にある1つ以上の検出対象が、携帯端末111を保持する歩行者110であるものとして以下の説明を行うが、検出対象は、携帯端末111を保持する特定の歩行者(例えば、児童、高齢者)や所定の物体(例えば、二輪車)であっても良い。
携帯端末111は、例えば、歩行者110が保持するスマートフォン、携帯電話、又はウェアラブル端末等の情報端末であり、車両10が備える通信装置101と無線通信を行うことができる。
例えば、携帯端末111は、携帯端末111を識別する識別情報(以下、端末IDと呼ぶ)を含む、短距離通信用の無線信号(以下、第1の信号と呼ぶ)を、所定の通信範囲内に、宛先を指定しないブロードキャストで送信する。
図1の例では、歩行者110aが保持する携帯端末111aは、携帯端末111aの端末ID「H1」を含む第1の信号を、通信範囲112a内に送信している。また、歩行者110bが保持する携帯端末111bは、携帯端末111bの端末ID「H2」を含む第1の信号を、通信範囲112b内に送信している。
また、携帯端末111は、車両10が備える通信装置101から送信される、通信装置101を識別する識別情報「V1」を含む要求信号を受信すると、携帯端末111の端末IDを含む無線信号(以下、第2の信号と呼ぶ)を、要求元の通信装置101に送信する。
車載装置100は、車両10に搭載される情報処理装置である。車載装置100は、例えば、カーナビゲーション装置等の情報機器や、車載ECU(Electric Control Unit)等の車載機器である。車載装置100は、通信装置101を用いて、車両10の周辺にいる歩行者110が保持する携帯端末111から、第1の信号を受信する。これにより、車載装置100は、車両10の周囲にいる、携帯端末111を保持している歩行者110の存在を認識することができる。
また、車載装置100は、カメラ102を用いて、車両10から視認可能な所定の範囲(以下、カメラ102の撮影範囲と呼ぶ)を撮影した画像データを解析し、画像データに含まれる歩行者を検出する。
さらに、車載装置100は、画像データから検出された歩行者の方向を算出し、算出した方向に対して、通信装置101を用いて、指向性のある無線信号で要求信号を送信する。これにより、検出された歩行者が携帯端末111を保持する歩行者110である場合、携帯端末111から、携帯端末111の端末IDを含む第2の信号が送信される。車載装置100は、通信装置101を用いて、携帯端末111から送信される第2の信号を受信することにより、画像データから検出された歩行者が、携帯端末111を保持する歩行者110であるか否かを特定することができる。
図2は、一実施形態に係る情報提供システムについて説明するための図である。図2(a)において、車載装置100は、第1の無線通信(以下、S1と呼ぶ)により、S1の通信範囲201内にいる歩行者110a、110b、110cが保持する携帯端末111から送信される第1の信号を受信する。これにより、車載装置100は、端末ID「H1」、「H2」、「H3」の携帯端末111を保持する歩行者110が、車両10の周辺にいることを把握することができる。
また、車載装置100は、カメラ102で撮影した画像データを解析することにより、カメラ102の撮影範囲202内にいる歩行者110aを検出する。また、車載装置100は、車両10に対する歩行者110aの方向を算出し、算出した方向に対して、指向性のある第2の無線通信(以下、S2と呼ぶ)により、要求信号を送信する。また、車載装置100は、通信装置101を用いて、歩行者110aが保持する携帯端末111aから送信される第2の信号を受信する。
このとき、歩行者110aが保持する携帯端末111aから送信される第2の信号には、携帯端末111aの端末ID「H1」が含まれる。これにより、車載装置100は、第1の信号を受信した端末ID「H1」、「H2」、「H3」の携帯端末111を保持する歩行者110のうち、第2の信号を受信した端末ID「H1」の携帯端末111を保持する歩行者110aを車両10から視認できると判断する。一方、車載装置100は、第2の信号を受信できない端末ID「H2」、「H3」の携帯端末111を保持する歩行者110b、110cを車両10から視認できないと判断する。
このように、車両10の周辺にいる歩行者110a、110b、110cのうち、車両10から視認できない歩行者110がいると判断された場合、車載装置100は、車両10から視認できない歩行者110がいることを示す情報を提供する。
例えば、車載装置100は、車両10から視認できない歩行者110がいることを示す警報音や、音声メッセージ(例えば、「見えない所に歩行者がいます」等)を、車両10に備えられたスピーカから出力することにより、車両10の乗員に通知する。
好ましくは、車載装置100は、車両10から視認できないと判断された歩行者110が保持する携帯端末111b、111cの端末ID「H2」、「H3」を用いて、携帯端末111b、111cに対して、車両10から視認できないことを示す情報を送信する。
車両10から視認できないことを示す情報を受信した携帯端末111b、111cは、警報音、バイブレータ、又は音声メッセージ等により、携帯端末111b、111cを保持する歩行者110に、車両10から見えないことを通知する。
このように、本実施形態に係る情報提供システム1では、車両10に搭載され、車両の周辺にある所定の検出対象に関する情報を提供する車載装置100を用いて、車両10から視認できない検出対象に関する情報を提供することができる。なお、車両10の乗員に車両10から視認できない歩行者がいることを通知する情報、歩行者110が保持する携帯端末111に車両10から視認できないことを通知する情報等は、検出対象に関する情報の一例である。
なお、S1(第1の無線通信)は、例えば、図2(b)に示すように、カメラ102の撮影範囲202に対応する所定の範囲を通信範囲201とするものであっても良い。この場合、例えば、図2(a)の歩行者110c等、走行経路に影響が少ない歩行者110を検出対象から除外することができる。
また、図2(a)、(b)では、カメラ102の撮影範囲202が、車両10の前方である場合の例が示されているが、カメラ102の撮影範囲202は、車両10の運転者から視認可能な範囲であれば、車両10の側方や、後方が含まれていても良い。
<ハードウェア構成>
(車載装置のハードウェア構成)
図3は、一実施形態に係る車載装置のハードウェア構成の例を示す図である。車載装置100は、一般的なコンピュータの構成を有し、例えば、CPU(Central Processing Unit)301、RAM(Random Access Memory)302、ROM(Read Only Memory)303、ストレージデバイス304、外部接続I/F(Interface)305、画像入力I/F306、音声出力I/F307、画像出力I/F308、及びシステムバス309等を含む。
CPU301は、ROM303やストレージデバイス304等に格納されたプログラムやデータ等をRAM302上に読み出し、処理を実行することで、車載装置100の各機能を実現する演算装置である。RAM302は、CPU301のワークエリア等として用いられる揮発性のメモリである。ROM303は、電源を切ってもプログラムやデータを保持する不揮発性のメモリである。ストレージデバイス304は、HDD(Hard Disk Drive)や、SSD(Solid State Drive)等のストレージ装置であり、例えば、OS(Operation System)、プログラム、及び各種データ等を記憶する。
外部接続I/F305は、車載装置100に、例えば、通信装置101等の外部装置を接続するためのインタフェースである。画像入力I/F306は、車載装置100に、カメラ102等の撮影装置を接続するためのインタフェースである。
音声出力I/F307は、車両10に備えられたスピーカや、スピーカに音声を出力する電子機器等に対して音声信号を出力するためのインタフェースである。なお、車載装置100は、音声出力I/F307に代えて、音声を出力する音声出力部を有していても良い。
画像出力I/F308は、車両に備えられた表示装置や、表示装置を備えた電子機器等に画像を出力するためのインタゲースである。なお、車載装置100は、画像出力I/F308に代えて、画像を表示する画像表示部を有していても良い。
システムバス309は、上記の各構成要素に共通に接続され、例えば、アドレス信号、データ信号、及び各種制御信号等を伝達する。
<機能構成>
図4は、一実施形態に係る情報提供システムの機能構成の例を示す図である。
情報提供システム1は、車両10に搭載される車載装置100、通信装置101、カメラ102、スピーカ413、及び表示装置414と、車載装置100と通信装置101を介して通信可能な携帯端末111と、を含む。
カメラ102は、車両10に搭載される撮影装置であり、例えば、図2(a)、(b)に示すような、車両10から視認可能な所定の撮影範囲202を撮影して、撮影した画像データを車載装置に出力する。
スピーカ413は、車載装置100から出力される警報音や、音声メッセージ等の音声信号を音声に変換して出力する。
表示装置414は、車載装置100から出力される表示画面等を表示する。
(車載装置の機能構成)
車載装置(情報処理装置)100は、例えば、第1の通信制御部401、第2の通信制御部402、画像処理部404、算出部405、判断部406、情報提供部407、音声出力部408、表示制御部409、端末リスト管理部410、検出対象リスト管理部411、及び記憶部412等を有する。
車載装置100は、例えば、図3のCPU301で、ROM303やストレージデバイス304等の記録媒体に記憶されたプログラムを実行することにより、上記の各機能構成を実現している。また、上記の各機能構成のうち少なくとも一部は、ハードウェアによって実現されるものであっても良い。
第1の通信制御部401は、例えば、図3のCPU301で実行されるプログラムによって実現され、通信装置101によるS1(第1の無線通信)により、車両10の周辺にいる歩行者110が保持する携帯端末111が送信する第1の信号を受信する。携帯端末111が送信する第1の信号には、少なくとも携帯端末111の端末IDが含まれる。
好ましくは、携帯端末111が送信する第1の信号には、携帯端末111の端末種別(例えば、歩行者端末等)や、携帯端末111の位置情報等の端末情報が含まれる。
第2の通信制御部402は、例えば、図3のCPU301で実行されるプログラムによって実現され、通信装置101によるS2(第2の無線通信)により、算出部405によって算出された方向にある携帯端末111から第2の信号を取得する。例えば、第2の通信制御部402は、算出部405によって算出された方向に対して、指向性のあるS2で要求信号を送信し、送信した方向にある携帯端末111から送信される第2の信号を受信する。携帯端末111が送信する第2の信号には、少なくとも携帯端末111の端末IDが含まれる。
なお、第1の通信制御部401、及び第2の通信制御部402は、1つの通信制御部403で実現されるものであっても良い。
画像処理部(検出部)404は、例えば、図3のCPU301で実行されるプログラムによって実現され、カメラ102で車両10から視認可能な撮影範囲202を撮影した画像データを解析して、撮影範囲202内にいる検出対象を検出する。例えば、画像処理部404は、公知のパターンマッチング技術等を用いて、画像データに含まれる「歩行者」(検出対象の一例)を検出する。
なお、ここで検出される「歩行者」には、携帯端末111を保持する歩行者110に加えて、携帯端末111を保持していない歩行者が含まれていても良い。
算出部405は、例えば、図3のCPU301で実行されるプログラムによって実現され、画像処理部404が検出した検出対象の車両10に対する方向を算出する。
図5は、一実施形態に係る検出対象の方向を算出する方法について説明するための図である。一例として、算出部405は、カメラ102で撮影される画像501の中心点502を原点とする複数の座標範囲と、各座標範囲における、カメラ102の向き504に対する方向とを対応付ける対応情報を予め記憶部412に記憶しておく。これにより、算出部405は、記憶部412に記憶した対応情報を用いて、画像501上で検出された検出対象503の座標から、カメラ102の向き504に対する、実際の検出対象506の方向505を算出することができるようになる。後は、車両10に対するカメラ102の取り付け角度により、算出部405は、画像処理部404が検出した検出対象の車両10に対する方向を算出することができる。
なお、この方法はあくまで一例であり、算出部405は、任意の方法により、画像処理部404が検出した検出対象の車両10に対する方向を算出するものであって良い。
判断部406は、例えば、図3のCPU301で実行されるプログラムによって実現される。判断部406は、画像処理部404による検出対象の検出結果と、第1の通信制御部401が受信した第1の信号とに基づいて、車両10の周辺にいる携帯端末111を保持した歩行者110が、車両10から視認できるか否かを判断する。
一例として、図2(a)の例では、第1の通信制御部401は、歩行者110a、110b、110cが保持する携帯端末111a、111b、111cから第1の信号を受信している。また、カメラ102の撮影範囲202を撮影した画像データからは、歩行者110aだけが検出される。この場合、判断部406は、車両10の周辺にいる歩行者110a、110b、110cのうち、少なくとも2人の歩行者110を視認することができないと判断することができる。
好ましくは、判断部406は、第1の通信制御部401が受信した第1の信号と、第2の通信制御部402が取得した第2の信号とを用いて、車両10の周辺にいる歩行者110が車両10から視認できるか否かを判断する。
例えば、判断部406は、第1の通信制御部401が受信した第1の信号に含まれる端末IDにより、車両10の周辺にいる歩行者110を把握する。また、判断部406は、第2の通信制御部402が取得した第2の信号に含まれる端末IDにより、車両10から視認できる歩行者110を把握する。これにより、判断部406は、例えば、第1の通信制御部401が第1の信号を受信した携帯端末111のうち、第2の通信制御部402が第2の信号を受信できない携帯端末111を保持する歩行者110を、車両10から視認できないと判断することができる。なお、判断部406による具体的な処理の例については、フローチャートを用いて後述する。
情報提供部407は、例えば、図3のCPU301で実行されるプログラムによって実現される。情報提供部407は、車両10の周囲にいる携帯端末111を保持する歩行者110のうち、車両10から視認できない歩行者110がいる場合、車両10から視認できない歩行者110に関する情報を提供する。
例えば、情報提供部407は、車両10の周囲にいる歩行者110のうち車両10から視認できない歩行者110がいると判断された場合、音声出力部408を用いて、スピーカ413から警報音や音声メッセージ等を出力させる。また、情報提供部407は、表示制御部409を用いて、表示装置414に、車両10から視認できない歩行者110がいることを示す表示画面等を表示させるものであっても良い。
好ましくは、情報提供部407は、車両10の周囲にいる歩行者110のうち、車両10から視認できない歩行者110がいると判断された場合、視認できない歩行者110が保持する携帯端末111に、車両10から視認できないことを示す提供情報を送信する。これにより、提供情報を受信した携帯端末111は、車両10から視認できないことを示す警報音や音声メッセージ等を出力することができる。
音声出力部408は、例えば、図3のCPU301で実行されるプログラムによって実現され、情報提供部407からの制御に従って、車両10から視認できない歩行者110がいることを示す警報音や音声メッセージ等を、スピーカ413を用いて出力する。
表示制御部409は、例えば、図3のCPU301で実行されるプログラムによって実現され、情報提供部407からの制御に従って、車両10から視認できない歩行者110がいることを示す表示画面等を、表示装置414等に表示させる。
端末リスト管理部(第2のリスト管理部)410は、例えば、図3のCPU301で実行されるプログラムによって実現される。端末リスト管理部410は、第1の通信制御部401が受信した第1の信号に含まれる携帯端末111の端末情報を、例えば、図6(a)に示すような端末リスト601に記憶して管理する。
図6(a)は、一実施形態に係る端末リスト(第2のリスト)601の例を示している。図6(a)の例では、端末リスト601には、「端末ID」、「端末種別」、「位置情報」、「受信時刻」等の情報が含まれる。
「端末ID」は、受信した第1の信号に含まれている、第1の信号を送信した携帯端末111の端末IDである。「端末種別」は、第1の信号に含まれている、第1の信号を送信した携帯端末111の端末種別を示す情報である。「位置情報」は、第1の信号に含まれている、第1の信号を送信した携帯端末111の緯度、経度、高度等を示す座標情報である。「受信時刻は」、例えば、第1の通信制御部401が第1の信号を受信した時刻を示す情報である。なお、「端末種別」、及び「位置情報」はオプションであり、必須ではない。
検出対象リスト管理部(第1のリスト管理部)411は、例えば、図3のCPU301で実行されるプログラムによって実現される。検出対象リスト管理部411は、第1の信号を受信した携帯端末111のうち、第2の信号を受信した携帯端末111の情報、及び当該携帯端末111を保持する歩行者110の情報を、例えば、図6(b)に示すような検出対象リスト602に記憶して管理する。
図6(b)は、一実施形態に係る検出対象リスト(第1のリスト)の例を示している。図6(b)の例では、検出対象リストには、「追跡ID」、「端末ID」、「検出座標」、「検出時刻」等の情報が含まれる。「追跡ID」は、追跡中の検出対象を識別するための識別情報である。「端末ID」は、追跡中の検出対象が保持する携帯端末111の識別情報である。「検出座標」は、画像処理部404により検出対象が検出された画像データ上の座標である。「検出時刻」は、画像処理部404により検出対象が検出された時刻である。
検出対象リスト管理部411は、検出済の検出対象に対して追跡処理を行う。例えば、検出対象リスト管理部411は、画像処理部404で検出された検出対象の画像データ上の座標と、検出済(追跡中)の検出対象の検出座標との間の距離を算出し、算出した距離が所定の距離以内であるかを判断する。ここで、所定の距離は、例えば、検出対象が所定の時間内に移動可能な距離が予め定められているものとする。
算出した距離が所定の距離以内である場合、検出対象リスト管理部411は、画像処理部404で検出された検出対象が追跡中の検出対象であると判断し、追跡IDに対応する検出座標と検出時刻とを更新する。
一方、算出した距離が所定の距離以内でない場合、検出対象リスト管理部411は、画像処理部404で検出された検出対象が新たな検出対象であると判断する。この場合、検出対象リスト管理部411は、例えば、後述する検出処理によって第2の信号が受信されたとき、新たは追跡IDを追加して検出対象の追跡を開始する。
記憶部412は、例えば、図3のCPU301で実行されるプログラム、及びストレージデバイス304、RAM302等によって実現され、前述した端末リスト601、検出対象リスト602を含む様々な情報を記憶する。
(通信装置の機能構成)
通信装置101は、例えば、第1の通信部421、及び第2の通信部422を有する。
第1の通信部421は、車両10に搭載される1つ以上のアンテナ424a、424b、・・・を用いて、例えば、図2(a)又は図2(b)に示すようなS1の通信範囲201内にある携帯端末111とS1(第1の無線通信)で通信を行う。
例えば、第1の通信部421は、車載装置100の第1の通信制御部401からの制御に従って、車両10の周辺にある携帯端末111から第1の信号を受信し、受信した第1の信号を車載装置100に通知する。また、第1の通信部421は、第1の通信制御部401からの制御に従って、指定された端末IDを有する携帯端末111に提供情報を送信する。
第2の通信部422は、車両10に搭載される1つ以上のアンテナ424a、424b、・・・を用いて、指向性のあるS2(第2の無線通信)により、指定された方向にある携帯端末111と通信を行う。
例えば、第2の通信部422は、車載装置100の第2の通信制御部402からの制御に従って、指定された方向に要求信号を送信し、要求信号に対する応答信号である第2の信号を受信して車載装置100に通知する。
図7は、一実施形態に係るS2の通信方向のイメージを示す図である。通信装置101の第2の通信部422は、例えば、ビームフォーミング技術、或いは複数の指向性アンテナを切替えること等により、指定された方向に向けて所定の範囲703内で無線信号の送受信を行う指向性のある無線通信(S2)を行う。
このとき、一例として、図7に示すように、歩行者110等の検出対象を検出する距離範囲701を予め定めておくと良い。この場合、第2の通信部422は、第2の通信制御部402の制御に従って、検出する距離範囲701において、算出部405によってされた検出対象の方向702が、所定の範囲703に含まれるようにS2の通信方向を設定する。
なお、第1の通信部421、及び第2の通信部422には、例えば、IEEE802.11p規格に準拠したDSRC(Dedicated Short Range Communications)や、セルラー技術をベースにしたセルラーV2X通信等のV2X通信を適用することができる。
V2X通信は、車両と他の通信対象との間の通信の総称であり、例えば、車両と歩行者端末との間で通信を行う歩車間通信(V2P: Vehicle to Pedestrian)や、車両と他の車両との間で通信を行う車車間通信(V2V: Vehicle to Vehicle)等が含まれる。
第1の通信部421、及び第2の通信部422は、例えば、DSRCや、セルラーV2X通信等のV2P通信により、携帯端末111と通信を行うものであって良い。ただし、これに限られず、第1の通信部421、第2の通信部422は、一般的なV2X通信とは異なる通信方式を用いて、携帯端末111とS1、S2等の通信を行うものであっても良い。また、第1の通信部421、及び第2の通信部422は、1つの通信部423によって実現されるものであっても良い。
(携帯端末の機能構成)
携帯端末111は、一般的なコンピュータの構成を有する情報端末であり、情報提供システム1に対応するアプリケーションプログラムを実行することにより、通信制御部431、及び警報制御部433等を実現している。
通信制御部431は、携帯端末111が備える無線部432を介して、車両10が備える通信装置101と無線通信を行う。
例えば、通信制御部431は、無線部432を介して、携帯端末111の端末IDを含む第1の信号をブロードキャストに送信する。これにより、携帯端末111は、自端末の存在を、周辺の車両に通知することができる。
好ましくは、第1の信号には、携帯端末111の端末種別や、携帯端末111の位置を示す位置情報等の情報が含まれる。
また、通信制御部431は、無線部432を介して、車両10の通信装置101から送信される要求信号を受信すると、要求元の通信装置101に対して、携帯端末111の端末IDを含む第2の信号を返信する。
さらに、通信制御部431は、無線部432を介して、車両10の通信装置101から送信される提供情報を受信すると、受信した提供情報を警報制御部433に通知する。
警報制御部433は、通信制御部431から通知される提供情報を受付すると、例えば、携帯端末111が備えるスピーカ434を用いて、車両10から視認できないことを示す警報音や、音声メッセージ等の警報を出力する。なお、警報制御部433は、携帯端末111が備えるバイブレータや、ディスプレイ等を用いて警報を出力するものであっても良い。
<処理の流れ>
続いて、本実施形態に係る情報提供方法の処理の流れについて説明する。
(車載装置の処理)
図8は、一実施形態に係る車載装置の処理の流れを示すフローチャートである。この処理は、車載装置100が実行する処理の概要を示している。各処理の具体的な処理内容については、図9以降のフローチャートを用いて、別途説明する。
ステップS801において、車載装置100の第1の通信制御部401は、車両10の周辺にある1つ以上の検出対象が保持する1つ以上の携帯端末111から送信される第1の信号を、通信装置101を用いて受信する。
例えば、図2(a)の例では、第1の通信制御部401は、S1の通信範囲201内にいる歩行者110a、110b、110cが保持する携帯端末111a、111b、111cから送信される第1の信号を受信する。
ステップS802において、車載装置100の画像処理部(検出部)404は、カメラ102が、車両10から視認可能な所定の範囲を撮影した画像データを解析して、画像データに含まれる検出対象を検出する。
例えば、図2(a)の例では、画像処理部404は、カメラ102の撮影範囲202に撮影されている歩行者110aを検出する。なお、図2(a)において、歩行者110bは、車両10から視認できない死角に入っており、カメラ102が撮影した画像データからは検出されないものとする。
ステップS803において、車載装置100の判断部406は、車両10の周辺にある1つ以上の検出対象が、車両10から視認できるか否かを判断する。
一例として、図2(a)の例では、判断部406は、前述したように、車両10の周辺にいる歩行者110a、110b、110cのうち、歩行者110aのみが視認できると判断する。
ステップS804において、情報提供部407は、判断部406による判断結果により、車両10の周辺にある1つ以上の検出対象のうち、車両10から視認できない検出対象があるかを判断する。
例えば、図2(a)の例では、車両10の周辺にいる歩行者110a、110b、110cのうち、歩行者110aのみが視認できるので、車両10から視認できない検出対象(歩行者110b、110c)があると判断される。
車両から視認できない検出対象があると判断された場合、情報提供部407は、処理をステップS805に移行させる。一方、車両から視認できない検出対象がないと判断された場合、情報提供部407は、処理を終了させる。
ステップS805に移行すると、情報提供部407は、車両から視認できない検出対象に関する情報を提供する。
一例として、情報提供部407は、音声出力部408を用いて、車両10から視認できない歩行者110がいることを示す情報(例えば、警報音、音声メッセージ等)を出力する。また、別の一例として、情報提供部407は、車両10から視認できない歩行者110が保持する携帯端末111に、第1の通信制御部401を用いて、車両10から視認できない歩行者110がいることを示す提供情報を送信する。
このように、車載装置100は、車両10の周辺にある1つ以上の検出対象が保持する1つ以上の携帯端末111から第1の信号を受信し、車両10から視認可能な所定の範囲を撮影した画像データから所定の範囲内にある検出対象を検出する。また、車載装置100は、その検出結果と、受信した前記第1の信号とに基づいて、1つ以上の検出対象のうち10車両から視認できない検出対象がある場合、車両10から視認できない検出対象に関する情報を提供する。
これにより、車両10の周辺にある所定の検出対象に関する情報を提供する車載装置100において、車両10から視認できない歩行者110に関する情報を提供することができるようになる。なお、車両10の乗員に車両10から視認できない歩行者がいることを通知する情報、歩行者110が保持する携帯端末111に車両10から視認できないことを通知する情報等は、検出対象に関する情報の一例である。
(第1の信号の受信処理)
図9は、一実施形態に係る第1の信号の受信処理の例を示すフローチャートである。この処理は、図8のステップS801で実行される具体的な処理の一例を示している。
ステップS901において、車載装置100の第1の通信制御部401は、車両10の周辺にいる検出対象(歩行者110)が保持する携帯端末111から送信される第1の信号を受信する。
ステップS902において、車載装置100の端末リスト管理部410は、例えば、図6(a)に示すような端末リスト601に登録されている携帯端末111のうち、圏外となった携帯端末111(第1の信号を受信できない携帯端末111)があるかを判断する。
圏外となった携帯端末111がある場合、端末リスト管理部410は、処理をステップS903に移行させる。一方、圏外となった携帯端末111がない場合、端末リスト管理部410は、処理をステップS905に移行させる。
ステップS903に移行すると、端末リスト管理部410は、圏外となった携帯端末111を、例えば、端末リスト601から削除する。
ステップS904において、端末リスト管理部410は、圏外となった携帯端末111が、図6(b)に示すような検出対象リスト602に登録されている場合、圏外となった携帯端末111に関する情報を、検出対象リスト602から削除する。なお、この処理は、端末リスト管理部410に代えて、検出対象リスト管理部411が、図10に示す処理の中で行うものであっても良い。
ステップS905に移行すると、端末リスト管理部410は、新たに検出された携帯端末111があるか、すなわち、端末リスト601に登録されていない携帯端末111から第1の信号を受信したかを判断する。
新たに検出された携帯端末111がない場合、端末リスト管理部410は、処理を終了させる。一方、新たに検出された携帯端末111がある場合、ステップS906において、端末リスト管理部410は、新たに検出された携帯端末111を端末リスト601に登録する。
上記の処理により、端末リスト管理部410は、端末リスト601に、現在、車両10の周辺にある携帯端末111の情報を記憶し、管理する。
(検出処理)
図10は、一実施形態に係る検出処理の例を示すフローチャートである。この処理は、図8のステップS802で実行される具体的な処理の一例を示している。
ステップS1001において、車載装置100の画像処理部404は、カメラ102により車両10から視認可能な所定の範囲が撮影された画像データを解析し、画像データに含まれる検出対象(歩行者)を検出する。
ステップS1002において、車載装置100の検出対象リスト管理部411は、画像処理部404によって検出された検出対象の情報を用いて、例えば、図6(b)に示すような検出対象リスト602に登録されている追跡中の検出対象の情報を更新する。
例えば、検出対象リスト管理部411は、前述したように、画像処理部404で検出された検出対象の検出座標と、追跡中の検出対象の検出座標との間の距離が所定の距離以内である場合、追跡中の検出対象であると判断し、検出座標、検出時刻等を更新する。
ステップS1003において、検出対象リスト管理部411は、検出対象リスト602に登録されている追跡中の検出対象のうち、検出されなくなった検出対象があるかを判断する。
検出されなくなった検出対象がある場合、検出対象リスト管理部411は、処理をステップS1004に移行させる。一方、検出されなくなった検出対象がない場合、検出対象リスト管理部411は、処理をステップS1005に移行させる。
ステップS1004に移行すると、検出対象リスト管理部411は、検出されなくなった検出対象を、検出対象リスト602から削除する。
ステップS1005に移行すると、検出対象リスト管理部411は、新たに検出された検出対象があるか、すなわち、検出対象リスト602に登録されていない検出対象が新たに検出されたかを判断する。
新たに検出された検出対象がある場合、検出対象リスト管理部411は、処理をステップS1006に移行させる。一方、新たに検出された検出対象がある場合、検出対象リスト管理部411は、処理を終了させる。
ステップS1006に移行すると、車載装置100の算出部405は、新たに検出された検出対象の方向を算出する。例えば、算出部405は、前述したように、記憶部412に予め記憶した対応情報を用いて、検出された検出対象の座標から、検出対象の車両10に対する方向を算出する。
ステップS1007において、車載装置100の第2の通信制御部402は、通信装置101を用いて、算出部405によって算出された方向に対して、S2(第2の無線通信)により、指向性のある要求信号を送信する。
ステップS1008において、検出対象リスト管理部411は、第2の通信制御部402が、所定の時間(例えば、100ms)内に第2の信号を受信したかを判断する。なお、この所定の時間は、例えば、想定される使用条件(例えば、車両10の移動速度や、検出対象の移動速度等)によって、適切な値を実験や計算等により予め決定しておく。
所定の時間内に第2の信号を受信した場合、検出対象リスト管理部411は、処理をステップS1009に移行させる。一方、所定の時間内に第2の信号を受信できない場合、検出対象リスト管理部411は、処理を終了させる。
なお、検出対象リスト管理部411は、通信が不安定な場合を考慮し、ステップS1008で第2の信号を受信できない場合、数回(例えば、3回)リトライをしてから最終判定を行うものであっても良い。
ステップS1009に移行すると、検出対象リスト管理部411は、受信した第2の信号を送信した携帯端末111の情報(例えば、端末ID)が、検出対象リスト602に登録済であるかを判断する。
検出対象リスト602に登録済である場合、検出対象リスト管理部411は、処理を終了させる。一方、検出対象リスト602に登録済でない場合、検出対象リスト管理部411は、ステップS1010において、新たに検出された検出対象を検出対象リスト602に登録する。
なお、ステップS1005において、新たに検出された検出対象が複数ある場合、車載装置100は、新たに検出された検出対象の各々に対して、ステップS1006〜S1010の処理を実行する。
上記の処理により、検出対象リスト管理部411は、検出済(追跡中)の検出対象の情報を、検出対象リスト602に記憶して管理する。これにより、車載装置100は、算出部405による算出処理の対象から、検出済の検出対象を除外することができるようになる。従って、車載装置100の負荷が低減されると共に、車載装置100の処理を高速化することができるようになる。
(判断処理)
図11は、一実施形態に係る判断処理の例を示すフローチャートである。この処理は、図8のステップS803で実行される具体的な処理の例を示している。
図11(a)は、判断部406による判断処理の一例を示している。
ステップS1101において、判断部406は、例えば、図6(a)に示すような端末リスト601に新たに登録され、かつ図6(b)に示すような検出対象リスト602に登録されていない携帯端末111があるかを判断する。
ステップS1102において、判断部406は、該当する携帯端末111があるか否か、すなわち、新たに端末リスト601に登録され、かつ検出対象リスト602に登録されていない携帯端末111があるかを否かに応じて、処理を分岐させる。
該当する携帯端末111がない場合、判断部406は、処理を終了させる(或いは、車両10から視認できない検出対象がないと判断する)。一方、該当する携帯端末111がある場合、判断部406は、処理をステップS1103に移行させる。
ステップS1103に移行すると、判断部406は、該当する携帯端末111を保持する検出対象を、車両10から視認できないと判断する。
上記の処理により、車載装置100は、判断部406による判断処理の対象から、端末リスト601に登録済の携帯端末111を除外することができる。従って、車載装置100の負荷が低減されると共に、車載装置100の処理を高速化することができるようになる。
なお、図11(a)に示す処理は一例であり、判断部406は、端末リスト601、又は検出対象リスト602を用いずに、車両10から視認できない検出対象があるかを判断するものであっても良い。
図11(b)は、判断部406による判断処理の別の一例を示している。
ステップS1111において、判断部406は、第1の通信制御部401が第1の信号を受信し、かつ第2の通信制御部402が第2の信号を受信できない携帯端末111があるかを判断する。
例えば、判断部406は、検出された検出対象の各々に対して、算出部405による算出処理、及び第2の通信制御部402による第2の信号の取得処理を実行させて、第1の信号を受信し、かつ第2の信号を受信できない携帯端末111があるかを判断する。
ステップS1112において、判断部406は、該当する携帯端末111があるか否か、すなわち、第1の信号を受信し、かつ第2の信号を受信できない携帯端末111があるか否かに応じて、処理を分岐させる。
該当する携帯端末111がない場合、判断部406は、処理を終了させる(或いは、車両10から視認できない検出対象がないと判断する)。一方、該当する携帯端末111がある場合、判断部406は、処理をステップS1113に移行させる。
ステップS1113に移行すると、判断部406は、該当する携帯端末111を保持する検出対象を、車両10から視認できないと判断する。
上記の処理において、判断部406は、第1の信号に含まれる端末IDにより、例えば、車両10の周辺にいる歩行者110が保持する携帯端末111を特定することができる。また、判断部406は、画像処理部404が検出した歩行者のうち、携帯端末111を保持する歩行者110、すなわち、車両10から視認可能な検出対象が保持する携帯端末111を、第2の信号に含まれる端末IDにより特定することができる。
従って、判断部406は、第1の通信制御部401が受信した第1の信号と、第2の通信制御部402が受信した第2の信号とを用いて、車両10の周辺にいる歩行者110を視認可能であるか否かを、上記の処理により、正しく判断することができるようになる。
具体的には、判断部406は、第1の信号を受信し、かつ第2の信号を受信できない携帯端末111を保持する検出対象を、車両10から視認できないと判断することにより、車両10の周辺にある視認できない検出対象を正しく判断することができるようになる。
(携帯端末に対する情報提供処理)
図12は、一実施形態に係る携帯端末に対する情報提供処理の例を示すフローチャートである。
図12(a)は、情報提供部407による、携帯端末111に対する情報提供処理の例を示すフローチャートである。この処理は、図8のステップS805で実行される処理の具体的な一例を示している。
ステップS1201において、情報提供部407は、車両10から視認できないと判断された検出対象が所持する携帯端末111を特定する。
ステップS1202において、情報提供部407は、ステップS1201で特定された携帯端末111の端末情報(例えば、端末ID)を取得する。
ステップS1203において、情報提供部407は、ステップS1202で端末情報を取得した携帯端末111に対して、車両10から視認できないことを示す提供情報を送信する。例えば、情報提供部407は、ステップS1202で取得した端末IDを有する携帯端末111に対して、第1の通信部421を用いて、提供情報を送信する。
(携帯端末の処理)
図12(b)は、携帯端末111の処理の例を示している。この処理は、図8に示す車載装置100の処理に対応する、携帯端末111側の処理の例を示している。
ステップS1211において、携帯端末111の通信制御部431は、無線部432を用いて、携帯端末111の端末IDを含む第1の信号を継続的に送信しているものとする。
ステップS1212において、携帯端末111の通信制御部431は、車載装置100から送信される要求信号を受信したか否かを判断する。
車載装置100から送信される要求信号を受信した場合、携帯端末111の通信制御部431は、処理をステップS1213に移行させる。
ステップS1213に移行すると、携帯端末111の通信制御部431は、要求信号を送信した車載装置100に対して、携帯端末111の端末IDを含む第2の信号を送信する。
ステップS1214において、携帯端末111の警報制御部433は、通信制御部431が第2の信号を送信した後、所定の時間内に提供情報を受信したかを判断する。所定の時間内に提供情報を受信できない場合、警報制御部433は、処理を終了させる。一方、所定の時間内に提供情報を受信した場合、警報制御部433は、処理をステップS1215に移行させる。
ステップS1215に移行すると、警報制御部433は、予め定められた警報処理を実行する。例えば、警報制御部433は、予め定められた警報音や、音声メッセージ、或いはバイブレータによる振動パターン等により、携帯端末111を保持する歩行者110に、車両10から視認できないことを通知する。なお、これらの処理は一例であり、携帯端末111による警報処理の内容は、携帯端末111にインストールされているアプリケーションプログラムによって決定される任意の処理内容であって良い。
(車両の乗員に対する情報提供処理)
車載装置100の情報提供部407は、図8のステップS804において、車両10から視認できない検出対象があると判断された場合、ステップS805において、車両10から視認できない検出対象があることを示す提供情報を、車両の乗員に提供する。
好ましくは、情報提供部407は、車両10から視認できない歩行者110が保持する携帯端末111の端末情報に対応する、車両10から視認できないことを示す提供情報を、車両の乗員に提供する。
図13は、一実施形態に係る車両の乗員に対する情報提供処理の例を示す図である。この処理は、情報提供部407が、車両10から視認できない歩行者110が保持する携帯端末111の端末情報に対応する、車両10から視認できないことを示す提供情報、車両の乗員に提供する場合の処理の例を示している。
ステップS1301において、情報提供部407は、車両10から視認できない検出対象が所持する携帯端末111を特定する。
ステップS1302において、情報提供部407は、ステップS1201で特定された携帯端末111の端末情報を取得する。例えば、情報提供部407は、図6(a)に示すような端末リスト601から、ステップS1201で特定された携帯端末111の端末情報(例えば、端末種別、位置情報等)を取得する。
なお、携帯端末111の端末種別は、「歩行者端末」に限られず、例えば、児童が保持している携帯端末111であることを示す「児童端末」、自転車に装着されている携帯端末111であることを示す「自転車端末」等、1つ以上の端末種別が含まれていても良い。
ステップS1303において、情報提供部407は、ステップS1302で取得した端末情報に対応する、車両10から視認できない検出対象の情報を提供する。例えば、情報提供部407は、図13(b)に示すように、携帯端末111の端末種別によって異なる音声メッセージや、警報音を、音声出力部408を用いて出力する。
図13(b)の例では、情報提供部407は、ステップS1302で取得した端末種別が「歩行者端末」である場合、音声メッセージ「見えない所に歩行者がいます」や、警報音1を出力させることが示されている。同様に、情報提供部407は、ステップS1302で取得した端末種別が「児童端末」である場合、音声メッセージ「見えない所に子供がいます」や、警報音2を出力させることが示されている。さらに、情報提供部407は、ステップS1302で取得した端末種別が「自転車端末」である場合、音声メッセージ「見えない所に自転車がいます」や、警報音3を出力させることが示されている。
このように、本実施形態に係る情報提供システム1は、携帯端末111を保持する歩行者110に限られず、携帯端末111を保持する特定の歩行者や、所定の端末を装着した所定の物体(例えば、バイク、自転車、車椅子等)を検出対象とすることもできる。
図13(c)は、情報提供部407が、表示装置414等に表示させる表示画面の一例を示している。図13(c)の例では、情報提供部407は、ステップS1302で取得した端末情報に含まれる位置情報を用いて、車両10から視認できない歩行者110がいることを示す歩行者アイコン1311や、概略の位置を示す表示要素1312等を表示させている。
また、情報提供部407は、図13(a)のステップS1302で取得した端末情報に含まれる端末種別を用いて、車両10から視認できない検出対象に対応するアイコン(歩行者アイコン、子供アイコン、自転車アイコン等)を表示させるものであっても良い。
このように、車載装置100の情報提供部407は、検出対象が保持する携帯端末111の端末情報に応じて、異なる提供情報を提供することができる。
なお、携帯端末111から受信する第1の信号には、位置情報が含まれていない場合や、位置情報の精度が良くない場合等がある。このような場合でも、本実施形態に係る車載装置100は、車両10から視認できない検出対象を検出し、車両10から視認できない検出対象に関する情報を提供することができるようになる。
[応用例]
以上、本発明の実施形態について説明したが、本発明は上記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、様々な変形や変更が可能である。
例えば、携帯端末111は、全ての場所で第1の信号を送信するのではなく、予め登録された場所(例えば、過去の統計データから危険と判断された場所等)で第1の信号を送信するものであっても良い。
また、車両10の乗員が保持している携帯端末111は、車両10内に入った場合に、第1の信号の送信を停止する、或いは、端末種別を変更する機能を有していることが望ましい。
このような処理により、携帯端末111、及び車載装置100の負荷を低減させることができると共に、車載装置100による情報提供処理の確度を向上させることができるようになる。
また、例えば、図2(a)に示すようなカメラ102の撮影範囲202には、車両10を運転する運転者から見えにくい部分が含まれる場合がある。このような場合、車載装置100は、カメラ102の撮影範囲202のうち、運転者から見えにくい座標範囲を、検出対象の検出範囲から除外するものであっても良い。
さらに、携帯端末111が精度の高い位置情報を含む第1の信号を送信するシステムでは、車載装置100は、撮影した画像データの携帯端末111の位置に対応する領域を解析し、検出対象が検出された場合、検出対象を視認できると判断するものであっても良い。
1 情報提供システム
10 車両
100 車載装置(情報処理装置)
110 歩行者(検出対象の一例)
111 携帯端末(端末)
401 第1の通信制御部
402 第2の通信制御部
404 画像処理部(検出部)
405 算出部
406 判断部
407 情報提供部
410 端末リスト管理部(第2のリスト管理部)
411 検出対象リスト管理部(第1のリスト管理部)
601 端末リスト(第2のリスト)
602 検出対象リスト(第1のリスト)

Claims (11)

  1. 車両に搭載される情報処理装置であって、
    前記車両の周辺にある1つ以上の検出対象が保持する1つ以上の端末から第1の信号を受信する第1の通信制御部と、
    前記車両から視認可能な所定の範囲を撮影した画像データから前記所定の範囲内にある前記検出対象を検出する検出部と、
    前記検出部による検出結果と、前記第1の通信制御部が受信した前記第1の信号とに基づいて、前記1つ以上の検出対象が前記車両から視認できるか否かを判断する判断部と、
    前記1つ以上の検出対象に前記車両から視認できない検出対象が含まれる場合、前記車両から視認できない検出対象に関する情報を提供する情報提供部と、
    を有する、情報処理装置。
  2. 前記検出部が検出した前記検出対象の前記車両に対する方向を算出する算出部と、
    前記算出部が算出した前記方向に対して指向性のある通信を行い、前記方向にある前記端末から第2の信号を取得する第2の通信制御部と、
    を有し、
    前記判断部は、前記第1の通信制御部が受信した前記第1の信号と、前記第2の通信制御部が取得した前記第2の信号とを用いて、前記1つ以上の検出対象が前記車両から視認できるか否かを判断する、請求項1に記載の情報処理装置。
  3. 前記判断部は、前記第1の通信制御部が前記第1の信号を受信した前記端末のうち、前記第2の通信制御部が前記第2の信号を受信できない端末を保持する前記検出対象を、前記車両から視認できないと判断する、請求項2に記載の情報処理装置。
  4. 前記第1の通信制御部が前記第1の信号を受信した前記端末のうち、前記第2の通信制御部が前記第2の信号を受信した端末の情報、及び該端末を保持する検出対象の情報を記憶する第1のリストを管理する第1のリスト管理部を有し、
    前記算出部は、前記検出部が検出した前記検出対象のうち、前記第1のリストに記憶されている検出対象を、前記方向の算出の対象から除外する、請求項2に記載の情報処理装置。
  5. 前記第1の通信制御部が前記第1の信号を受信した前記端末の情報を記憶した第2のリストを管理する第2のリスト管理部を有し、
    前記判断部は、前記第2のリストに新たに登録され、かつ前記第1のリストに登録されていない前記端末を保持する前記検出対象を、前記車両から視認できないと判断する、請求項4に記載の情報処理装置。
  6. 前記第1の信号は、前記端末を識別する識別情報を含み、
    前記情報提供部は、前記1つ以上の検出対象に前記車両から視認できない検出対象が含まれる場合、前記第1の通信制御部が前記第1の信号を受信し、かつ前記第2の通信制御部が前記第2の信号を受信していない前記端末に対して、前記車両から視認できないことを示す情報を送信する、請求項2乃至5のいずれか一項に記載の情報処理装置。
  7. 前記情報提供部は、前記1つ以上の検出対象に前記車両から視認できない検出対象が含まれる場合、前記車両の乗員に、前記車両から視認できない検出対象があることを示す情報を提供する、請求項2乃至6のいずれか一項に記載の情報処理装置。
  8. 前記第1の信号は、前記端末の端末情報を含み、
    前記情報提供部は、前記車両から視認できない検出対象が保持する前記端末の前記端末情報に対応する、前記車両から視認できない検出対象があることを示す情報を提供する、請求項7に記載の情報処理装置。
  9. 車両の周辺にある検出対象に関する情報を提供する情報提供システムであって、
    前記車両の周辺にある1つ以上の検出対象が保持する1つ以上の端末から第1の信号を受信する第1の通信制御部と、
    前記車両から視認可能な所定の範囲を撮影した画像データから前記所定の範囲内にある前記検出対象を検出する検出部と、
    前記検出部による検出結果と、前記第1の通信制御部が受信した前記第1の信号とに基づいて、前記1つ以上の検出対象が前記車両から視認できるか否かを判断する判断部と、
    前記1つ以上の検出対象に前記車両から視認できない検出対象が含まれる場合、前記車両から視認できない検出対象に関する情報を提供する情報提供部と、
    を有する、情報提供システム。
  10. 車両に搭載される情報処理装置による情報提供方法であって、
    前記情報処理装置が、
    前記車両の周辺にある1つ以上の検出対象が保持する1つ以上の端末から第1の信号を受信するステップと、
    前記車両から視認可能な所定の範囲を撮影した画像データから前記所定の範囲内にある前記検出対象を検出するステップと、
    前記検出するステップによる検出結果と、前記第1の信号を受信するステップで受信した前記第1の信号とに基づいて、前記1つ以上の検出対象が前記車両から視認できるか否かを判断するステップと、
    前記1つ以上の検出対象に前記車両から視認できない検出対象が含まれる場合、前記車両から視認できない検出対象に関する情報を提供するステップと、
    を実行する、情報提供方法。
  11. 車両に搭載される情報処理装置に、
    前記車両の周辺にある1つ以上の検出対象が保持する1つ以上の端末から第1の信号を受信するステップと、
    前記車両から視認可能な所定の範囲を撮影した画像データから前記所定の範囲内にある前記検出対象を検出するステップと、
    前記検出するステップによる検出結果と、前記第1の信号を受信するステップで受信した前記第1の信号とに基づいて、前記1つ以上の検出対象が前記車両から視認できるか否かを判断するステップと、
    前記1つ以上の検出対象に前記車両から視認できない検出対象が含まれる場合、前記車両から視認できない検出対象に関する情報を提供するステップと、
    を実行させるためのプログラム。
JP2017176119A 2017-09-13 2017-09-13 情報処理装置、情報提供システム、情報提供方法、及びプログラム Active JP6933065B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017176119A JP6933065B2 (ja) 2017-09-13 2017-09-13 情報処理装置、情報提供システム、情報提供方法、及びプログラム
US16/046,472 US10733461B2 (en) 2017-09-13 2018-07-26 Information processing device, information providing system, and information providing method
CN201810886275.8A CN109493641B (zh) 2017-09-13 2018-08-06 信息处理装置、信息提供***和信息提供方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017176119A JP6933065B2 (ja) 2017-09-13 2017-09-13 情報処理装置、情報提供システム、情報提供方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019053438A true JP2019053438A (ja) 2019-04-04
JP6933065B2 JP6933065B2 (ja) 2021-09-08

Family

ID=65631267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017176119A Active JP6933065B2 (ja) 2017-09-13 2017-09-13 情報処理装置、情報提供システム、情報提供方法、及びプログラム

Country Status (3)

Country Link
US (1) US10733461B2 (ja)
JP (1) JP6933065B2 (ja)
CN (1) CN109493641B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022123691A (ja) * 2021-02-12 2022-08-24 パナソニックIpマネジメント株式会社 車両、及び、制御装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10752218B2 (en) * 2018-02-22 2020-08-25 Ford Global Technologies, Llc Camera with cleaning system
JP7203902B2 (ja) * 2021-06-08 2023-01-13 本田技研工業株式会社 制御装置、移動体、制御方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046426A (ja) * 2002-07-10 2004-02-12 Honda Motor Co Ltd 車両用警告システム
JP2008176459A (ja) * 2007-01-17 2008-07-31 Matsushita Electric Ind Co Ltd 警戒対象検出装置および警戒対象検出装置を用いた交通安全支援システム
US20130127638A1 (en) * 2010-05-04 2013-05-23 Cameron Harrison Cyclist Proximity Warning System
JP2015032312A (ja) * 2013-08-02 2015-02-16 本田技研工業株式会社 歩車間通信システムおよび方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4007899B2 (ja) * 2002-11-07 2007-11-14 オリンパス株式会社 運動検出装置
JP4412337B2 (ja) * 2007-03-08 2010-02-10 トヨタ自動車株式会社 周囲環境推定装置及び周囲環境推定システム
JP4945394B2 (ja) 2007-09-28 2012-06-06 日産自動車株式会社 現在位置情報通知システム、携帯端末装置、センタ装置及び現在位置情報通知方法
JP2012048537A (ja) 2010-08-27 2012-03-08 Toyota Infotechnology Center Co Ltd 車両接近報知システム
US9467687B2 (en) * 2012-07-03 2016-10-11 Clarion Co., Ltd. Vehicle-mounted environment recognition device
US9505412B2 (en) * 2013-08-02 2016-11-29 Honda Motor Co., Ltd. System and method for detection and utilization of driver distraction level
DE102014201161A1 (de) * 2014-01-23 2015-07-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines blinden Bereichs einer Kamera
DE102014220654A1 (de) * 2014-10-13 2016-04-14 Robert Bosch Gmbh Verfahren zum Reagieren auf eine Umfeldsituation eines Kraftfahrzeugs
JP6343244B2 (ja) 2015-03-16 2018-06-13 パナソニック株式会社 車載端末装置及び歩車間通信システム及び軌跡表示方法
CN106022266A (zh) * 2016-05-20 2016-10-12 北京格灵深瞳信息技术有限公司 一种目标跟踪方法及装置
US11272426B2 (en) * 2017-05-26 2022-03-08 Qualcomm Incorporated Techniques for directional discovery in millimeter wave communications system
JP7143661B2 (ja) * 2018-07-24 2022-09-29 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046426A (ja) * 2002-07-10 2004-02-12 Honda Motor Co Ltd 車両用警告システム
JP2008176459A (ja) * 2007-01-17 2008-07-31 Matsushita Electric Ind Co Ltd 警戒対象検出装置および警戒対象検出装置を用いた交通安全支援システム
US20130127638A1 (en) * 2010-05-04 2013-05-23 Cameron Harrison Cyclist Proximity Warning System
JP2015032312A (ja) * 2013-08-02 2015-02-16 本田技研工業株式会社 歩車間通信システムおよび方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022123691A (ja) * 2021-02-12 2022-08-24 パナソニックIpマネジメント株式会社 車両、及び、制御装置
JP7281787B2 (ja) 2021-02-12 2023-05-26 パナソニックIpマネジメント株式会社 車両、及び、制御装置

Also Published As

Publication number Publication date
US10733461B2 (en) 2020-08-04
CN109493641A (zh) 2019-03-19
CN109493641B (zh) 2022-03-04
US20190080182A1 (en) 2019-03-14
JP6933065B2 (ja) 2021-09-08

Similar Documents

Publication Publication Date Title
KR102263395B1 (ko) 외부 이동 수단의 움직임과 관련된 데이터에 기반하여, 식별 정보가 변경된 외부 이동 수단을 확인하는 전자 장치 및 그 동작 방법
KR102464898B1 (ko) 차량과 관련된 영상 정보를 공유하는 방법 및 장치
KR101876010B1 (ko) 스마트폰 위치 결정 시스템 및 방법
JP6468062B2 (ja) 物体認識システム
CN113660611B (zh) 定位方法和装置
CN110795523B (zh) 车辆定位方法、装置以及智能车辆
US20180109915A1 (en) Systems, methods and devices for virtual fencing
JP6826940B2 (ja) 電子機器、路側機、動作方法および制御プログラムならびに交通システム
EP3185041B1 (en) Information processing apparatus and information processing system
CN110751854B (zh) 汽车的停车指引方法、装置及存储介质
JP2012505383A (ja) ナビゲーション装置及び画像データを記録する方法
US20140256258A1 (en) Parked vehicle locating smartphone application
CN109493641B (zh) 信息处理装置、信息提供***和信息提供方法
CN113386785B (zh) 用于显示增强现实警示信息的方法和装置
US20190286928A1 (en) Mobile micro-location
US10043391B2 (en) Fine grained location-based services
CN114333404A (zh) 一种停车场寻车方法、装置、车辆及存储介质
JP2020030532A (ja) 制御装置及びプログラム
CN112833880A (zh) 车辆定位方法、定位装置、存储介质及计算机程序产品
Sontakke et al. Crash notification system for portable devices
US20190143926A1 (en) Vehicle management system, inspection information transmission system, information management system, vehicle management program, inspection information transmission program, and information management program
CN111311919B (zh) 服务器、车载装置、非易失性存储介质、信息提供***、提供信息的方法,以及车辆
JP2014143477A (ja) 撮像システム
US20220084404A1 (en) System and Method for Smartphone Communication During Vehicle Mode
CN113015094A (zh) 设备定位方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210802

R151 Written notification of patent or utility model registration

Ref document number: 6933065

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151