JP6555413B2 - 移動体周囲表示方法及び移動体周囲表示装置 - Google Patents

移動体周囲表示方法及び移動体周囲表示装置 Download PDF

Info

Publication number
JP6555413B2
JP6555413B2 JP2018511838A JP2018511838A JP6555413B2 JP 6555413 B2 JP6555413 B2 JP 6555413B2 JP 2018511838 A JP2018511838 A JP 2018511838A JP 2018511838 A JP2018511838 A JP 2018511838A JP 6555413 B2 JP6555413 B2 JP 6555413B2
Authority
JP
Japan
Prior art keywords
attention
range
image
virtual image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018511838A
Other languages
English (en)
Other versions
JPWO2017179174A1 (ja
Inventor
草柳　佳紀
佳紀 草柳
拓良 柳
柳　　拓良
渡辺　省吾
省吾 渡辺
則政 岸
則政 岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of JPWO2017179174A1 publication Critical patent/JPWO2017179174A1/ja
Application granted granted Critical
Publication of JP6555413B2 publication Critical patent/JP6555413B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、移動体周囲表示方法及び移動体周囲表示装置に関する。
従来より、車両進行方向の注意対象物を検出し、検出した注意対象物を運転者に知らせる技術が知られている。特許文献１では、検出した注意対象物をヘッドアップディスプレイに表示する。
特開２００１−２３０９１号公報
しかしながら、特許文献１では、注意対象物をアイコン化してヘッドアップディスプレイに表示するため、注意対象物の属性（高齢者か子どもか）や視線方向など普段の運転において乗員が経験的に取得している情報が失われるおそれがある。
本発明は、上記問題に鑑みて成されたものであり、その目的は、乗員に対し注意を促したい情報を詳細に知らせることができる移動体周囲表示方法及び移動体周囲表示装置を提供することである。
本発明の一態様に係る移動体周囲表示方法は、撮像により移動体の周囲情報を取得し、取得した周囲情報による撮像画像と移動体の周囲状況を表す仮想画像を作成し、移動体の周囲において注意範囲を検出し、検出した注意範囲の撮像画像を作成し、注意範囲の撮像画像をディスプレイに表示する。
本発明によれば、注意範囲の撮像画像をディスプレイに表示するため、乗員に対し注意を促したい情報を詳細に知らせることができる。
図１は、本発明の第１実施形態に係る移動体周囲表示装置の構成図である。 図２（ａ）、図２（ｂ）は、本発明の第１実施形態に係る仮想画像とカメラ画像の合成の一例について説明する図である。 図３（ａ）、図３（ｂ）及び図３（ｃ）は、本発明の第１実施形態に係る仮想画像とカメラ画像の合成の他の例について説明する図である。 図４（ａ）、図４（ｂ）及び図４（ｃ）は、本発明の第１実施形態に係る仮想画像とカメラ画像の合成のさらに他の例について説明する図である。 図５は、本発明の第１実施形態に係る仮想画像とカメラ画像の合成のさらに他の例について説明する図である。 図６は、本発明の第１実施形態に係る移動体周囲表示装置の動作例を説明するフローチャートである。 図７は、本発明の第２実施形態に係る移動体周囲表示装置の構成図である。 図８は、本発明の第２実施形態に係る仮想画像とカメラ画像の合成について説明する図である。 図９は、本発明の第２実施形態に係る仮想画像とカメラ画像の合成の一例について説明する図である。 図１０は、本発明の第２実施形態に係る仮想画像とカメラ画像の合成の他の例について説明する図である。 図１１は、本発明の第２実施形態に係る移動体周囲表示装置の動作例を説明するフローチャートである。 図１２は、本発明の第３実施形態に係る移動体周囲表示装置の構成図である。 図１３は、本発明の第３実施形態に係る仮想画像とカメラ画像の合成の一例について説明する図である。 図１４は、本発明の第３実施形態に係る仮想画像とカメラ画像の合成の他の例について説明する図である。 図１５は、本発明の第３実施形態に係る仮想画像とカメラ画像の合成のさらに他の例について説明する図である。 図１６は、本発明の第３実施形態に係る移動体周囲表示装置の動作例を説明するフローチャートである。
以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。
［第１実施形態］
図１を参照して第１実施形態に係る移動体周囲表示装置１について説明する。図１に示すように、移動体周囲表示装置１は、環境検出部１０と、フロントカメラ２０と、ライトカメラ２１と、レフトカメラ２２と、リアカメラ２３と、コントローラ４０、ディスプレイ５０とを備える。なお、移動体周囲表示装置１は、主に自動運転機能を備える自動運転車両に用いられる装置である。
環境検出部１０は、自車周囲の環境を検出する装置であって、例えばレーザレンジファインダーである。レーザレンジファインダーは、自車周囲（例えば３０ｍ以内）に存在する障害物（歩行者、自転車、二輪車、他車両など）を検出する。また、環境検出部１０として、赤外線センサや超音波センサなどを用いてもよく、これらを組合せて構成してもよい。また、環境検出部１０として、後述するフロントカメラ２０やリアカメラ２３などを含むように構成してもよく、別のカメラを含むように構成してもよい。また、環境検出部１０は、ＧＰＳ受信機を含むように構成してもよい。環境検出部１０は、ＧＰＳ受信機で受信した自車位置情報をクラウドに送信し、クラウドから自車周囲の地図情報を取得することができる。環境検出部１０は、検出した環境情報をコントローラ４０に出力する。さらに加えて、環境検出部１０は、必ずしも自車両に設けられている必要はなく、車外に備えたセンサが検出したデータを、無線通信により取得するようにしてもよい。つまりは、環境検出部１０は、他車両との無線通信（車車間通信）や、障害物、交差点との無線通信（路車間通信）により、自車周囲の環境を検出するようにしてもよい。
フロントカメラ２０、ライトカメラ２１、レフトカメラ２２、リアカメラ２３は、それぞれＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）やＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有したカメラである。以下の説明において、フロントカメラ２０、ライトカメラ２１、レフトカメラ２２、リアカメラ２３の４つカメラをまとめて「車両カメラ２０〜２３」と記載する。車両カメラ２０〜２３は、それぞれ自車両の前方、右側方、左側方、後方を撮像することにより自車周囲の情報を取得し、取得した周囲情報をコントローラ４０に出力する。
コントローラ４０は、環境検出部１０と車両カメラ２０〜２３から取得した情報を処理する回路であり、例えばＩＣ、ＬＳＩ等により構成される。コントローラ４０は、これを機能的に捉えた場合、仮想画像作成部４１と、運転シーン判定部４２と、注意範囲特定部４３と、記憶部４４と、カメラ画像作成部４５と、合成部４６とに分類することができる。
仮想画像作成部４１は、環境検出部１０から取得した情報を用いて、自車両の周囲状況を表す仮想画像を作成する。第１実施形態において仮想画像とは、例えば地形情報、障害物情報、標識情報などを３ＤマッピングしたＣＧ画像であり、後述するカメラ画像とは異なるものである。仮想画像作成部４１は、作成した仮想画像を合成部４６に出力する。
運転シーン判定部４２は、環境検出部１０から取得した情報を用いて、現在の運転シーンを判定する。運転シーン判定部４２が判定する運転シーンは、例えば、通常の走行シーン、駐車シーン、高速道路での合流シーン、交差点への進入シーンなどである。運転シーン判定部４２は、判定した運転シーンを注意範囲特定部４３に出力する。
注意範囲特定部４３は、運転シーン判定部４２によって判定された運転シーンに基づいて、乗員に注意を促したい箇所（以下、注意範囲という）を特定する。より詳しくは、注意範囲特定部４３は、記憶部４４に記憶されているデータベースを用いて注意範囲を特定する。注意範囲については後述するが、例えば、並列駐車シーンでは旋回内側後輪付近から自車後方に渡り、自車右側前方までの領域であり、縦列駐車シーンでは、前輪、及び後輪を含む自車周辺の領域である。記憶部４４には運転シーンに応じた注意範囲が予め記憶されている。注意範囲特定部４３は、特定した注意範囲をカメラ画像作成部４５と合成部４６に出力する。
カメラ画像作成部４５は、車両カメラ２０〜２３から取得した情報を用いて、注意範囲特定部４３によって特定された注意範囲のカメラ画像（撮像画像）を作成する。カメラ画像作成部４５は、作成したカメラ画像を合成部４６に出力する。なお、本実施形態では、撮像画像として車両カメラを用いているが、車両カメラの種類としては特に限定されることはなく、カラーカメラ、モノクロカメラ、赤外線カメラ、電波カメラなどカメラであればよい。
合成部４６は、仮想画像上の注意範囲をカメラ画像に置き換える。そして、合成部４６は、合成した画像をディスプレイ５０に出力する。
ディスプレイ５０は、例えばインストルメントパネルに搭載される液晶ディスプレイやカーナビゲーション装置に用いられる液晶ディスプレイであり、乗員に各種情報を表示する。
次に、図２〜図５を参照して、各種運転シーンにおけるカメラ画像の合成例を説明する。
図２（ａ）に示す運転シーンは、自車両Ｍ１が他車両Ｍ２と他車両Ｍ３との間に並列駐車するシーンである。並列駐車の場合、注意範囲は、領域Ｒに示すように旋回内側後輪付近から自車後方に渡り、自車右側前方までの領域で、自車両Ｍ１が進行する可能性が有る範囲である。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、カメラ画像作成部４５は、領域Ｒのカメラ画像を作成する。そして、合成部４６は、仮想画像Ｐ上の領域Ｒをカメラ画像で置き換える。これにより、ディスプレイ５０は、乗員に注意を促したい領域Ｒをカメラ画像、すなわち実撮像画像で表示する。これにより、乗員は、領域Ｒの詳細な情報を知ることができる。
次に、図２（ｂ）を参照して、自車両Ｍ１が他車両Ｍ２と他車両Ｍ３との間に縦列駐車する運転シーンを説明する。縦列駐車の場合、注意範囲は、領域Ｒに示すように前輪、及び後輪を含む自車周辺の領域である。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、カメラ画像作成部４５は、領域Ｒのカメラ画像を作成する。その後の処理は、図２（ａ）の内容と同じであるため説明を省略する。
次に、図３（ａ）を参照して、自車両Ｍ１が狭路走行中に他車両Ｍ２との接触を回避するために左寄せを行う運転シーンを説明する。狭路における左寄せの場合、注意範囲は、領域Ｒに示すように自車前方及び左側方の領域である。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、カメラ画像作成部４５は、領域Ｒのカメラ画像を作成する。その後の処理は、図２（ａ）の内容と同じであるため説明を省略する。加えて、注意範囲特定部４３は、他車両Ｍ２とのすれ違いの際に、他車両Ｍ２との距離が近くなる領域を注意範囲として特定するようにしてもよい。
次に、図３（ｂ）を参照して、自車両Ｍ１が狭路走行中に駐停車している他車両Ｍ３を避けて走行するＳ字走行シーンを説明する。狭路におけるＳ字走行の場合、注意範囲は、領域Ｒに示すように他車両Ｍ３の左右両側方及びタイヤの接地位置を含む自車前方の領域である。なお、領域Ｒには対向車両の他車両Ｍ２が含まれてもよい。また、注意範囲特定部４３は、駐車車両を避けるために走行する領域で、対向車両が走行する領域を注意範囲として設定するようにしてもよい。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、カメラ画像作成部４５は、領域Ｒのカメラ画像を作成する。その後の処理は、図２（ａ）の内容と同じであるため説明を省略する。
次に、図３（ｃ）を参照して、電柱Ｔなどの存在により自車両Ｍ１が狭路走行中に最も狭い場所（以下、最狭部という）を通過する運転シーンを説明する。最狭部を通過する場合、注意範囲は、領域Ｒに示すように最狭部の幅員（他車両Ｍ２と電柱Ｔとの間の幅員）を含む自車前方の領域である。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、カメラ画像作成部４５は、領域Ｒのカメラ画像を作成する。その後の処理は、図２（ａ）の内容と同じであるため説明を省略する。
次に、図４（ａ）を参照して、自車両Ｍ１が高速道路で合流する際に後続する他車両Ｍ２が存在する運転シーンを説明する。このような運転シーンにおける注意範囲は、領域Ｒに示すように自車右側方から後方の領域である。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、カメラ画像作成部４５は、領域Ｒのカメラ画像を作成する。その後の処理は、図２（ａ）の内容と同じであるため説明を省略する。なお、図４（ａ）に示す運転シーンにおいて、注意範囲は、自車右ドアミラーに映る範囲としてもよい。
次に、図４（ｂ）を参照して、自車両Ｍ１が高速道路で合流する際に先行する他車両Ｍ３が存在する運転シーンを説明する。このような運転シーンにおける注意範囲は、領域Ｒに示すように自車右側方から前方の領域である。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、カメラ画像作成部４５は、領域Ｒのカメラ画像を作成する。その後の処理は、図２（ａ）の内容と同じであるため説明を省略する。
次に、図４（ｃ）を参照して、自車両Ｍ１が高速道路で合流する際に後続する他車両Ｍ２と先行する他車両Ｍ３が存在する運転シーンを説明する。このような運転シーンにおける注意範囲は、領域Ｒに示すように自車右側方から前方及び後方の領域である。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、カメラ画像作成部４５は、領域Ｒのカメラ画像を作成する。その後の処理は、図２（ａ）の内容と同じであるため説明を省略する。
次に、図５を参照して、自車両Ｍ１が交差点を左折する運転シーンを説明する。交差点を左折する場合、注意範囲は、領域Ｒに示すように自車両Ｍ１の進行方向（左折方向）を含む交差点全体の領域である。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、カメラ画像作成部４５は、領域Ｒのカメラ画像を作成する。その後の処理は、図２（ａ）の内容と同じであるため説明を省略する。
次に、図６に示すフローチャートを参照して、移動体周囲表示装置１の一動作例について説明する。このフローチャートは、例えばイグニッションスイッチがオンされたときに開始する。
ステップＳ１０１において、環境検出部１０及び車両カメラ２０〜２３は、自車周囲の情報を取得する。
ステップＳ１０２において、仮想画像作成部４１は、自車周囲の情報を用いて仮想画像を作成する。
ステップＳ１０３において、運転シーン判定部４２は、自車周囲の情報を用いて運転シーンを判定する。
ステップＳ１０４において、注意範囲特定部４３は、運転シーン判定部４２によって判定された運転シーンから記憶部４４のデータベースを用いて注意範囲を特定する。
ステップＳ１０５において、カメラ画像作成部４５は、注意範囲特定部４３によって特定された注意範囲のカメラ画像を作成する。
ステップＳ１０６において、合成部４６は、仮想画像上の注意範囲をカメラ画像で置き換える。
ステップＳ１０７において、コントローラ４０は、合成部４６によって合成された合成画像をディスプレイ５０に表示する。
以上説明したように、第１実施形態に係る移動体周囲表示装置１によれば、以下の作用効果が得られる。
移動体周囲表示装置１は、まず自車周囲の情報を用いて仮想画像を作成する。次に移動体周囲表示装置１は、運転シーンから注意範囲を特定し、特定した注意範囲のカメラ画像を作成する。そして、移動体周囲表示装置１は、仮想画像上の注意範囲をカメラ画像で置き換えてディスプレイ５０に表示する。これにより、乗員は、注意範囲の詳細な情報を知ることができる。
なお、移動体周囲表示装置１は、主に自動運転機能を備える自動運転車両に用いられる装置であると説明したが、自動運転中において乗員に多くの情報を与えると、乗員は煩わしさを感じするおそれがある。しかし、移動体周囲表示装置１は、注意範囲以外は仮想画像で表示するため、乗員に与える情報を少なくできる。これにより、移動体周囲表示装置１は、乗員が感じる煩わしさを低減することができる。このように、移動体周囲表示装置１は、注意範囲をカメラ画像で表示し、注意範囲以外の領域を仮想画像で表示することにより、乗員に注意させたい領域（注意範囲）では乗員に詳細な情報を与えつつ、注意範囲以外の領域では無駄な情報を抑制できるようになる。これにより、乗員は、必要な情報だけを正確に把握できるようになる。
注意範囲は、図２〜５で説明したように高速道路の合流地点のような道路上における車両同士が交錯する箇所であり、また交差点のような車両と人が交錯する箇所である。このような場所は、乗員に注意を促したい場所である。移動体周囲表示装置１は、仮想画像上の注意範囲をカメラ画像に置き換えて表示することにより、注意範囲の詳細な情報を乗員に知らせることができる。
［第２実施形態］
次に、図７を参照して、本発明の第２実施形態に係る移動体周囲表示装置２について説明する。図７に示すように第２実施形態が第１実施形態と相違する点は、移動体周囲表示装置２が、物体検出部６０と注意対象物特定部４７とを備える一方、運転シーン判定部４２、注意範囲特定部４３、及び記憶部４４を省略した点である。第１実施形態と重複する構成については符号を引用してその説明は省略することとし、以下、相違点を中心に説明する。
物体検出部６０は、自車周囲に存在する物体を検出する物体検出センサであって、自車両の走行経路の周辺に存在する物体を検出する。物体検出部６０としては、例えば、レーダセンサを用いることができる。物体検出部６０が検出する物体は、例えば、他車両、バイク、歩行者、自転車などの移動体や信号機や標識などである。なお、物体検出部６０として、レーダセンサ以外のセンサであってもよく、カメラの撮像画像を用いた画像認識センサでもよい。また、物体検出部６０として、レーザセンサや超音波センサなどを用いてもよい。物体検出部６０は、検出した物体情報を注意対象物特定部４７に出力する。
注意対象物特定部４７は、物体検出部６０によって検出された物体のうち、乗員に注意を促したい物体（以下、注意対象物という）を特定する。注意対象物は、例えば他車両、バイク、歩行者、自転車、動物（犬や猫）、電信柱、看板、信号機、標識、道路上の落下物などである。注意対象物特定部４７は、特定した注意対象物をカメラ画像作成部４５と合成部４６に出力する。
次に、図８を参照して、カメラ画像の合成例を説明する。図８に示すように、仮想画像Ｐ上では歩行者Ｗはシンボル化される。この場合、歩行者Ｗの属性（高齢者か子どもか）や視線方向などの情報が失われる場合がある。そこで、注意対象物特定部４７は、物体検出部６０によって検出された歩行者Ｗを注意対象物として特定し、カメラ画像作成部４５は、図８に示すように特定された歩行者Ｗのカメラ画像を作成する。そして、合成部４６は、仮想画像Ｐ上の歩行者Ｗをカメラ画像で置き換える。これにより、ディスプレイ５０は、乗員に注意を促したい歩行者Ｗをカメラ画像、すなわち実撮像画像で表示する。これにより、乗員は、歩行者Ｗの詳細な情報を知ることができる。なお、注意対象物のカメラ画像を作成する際に、図８に示すように歩行者Ｗを含む領域のカメラ画像を作成してもよく、歩行者Ｗの輪郭をかたどったカメラ画像を作成してもよい。
次に、図９〜図１０を参照して、各種運転シーンにおけるカメラ画像の合成例を説明する。
図９に示すように、自車両Ｍ１が狭路走行中に物体検出部６０が他車両Ｍ２を検出した場合、注意対象物特定部４７は、他車両Ｍ２を注意対象物として特定し、カメラ画像作成部４５は、他車両Ｍ２のカメラ画像を作成する。その後の処理は、図８の内容と同じであるため説明を省略する。
次に、図１０を参照して、自車両Ｍ１がＴ字交差点に進入する場合を説明する。物体検出部６０が他車両Ｍ２〜Ｍ３、歩行者Ｗ、自転車Ｂ１〜Ｂ３、標識Ｌを検出した場合、注意対象物特定部４７は、これらの物体を注意対象物として特定し、カメラ画像作成部４５は、これらのカメラ画像を作成する。その後の処理は、図８の内容と同じであるため説明を省略する。
次に、図１１に示すフローチャートを参照して、移動体周囲表示装置２の一動作例について説明する。このフローチャートは、例えばイグニッションスイッチがオンされたときに開始する。
ステップＳ２０１において、環境検出部１０及び物体検出部６０は、自車周囲の情報を取得する。
ステップＳ２０２において、仮想画像作成部４１は、自車周囲の情報を用いて仮想画像を作成する。
ステップＳ２０３において、注意対象物特定部４７は、自車周囲の注意対象物を特定する。
ステップＳ２０４において、カメラ画像作成部４５は、注意対象物特定部４７によって特定された注意対象物のカメラ画像を作成する。
ステップＳ２０５において、合成部４６は、仮想画像上の注意対象物をカメラ画像で置き換える。
ステップＳ２０６において、コントローラ４０は、合成部４６によって合成された合成画像をディスプレイ５０に表示する。
以上説明したように、第２実施形態に係る移動体周囲表示装置２によれば、以下の作用効果が得られる。
移動体周囲表示装置２は、まず自車周囲の情報を用いて仮想画像を作成する。次に移動体周囲表示装置２は、注意対象物を特定し、特定した注意対象物のカメラ画像を作成する。そして、移動体周囲表示装置２は、仮想画像上の注意対象物をカメラ画像で置き換えてディスプレイ５０に表示する。これにより、乗員は、注意対象物の詳細な情報を知ることができる。
仮想画像上では、注意対象物の情報が失われる場合がある。例えば、人間をシンボル化すると、その人物の属性（高齢者か子どもか）や視線方向などの情報が失われる場合がある。また、車両を例に取れば、車体の大きさや形、色などの情報が失われる場合がある。しかし、移動体周囲表示装置２は、仮想画像上の注意対象物をカメラ画像で置き換えて表示するため、仮想画像化による情報の損失を補うことができる。これにより、乗員は、注意対象物の動きを予測しやすくなる。
また、移動体周囲表示装置２は、注意対象物として、歩行者、動物、自転車、車両、もしくは標識をカメラ画像に置き換えて表示することにより、乗員はこれらの詳細な情報を知ることができる。
［第３実施形態］
次に、図１２を参照して、本発明の第３実施形態に係る移動体周囲表示装置３について説明する。第３実施形態が第１実施形態と相違する点は、移動体周囲表示装置３が、物体検出部６０と、注意対象物特定部４７と、強調箇所特定部４８とを備えることである。第１実施形態と重複する構成については符号を引用してその説明は省略することとし、以下、相違点を中心に説明する。なお、物体検出部６０及び注意対象物特定部４７については第２実施形態で説明したものと同じため、説明を省略する。
強調箇所特定部４８は、乗員に注意を促したい強調箇所を特定する。具体的には、強調箇所特定部４８は、注意対象物特定部４７によって特定された注意対象物が、注意範囲特定部４３によって特定された注意範囲内に存在する場合に、この注意対象物を強調箇所として特定する。強調箇所特定部４８は、特定した強調箇所をカメラ画像作成部４５と合成部４６に出力する。
次に、図１３〜図１５を参照して、各種運転シーンにおけるカメラ画像の合成例を説明する。
まず図１３を参照して、自車両Ｍ１がＴ字交差点に進入する運転シーンを説明する。Ｔ字交差点の場合、注意範囲は、領域Ｒに示すようにＴ字交差点の中心から左右両方向の範囲を含む自車周囲の領域である。注意範囲特定部４３は、領域Ｒを注意範囲として特定する。次に注意対象物特定部４７は、物体検出部６０によって検出された他車両Ｍ２〜Ｍ３、歩行者Ｗ、自転車Ｂ１〜Ｂ３、標識Ｌを注意対象物として特定する。次に、強調箇所特定部４８は、注意対象物特定部４７によって特定された注意対象物のうち、領域Ｒ内に存在する注意対象物を強調箇所として特定する。図１３に示す例では、強調箇所特定部４８は、歩行者Ｗ、自転車Ｂ１〜Ｂ３、標識Ｌを強調箇所として特定する。次にカメラ画像作成部４５は、強調箇所として特定された歩行者Ｗ、自転車Ｂ１〜Ｂ３、標識Ｌのカメラ画像を作成する。そして、合成部４６は、仮想画像Ｐ上の歩行者Ｗ、自転車Ｂ１〜Ｂ３、標識Ｌをカメラ画像で置き換える。これにより、ディスプレイ５０は、歩行者Ｗ、自転車Ｂ１〜Ｂ３、標識Ｌをカメラ画像、すなわち実撮像画像で表示する。これにより、乗員は、歩行者Ｗ、自転車Ｂ１〜Ｂ３、標識Ｌの詳細な情報を知ることができる。なお、図１３に示す例では、自転車Ｂ２や自転車Ｂ３のように、一部でも領域Ｒ内に存在する場合は強調箇所として特定したが、全部が領域Ｒ内に存在する場合に強調箇所として特定するようにしてもよい。また、注意範囲特定部４３は、注意範囲をリアルタイムに特定するようにしてもよく、注意範囲は地図上などに予め設定されるようにしてもよい。
また、強調箇所特定部４８は、領域Ｒ内で注意対象物が検出されない場合、強調箇所を特定しない。強調箇所特定部４８が強調箇所を特定しない場合、合成部４６は、仮想画像Ｐ上の領域Ｒをカメラ画像で置き換えない。
その理由は、領域Ｒ内で他車両や歩行者などの注意対象物が検出されない場合、自車両との接触の危険性は低く、領域Ｒをカメラ画像に置き換えて乗員に知らせる必要性が低いためである。このように領域Ｒ内で注意対象物が検出されない場合、移動体周囲表示装置３は、仮想画像Ｐのみを表示することにより、乗員に与える情報を少なくできる。これにより、移動体周囲表示装置３は、乗員が感じる煩わしさを低減することができる。なお、物体検出部６０は、注意範囲特定部４３によって特定された注意範囲内で物体を検出してもよい。このように、物体の検出範囲を限定することにより、物体検出部６０が物体を検出するまでの時間を短縮することもできる。これにより、注意対象物特定部４７が注意対象物を特定するまでの時間を短縮することもできる。加えて、物体の検出範囲を限定することは、コントローラ４０の処理負荷を低減することもできる。
次に、図１４を参照して、自車両Ｍ１が交差点を左折する運転シーンを説明する。交差点を左折する場合、注意範囲は、領域Ｒに示すように自車両Ｍ１の進行方向（左折方向）を含む交差点全体の領域である。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、注意対象物特定部４７は、他車両Ｍ２〜Ｍ４、自転車Ｂ、信号機Ｓを注意対象物として特定する。次に、強調箇所特定部４８は、注意対象物特定部４７によって特定された注意対象物のうち、領域Ｒに存在する注意対象物を強調箇所として特定する。図１４に示す例では、強調箇所特定部４８は、他車両Ｍ２〜Ｍ３、自転車Ｂ、信号機Ｓを強調箇所として特定する。その後の処理は、図１３の内容と同じであるため説明を省略する。なお、図１４に記載のように、左折に合わせて注意範囲を設定することもできる。このように、走行シーン、現在実行している運転操作、将来予想される運転操作、などにあわせて注意範囲と注意範囲以外とを設定することにより、注意範囲特定部４３はそれぞれの走行シーン、運転操作に適した注意範囲を設定できるようになり、注意範囲以外への注意を抑制することができる。
次に、図１５を参照して、自車両Ｍ１が交差点を右折する運転シーンを説明する。交差点を右折する場合、注意範囲は、領域Ｒに示すように自車両Ｍ１の進行方向（右折方向）を含み、自車右側方を除いた交差点全体の領域である。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、注意対象物特定部４７は、他車両Ｍ２〜Ｍ４、歩行者Ｗ、自転車Ｂ１〜Ｂ２、標識Ｌ１〜Ｌ２を注意対象物として特定する。次に、強調箇所特定部４８は、注意対象物特定部４７によって特定された注意対象物のうち、領域Ｒに存在する注意対象物を強調箇所として特定する。図１５に示す例では、強調箇所特定部４８は、他車両Ｍ２〜Ｍ４、歩行者Ｗ、自転車Ｂ１〜Ｂ２、標識Ｌ１〜Ｌ２を強調箇所として特定する。その後の処理は、図１３の内容と同じであるため説明を省略する。また、注意範囲特定部４３は図１４と同様に、図１５のように右折に合わせて注意範囲を設定することもできる。
次に、図１６に示すフローチャートを参照して、移動体周囲表示装置３の一動作例について説明する。このフローチャートは、例えばイグニッションスイッチがオンされたときに開始する。
ステップＳ３０１において、環境検出部１０、物体検出部６０及び車両カメラ２０〜２３は、自車周囲の情報を取得する。
ステップＳ３０２において、仮想画像作成部４１は、自車周囲の情報を用いて仮想画像を作成する。
ステップＳ３０３において、運転シーン判定部４２は、自車周囲の情報を用いて運転シーンを判定する。
ステップＳ３０４において、注意範囲特定部４３は、運転シーン判定部４２によって判定された運転シーンから記憶部４４のデータベースを用いて注意範囲を特定する。
ステップＳ３０５において、注意対象物特定部４７は、自車周囲の注意対象物を特定する。
ステップＳ３０６において、強調箇所特定部４８は、注意範囲内に注意対象物が存在するか否かを判定する。注意範囲内に注意対象物が存在する場合（ステップＳ３０６でＹｅｓ）、強調箇所特定部４８は、注意範囲内に存在する注意対象物を特定し、処理がステップＳ３０７に進む。一方、注意範囲内に注意対象物が存在しない場合、（ステップＳ３０６でＮｏ）、処理がステップＳ３１０に進む。
ステップＳ３０７において、カメラ画像作成部４５は、強調箇所特定部４８によって特定された注意対象物のカメラ画像を作成する。
ステップＳ３０８において、合成部４６は、仮想画像上の注意対象物をカメラ画像で置き換える。
ステップＳ３０９において、コントローラ４０は、合成部４６によって合成された合成画像をディスプレイ５０に表示する。
ステップＳ３１０において、コントローラ４０は、仮想画像をディスプレイ５０に表示する。
以上説明したように、第３実施形態に係る移動体周囲表示装置３によれば、以下の作用効果が得られる。
移動体周囲表示装置３は、まず自車周囲の情報を用いて仮想画像を作成する。次に移動体周囲表示装置３は、運転シーンから注意範囲を特定し、注意範囲内の注意対象物を特定する。移動体周囲表示装置３は、注意範囲内の注意対象物のカメラ画像を作成し、仮想画像上の注意範囲内の注意対象物をカメラ画像で置き換えてディスプレイ５０に表示する。これにより、乗員は、注意対象物の詳細な情報を知ることができる。
また、移動体周囲表示装置３は、注意範囲内に注意対象物が存在しない場合、仮想画像のみをディスプレイ５０に表示する。これにより、移動体周囲表示装置３は、乗員に与える情報を少なくできる。これにより、移動体周囲表示装置３は、乗員が感じる煩わしさを低減することができる。
上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
なお、第１実施形態、第２実施形態では、それぞれ注意範囲、注意対象物をカメラ画像で置き換えた。また、第３実施形態では、注意範囲内に注意対象物が存在する場合にこの注意対象物をカメラ画像で置き換えた。注意範囲及び注意対象物は、乗員に注意を促したい範囲を示すものであり、注意範囲及び注意対象物を含めて注意範囲と言い換えることができる。また、後述するように注意範囲は注意度が所定値以上の領域も含むことができる。
第１〜第３実施形態では、注意範囲をカメラ画像で置き換えたが、これに限られない。例えば、移動体周囲表示装置１〜３は、自車両に対する注意度を算出し、算出した注意度に応じてカメラ画像を置き換えてもよい。自車両に対する注意度は、自車両に対する相対速度や相対距離から求めることができる。自車両に対する相対速度や相対距離の検出方法としては、例えば環境検出部１０や物体検出部６０にこれらの検出機能を持たせればよい。
注意度の算出例として、移動体周囲表示装置１〜３は、自車両に対する相対速度が速いほど注意度が高くなるように設定できる。また、移動体周囲表示装置１〜３は、自車両に対する相対距離が短いほど、注意度が高くなるように設定できる。
注意度に基づく具体的な表示方法を説明する。移動体周囲表示装置１〜３は、自車周囲に存在する物体の注意度を算出し、算出した注意度が所定値以上の場合に、その物体が存在する領域のカメラ画像を作成し、仮想画像上のその領域をカメラ画像で置き換えて表示する。これにより、移動体周囲表示装置１〜３は、その物体の属性（人間なのか、動物なのか）などを識別することなく、注意を促したい領域の情報を詳細に乗員に知らせることができる。なお、所定値については、予め実験やシミュレーションを通して求めることができる。
また、移動体周囲表示装置１〜３は、仮想画像を複数に分割して、分割した画像に対応する領域ごとに注意度を算出し、算出した注意度が所定値以上となった領域をカメラ画像で置き換えるようにしてもよい。これにより、移動体周囲表示装置１〜３は、注意度の演算負荷を低減することができる。
なお、注意範囲特定部４３は、記憶部４４に記憶されているデータベースを用いて注意範囲を特定するが、これに限られない。例えば、注意範囲特定部４３は自車位置情報をクラウドに送信し、自車位置情報に対応するクラウドからの情報を用いて注意範囲を特定するようにしてもよい。また、注意範囲特定部４３は、車車間通信で他車両から取得した情報を用いて注意範囲を特定するようにしてもよい。
なお、本実施形態における合成部４６は、仮想画像上の注意範囲をカメラ画像に置き換えていたが、必ずしもそれに限らず、合成部４６は、自車周囲のカメラ画像を生成し、注意範以外の領域を仮想画像に置き換えるようにしてもよい。つまりは、注意範囲がカメラ画像で表示されればよい。
なお、上述の実施形態の各機能は、１または複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理回路は、また、実施形態に記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や従来型の回路部品のような装置を含む。
１０ 環境検出部
２０ フロントカメラ
２１ ライトカメラ
２２ レフトカメラ
２３ リアカメラ
４０ コントローラ
４１ 仮想画像作成部
４２ 運転シーン判定部
４３ 注意範囲特定部
４４ 記憶部
４５ カメラ画像作成部
４６ 合成部
４７ 注意対象物特定部
４８ 強調箇所特定部
５０ ディスプレイ
６０ 物体検出部

Claims (6)

  1. 移動体に搭載され、撮像により周囲情報を取得する撮像素子と、前記周囲情報による撮像画像と前記移動体の周囲状況を表す仮想画像とを作成するコントローラと、前記仮想画像を表示するディスプレイと、を備えた移動体周囲表示装置の移動体周囲表示方法であって、
    前記移動体の周囲において、前記仮想画像を複数に分割し、分割した仮想画像に対応する領域ごとに注意度を算出し、
    前記注意度が所定値以上の領域を注意範囲として検出し、
    前記注意範囲の前記撮像画像を作成し、
    前記注意範囲を前記撮像画像により表示する
    ことを特徴とする移動体周囲表示方法。
  2. 前記注意範囲は、道路上における車両同士または車両と人が交錯する領域であることを特徴とする請求項１に記載の移動体周囲表示方法。
  3. 前記移動体の周囲における注意対象物を検出し、
    前記注意対象物を検出した場合に、前記注意対象物を含む領域を前記注意範囲として検出し、
    前記注意範囲を前記撮像画像により表示することを特徴とする請求項１または２に記載の移動体周囲表示方法。
  4. 前記注意範囲の中から前記移動体の周囲における注意対象物を検出し、
    前記注意範囲の中から前記注意対象物を検出した場合に、前記注意対象物を含む領域を強調箇所として検出し、
    前記強調箇所を前記撮像画像により表示することを特徴とする請求項１または２に記載の移動体周囲表示方法。
  5. 前記注意対象物は、前記移動体の周囲に位置する歩行者、動物、自転車、車両、もしくは標識であることを特徴とする請求項３または４に記載の移動体周囲表示方法。
  6. 移動体に搭載され、撮像により周囲情報を取得する撮像素子と、
    前記周囲情報による撮像画像と前記移動体の周囲状況を表す仮想画像とを作成するコントローラと、
    前記仮想画像を表示するディスプレイと、を備え、
    前記コントローラは、前記移動体の周囲において、前記仮想画像を複数に分割し、分割した仮想画像に対応する領域ごとに注意度を算出し、前記注意度が所定値以上の領域を注意範囲として検出し、検出した前記注意範囲の前記撮像画像を作成し、前記注意範囲の前記撮像画像を前記ディスプレイに表示することを特徴とする移動体周囲表示装置。
JP2018511838A 2016-04-14 2016-04-14 移動体周囲表示方法及び移動体周囲表示装置 Active JP6555413B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/062014 WO2017179174A1 (ja) 2016-04-14 2016-04-14 移動体周囲表示方法及び移動体周囲表示装置

Publications (2)

Publication Number Publication Date
JPWO2017179174A1 JPWO2017179174A1 (ja) 2019-04-04
JP6555413B2 true JP6555413B2 (ja) 2019-08-14

Family

ID=60042543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018511838A Active JP6555413B2 (ja) 2016-04-14 2016-04-14 移動体周囲表示方法及び移動体周囲表示装置

Country Status (10)

Country Link
US (1) US10864856B2 (ja)
EP (1) EP3444145A4 (ja)
JP (1) JP6555413B2 (ja)
KR (1) KR102023863B1 (ja)
CN (1) CN109070799B (ja)
BR (1) BR112018071020B1 (ja)
CA (1) CA3020813C (ja)
MX (1) MX367700B (ja)
RU (1) RU2715876C1 (ja)
WO (1) WO2017179174A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7195200B2 (ja) * 2019-03-28 2022-12-23 株式会社デンソーテン 車載装置、車載システムおよび周辺監視方法
US11554668B2 (en) * 2019-06-25 2023-01-17 Hyundai Mobis Co., Ltd. Control system and method using in-vehicle gesture input

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06278531A (ja) 1993-03-25 1994-10-04 Honda Motor Co Ltd 車両用視認補助装置
JP4334686B2 (ja) 1999-07-07 2009-09-30 本田技研工業株式会社 車両の画像表示装置
JP4956915B2 (ja) * 2005-05-20 2012-06-20 日産自動車株式会社 映像表示装置及び映像表示方法
WO2007005688A1 (en) 2005-06-30 2007-01-11 Agc Flat Glass North America, Inc. Monolithic image perception device and method
JP4775123B2 (ja) * 2006-06-09 2011-09-21 日産自動車株式会社 車両用監視装置
US8472665B2 (en) * 2007-05-04 2013-06-25 Qualcomm Incorporated Camera-based user input for compact devices
US8947421B2 (en) * 2007-10-29 2015-02-03 Interman Corporation Method and server computer for generating map images for creating virtual spaces representing the real world
JP2011118482A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 車載装置および認知支援システム
EP2512133B1 (en) * 2009-12-07 2018-07-18 Clarion Co., Ltd. Vehicle periphery image display system
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
WO2011135778A1 (ja) 2010-04-26 2011-11-03 パナソニック株式会社 画像処理装置、カーナビゲーションシステム、及び路上カメラシステム
JP2012053533A (ja) 2010-08-31 2012-03-15 Daihatsu Motor Co Ltd 運転支援装置
JP5998496B2 (ja) * 2011-02-02 2016-09-28 日産自動車株式会社 駐車支援装置
US20120287277A1 (en) * 2011-05-13 2012-11-15 Koehrsen Craig L Machine display system
US9499168B2 (en) * 2013-01-09 2016-11-22 Mitsubishi Electric Corporation Vehicle periphery display device
JP2013255237A (ja) 2013-07-08 2013-12-19 Alpine Electronics Inc 画像表示装置及び画像表示方法
JP5901593B2 (ja) * 2013-09-11 2016-04-13 本田技研工業株式会社 車両用表示装置
US20150138099A1 (en) * 2013-11-15 2015-05-21 Marc Robert Major Systems, Apparatus, and Methods for Motion Controlled Virtual Environment Interaction
US9639968B2 (en) 2014-02-18 2017-05-02 Harman International Industries, Inc. Generating an augmented view of a location of interest

Also Published As

Publication number Publication date
EP3444145A1 (en) 2019-02-20
CA3020813A1 (en) 2017-10-19
CN109070799B (zh) 2021-02-26
MX2018012119A (es) 2019-02-11
CN109070799A (zh) 2018-12-21
US20190337455A1 (en) 2019-11-07
MX367700B (es) 2019-09-03
JPWO2017179174A1 (ja) 2019-04-04
CA3020813C (en) 2019-05-14
KR20180123553A (ko) 2018-11-16
WO2017179174A1 (ja) 2017-10-19
BR112018071020A2 (pt) 2019-02-12
US10864856B2 (en) 2020-12-15
KR102023863B1 (ko) 2019-09-20
BR112018071020B1 (pt) 2022-06-28
EP3444145A4 (en) 2019-08-14
RU2715876C1 (ru) 2020-03-03

Similar Documents

Publication Publication Date Title
US11242068B2 (en) Vehicle display device and vehicle
US11535155B2 (en) Superimposed-image display device and computer program
RU2700635C1 (ru) Способ и устройство обнаружения мест для парковки
CN109515434B (zh) 车辆控制装置、车辆控制方法及存储介质
JP7048398B2 (ja) 車両制御装置、車両制御方法、およびプログラム
CA3002628C (en) Display control method and display control device
US11525694B2 (en) Superimposed-image display device and computer program
JP2016218732A (ja) 自動車周辺情報表示システム
US20190244515A1 (en) Augmented reality dsrc data visualization
JP7011559B2 (ja) 表示装置、表示制御方法、およびプログラム
US20190135169A1 (en) Vehicle communication system using projected light
US11198398B2 (en) Display control device for vehicle, display control method for vehicle, and storage medium
US11443520B2 (en) Image processing apparatus, image processing method, and image processing system
JP6555413B2 (ja) 移動体周囲表示方法及び移動体周囲表示装置
JP2015210584A (ja) 画像処理装置
JP3900508B2 (ja) 車両の周囲情報報知装置
JP2021149319A (ja) 表示制御装置、表示制御方法およびプログラム
JP2014229100A (ja) 車両用表示装置
JP5200990B2 (ja) 運転支援装置
CN113614782A (zh) 信息处理装置、信息处理方法和程序
JP3222638U (ja) 安全運転支援装置
JP6989418B2 (ja) 車載システム
JP7215191B2 (ja) 運転支援制御装置、運転支援制御方法、およびプログラム
JP2022154208A (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP2022129044A (ja) 運転マナー判定装置及び運転支援装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190624

R151 Written notification of patent or utility model registration

Ref document number: 6555413

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151