JP6107960B2 - 情報提示システム - Google Patents
情報提示システム Download PDFInfo
- Publication number
- JP6107960B2 JP6107960B2 JP2015538979A JP2015538979A JP6107960B2 JP 6107960 B2 JP6107960 B2 JP 6107960B2 JP 2015538979 A JP2015538979 A JP 2015538979A JP 2015538979 A JP2015538979 A JP 2015538979A JP 6107960 B2 JP6107960 B2 JP 6107960B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- delay
- terminal device
- information
- wireless communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 claims description 128
- 238000012545 processing Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 13
- 238000005520 cutting process Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 26
- 238000000034 method Methods 0.000 description 24
- 238000003384 imaging method Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 230000003111 delayed effect Effects 0.000 description 5
- 240000004050 Pentaglottis sempervirens Species 0.000 description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 235000005811 Viola adunca Nutrition 0.000 description 1
- 240000009038 Viola odorata Species 0.000 description 1
- 235000013487 Viola odorata Nutrition 0.000 description 1
- 235000002254 Viola papilionacea Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
- B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
本発明は、車両の周囲の映像に関する情報を提示する情報提示システムに関する。
本出願は、2013年9月27日に出願された日本国特許出願の特願2013―200958に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
本出願は、2013年9月27日に出願された日本国特許出願の特願2013―200958に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
この種の装置に関し、車両のシフトレバーがリバース位置に操作された場合に、車両の後方の映像を表示する運転支援装置が知られている(特許文献1)。
しかしながら、車載装置に組み込まれていない可搬型の端末装置が、無線通信を介して取得した車載カメラの撮像画像を提示する場合に、無線通信に遅れが生じると撮像画像を提示するタイミングが遅延するという問題がある。
本発明が解決しようとする課題は、車載装置と端末装置との無線通信に遅れが生じた場合であっても、リアルタイムの車両周囲の状態を示す画像情報を端末装置に提示することである。
本発明は、車載装置と端末装置との無線通信の遅延時間を含む遅延状態と車両の状態情報とに基づいて、遅延時間後の車両の位置で撮像される予測画像を、車載カメラの撮像画像から生成し、これを提示することにより、上記課題を解決する。
本発明によれば、無線通信の遅延時間後に車載カメラで撮像されるであろう予測画像を端末装置に提示するので、車載装置と端末装置との通信に遅れが生じた場合であっても、リアルタイムの車両周囲の状態をドライバに認識させることができる。この結果、無線通信に遅延が生じた場合に過去の撮像画像が端末装置に提示されることを防止できる。
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、車両に設けられたカメラを有する車載装置200と、この車載装置200と無線通信する携帯可能な端末装置100とを備える情報提示システム1000に適用した場合を例にして説明する。
図1は、本実施形態に係る情報提示システム1000のブロック構成図である。情報提示システム1000は、車載装置200と、端末装置100とを備える。
まず、図1に基づいて、本発明の車載装置200について説明する。本実施形態の車載装置200は、一又は複数のカメラ1a〜1dと、通信装置2と、車両コントローラ3と、各種の車載される装置4(各種装置4とも総称する)を備える。
カメラ1a〜1d(総称してカメラ1とも称する。以下、同じ。)は、CCD(Charge Coupled Devices)等の撮像素子を用いて構成される。本実施形態では、リアフィニッシャー部分やルーフスポイラー部分などの車両のリア(後方)部分の所定位置に設置されたカメラ1を備える。このカメラ1は、車両の後方の空間に存在する物体又は路面の画像(リアビュー画像)を撮影する。本実施形態における「車両の後方」には、真後ろのみならず、後方の左右側方をも含む。また、本実施形態の車載装置200は、車両Vの外部の異なる位置に各々設置された複数のカメラ1a〜1dを備える。本実施形態の車載装置200は、フロントグリル部分などの車両の前方の所定位置、左サイドミラー部分などの車両の左側方の所定位置、又は右サイドミラー部分などの車両の右側方の所定位置に設けられたカメラ1a〜1dを備える。各カメラ1は、車両周囲の異なる方向の映像をそれぞれ撮影する。本実施形態では、撮像可能範囲が広い、広角のカメラ1を使用する。
通信装置200は、カメラ1が撮像した画像を後述する端末装置100へ送出する。カメラ1に無線通信機能を備えさせて、外部へ撮像画像を送出してもよい。端末装置100は、無線の通信ネットワークを介してカメラ1が撮像した撮像画像を取得する。各カメラ1が撮像した画像には、各カメラ1の配置(アドレス)に応じた識別子が付されており、端末装置100は、各識別子に基づいて各撮像画像のそれぞれを識別できる。
車両コントローラ3は、車両の各構成から情報を取得し、車両の動作を集中的に管理する。本実施形態の車両コントローラ3は、車両の状態を示す状態情報を取得する。車両コントローラ3は、車両のステアリング制御装置41から操舵情報を状態情報として取得し、加速度センサ42から加速度情報又は速度情報を状態情報として取得し、車両の変速装置44のシフトポジション情報を状態情報として取得する。車両コントローラ3は、取得した操舵情報、加速度情報(速度情報)を端末装置100へ送出する。端末装置100の制御装置10は、操舵情報から車両の進行方向(進行角度)を取得する。同じく制御装置10は、シフトポジション情報から車両が後退中か前進中かの進行方向を取得する。同じく制御装置10は、加速度情報(速度情報)と移動時間とから車両の移動量を取得する。制御装置10は、車両の移動方向及び移動量から、所定時間経過後の車両の位置を求めることができる。
車載装置200が備えるカメラ1、通信装置2、車両コントローラ3、及び各装置4はCAN(Controller Area Network)その他の車載LANによって接続され、相互に情報の授受を行うことができる。
次に、図1に基づいて端末装置100について説明する。本実施形態の端末装置100は、スマートフォン、タブレット端末などの通信機能を備える可搬の携帯端末装置である。本実施形態の端末装置100は、制御装置10と、通信装置20と、ディスプレイ30とを備える。
本実施形態の通信装置20は、外部の車載装置200の通信装置2と相互に情報の授受を行う。通信装置20は、車載装置200から撮像画像、車両の状態その他の情報を取得する。
本実施形態のディスプレイ30は、車両のカメラ1の撮像画像、後述する予測画像、無線通信の遅延状態に関する情報を提示する。図2は、端末装置100のディスプレイ30に車両の俯瞰画像と、後方の撮像画像を提示した例を示す図である。図2に示すように端末装置200のディスプレイ30の左側の画面30Lには、上空の視点から車両を見下ろした俯瞰画像が提示され、ディスプレイ30の右側の画面30Rには、車両後方の撮像画像が提示されている。画面30Rに示す後方の撮像画像には、車両が移動すると予測される軌道に沿うガイド線として、予想進路線P,車幅ガイド線Q1,距離ガイド線Q2が重畳して表示されている。なお、端末装置100は、車両のドライバが視認しやすいように、車両のインストルメントパネルやステアリング近傍に取り付けられたホルダに設置してもよい。
本実施形態の端末装置100が備える制御装置10は、無線通信の遅延時間に応じた予測画像を提示するプログラムが格納されたROM(Read Only Memory)12と、このROM12に格納されたプログラムを実行することで、本実施形態の端末装置100として機能する動作回路としてのCPU(Central Processing Unit)11と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)13と、を備えている。
本実施形態に係る端末装置100の制御装置10は、画像取得機能と、遅延状態判断機能と、移動体検知情報取得機能と、予測画像生成機能と、ガイド線生成機能と、提示機能と、を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行するコンピュータである。
以下、本発明の本実施形態に係る端末装置100の制御装置10が実現する各機能について説明する。
まず、制御装置10の画像取得機能について説明する。本実施形態の制御装置10は、車載カメラ1によって撮像された車両の周辺の撮像画像を通信装置20を介して車載装置200から取得する。特に限定されないが、本実施形態において、制御装置10は、車両の後方側の撮像画像を取得する。制御装置10は、前方、側方の撮像画像を取得してもよい。制御装置10は、車載装置200が生成した、車両の上空の仮想視点から車両を見下ろした、周囲の監視画像を取得してもよい。監視画像は、車両の異なる位置に複数配置されたカメラ1により撮像された複数の撮像画像を、車両上空の仮想視点から見下ろした投影面に投影して生成した俯瞰画像である。。制御装置10は、取得した撮像画像や監視画像を、車両の駐車時、後退時などの状況においてディスプレイ30に提示する情報として用いる。
制御装置10の遅延状態判断機能について説明する。本実施形態の制御装置10は、車載装置200と端末装置100との無線通信の遅延時間を含む遅延状態を判断する。遅延時間は、所定の良好な通信環境下における基準通信時間と、実際に送受信が行われる通信環境下における実測通信時間との差から求める。特に限定されないが、制御装置10は、車載装置200の時計45と端末装置100の時計112とを参照し、同期させてから、車載装置200と端末装置100との無線通信を介した情報の授受に要する実測通信時間を計測して、遅延時間を算出する。具体的には、車載装置200から送信タイミングを付した情報を端末装置100宛てに送信する。端末装置100はその情報を取得したら受信確認情報を車載装置200宛てに送信する。車載装置200は端末装置100へ情報を送信した送信タイミングから、端末装置100が送出した受信確認情報を受信した受信タイミングまでの時間の半分を無線通信に要する通信時間として算出する。基準通信時間は、所定の負荷の無い通信環境下において、同様の手法により無線通信の通信時間を算出できる。実測される通信時間は、無線通信回線網にアクセスする端末装置の多さ、通信する情報量の多さなどによって刻々に変化する。このため、制御装置10は、所定周期で通信時間を算出し、基準通信時間との差である遅延時間を継続的に算出する。本例では、車載装置200と端末装置100とを事前に同期させてから遅延時間を算出するので、正確な遅延時間を算出できる。
なお、遅延時間は、予め通信設備の能力に応じて決まる固定的な時間と、通信量などにより生じる変動的な時間とがある。固定的な時間については予め車載装置200又は端末装置100に記憶させておくことができる。処理負荷の軽減の観点からは、記憶された固定的な遅延時間を読み出して遅延状態を判断してもよい。
端末装置100において、カメラ1の撮像画像の提示が遅れる遅延状態が発生する原因は、先述した無線通信の遅延時間だけではない。図3に示すように、撮像処理から画像の提示処理が完了するまでに要する以下の第1〜第3の時間を含む。ここにいう第1の時間は、t0〜t1までの車載装置200が車両周囲を撮像する処理及び撮像画像を圧縮する処理までの時間である。第2の時間は、t1〜t2までの無線通信に要する時間である。第3の時間は、t2〜t3までの圧縮された撮像画像を解凍処理する時間と解凍した撮像画像をディスプレイ30に提示する処理に要する時間である。つまり、無線通信の遅延状態は、車載装置200側において行われる撮像から撮像画像の送出までの時間と、車載装置200と端末装置100との通信時間と、端末装置100側において行われる撮像画像の受信から提示までの時間が遅れたときに生じる。
無線通信に遅れが生じていない場合において、出願時における通信技術によれば、撮像処理から画像の提示処理が完了するまでに要する時間は100〜500msec程度である。このような短い時間であっても、過去の画像情報があたかも現在撮像された情報であるように提示されることは好ましくない。ましてや、通信遅延が生じることにより、撮像時間から提示時間までの時間が長くなる場合には、なおさらである。車載装置200内部の通信網(CANなど)で撮像画像を送受信する場合には、撮像時間から提示時間までの時間はほぼ一定であるので、これを管理することは可能である。これに対し、車載装置200側で得られた撮像画像を、公共の無線通信を介して端末装置100に送出し、端末装置100のディスプレイ30で提示する場合には、通信遅延に配慮する必要がある。また、上述した第3の時間は、端末装置100の処理能力に大きく依存し、個人がそれぞれ所有する性能・状態の異なる端末装置100について一律に遅延時間を定義することは困難である。
第1の時間に関し、本実施形態の制御装置10は、端末装置100と車載装置200との無線通信の遅延時間を上記手法により計測する。
上述した第3の時間に関し、本実施形態の制御装置10は、端末装置100が撮像画像を取得してから予測画像を提示するまでに要する端末装置側処理時間を取得し、端末装置側処理時間を無線通信の遅延時間に加算して情報提示に係る遅延時間を算出し、遅延状態を判断する。特に限定されないが、端末装置側処理時間は、予め実験的に算出しておき、読み出し可能に端末装置100に記憶させておくことが好ましい。無線通信の遅延のみならず、端末装置100側の処理に要する時間を加算して遅延時間を算出することにより、遅延状態を正確に判断することができる。
上述した第1の時間に関し、本実施形態の制御装置10は、車載装置200側において行われる撮像画像の取得(撮像)から送出までに要する時間を、遅延時間に加算してもよい。無線通信の遅延のみならず、車載装置200側の処理に要する時間を加算して遅延時間を算出することにより、遅延状態をさらに正確に判断することができる。
また、本実施形態の制御装置10は、通信装置2の無線通信が途絶したか否かを判断し、無線通信が途絶した場合には、無線通信が途絶した旨をディスプレイ30に提示させる。通信装置2の無線通信が途絶している状況においては、現時点における撮像画像をリアルタイムで取得することが困難となる。つまり、ディスプレイ30に提示されている撮像画像は過去の映像である可能性が高い。本実施形態では、通信装置2の無線通信が途絶している旨を提示することにより、提示されている撮像画像がリアルタイムの画像ではないことをドライバに伝えることができる。
本実施形態の制御装置10は、遅延状態に応じた無線通信の信頼度を判断する。遅延時間が長く、無線通信の遅延状態が悪い場合には、無線通信の信頼度は低いと判断する。他方、遅延時間が短く、無線通信の遅延状態が悪くない(通信状態が良好である)場合には、無線通信の信頼度は高いと判断する。無線通信の信頼度は、通信状態の通信時間に応じて定義することができる。通信時間が長いほど無線通信の信頼度を低く設定することができる。制御装置10は、ディスプレイ30に、判断した信頼度を提示する。無線通信の遅延時間が長く、無線通信の信頼度が低い状況においては、現時点における撮像画像をリアルタイムで取得することが困難となる。つまり、ディスプレイ30に提示されている撮像画像は過去の映像である可能性が高い。本実施形態では、通信装置2の無線通信の信頼度が低い旨を提示することにより、提示されている撮像画像がリアルタイムの画像ではないことをドライバに伝えることができる。
次に、移動体検知情報取得機能について説明する。本実施形態の制御装置10は、車両の周囲に移動体が存在するか否かの検知情報を取得する。制御装置10は、移動体が存在するか否かの情報を、車載装置200から取得する。車載装置200は、移動体検出装置43を備える。移動体検出装置43は、車載カメラ1の撮像画像から抽出された特徴の経時的な変化に基づいて、車両周囲に移動体が存在するか否かを判断する。撮像画像に基づいて移動体を検出する手法は特に限定されず、本願の出願時に知られた手法を適宜に利用することができる。制御装置10は、移動体が存在する旨の検知情報を取得した場合には、遅延状態を判断する。無線通信に遅延が発生していると撮像画像の提示が遅れるので、移動体が車両周囲に存在するにもかかわらず撮像画像に表れない状況は生じる場合がある。車両周囲に移動体が存在する場合には、特に無線通信の遅延に配慮する必要がある。本実施形態の制御装置10は、車両周囲に移動体が存在する場合には、無線通信の遅延状態を判断するので、無線通信の遅延状態に応じた予測画像を提示することができる。
次に、制御装置10の予測画像生成機能について説明する。制御装置10は、車両の状態情報を取得し、車両の状態情報に基づいて遅延時間後の車両の位置を予測する。本実施形態の制御装置10は、車両の操舵角と車速(又は加速度)を車両の状態情報として取得する。取得した状態情報(操舵角・速度などの状態値)で車両が移動したときの、所定時間後(遅延時間後)の車両の位置を算出する。所定の状態で所定の時間移動したときの車両の位置の算出手法は特に限定されず、出願時に知られた手法を適宜に適用することができる。
制御装置10は、予測された車両の位置において撮像される予測画像を、取得した撮像画像から生成する。つまり、車両の移動方向及び移動量を考慮して、遅延時間が経過したときに移動した車両のカメラ1の撮像画像を予測して生成する。図4は、図2の画面30Rに示す車両後方の撮像画像を示す図である。図4に示すように、タイミングtxoにおいて、所定の点P0を設定する。車両が状態情報における操舵角・速度(状態情報)で移動すると、撮像画像上の点P0は、遅延時間ty後のタイミングtx1において、点P1に移動する。本例では、車両の状態情報と遅延時間tyとから車両の後退量(移動量)を予測し、移動後の位置で車載カメラ1の撮像画像において基準点P0に対応する点P1のRGB画像情報を算出する。つまり、遅延時間ty後のタイミングtx1における撮像画像を先読み(予測)する。
制御装置10は、ステアリング舵角から車両の移動方向を求め、速度情報から車両の移動速度を求め、車両が現在の移動方向と移動速度で移動した場合に、遅延時間経過後の車両の位置をから車載カメラ1が撮像した画像を予測する。つまり、タイミングtx0において車載カメラ1により撮像された撮像画像の点P0が、遅延時間ty経過後のタイミングtx1において撮像された撮像画像のどこに位置するかを求める。車両の移動方向及び移動量から遅延時間ty経過後のタイミングtx1におけるカメラ1の撮像画像の座標を設定する。タイミングtx0におけるメラ1の撮像画像の座標(tx0のカメラ座標)の情報を、新たに設定した座標上(tx1のカメラ座標)に座標変換する。各座標点について同様の座標変換を実行する。制御装置10は、この処理により、取得した撮像画像から予測された車両の位置において撮像される予測画像を生成する。つまり、制御装置10は、車両が状態情報の方向及び速度で移動し、タイミングtx0から遅延時間tyが経過したタイミングtx1において車両が存在する位置から、車載のカメラ1で撮像したら得られるであろう予測画像が生成する。
なお、説明のために、図4において、タイミングtx0において車載カメラ1により撮像された撮像画像の点P0は、遅延時間ty経過後のタイミングtx1において点P1に対応すると仮定する。予測画像は、図4に示す撮像画像の点P0が点P1に移動した画像となる。本例では車両が(車両進行方向に対して)左後方に移動するため、車両後方を映し出す予測画像が撮像画像よりも(図面の画像において右方向)にシフトするが、カメラ1は図4に示す領域よりも広い範囲を実際に撮像している。特に、広角のカメラ1を採用していれば、広い範囲の映像を含む撮像画像が取得されている。この撮像画像のうち予測画像に必要な領域について座標変換を行い、表示領域に応じて予測画像を切り出す処理を行うことにより、欠けの無い予測画像を生成できる。
制御装置10の提示機能について説明する。制御装置10は、生成された予測画像をディスプレイ30に提示する。制御装置10は、図2に示すように、ディスプレイ30の左側領域30Lに上空から車両を見下ろした俯瞰画像を提示し、ディスプレイ30の右側領域30Rに撮像画像又は予測画像を提示する。
本実施形態の情報提示システム1000によれば、無線通信の遅延時間後に車載カメラで撮像されるであろう予測画像を生成するので、車載装置200と端末装置100との通信に遅れが生じた場合であっても、リアルタイムの車両周囲の状態を示す予測画像を提示することができる。車載カメラ1の撮像画像を端末装置100に提示する場合に通信遅延が発生すると、端末装置100は過去の撮像画像を提示することになる。
ディスプレイ30の表示枠に沿って切り取られた過去の撮像画像には表れていない物体が、自車両に接近しているような状況を想定する。この状況において無線通信に遅延が発生すると、ドライバは接近する物体の存在を過去の撮像画像から認識することはできない。これに対し、本実施形態では、車両の状態情報に応じて遅延時間後に移動したときのカメラ1位置を基準に撮像画像を切り取り、予測画像を生成するので、過去のタイミングでは表示枠に入らなかった移動体であっても、遅延時間を考慮した現在のタイミングで表示枠に入る移動体については、ドライバは予測画像から認識できる。本実施形態では、無線通信に遅延が生じた場合に、過去の撮像画像を端末装置100に提示せずに、先読みしたリアルタイムの予測画像を提示するので、過去の撮像画像には含まれない接近してくる移動体の存在をもドライバに知らせることができる。
本実施形態の制御装置10は、車両の状態情報に基づいてその車両が移動すると予測される軌道に沿うガイド線を生成するガイド線生成機能をさらに備える。制御装置10は、車両が移動すると予測される軌跡を示す予測進路線Pと、車両が移動する場合に車両の側面の位置を示す車幅ガイド線Q1と、車両が移動する場合に車両の進行方向に沿う位置を示す距離ガイド線Q2と、を含むガイド線を生成する。そして、制御装置10は、図2、4に示すように、生成されたガイド線を予測画像に重畳して提示する。
その際に、本実施形態では、先述した遅延状態判断機能により判断された遅延状態に応じて、ガイド線の表示態様を変化させる。たとえば、遅延時間が長く、遅延状態が悪い、つまり無線通信の信頼度が低い場合には、無線通信の信頼度が標準値以上の場合に使用されるデフォルトの表示設定とは異なる態様で表示する。通常の表示態様とは異なる表示態様でガイド線を示すことにより、ドライバの注意を喚起できる。無線通信の信頼度が低い場合には、ガイド線の精度が低下する可能性があるものの、ガイド線の態様を変化させることにより、ドライバが周囲の状況に高度の注意を払うように仕向けることができる。
具体的に、遅延時間が長く、遅延状態が悪い場合に表示するガイド線は、遅延時間が短く、遅延状態が悪くない(無線通信の状態が良好)である場合に表示するガイド線と、色、透過度、太さ、態様(一点破線、二点鎖線)が異なるものにする。一例を挙げると、遅延時間が短く、遅延状態が悪くない(無線通信の状態が良好である)場合には、ガイド線を青色、緑色、青紫色などの相対的に目立たない後退色の線、破線、相対的に細い線で表示する。他方、遅延時間が長く、遅延状態が悪い場合には、ガイド線を赤色、実線、オレンジ色、黄色などの相対的に目立つ進出色の線、相対的に太い線で表示する。
なお、図2、4に示す例では、後方の撮像画像の予測画像を提示する例を説明したが、これに代えて、制御装置10は、予測された車両の位置において複数のカメラ1により撮像される予測画像を、予測された位置の上空の仮想視点から車両を見下ろした投影面に投影した一の予測画像を生成し、これを提示することができる。つまり、遅延時間経過後の予測画像を、図2のディスプレイ30の左側領域30Lに示すような俯瞰画像の態様で示すことができる。予測画像は、車両の進行方向の画像についてのみ生成し、他の部分については過去の画像を用いてもよい。車両が後退している場合には、後退方向の画像についてのみ予測画像を生成し、後方の予測画像と前方及び側方の撮像画像とから俯瞰画像を生成する。本例によれば、生成された予測画像により、進行方向のみならず、車両の周囲全体の様子を確認できる。
以下、本発明の第1実施形態の情報提示システム1000の処理手順を説明する。図5は、本実施形態に係る情報提示システム1000の制御手順を示すフローチャートある。
ステップ101において、本実施形態の端末装置100の制御装置10は、無線通信の確立を確認する。無線通信が確立していない場合、つまり、無線通信が途絶している場合には、その旨をディスプレイ30に表示させる。
無線通信が確立している場合には、ステップS102に進み、制御装置10は遅延対策処理を開始する。遅延対策処理では、遅延時間経過後に撮像される予測画像を生成し、これをディスプレイ30に表示する。本実施形態では、移動体が存在する旨の検知情報を取得した場合に、遅延対策処理を開始する。遅延対策処理のトリガは、これに限定されず、無線通信の遅延時間が所定値以上となった場合に、遅延対策処理を開始してもよい。もちろん、本処理は所定周期で繰り返されてもよい。
続くステップ103において、制御装置10は、遅延状態を判断する。遅延状態は遅延時間により判断できる。遅延時間は、車載装置200側で計測してもよいし、端末装置100側で計測してもよい。本実施形態の端末装置100は、車載装置200との同期をとり、所定の情報を車載装置200へ送出してから、車載装置の受領信号を取得するまでの時間を通信の往復に要する時間とし、その半分を通信時間として算出する。制御装置10は、標準の状態で計測した通信時間から実測された通信時間を差し引いて、実測時における遅延時間を算出する。取得した遅延時間により遅延状態に基づいて無線通信の信頼度を判断する。遅延時間が長いほど、遅延状態が悪く、無線通信の信頼度は低い。このとき、端末装置100側における取得した画像情報の解凍及び提示処理に係る時間を考慮して遅延時間及び遅延状態を判断する。制御装置10は、遅延状態に関する判断結果をディスプレイ30に提示する。ドライバに無線通信の信頼度、つまり、提示する情報の信頼度に関する情報を提供するためである。
ステップ104において、制御装置10は車載装置200からカメラ1の撮像画像と、車両の状態情報を取得する。
続くステップ105において、制御装置10は予測画像を生成する。制御装置10は、車両の状態情報に基づいて遅延時間後の車両の位置を予測し、予測された車両の位置においてカメラ1により撮像される予測画像を、取得した撮像画像から生成する。
ステップ106において、制御装置10は、車両の状態情報に基づいて車両が移動すると予測される軌道に沿うガイド線を生成する。
ステップ107において、制御装置10は、生成されたガイド線を、撮像画像又は予測画像に重畳してディスプレイ30に提示する。
以上のとおり構成され、動作する本発明の実施形態に係る端末装置100、情報提示システム1000は、以下の効果を奏する。
[1]本実施形態の情報提示システム1000によれば、無線通信の遅延時間後に車載カメラで撮像されるであろう画像を先読みした予測画像を生成するので、車載装置200と端末装置100との通信に遅れが生じた場合であっても、リアルタイムの車両周囲の状態を示す予測画像を提示することができる。この結果、無線通信に遅延が生じた場合に、端末装置に過去の撮像画像が提示されることを防止できる。
[2]本実施形態の情報提示システム1000によれば、車載装置200と端末装置100とを事前に同期させてから遅延時間を算出するので、正確な遅延時間を算出できる。
[3]本実施形態の情報提示システム1000では、無線通信の遅延のみならず、端末装置100側の処理に要する時間を加算して遅延時間を算出することにより、遅延状態を正確に判断ができる。
[4]本実施形態の情報提示システム1000では、通信装置2の無線通信が途絶している旨を提示することにより、提示されている撮像画像がリアルタイムの画像ではないことをドライバに伝えることができる。
[5]本実施形態の情報提示システム1000では、通信装置2の無線通信の信頼度が低い旨を提示することにより、提示されている撮像画像がリアルタイムの画像ではないことをドライバに伝えることができる。
[6]本実施形態の情報提示システム1000では、遅延時間が長く、遅延状態が悪い、つまり無線通信の信頼度が低い場合には、デフォルトの表示設定とは異なる態様で表示することにより、ドライバの注意を喚起する。無線通信の信頼度が低い場合には、ガイド線の精度が低下する可能性があるものの、ガイド線の態様を変化させることにより、ドライバが周囲の状況に注意を払うようにすることができる。
[7]本実施形態の情報提示システム1000では、車両周囲に移動体が存在する場合には、無線通信の遅延状態を判断するので、特に注意すべき状況において、無線通信の遅延状態に応じた予測画像を提示することができる。
[8]本実施形態の情報提示システム1000では、生成された予測画像により、進行方向のみならず、車両の周囲全体の様子を確認できる。
本明細書では、本発明に係る情報提示システムの一態様として端末装置100及び情報提示システム1000を例にして説明するが、本発明はこれに限定されるものではない。
また、本明細書では、本発明に係る情報提示システムの一態様として、CPU11、ROM12、RAM13を含む制御装置10を備える端末装置100と車載装置200を備える情報提示システム1000を一例として説明するが、これに限定されるものではない。
本明細書では、画像取得手段と、遅延状態判断手段と、予測画像生成手段と、提示手段と、ガイド線生成手段と、移動体検知情報取得手段と、を備える端末装置の一態様として、画像取得機能と、遅延状態判断機能と、予測画像生成機能と、提示機能と、ガイド線生成機能と、移動体検知情報取得機能とを実行する制御装置10と、通信装置20と、ディスプレイ30とを備える端末装置100を説明するが、これに限定されるものではない。
本明細書では、カメラと、通信機能を備える車載装置の一態様として、カメラ1と、通信装置2と、車両コントローラ3と、各種装置4とを備える車載装置200を説明するが、これに限定されるものではない。
1000…情報提示システム
100…端末装置
10…制御装置
11…CPU
12…ROM
13…RAM
20…通信装置
30…ディスプレイ
200…車載装置
1,1a〜1d…カメラ
2…通信装置
3…車両コントローラ
4…各種装置
41…ステアリング制御装置
42…加速度センサ
43…移動体検出装置
100…端末装置
10…制御装置
11…CPU
12…ROM
13…RAM
20…通信装置
30…ディスプレイ
200…車載装置
1,1a〜1d…カメラ
2…通信装置
3…車両コントローラ
4…各種装置
41…ステアリング制御装置
42…加速度センサ
43…移動体検出装置
Claims (9)
- 車両に設けられたカメラを有する車載装置と、前記車載装置と無線通信する端末装置と、を備える情報提示システムにおいて、
前記端末装置は、前記カメラにより撮像された車両の周辺の撮像画像を取得する画像取得手段と、
前記車載装置と前記端末装置との無線通信の遅延時間を含む遅延状態を判断する遅延状態判断手段と、
前記車載装置から前記車両の状態情報を取得し、前記車両の状態情報を用いて前記遅延時間後のタイミングにおける前記車両の位置を予測し、前記遅延時間後のタイミングにおいて移動した前記車両の前記カメラにより撮像される予測画像を、前記遅延時間後のタイミングよりも前のタイミングにおいて取得した前記撮像画像から生成する予測画像生成手段と、
前記予測画像を提示する提示手段と、を有することを特徴とする情報提示システム。 - 前記遅延状態判断手段は、前記車載装置と前記端末装置とを同期させてから、前記車載装置と前記端末装置との無線通信を介した情報の授受に要する時間を計測して、前記遅延時間を算出することを特徴とする請求項1に記載の情報提示システム。
- 前記遅延状態判断手段は、前記端末装置が前記撮像画像を取得してから前記予測画像を提示するまでに要する端末装置側処理時間を取得し、前記端末装置側処理時間と前記無線通信の遅延時間とを加算して情報提示に係る遅延時間を算出し、前記遅延状態を判断することを特徴とする請求項1に記載の情報提示システム。
- 前記遅延状態判断手段は、前記無線通信が途絶したか否かを判断し、前記無線通信が途絶した場合には、前記無線通信が途絶した旨を前記提示手段に提示させることを特徴とする請求項1〜3の何れか一項に記載の情報提示システム。
- 前記遅延状態判断手段は、前記遅延状態に応じた前記無線通信の信頼度を判断し、
前記提示手段は、前記信頼度を提示することを特徴とする請求項1〜4の何れか一項に記載の情報提示システム。 - 前記端末装置は、前記車両の状態情報に基づいて当該車両が移動すると予測される軌道に沿うガイド線を生成するガイド線生成手段をさらに備え、
前記提示手段は、前記生成されたガイド線を前記予測画像に重畳して提示する際に、前記遅延状態判断手段により判断された遅延状態に応じて、前記ガイド線の表示態様を変化させることを特徴とする請求項1〜5の何れか一項に記載の情報提示システム。 - 前記端末装置は、前記車両の周囲に移動体が存在するか否かの検知情報を取得する移動体検知情報取得手段をさらに備え、
前記遅延状態判断手段は、前記移動体が存在するか旨の検知情報を取得した場合には、前記遅延状態を判断することを特徴とする請求項1〜6の何れか一項に記載の情報提示システム。 - 前記カメラは、前記車両の異なる位置に複数配置され、
前記予測画像生成手段は、前記予測された車両の位置において前記複数のカメラにより撮像される予測画像を、前記予測された位置の上空の仮想視点から当該車両を見下ろした投影面に投影した一の予測画像を生成することを特徴とする請求項1〜7の何れか一項に記載の情報提示システム。 - 前記予測画像生成手段は、前記無線通信の遅延時間が所定値以上である場合に、前記予測画像を、前記遅延時間後のタイミングよりも前のタイミングにおいて取得した前記撮像画像から切り取ることにより生成し、
前記提示手段は、前記予測画像が生成された場合には当該生成された予測画像を提示し、前記予測画像が生成されない場合には前記撮像画像を提示することを特徴とする請求項1〜8の何れか一項に記載の情報提示システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013200958 | 2013-09-27 | ||
JP2013200958 | 2013-09-27 | ||
PCT/JP2014/068919 WO2015045578A1 (ja) | 2013-09-27 | 2014-07-16 | 情報提示システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015045578A1 JPWO2015045578A1 (ja) | 2017-03-09 |
JP6107960B2 true JP6107960B2 (ja) | 2017-04-05 |
Family
ID=52742735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015538979A Active JP6107960B2 (ja) | 2013-09-27 | 2014-07-16 | 情報提示システム |
Country Status (7)
Country | Link |
---|---|
US (1) | US20160227098A1 (ja) |
EP (1) | EP3051808B1 (ja) |
JP (1) | JP6107960B2 (ja) |
CN (1) | CN105580358B (ja) |
BR (1) | BR112016006666B1 (ja) |
RU (1) | RU2647688C2 (ja) |
WO (1) | WO2015045578A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201406405D0 (en) * | 2014-04-09 | 2014-05-21 | Jaguar Land Rover Ltd | Apparatus and method for displaying information |
WO2016194039A1 (ja) * | 2015-05-29 | 2016-12-08 | 日産自動車株式会社 | 情報提示システム |
JP2017022660A (ja) * | 2015-07-14 | 2017-01-26 | シャープ株式会社 | 表示装置、表示システム及びプログラム |
US10962780B2 (en) * | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
US10086871B2 (en) * | 2015-12-02 | 2018-10-02 | GM Global Technology Operations LLC | Vehicle data recording |
KR102441328B1 (ko) | 2016-01-28 | 2022-09-08 | 삼성전자주식회사 | 이동 로봇이 전송한 화면을 표시하는 방법 및 그 전자장치 |
JP6478935B2 (ja) * | 2016-03-16 | 2019-03-06 | 株式会社東芝 | 車両通信装置、路側通信装置及び通信システム |
CN109691088B (zh) * | 2016-08-22 | 2022-04-15 | 索尼公司 | 图像处理设备、图像处理方法、以及程序 |
WO2018116588A1 (ja) * | 2016-12-22 | 2018-06-28 | カルソニックカンセイ株式会社 | 画像表示制御装置 |
JP6433537B2 (ja) | 2016-12-22 | 2018-12-05 | カルソニックカンセイ株式会社 | 画像表示制御装置 |
WO2019035177A1 (ja) * | 2017-08-15 | 2019-02-21 | 三菱電機株式会社 | 車載表示装置、画像処理装置および表示制御方法 |
JP2019220009A (ja) * | 2018-06-21 | 2019-12-26 | ルネサスエレクトロニクス株式会社 | 半導体装置、メッセージ画像出力方法、およびプログラム |
WO2020202384A1 (ja) * | 2019-03-29 | 2020-10-08 | 本田技研工業株式会社 | 端末装置、通信システム、通信方法、及びプログラム |
DE102019002789B4 (de) * | 2019-04-16 | 2022-01-05 | Daimler Ag | Verfahren und Vorrichtung zur Steuerung eines automatisiert fahrenden Fahrzeuges |
KR20210060690A (ko) * | 2019-11-18 | 2021-05-27 | 현대자동차주식회사 | 차량 및 그 후방 영상 제공 방법 |
CN112991805A (zh) * | 2021-04-30 | 2021-06-18 | 湖北亿咖通科技有限公司 | 一种辅助驾驶方法和装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000078480A (ja) * | 1998-08-31 | 2000-03-14 | Sony Corp | 撮像装置及び撮像方法 |
JP2001266163A (ja) * | 2000-03-17 | 2001-09-28 | Nissan Motor Co Ltd | 車両用画像処理装置 |
JP2005303450A (ja) * | 2004-04-07 | 2005-10-27 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺監視装置 |
JP4590962B2 (ja) * | 2004-07-21 | 2010-12-01 | 日産自動車株式会社 | 車両用周辺監視装置 |
JP4977568B2 (ja) * | 2007-09-28 | 2012-07-18 | 日産自動車株式会社 | 現在位置情報通知システム、センタ装置及び誤差補正方法 |
JP4412380B2 (ja) * | 2007-10-02 | 2010-02-10 | アイシン・エィ・ダブリュ株式会社 | 運転支援装置、運転支援方法及びコンピュータプログラム |
JP2009118169A (ja) * | 2007-11-06 | 2009-05-28 | Victor Co Of Japan Ltd | 画像無線伝送システム及び画像表示装置 |
JP5543098B2 (ja) * | 2008-11-14 | 2014-07-09 | キヤノン株式会社 | 撮像装置 |
JP5071743B2 (ja) * | 2010-01-19 | 2012-11-14 | アイシン精機株式会社 | 車両周辺監視装置 |
JP5445218B2 (ja) * | 2010-02-25 | 2014-03-19 | マツダ株式会社 | 駐車支援システム |
JP5258859B2 (ja) * | 2010-09-24 | 2013-08-07 | 株式会社豊田中央研究所 | 走路推定装置及びプログラム |
JP2012162130A (ja) | 2011-02-04 | 2012-08-30 | Aisin Aw Co Ltd | 運転支援装置、運転支援方法及びコンピュータプログラム |
JP2012176656A (ja) * | 2011-02-25 | 2012-09-13 | Fuji Heavy Ind Ltd | 駐車支援装置 |
JP5861279B2 (ja) * | 2011-06-23 | 2016-02-16 | 日産自動車株式会社 | 車両用監視装置及び車両の監視方法 |
WO2013081985A1 (en) * | 2011-11-28 | 2013-06-06 | Magna Electronics, Inc. | Vision system for vehicle |
JP2014029380A (ja) * | 2012-07-31 | 2014-02-13 | Sony Corp | 情報処理装置、情報処理方法、プログラム及び画像表示装置 |
US9519286B2 (en) * | 2013-03-19 | 2016-12-13 | Robotic Research, Llc | Delayed telop aid |
WO2015017541A1 (en) * | 2013-07-30 | 2015-02-05 | Robert Bosch Gmbh | Adaptive methods for wireless camera communication |
-
2014
- 2014-07-16 US US15/024,627 patent/US20160227098A1/en not_active Abandoned
- 2014-07-16 JP JP2015538979A patent/JP6107960B2/ja active Active
- 2014-07-16 RU RU2016110774A patent/RU2647688C2/ru active
- 2014-07-16 CN CN201480052059.3A patent/CN105580358B/zh active Active
- 2014-07-16 EP EP14848735.8A patent/EP3051808B1/en active Active
- 2014-07-16 BR BR112016006666-9A patent/BR112016006666B1/pt active IP Right Grant
- 2014-07-16 WO PCT/JP2014/068919 patent/WO2015045578A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN105580358B (zh) | 2017-07-07 |
EP3051808A1 (en) | 2016-08-03 |
JPWO2015045578A1 (ja) | 2017-03-09 |
BR112016006666A2 (pt) | 2017-08-01 |
EP3051808A4 (en) | 2016-10-12 |
EP3051808B1 (en) | 2018-11-14 |
RU2647688C2 (ru) | 2018-03-16 |
CN105580358A (zh) | 2016-05-11 |
US20160227098A1 (en) | 2016-08-04 |
RU2016110774A (ru) | 2017-11-01 |
BR112016006666B1 (pt) | 2023-04-04 |
WO2015045578A1 (ja) | 2015-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6107960B2 (ja) | 情報提示システム | |
JP6451840B2 (ja) | 情報提示システム | |
JP7029910B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US11214248B2 (en) | In-vehicle monitoring camera device | |
CN107211085B (zh) | 摄像装置和摄像方法 | |
TW200930010A (en) | System and method for warning parking via a mobile phone | |
TWI506601B (zh) | 車輛監控系統和車輛監控方法 | |
US10922976B2 (en) | Display control device configured to control projection device, display control method for controlling projection device, and vehicle | |
KR101305310B1 (ko) | 차량의 어라운드 뷰 제공 방법 | |
JP2015028711A (ja) | 車両の交通環境情報記録装置 | |
US20220172490A1 (en) | Image processing apparatus, vehicle control apparatus, method, and program | |
JP2013141876A (ja) | 車両周辺監視装置 | |
KR20130053605A (ko) | 차량의 주변영상 표시 장치 및 그 방법 | |
JP4644590B2 (ja) | 周辺車両位置検出装置および周辺車両位置検出方法 | |
JP6547788B2 (ja) | 情報処理システム、情報処理装置及びプログラム | |
JP2005029025A (ja) | 車載表示装置、画像表示方法および画像表示プログラム | |
JP2018073036A (ja) | 画像取得方法、画像表示システム、及びコンピュータプログラム | |
WO2017183128A1 (ja) | 端末装置位置推定方法、情報表示方法、及び端末装置位置推定装置 | |
WO2023189568A1 (ja) | 画像生成装置、方法及びプログラム | |
WO2023089834A1 (ja) | 映像表示システム、映像表示方法、および映像表示装置 | |
JP2017022660A (ja) | 表示装置、表示システム及びプログラム | |
JP2018074315A (ja) | 画像表示システム、画像表示方法及びコンピュータプログラム | |
JP2018148484A (ja) | 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム | |
JPWO2015045567A1 (ja) | 予測進路提示装置及び予測進路提示方法 | |
JP2019009599A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170220 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6107960 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |