JP2021136584A - 映像情報出力装置 - Google Patents
映像情報出力装置 Download PDFInfo
- Publication number
- JP2021136584A JP2021136584A JP2020031604A JP2020031604A JP2021136584A JP 2021136584 A JP2021136584 A JP 2021136584A JP 2020031604 A JP2020031604 A JP 2020031604A JP 2020031604 A JP2020031604 A JP 2020031604A JP 2021136584 A JP2021136584 A JP 2021136584A
- Authority
- JP
- Japan
- Prior art keywords
- future
- display area
- video information
- vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012806 monitoring device Methods 0.000 claims abstract description 32
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 abstract description 44
- 238000004088 simulation Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000011265 semifinished product Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
また、特許文献2のように選択された領域を遠方領域として拡大表示すると、当該遠方領域の確認はできるが、選択された領域以外の確認ができない。また、注視したい領域を自身で選択するために時間と手作業が必要となる。
表示装置に表示する映像を示す映像情報を生成し出力する映像情報出力装置であって、
車両の周囲の映像である車両周囲映像を取得する映像取得部(31)と、
前記車両が将来に走行する予定の軌跡である将来軌跡を取得する将来軌跡取得部(32)と、
前記将来軌跡に基づいて、前記表示装置で表示する表示領域を示す表示領域情報を生成する表示領域情報算出部(33)と、
前記車両周囲映像と前記表示領域情報を関連付けて、将来の映像を模した情報である将来模擬映像情報を生成し出力する将来模擬映像情報出力部(34)と、
を備える。
(1)遠隔監視システム
図1を用いて、本発明の実施形態1の映像情報出力装置30が使用される遠隔監視システム1を説明する。
以下、図2から図8までの図面を用いて、本実施形態の映像情報出力装置30及びこれに関連する装置について説明する。
車載装置10は、カメラ11、将来軌跡生成部12、映像情報出力装置30、車載側映像送信部13から構成される。一方、遠隔監視装置20は、監視側映像受信部21、表示装置22、指示入力部23、指示送信部24から構成される。
また、「映像」とは、1枚以上の画像から構成された動画像の他、静止画像であってもよい。また、カメラのレンズを通して撮像された映像の他、LIDAR(LIght Detection And Ranging)等の距離センサのスキャニングで得られた3次元データから2次元データに変換された映像でもよい。
ここで、「周囲」とは、必ずしも360度の範囲をカバーする必要はなく、その一部でもよい。例えば、車両前方のみ、又は車両前方及び後方のみ、でもよい。
また、「取得」とは、自ら生成する場合の他、記憶装置等からの読出しや、有線又は無線通信を用いて受信する場合も含む。
また、映像取得部31は、カメラ11から直接ではなく、カメラ11が撮影した車両周囲映像が記憶されたメモリから読み出すことにより取得してもよい。
座標データは、WGS84(World Geodetic System 1984)等の絶対座標に基づく絶対位置で示される座標でもよいし、自車両を原点とした相対座標に基づく相対位置で示される座標でもよい。また、座標データや移動ベクトルは、例えば道路平面における2次元座標若しくは2次元ベクトルでもよいし、平面ではなく高さも含んだ3次元の座標データ若しくは3次元ベクトルで表されてもよい。
また、将来軌跡取得部32は、将来軌跡生成部12からではなく、あらかじめ生成した将来軌跡が保存されたメモリから読み出すことにより取得してもよい。
図5は、図4の画像に対し、さらに各ウェイポイントから求めた表示領域を重畳したものである。図5も図4と同様、表示領域情報の説明のために車両周囲映像を表示しているが、実際の車両周囲映像が重畳される必要は必ずしもない。
図6(1)は、ウェイポイントの位置から求めた表示領域の大きさと位置を示す。ウェイポイントの位置及び表示領域の位置は、車両周囲映像を構成する画像と等しい領域である表示領域a0の左下端を原点として、横軸をx、縦軸をyとしたときの二次元座標で表される。
表示領域の大きさは、表示領域a0に対する大きさとして表現できる。各ウェイポイントに対応する表示領域は、表示領域a0と相似形である。つまり、表示領域の縦横比は変わらない。したがって、各ウェイポイントに対応する表示領域の大きさは、表示領域a0に対する相似比、又は面積比で表すことができる。図6(1)では、表示領域の大きさは、表示領域a0に対する面積比(倍)で示している。
M=−0.01y+1 ・・・・(数1)
例えば、y1が10とすると、数1から、表示領域a1の相似比Mは0.9である。また、y4が50とすると、数1から、表示領域a1の相似比Mは0.5である。面積比は相似比の2乗で表されるので、図8(1)に示すように、表示領域の大きさは、表示領域a1について0.81、表示領域a4について0.25と求めることができる。
図6(2)に示すように、表示領域a0において、WP0は表示領域a0の下端の辺をR1とR2の比に内分している。各表示領域は相似形であり、また各ウェイポイントはカメラ11の視野上、常に一定の位置にあることから、各表示領域におけるウェイポイントの相対位置は変わらない。これを利用すれば、表示領域情報算出部33は、ウェイポイントが表示領域の下端上に位置するように、表示領域の位置を設定すればよい。例えば、図6(2)(3)に示す通り、表示領域a4の位置は、WP4が表示領域a4の下端の辺の上に位置し、かつ表示領域a4の下端の辺をR1とR2の比に内分する点となるように設定すればよい。
なお、この例のようにウェイポイントの位置と表示領域の位置とが同じである場合は、表示領域の位置をウェイポイントの位置で代用し、省略することができる。
また、「将来の映像を模した」とは、車両が将来軌跡を走行した場合に、車両が取得すると想定される映像を模擬することをいう。
図7において、前段には、自動運転車両90が一定速度で走行すると仮定したとき、各ウェイポイントを通過する通過時刻が求められるとともに、各ウェイポイントに対応する表示領域情報が紐づけられている。後段には、各ウェイポイントを通過する時刻に対応する撮影時刻に撮影されたフレームが紐づけられている。そして、これらのテーブルを用いて撮影時刻と通過時刻とを介することにより、車両周囲映像を構成する画像であるフレームと表示領域とを関連付けることができる。
また、図7の例では、各ウェイポイントを通過する時刻に対応する撮影時刻に撮影されたフレームを用いているが、一のウェイポイントから次のウェイポイントまでの時間に相当する動画を用いてもよい。動画を用いることにより、映像が連続的に変化する場合でも監視者に違和感を感じさせない映像とすることができる。
図8において、時刻0における車両周囲映像を表示領域a0で切り抜き拡大した部分映像がb0である。以下同様に、時刻Tpにおける車両周囲映像を表示領域a1で切り抜き拡大した部分映像がb1、時刻4Tpにおける車両周囲映像を表示領域a4で切り抜き拡大した部分映像がb4、時刻5Tpにおける車両周囲映像を表示領域a5で切り抜き拡大した部分映像がb5、時刻6Tpにおける車両周囲映像を表示領域a6で切り抜き拡大した部分映像がb6である。
例えば、将来模擬映像情報を入念に確認するために将来模擬映像情報をスローで再度出力する指示、将来模擬映像情報を迅速に確認するために将来模擬映像情報を早送りで再度出力する指示、将来模擬映像情報を途中で止める一時停止の指示等が挙げられる。
スローモードの動作指示があった場合は時間間隔値Tpを例えば2倍にする。これにより、表示領域情報が変更される間隔が通常より遅くなり、将来模擬映像情報を入念に確認することができる。
倍速モードの動作指示があった場合は時間間隔値Tpを例えば0.5倍にする。これにより、表示領域情報が変更される間隔が通常より速くなり、将来模擬映像情報を再度かつ迅速に確認することができる。
一時停止の動作指示があった場合は時間間隔値Tpを例えば無限大にする。これにより、表示領域情報は動作指示があった時間以降、表示領域情報が変更されず、特定軌跡上での安全性を詳細に確認できる。
次に、図9を用いて本実施形態の映像情報出力装置30の動作について説明する。
なお、以下の動作は、映像情報出力装置30における映像情報出力方法を示すだけでなく、映像情報出力装置30で実行される映像情報出力プログラムの処理手順を示すものである。
そして、これらの処理は、図9で示した順序には限定されない。すなわち、あるステップでその前段のステップの結果を利用する関係にある等の制約がない限り、順序を入れ替えてもよい。
以上、本実施形態だけでなく、他の実施形態や変形例においても同様である。
具体的には、将来軌跡を構成するウェイポイントの情報を取得する。
具体的には、ウェイポイントごとに、表示領域の大きさと位置を求める。
具体的には、車両周囲映像の撮影時刻とウェイポイントを通過する通過時刻を介することにより、車両周囲映像を構成する画像であるフレームと表示領域とを関連付ける。
以下、図10を用いて、遠隔監視システム1の監視者による自動運転車両を監視する監視手順について説明する。また、その監視作業と実施形態1の映像情報出力装置30の動作との関連についても併せて説明する。
危険性がないと判断できない場合はS305の作業に進む。
次に、実施形態2の映像情報出力装置40の構成について説明する。
図11は、実施形態2の映像情報出力装置40の構成を説明するための遠隔監視システム全体のブロック図である。実施形態1の映像情報出力装置30と同様の構成については図2と同一の符号を付し、図2の説明を引用する。
このように本実施形態においては、車両周囲映像と、車両周囲映像と関連付けられた表示領域情報とが遠隔監視装置20に送信される。つまり、本実施形態では、これらを併せて将来模擬映像情報として出力している。
次に、実施形態3の映像情報出力装置50の構成について説明する。
図12は、本実施形態の映像情報出力装置50の構成を説明するための遠隔監視システム全体のブロック図である。実施形態1の映像情報出力装置30と同様の構成については図2と同一の符号を付し、図2の説明を引用する。
また、映像情報出力装置50で用いる将来軌跡は、車載側軌跡送信部16から送信されたものを、将来軌跡取得部32で受信することにより取得される。
次に、実施形態4の映像情報出力装置60の構成について説明する。
図13は、本実施形態の映像情報出力装置60の構成を説明するための遠隔監視システム全体のブロック図である。実施形態1の映像情報出力装置30と同様の構成については図2と同一の符号を付し、図2の説明を引用する。
次に、実施形態5の映像情報出力装置70の構成について説明する。
図14は、本実施形態の映像情報出力装置70の構成を説明するための車載装置10のブロック図である。実施形態1の映像情報出力装置30と同様の構成については図2と同一の符号を付し、図2の説明を引用する。
(1)視点変換
各実施形態では、将来模擬映像情報を生成するにあたり、図5のように自動運転車両90が車両101を回避する状況を例に挙げて説明した。しかしながら、将来模擬映像情報を用いて安全性を確認する必要のある状況はこれに限らない。
各実施形態の映像情報出力装置は、将来模擬映像情報を、自動運転車両90が停止している場合だけでなく、走行している場合も生成し出力してもよい。これにより、走行中の進路変更時や旋回時の監視に利用することができる。
以上、本発明の各実施形態における映像情報出力装置等の特徴について説明した。
各実施形態で使用した用語は例示であるので、同義の用語、あるいは同義の機能を含む用語に置き換えてもよい。
部品の形態として、半導体素子、電子回路、モジュール、マイクロコンピュータが挙げられる。
半完成品の形態として、電子制御装置(ECU(Electric Control Unit))、システムボードが挙げられる。
完成品の形態として、携帯電話、スマートフォン、タブレット、パーソナルコンピュータ(PC)、ワークステーション、サーバが挙げられる。
その他、通信機能を有するデバイス等を含み、例えばビデオカメラ、スチルカメラ、カーナビゲーションシステムが挙げられる。
Claims (11)
- 表示装置に表示する映像を示す映像情報を生成し出力する映像情報出力装置であって、
車両の周囲の映像である車両周囲映像を取得する映像取得部(31)と、
前記車両が将来に走行する予定の軌跡である将来軌跡を取得する将来軌跡取得部(32)と、
前記将来軌跡に基づいて、前記表示装置で表示する表示領域を示す表示領域情報を生成する表示領域情報算出部(33)と、
前記車両周囲映像と前記表示領域情報を関連付けて、将来の映像を模した情報である将来模擬映像情報を生成し出力する将来模擬映像情報出力部(34)と、
を備える映像情報出力装置(30,40,50,60,70)。 - 前記将来模擬映像情報出力部は、前記車両周囲映像と前記表示領域情報とを関連付ける関連付け部(35)と、
前記車両周囲映像の一部を、前記関連付け部で前記車両周囲映像と関連付けられた前記表示領域情報を用いて切り抜くことにより部分映像を生成する切り抜き部を備え(36)、
前記部分映像を前記将来模擬映像情報とする、
請求項1記載の映像情報出力装置(30)。 - 前記切り抜き部は、さらに、前記部分映像を切り抜き前の前記車両周囲映像と同じ大きさに拡大する、
請求項2記載の映像情報出力装置。 - 前記将来模擬映像情報出力部は、前記車両周囲映像と前記表示領域情報とを関連付ける関連付け部(35)を有し、
前記車両周囲映像と、前記関連付け部で前記車両周囲映像と関連付けられた前記表示領域情報と、を併せて前記将来模擬映像情報とする、
請求項1記載の映像情報出力装置(40)。 - 前記将来軌跡は、複数の区切り点から構成され、
前記表示領域情報は、前記区切り点ごとの前記表示領域を示し、
前記表示領域情報算出部は、前記区切り点が前記車両周囲映像を構成する画像の下端から離れるほど、前記表示領域の大きさを小さく設定する、
請求項1記載の映像情報出力装置。 - 前記将来軌跡は、複数の区切り点から構成され、
前記表示領域情報は、前記区切り点ごとの前記表示領域を示し、
前記表示領域情報算出部は、前記区切り点が前記表示領域の下端の辺の上に位置するように、前記画像における前記表示領域の位置を設定する、
請求項5記載の映像情報出力装置。 - 前記切り抜き部は、さらに、前記将来軌跡と車両中心線とが成す角度に応じて、前記部分画像の視点を変更する変換処理である視点変換を行う、
請求項2記載の映像情報出力装置。 - 前記将来模擬映像情報出力部は、前記将来模擬映像情報を、前記車両を前記車両の外部から監視する遠隔監視装置に出力し、
前記遠隔監視装置は、前記表示装置(22)を有する、
請求項1記載の映像情報出力装置(30,40,50,60)。 - 前記将来模擬映像情報出力部は、前記将来模擬映像情報を、前記車両に搭載される前記表示装置(17)に出力する、
請求項1記載の映像情報出力装置(70)。 - 表示装置に表示する映像を示す映像情報を生成し出力する映像情報出力方法であって、
車両の周囲の映像である車両周囲映像を取得し(S101)、
前記車両が将来に走行する予定の軌跡である将来軌跡を取得し(S102)、
前記将来軌跡に基づいて、前記表示装置で表示する表示領域を示す表示領域情報を生成し(S103)、
前記車両周囲映像と前記表示領域情報を関連付けて、将来の映像を模した情報である将来模擬映像情報を生成し出力する(S104,S105)、
映像情報出力方法。 - 表示装置に表示する映像を示す映像情報を生成し出力する映像情報出力装置で実行する映像情報出力プログラムであって、
車両の周囲の映像である車両周囲映像を取得し(S101)、
前記車両が将来に走行する予定の軌跡である将来軌跡を取得し(S102)、
前記将来軌跡に基づいて、前記表示装置で表示する表示領域を示す表示領域情報を生成し(S103)、
前記車両周囲映像と前記表示領域情報を関連付けて、将来の映像を模した情報である将来模擬映像情報を生成し出力する(S104,S105)、
映像情報出力装置で実行可能な映像情報出力プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020031604A JP7314834B2 (ja) | 2020-02-27 | 2020-02-27 | 映像情報出力装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020031604A JP7314834B2 (ja) | 2020-02-27 | 2020-02-27 | 映像情報出力装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021136584A true JP2021136584A (ja) | 2021-09-13 |
JP7314834B2 JP7314834B2 (ja) | 2023-07-26 |
Family
ID=77661744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020031604A Active JP7314834B2 (ja) | 2020-02-27 | 2020-02-27 | 映像情報出力装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7314834B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006033264A (ja) * | 2004-07-14 | 2006-02-02 | Denso Corp | 車々間通信制御システム、車載通信システムおよび通信状態表示装置 |
JP2008145364A (ja) * | 2006-12-13 | 2008-06-26 | Nissan Motor Co Ltd | 経路案内装置 |
WO2018087879A1 (ja) * | 2016-11-11 | 2018-05-17 | 本田技研工業株式会社 | 遠隔操作システム、交通システム、および遠隔操作方法 |
JP2019049888A (ja) * | 2017-09-11 | 2019-03-28 | 株式会社Ihiエアロスペース | 遠隔操縦用表示装置と遠隔操縦用表示方法 |
-
2020
- 2020-02-27 JP JP2020031604A patent/JP7314834B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006033264A (ja) * | 2004-07-14 | 2006-02-02 | Denso Corp | 車々間通信制御システム、車載通信システムおよび通信状態表示装置 |
JP2008145364A (ja) * | 2006-12-13 | 2008-06-26 | Nissan Motor Co Ltd | 経路案内装置 |
WO2018087879A1 (ja) * | 2016-11-11 | 2018-05-17 | 本田技研工業株式会社 | 遠隔操作システム、交通システム、および遠隔操作方法 |
JP2019049888A (ja) * | 2017-09-11 | 2019-03-28 | 株式会社Ihiエアロスペース | 遠隔操縦用表示装置と遠隔操縦用表示方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7314834B2 (ja) | 2023-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9902403B2 (en) | Sensory stimulation for an autonomous vehicle | |
US10546560B2 (en) | Systems and methods for presenting virtual content in a vehicle | |
JP6591087B2 (ja) | 表示制御装置、表示装置および表示制御方法 | |
JP6485732B2 (ja) | 情報提供装置、情報提供方法及び情報提供用制御プログラム | |
US11410634B2 (en) | Information processing apparatus, information processing method, display system, and mobile object | |
CN110678371A (zh) | 车辆控制***、车辆控制方法及车辆控制程序 | |
KR102550382B1 (ko) | 화상 표시 시스템, 정보 처리 장치, 정보 처리 방법, 프로그램, 및 이동체 | |
JP6744064B2 (ja) | 自動車用画像表示システム | |
JP6906052B2 (ja) | 車両の方向転換時のバーチャネルカメラの向きを調整するための方法およびシステム | |
JP6665605B2 (ja) | 表示制御装置及び表示制御方法 | |
JP7371629B2 (ja) | 情報処理装置、情報処理方法、プログラム、及び、車両 | |
US20180182261A1 (en) | Real Time Car Driving Simulator | |
US10800431B2 (en) | Vehicle | |
JP2018037001A (ja) | 車両用運転支援装置 | |
JP2019109707A (ja) | 表示制御装置、表示制御方法および車両 | |
JP2017056747A (ja) | 表示制御装置、表示装置および音像位置制御方法 | |
US11276139B2 (en) | Way to generate images with distortion for fisheye lens | |
JP5687879B2 (ja) | 情報処理装置、自動車、情報処理方法及びプログラム | |
JP2020095044A (ja) | 表示制御装置及び表示制御方法 | |
JP2021136584A (ja) | 映像情報出力装置 | |
CN113119862B (zh) | 一种用于辅助驾驶的抬头显示设备 | |
JP7361486B2 (ja) | 情報提示装置、情報提示方法、及びプログラム | |
JP7143728B2 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP2021037916A (ja) | 表示制御装置及び表示制御プログラム | |
JP2021060808A (ja) | 表示制御システム及び表示制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220519 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230626 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7314834 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |