JP2019117435A - 画像生成装置 - Google Patents
画像生成装置 Download PDFInfo
- Publication number
- JP2019117435A JP2019117435A JP2017249682A JP2017249682A JP2019117435A JP 2019117435 A JP2019117435 A JP 2019117435A JP 2017249682 A JP2017249682 A JP 2017249682A JP 2017249682 A JP2017249682 A JP 2017249682A JP 2019117435 A JP2019117435 A JP 2019117435A
- Authority
- JP
- Japan
- Prior art keywords
- image
- point cloud
- cloud information
- vehicle
- dimensional space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
【課題】所謂点群情報を利用して、エンタテインメント性を向上させることができる情報処理装置を提供する。【解決手段】情報処理装置1は、処理部12が、自車Caや他車Cb1、Cb2或いは路側機5、信号機6から点群情報を取得し、その取得した点群情報に基づき自車Ca周辺の三次元地図画像を生成して、表示部14に三次元地図画像を表示する。【選択図】図1
Description
本発明は、物体の外観画像を生成する生成部を備えた画像生成装置に関する。
従来、レーザレーダを用いて、車両の前方等の検出領域(すなわち、物体を検出するための対象となる領域)に存在する物体上の複数の点に対して3次元空間上の位置を取得し、その物体を認識する技術が提案されている。例えば、特許文献1には、前記位置が取得された点をクラスタリングしてクラスタ点群を取得し、そのクラスタ点群に係る測定量の時間的変動に基づき、クラスタ点群に対応する物体を識別することとしている。
上述したように、レーザレーダ(以下、LiDAR(Light Detection And Ranging)とも称する)は、移動体としての車両等の周辺に存在する物体の認識に用いられている。しかしながら、レーザレーダによって取得された情報(所謂点群情報)は、このような物体の認識以外に利用されてはいない。
一方で、今後自動運転機能を搭載した車両において、自動運転中の移動時間におけるエンタテインメント性の向上が期待されている。しかし、レーザレーダによって取得された情報を、エンタテインメント性の向上に利用するという思想は、従来は存在していなかった。
本発明が解決しようとする課題としては、所謂点群情報を利用して、エンタテインメント性を向上させることが一例として挙げられる。
上記課題を解決するために、請求項1に記載の発明は、移動体が有する表示部に表示される画像を生成する生成部を備える画像生成装置であって、前記画像生成装置が配置された前記移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得する取得部と、前記取得部によって取得された前記点群情報に基づき、少なくとも前記移動体の周辺を含む三次元空間を示す三次元空間画像を生成する生成部と、を備えることを特徴としている。
請求項8に記載の発明は、移動体が有する表示部に表示される画像を生成する画像生成装置で実行される画像生成方法であって、前記画像生成装置が配置された前記移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得する取得工程と、前記取得工程において取得された前記点群情報に基づき、少なくとも前記移動体の周辺を含む三次元空間を示す前記移動体周辺の三次元空間画像を生成する生成工程と、を含むことを特徴としている。
請求項9に記載の発明は、請求項8に記載の画像生成方法を、コンピュータにより実行させることを特徴としている。
以下、本発明の一実施形態にかかる画像生成装置を説明する。本発明の一実施形態にかかる画像生成装置は、取得部が画像生成装置が配置された移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得し、生成部が取得部によって取得された点群情報に基づき、少なくとも移動体の周辺を含む三次元空間を示す三次元空間画像を生成する。このようにすることにより、複数の装置から取得した点群情報に基づいて、例えば、自車周辺の三次元空間を再現して他車や歩行者等も含む街並みの画像を生成することができる。そして、その再現された三次元空間を自車が走行するような表示や演出をすることができる。
また、取得部は逐次点群情報を取得し、生成部は、逐次取得された点群情報に基づいて三次元空間画像を更新してもよい。このようにすることにより、三次元空間画像をリアルタイムに更新することができ、現実の走行状態に沿った表示や演出をすることができる。
また、前記生成部は、前記三次元空間画像を動画像として生成してもよい。このようにすることにより、逐次取得された点群情報に基づいて変化する動画像として三次元空間画像を構成することができる。したがって、よりリアルな表示や演出をすることができる。
また、生成部は、外部装置から取得した点群情報と、移動体に配置されたセンサが取得した点群情報と、に基づいて三次元空間画像を生成してもよい。このようにすることにより、自身に設置されているセンサ等の検出範囲外の点群情報を取得することができる。したがって、より広範囲の三次元空間画像を生成することができる。
また、外部装置には、他の移動体に搭載された点群情報を取得する装置が含まれ、取得部は、他の移動体から点群情報を取得してもよい。このようにすることにより、移動体の周囲を走行している他の移動体が取得した点群情報に基づいて三次元空間画像を生成することができる。
また、外部装置には、走行路に設置された路側機が含まれ、取得部は、路側機から点群情報を取得してもよい。このようにすることにより、他の移動体が少ない場合であっても、路側機が取得した点群情報に基づいて外観画像を生成することができる。
また、三次元空間画像の視点の位置を調整操作可能な操作部を備え、生成部は、操作部による視点の位置の調整に応じて視点の位置を変化させた三次元空間画像を生成してもよい。このようにすることにより、例えば三次元空間内の様々な視点からみた画像を表示をさせることが可能となる。したがって、搭乗者等の好みに合わせて視点を変化させることができるので、飽きさせない表示をすることができる。
本発明の一実施形態にかかる画像生成方法は、取得工程で画像生成装置が配置された移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得し、生成工程で取得工程において取得された点群情報に基づき、少なくとも移動体の周辺を含む三次元空間を示す三次元空間画像を生成する。このようにすることにより、複数の装置から取得した点群情報に基づいて、例えば、自車周辺の三次元空間を再現した他車や歩行者等も含む街並みの画像を生成することができる。そして、その再現した三次元空間を自車が走行するような表示や演出をすることができる。
また、上述した画像生成方法をコンピュータにより実行させる画像生成プログラムとしてもよい。このようにすることにより、複数の装置から取得した点群情報に基づいて、例えば、自車周辺の三次元空間を再現した他車や歩行者等も含む街並みの画像をコンピュータを利用して生成することができる。そして、その再現した三次元空間を自車が走行するような表示や演出をすることができる。
本発明の第1の実施例にかかる画像生成装置としての情報処理装置1を図1〜図7を参照して説明する。情報処理装置1は、図1に示したように、移動体としての車両C(Ca、Cb)に搭載されている。なお、本実施例において、車両Cは、常時自律的に走行可能な車両(自動運転車両)又は、自動運転と手動運転とを切り替え可能な車両として説明する。また、図1において、車両Caは以後の説明では必要に応じて自車両(自車)として扱い、車両Cbは他車両(他車)として扱う。
また、車両Cには、ライダ2が搭載されている。ライダ2は、当該ライダ2が搭載された周囲に存在する物体を認識するためのセンサであり、LiDAR(Light Detection And Ranging)とも表記される。ライダ2は、レーザ光等の光を照射してその光の反射光により、外界に存在する物体までの距離を離散的に測定し、当該物体の位置や形状等を三次元の点群として認識する公知のセンサである。したがって、ライダ2で取得された点群は車両Cが移動する周囲に存在する建物や道路等の構造物を含む地物を複数の点により三次元状に表した情報(点群情報)となる。尚、ライダ2は、自車が走行している道路上の標識や道路に沿って存在する建築物や街路樹等の地物以外にも、自車の周辺に存在する歩行者や他車等を認識してもよい。
図1では主に車両Cの前方の物体を検出するライダ2a、主に車両Cの後方の物体を検出するライダ2b、主に車両Cの左側方の物体を検出するライダ2c、主に車両Cの右側方の物体を検出するライダ2dが記載されている。ライダ2の搭載位置や数は図1に限らず他の配置や数であってもよい。
また、本実施例では、ライダは車両C以外に路側機5としても設置されている。路側機5として設置されるのは、例えば信号機や高速道路等における合流地点や、各種道路標識や看板等が挙げられる。図1の場合、路側機5は、上下線それぞれに路側機5a、路側機5bとして設置されている。
図2に本実施例にかかる情報処理装置1の機能構成図を示す。情報処理装置1は、通信部11と、処理部12と、記憶部13と、表示部14と、操作部15と、I/F16と、を備えている。
通信部11は、他車両である車両Cbや路側機5から点群情報等を受信する。通信部11は、例えば車車間通信や路車間通信により点群情報を受信することができる。或いは、Bluetooth(登録商標)やWi−Fi(登録商標)等の既存の無線通信により点群情報を受信してもよい。
処理部12は、例えばCPU(Central Processing Unit)とメモリ等を有するマイクロコントローラ等により構成されている。処理部12は、通信部11が受信した点群情報と、GPS受信機3で検出した車両Caの現在位置と、記憶部13に記憶されている地図情報と、に基づいて、受信した点群情報から自車である車両Caにかかる部分を抜き出して、その抜き出した点群情報に基づいて車両Caの外観画像としての三次元モデル画像を生成する。即ち、処理部12は、物体の外観画像を生成する生成部として機能する。車両Caの三次元モデル画像を生成についての詳細は後述する。
記憶部13は、ハードディスクドライブやSSD(Solid State Drive)等により構成される大容量記憶装置である。記憶部13は、車両Cが自律的に走行可能な程度の詳細な情報を含む地図データが記憶されている。そして、この地図データは、三次元の地図データであり、地図データに含まれる地物等には、絶対的な位置情報(緯度経度情報)が含まれている。
表示部14は、例えばセンターコンソールに設置されるディスプレイ装置やHUD(Head-Up Display)等で構成されている。表示部14は、処理部12で生成された車両Caの三次元モデル画像等を表示する。なお、以下の説明では、出力部が表示部14に出力することとして説明するが、通信部11を出力部として機能させ、通信部11が自車Caの搭乗者が所持する端末機器等に処理部12で生成された車両Caの三次元モデル画像等を無線により出力するようにしてもよい。この場合は、搭乗者が所持する端末機器等が移動体内に配置された表示部となる。また、表示部14は、車両Caのフロントガラスやドアガラス、サンルーフガラス等の、車両Caが有するガラス部であっても良い。このように、表示部4は、車両内に固定されている表示装置や投影等により表示可能な部位に限らず、車内に持ち込まれている端末等でもよく、つまりは車両が有していればよい。
操作部15は、例えばタッチパネルや押しボタン等で構成されている。操作部15は、表示部14に表示された車両Caの三次元モデル画像等のアングルを調整等の操作をすることができる。
I/F16は、車両Cに設置されているライダ2、GPS(Global Positioning System)受信機3、その他のセンサ類4との接続インターフェース(I/F)である。I/F16は、ライダ2、GPS受信機3等から出力された信号、データ等を処理部12へ出力するデータ形式や信号レベルに変換する。
GPS受信機3は、周知のように複数のGPS衛星から受信した電波により現在位置を表す緯度及び経度の位置情報を検出する。
その他のセンサ類4としては、車両の姿勢(向きなど)を認識して他のセンサの取得データを補正するための慣性計測装置(IMU:Inertial Measurement Unit)やジャイロセンサ、車両Cの外界の状況を表す色付きの画像を生成する車載カメラ、車両Cの加速度を検出する加速度センサ、車両Cの速度を検出する速度センサ、などが挙げられる。
次に、上述した構成の情報処理装置1における三次元モデルの生成と表示の動作(画像生成方法)について図3のフローチャートを参照して説明する。図3のフローチャートは、例えば処理部12で実行されるコンピュータプログラムとして構成されている。
まず、ステップS11において、処理部12は、他車Cbや路側機5a、5bから点群情報を通信部11を介して取得する。即ち、処理部12は、情報処理装置1を備える自車Ca(移動体)の外部にある他車Cb等(外部装置)から当該他車Cb等(外部装置)の周囲の物体を複数の点により表した点群情報を取得する取得部として機能する。この点群情報は、例えは外部装置が有するライダによって取得される点群情報である。この点群情報の取得は、例えば他車Cbや路側機5a、5bが点群情報をブロードキャストで送信して、そのブロードキャストで送信された点群情報を通信部11が受信して取得する。他車Cb等が送信する点群情報には、点群の情報(距離、方向等)だけでなく送信元の識別情報や送信元の位置情報も含まれている。
次に、ステップS12において、処理部12は、自車Caの位置情報をGPS受信機3からI/F16を介して取得する。
次に、ステップS13において、処理部12が三次元モデル画像を生成する。三次元モデル画像の生成は、まず、受信した点群情報から自車Caの部分にかかる点群を抜き出す。これは、ステップS11で取得した点群情報に含まれる送信元の位置情報とステップS12で取得した自車Caの位置情報から送信元から自車Caへの方位と距離が分かる。点群情報には、本来距離と方向の情報が各点に含まれるため、自車Caの方位と距離に合致する点群を抜き出せばよい。また、この処理は複数の送信元がある場合はそれぞれの送信元の点群情報について行われる。そして、抜き出した点群に対して周知の方法によりポリゴン等によりモデリングをして三次元モデル画像を生成する。複数の送信元がある場合は、点群を合成あるいはモデリングの際に合成して三次元モデル画像を生成してもよい。また、当該処理においては、少なくとも自車Caの部分にかかる点群を抜き出せばよく、例えば自車Ca及びその周囲に存在する地物等を含む背景にかかる点群を抜き出すようにしてもよい。
次に、ステップS14において、処理部12は、ステップS13で生成した三次元モデル画像を表示部14に出力して表示させる。即ち、処理部12は、三次元モデル画像(外観画像)を自車Ca(移動体)内に配置された表示部14へ出力する出力部として機能する。
そして、図3のフローチャートは逐次繰り返して実行することで、表示部14に表示する三次元モデル画像が略リアルタイムに更新され、例えば自車Caが町中を走行するような演出や表示をすることができる。
上述した説明から明らかなように、ステップS11が取得工程、ステップS13が生成工程、ステップS14が出力工程として機能する。
次に、上述した三次元モデル画像の表示の具体例を図4〜図7を参照して説明する。図4は、具体例の状況を説明した図である。図4において、左側の車線を自車Caが走行し、右側の車線を他車Cbが走行している。また、他車Cbのライダ2の検出範囲をAとする。このとき、自車Caが他車Cbを追い抜いた場合における各時刻t1〜t3の三次元モデル画像を図5〜図7に示す。図5〜図7に例示された三次元モデル画像は、それぞれ異なるアングル(視点)から、自車Caを見たような画像を示している。
時刻t1は、他車Cbから見て左後方に自車Caが走行している。そのため図5のように、点群情報として、自車Caの右斜め前方方向からの点群が取得されるため、自車Caを右斜め前方から見たような三次元モデル画像となる。
時刻t2は、他車Cbから見て左側に自車Caが走行している。そのため図6のように、点群情報として、自車Caの右方向からの点群が取得されるため、自車Caを右から見たような三次元モデル画像となる。なお、時刻t2において、前の時刻である時刻t1で取得した点群情報も参照して三次元モデル画像を生成してもよい。
時刻t3は、他車Cbから見て左前方に自車Caが走行している。そのため図5のように、点群情報として、自車Caの右斜め前方方向からの点群が取得されるため、自車Caを右斜め後方から見たような三次元モデル画像となる。なお、時刻t3においても、前の時刻である時刻t1、t2で取得した点群情報も参照して三次元モデル画像を生成してもよい。
なお、本実施例では、図5〜図7に示したように外観画像としては、自車Caを点群情報からモデリングした三次元モデル画像としているが、点群をそのまま自車Caの形状となるような表示をした画像であってもよいし、ワイヤーフレーム等であってもよい。つまり、本実施例における外観画像とは、対象物の外観形状が識別可能である画像であればよい。
また、図5〜図7において、自車Ca以外の背景部分は、各時刻で取得した点群情報のうち自車Caとして抜き出した部分以外から生成してもよいし、取得した位置情報に基づいて記憶部13に記憶されている地図データから該当する建物等の地物を抜き出して表示してもよい。また、背景部分は、車両Caのようにモデリングした三次元の画像に限らず、点群をそのまま表示したような画像であってもよいし、ワイヤーフレーム等であってもよい。
そして、利用者は、操作部15による操作によって、表示される三次元モデル画像のアングルを変更することができる。例えば、表示部14は、操作部15が利用者から受け付けたアングルに関する情報に基づき、図5から図7に示す三次元モデル画像を切り換えて表示する。即ち、表示部14は、利用者が操作部15を操作することによって指定するアングルに対応する三次元モデル画像を表示するように制御される。したがって、自車Caの搭乗者の好みに合わせて表示される画像のアングルを変化させることができるので、飽きさせない表示をすることができる。なお、表示部14が表示する画像のアングルについては、上述した操作部15による操作以外によって決定されてもよい。例えば、車両Caがライダを備えた外部装置(例えば路側器)に近づいた場合(当該外部装置から所定の範囲内に車両Caが進入した場合)に、表示部14に表示される画像のアングルが自動的に当該外部装置からのアングル(外部装置視点の画像)に切り替わるようにしてもよい。
本実施例によれば、通信部11が他車Cbから点群情報を取得し、処理部12が取得した点群情報に基づき自車Caの三次元モデル画像を生成して、表示部14が三次元モデル画像を表示する。このようにすることにより、自車Ca自身が取得した点群情報によらない、他車Cbが取得した点群情報に基づいた車両や地物等の外観の画像を生成することができる。このような画像は、自車Caの搭乗者からは本来見えない情報を含むものであり、あたかも外から自車Caの方向を見ているような表示、演出が可能となる。例えば、自車Caが現在走行している状態を示す画像を三次元モデル画像として生成して自車Caの内部に表示することができる。したがって、ライダによって取得された点群情報を利用して、エンタテインメント性を向上させることができる。また、当該点群情報には、ライダの周辺に存在する物体を示す情報が含まれており、例えば利用者であるドライバーが注意すべき歩行者や、他車両を示す情報が含まれている。したがって、当該点群情報を利用してエンタテインメント性をもった三次元モデル画像を表示させることで、ドライバーは当該画像を楽しみつつ、注意すべき物体等を監視することができる。これに伴い、ドライバーがもつ安心感を向上させることができることとなる。
また、処理部12は、自車Caの走行路に設置された路側機5から通信部11を介して点群情報を取得するようにしてもよい。このようにすることにより、他車Cbが少ない場合であっても、路側機5が取得した点群情報に基づいて三次元モデル画像を生成することができる。なお、路側機5が取得した点群情報に基づいて三次元モデル画像を生成する場合、例えば図1に示した自車Caが走行している車線に対応する路側機5aに限らず、反対車線に対応する路側機5bが取得した点群情報も利用してもよい。これは路側機5bの設置位置や画角によっては、自車Caが走行している車線を走行する車両の点群情報を取得することも可能だからである。
なお、上述した実施例では、取得可能な場合は常に点群情報を取得していたが、例えば、自車Caの三次元モデルがある程度の完成度で生成された場合は、これ以上の点群情報の取得は不要として通信部11に点群情報の取得を停止させてもよい。即ち、外観画像の生成の度合いが所定値以上となった場合は点群情報の取得を停止してもよい。この完成度は、例えば、前後左右の全ての方角からの点群情報を取得することができた場合等である。このようにすることにより、三次元モデル画像としてある程度完成した場合は、点群情報の取得を停止して外部機器との通信量及び自装置の処理負荷を削減することができる。
次に、本発明の第2の実施例にかかる画像生成装置としての情報処理装置1を図8〜図13を参照して説明する。なお、前述した第1の実施例と同一部分には、同一符号を付して説明を省略する。
本実施例では、情報処理装置1の構成は図2と同様である。本実施例では、特定の対象物の三次元モデルを生成して表示するだけでなく、自車も含めた複数の車両や路側機等の点群を取得する装置(ライダ)から取得した点群に基づいて、少なくとも自車の走行路周辺の三次元空間を再現した画像である三次元地図画像を生成する。
本実施例にかかる情報処理装置1における三次元地図画像の生成と表示の動作(画像生成方法)について図8のフローチャートを参照して説明する。図8のフローチャートは、例えば処理部12で実行されるコンピュータプログラムとして構成されている。
まず、ステップS21において、処理部12は、自車Caのライダ2が取得した点群情報をI/Fを介して取得し、他車Cb1、Cb2や路側機5等から点群情報を通信部11を介して取得する。
次に、ステップS22において、処理部12が三次元地図画像を生成する。三次元地図画像の生成は、各機器から受信した点群情報に基づいて、その検出範囲における三次元地図画像を生成し、それらを合成して全体の三次元地図画を生成する。或いは、各機器から受信した点群情報を合成し、その合成点群情報から全体の三次元地図画像を生成してもよい。なお、この際生成される三次元地図画像は、建物等の地物の外観が再現されているレベルでなくてもよく、点群やワイヤーフレーム等の状態で形状が再現されたものでもよい。また、このステップS22で生成される三次元地図画像には、各ライダで取得された車両や歩行者等も含まれる。即ち、処理部12は、取得した点群情報に基づき、少なくとも自車Ca(移動体)の周辺を含む三次元空間を示す三次元地図画像(三次元空間画像)を生成する生成部として機能する。また、処理部12は、外部機器から受信した点群情報と、自車Caのライダ2が取得した点群情報とを組み合わせて(言い換えれば、合成して)、当該三次元地図画像の生成するようにしてもよい。
次に、ステップS23において、処理部12が、ステップS22で生成した三次元地図画像を表示部14に表示させる。即ち、処理部12は、三次元地図画像(三次元空間画像)を自車Ca(移動体)内に配置された表示部14へ出力する出力部として機能する。
上述した説明から明らかなように、ステップS21が取得工程、ステップS22が生成工程、ステップS23が出力工程として機能する。
次に、本実施例における三次元地図画像の表示の具体例を図9〜図12を参照して説明する。図9は、具体例の状況を説明した図である。図9においては、自車Caは道路R1を走行している。この自車Caのライダ2の検出範囲をL1とする。また、他車Cb1は道路R1を走行している。この他車Cb1のライダ2の検出範囲をL2とする。また、他車Cb2は道路R2を走行している。この他車Cb2のライダ2の検出範囲をL3とする。
路側機5は、道路R2沿いに設置されている。路側機5(ライダ)の検出範囲をL4とする。信号機6は、道路R1と道路R2の交差点に設置されている。信号機6にもライダが設けられ、このライダの検出範囲をL5とする。
また、道路R2沿いには所定の建物等の地物である地物BL1、地物BL2があり、道路R1沿いには所定の建物等の地物である地物BL3がある。
図9の場合において、各ライダの検出範囲から図9に示した道路R1、R2に沿った地物の情報を得ることが可能であるので、各ライダで検出された点群情報に基づいて生成された三次元地図情報を合成して道路R1、R2の三次元地図画像を生成する。
このようにして生成された三次元地図画像には建物等の地物BL1〜BL3が含まれるに限らず、例えば他車Cb1のライダ2の検出範囲L2にある自車Caも含まれる。また、図示しないが、各検出範囲L1〜L5で検出された歩行者を含めてよい。また、この三次元地図画像は逐次更新されるので、各車両が移動すれば三次元地図画像内で移動する。例えば、自車Caが他車Cb1、Cb2等から点群情報を受信し続ければ、他車Cb1、Cb2が検出した物体が略リアルタイムに三次元地図画像に反映される。したがって、本実施例の三次元地図画像は、静止画ではなく動画像とすることができる。
また、三次元地図画像は、例えば自車Caの搭乗者の操作に応じて任意の視点からみた視界で表示することができる。例えば、図9の視界A1は、自車Caから前方の視点から見た視界であり、例えば、図10のように表示部14に表示される。
また、図9の視界A2は、自車Caの右方の視点からみた視界であり、例えば、図11のように表示部14に表示される。また、図9の視界A3は、自車Caの右後方の視点からみた視界であり、例えば、図12のように表示部14に表示される。
なお、三次元地図画像は、車両Cに搭載された情報処理装置1で生成するに限らず、例えば外部のサーバ装置等で生成して車両Cに配信するようにしてもよい。構成例を図13に示す。
図13において、サーバ装置10は、インターネット等のネットワークNと接続されている。そして、サーバ装置10は、自車Caや他車Cb、路側機5及び信号機6から点群情報を取得して、図8のフローチャートのように三次元地図画像を生成する。
そして、自車Caの情報処理装置1からの要求に応じて三次元地図画像を配信し、その三次元地図画像が情報処理装置1の表示部14に表示される。
なお、図13の場合でも視点の変更は自在であるが、情報処理装置1の処理能力が高くない場合は、視点の情報をサーバ装置10に送信し、その視点に応じた画像を生成して情報処理装置1へ配信するようにしてもよい。
本実施例によれば、情報処理装置1は、処理部12が、自車Caや他車Cb1、Cb2或いは路側機5、信号機6から点群情報を取得し、その取得した点群情報に基づき、少なくとも自車Ca周辺の三次元地図画像を生成して、表示部14に三次元地図画像を表示する。このようにすることにより、複数の装置から取得した点群情報に基づいて、例えば、自車Ca周辺の三次元空間を再現した他車Cb1、Cb2や歩行者等も含む街並みの地図画像を生成することができる。そして、その再現した三次元空間を自車Caが走行するような表示や演出をすることができる。
また、処理部12は逐次点群情報を取得し、その逐次取得された点群情報に基づいて三次元地図画像を更新するようにしている。このようにすることにより、三次元地図画像をリアルタイムに更新することができ、現実の走行状態に沿った表示や演出をすることができる。また、三次元地図画像を動画像とすることで、よりリアルな表示や演出をすることができる。
また、処理部12は、自車Caの外部にある他車Cb1、Cb2や路側機5、信号機6から点群情報と、自車Caに配置されたライダ2が取得した点群情報と、に基づいて三次元地図画像を生成している。このようにすることにより、自身に設置されているセンサ等の検出範囲外の点群情報を取得することができる。したがって、より広範囲の三次元地図画像を生成することができる。
また、三次元地図画像の視点の位置を調整操作可能な操作部15を備え、表示部14は、操作部15による視点の位置の調整に応じて三次元地図画像の視点の位置を変化させて表示してもよい。このようにすることにより、例えば三次元地図で表された空間内の様々な視点からみた画像を表示させることが可能となる。したがって、搭乗者等の好みに合わせて視点を変化させることができるので、飽きさせない表示をすることができる。
また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の画像生成装置の構成を具備する限り、勿論、本発明の範疇に含まれるものである。
1 情報処理装置(画像生成装置)
2 ライダ
3 GPS受信機
4 その他のセンサ類
5 路側機(外部装置)
6 信号機(外部装置)
11 通信部
12 処理部(取得部、生成部、出力部)
13 記憶部
14 表示部
15 操作部
16 I/F
2 ライダ
3 GPS受信機
4 その他のセンサ類
5 路側機(外部装置)
6 信号機(外部装置)
11 通信部
12 処理部(取得部、生成部、出力部)
13 記憶部
14 表示部
15 操作部
16 I/F
Claims (9)
- 移動体が有する表示部に表示される画像を生成する生成部を備える画像生成装置であって、
前記画像生成装置が配置された前記移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得する取得部と、
前記取得部によって取得された前記点群情報に基づき、少なくとも前記移動体の周辺を含む三次元空間を示す三次元空間画像を生成する生成部と、
を備えることを特徴とする画像生成装置。 - 前記取得部は逐次前記点群情報を取得し、
前記生成部は、逐次取得された前記点群情報に基づいて前記三次元空間画像を更新することを特徴とする請求項1に記載の画像生成装置。 - 前記生成部は、前記三次元空間画像を動画像として生成することを特徴とする請求項2に記載の画像生成装置。
- 前記生成部は、前記外部装置から取得した前記点群情報と、前記移動体に配置されたセンサが取得した点群情報と、に基づいて前記三次元空間画像を生成することを特徴とする請求項1から3のうちいずれか一項に記載の画像生成装置。
- 前記外部装置には、他の移動体に搭載された前記点群情報を取得する装置が含まれ、
前記取得部は、前記他の移動体から前記点群情報を取得することを特徴とする請求項4に記載の画像生成装置。 - 前記外部装置には、走行路に設置された路側機が含まれ、
前記取得部は、前記路側機から前記点群情報を取得することを特徴とする請求項4または5に記載の画像生成装置。 - 前記三次元空間画像の視点の位置を調整操作可能な操作部を備え、
前記生成部は、前記操作部による視点の位置の調整に応じて視点の位置を変化させた前記三次元空間画像を生成することを特徴とする請求項1から6のうちいずれか一項に記載の画像生成装置。 - 移動体が有する表示部に表示される画像を生成する画像生成装置で実行される画像生成方法であって、
前記画像生成装置が配置された前記移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得する取得工程と、
前記取得工程において取得された前記点群情報に基づき、少なくとも前記移動体の周辺を含む三次元空間を示す前記移動体周辺の三次元空間画像を生成する生成工程と、
を含むことを特徴とする画像生成方法。 - 請求項8に記載の画像生成方法を、コンピュータにより実行させることを特徴とする画像生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017249682A JP2019117435A (ja) | 2017-12-26 | 2017-12-26 | 画像生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017249682A JP2019117435A (ja) | 2017-12-26 | 2017-12-26 | 画像生成装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019117435A true JP2019117435A (ja) | 2019-07-18 |
Family
ID=67304437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017249682A Pending JP2019117435A (ja) | 2017-12-26 | 2017-12-26 | 画像生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019117435A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113945219A (zh) * | 2021-09-28 | 2022-01-18 | 武汉万集光电技术有限公司 | 动态地图生成方法、***、可读存储介质及终端设备 |
WO2022269875A1 (ja) * | 2021-06-24 | 2022-12-29 | 株式会社ソシオネクスト | 情報処理装置、情報処理方法、及び情報処理プログラム |
-
2017
- 2017-12-26 JP JP2017249682A patent/JP2019117435A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022269875A1 (ja) * | 2021-06-24 | 2022-12-29 | 株式会社ソシオネクスト | 情報処理装置、情報処理方法、及び情報処理プログラム |
CN113945219A (zh) * | 2021-09-28 | 2022-01-18 | 武汉万集光电技术有限公司 | 动态地图生成方法、***、可读存储介质及终端设备 |
CN113945219B (zh) * | 2021-09-28 | 2024-06-11 | 武汉万集光电技术有限公司 | 动态地图生成方法、***、可读存储介质及终端设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11535155B2 (en) | Superimposed-image display device and computer program | |
US10984580B2 (en) | Adjusting depth of augmented reality content on a heads up display | |
WO2020148680A1 (en) | Utilizing passenger attention data captured in vehicles for localization and location-based services | |
JP2016048550A (ja) | ドライバの注意評価に基づく空間情報の提示 | |
US11525694B2 (en) | Superimposed-image display device and computer program | |
JP2016048552A (ja) | 外部情報のドライバへの提供 | |
US10922976B2 (en) | Display control device configured to control projection device, display control method for controlling projection device, and vehicle | |
KR102635265B1 (ko) | 라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법 | |
JP2020053046A (ja) | 交通情報を表示するための運転者支援システム及び方法 | |
US11699235B2 (en) | Way to generate tight 2D bounding boxes for autonomous driving labeling | |
KR20190077482A (ko) | 차량이 턴을 하고 있을 때 가상 카메라의 방위를 조정하기 위한 방법 및 시스템 | |
JP2020032866A (ja) | 車両用仮想現実提供装置、方法、及びコンピュータ・プログラム | |
JP2020502609A (ja) | センサデータから得られた物体の地図情報を使用した平滑化 | |
WO2018180756A1 (ja) | 運転支援システム | |
JP6186905B2 (ja) | 車載表示装置およびプログラム | |
JP2019117435A (ja) | 画像生成装置 | |
US20210158474A1 (en) | Way to generate images with distortion for fisheye lens | |
KR102625688B1 (ko) | 혼합 현실에 기반한 디스플레이 장치 및 경로 안내 시스템 | |
JP2019117434A (ja) | 画像生成装置 | |
JP7333445B2 (ja) | 画像生成装置 | |
WO2022004448A1 (ja) | 情報処理装置、および情報処理方法、情報処理システム、並びにプログラム | |
US20220200701A1 (en) | System and method for determining actions of a vehicle by visible light communication | |
JP2019117214A (ja) | 地物データ構造 | |
JP7361486B2 (ja) | 情報提示装置、情報提示方法、及びプログラム | |
JP7143728B2 (ja) | 重畳画像表示装置及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20180116 |