JP2019117435A - Image generation device - Google Patents
Image generation device Download PDFInfo
- Publication number
- JP2019117435A JP2019117435A JP2017249682A JP2017249682A JP2019117435A JP 2019117435 A JP2019117435 A JP 2019117435A JP 2017249682 A JP2017249682 A JP 2017249682A JP 2017249682 A JP2017249682 A JP 2017249682A JP 2019117435 A JP2019117435 A JP 2019117435A
- Authority
- JP
- Japan
- Prior art keywords
- image
- point cloud
- cloud information
- vehicle
- dimensional space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、物体の外観画像を生成する生成部を備えた画像生成装置に関する。 The present invention relates to an image generation apparatus provided with a generation unit that generates an appearance image of an object.
従来、レーザレーダを用いて、車両の前方等の検出領域(すなわち、物体を検出するための対象となる領域)に存在する物体上の複数の点に対して3次元空間上の位置を取得し、その物体を認識する技術が提案されている。例えば、特許文献1には、前記位置が取得された点をクラスタリングしてクラスタ点群を取得し、そのクラスタ点群に係る測定量の時間的変動に基づき、クラスタ点群に対応する物体を識別することとしている。
Conventionally, a laser radar is used to obtain positions in a three-dimensional space with respect to a plurality of points on an object present in a detection area such as the front of a vehicle (that is, an area to be an object for detecting an object). , The technology which recognizes the object is proposed. For example, according to
上述したように、レーザレーダ(以下、LiDAR(Light Detection And Ranging)とも称する)は、移動体としての車両等の周辺に存在する物体の認識に用いられている。しかしながら、レーザレーダによって取得された情報(所謂点群情報)は、このような物体の認識以外に利用されてはいない。 As described above, laser radar (hereinafter also referred to as LiDAR (Light Detection And Ranging)) is used to recognize an object present in the vicinity of a vehicle or the like as a moving body. However, information acquired by laser radar (so-called point cloud information) is not used except for recognition of such an object.
一方で、今後自動運転機能を搭載した車両において、自動運転中の移動時間におけるエンタテインメント性の向上が期待されている。しかし、レーザレーダによって取得された情報を、エンタテインメント性の向上に利用するという思想は、従来は存在していなかった。 On the other hand, in vehicles equipped with an automatic driving function in the future, it is expected to improve entertainment in the traveling time during automatic driving. However, the idea of utilizing the information acquired by the laser radar for the improvement of entertainment has not existed conventionally.
本発明が解決しようとする課題としては、所謂点群情報を利用して、エンタテインメント性を向上させることが一例として挙げられる。 One of the problems to be solved by the present invention is to improve entertainment by using so-called point cloud information.
上記課題を解決するために、請求項1に記載の発明は、移動体が有する表示部に表示される画像を生成する生成部を備える画像生成装置であって、前記画像生成装置が配置された前記移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得する取得部と、前記取得部によって取得された前記点群情報に基づき、少なくとも前記移動体の周辺を含む三次元空間を示す三次元空間画像を生成する生成部と、を備えることを特徴としている。
In order to solve the above-mentioned subject, the invention according to
請求項8に記載の発明は、移動体が有する表示部に表示される画像を生成する画像生成装置で実行される画像生成方法であって、前記画像生成装置が配置された前記移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得する取得工程と、前記取得工程において取得された前記点群情報に基づき、少なくとも前記移動体の周辺を含む三次元空間を示す前記移動体周辺の三次元空間画像を生成する生成工程と、を含むことを特徴としている。 The invention according to claim 8 is an image generating method executed by an image generating device for generating an image displayed on a display unit of a moving object, wherein the image generating device is disposed outside the moving object. An acquisition step of acquiring point cloud information in which objects surrounding each of the plurality of devices are represented by a plurality of points from a plurality of devices including an external device in the above, and the point cloud information acquired in the acquisition step And a generation step of generating a three-dimensional space image around the moving body, which shows a three-dimensional space including at least the periphery of the moving body.
請求項9に記載の発明は、請求項8に記載の画像生成方法を、コンピュータにより実行させることを特徴としている。 The invention according to a ninth aspect is characterized in that the image generation method according to the eighth aspect is executed by a computer.
以下、本発明の一実施形態にかかる画像生成装置を説明する。本発明の一実施形態にかかる画像生成装置は、取得部が画像生成装置が配置された移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得し、生成部が取得部によって取得された点群情報に基づき、少なくとも移動体の周辺を含む三次元空間を示す三次元空間画像を生成する。このようにすることにより、複数の装置から取得した点群情報に基づいて、例えば、自車周辺の三次元空間を再現して他車や歩行者等も含む街並みの画像を生成することができる。そして、その再現された三次元空間を自車が走行するような表示や演出をすることができる。 Hereinafter, an image generation apparatus according to an embodiment of the present invention will be described. According to an embodiment of the present invention, there is provided an image generation apparatus including: a plurality of devices including an external device whose acquisition unit is external to a moving body in which the image generation device is disposed; and a plurality of objects around each of the plurality of devices. Based on the point cloud information acquired by the acquisition unit, the generation unit generates a three-dimensional space image representing a three-dimensional space including at least the periphery of the moving object based on the point cloud information acquired by the acquisition unit. By doing this, it is possible to reproduce, for example, a three-dimensional space around the vehicle and generate an image of a cityscape including other vehicles and pedestrians, based on point cloud information acquired from a plurality of devices. . And, it is possible to display and produce such that the vehicle travels in the reproduced three-dimensional space.
また、取得部は逐次点群情報を取得し、生成部は、逐次取得された点群情報に基づいて三次元空間画像を更新してもよい。このようにすることにより、三次元空間画像をリアルタイムに更新することができ、現実の走行状態に沿った表示や演出をすることができる。 Further, the acquisition unit may sequentially acquire point cloud information, and the generation unit may update the three-dimensional space image based on the point cloud information acquired sequentially. By doing this, it is possible to update the three-dimensional space image in real time, and it is possible to perform display and effects along the actual traveling state.
また、前記生成部は、前記三次元空間画像を動画像として生成してもよい。このようにすることにより、逐次取得された点群情報に基づいて変化する動画像として三次元空間画像を構成することができる。したがって、よりリアルな表示や演出をすることができる。 Further, the generation unit may generate the three-dimensional space image as a moving image. By doing this, it is possible to configure a three-dimensional space image as a moving image that changes based on the point cloud information acquired sequentially. Therefore, more realistic display and presentation can be performed.
また、生成部は、外部装置から取得した点群情報と、移動体に配置されたセンサが取得した点群情報と、に基づいて三次元空間画像を生成してもよい。このようにすることにより、自身に設置されているセンサ等の検出範囲外の点群情報を取得することができる。したがって、より広範囲の三次元空間画像を生成することができる。 In addition, the generation unit may generate a three-dimensional space image based on point cloud information acquired from an external device and point cloud information acquired by a sensor disposed on the mobile object. By doing this, it is possible to acquire point cloud information outside the detection range of a sensor or the like installed in itself. Thus, a wider range of three-dimensional spatial images can be generated.
また、外部装置には、他の移動体に搭載された点群情報を取得する装置が含まれ、取得部は、他の移動体から点群情報を取得してもよい。このようにすることにより、移動体の周囲を走行している他の移動体が取得した点群情報に基づいて三次元空間画像を生成することができる。 In addition, the external device includes a device for acquiring point cloud information mounted on another mobile body, and the acquisition unit may acquire point cloud information from the other mobile body. By doing this, it is possible to generate a three-dimensional space image based on point cloud information acquired by another moving object traveling around the moving object.
また、外部装置には、走行路に設置された路側機が含まれ、取得部は、路側機から点群情報を取得してもよい。このようにすることにより、他の移動体が少ない場合であっても、路側機が取得した点群情報に基づいて外観画像を生成することができる。 Also, the external device may include a roadside device installed on the traveling path, and the acquisition unit may acquire point cloud information from the roadside device. By doing this, it is possible to generate an appearance image based on the point cloud information acquired by the roadside device even when there are few other moving objects.
また、三次元空間画像の視点の位置を調整操作可能な操作部を備え、生成部は、操作部による視点の位置の調整に応じて視点の位置を変化させた三次元空間画像を生成してもよい。このようにすることにより、例えば三次元空間内の様々な視点からみた画像を表示をさせることが可能となる。したがって、搭乗者等の好みに合わせて視点を変化させることができるので、飽きさせない表示をすることができる。 In addition, an operation unit capable of adjusting and operating the position of the viewpoint of the three-dimensional space image is provided, and the generation unit generates a three-dimensional space image in which the position of the viewpoint is changed according to the adjustment of the position of the viewpoint by the operation unit. It is also good. This makes it possible to display images viewed from various viewpoints in a three-dimensional space, for example. Therefore, since the viewpoint can be changed in accordance with the preference of the passenger etc., display can be made without getting tired.
本発明の一実施形態にかかる画像生成方法は、取得工程で画像生成装置が配置された移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得し、生成工程で取得工程において取得された点群情報に基づき、少なくとも移動体の周辺を含む三次元空間を示す三次元空間画像を生成する。このようにすることにより、複数の装置から取得した点群情報に基づいて、例えば、自車周辺の三次元空間を再現した他車や歩行者等も含む街並みの画像を生成することができる。そして、その再現した三次元空間を自車が走行するような表示や演出をすることができる。 According to an embodiment of the present invention, there is provided an image generation method comprising: a plurality of devices including an external device external to a moving body on which an image generation device is disposed in an acquisition step; The point cloud information represented by the points is acquired, and a three-dimensional space image showing a three-dimensional space including at least the periphery of the moving object is generated based on the point cloud information acquired in the acquisition step in the generation step. By doing this, it is possible to generate, for example, an image of a cityscape including other vehicles and pedestrians, etc., which reproduces a three-dimensional space around the own vehicle, based on point cloud information acquired from a plurality of devices. Then, it is possible to display or produce such that the vehicle travels in the reproduced three-dimensional space.
また、上述した画像生成方法をコンピュータにより実行させる画像生成プログラムとしてもよい。このようにすることにより、複数の装置から取得した点群情報に基づいて、例えば、自車周辺の三次元空間を再現した他車や歩行者等も含む街並みの画像をコンピュータを利用して生成することができる。そして、その再現した三次元空間を自車が走行するような表示や演出をすることができる。 Further, it may be an image generation program that causes a computer to execute the above-described image generation method. In this way, based on the point cloud information acquired from a plurality of devices, for example, an image of a cityscape including other cars and pedestrians that reproduces a three-dimensional space around the own vehicle is generated using a computer can do. Then, it is possible to display or produce such that the vehicle travels in the reproduced three-dimensional space.
本発明の第1の実施例にかかる画像生成装置としての情報処理装置1を図1〜図7を参照して説明する。情報処理装置1は、図1に示したように、移動体としての車両C(Ca、Cb)に搭載されている。なお、本実施例において、車両Cは、常時自律的に走行可能な車両(自動運転車両)又は、自動運転と手動運転とを切り替え可能な車両として説明する。また、図1において、車両Caは以後の説明では必要に応じて自車両(自車)として扱い、車両Cbは他車両(他車)として扱う。
An
また、車両Cには、ライダ2が搭載されている。ライダ2は、当該ライダ2が搭載された周囲に存在する物体を認識するためのセンサであり、LiDAR(Light Detection And Ranging)とも表記される。ライダ2は、レーザ光等の光を照射してその光の反射光により、外界に存在する物体までの距離を離散的に測定し、当該物体の位置や形状等を三次元の点群として認識する公知のセンサである。したがって、ライダ2で取得された点群は車両Cが移動する周囲に存在する建物や道路等の構造物を含む地物を複数の点により三次元状に表した情報(点群情報)となる。尚、ライダ2は、自車が走行している道路上の標識や道路に沿って存在する建築物や街路樹等の地物以外にも、自車の周辺に存在する歩行者や他車等を認識してもよい。
Further, the rider C is mounted on the vehicle C. The
図1では主に車両Cの前方の物体を検出するライダ2a、主に車両Cの後方の物体を検出するライダ2b、主に車両Cの左側方の物体を検出するライダ2c、主に車両Cの右側方の物体を検出するライダ2dが記載されている。ライダ2の搭載位置や数は図1に限らず他の配置や数であってもよい。
In FIG. 1, a rider 2a for mainly detecting an object in front of the vehicle C, a
また、本実施例では、ライダは車両C以外に路側機5としても設置されている。路側機5として設置されるのは、例えば信号機や高速道路等における合流地点や、各種道路標識や看板等が挙げられる。図1の場合、路側機5は、上下線それぞれに路側機5a、路側機5bとして設置されている。
Further, in the present embodiment, the rider is also installed as a
図2に本実施例にかかる情報処理装置1の機能構成図を示す。情報処理装置1は、通信部11と、処理部12と、記憶部13と、表示部14と、操作部15と、I/F16と、を備えている。
FIG. 2 shows the functional configuration of the
通信部11は、他車両である車両Cbや路側機5から点群情報等を受信する。通信部11は、例えば車車間通信や路車間通信により点群情報を受信することができる。或いは、Bluetooth(登録商標)やWi−Fi(登録商標)等の既存の無線通信により点群情報を受信してもよい。
The
処理部12は、例えばCPU(Central Processing Unit)とメモリ等を有するマイクロコントローラ等により構成されている。処理部12は、通信部11が受信した点群情報と、GPS受信機3で検出した車両Caの現在位置と、記憶部13に記憶されている地図情報と、に基づいて、受信した点群情報から自車である車両Caにかかる部分を抜き出して、その抜き出した点群情報に基づいて車両Caの外観画像としての三次元モデル画像を生成する。即ち、処理部12は、物体の外観画像を生成する生成部として機能する。車両Caの三次元モデル画像を生成についての詳細は後述する。
The
記憶部13は、ハードディスクドライブやSSD(Solid State Drive)等により構成される大容量記憶装置である。記憶部13は、車両Cが自律的に走行可能な程度の詳細な情報を含む地図データが記憶されている。そして、この地図データは、三次元の地図データであり、地図データに含まれる地物等には、絶対的な位置情報(緯度経度情報)が含まれている。
The
表示部14は、例えばセンターコンソールに設置されるディスプレイ装置やHUD(Head-Up Display)等で構成されている。表示部14は、処理部12で生成された車両Caの三次元モデル画像等を表示する。なお、以下の説明では、出力部が表示部14に出力することとして説明するが、通信部11を出力部として機能させ、通信部11が自車Caの搭乗者が所持する端末機器等に処理部12で生成された車両Caの三次元モデル画像等を無線により出力するようにしてもよい。この場合は、搭乗者が所持する端末機器等が移動体内に配置された表示部となる。また、表示部14は、車両Caのフロントガラスやドアガラス、サンルーフガラス等の、車両Caが有するガラス部であっても良い。このように、表示部4は、車両内に固定されている表示装置や投影等により表示可能な部位に限らず、車内に持ち込まれている端末等でもよく、つまりは車両が有していればよい。
The
操作部15は、例えばタッチパネルや押しボタン等で構成されている。操作部15は、表示部14に表示された車両Caの三次元モデル画像等のアングルを調整等の操作をすることができる。
The
I/F16は、車両Cに設置されているライダ2、GPS(Global Positioning System)受信機3、その他のセンサ類4との接続インターフェース(I/F)である。I/F16は、ライダ2、GPS受信機3等から出力された信号、データ等を処理部12へ出力するデータ形式や信号レベルに変換する。
The I /
GPS受信機3は、周知のように複数のGPS衛星から受信した電波により現在位置を表す緯度及び経度の位置情報を検出する。
The
その他のセンサ類4としては、車両の姿勢(向きなど)を認識して他のセンサの取得データを補正するための慣性計測装置(IMU:Inertial Measurement Unit)やジャイロセンサ、車両Cの外界の状況を表す色付きの画像を生成する車載カメラ、車両Cの加速度を検出する加速度センサ、車両Cの速度を検出する速度センサ、などが挙げられる。
次に、上述した構成の情報処理装置1における三次元モデルの生成と表示の動作(画像生成方法)について図3のフローチャートを参照して説明する。図3のフローチャートは、例えば処理部12で実行されるコンピュータプログラムとして構成されている。
Next, the operation (image generation method) of generation and display of a three-dimensional model in the
まず、ステップS11において、処理部12は、他車Cbや路側機5a、5bから点群情報を通信部11を介して取得する。即ち、処理部12は、情報処理装置1を備える自車Ca(移動体)の外部にある他車Cb等(外部装置)から当該他車Cb等(外部装置)の周囲の物体を複数の点により表した点群情報を取得する取得部として機能する。この点群情報は、例えは外部装置が有するライダによって取得される点群情報である。この点群情報の取得は、例えば他車Cbや路側機5a、5bが点群情報をブロードキャストで送信して、そのブロードキャストで送信された点群情報を通信部11が受信して取得する。他車Cb等が送信する点群情報には、点群の情報(距離、方向等)だけでなく送信元の識別情報や送信元の位置情報も含まれている。
First, in step S11, the
次に、ステップS12において、処理部12は、自車Caの位置情報をGPS受信機3からI/F16を介して取得する。
Next, in step S12, the
次に、ステップS13において、処理部12が三次元モデル画像を生成する。三次元モデル画像の生成は、まず、受信した点群情報から自車Caの部分にかかる点群を抜き出す。これは、ステップS11で取得した点群情報に含まれる送信元の位置情報とステップS12で取得した自車Caの位置情報から送信元から自車Caへの方位と距離が分かる。点群情報には、本来距離と方向の情報が各点に含まれるため、自車Caの方位と距離に合致する点群を抜き出せばよい。また、この処理は複数の送信元がある場合はそれぞれの送信元の点群情報について行われる。そして、抜き出した点群に対して周知の方法によりポリゴン等によりモデリングをして三次元モデル画像を生成する。複数の送信元がある場合は、点群を合成あるいはモデリングの際に合成して三次元モデル画像を生成してもよい。また、当該処理においては、少なくとも自車Caの部分にかかる点群を抜き出せばよく、例えば自車Ca及びその周囲に存在する地物等を含む背景にかかる点群を抜き出すようにしてもよい。
Next, in step S13, the
次に、ステップS14において、処理部12は、ステップS13で生成した三次元モデル画像を表示部14に出力して表示させる。即ち、処理部12は、三次元モデル画像(外観画像)を自車Ca(移動体)内に配置された表示部14へ出力する出力部として機能する。
Next, in step S14, the
そして、図3のフローチャートは逐次繰り返して実行することで、表示部14に表示する三次元モデル画像が略リアルタイムに更新され、例えば自車Caが町中を走行するような演出や表示をすることができる。
Then, the flowchart of FIG. 3 is sequentially repeated and executed to update the three-dimensional model image displayed on the
上述した説明から明らかなように、ステップS11が取得工程、ステップS13が生成工程、ステップS14が出力工程として機能する。 As apparent from the above description, step S11 functions as an acquisition step, step S13 functions as a generation step, and step S14 functions as an output step.
次に、上述した三次元モデル画像の表示の具体例を図4〜図7を参照して説明する。図4は、具体例の状況を説明した図である。図4において、左側の車線を自車Caが走行し、右側の車線を他車Cbが走行している。また、他車Cbのライダ2の検出範囲をAとする。このとき、自車Caが他車Cbを追い抜いた場合における各時刻t1〜t3の三次元モデル画像を図5〜図7に示す。図5〜図7に例示された三次元モデル画像は、それぞれ異なるアングル(視点)から、自車Caを見たような画像を示している。
Next, specific examples of the display of the three-dimensional model image described above will be described with reference to FIGS. FIG. 4 is a diagram for explaining the situation of the specific example. In FIG. 4, the own vehicle Ca travels in the left lane, and the other vehicle Cb travels in the right lane. Also, let A be a detection range of the
時刻t1は、他車Cbから見て左後方に自車Caが走行している。そのため図5のように、点群情報として、自車Caの右斜め前方方向からの点群が取得されるため、自車Caを右斜め前方から見たような三次元モデル画像となる。 At time t1, the own vehicle Ca is traveling in the left rear as viewed from the other vehicle Cb. Therefore, as shown in FIG. 5, since a point group from the diagonally right forward direction of the host vehicle Ca is acquired as point group information, it becomes a three-dimensional model image as viewed from the front diagonal side of the host vehicle Ca.
時刻t2は、他車Cbから見て左側に自車Caが走行している。そのため図6のように、点群情報として、自車Caの右方向からの点群が取得されるため、自車Caを右から見たような三次元モデル画像となる。なお、時刻t2において、前の時刻である時刻t1で取得した点群情報も参照して三次元モデル画像を生成してもよい。 At time t2, the own vehicle Ca is traveling to the left as viewed from the other vehicle Cb. Therefore, as shown in FIG. 6, since a point cloud from the right direction of the host vehicle Ca is acquired as point cloud information, it becomes a three-dimensional model image as viewed from the host vehicle Ca from the right. Note that, at time t2, a three-dimensional model image may be generated with reference to point cloud information acquired at time t1, which is the previous time.
時刻t3は、他車Cbから見て左前方に自車Caが走行している。そのため図5のように、点群情報として、自車Caの右斜め前方方向からの点群が取得されるため、自車Caを右斜め後方から見たような三次元モデル画像となる。なお、時刻t3においても、前の時刻である時刻t1、t2で取得した点群情報も参照して三次元モデル画像を生成してもよい。 At time t3, the own vehicle Ca is traveling forward in the left as viewed from the other vehicle Cb. Therefore, as shown in FIG. 5, since a point group from the diagonally forward right direction of the host vehicle Ca is acquired as point group information, it becomes a three-dimensional model image as viewed from the rear right side of the host vehicle Ca. Also at time t3, a three-dimensional model image may be generated with reference to the point cloud information acquired at times t1 and t2, which are previous times.
なお、本実施例では、図5〜図7に示したように外観画像としては、自車Caを点群情報からモデリングした三次元モデル画像としているが、点群をそのまま自車Caの形状となるような表示をした画像であってもよいし、ワイヤーフレーム等であってもよい。つまり、本実施例における外観画像とは、対象物の外観形状が識別可能である画像であればよい。 In the present embodiment, as shown in FIGS. 5 to 7, the appearance image is a three-dimensional model image in which the vehicle Ca is modeled from point cloud information, but the point cloud is directly used as the shape of the vehicle Ca. It may be an image on which such display is made, or may be a wire frame or the like. That is, the appearance image in the present embodiment may be any image that can identify the appearance shape of the object.
また、図5〜図7において、自車Ca以外の背景部分は、各時刻で取得した点群情報のうち自車Caとして抜き出した部分以外から生成してもよいし、取得した位置情報に基づいて記憶部13に記憶されている地図データから該当する建物等の地物を抜き出して表示してもよい。また、背景部分は、車両Caのようにモデリングした三次元の画像に限らず、点群をそのまま表示したような画像であってもよいし、ワイヤーフレーム等であってもよい。
Further, in FIGS. 5 to 7, the background portion other than the host vehicle Ca may be generated from other than the portion extracted as the host vehicle Ca in the point cloud information acquired at each time, or based on the acquired position information A feature such as a corresponding building may be extracted from the map data stored in the
そして、利用者は、操作部15による操作によって、表示される三次元モデル画像のアングルを変更することができる。例えば、表示部14は、操作部15が利用者から受け付けたアングルに関する情報に基づき、図5から図7に示す三次元モデル画像を切り換えて表示する。即ち、表示部14は、利用者が操作部15を操作することによって指定するアングルに対応する三次元モデル画像を表示するように制御される。したがって、自車Caの搭乗者の好みに合わせて表示される画像のアングルを変化させることができるので、飽きさせない表示をすることができる。なお、表示部14が表示する画像のアングルについては、上述した操作部15による操作以外によって決定されてもよい。例えば、車両Caがライダを備えた外部装置(例えば路側器)に近づいた場合(当該外部装置から所定の範囲内に車両Caが進入した場合)に、表示部14に表示される画像のアングルが自動的に当該外部装置からのアングル(外部装置視点の画像)に切り替わるようにしてもよい。
Then, the user can change the angle of the displayed three-dimensional model image by the operation of the
本実施例によれば、通信部11が他車Cbから点群情報を取得し、処理部12が取得した点群情報に基づき自車Caの三次元モデル画像を生成して、表示部14が三次元モデル画像を表示する。このようにすることにより、自車Ca自身が取得した点群情報によらない、他車Cbが取得した点群情報に基づいた車両や地物等の外観の画像を生成することができる。このような画像は、自車Caの搭乗者からは本来見えない情報を含むものであり、あたかも外から自車Caの方向を見ているような表示、演出が可能となる。例えば、自車Caが現在走行している状態を示す画像を三次元モデル画像として生成して自車Caの内部に表示することができる。したがって、ライダによって取得された点群情報を利用して、エンタテインメント性を向上させることができる。また、当該点群情報には、ライダの周辺に存在する物体を示す情報が含まれており、例えば利用者であるドライバーが注意すべき歩行者や、他車両を示す情報が含まれている。したがって、当該点群情報を利用してエンタテインメント性をもった三次元モデル画像を表示させることで、ドライバーは当該画像を楽しみつつ、注意すべき物体等を監視することができる。これに伴い、ドライバーがもつ安心感を向上させることができることとなる。
According to this embodiment, the
また、処理部12は、自車Caの走行路に設置された路側機5から通信部11を介して点群情報を取得するようにしてもよい。このようにすることにより、他車Cbが少ない場合であっても、路側機5が取得した点群情報に基づいて三次元モデル画像を生成することができる。なお、路側機5が取得した点群情報に基づいて三次元モデル画像を生成する場合、例えば図1に示した自車Caが走行している車線に対応する路側機5aに限らず、反対車線に対応する路側機5bが取得した点群情報も利用してもよい。これは路側機5bの設置位置や画角によっては、自車Caが走行している車線を走行する車両の点群情報を取得することも可能だからである。
In addition, the
なお、上述した実施例では、取得可能な場合は常に点群情報を取得していたが、例えば、自車Caの三次元モデルがある程度の完成度で生成された場合は、これ以上の点群情報の取得は不要として通信部11に点群情報の取得を停止させてもよい。即ち、外観画像の生成の度合いが所定値以上となった場合は点群情報の取得を停止してもよい。この完成度は、例えば、前後左右の全ての方角からの点群情報を取得することができた場合等である。このようにすることにより、三次元モデル画像としてある程度完成した場合は、点群情報の取得を停止して外部機器との通信量及び自装置の処理負荷を削減することができる。
In the above-described embodiment, the point cloud information is always obtained when it can be obtained. However, for example, when the three-dimensional model of the host vehicle Ca is generated with a certain degree of completion, more point clouds are obtained. The acquisition of point cloud information may be stopped by the
次に、本発明の第2の実施例にかかる画像生成装置としての情報処理装置1を図8〜図13を参照して説明する。なお、前述した第1の実施例と同一部分には、同一符号を付して説明を省略する。
Next, an
本実施例では、情報処理装置1の構成は図2と同様である。本実施例では、特定の対象物の三次元モデルを生成して表示するだけでなく、自車も含めた複数の車両や路側機等の点群を取得する装置(ライダ)から取得した点群に基づいて、少なくとも自車の走行路周辺の三次元空間を再現した画像である三次元地図画像を生成する。
In the present embodiment, the configuration of the
本実施例にかかる情報処理装置1における三次元地図画像の生成と表示の動作(画像生成方法)について図8のフローチャートを参照して説明する。図8のフローチャートは、例えば処理部12で実行されるコンピュータプログラムとして構成されている。
The operation (image generation method) of generation and display of a three-dimensional map image in the
まず、ステップS21において、処理部12は、自車Caのライダ2が取得した点群情報をI/Fを介して取得し、他車Cb1、Cb2や路側機5等から点群情報を通信部11を介して取得する。
First, in step S21, the
次に、ステップS22において、処理部12が三次元地図画像を生成する。三次元地図画像の生成は、各機器から受信した点群情報に基づいて、その検出範囲における三次元地図画像を生成し、それらを合成して全体の三次元地図画を生成する。或いは、各機器から受信した点群情報を合成し、その合成点群情報から全体の三次元地図画像を生成してもよい。なお、この際生成される三次元地図画像は、建物等の地物の外観が再現されているレベルでなくてもよく、点群やワイヤーフレーム等の状態で形状が再現されたものでもよい。また、このステップS22で生成される三次元地図画像には、各ライダで取得された車両や歩行者等も含まれる。即ち、処理部12は、取得した点群情報に基づき、少なくとも自車Ca(移動体)の周辺を含む三次元空間を示す三次元地図画像(三次元空間画像)を生成する生成部として機能する。また、処理部12は、外部機器から受信した点群情報と、自車Caのライダ2が取得した点群情報とを組み合わせて(言い換えれば、合成して)、当該三次元地図画像の生成するようにしてもよい。
Next, in step S22, the
次に、ステップS23において、処理部12が、ステップS22で生成した三次元地図画像を表示部14に表示させる。即ち、処理部12は、三次元地図画像(三次元空間画像)を自車Ca(移動体)内に配置された表示部14へ出力する出力部として機能する。
Next, in step S23, the
上述した説明から明らかなように、ステップS21が取得工程、ステップS22が生成工程、ステップS23が出力工程として機能する。 As apparent from the above description, step S21 functions as an acquisition step, step S22 functions as a generation step, and step S23 functions as an output step.
次に、本実施例における三次元地図画像の表示の具体例を図9〜図12を参照して説明する。図9は、具体例の状況を説明した図である。図9においては、自車Caは道路R1を走行している。この自車Caのライダ2の検出範囲をL1とする。また、他車Cb1は道路R1を走行している。この他車Cb1のライダ2の検出範囲をL2とする。また、他車Cb2は道路R2を走行している。この他車Cb2のライダ2の検出範囲をL3とする。
Next, a specific example of the display of the three-dimensional map image in the present embodiment will be described with reference to FIGS. FIG. 9 is a diagram for explaining the situation of the specific example. In FIG. 9, the host vehicle Ca is traveling on the road R1. The detection range of the
路側機5は、道路R2沿いに設置されている。路側機5(ライダ)の検出範囲をL4とする。信号機6は、道路R1と道路R2の交差点に設置されている。信号機6にもライダが設けられ、このライダの検出範囲をL5とする。
The
また、道路R2沿いには所定の建物等の地物である地物BL1、地物BL2があり、道路R1沿いには所定の建物等の地物である地物BL3がある。 Further, along the road R2, there are a feature BL1 and a feature BL2 which are features such as a predetermined building, and along the road R1 there is a feature BL3 which is a feature such as a predetermined building.
図9の場合において、各ライダの検出範囲から図9に示した道路R1、R2に沿った地物の情報を得ることが可能であるので、各ライダで検出された点群情報に基づいて生成された三次元地図情報を合成して道路R1、R2の三次元地図画像を生成する。 In the case of FIG. 9, since it is possible to obtain the feature information along the roads R1 and R2 shown in FIG. 9 from the detection range of each rider, the generation is performed based on the point cloud information detected by each rider. The generated three-dimensional map information is synthesized to generate a three-dimensional map image of roads R1 and R2.
このようにして生成された三次元地図画像には建物等の地物BL1〜BL3が含まれるに限らず、例えば他車Cb1のライダ2の検出範囲L2にある自車Caも含まれる。また、図示しないが、各検出範囲L1〜L5で検出された歩行者を含めてよい。また、この三次元地図画像は逐次更新されるので、各車両が移動すれば三次元地図画像内で移動する。例えば、自車Caが他車Cb1、Cb2等から点群情報を受信し続ければ、他車Cb1、Cb2が検出した物体が略リアルタイムに三次元地図画像に反映される。したがって、本実施例の三次元地図画像は、静止画ではなく動画像とすることができる。
The three-dimensional map image generated in this way is not limited to including the features BL1 to BL3 such as buildings, but also includes, for example, the host vehicle Ca in the detection range L2 of the
また、三次元地図画像は、例えば自車Caの搭乗者の操作に応じて任意の視点からみた視界で表示することができる。例えば、図9の視界A1は、自車Caから前方の視点から見た視界であり、例えば、図10のように表示部14に表示される。
Further, the three-dimensional map image can be displayed in a view seen from an arbitrary viewpoint, for example, according to the operation of the passenger of the host vehicle Ca. For example, the visual field A1 of FIG. 9 is a visual field seen from the point of view forward from the host vehicle Ca, and is displayed on the
また、図9の視界A2は、自車Caの右方の視点からみた視界であり、例えば、図11のように表示部14に表示される。また、図9の視界A3は、自車Caの右後方の視点からみた視界であり、例えば、図12のように表示部14に表示される。
Further, a field of view A2 in FIG. 9 is a field of view as viewed from the right side of the host vehicle Ca, and is displayed on the
なお、三次元地図画像は、車両Cに搭載された情報処理装置1で生成するに限らず、例えば外部のサーバ装置等で生成して車両Cに配信するようにしてもよい。構成例を図13に示す。
The three-dimensional map image is not limited to being generated by the
図13において、サーバ装置10は、インターネット等のネットワークNと接続されている。そして、サーバ装置10は、自車Caや他車Cb、路側機5及び信号機6から点群情報を取得して、図8のフローチャートのように三次元地図画像を生成する。
In FIG. 13, the
そして、自車Caの情報処理装置1からの要求に応じて三次元地図画像を配信し、その三次元地図画像が情報処理装置1の表示部14に表示される。
Then, a three-dimensional map image is distributed in response to a request from the
なお、図13の場合でも視点の変更は自在であるが、情報処理装置1の処理能力が高くない場合は、視点の情報をサーバ装置10に送信し、その視点に応じた画像を生成して情報処理装置1へ配信するようにしてもよい。
Even in the case of FIG. 13, although the change of the viewpoint is free, when the processing capability of the
本実施例によれば、情報処理装置1は、処理部12が、自車Caや他車Cb1、Cb2或いは路側機5、信号機6から点群情報を取得し、その取得した点群情報に基づき、少なくとも自車Ca周辺の三次元地図画像を生成して、表示部14に三次元地図画像を表示する。このようにすることにより、複数の装置から取得した点群情報に基づいて、例えば、自車Ca周辺の三次元空間を再現した他車Cb1、Cb2や歩行者等も含む街並みの地図画像を生成することができる。そして、その再現した三次元空間を自車Caが走行するような表示や演出をすることができる。
According to the present embodiment, the
また、処理部12は逐次点群情報を取得し、その逐次取得された点群情報に基づいて三次元地図画像を更新するようにしている。このようにすることにより、三次元地図画像をリアルタイムに更新することができ、現実の走行状態に沿った表示や演出をすることができる。また、三次元地図画像を動画像とすることで、よりリアルな表示や演出をすることができる。
The
また、処理部12は、自車Caの外部にある他車Cb1、Cb2や路側機5、信号機6から点群情報と、自車Caに配置されたライダ2が取得した点群情報と、に基づいて三次元地図画像を生成している。このようにすることにより、自身に設置されているセンサ等の検出範囲外の点群情報を取得することができる。したがって、より広範囲の三次元地図画像を生成することができる。
In addition, the
また、三次元地図画像の視点の位置を調整操作可能な操作部15を備え、表示部14は、操作部15による視点の位置の調整に応じて三次元地図画像の視点の位置を変化させて表示してもよい。このようにすることにより、例えば三次元地図で表された空間内の様々な視点からみた画像を表示させることが可能となる。したがって、搭乗者等の好みに合わせて視点を変化させることができるので、飽きさせない表示をすることができる。
In addition, the
また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の画像生成装置の構成を具備する限り、勿論、本発明の範疇に含まれるものである。 Further, the present invention is not limited to the above embodiment. That is, those skilled in the art can carry out various modifications without departing from the gist of the present invention in accordance with conventionally known findings. As long as the configuration of the image generation apparatus of the present invention is provided even by such a modification, it is of course included in the scope of the present invention.
1 情報処理装置(画像生成装置)
2 ライダ
3 GPS受信機
4 その他のセンサ類
5 路側機(外部装置)
6 信号機(外部装置)
11 通信部
12 処理部(取得部、生成部、出力部)
13 記憶部
14 表示部
15 操作部
16 I/F
1 Information processing device (image generation device)
2
6 Traffic light (external device)
11
13
Claims (9)
前記画像生成装置が配置された前記移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得する取得部と、
前記取得部によって取得された前記点群情報に基づき、少なくとも前記移動体の周辺を含む三次元空間を示す三次元空間画像を生成する生成部と、
を備えることを特徴とする画像生成装置。 An image generating apparatus comprising: a generating unit configured to generate an image to be displayed on a display unit of the moving body,
An acquisition unit for acquiring point cloud information in which objects surrounding each of the plurality of devices are represented by a plurality of points from a plurality of devices including an external device outside the moving body in which the image generation device is disposed; ,
A generation unit configured to generate a three-dimensional space image indicating a three-dimensional space including at least the periphery of the moving object based on the point cloud information acquired by the acquisition unit;
An image generation apparatus comprising:
前記生成部は、逐次取得された前記点群情報に基づいて前記三次元空間画像を更新することを特徴とする請求項1に記載の画像生成装置。 The acquisition unit sequentially acquires the point cloud information,
The image generation apparatus according to claim 1, wherein the generation unit updates the three-dimensional space image based on the point cloud information acquired sequentially.
前記取得部は、前記他の移動体から前記点群情報を取得することを特徴とする請求項4に記載の画像生成装置。 The external device includes a device for acquiring the point cloud information mounted on another mobile body,
The image generation apparatus according to claim 4, wherein the acquisition unit acquires the point cloud information from the other moving object.
前記取得部は、前記路側機から前記点群情報を取得することを特徴とする請求項4または5に記載の画像生成装置。 The external device includes a roadside device installed on a traveling road,
The image generation apparatus according to claim 4, wherein the acquisition unit acquires the point cloud information from the roadside device.
前記生成部は、前記操作部による視点の位置の調整に応じて視点の位置を変化させた前記三次元空間画像を生成することを特徴とする請求項1から6のうちいずれか一項に記載の画像生成装置。 And an operation unit capable of adjusting and operating the position of the viewpoint of the three-dimensional space image;
The said production | generation part produces | generates the said three-dimensional space image which changed the position of the viewpoint according to adjustment of the position of the viewpoint by the said operation part, It is described in any one of Claim 1 to 6 characterized by the above-mentioned. Image generation device.
前記画像生成装置が配置された前記移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得する取得工程と、
前記取得工程において取得された前記点群情報に基づき、少なくとも前記移動体の周辺を含む三次元空間を示す前記移動体周辺の三次元空間画像を生成する生成工程と、
を含むことを特徴とする画像生成方法。 An image generation method that is executed by an image generation apparatus that generates an image displayed on a display unit of a mobile object,
Obtaining point cloud information in which objects surrounding each of the plurality of devices are represented by a plurality of points from a plurality of devices including an external device outside the moving body in which the image generation device is disposed; ,
A generation step of generating a three-dimensional space image around the moving body showing a three-dimensional space including at least the periphery of the moving body based on the point cloud information obtained in the obtaining step;
A method of generating an image, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017249682A JP2019117435A (en) | 2017-12-26 | 2017-12-26 | Image generation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017249682A JP2019117435A (en) | 2017-12-26 | 2017-12-26 | Image generation device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019117435A true JP2019117435A (en) | 2019-07-18 |
Family
ID=67304437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017249682A Pending JP2019117435A (en) | 2017-12-26 | 2017-12-26 | Image generation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019117435A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113945219A (en) * | 2021-09-28 | 2022-01-18 | 武汉万集光电技术有限公司 | Dynamic map generation method, system, readable storage medium and terminal equipment |
WO2022269875A1 (en) * | 2021-06-24 | 2022-12-29 | 株式会社ソシオネクスト | Information processing device, information processing method, and information processing program |
-
2017
- 2017-12-26 JP JP2017249682A patent/JP2019117435A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022269875A1 (en) * | 2021-06-24 | 2022-12-29 | 株式会社ソシオネクスト | Information processing device, information processing method, and information processing program |
CN113945219A (en) * | 2021-09-28 | 2022-01-18 | 武汉万集光电技术有限公司 | Dynamic map generation method, system, readable storage medium and terminal equipment |
CN113945219B (en) * | 2021-09-28 | 2024-06-11 | 武汉万集光电技术有限公司 | Dynamic map generation method, system, readable storage medium and terminal device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11535155B2 (en) | Superimposed-image display device and computer program | |
US10984580B2 (en) | Adjusting depth of augmented reality content on a heads up display | |
WO2020148680A1 (en) | Utilizing passenger attention data captured in vehicles for localization and location-based services | |
JP2016048550A (en) | Space information presentation based on driver's attention evaluation | |
US11525694B2 (en) | Superimposed-image display device and computer program | |
JP2016048552A (en) | Provision of external information to driver | |
US10922976B2 (en) | Display control device configured to control projection device, display control method for controlling projection device, and vehicle | |
JP2020053046A (en) | Driver assistance system and method for displaying traffic information | |
KR102635265B1 (en) | Apparatus and method for around view monitoring using lidar | |
US11699235B2 (en) | Way to generate tight 2D bounding boxes for autonomous driving labeling | |
KR20190077482A (en) | Method and system for adjusting the orientation of a virtual camera while the vehicle is turning | |
JP2020032866A (en) | Vehicular virtual reality providing device, method and computer program | |
JP2020502609A (en) | Object smoothing using map information obtained from sensor data | |
WO2018180756A1 (en) | Drive assistance system | |
JP6186905B2 (en) | In-vehicle display device and program | |
JP2019117435A (en) | Image generation device | |
US20210158474A1 (en) | Way to generate images with distortion for fisheye lens | |
KR102625688B1 (en) | Display devices and route guidance systems based on mixed reality | |
JP2019117434A (en) | Image generation device | |
JP7333445B2 (en) | image generator | |
WO2022004448A1 (en) | Information processing device, information processing method, information processing system, and program | |
US20220200701A1 (en) | System and method for determining actions of a vehicle by visible light communication | |
JP2019117214A (en) | Object data structure | |
JP7361486B2 (en) | Information presentation device, information presentation method, and program | |
JP7143728B2 (en) | Superimposed image display device and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20180116 |