JP2019117435A - Image generation device - Google Patents
Image generation device Download PDFInfo
- Publication number
- JP2019117435A JP2019117435A JP2017249682A JP2017249682A JP2019117435A JP 2019117435 A JP2019117435 A JP 2019117435A JP 2017249682 A JP2017249682 A JP 2017249682A JP 2017249682 A JP2017249682 A JP 2017249682A JP 2019117435 A JP2019117435 A JP 2019117435A
- Authority
- JP
- Japan
- Prior art keywords
- image
- point cloud
- cloud information
- vehicle
- dimensional space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、物体の外観画像を生成する生成部を備えた画像生成装置に関する。 The present invention relates to an image generation apparatus provided with a generation unit that generates an appearance image of an object.
従来、レーザレーダを用いて、車両の前方等の検出領域（すなわち、物体を検出するための対象となる領域）に存在する物体上の複数の点に対して３次元空間上の位置を取得し、その物体を認識する技術が提案されている。例えば、特許文献１には、前記位置が取得された点をクラスタリングしてクラスタ点群を取得し、そのクラスタ点群に係る測定量の時間的変動に基づき、クラスタ点群に対応する物体を識別することとしている。
Conventionally, a laser radar is used to obtain positions in a three-dimensional space with respect to a plurality of points on an object present in a detection area such as the front of a vehicle (that is, an area to be an object for detecting an object). , The technology which recognizes the object is proposed. For example, according to
上述したように、レーザレーダ（以下、ＬｉＤＡＲ（Light Detection And Ranging）とも称する）は、移動体としての車両等の周辺に存在する物体の認識に用いられている。しかしながら、レーザレーダによって取得された情報（所謂点群情報）は、このような物体の認識以外に利用されてはいない。 As described above, laser radar (hereinafter also referred to as LiDAR (Light Detection And Ranging)) is used to recognize an object present in the vicinity of a vehicle or the like as a moving body. However, information acquired by laser radar (so-called point cloud information) is not used except for recognition of such an object.
一方で、今後自動運転機能を搭載した車両において、自動運転中の移動時間におけるエンタテインメント性の向上が期待されている。しかし、レーザレーダによって取得された情報を、エンタテインメント性の向上に利用するという思想は、従来は存在していなかった。 On the other hand, in vehicles equipped with an automatic driving function in the future, it is expected to improve entertainment in the traveling time during automatic driving. However, the idea of utilizing the information acquired by the laser radar for the improvement of entertainment has not existed conventionally.
本発明が解決しようとする課題としては、所謂点群情報を利用して、エンタテインメント性を向上させることが一例として挙げられる。 One of the problems to be solved by the present invention is to improve entertainment by using so-called point cloud information.
上記課題を解決するために、請求項１に記載の発明は、移動体が有する表示部に表示される画像を生成する生成部を備える画像生成装置であって、前記画像生成装置が配置された前記移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得する取得部と、前記取得部によって取得された前記点群情報に基づき、少なくとも前記移動体の周辺を含む三次元空間を示す三次元空間画像を生成する生成部と、を備えることを特徴としている。
In order to solve the above-mentioned subject, the invention according to
請求項８に記載の発明は、移動体が有する表示部に表示される画像を生成する画像生成装置で実行される画像生成方法であって、前記画像生成装置が配置された前記移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得する取得工程と、前記取得工程において取得された前記点群情報に基づき、少なくとも前記移動体の周辺を含む三次元空間を示す前記移動体周辺の三次元空間画像を生成する生成工程と、を含むことを特徴としている。 The invention according to claim 8 is an image generating method executed by an image generating device for generating an image displayed on a display unit of a moving object, wherein the image generating device is disposed outside the moving object. An acquisition step of acquiring point cloud information in which objects surrounding each of the plurality of devices are represented by a plurality of points from a plurality of devices including an external device in the above, and the point cloud information acquired in the acquisition step And a generation step of generating a three-dimensional space image around the moving body, which shows a three-dimensional space including at least the periphery of the moving body.
請求項９に記載の発明は、請求項８に記載の画像生成方法を、コンピュータにより実行させることを特徴としている。 The invention according to a ninth aspect is characterized in that the image generation method according to the eighth aspect is executed by a computer.
以下、本発明の一実施形態にかかる画像生成装置を説明する。本発明の一実施形態にかかる画像生成装置は、取得部が画像生成装置が配置された移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得し、生成部が取得部によって取得された点群情報に基づき、少なくとも移動体の周辺を含む三次元空間を示す三次元空間画像を生成する。このようにすることにより、複数の装置から取得した点群情報に基づいて、例えば、自車周辺の三次元空間を再現して他車や歩行者等も含む街並みの画像を生成することができる。そして、その再現された三次元空間を自車が走行するような表示や演出をすることができる。 Hereinafter, an image generation apparatus according to an embodiment of the present invention will be described. According to an embodiment of the present invention, there is provided an image generation apparatus including: a plurality of devices including an external device whose acquisition unit is external to a moving body in which the image generation device is disposed; and a plurality of objects around each of the plurality of devices. Based on the point cloud information acquired by the acquisition unit, the generation unit generates a three-dimensional space image representing a three-dimensional space including at least the periphery of the moving object based on the point cloud information acquired by the acquisition unit. By doing this, it is possible to reproduce, for example, a three-dimensional space around the vehicle and generate an image of a cityscape including other vehicles and pedestrians, based on point cloud information acquired from a plurality of devices. . And, it is possible to display and produce such that the vehicle travels in the reproduced three-dimensional space.
また、取得部は逐次点群情報を取得し、生成部は、逐次取得された点群情報に基づいて三次元空間画像を更新してもよい。このようにすることにより、三次元空間画像をリアルタイムに更新することができ、現実の走行状態に沿った表示や演出をすることができる。 Further, the acquisition unit may sequentially acquire point cloud information, and the generation unit may update the three-dimensional space image based on the point cloud information acquired sequentially. By doing this, it is possible to update the three-dimensional space image in real time, and it is possible to perform display and effects along the actual traveling state.
また、前記生成部は、前記三次元空間画像を動画像として生成してもよい。このようにすることにより、逐次取得された点群情報に基づいて変化する動画像として三次元空間画像を構成することができる。したがって、よりリアルな表示や演出をすることができる。 Further, the generation unit may generate the three-dimensional space image as a moving image. By doing this, it is possible to configure a three-dimensional space image as a moving image that changes based on the point cloud information acquired sequentially. Therefore, more realistic display and presentation can be performed.
また、生成部は、外部装置から取得した点群情報と、移動体に配置されたセンサが取得した点群情報と、に基づいて三次元空間画像を生成してもよい。このようにすることにより、自身に設置されているセンサ等の検出範囲外の点群情報を取得することができる。したがって、より広範囲の三次元空間画像を生成することができる。 In addition, the generation unit may generate a three-dimensional space image based on point cloud information acquired from an external device and point cloud information acquired by a sensor disposed on the mobile object. By doing this, it is possible to acquire point cloud information outside the detection range of a sensor or the like installed in itself. Thus, a wider range of three-dimensional spatial images can be generated.
また、外部装置には、他の移動体に搭載された点群情報を取得する装置が含まれ、取得部は、他の移動体から点群情報を取得してもよい。このようにすることにより、移動体の周囲を走行している他の移動体が取得した点群情報に基づいて三次元空間画像を生成することができる。 In addition, the external device includes a device for acquiring point cloud information mounted on another mobile body, and the acquisition unit may acquire point cloud information from the other mobile body. By doing this, it is possible to generate a three-dimensional space image based on point cloud information acquired by another moving object traveling around the moving object.
また、外部装置には、走行路に設置された路側機が含まれ、取得部は、路側機から点群情報を取得してもよい。このようにすることにより、他の移動体が少ない場合であっても、路側機が取得した点群情報に基づいて外観画像を生成することができる。 Also, the external device may include a roadside device installed on the traveling path, and the acquisition unit may acquire point cloud information from the roadside device. By doing this, it is possible to generate an appearance image based on the point cloud information acquired by the roadside device even when there are few other moving objects.
また、三次元空間画像の視点の位置を調整操作可能な操作部を備え、生成部は、操作部による視点の位置の調整に応じて視点の位置を変化させた三次元空間画像を生成してもよい。このようにすることにより、例えば三次元空間内の様々な視点からみた画像を表示をさせることが可能となる。したがって、搭乗者等の好みに合わせて視点を変化させることができるので、飽きさせない表示をすることができる。 In addition, an operation unit capable of adjusting and operating the position of the viewpoint of the three-dimensional space image is provided, and the generation unit generates a three-dimensional space image in which the position of the viewpoint is changed according to the adjustment of the position of the viewpoint by the operation unit. It is also good. This makes it possible to display images viewed from various viewpoints in a three-dimensional space, for example. Therefore, since the viewpoint can be changed in accordance with the preference of the passenger etc., display can be made without getting tired.
本発明の一実施形態にかかる画像生成方法は、取得工程で画像生成装置が配置された移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得し、生成工程で取得工程において取得された点群情報に基づき、少なくとも移動体の周辺を含む三次元空間を示す三次元空間画像を生成する。このようにすることにより、複数の装置から取得した点群情報に基づいて、例えば、自車周辺の三次元空間を再現した他車や歩行者等も含む街並みの画像を生成することができる。そして、その再現した三次元空間を自車が走行するような表示や演出をすることができる。 According to an embodiment of the present invention, there is provided an image generation method comprising: a plurality of devices including an external device external to a moving body on which an image generation device is disposed in an acquisition step; The point cloud information represented by the points is acquired, and a three-dimensional space image showing a three-dimensional space including at least the periphery of the moving object is generated based on the point cloud information acquired in the acquisition step in the generation step. By doing this, it is possible to generate, for example, an image of a cityscape including other vehicles and pedestrians, etc., which reproduces a three-dimensional space around the own vehicle, based on point cloud information acquired from a plurality of devices. Then, it is possible to display or produce such that the vehicle travels in the reproduced three-dimensional space.
また、上述した画像生成方法をコンピュータにより実行させる画像生成プログラムとしてもよい。このようにすることにより、複数の装置から取得した点群情報に基づいて、例えば、自車周辺の三次元空間を再現した他車や歩行者等も含む街並みの画像をコンピュータを利用して生成することができる。そして、その再現した三次元空間を自車が走行するような表示や演出をすることができる。 Further, it may be an image generation program that causes a computer to execute the above-described image generation method. In this way, based on the point cloud information acquired from a plurality of devices, for example, an image of a cityscape including other cars and pedestrians that reproduces a three-dimensional space around the own vehicle is generated using a computer can do. Then, it is possible to display or produce such that the vehicle travels in the reproduced three-dimensional space.
本発明の第１の実施例にかかる画像生成装置としての情報処理装置１を図１〜図７を参照して説明する。情報処理装置１は、図１に示したように、移動体としての車両Ｃ（Ｃａ、Ｃｂ）に搭載されている。なお、本実施例において、車両Ｃは、常時自律的に走行可能な車両（自動運転車両）又は、自動運転と手動運転とを切り替え可能な車両として説明する。また、図１において、車両Ｃａは以後の説明では必要に応じて自車両（自車）として扱い、車両Ｃｂは他車両（他車）として扱う。
An
また、車両Ｃには、ライダ２が搭載されている。ライダ２は、当該ライダ２が搭載された周囲に存在する物体を認識するためのセンサであり、ＬｉＤＡＲ（Light Detection And Ranging）とも表記される。ライダ２は、レーザ光等の光を照射してその光の反射光により、外界に存在する物体までの距離を離散的に測定し、当該物体の位置や形状等を三次元の点群として認識する公知のセンサである。したがって、ライダ２で取得された点群は車両Ｃが移動する周囲に存在する建物や道路等の構造物を含む地物を複数の点により三次元状に表した情報（点群情報）となる。尚、ライダ２は、自車が走行している道路上の標識や道路に沿って存在する建築物や街路樹等の地物以外にも、自車の周辺に存在する歩行者や他車等を認識してもよい。
Further, the rider C is mounted on the vehicle C. The
図１では主に車両Ｃの前方の物体を検出するライダ２ａ、主に車両Ｃの後方の物体を検出するライダ２ｂ、主に車両Ｃの左側方の物体を検出するライダ２ｃ、主に車両Ｃの右側方の物体を検出するライダ２ｄが記載されている。ライダ２の搭載位置や数は図１に限らず他の配置や数であってもよい。
In FIG. 1, a rider 2a for mainly detecting an object in front of the vehicle C, a
また、本実施例では、ライダは車両Ｃ以外に路側機５としても設置されている。路側機５として設置されるのは、例えば信号機や高速道路等における合流地点や、各種道路標識や看板等が挙げられる。図１の場合、路側機５は、上下線それぞれに路側機５ａ、路側機５ｂとして設置されている。
Further, in the present embodiment, the rider is also installed as a
図２に本実施例にかかる情報処理装置１の機能構成図を示す。情報処理装置１は、通信部１１と、処理部１２と、記憶部１３と、表示部１４と、操作部１５と、Ｉ／Ｆ１６と、を備えている。
FIG. 2 shows the functional configuration of the
通信部１１は、他車両である車両Ｃｂや路側機５から点群情報等を受信する。通信部１１は、例えば車車間通信や路車間通信により点群情報を受信することができる。或いは、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ（登録商標）等の既存の無線通信により点群情報を受信してもよい。
The
処理部１２は、例えばＣＰＵ（Central Processing Unit）とメモリ等を有するマイクロコントローラ等により構成されている。処理部１２は、通信部１１が受信した点群情報と、ＧＰＳ受信機３で検出した車両Ｃａの現在位置と、記憶部１３に記憶されている地図情報と、に基づいて、受信した点群情報から自車である車両Ｃａにかかる部分を抜き出して、その抜き出した点群情報に基づいて車両Ｃａの外観画像としての三次元モデル画像を生成する。即ち、処理部１２は、物体の外観画像を生成する生成部として機能する。車両Ｃａの三次元モデル画像を生成についての詳細は後述する。
The
記憶部１３は、ハードディスクドライブやＳＳＤ（Solid State Drive）等により構成される大容量記憶装置である。記憶部１３は、車両Ｃが自律的に走行可能な程度の詳細な情報を含む地図データが記憶されている。そして、この地図データは、三次元の地図データであり、地図データに含まれる地物等には、絶対的な位置情報（緯度経度情報）が含まれている。
The
表示部１４は、例えばセンターコンソールに設置されるディスプレイ装置やＨＵＤ（Head-Up Display）等で構成されている。表示部１４は、処理部１２で生成された車両Ｃａの三次元モデル画像等を表示する。なお、以下の説明では、出力部が表示部１４に出力することとして説明するが、通信部１１を出力部として機能させ、通信部１１が自車Ｃａの搭乗者が所持する端末機器等に処理部１２で生成された車両Ｃａの三次元モデル画像等を無線により出力するようにしてもよい。この場合は、搭乗者が所持する端末機器等が移動体内に配置された表示部となる。また、表示部１４は、車両Ｃａのフロントガラスやドアガラス、サンルーフガラス等の、車両Ｃａが有するガラス部であっても良い。このように、表示部４は、車両内に固定されている表示装置や投影等により表示可能な部位に限らず、車内に持ち込まれている端末等でもよく、つまりは車両が有していればよい。
The
操作部１５は、例えばタッチパネルや押しボタン等で構成されている。操作部１５は、表示部１４に表示された車両Ｃａの三次元モデル画像等のアングルを調整等の操作をすることができる。
The
Ｉ／Ｆ１６は、車両Ｃに設置されているライダ２、ＧＰＳ（Global Positioning System）受信機３、その他のセンサ類４との接続インターフェース（Ｉ／Ｆ）である。Ｉ／Ｆ１６は、ライダ２、ＧＰＳ受信機３等から出力された信号、データ等を処理部１２へ出力するデータ形式や信号レベルに変換する。
The I /
ＧＰＳ受信機３は、周知のように複数のＧＰＳ衛星から受信した電波により現在位置を表す緯度及び経度の位置情報を検出する。
The
その他のセンサ類４としては、車両の姿勢（向きなど）を認識して他のセンサの取得データを補正するための慣性計測装置（ＩＭＵ：Inertial Measurement Unit）やジャイロセンサ、車両Ｃの外界の状況を表す色付きの画像を生成する車載カメラ、車両Ｃの加速度を検出する加速度センサ、車両Ｃの速度を検出する速度センサ、などが挙げられる。
次に、上述した構成の情報処理装置１における三次元モデルの生成と表示の動作（画像生成方法）について図３のフローチャートを参照して説明する。図３のフローチャートは、例えば処理部１２で実行されるコンピュータプログラムとして構成されている。
Next, the operation (image generation method) of generation and display of a three-dimensional model in the
まず、ステップＳ１１において、処理部１２は、他車Ｃｂや路側機５ａ、５ｂから点群情報を通信部１１を介して取得する。即ち、処理部１２は、情報処理装置１を備える自車Ｃａ（移動体）の外部にある他車Ｃｂ等（外部装置）から当該他車Ｃｂ等（外部装置）の周囲の物体を複数の点により表した点群情報を取得する取得部として機能する。この点群情報は、例えは外部装置が有するライダによって取得される点群情報である。この点群情報の取得は、例えば他車Ｃｂや路側機５ａ、５ｂが点群情報をブロードキャストで送信して、そのブロードキャストで送信された点群情報を通信部１１が受信して取得する。他車Ｃｂ等が送信する点群情報には、点群の情報（距離、方向等）だけでなく送信元の識別情報や送信元の位置情報も含まれている。
First, in step S11, the
次に、ステップＳ１２において、処理部１２は、自車Ｃａの位置情報をＧＰＳ受信機３からＩ／Ｆ１６を介して取得する。
Next, in step S12, the
次に、ステップＳ１３において、処理部１２が三次元モデル画像を生成する。三次元モデル画像の生成は、まず、受信した点群情報から自車Ｃａの部分にかかる点群を抜き出す。これは、ステップＳ１１で取得した点群情報に含まれる送信元の位置情報とステップＳ１２で取得した自車Ｃａの位置情報から送信元から自車Ｃａへの方位と距離が分かる。点群情報には、本来距離と方向の情報が各点に含まれるため、自車Ｃａの方位と距離に合致する点群を抜き出せばよい。また、この処理は複数の送信元がある場合はそれぞれの送信元の点群情報について行われる。そして、抜き出した点群に対して周知の方法によりポリゴン等によりモデリングをして三次元モデル画像を生成する。複数の送信元がある場合は、点群を合成あるいはモデリングの際に合成して三次元モデル画像を生成してもよい。また、当該処理においては、少なくとも自車Ｃａの部分にかかる点群を抜き出せばよく、例えば自車Ｃａ及びその周囲に存在する地物等を含む背景にかかる点群を抜き出すようにしてもよい。
Next, in step S13, the
次に、ステップＳ１４において、処理部１２は、ステップＳ１３で生成した三次元モデル画像を表示部１４に出力して表示させる。即ち、処理部１２は、三次元モデル画像（外観画像）を自車Ｃａ（移動体）内に配置された表示部１４へ出力する出力部として機能する。
Next, in step S14, the
そして、図３のフローチャートは逐次繰り返して実行することで、表示部１４に表示する三次元モデル画像が略リアルタイムに更新され、例えば自車Ｃａが町中を走行するような演出や表示をすることができる。
Then, the flowchart of FIG. 3 is sequentially repeated and executed to update the three-dimensional model image displayed on the
上述した説明から明らかなように、ステップＳ１１が取得工程、ステップＳ１３が生成工程、ステップＳ１４が出力工程として機能する。 As apparent from the above description, step S11 functions as an acquisition step, step S13 functions as a generation step, and step S14 functions as an output step.
次に、上述した三次元モデル画像の表示の具体例を図４〜図７を参照して説明する。図４は、具体例の状況を説明した図である。図４において、左側の車線を自車Ｃａが走行し、右側の車線を他車Ｃｂが走行している。また、他車Ｃｂのライダ２の検出範囲をＡとする。このとき、自車Ｃａが他車Ｃｂを追い抜いた場合における各時刻ｔ１〜ｔ３の三次元モデル画像を図５〜図７に示す。図５〜図７に例示された三次元モデル画像は、それぞれ異なるアングル（視点）から、自車Ｃａを見たような画像を示している。
Next, specific examples of the display of the three-dimensional model image described above will be described with reference to FIGS. FIG. 4 is a diagram for explaining the situation of the specific example. In FIG. 4, the own vehicle Ca travels in the left lane, and the other vehicle Cb travels in the right lane. Also, let A be a detection range of the
時刻ｔ１は、他車Ｃｂから見て左後方に自車Ｃａが走行している。そのため図５のように、点群情報として、自車Ｃａの右斜め前方方向からの点群が取得されるため、自車Ｃａを右斜め前方から見たような三次元モデル画像となる。 At time t1, the own vehicle Ca is traveling in the left rear as viewed from the other vehicle Cb. Therefore, as shown in FIG. 5, since a point group from the diagonally right forward direction of the host vehicle Ca is acquired as point group information, it becomes a three-dimensional model image as viewed from the front diagonal side of the host vehicle Ca.
時刻ｔ２は、他車Ｃｂから見て左側に自車Ｃａが走行している。そのため図６のように、点群情報として、自車Ｃａの右方向からの点群が取得されるため、自車Ｃａを右から見たような三次元モデル画像となる。なお、時刻ｔ２において、前の時刻である時刻ｔ１で取得した点群情報も参照して三次元モデル画像を生成してもよい。 At time t2, the own vehicle Ca is traveling to the left as viewed from the other vehicle Cb. Therefore, as shown in FIG. 6, since a point cloud from the right direction of the host vehicle Ca is acquired as point cloud information, it becomes a three-dimensional model image as viewed from the host vehicle Ca from the right. Note that, at time t2, a three-dimensional model image may be generated with reference to point cloud information acquired at time t1, which is the previous time.
時刻ｔ３は、他車Ｃｂから見て左前方に自車Ｃａが走行している。そのため図５のように、点群情報として、自車Ｃａの右斜め前方方向からの点群が取得されるため、自車Ｃａを右斜め後方から見たような三次元モデル画像となる。なお、時刻ｔ３においても、前の時刻である時刻ｔ１、ｔ２で取得した点群情報も参照して三次元モデル画像を生成してもよい。 At time t3, the own vehicle Ca is traveling forward in the left as viewed from the other vehicle Cb. Therefore, as shown in FIG. 5, since a point group from the diagonally forward right direction of the host vehicle Ca is acquired as point group information, it becomes a three-dimensional model image as viewed from the rear right side of the host vehicle Ca. Also at time t3, a three-dimensional model image may be generated with reference to the point cloud information acquired at times t1 and t2, which are previous times.
なお、本実施例では、図５〜図７に示したように外観画像としては、自車Ｃａを点群情報からモデリングした三次元モデル画像としているが、点群をそのまま自車Ｃａの形状となるような表示をした画像であってもよいし、ワイヤーフレーム等であってもよい。つまり、本実施例における外観画像とは、対象物の外観形状が識別可能である画像であればよい。 In the present embodiment, as shown in FIGS. 5 to 7, the appearance image is a three-dimensional model image in which the vehicle Ca is modeled from point cloud information, but the point cloud is directly used as the shape of the vehicle Ca. It may be an image on which such display is made, or may be a wire frame or the like. That is, the appearance image in the present embodiment may be any image that can identify the appearance shape of the object.
また、図５〜図７において、自車Ｃａ以外の背景部分は、各時刻で取得した点群情報のうち自車Ｃａとして抜き出した部分以外から生成してもよいし、取得した位置情報に基づいて記憶部１３に記憶されている地図データから該当する建物等の地物を抜き出して表示してもよい。また、背景部分は、車両Ｃａのようにモデリングした三次元の画像に限らず、点群をそのまま表示したような画像であってもよいし、ワイヤーフレーム等であってもよい。
Further, in FIGS. 5 to 7, the background portion other than the host vehicle Ca may be generated from other than the portion extracted as the host vehicle Ca in the point cloud information acquired at each time, or based on the acquired position information A feature such as a corresponding building may be extracted from the map data stored in the
そして、利用者は、操作部１５による操作によって、表示される三次元モデル画像のアングルを変更することができる。例えば、表示部１４は、操作部１５が利用者から受け付けたアングルに関する情報に基づき、図５から図７に示す三次元モデル画像を切り換えて表示する。即ち、表示部１４は、利用者が操作部１５を操作することによって指定するアングルに対応する三次元モデル画像を表示するように制御される。したがって、自車Ｃａの搭乗者の好みに合わせて表示される画像のアングルを変化させることができるので、飽きさせない表示をすることができる。なお、表示部１４が表示する画像のアングルについては、上述した操作部１５による操作以外によって決定されてもよい。例えば、車両Ｃａがライダを備えた外部装置（例えば路側器）に近づいた場合（当該外部装置から所定の範囲内に車両Ｃａが進入した場合）に、表示部１４に表示される画像のアングルが自動的に当該外部装置からのアングル（外部装置視点の画像）に切り替わるようにしてもよい。
Then, the user can change the angle of the displayed three-dimensional model image by the operation of the
本実施例によれば、通信部１１が他車Ｃｂから点群情報を取得し、処理部１２が取得した点群情報に基づき自車Ｃａの三次元モデル画像を生成して、表示部１４が三次元モデル画像を表示する。このようにすることにより、自車Ｃａ自身が取得した点群情報によらない、他車Ｃｂが取得した点群情報に基づいた車両や地物等の外観の画像を生成することができる。このような画像は、自車Ｃａの搭乗者からは本来見えない情報を含むものであり、あたかも外から自車Ｃａの方向を見ているような表示、演出が可能となる。例えば、自車Ｃａが現在走行している状態を示す画像を三次元モデル画像として生成して自車Ｃａの内部に表示することができる。したがって、ライダによって取得された点群情報を利用して、エンタテインメント性を向上させることができる。また、当該点群情報には、ライダの周辺に存在する物体を示す情報が含まれており、例えば利用者であるドライバーが注意すべき歩行者や、他車両を示す情報が含まれている。したがって、当該点群情報を利用してエンタテインメント性をもった三次元モデル画像を表示させることで、ドライバーは当該画像を楽しみつつ、注意すべき物体等を監視することができる。これに伴い、ドライバーがもつ安心感を向上させることができることとなる。
According to this embodiment, the
また、処理部１２は、自車Ｃａの走行路に設置された路側機５から通信部１１を介して点群情報を取得するようにしてもよい。このようにすることにより、他車Ｃｂが少ない場合であっても、路側機５が取得した点群情報に基づいて三次元モデル画像を生成することができる。なお、路側機５が取得した点群情報に基づいて三次元モデル画像を生成する場合、例えば図１に示した自車Ｃａが走行している車線に対応する路側機５ａに限らず、反対車線に対応する路側機５ｂが取得した点群情報も利用してもよい。これは路側機５ｂの設置位置や画角によっては、自車Ｃａが走行している車線を走行する車両の点群情報を取得することも可能だからである。
In addition, the
なお、上述した実施例では、取得可能な場合は常に点群情報を取得していたが、例えば、自車Ｃａの三次元モデルがある程度の完成度で生成された場合は、これ以上の点群情報の取得は不要として通信部１１に点群情報の取得を停止させてもよい。即ち、外観画像の生成の度合いが所定値以上となった場合は点群情報の取得を停止してもよい。この完成度は、例えば、前後左右の全ての方角からの点群情報を取得することができた場合等である。このようにすることにより、三次元モデル画像としてある程度完成した場合は、点群情報の取得を停止して外部機器との通信量及び自装置の処理負荷を削減することができる。
In the above-described embodiment, the point cloud information is always obtained when it can be obtained. However, for example, when the three-dimensional model of the host vehicle Ca is generated with a certain degree of completion, more point clouds are obtained. The acquisition of point cloud information may be stopped by the
次に、本発明の第２の実施例にかかる画像生成装置としての情報処理装置１を図８〜図１３を参照して説明する。なお、前述した第１の実施例と同一部分には、同一符号を付して説明を省略する。
Next, an
本実施例では、情報処理装置１の構成は図２と同様である。本実施例では、特定の対象物の三次元モデルを生成して表示するだけでなく、自車も含めた複数の車両や路側機等の点群を取得する装置（ライダ）から取得した点群に基づいて、少なくとも自車の走行路周辺の三次元空間を再現した画像である三次元地図画像を生成する。
In the present embodiment, the configuration of the
本実施例にかかる情報処理装置１における三次元地図画像の生成と表示の動作（画像生成方法）について図８のフローチャートを参照して説明する。図８のフローチャートは、例えば処理部１２で実行されるコンピュータプログラムとして構成されている。
The operation (image generation method) of generation and display of a three-dimensional map image in the
まず、ステップＳ２１において、処理部１２は、自車Ｃａのライダ２が取得した点群情報をＩ／Ｆを介して取得し、他車Ｃｂ１、Ｃｂ２や路側機５等から点群情報を通信部１１を介して取得する。
First, in step S21, the
次に、ステップＳ２２において、処理部１２が三次元地図画像を生成する。三次元地図画像の生成は、各機器から受信した点群情報に基づいて、その検出範囲における三次元地図画像を生成し、それらを合成して全体の三次元地図画を生成する。或いは、各機器から受信した点群情報を合成し、その合成点群情報から全体の三次元地図画像を生成してもよい。なお、この際生成される三次元地図画像は、建物等の地物の外観が再現されているレベルでなくてもよく、点群やワイヤーフレーム等の状態で形状が再現されたものでもよい。また、このステップＳ２２で生成される三次元地図画像には、各ライダで取得された車両や歩行者等も含まれる。即ち、処理部１２は、取得した点群情報に基づき、少なくとも自車Ｃａ（移動体）の周辺を含む三次元空間を示す三次元地図画像（三次元空間画像）を生成する生成部として機能する。また、処理部１２は、外部機器から受信した点群情報と、自車Ｃａのライダ２が取得した点群情報とを組み合わせて（言い換えれば、合成して）、当該三次元地図画像の生成するようにしてもよい。
Next, in step S22, the
次に、ステップＳ２３において、処理部１２が、ステップＳ２２で生成した三次元地図画像を表示部１４に表示させる。即ち、処理部１２は、三次元地図画像（三次元空間画像）を自車Ｃａ（移動体）内に配置された表示部１４へ出力する出力部として機能する。
Next, in step S23, the
上述した説明から明らかなように、ステップＳ２１が取得工程、ステップＳ２２が生成工程、ステップＳ２３が出力工程として機能する。 As apparent from the above description, step S21 functions as an acquisition step, step S22 functions as a generation step, and step S23 functions as an output step.
次に、本実施例における三次元地図画像の表示の具体例を図９〜図１２を参照して説明する。図９は、具体例の状況を説明した図である。図９においては、自車Ｃａは道路Ｒ１を走行している。この自車Ｃａのライダ２の検出範囲をＬ１とする。また、他車Ｃｂ１は道路Ｒ１を走行している。この他車Ｃｂ１のライダ２の検出範囲をＬ２とする。また、他車Ｃｂ２は道路Ｒ２を走行している。この他車Ｃｂ２のライダ２の検出範囲をＬ３とする。
Next, a specific example of the display of the three-dimensional map image in the present embodiment will be described with reference to FIGS. FIG. 9 is a diagram for explaining the situation of the specific example. In FIG. 9, the host vehicle Ca is traveling on the road R1. The detection range of the
路側機５は、道路Ｒ２沿いに設置されている。路側機５（ライダ）の検出範囲をＬ４とする。信号機６は、道路Ｒ１と道路Ｒ２の交差点に設置されている。信号機６にもライダが設けられ、このライダの検出範囲をＬ５とする。
The
また、道路Ｒ２沿いには所定の建物等の地物である地物ＢＬ１、地物ＢＬ２があり、道路Ｒ１沿いには所定の建物等の地物である地物ＢＬ３がある。 Further, along the road R2, there are a feature BL1 and a feature BL2 which are features such as a predetermined building, and along the road R1 there is a feature BL3 which is a feature such as a predetermined building.
図９の場合において、各ライダの検出範囲から図９に示した道路Ｒ１、Ｒ２に沿った地物の情報を得ることが可能であるので、各ライダで検出された点群情報に基づいて生成された三次元地図情報を合成して道路Ｒ１、Ｒ２の三次元地図画像を生成する。 In the case of FIG. 9, since it is possible to obtain the feature information along the roads R1 and R2 shown in FIG. 9 from the detection range of each rider, the generation is performed based on the point cloud information detected by each rider. The generated three-dimensional map information is synthesized to generate a three-dimensional map image of roads R1 and R2.
このようにして生成された三次元地図画像には建物等の地物ＢＬ１〜ＢＬ３が含まれるに限らず、例えば他車Ｃｂ１のライダ２の検出範囲Ｌ２にある自車Ｃａも含まれる。また、図示しないが、各検出範囲Ｌ１〜Ｌ５で検出された歩行者を含めてよい。また、この三次元地図画像は逐次更新されるので、各車両が移動すれば三次元地図画像内で移動する。例えば、自車Ｃａが他車Ｃｂ１、Ｃｂ２等から点群情報を受信し続ければ、他車Ｃｂ１、Ｃｂ２が検出した物体が略リアルタイムに三次元地図画像に反映される。したがって、本実施例の三次元地図画像は、静止画ではなく動画像とすることができる。
The three-dimensional map image generated in this way is not limited to including the features BL1 to BL3 such as buildings, but also includes, for example, the host vehicle Ca in the detection range L2 of the
また、三次元地図画像は、例えば自車Ｃａの搭乗者の操作に応じて任意の視点からみた視界で表示することができる。例えば、図９の視界Ａ１は、自車Ｃａから前方の視点から見た視界であり、例えば、図１０のように表示部１４に表示される。
Further, the three-dimensional map image can be displayed in a view seen from an arbitrary viewpoint, for example, according to the operation of the passenger of the host vehicle Ca. For example, the visual field A1 of FIG. 9 is a visual field seen from the point of view forward from the host vehicle Ca, and is displayed on the
また、図９の視界Ａ２は、自車Ｃａの右方の視点からみた視界であり、例えば、図１１のように表示部１４に表示される。また、図９の視界Ａ３は、自車Ｃａの右後方の視点からみた視界であり、例えば、図１２のように表示部１４に表示される。
Further, a field of view A2 in FIG. 9 is a field of view as viewed from the right side of the host vehicle Ca, and is displayed on the
なお、三次元地図画像は、車両Ｃに搭載された情報処理装置１で生成するに限らず、例えば外部のサーバ装置等で生成して車両Ｃに配信するようにしてもよい。構成例を図１３に示す。
The three-dimensional map image is not limited to being generated by the
図１３において、サーバ装置１０は、インターネット等のネットワークＮと接続されている。そして、サーバ装置１０は、自車Ｃａや他車Ｃｂ、路側機５及び信号機６から点群情報を取得して、図８のフローチャートのように三次元地図画像を生成する。
In FIG. 13, the
そして、自車Ｃａの情報処理装置１からの要求に応じて三次元地図画像を配信し、その三次元地図画像が情報処理装置１の表示部１４に表示される。
Then, a three-dimensional map image is distributed in response to a request from the
なお、図１３の場合でも視点の変更は自在であるが、情報処理装置１の処理能力が高くない場合は、視点の情報をサーバ装置１０に送信し、その視点に応じた画像を生成して情報処理装置１へ配信するようにしてもよい。
Even in the case of FIG. 13, although the change of the viewpoint is free, when the processing capability of the
本実施例によれば、情報処理装置１は、処理部１２が、自車Ｃａや他車Ｃｂ１、Ｃｂ２或いは路側機５、信号機６から点群情報を取得し、その取得した点群情報に基づき、少なくとも自車Ｃａ周辺の三次元地図画像を生成して、表示部１４に三次元地図画像を表示する。このようにすることにより、複数の装置から取得した点群情報に基づいて、例えば、自車Ｃａ周辺の三次元空間を再現した他車Ｃｂ１、Ｃｂ２や歩行者等も含む街並みの地図画像を生成することができる。そして、その再現した三次元空間を自車Ｃａが走行するような表示や演出をすることができる。
According to the present embodiment, the
また、処理部１２は逐次点群情報を取得し、その逐次取得された点群情報に基づいて三次元地図画像を更新するようにしている。このようにすることにより、三次元地図画像をリアルタイムに更新することができ、現実の走行状態に沿った表示や演出をすることができる。また、三次元地図画像を動画像とすることで、よりリアルな表示や演出をすることができる。
The
また、処理部１２は、自車Ｃａの外部にある他車Ｃｂ１、Ｃｂ２や路側機５、信号機６から点群情報と、自車Ｃａに配置されたライダ２が取得した点群情報と、に基づいて三次元地図画像を生成している。このようにすることにより、自身に設置されているセンサ等の検出範囲外の点群情報を取得することができる。したがって、より広範囲の三次元地図画像を生成することができる。
In addition, the
また、三次元地図画像の視点の位置を調整操作可能な操作部１５を備え、表示部１４は、操作部１５による視点の位置の調整に応じて三次元地図画像の視点の位置を変化させて表示してもよい。このようにすることにより、例えば三次元地図で表された空間内の様々な視点からみた画像を表示させることが可能となる。したがって、搭乗者等の好みに合わせて視点を変化させることができるので、飽きさせない表示をすることができる。
In addition, the
また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の画像生成装置の構成を具備する限り、勿論、本発明の範疇に含まれるものである。 Further, the present invention is not limited to the above embodiment. That is, those skilled in the art can carry out various modifications without departing from the gist of the present invention in accordance with conventionally known findings. As long as the configuration of the image generation apparatus of the present invention is provided even by such a modification, it is of course included in the scope of the present invention.
１ 情報処理装置（画像生成装置）
２ ライダ
３ ＧＰＳ受信機
４ その他のセンサ類
５ 路側機（外部装置）
６ 信号機（外部装置）
１１ 通信部
１２ 処理部（取得部、生成部、出力部）
１３ 記憶部
１４ 表示部
１５ 操作部
１６ Ｉ／Ｆ
1 Information processing device (image generation device)
2
6 Traffic light (external device)
11
13
Claims (9)
前記画像生成装置が配置された前記移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得する取得部と、
前記取得部によって取得された前記点群情報に基づき、少なくとも前記移動体の周辺を含む三次元空間を示す三次元空間画像を生成する生成部と、
を備えることを特徴とする画像生成装置。 An image generating apparatus comprising: a generating unit configured to generate an image to be displayed on a display unit of the moving body,
An acquisition unit for acquiring point cloud information in which objects surrounding each of the plurality of devices are represented by a plurality of points from a plurality of devices including an external device outside the moving body in which the image generation device is disposed; ,
A generation unit configured to generate a three-dimensional space image indicating a three-dimensional space including at least the periphery of the moving object based on the point cloud information acquired by the acquisition unit;
An image generation apparatus comprising:
前記生成部は、逐次取得された前記点群情報に基づいて前記三次元空間画像を更新することを特徴とする請求項１に記載の画像生成装置。 The acquisition unit sequentially acquires the point cloud information,
The image generation apparatus according to claim 1, wherein the generation unit updates the three-dimensional space image based on the point cloud information acquired sequentially.
前記取得部は、前記他の移動体から前記点群情報を取得することを特徴とする請求項４に記載の画像生成装置。 The external device includes a device for acquiring the point cloud information mounted on another mobile body,
The image generation apparatus according to claim 4, wherein the acquisition unit acquires the point cloud information from the other moving object.
前記取得部は、前記路側機から前記点群情報を取得することを特徴とする請求項４または５に記載の画像生成装置。 The external device includes a roadside device installed on a traveling road,
The image generation apparatus according to claim 4, wherein the acquisition unit acquires the point cloud information from the roadside device.
前記生成部は、前記操作部による視点の位置の調整に応じて視点の位置を変化させた前記三次元空間画像を生成することを特徴とする請求項１から６のうちいずれか一項に記載の画像生成装置。 And an operation unit capable of adjusting and operating the position of the viewpoint of the three-dimensional space image;
The said production | generation part produces | generates the said three-dimensional space image which changed the position of the viewpoint according to adjustment of the position of the viewpoint by the said operation part, It is described in any one of Claim 1 to 6 characterized by the above-mentioned. Image generation device.
前記画像生成装置が配置された前記移動体の外部にある外部装置を含む複数の装置から、当該複数の装置のそれぞれの周囲の物体を複数の点により表した点群情報を取得する取得工程と、
前記取得工程において取得された前記点群情報に基づき、少なくとも前記移動体の周辺を含む三次元空間を示す前記移動体周辺の三次元空間画像を生成する生成工程と、
を含むことを特徴とする画像生成方法。 An image generation method that is executed by an image generation apparatus that generates an image displayed on a display unit of a mobile object,
Obtaining point cloud information in which objects surrounding each of the plurality of devices are represented by a plurality of points from a plurality of devices including an external device outside the moving body in which the image generation device is disposed; ,
A generation step of generating a three-dimensional space image around the moving body showing a three-dimensional space including at least the periphery of the moving body based on the point cloud information obtained in the obtaining step;
A method of generating an image, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017249682A JP2019117435A (en) | 2017-12-26 | 2017-12-26 | Image generation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017249682A JP2019117435A (en) | 2017-12-26 | 2017-12-26 | Image generation device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019117435A true JP2019117435A (en) | 2019-07-18 |
Family
ID=67304437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017249682A Pending JP2019117435A (en) | 2017-12-26 | 2017-12-26 | Image generation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019117435A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113945219A (en) * | 2021-09-28 | 2022-01-18 | 武汉万集光电技术有限公司 | Dynamic map generation method, system, readable storage medium and terminal equipment |
| WO2022269875A1 (en) * | 2021-06-24 | 2022-12-29 | 株式会社ソシオネクスト | Information processing device, information processing method, and information processing program |
-
2017
- 2017-12-26 JP JP2017249682A patent/JP2019117435A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022269875A1 (en) * | 2021-06-24 | 2022-12-29 | 株式会社ソシオネクスト | Information processing device, information processing method, and information processing program |
| CN113945219A (en) * | 2021-09-28 | 2022-01-18 | 武汉万集光电技术有限公司 | Dynamic map generation method, system, readable storage medium and terminal equipment |
| CN113945219B (en) * | 2021-09-28 | 2024-06-11 | 武汉万集光电技术有限公司 | Dynamic map generation method, system, readable storage medium and terminal device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11535155B2 (en) | Superimposed-image display device and computer program | |
| US10984580B2 (en) | Adjusting depth of augmented reality content on a heads up display | |
| WO2020148680A1 (en) | Utilizing passenger attention data captured in vehicles for localization and location-based services | |
| JP2016048550A (en) | Space information presentation based on driver's attention evaluation | |
| US11525694B2 (en) | Superimposed-image display device and computer program | |
| JP2016048552A (en) | Provision of external information to driver | |
| US10922976B2 (en) | Display control device configured to control projection device, display control method for controlling projection device, and vehicle | |
| JP2020053046A (en) | Driver assistance system and method for displaying traffic information | |
| KR102635265B1 (en) | Apparatus and method for around view monitoring using lidar | |
| US11699235B2 (en) | Way to generate tight 2D bounding boxes for autonomous driving labeling | |
| KR20190077482A (en) | Method and system for adjusting the orientation of a virtual camera while the vehicle is turning | |
| JP2020032866A (en) | Vehicular virtual reality providing device, method and computer program | |
| JP2020502609A (en) | Object smoothing using map information obtained from sensor data | |
| WO2018180756A1 (en) | Drive assistance system | |
| JP6186905B2 (en) | In-vehicle display device and program | |
| JP2019117435A (en) | Image generation device | |
| US20210158474A1 (en) | Way to generate images with distortion for fisheye lens | |
| KR102625688B1 (en) | Display devices and route guidance systems based on mixed reality | |
| JP2019117434A (en) | Image generation device | |
| JP7333445B2 (en) | image generator | |
| WO2022004448A1 (en) | Information processing device, information processing method, information processing system, and program | |
| US20220200701A1 (en) | System and method for determining actions of a vehicle by visible light communication | |
| JP2019117214A (en) | Object data structure | |
| JP7361486B2 (en) | Information presentation device, information presentation method, and program | |
| JP7143728B2 (en) | Superimposed image display device and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20180116 |