WO2020121486A1 - Display control device and display control method - Google Patents
Display control device and display control method Download PDFInfo
- Publication number
- WO2020121486A1 WO2020121486A1 PCT/JP2018/045900 JP2018045900W WO2020121486A1 WO 2020121486 A1 WO2020121486 A1 WO 2020121486A1 JP 2018045900 W JP2018045900 W JP 2018045900W WO 2020121486 A1 WO2020121486 A1 WO 2020121486A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- inclination
- acquisition unit
- vehicle
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 24
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 5
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 101000661816 Homo sapiens Suppression of tumorigenicity 18 protein Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
Definitions
- FIG. 9 shows a case where the direction 33 of the preceding vehicle 30, which is the object, is the same as the direction 21 of the host vehicle 20, FIG. 9A is an overhead view, and FIG. 9B is a display example of the display surface 5a.
- the AR image control unit 16 does not change the inclination of the AR image 40. Therefore, the display area of the AR image 40 before the change is the same value as the display area of the AR image after the change, and the visibility is “100”.
- FIG. 14 is a block diagram showing a configuration example of the display control device 1 according to the third embodiment.
- the display control device 1 according to the third embodiment has a configuration in which a route prediction unit 17 is added to the display control device 1 of the first embodiment shown in FIG. 14, parts that are the same as or correspond to those in FIG. 1 are assigned the same reference numerals and explanations thereof are omitted.
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Navigation (AREA)
Abstract
A host vehicle information acquisition unit (11) acquires, as host vehicle information, information including the position and orientation of a host vehicle. An object information acquisition unit (12) acquires, as object information, information including the position of an object that is located within a predetermined distance from the host vehicle. A road shape acquisition unit (13) acquires the road shape of the road on which the object is located. An inclination acquisition unit (14) acquires the inclination of the object with respect to the host vehicle on the basis of the host vehicle information, the object information, and the road shape. An AR image generation unit (15) generates an AR image to be overlaid on the object. An AR image control unit (16) changes the display inclination of the AR image with respect to the object on the basis of the inclination of the object acquired by the inclination acquisition unit (14).
Description
この発明は、現実環境にAR(Augmented Reality)画像を重ねて表示する表示制御装置及び表示制御方法に関するものである。
The present invention relates to a display control device and a display control method for superimposing and displaying an AR (Augmented Reality) image on a real environment.
現実環境に仮想物体を付加するAR技術を利用したAR表示システムの中には、センサ、レーダ、GPS(Global Positioning System)、及びカメラ等から得られる情報を元に決定した対象物に対してAR画像を重畳表示するシステムがある。車両に搭載されるAR表示システムは、対象物を先行車両とし、カメラ等を用いて自車両と先行車両との車間距離を検出し、車両前方の撮像画像中の車間距離相当位置に先行車両の存在を表すAR画像を重ね合わせる(例えば、特許文献1参照)。
Some AR display systems that use AR technology that adds virtual objects to the real environment include ARs for objects determined based on information obtained from sensors, radars, GPS (Global Positioning System), and cameras. There is a system that displays images in a superimposed manner. An AR display system mounted on a vehicle uses an object as a preceding vehicle, detects a vehicle-to-vehicle distance between a host vehicle and a preceding vehicle by using a camera, etc. AR images representing the existence are overlaid (for example, see Patent Document 1).
従来のAR表示システムは、先行車両との車間距離に応じて表示するAR画像を生成する際、先行車両の傾きを考慮していなかった。そのため、先行車両が自車両に対して斜めを向いている場合、AR表示システムが生成したAR画像をそのまま表示すると、表示したAR画像と先行車両との傾きが一致せず、先行車両に対してAR画像が傾いた状態になるという課題があった。そのため、従来のAR表示システムでは、AR表示の違和感が生じていた。
The conventional AR display system did not consider the inclination of the preceding vehicle when generating the AR image to be displayed according to the distance to the preceding vehicle. Therefore, when the preceding vehicle is obliquely facing the own vehicle, if the AR image generated by the AR display system is displayed as it is, the displayed AR image and the preceding vehicle do not have the same inclination, and There is a problem that the AR image is tilted. Therefore, in the conventional AR display system, the AR display feels strange.
この発明は、上記のような課題を解決するためになされたもので、対象物の傾きを考慮したAR画像を表示することを目的とする。
The present invention has been made to solve the above problems, and an object thereof is to display an AR image in consideration of the inclination of an object.
この発明に係る表示制御装置は、自車両の位置と向きとを含む情報を自車情報として取得する自車情報取得部と、自車両の予め定められた距離内にある対象物の位置を含む情報を対象物情報として取得する対象物情報取得部と、対象物の位置する道路の道路形状を取得する道路形状取得部と、自車情報、対象物情報、及び道路形状に基づいて自車両に対する対象物の傾きを取得する傾き取得部と、対象物に重ねて表示するAR画像を生成するAR画像生成部と、傾き取得部により取得された対象物の傾きに基づいてAR画像の対象物に対する表示の傾きを変更するAR画像制御部とを備えるものである。
The display control device according to the present invention includes a vehicle information acquisition unit that acquires information including the position and orientation of the vehicle as vehicle information, and a position of an object within a predetermined distance of the vehicle. An object information acquisition unit that acquires information as object information, a road shape acquisition unit that acquires the road shape of the road on which the object is located, and own vehicle information, object information, and a vehicle shape based on the road shape. A tilt acquisition unit that acquires the tilt of the target object, an AR image generation unit that generates an AR image that is displayed superimposed on the target object, and a target of the AR image based on the tilt of the target object acquired by the tilt acquisition unit. And an AR image control unit for changing the tilt of the display.
この発明によれば、対象物の傾きを考慮したAR画像を表示させることができるので、対象物とAR画像との傾きのずれによる違和感を低減させることが可能となる。
According to the present invention, since the AR image in which the inclination of the object is taken into consideration can be displayed, it is possible to reduce the discomfort caused by the deviation of the inclination between the object and the AR image.
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、実施の形態1に係る表示制御装置1の構成例を示すブロック図である。実施の形態1に係る表示制御装置1は、自車情報取得部11、対象物情報取得部12、道路形状取得部13、傾き取得部14、AR画像生成部15、及びAR画像制御部16を備えている。この表示制御装置1には、自車方向検知センサ2、ナビゲーション装置3、運転支援装置4、及び表示装置5が接続されている。自車方向検知センサ2は、ジャイロセンサ等であり、自車両の向きを検知して表示制御装置1へ出力する。ナビゲーション装置3は、自車両の位置情報及び地図情報を表示制御装置1へ出力する。運転支援装置4は、ACC(Adaptive Cruise Control)機能等を実行するものであり、実行中の機能に関する情報を表示制御装置1へ出力する。 Hereinafter, in order to explain the present invention in more detail, modes for carrying out the present invention will be described with reference to the accompanying drawings.
Embodiment 1.
FIG. 1 is a block diagram showing a configuration example of the display control device 1 according to the first embodiment. The display control device 1 according to the first embodiment includes a vehicleinformation acquisition unit 11, an object information acquisition unit 12, a road shape acquisition unit 13, an inclination acquisition unit 14, an AR image generation unit 15, and an AR image control unit 16. I have it. A vehicle direction detection sensor 2, a navigation device 3, a driving support device 4, and a display device 5 are connected to the display control device 1. The own vehicle direction detection sensor 2 is a gyro sensor or the like, and detects the direction of the own vehicle and outputs it to the display control device 1. The navigation device 3 outputs the position information and map information of the own vehicle to the display control device 1. The driving support device 4 executes an ACC (Adaptive Cruise Control) function and the like, and outputs information regarding the function being executed to the display control device 1.
実施の形態1.
図1は、実施の形態1に係る表示制御装置1の構成例を示すブロック図である。実施の形態1に係る表示制御装置1は、自車情報取得部11、対象物情報取得部12、道路形状取得部13、傾き取得部14、AR画像生成部15、及びAR画像制御部16を備えている。この表示制御装置1には、自車方向検知センサ2、ナビゲーション装置3、運転支援装置4、及び表示装置5が接続されている。自車方向検知センサ2は、ジャイロセンサ等であり、自車両の向きを検知して表示制御装置1へ出力する。ナビゲーション装置3は、自車両の位置情報及び地図情報を表示制御装置1へ出力する。運転支援装置4は、ACC(Adaptive Cruise Control)機能等を実行するものであり、実行中の機能に関する情報を表示制御装置1へ出力する。 Hereinafter, in order to explain the present invention in more detail, modes for carrying out the present invention will be described with reference to the accompanying drawings.
Embodiment 1.
FIG. 1 is a block diagram showing a configuration example of the display control device 1 according to the first embodiment. The display control device 1 according to the first embodiment includes a vehicle
表示制御装置1は、例えば、車両に搭載される装置、又は搭乗者に所持されて車両内に持ち込まれる携帯端末である。携帯端末は、例えば、ポータブルナビゲーションデバイス、タブレットPC(Personal Computer)、又はスマートフォンである。
The display control device 1 is, for example, a device mounted in a vehicle or a portable terminal carried by a passenger and brought into the vehicle. The mobile terminal is, for example, a portable navigation device, a tablet PC (Personal Computer), or a smartphone.
表示制御装置1は、現実の風景(以下、「背景」と記載する)にAR画像を重畳して表示する表示装置5を制御し、AR画像を、背景中の重畳表示対象の物体(以下、「対象物」と記載する)に対して重ねて表示した映像をユーザに視認させるものである。
The display control device 1 controls the display device 5 that superimposes and displays the AR image on the actual landscape (hereinafter, referred to as “background”), and displays the AR image in the background as an object to be superimposed and displayed (hereinafter, This is for allowing the user to visually recognize a video image that is displayed overlaid on the "target object").
なお、実施の形態1において、ユーザは、車両の搭乗者であるものとする。また、AR画像は、ユーザに対して対象物を指し示すようなマークであるものとする。また、ユーザが搭乗している車両を「自車両」と記載する。対象物は、ユーザから視認される他車両若しくは二輪車等の移動体、又は建物等の施設である。
Note that in Embodiment 1, the user is assumed to be a passenger of the vehicle. Further, the AR image is assumed to be a mark that points the target object to the user. Further, the vehicle on which the user is boarded is referred to as “own vehicle”. The object is a moving body such as another vehicle or a motorcycle that is visually recognized by the user, or a facility such as a building.
表示制御装置1は、対象物の傾きに合わせたAR画像が表示されるように、AR画像の傾きを変更する。対象物の傾きは、自車両の向きと対象物の向きとの差分である。表示制御装置1は、自車両の向きを、自車方向検知センサ2から取得する。また、表示制御装置1は、対象物の向きを、対象物の位置の道路形状に基づいて判定する。
The display control device 1 changes the tilt of the AR image so that the AR image that matches the tilt of the object is displayed. The inclination of the object is the difference between the orientation of the host vehicle and the orientation of the object. The display control device 1 acquires the orientation of the vehicle from the vehicle direction detection sensor 2. Further, the display control device 1 determines the orientation of the target object based on the road shape at the position of the target object.
表示装置5は、例えばヘッドアップディスプレイである。ヘッドアップディスプレイは、図示しない液晶ディスプレイ等と、フロントガラス又はコンバイナ等の「表示面5a」とを備える。このヘッドアップディスプレイは、液晶ディスプレイ等に表示されたAR画像を、自車両のフロントガラス又はコンバイナ等に投射して反射させ、搭乗者に当該AR画像の虚像を認識させることによって、当該AR画像を背景に重畳して表示する。
The display device 5 is, for example, a head-up display. The head-up display includes a liquid crystal display (not shown) and the like, and a "display surface 5a" such as a windshield or a combiner. This head-up display projects an AR image displayed on a liquid crystal display or the like onto a windshield or a combiner of the host vehicle to reflect the AR image, and allows a passenger to recognize the virtual image of the AR image. It is displayed superimposed on the background.
なお、表示装置5は、液晶ディスプレイ又は有機EL(Electroluminescence)ディスプレイ等であってもよい。この場合、表示制御装置1は、図示しないカメラが撮像した現実の風景の画像を表示装置5に表示させ、当該現実の風景の画像にAR画像を重畳表示させる。この場合、現実の風景の画像が「背景」に相当する。また、液晶ディスプレイ又は有機ELディスプレイ等の表示部が「表示面5a」に相当する。
The display device 5 may be a liquid crystal display, an organic EL (Electroluminescence) display, or the like. In this case, the display control device 1 causes the display device 5 to display an image of a real landscape captured by a camera (not shown) and superimposes an AR image on the image of the real landscape. In this case, the image of the actual landscape corresponds to the “background”. A display unit such as a liquid crystal display or an organic EL display corresponds to the "display surface 5a".
ここで、図2~図4を参照し、表示制御装置1が、対象物の傾きに合わせて、AR画像の傾きを変更する際の一例を説明する。表示制御装置1は、対象物である先行車両30を指し示すように、表示装置5の表示面5aにおける先行車両30の下方に、マークをAR画像40として重畳表示させる。
Here, an example in which the display control device 1 changes the inclination of the AR image in accordance with the inclination of the object will be described with reference to FIGS. 2 to 4. The display control device 1 superimposes and displays the mark as an AR image 40 below the preceding vehicle 30 on the display surface 5a of the display device 5 so as to indicate the preceding vehicle 30 that is the object.
図2は、自車両20の向き21に対して、先行車両30の向きが同じである場合を示し、図2Aは俯瞰図、図2Bは表示面5aの表示例である。この場合、先行車両30は自車両20に対して傾いていない。また、自車両20の向き21と表示面5aに表示される背景とは連動する。そのため、表示制御装置1がAR画像40の傾き41を変更せずに表示面5aに表示しても先行車両30の傾き31と一致するため、AR画像40の傾き41を変更しない。
2 shows a case where the direction of the preceding vehicle 30 is the same as the direction 21 of the own vehicle 20, FIG. 2A is an overhead view, and FIG. 2B is a display example of the display surface 5a. In this case, the preceding vehicle 30 is not inclined with respect to the host vehicle 20. Further, the direction 21 of the host vehicle 20 and the background displayed on the display surface 5a are interlocked. Therefore, even if the display control device 1 displays the AR image 40 on the display surface 5a without changing the tilt 41, it does not change the tilt 41 of the AR image 40 because it matches the tilt 31 of the preceding vehicle 30.
図3は、自車両20の向き21に対して、先行車両30の向きが異なる場合を示し、図3Aは俯瞰図、図3Bは表示面5aの表示例である。この場合、先行車両30は自車両20に対して傾いている。そのため、表示制御装置1がAR画像40の傾き41を変更せずに表示すると先行車両30の傾き31と一致しないため、図4のようにAR画像40の傾き41を変更する必要がある。
FIG. 3 shows a case where the direction of the preceding vehicle 30 is different from the direction 21 of the own vehicle 20, FIG. 3A is an overhead view, and FIG. 3B is a display example of the display surface 5a. In this case, the preceding vehicle 30 is inclined with respect to the host vehicle 20. Therefore, when the display control device 1 displays the tilt 41 of the AR image 40 without changing the tilt 41, it does not match the tilt 31 of the preceding vehicle 30, and thus the tilt 41 of the AR image 40 needs to be changed as shown in FIG.
図4は、自車両20の向き21に対して先行車両30の向きが異なるため、AR画像40の傾き41が変更された場合を示し、図4Aは俯瞰図、図4Bは表示面5aの表示例である。この場合、表示制御装置1は、AR画像40の傾き41を、先行車両30の傾き31と一致するように先行車両30のヨー方向に変更し、変更した傾き41aのAR画像40aを表示する。
FIG. 4 shows a case where the inclination 41 of the AR image 40 is changed because the direction of the preceding vehicle 30 is different from the direction 21 of the own vehicle 20, FIG. 4A is an overhead view, and FIG. 4B is a table of the display surface 5a. It is an example. In this case, the display control device 1 changes the inclination 41 of the AR image 40 in the yaw direction of the preceding vehicle 30 so as to match the inclination 31 of the preceding vehicle 30, and displays the AR image 40a with the changed inclination 41a.
次に、表示制御装置1の動作を説明する。
図5は、実施の形態1に係る表示制御装置1の動作例を示すフローチャートである。表示制御装置1は、例えば自車両のイグニッションスイッチがオンになった場合に図5のフローチャートに示される動作を開始し、イグニッションスイッチがオフになるまでこの動作を繰り返す。または、表示制御装置1は、ナビゲーション装置3又は運転支援装置4からAR画像の表示指示があった場合に図5のフローチャートに示される動作を行う。 Next, the operation of the display control device 1 will be described.
FIG. 5 is a flowchart showing an operation example of the display control device 1 according to the first embodiment. The display control device 1 starts the operation shown in the flowchart of FIG. 5 when, for example, the ignition switch of the host vehicle is turned on, and repeats this operation until the ignition switch is turned off. Alternatively, the display control device 1 performs the operation shown in the flowchart of FIG. 5 when the navigation device 3 or the driving support device 4 gives an instruction to display an AR image.
図5は、実施の形態1に係る表示制御装置1の動作例を示すフローチャートである。表示制御装置1は、例えば自車両のイグニッションスイッチがオンになった場合に図5のフローチャートに示される動作を開始し、イグニッションスイッチがオフになるまでこの動作を繰り返す。または、表示制御装置1は、ナビゲーション装置3又は運転支援装置4からAR画像の表示指示があった場合に図5のフローチャートに示される動作を行う。 Next, the operation of the display control device 1 will be described.
FIG. 5 is a flowchart showing an operation example of the display control device 1 according to the first embodiment. The display control device 1 starts the operation shown in the flowchart of FIG. 5 when, for example, the ignition switch of the host vehicle is turned on, and repeats this operation until the ignition switch is turned off. Alternatively, the display control device 1 performs the operation shown in the flowchart of FIG. 5 when the navigation device 3 or the driving support device 4 gives an instruction to display an AR image.
ステップST1において、自車情報取得部11は、自車方向検知センサ2及びナビゲーション装置3から、自車情報を取得する。自車情報には、自車両の位置座標及び自車両の向きが含まれる。自車両の位置座標は、実空間に設定された3次元座標系(X軸、Y軸、及びZ軸)で表される。自車両の向きは、この3次元座標系における自車両のピッチ、ロール、又はヨーのうちの少なくとも1つを含む。そして、自車情報取得部11は、取得した自車情報を対象物情報取得部12及び傾き取得部14へ出力する。
In step ST1, the vehicle information acquisition unit 11 acquires vehicle information from the vehicle direction detection sensor 2 and the navigation device 3. The own vehicle information includes the position coordinates of the own vehicle and the direction of the own vehicle. The position coordinates of the host vehicle are represented by a three-dimensional coordinate system (X axis, Y axis, and Z axis) set in the real space. The orientation of the host vehicle includes at least one of pitch, roll, or yaw of the host vehicle in this three-dimensional coordinate system. Then, the vehicle information acquisition unit 11 outputs the acquired vehicle information to the object information acquisition unit 12 and the inclination acquisition unit 14.
ステップST2において、対象物情報取得部12は、ナビゲーション装置3及び運転支援装置4から情報を取得し、取得した情報に基づいて、自車両の予め定められた距離内にある、AR画像を重畳表示する対象物の相対位置及び対象物の種別を取得する。対象物の相対位置は、自車両の位置を基準とした対象物の位置である。
In step ST2, the target object information acquisition unit 12 acquires information from the navigation device 3 and the driving support device 4, and displays an AR image within a predetermined distance of the vehicle on the basis of the acquired information in an overlapping manner. The relative position of the target object and the type of the target object are acquired. The relative position of the object is the position of the object based on the position of the host vehicle.
対象物情報取得部12は、ナビゲーション装置3から、例えば自車両の搭乗者が走行中に視認可能な施設、又は搭乗者に案内する施設の情報を取得する。また、対象物情報取得部12は、運転支援装置4から、例えば自車両と同じ車線内を先行する先行車両の情報を取得する。ナビゲーション装置3及び運転支援装置4から取得した先行車両及び施設等のうち、どれを対象物とするかは、自車両の搭乗者に提供する機能に応じて対象物情報取得部12、ナビゲーション装置3、又は運転支援装置4が決定すればよい。例えば、ナビゲーション装置3が自車両の走行予定経路を案内誘導中である場合、対象物情報取得部12は、搭乗者に案内する施設を対象物とする。また、例えば、運転支援装置4がACC機能を実行中である場合、対象物情報取得部12は、先行車両を対象物とする。
The target object information acquisition unit 12 acquires, from the navigation device 3, for example, information about a facility that a passenger of the vehicle can visually recognize while traveling or a facility that guides the passenger. In addition, the object information acquisition unit 12 acquires, from the driving support device 4, information on, for example, a preceding vehicle preceding in the same lane as the own vehicle. Which of the preceding vehicles and facilities and the like acquired from the navigation device 3 and the driving support device 4 is to be an object is determined according to the function provided to the passenger of the own vehicle, the object information acquisition unit 12, the navigation device 3 Alternatively, it may be determined by the driving support device 4. For example, when the navigation device 3 is guiding and guiding the planned traveling route of the own vehicle, the target object information acquisition unit 12 sets the facility to be guided to the passenger as a target object. Further, for example, when the driving support device 4 is executing the ACC function, the target object information acquisition unit 12 sets the preceding vehicle as a target object.
続いて対象物情報取得部12は、自車情報取得部11から自車情報を取得し、取得した自車情報に含まれる自車両の位置座標及び向きと、対象物の相対位置とに基づいて、対象物の絶対位置を取得する。対象物の絶対位置は、対象物の地図上での位置座標、つまり実空間に設定された上記3次元座標系での位置座標である。そして、対象物情報取得部12は、取得した対象物の位置座標及び対象物の種別を含む対象物情報を、道路形状取得部13、傾き取得部14、AR画像生成部15、及びAR画像制御部16へ出力する。
Subsequently, the object information acquisition unit 12 acquires the own vehicle information from the own vehicle information acquisition unit 11, and based on the position coordinates and the direction of the own vehicle included in the acquired own vehicle information and the relative position of the object. , Get the absolute position of the object. The absolute position of the object is the position coordinate on the map of the object, that is, the position coordinate in the three-dimensional coordinate system set in the real space. Then, the target object information acquisition unit 12 uses the acquired target object information including the position coordinates and the type of the target object as the road shape acquisition unit 13, the inclination acquisition unit 14, the AR image generation unit 15, and the AR image control. Output to the unit 16.
ステップST3において、道路形状取得部13は、対象物情報取得部12から対象物情報を取得すると共に、ナビゲーション装置3から地図情報を取得する。道路形状取得部13は、ナビゲーション装置3から取得した地図情報を用いて、対象物情報取得部12から取得した対象物情報に含まれる対象物の位置座標に対応する道路の形状を取得する。対象物の位置座標に対応する道路の形状とは、対象物の位置座標と地図情報とを照らし合わせたときの、予め定められた範囲内における、カーブの曲率、高度及び傾斜度等の情報である。予め定められた範囲とは、例えば、対象物を含む周辺数メートルの範囲である。そして、道路形状取得部13は、取得した道路形状を傾き取得部14へ出力する。
なお、対象物が施設等であって道路上ではなく道路脇沿いにある場合、道路形状取得部13は、地図情報を用いて、施設等の位置座標に近い道路のカーブの曲率、高度及び傾斜度等の地形の情報を取得すればよい。 In step ST3, the roadshape acquisition unit 13 acquires the object information from the object information acquisition unit 12 and the map information from the navigation device 3. The road shape acquisition unit 13 uses the map information acquired from the navigation device 3 to acquire the shape of the road corresponding to the position coordinates of the target object included in the target object information acquired from the target object information acquisition unit 12. The shape of the road corresponding to the position coordinates of the target object is information such as the curvature of the curve, the altitude, and the inclination degree in a predetermined range when the position coordinates of the target object and the map information are collated. is there. The predetermined range is, for example, a range of several meters around the object including the object. Then, the road shape acquisition unit 13 outputs the acquired road shape to the inclination acquisition unit 14.
When the object is a facility or the like and is on the side of the road instead of on the road, the roadshape acquisition unit 13 uses the map information to calculate the curvature, altitude, and slope of the curve of the road close to the position coordinates of the facility or the like. The topographical information such as the degree may be acquired.
なお、対象物が施設等であって道路上ではなく道路脇沿いにある場合、道路形状取得部13は、地図情報を用いて、施設等の位置座標に近い道路のカーブの曲率、高度及び傾斜度等の地形の情報を取得すればよい。 In step ST3, the road
When the object is a facility or the like and is on the side of the road instead of on the road, the road
ステップST4において、傾き取得部14は、対象物情報取得部12から対象物情報を取得すると共に、道路形状取得部13から道路形状を取得する。傾き取得部14は、対象物情報取得部12から取得した対象物情報と、道路形状取得部13から取得した道路形状とに基づいて、対象物の向きを取得する。対象物の向きは、対象物が道路の形状に沿って走行する際の、対象物の進行方向及び姿勢である。対象物の向きは、ピッチ、ロール、又はヨーのうちの少なくとも1つを含む。例えば、道路形状が直線である場合、傾き取得部14は、対象物のヨー方向の向きを、地図情報に含まれる道路の方位と同じとする。また、例えば、道路形状がカーブである場合、傾き取得部14は、対象物のヨー方向の向きを、地図情報に含まれる道路のカーブの曲率から算出される、対象物の位置座標での接線の向きと同じとする。
In step ST4, the inclination acquisition unit 14 acquires the object information from the object information acquisition unit 12 and the road shape from the road shape acquisition unit 13. The inclination acquisition unit 14 acquires the orientation of the target object based on the target object information acquired from the target object information acquisition unit 12 and the road shape acquired from the road shape acquisition unit 13. The orientation of the object is the traveling direction and posture of the object when the object travels along the shape of the road. The orientation of the object includes at least one of pitch, roll, or yaw. For example, when the road shape is a straight line, the inclination acquisition unit 14 sets the yaw direction of the target object to be the same as the direction of the road included in the map information. In addition, for example, when the road shape is a curve, the inclination acquisition unit 14 calculates the yaw direction of the target object from the curvature of the curve of the road included in the map information, and the tangent line at the position coordinate of the target object. The same as the direction of.
続いて傾き取得部14は、自車情報取得部11から自車情報を取得し、取得した自車情報に含まれる自車両の向きを基準としたときの対象物の向きとの差分を、対象物の傾きとする。そして、傾き取得部14は、取得した対象物の傾きをAR画像制御部16へ出力する。
Subsequently, the inclination acquisition unit 14 acquires the own vehicle information from the own vehicle information acquisition unit 11, and determines the difference from the orientation of the object when the orientation of the own vehicle included in the obtained own vehicle information is used as a reference. The inclination of the object. Then, the tilt acquisition unit 14 outputs the acquired tilt of the object to the AR image control unit 16.
ステップST5において、AR画像生成部15は、対象物情報取得部12から対象物情報を取得し、取得した対象物情報に含まれる対象物の種別等に基づいて、AR画像を生成する。AR画像は、例えばACC機能実行中であって先行車両に追従している場合、先行車両の一部又は全体を指し示すような図形である。以降、AR画像が、3次元情報を含む3次元画像データであるものとして説明する。例えば、AR画像生成部15は、予め複数種類のAR画像を保持しておき、対象物の種別に応じたAR画像を選択する。そして、AR画像生成部15は、生成したAR画像をAR画像制御部16へ出力する。
In step ST5, the AR image generation unit 15 acquires the target object information from the target object information acquisition unit 12 and generates an AR image based on the type of the target object included in the acquired target object information. The AR image is a graphic that indicates a part or the whole of the preceding vehicle when the preceding vehicle is being followed while the ACC function is being executed, for example. Hereinafter, the AR image will be described as being three-dimensional image data including three-dimensional information. For example, the AR image generation unit 15 holds a plurality of types of AR images in advance and selects an AR image according to the type of target object. Then, the AR image generation unit 15 outputs the generated AR image to the AR image control unit 16.
ステップST6において、AR画像制御部16は、傾き取得部14から対象物の傾きを取得すると共に、AR画像生成部15からAR画像を取得する。AR画像制御部16は、AR画像生成部15から取得した3次元画像データであるAR画像の傾きを、傾き取得部14から取得した対象物の傾きの方向及び量に応じて変更する。AR画像の傾きとは、3次元画像データであるAR画像のピッチ、ロール、又はヨー方向の傾きである。
In step ST6, the AR image control unit 16 acquires the inclination of the object from the inclination acquisition unit 14 and acquires the AR image from the AR image generation unit 15. The AR image control unit 16 changes the tilt of the AR image, which is the three-dimensional image data acquired from the AR image generation unit 15, according to the direction and amount of the tilt of the target object acquired from the tilt acquisition unit 14. The tilt of the AR image is the pitch, roll, or yaw tilt of the AR image that is three-dimensional image data.
例えば、自車両の車幅方向が実空間に設定された3次元座標系のX軸、上下方向がY軸方向、及び前後方向がZ軸に等しくなっている状態を仮定する。そして、対象物となる先行車両が道路のカーブを旋回しているとする。この場合、対象物はY軸を基準にヨー方向に傾いていることになる。よって、AR画像制御部16は、3次元画像データであるAR画像を、Y軸を基準にヨー方向に傾ける。
For example, assume that the vehicle width direction of the vehicle is equal to the X axis of the three-dimensional coordinate system set in the real space, the vertical direction is equal to the Y axis direction, and the longitudinal direction is equal to the Z axis. Then, it is assumed that the preceding vehicle, which is an object, is turning on a curve of the road. In this case, the object is tilted in the yaw direction with respect to the Y axis. Therefore, the AR image control unit 16 tilts the AR image, which is the three-dimensional image data, in the yaw direction with the Y axis as a reference.
続いてAR画像制御部16は、対象物情報取得部12から対象物情報を取得し、取得した対象物情報に含まれる対象物の位置座標に基づいて、傾き変更後のAR画像が対象物に重畳表示されるように、表示面5aを介して視認される、2次元画像データであるAR画像の位置及び大きさ等を変更する。そして、AR画像制御部16は、傾き、位置、及び大きさ等を変更したAR画像を表示装置5へ出力する。表示装置5は、AR画像制御部16から取得したAR画像を表示面5aに表示する。
Subsequently, the AR image control unit 16 acquires the target object information from the target object information acquisition unit 12, and based on the position coordinates of the target object included in the acquired target object information, the AR image after the tilt change is set as the target object. The position, size, etc. of the AR image, which is the two-dimensional image data, which is visually recognized through the display surface 5a so as to be displayed in a superimposed manner are changed. Then, the AR image control unit 16 outputs the AR image with the tilt, the position, the size, and the like changed to the display device 5. The display device 5 displays the AR image acquired from the AR image control unit 16 on the display surface 5a.
ここで、図6及び図7を参照し、AR画像制御部16による対象物とAR画像との傾きのずれ低減方法について説明する。
図6は、自車両20の向き21に対して、対象物である先行車両30の向き33が同じである場合を示し、図6Aは俯瞰図、図6Bは表示面5aの表示例である。この場合、傾き取得部14は、先行車両30の向き33を、先行車両30の位置32における道路の向きから推定する。そして、傾き取得部14は、自車情報に含まれる自車両20の向き21と先行車両30の向き33との差分を、先行車両30の傾きとして取得する。図6の例では、自車両20の向き21と先行車両30の向き33とが同じであるため、先行車両30の傾きは0度となる。そのため、AR画像制御部16は、AR画像40の傾きを変更しない。 Here, with reference to FIGS. 6 and 7, a method of reducing the deviation of the inclination between the target object and the AR image by the ARimage control unit 16 will be described.
6 shows a case where thedirection 33 of the preceding vehicle 30, which is the object, is the same as the direction 21 of the host vehicle 20, FIG. 6A is a bird's-eye view, and FIG. 6B is a display example of the display surface 5a. In this case, the inclination acquisition unit 14 estimates the direction 33 of the preceding vehicle 30 from the direction of the road at the position 32 of the preceding vehicle 30. Then, the inclination acquisition unit 14 acquires the difference between the orientation 21 of the vehicle 20 and the orientation 33 of the preceding vehicle 30 included in the vehicle information as the inclination of the preceding vehicle 30. In the example of FIG. 6, since the orientation 21 of the host vehicle 20 and the orientation 33 of the preceding vehicle 30 are the same, the inclination of the preceding vehicle 30 is 0 degree. Therefore, the AR image control unit 16 does not change the inclination of the AR image 40.
図6は、自車両20の向き21に対して、対象物である先行車両30の向き33が同じである場合を示し、図6Aは俯瞰図、図6Bは表示面5aの表示例である。この場合、傾き取得部14は、先行車両30の向き33を、先行車両30の位置32における道路の向きから推定する。そして、傾き取得部14は、自車情報に含まれる自車両20の向き21と先行車両30の向き33との差分を、先行車両30の傾きとして取得する。図6の例では、自車両20の向き21と先行車両30の向き33とが同じであるため、先行車両30の傾きは0度となる。そのため、AR画像制御部16は、AR画像40の傾きを変更しない。 Here, with reference to FIGS. 6 and 7, a method of reducing the deviation of the inclination between the target object and the AR image by the AR
6 shows a case where the
図7は、自車両20の向き21に対して、先行車両30の向き33が異なる場合を示し、図7Aは俯瞰図、図7Bは表示面5aの表示例である。ここでは、先行車両30の位置32における道路の形状がカーブになっている場合を示す。この場合、傾き取得部14は、先行車両30がカーブの形状に沿って傾いていると判断する。そして、傾き取得部14は、カーブに沿って走行している先行車両30の進行方向を、カーブの曲率と先行車両30の位置32とに基づいて推定し、先行車両30の向き33とする。そして、傾き取得部14は、自車情報に含まれる自車両20の向き21と先行車両30の向き33との差分を、先行車両30の傾きθとして取得する。AR画像制御部16は、3次元画像データであるAR画像40を、先行車両30の傾きθと同方向にθ度傾ける。
FIG. 7 shows a case where the direction 33 of the preceding vehicle 30 is different from the direction 21 of the own vehicle 20, FIG. 7A is a bird's-eye view, and FIG. 7B is a display example of the display surface 5a. Here, the case where the shape of the road at the position 32 of the preceding vehicle 30 is a curve is shown. In this case, the inclination acquisition unit 14 determines that the preceding vehicle 30 is inclined along the shape of the curve. Then, the inclination acquisition unit 14 estimates the traveling direction of the preceding vehicle 30 traveling along the curve based on the curvature of the curve and the position 32 of the preceding vehicle 30, and sets it as the direction 33 of the preceding vehicle 30. Then, the inclination acquisition unit 14 acquires, as the inclination θ of the preceding vehicle 30, the difference between the direction 21 of the own vehicle 20 and the direction 33 of the preceding vehicle 30 included in the own vehicle information. The AR image control unit 16 tilts the AR image 40, which is three-dimensional image data, in the same direction as the tilt θ of the preceding vehicle 30 by θ degrees.
図7の例では、先行車両30がY軸を基準にしてヨー方向に傾いている場合が示されている。なお、先行車両30の傾きθの基準は、Y軸に限らず、X軸(つまりピッチ方向に傾いている場合)又はZ軸(つまりロール方向に傾いている場合)もある。その場合、傾き取得部14は、道路形状に含まれる道路の高度及び傾斜度等の情報に基づいて、先行車両30の傾きθを取得すればよい。
In the example of FIG. 7, the preceding vehicle 30 is tilted in the yaw direction with respect to the Y axis. The reference of the inclination θ of the preceding vehicle 30 is not limited to the Y axis, but may be the X axis (that is, when tilting in the pitch direction) or the Z axis (that is, when tilting in the roll direction). In that case, the inclination acquisition unit 14 may acquire the inclination θ of the preceding vehicle 30 based on information such as the altitude and inclination of the road included in the road shape.
以上のように、実施の形態1に係る表示制御装置1は、自車情報取得部11、対象物情報取得部12、道路形状取得部13、傾き取得部14、AR画像生成部15、及びAR画像制御部16を備える。自車情報取得部11は、自車両の位置と向きとを含む情報を自車情報として取得する。対象物情報取得部12は、自車両の予め定められた距離内にある対象物の位置を含む情報を対象物情報として取得する。道路形状取得部13は、対象物の位置する道路の道路形状を取得する。傾き取得部14は、自車情報、対象物情報、及び道路形状に基づいて自車両に対する対象物の傾きを取得する。AR画像生成部15は、対象物に重ねて表示するAR画像を生成する。AR画像制御部16は、傾き取得部14により取得された対象物の傾きに基づいてAR画像の対象物に対する表示の傾きを変更する。この構成により、表示制御装置1は、対象物の傾きを考慮したAR画像を表示装置5に表示させることができる。それにより、対象物とAR画像との傾きのずれによる違和感を低減させることが可能となる。なお、撮像画像から対象物の傾きを推定し、対象物の傾きに応じてAR画像を変更する構成の場合、画像処理のための処理負荷が高くなるが、実施の形態1に係る表示制御装置1は、撮像画像から対象物の傾きを推定する構成ではないため、処理負荷が高くならない。
As described above, the display control device 1 according to the first embodiment includes the vehicle information acquisition unit 11, the object information acquisition unit 12, the road shape acquisition unit 13, the inclination acquisition unit 14, the AR image generation unit 15, and the AR. The image control unit 16 is provided. The own vehicle information acquisition unit 11 acquires information including the position and direction of the own vehicle as the own vehicle information. The target object information acquisition unit 12 acquires, as the target object information, information including the position of the target object within a predetermined distance of the host vehicle. The road shape acquisition unit 13 acquires the road shape of the road on which the object is located. The inclination acquisition unit 14 acquires the inclination of the object with respect to the own vehicle based on the own vehicle information, the object information, and the road shape. The AR image generation unit 15 generates an AR image to be displayed over the target object. The AR image control unit 16 changes the display inclination of the AR image with respect to the object based on the inclination of the object acquired by the inclination acquisition unit 14. With this configuration, the display control device 1 can display the AR image in consideration of the inclination of the target object on the display device 5. As a result, it is possible to reduce the discomfort caused by the deviation of the inclination between the target object and the AR image. In the case of a configuration in which the inclination of the target object is estimated from the captured image and the AR image is changed according to the inclination of the target object, the processing load for image processing increases, but the display control device according to the first embodiment In No. 1, the processing load does not increase because the inclination of the object is not estimated from the captured image.
実施の形態2.
実施の形態2に係る表示制御装置1は、AR画像の傾きを変更する際、変更前のAR画像の表示面積に対する、変更後のAR画像の表示面積の割合が、予め定められた閾値以上になるようにする。これにより、表示制御装置1は、AR画像の傾きを変更することによってAR画像が見えづらくなることを防ぐ。 Embodiment 2.
In the display control device 1 according to the second embodiment, when changing the inclination of the AR image, the ratio of the display area of the AR image after the change to the display area of the AR image before the change is equal to or larger than a predetermined threshold value. To be Accordingly, the display control device 1 prevents the AR image from becoming hard to see by changing the inclination of the AR image.
実施の形態2に係る表示制御装置1は、AR画像の傾きを変更する際、変更前のAR画像の表示面積に対する、変更後のAR画像の表示面積の割合が、予め定められた閾値以上になるようにする。これにより、表示制御装置1は、AR画像の傾きを変更することによってAR画像が見えづらくなることを防ぐ。 Embodiment 2.
In the display control device 1 according to the second embodiment, when changing the inclination of the AR image, the ratio of the display area of the AR image after the change to the display area of the AR image before the change is equal to or larger than a predetermined threshold value. To be Accordingly, the display control device 1 prevents the AR image from becoming hard to see by changing the inclination of the AR image.
実施の形態2に係る表示制御装置1の構成は、実施の形態1の図1に示された構成と図面上は同一であるため、以下では図1を援用する。
実施の形態2のAR画像制御部16は、実施の形態1と同様に、傾き取得部14から取得した対象物の傾きに基づいてAR画像の傾きを変更する。このとき、実施の形態2のAR画像制御部16は、変更前のAR画像の表示面積に対する、変更後のAR画像の表示面積の割合が、予め定められた閾値以上になるように、AR画像の傾きを変更する。以下では、変更前のAR画像の表示面積に対する、変更後のAR画像の表示面積の割合を、「視認率」と呼ぶ。 Since the configuration of the display control device 1 according to the second embodiment is the same as the configuration shown in FIG. 1 of the first embodiment in the drawing, FIG. 1 is referred to below.
The ARimage control unit 16 of the second embodiment changes the tilt of the AR image based on the tilt of the target object acquired from the tilt acquisition unit 14 as in the first embodiment. At this time, the AR image control unit 16 of the second embodiment sets the AR image so that the ratio of the display area of the AR image after the change to the display area of the AR image before the change becomes equal to or more than a predetermined threshold value. Change the inclination of. Hereinafter, the ratio of the display area of the AR image after the change to the display area of the AR image before the change will be referred to as a “visibility rate”.
実施の形態2のAR画像制御部16は、実施の形態1と同様に、傾き取得部14から取得した対象物の傾きに基づいてAR画像の傾きを変更する。このとき、実施の形態2のAR画像制御部16は、変更前のAR画像の表示面積に対する、変更後のAR画像の表示面積の割合が、予め定められた閾値以上になるように、AR画像の傾きを変更する。以下では、変更前のAR画像の表示面積に対する、変更後のAR画像の表示面積の割合を、「視認率」と呼ぶ。 Since the configuration of the display control device 1 according to the second embodiment is the same as the configuration shown in FIG. 1 of the first embodiment in the drawing, FIG. 1 is referred to below.
The AR
図8は、実施の形態2に係る表示制御装置1の動作例を示すフローチャートである。表示制御装置1は、図5のステップST5における動作後、図5のステップST6における動作に代えて、図8のステップST11~ST18における動作を行う。
FIG. 8 is a flowchart showing an operation example of the display control device 1 according to the second embodiment. After the operation in step ST5 in FIG. 5, the display control device 1 performs the operation in steps ST11 to ST18 in FIG. 8 instead of the operation in step ST6 in FIG.
ステップST11において、AR画像制御部16は、AR画像生成部15から取得した3次元画像データであるAR画像の傾きを、傾き取得部14から取得した対象物の傾きに応じて変更した場合の、AR画像の視認率を算出する。上述のように、視認率は、変更前のAR画像の表示面積に対する、変更後のAR画像の表示面積の割合である。AR画像の表示面積は、3次元画像データであるAR画像が表示装置5の表示面5aに表示されたときの面積、つまり2次元画像データの面積である。AR画像制御部16は、変更後のAR画像の表示面積を、AR画像を傾ける方向及び量を用いて算出する。
In step ST11, when the AR image control unit 16 changes the tilt of the AR image, which is the three-dimensional image data acquired from the AR image generation unit 15, according to the tilt of the target object acquired from the tilt acquisition unit 14, The visibility of the AR image is calculated. As described above, the visibility is the ratio of the display area of the AR image after the change to the display area of the AR image before the change. The display area of the AR image is the area when the AR image, which is the three-dimensional image data, is displayed on the display surface 5a of the display device 5, that is, the area of the two-dimensional image data. The AR image control unit 16 calculates the display area of the AR image after the change by using the direction and amount of tilting the AR image.
ステップST12において、AR画像制御部16は、ステップST11で算出したAR画像の視認率が、予め定められた閾値以上となるかどうかを判定する。閾値は、対象物の種別等に基づいて、予め設定されているものとする。また、閾値は、AR画像が図形のみで構成されている場合と、文字が含まれている場合とで異なってもよい。文字は、傾きが大きくなると見づらくなるため、AR画像に文字が含まれていない場合の閾値に比べ、AR画像に文字が含まれている場合の閾値が大きいことが好ましい。
In step ST12, the AR image control unit 16 determines whether or not the visibility of the AR image calculated in step ST11 is equal to or higher than a predetermined threshold value. The threshold value is set in advance based on the type of the target object and the like. Further, the threshold value may be different depending on whether the AR image is composed only of figures and the case where characters are included. Since it becomes difficult to see the character when the inclination is large, it is preferable that the threshold value when the AR image includes the character is larger than the threshold value when the AR image does not include the character.
AR画像の視認率が閾値以上である場合(ステップST12“YES”)、ステップST13において、AR画像制御部16は、傾き取得部14が取得した対象物の傾き分だけ、3次元画像データであるAR画像を傾ける。また、AR画像制御部16は、図5のステップST6と同様に、対象物の位置座標に基づいて、傾き変更後のAR画像が対象物に重畳表示されるように、表示面5aを介して視認されるAR画像の位置及び大きさ等を変更する。そして、AR画像制御部16は、傾き、位置、及び大きさ等を変更したAR画像を表示装置5へ出力する。
When the visibility of the AR image is equal to or more than the threshold value (step ST12 “YES”), in step ST13, the AR image control unit 16 is three-dimensional image data corresponding to the inclination of the target object acquired by the inclination acquisition unit 14. Tilt the AR image. Further, as in step ST6 of FIG. 5, the AR image control unit 16 uses the display surface 5a so that the AR image after the tilt change is superimposed and displayed on the target object based on the position coordinates of the target object. The position and size of the visually recognized AR image are changed. Then, the AR image control unit 16 outputs the AR image with the tilt, the position, the size, and the like changed to the display device 5.
AR画像の視認率が閾値未満である場合(ステップST12“NO”)、ステップST14において、AR画像制御部16は、傾き取得部14が取得した対象物の傾きに加えて、さらに同方向に一定量の傾き分だけ傾けた場合の、AR画像の視認率を算出する。
When the visibility of the AR image is less than the threshold value (step ST12 “NO”), in step ST14, the AR image control unit 16 adds the inclination of the target object acquired by the inclination acquisition unit 14 to a constant value in the same direction. The visibility of the AR image in the case of tilting by the amount of tilt is calculated.
ステップST15において、AR画像制御部16は、ステップST14で算出したAR画像の視認率が、閾値以上となるかどうかを判定する。ステップST15の閾値は、ステップST12の閾値と同値である。
In step ST15, the AR image control unit 16 determines whether the visibility rate of the AR image calculated in step ST14 is equal to or more than a threshold value. The threshold value of step ST15 is the same as the threshold value of step ST12.
AR画像の視認率が閾値以上である場合(ステップST15“YES”)、ステップST16において、AR画像制御部16は、傾き取得部14が取得した対象物の傾き及び一定量の傾き分だけ、3次元画像データであるAR画像を傾ける。また、AR画像制御部16は、図5のステップST6と同様に、対象物の位置座標に基づいて、傾き変更後のAR画像が対象物に重畳表示されるように、表示面5aを介して視認されるAR画像の位置及び大きさ等を変更する。そして、AR画像制御部16は、傾き、位置、及び大きさ等を変更したAR画像を表示装置5へ出力する。
When the visibility of the AR image is equal to or higher than the threshold value (step ST15 “YES”), the AR image control unit 16 sets the tilt of the target object acquired by the tilt acquisition unit 14 and the predetermined amount of tilt to 3 in step ST16. The AR image, which is three-dimensional image data, is tilted. Further, as in step ST6 of FIG. 5, the AR image control unit 16 uses the display surface 5a so that the AR image after the tilt change is superimposed and displayed on the target object based on the position coordinates of the target object. The position and size of the visually recognized AR image are changed. Then, the AR image control unit 16 outputs the AR image with the tilt, the position, the size, and the like changed to the display device 5.
AR画像の視認率が閾値未満である場合(ステップST15“NO”)、ステップST17において、AR画像制御部16は、視認率が閾値と同値となる、傾きの限界量を算出する。具体的には、AR画像制御部16は、変更前のAR画像の表示面積と閾値とを用いて、視認率が閾値と同値となるときのAR画像の表示面積を算出し、この表示面積を用いて傾きの限界量を逆算する。
When the visibility of the AR image is less than the threshold value (step ST15 “NO”), the AR image control unit 16 calculates the limit amount of inclination at which the visibility ratio is the same as the threshold value in step ST17. Specifically, the AR image control unit 16 uses the display area of the AR image before the change and the threshold value to calculate the display area of the AR image when the visibility is equal to the threshold value, and the display area is calculated. Use to calculate the limit of slope backwards.
ステップST18において、AR画像制御部16は、ステップST17で算出した傾きの限界量分だけ、3次元画像データであるAR画像を傾ける。また、AR画像制御部16は、図5のステップST6と同様に、対象物の位置座標に基づいて、傾き変更後のAR画像が対象物に重畳表示されるように、表示面5aを介して視認されるAR画像の位置及び大きさ等を変更する。そして、AR画像制御部16は、傾き、位置、及び大きさ等を変更したAR画像を表示装置5へ出力する。
In step ST18, the AR image control unit 16 tilts the AR image, which is the three-dimensional image data, by the limit amount of tilt calculated in step ST17. Further, as in step ST6 of FIG. 5, the AR image control unit 16 uses the display surface 5a so that the AR image after the tilt change is superimposed and displayed on the target object based on the position coordinates of the target object. The position and size of the visually recognized AR image are changed. Then, the AR image control unit 16 outputs the AR image with the tilt, the position, the size, and the like changed to the display device 5.
ここで、図9~図12を参照し、AR画像制御部16がAR画像の視認率に応じてAR画像の傾きを変更する方法について説明する。図9~図12において、視認率の閾値は「50」に設定されているものとする。
図9は、自車両20の向き21に対して、対象物である先行車両30の向き33が同じである場合を示し、図9Aは俯瞰図、図9Bは表示面5aの表示例である。自車両20の向き21と先行車両30の向き33とが同じである場合、AR画像制御部16はAR画像40の傾きを変更しない。そのため、変更前のAR画像40の表示面積は、変更後のAR画像の表示面積と同値であり、視認率は「100」となる。 Here, a method in which the ARimage control unit 16 changes the tilt of the AR image according to the visibility of the AR image will be described with reference to FIGS. 9 to 12. 9 to 12, it is assumed that the threshold value of the visibility rate is set to "50".
FIG. 9 shows a case where thedirection 33 of the preceding vehicle 30, which is the object, is the same as the direction 21 of the host vehicle 20, FIG. 9A is an overhead view, and FIG. 9B is a display example of the display surface 5a. When the orientation 21 of the host vehicle 20 and the orientation 33 of the preceding vehicle 30 are the same, the AR image control unit 16 does not change the inclination of the AR image 40. Therefore, the display area of the AR image 40 before the change is the same value as the display area of the AR image after the change, and the visibility is “100”.
図9は、自車両20の向き21に対して、対象物である先行車両30の向き33が同じである場合を示し、図9Aは俯瞰図、図9Bは表示面5aの表示例である。自車両20の向き21と先行車両30の向き33とが同じである場合、AR画像制御部16はAR画像40の傾きを変更しない。そのため、変更前のAR画像40の表示面積は、変更後のAR画像の表示面積と同値であり、視認率は「100」となる。 Here, a method in which the AR
FIG. 9 shows a case where the
図10は、自車両20の向き21に対して、先行車両30の向き33が異なる場合の一例を示し、図10Aは俯瞰図、図10Bは表示面5aの表示例である。ここでは、先行車両30の傾きをθ度、変更前のAR画像40の表示面積を「500」、3次元座標系でθ度傾けた後のAR画像40aの表示面積を「400」とする。この場合、視認率は400/500×100=80となり、閾値「50」以上である。よって、AR画像制御部16は、3次元画像データであるAR画像40をθ度傾けて、AR画像40aを生成する。
10 shows an example in which the direction 33 of the preceding vehicle 30 is different from the direction 21 of the own vehicle 20, FIG. 10A is a bird's eye view, and FIG. 10B is a display example of the display surface 5a. Here, it is assumed that the inclination of the preceding vehicle 30 is θ degrees, the display area of the AR image 40 before the change is “500”, and the display area of the AR image 40a after the inclination of θ degrees in the three-dimensional coordinate system is “400”. In this case, the visibility rate is 400/500×100=80, which is equal to or greater than the threshold value “50”. Therefore, the AR image control unit 16 tilts the AR image 40, which is the three-dimensional image data, by θ degrees to generate the AR image 40a.
図11は、自車両20の向き21に対して、先行車両30の向き33が異なる場合の別の例を示し、図12は、図11に示される場合におけるAR画像の変形結果を示す。図11A及び図12Aは俯瞰図、図11B及び図12Bは表示面5aの表示例である。図11では、先行車両30の傾きをθ度、変更前のAR画像40の表示面積を「500」、3次元座標系でθ度傾けた後のAR画像40aの表示面積を「100」とする。この場合、視認率は100/500×100=20となり、閾値「50」未満である。AR画像を傾ける一定量が90度と予め定められていたとすると、AR画像制御部16は、先行車両30の傾きθ度と一定量90度とを合算した(θ+90)度分だけ、3次元画像データであるAR画像40を傾けたAR画像40bを生成し、AR画像40bの表示面積を算出する。図12に示される変更後のAR画像40bの表示面積が「450」であった場合、視認率は450/500×100=90となり、閾値「50」以上である。よって、AR画像制御部16は、3次元画像データであるAR画像40を(θ+90)度傾けて、AR画像40bを生成する。
FIG. 11 shows another example in which the direction 33 of the preceding vehicle 30 is different from the direction 21 of the host vehicle 20, and FIG. 12 shows the deformation result of the AR image in the case shown in FIG. 11A and 12A are overhead views, and FIGS. 11B and 12B are display examples of the display surface 5a. In FIG. 11, the inclination of the preceding vehicle 30 is θ degrees, the display area of the AR image 40 before the change is “500”, and the display area of the AR image 40a after the inclination of θ degrees in the three-dimensional coordinate system is “100”. .. In this case, the visibility rate is 100/500×100=20, which is less than the threshold value “50”. Assuming that a predetermined amount of tilting the AR image is predetermined to be 90 degrees, the AR image control unit 16 adds the tilt angle θ of the preceding vehicle 30 and the constant amount 90 degrees to the three-dimensional image by (θ+90) degrees. An AR image 40b is generated by inclining the AR image 40, which is data, and the display area of the AR image 40b is calculated. When the display area of the changed AR image 40b shown in FIG. 12 is “450”, the visibility is 450/500×100=90, which is equal to or more than the threshold “50”. Therefore, the AR image control unit 16 tilts the AR image 40, which is the three-dimensional image data, by (θ+90) degrees to generate the AR image 40b.
以上のように、実施の形態2のAR画像制御部16は、変更前のAR画像の表示面積に対する、変更後のAR画像の表示面積の割合が、予め定められた閾値以上になるように、AR画像の対象物に対する表示の傾きを変更する。この構成により、表示制御装置1は、閾値以上の視認率を保ったまま、対象物とAR画像との傾きのずれによる違和感を低減させることが可能となる。
As described above, the AR image control unit 16 according to the second embodiment sets the ratio of the display area of the AR image after the change to the display area of the AR image before the change to a predetermined threshold value or more, The inclination of the display of the AR image with respect to the object is changed. With this configuration, the display control device 1 can reduce the sense of discomfort due to the deviation of the tilt between the target object and the AR image while maintaining the visibility rate equal to or higher than the threshold value.
実施の形態3.
実施の形態3に係る表示制御装置1は、対象物の種別が移動体であるとき、対象物の進路を予測し、その進路に基づいて対象物の傾きを取得する。これにより、表示制御装置1は、対象物が交差点にある場合等、道路形状のみでは対象物の傾きを取得できない場合でも、対象物の傾きに応じてAR画像の傾きを変更することができる。 Embodiment 3.
When the type of the object is a moving body, the display control device 1 according to the third embodiment predicts the path of the object and acquires the inclination of the object based on the path. Accordingly, the display control device 1 can change the inclination of the AR image according to the inclination of the target even when the inclination of the target cannot be acquired only by the road shape, such as when the target is at an intersection.
実施の形態3に係る表示制御装置1は、対象物の種別が移動体であるとき、対象物の進路を予測し、その進路に基づいて対象物の傾きを取得する。これにより、表示制御装置1は、対象物が交差点にある場合等、道路形状のみでは対象物の傾きを取得できない場合でも、対象物の傾きに応じてAR画像の傾きを変更することができる。 Embodiment 3.
When the type of the object is a moving body, the display control device 1 according to the third embodiment predicts the path of the object and acquires the inclination of the object based on the path. Accordingly, the display control device 1 can change the inclination of the AR image according to the inclination of the target even when the inclination of the target cannot be acquired only by the road shape, such as when the target is at an intersection.
ここで、図13を参照し、対象物が移動体である場合に、表示制御装置1が移動体の傾きに合わせてAR画像の傾きを変更する際の一例を説明する。図13は、対象物である先行車両30が交差点を右折する場合を示し、図13Aは俯瞰図、図13Bは表示面5aの表示例である。先行車両30は、右折先の道路に進入するために旋回しており、自車両20の向き21に対して先行車両30の向き33が異なっている。そのため、傾き取得部14は、自車両20の向き21と先行車両30の向き33との差分を、先行車両30の傾きθとして取得する。AR画像制御部16は、AR画像40を、先行車両30の傾きと同方向にθ度傾け、AR画像40aを生成する。
Here, with reference to FIG. 13, an example in which the display control device 1 changes the inclination of the AR image in accordance with the inclination of the moving body when the object is the moving body will be described. FIG. 13 shows a case where the preceding vehicle 30 as the object turns right at the intersection, FIG. 13A is a bird's-eye view, and FIG. 13B is a display example of the display surface 5a. The preceding vehicle 30 is turning to enter the road on the right turn destination, and the direction 33 of the preceding vehicle 30 is different from the direction 21 of the host vehicle 20. Therefore, the inclination acquisition unit 14 acquires the difference between the orientation 21 of the host vehicle 20 and the orientation 33 of the preceding vehicle 30 as the inclination θ of the preceding vehicle 30. The AR image control unit 16 tilts the AR image 40 by θ degrees in the same direction as the tilt of the preceding vehicle 30 to generate the AR image 40a.
図14は、実施の形態3に係る表示制御装置1の構成例を示すブロック図である。実施の形態3に係る表示制御装置1は、図1に示された実施の形態1の表示制御装置1に対して進路予測部17が追加された構成である。図14において図1と同一又は相当する部分は、同一の符号を付し説明を省略する。
FIG. 14 is a block diagram showing a configuration example of the display control device 1 according to the third embodiment. The display control device 1 according to the third embodiment has a configuration in which a route prediction unit 17 is added to the display control device 1 of the first embodiment shown in FIG. 14, parts that are the same as or correspond to those in FIG. 1 are assigned the same reference numerals and explanations thereof are omitted.
図15は、実施の形態3に係る表示制御装置1の動作例を示すフローチャートである。表示制御装置1は、例えば自車両のイグニッションスイッチがオンになった場合に図15のフローチャートに示される動作を開始し、イグニッションスイッチがオフになるまでこの動作を繰り返す。または、表示制御装置1は、ナビゲーション装置3又は運転支援装置4からAR画像の表示指示があった場合に図15のフローチャートに示される動作を行う。
FIG. 15 is a flowchart showing an operation example of the display control device 1 according to the third embodiment. The display control device 1 starts the operation shown in the flowchart of FIG. 15 when the ignition switch of the own vehicle is turned on, for example, and repeats this operation until the ignition switch is turned off. Alternatively, the display control device 1 performs the operation illustrated in the flowchart of FIG. 15 when the navigation device 3 or the driving support device 4 issues an AR image display instruction.
図15のステップST1~ST3における動作は、図5のステップST1~ST3における動作と同じである。ただし、対象物情報取得部12は、対象物情報を進路予測部17へ出力する(ステップST2)。道路形状取得部13は、道路形状を進路予測部17へ出力する(ステップST3)。
The operation in steps ST1 to ST3 in FIG. 15 is the same as the operation in steps ST1 to ST3 in FIG. However, the target object information acquisition unit 12 outputs the target object information to the route prediction unit 17 (step ST2). The road shape acquisition unit 13 outputs the road shape to the route prediction unit 17 (step ST3).
ステップST7において、進路予測部17は、対象物情報取得部12から対象物情報を取得し、対象物情報に含まれる対象物の種別が移動体であるかどうかを判定する。対象物が移動体である場合(ステップST7“YES”)、ステップST8において、進路予測部17は、道路形状取得部13から道路形状を取得し、ナビゲーション装置3から地図情報を取得する。そして、進路予測部17は、取得した対象物情報と道路形状と地図情報とに基づいて、対象物の進路を予測する。そして、進路予測部17は、予測した対象物の進路に基づいて対象物の軌跡を推定し、推定した軌跡を傾き取得部14へ出力する。
In step ST7, the route prediction unit 17 acquires the target object information from the target object information acquisition unit 12 and determines whether the type of the target object included in the target object information is a moving body. When the object is a moving body (step ST7 “YES”), in step ST8, the route prediction unit 17 acquires the road shape from the road shape acquisition unit 13 and acquires the map information from the navigation device 3. Then, the route prediction unit 17 predicts the route of the target object based on the acquired target object information, road shape, and map information. Then, the route prediction unit 17 estimates the trajectory of the target object based on the predicted route of the target object, and outputs the estimated trajectory to the tilt acquisition unit 14.
対象物が移動体である場合(ステップST7“YES”)、ステップST4において、傾き取得部14は、進路予測部17から対象物の軌跡を取得し、取得した軌跡と地図情報とを照らし合わせて、対象物の傾きを取得する。ステップST5において、AR画像生成部15は、AR画像を生成する。ステップST6において、AR画像制御部16は、AR画像生成部15から取得したAR画像を、傾き取得部14から取得した対象物の傾きに基づいて変更し、変更後のAR画像が対象物に重畳表示されるように位置及び大きさ等を調整した後、表示装置5へ出力する。
When the object is a moving body (step ST7 “YES”), in step ST4, the inclination acquisition unit 14 acquires the trajectory of the object from the route prediction unit 17 and compares the acquired trajectory with the map information. , Get the tilt of the object. In step ST5, the AR image generation unit 15 generates an AR image. In step ST6, the AR image control unit 16 changes the AR image acquired from the AR image generation unit 15 based on the inclination of the target object acquired from the tilt acquisition unit 14, and the changed AR image is superimposed on the target object. After adjusting the position and size so as to be displayed, it is output to the display device 5.
対象物が移動体ではない場合(ステップST7“NO”)、進路予測部17は、進路予測を行わない。その場合、ステップST4~ST6における動作は、図5のステップST4~ST6における動作と同じである。
If the object is not a moving body (step ST7 “NO”), the route prediction unit 17 does not perform the route prediction. In that case, the operation in steps ST4 to ST6 is the same as the operation in steps ST4 to ST6 in FIG.
図16は、対象物が移動体である場合の、図15のステップST8及びステップST4における動作の詳細を示すフローチャートである。
ステップST21において、進路予測部17は、対象物情報取得部12から取得した対象物情報に基づいて、対象物が交差点にあるかどうかを判定する。具体的には、進路予測部17は、対象物情報に含まれる対象物の位置座標と、ナビゲーション装置3から取得した地図情報とを照らし合わせ、地図情報に含まれる交差点の範囲内に対象物の位置座標があるかどうかで、対象物が交差点にあるかどうかを判定する。 FIG. 16 is a flowchart showing details of the operation in steps ST8 and ST4 of FIG. 15 when the object is a moving body.
In step ST21, theroute prediction unit 17 determines whether or not the target object is at the intersection based on the target object information acquired from the target object information acquisition unit 12. Specifically, the route prediction unit 17 compares the position coordinates of the target object included in the target object information with the map information acquired from the navigation device 3, and determines the target object within the range of the intersection included in the map information. Whether or not the object is at the intersection is determined based on whether or not the position coordinates are present.
ステップST21において、進路予測部17は、対象物情報取得部12から取得した対象物情報に基づいて、対象物が交差点にあるかどうかを判定する。具体的には、進路予測部17は、対象物情報に含まれる対象物の位置座標と、ナビゲーション装置3から取得した地図情報とを照らし合わせ、地図情報に含まれる交差点の範囲内に対象物の位置座標があるかどうかで、対象物が交差点にあるかどうかを判定する。 FIG. 16 is a flowchart showing details of the operation in steps ST8 and ST4 of FIG. 15 when the object is a moving body.
In step ST21, the
対象物が交差点にない場合(ステップST21“NO”)、進路予測部17は、対象物が交差点にないという通知を、傾き取得部14へ出力する。
If the object is not at the intersection (step ST21 “NO”), the route prediction unit 17 outputs a notification that the object is not at the intersection to the inclination acquisition unit 14.
対象物が交差点にある場合(ステップST21“YES”)、ステップST22において、進路予測部17は、直進領域を決定する。直進領域は、対象物が交差点に進入する直前の対象物の向きに沿って延長した直線を中心とした、交差点内の予め定められた幅(例えば、車線の幅の1/3)の範囲である。交差点に進入する直前の対象物の向きは、進路予測部17が傾き取得部14から取得して記憶しておく、又は進路予測部17がナビゲーション装置3から取得した道路形状から推定する。
When the target object is at the intersection (step ST21 “YES”), in step ST22, the route prediction unit 17 determines the straight traveling area. The straight-ahead region is a range of a predetermined width (for example, 1/3 of the width of the lane) within the intersection centered on a straight line extending along the direction of the object just before the object enters the intersection. is there. The direction of the object immediately before entering the intersection is acquired by the route prediction unit 17 from the inclination acquisition unit 14 and stored, or estimated from the road shape acquired by the route prediction unit 17 from the navigation device 3.
図17及び図18は、進路予測部17による直進領域の決定方法を説明する図である。図17に示される交差点は、道路51~54が互いに隣り合う他の道路51~54と直角に接続している。図18に示される交差点は、道路52,54に対して道路53が斜めに接続している。また、図17及び図18には、対象物である先行車両30が道路53から交差点に進入するときの直進領域55が示されている。このとき、交差点に進入する直前の先行車両30の向き33は、進路予測部17が傾き取得部14から取得して記憶しておくか、又は進路予測部17が道路53の形状から推定する。そして、進路予測部17は、推定した先行車両30の向き33に沿って延長した直線を中心とした、交差点内の予め定められた幅の範囲を、直進領域55として決定する。
17 and 18 are diagrams for explaining a method of determining a straight ahead region by the route predicting unit 17. At the intersection shown in FIG. 17, the roads 51 to 54 are connected at right angles to the other roads 51 to 54 adjacent to each other. At the intersection shown in FIG. 18, the road 53 is obliquely connected to the roads 52 and 54. Further, FIGS. 17 and 18 show a straight-ahead region 55 when the preceding vehicle 30 as an object enters the intersection from the road 53. At this time, the direction 33 of the preceding vehicle 30 immediately before entering the intersection is acquired by the route prediction unit 17 from the inclination acquisition unit 14 and stored, or is estimated from the shape of the road 53 by the route prediction unit 17. Then, the route prediction unit 17 determines, as the straight traveling region 55, a range of a predetermined width within the intersection centering on the straight line extending along the estimated direction 33 of the preceding vehicle 30.
ステップST23において、進路予測部17は、ステップST22で決定した直進領域と対象物情報取得部12から取得した対象物情報とに基づいて、対象物が直進領域にあるかどうかを判定する。具体的には、進路予測部17は、対象物情報に含まれる対象物の位置座標が直進領域内にあるかどうかで、対象物が直進領域にあるかどうかを判定する。
In step ST23, the route prediction unit 17 determines whether or not the object is in the straight traveling region based on the straight traveling region determined in step ST22 and the target object information acquired from the target object information acquisition unit 12. Specifically, the route prediction unit 17 determines whether or not the target object is in the straight-ahead region based on whether or not the position coordinates of the target object included in the target object information are in the straight-ahead region.
対象物が直進領域にある場合(ステップST23“YES”)、ステップST31において、進路予測部17は、対象物が交差点を直進すると判定する。そして、進路予測部17は、対象物が直進するという通知を、傾き取得部14へ出力する。
If the target object is in the straight ahead area (step ST23 “YES”), in step ST31, the route prediction unit 17 determines that the target object goes straight at the intersection. Then, the route prediction unit 17 outputs to the tilt acquisition unit 14 a notification that the target object is going straight.
対象物が直進領域にない場合(ステップST23“NO”)、ステップST24において、進路予測部17は、対象物が交差点を右折又は左折すると判定する。そして、進路予測部17は、対象物が直進領域よりも右側にあるか左側にあるかを判定する。
If the object is not in the straight traveling area (step ST23 “NO”), the route prediction unit 17 determines in step ST24 that the object turns right or left at the intersection. Then, the route prediction unit 17 determines whether the object is on the right side or the left side of the straight-ahead region.
対象物が直進領域よりも右側にある場合(ステップST24“YES”)、ステップST25において、進路予測部17は、対象物が交差点を右折すると判定する。
続くステップST26において、進路予測部17は、直進領域よりも右にある右折道路のうち、対象物の位置座標に最も近い位置座標の右折道路を、対象物の進路として決定する。また、進路予測部17は、対象物の進路として決定した右折道路の位置座標及び向きを取得する。 When the target object is on the right side of the straight ahead area (step ST24 “YES”), theroute prediction unit 17 determines in step ST25 that the target object turns right at the intersection.
In subsequent step ST26, thecourse predicting unit 17 determines the right turn road having the position coordinates closest to the position coordinates of the object among the right turn roads to the right of the straight ahead region as the course of the object. In addition, the route prediction unit 17 acquires the position coordinates and the direction of the right-turn road determined as the route of the object.
続くステップST26において、進路予測部17は、直進領域よりも右にある右折道路のうち、対象物の位置座標に最も近い位置座標の右折道路を、対象物の進路として決定する。また、進路予測部17は、対象物の進路として決定した右折道路の位置座標及び向きを取得する。 When the target object is on the right side of the straight ahead area (step ST24 “YES”), the
In subsequent step ST26, the
対象物が直進領域よりも左側にある場合(ステップST24“NO”)、ステップST29において、進路予測部17は、対象物が交差点を左折すると判定する。
続くステップST30において、進路予測部17は、直進領域よりも左にある左折道路のうち、対象物の位置座標に最も近い位置座標の左折道路を、対象物の進路として決定する。また、進路予測部17は、対象物の進路として決定した左折道路の位置座標及び向きを取得する。 When the object is on the left side of the straight-ahead area (step ST24 “NO”), theroute prediction unit 17 determines in step ST29 that the object turns left at the intersection.
In subsequent step ST30, theroute prediction unit 17 determines the left-turn road having the position coordinates closest to the position coordinates of the target object among the left-turn roads on the left of the straight-ahead region as the route of the target object. In addition, the route prediction unit 17 acquires the position coordinates and the direction of the left turn road determined as the route of the object.
続くステップST30において、進路予測部17は、直進領域よりも左にある左折道路のうち、対象物の位置座標に最も近い位置座標の左折道路を、対象物の進路として決定する。また、進路予測部17は、対象物の進路として決定した左折道路の位置座標及び向きを取得する。 When the object is on the left side of the straight-ahead area (step ST24 “NO”), the
In subsequent step ST30, the
ステップST27において、進路予測部17は、交差点に進入する直前の対象物の位置と、対象物の進路として決定した道路とを結ぶ曲線を、対象物の軌道と推定する。より具体的には、進路予測部17は、対象物が交差点に進入する直前の対象物の向きに対して延長した直線と、対象物の進路として決定した道路の進行方向の直線とに接する円の曲率を算出し、算出した曲率をもつ曲線を対象物の軌道とする。なお、対象物が右左折する場合の軌道は、曲線に限らず、道路形状によっては直線であってもよい。そして、進路予測部17は、推定した対象物の軌道を、傾き取得部14へ出力する。
In step ST27, the route prediction unit 17 estimates the curve connecting the position of the object immediately before entering the intersection and the road determined as the route of the object as the trajectory of the object. More specifically, the route prediction unit 17 makes contact with a straight line extending with respect to the direction of the object immediately before the object enters the intersection and a straight line in the traveling direction of the road determined as the path of the object. The curvature of is calculated, and the curve having the calculated curvature is set as the trajectory of the object. The trajectory when the object turns right or left is not limited to a curved line, and may be a straight line depending on the road shape. Then, the route prediction unit 17 outputs the estimated trajectory of the target object to the inclination acquisition unit 14.
傾き取得部14は、対象物の軌道を進路予測部17から取得した場合、ステップST28において、当該対象物の軌道と対象物の位置座標とに基づいて、対象物の位置における対象物の向きを推定する。対象物の向きは、対象物が予測された軌道に沿って走行する際の、対象物の位置での進行方向である。対象物の軌道が直線である場合、傾き取得部14は、当該直線に基づいて対象物の向きを推定する。対象物の軌道が曲線である場合、傾き取得部14は、当該曲線の対象物位置での接線に基づいて対象物の向きを推定する。そして、傾き取得部14は、対象物の向きに基づいて、対象物の傾きを取得する。
When acquiring the trajectory of the target object from the path prediction unit 17, the tilt acquisition unit 14 determines the orientation of the target object at the position of the target object based on the trajectory of the target object and the position coordinates of the target object in step ST28. presume. The orientation of the object is the traveling direction at the position of the object when the object travels along the predicted trajectory. When the trajectory of the target object is a straight line, the inclination acquisition unit 14 estimates the direction of the target object based on the straight line. When the trajectory of the object is a curve, the inclination acquisition unit 14 estimates the direction of the object based on the tangent line of the curve at the object position. Then, the inclination acquisition unit 14 acquires the inclination of the target object based on the orientation of the target object.
傾き取得部14は、対象物が直進するという通知を進路予測部17から取得した場合、ステップST32において、対象物が交差点に進入する直前の対象物の向きを、現在の対象物の向きとする。そして、傾き取得部14は、対象物の向きに基づいて、対象物の傾きを取得する。
When the inclination acquisition unit 14 acquires from the route prediction unit 17 the notification that the target object is going straight, in step ST32, the direction of the target object immediately before the target object enters the intersection is the current target object direction. .. Then, the inclination acquisition unit 14 acquires the inclination of the target object based on the orientation of the target object.
傾き取得部14は、対象物が交差点にないという通知を進路予測部17から取得した場合、ステップST33において、道路形状取得部13から取得した道路形状に沿って対象物が走行する際の対象物位置での進行方向を、対象物の向きとする。そして、傾き取得部14は、対象物の向きに基づいて、対象物の傾きを取得する。
When the inclination acquisition unit 14 acquires the notification that the target object is not at the intersection from the route prediction unit 17, the target object when the target object travels along the road shape acquired from the road shape acquisition unit 13 in step ST33. The traveling direction at the position is the direction of the object. Then, the inclination acquisition unit 14 acquires the inclination of the target object based on the orientation of the target object.
なお、進路予測部17及び傾き取得部14は、ステップST21~ST33における動作を繰り返し行うことにより、交差点を走行していく対象物の時々刻々と変わる傾きを取得するようにしてもよい。その場合、進路予測部17は、対象物が交差点にあると最初に判断した場合のみ(ステップST21“YES”)、直進領域を決定し(ステップST22)、2回目以降は最初に決定した直進領域を使用すればよい。また、進路予測部17は、対象物が直進領域外にあると最初に判断した場合のみ(ステップST23“NO”)、対象物の軌道を推定すればよい(ステップST24~ST27,ST29,ST30)。そして、傾き取得部14は、2回目以降、最初に推定された対象物の軌道を使用して対象物の向きを推定すればよい(ステップST28)。
Note that the route prediction unit 17 and the inclination acquisition unit 14 may acquire the inclination that changes from moment to moment of the object traveling at the intersection by repeating the operations in steps ST21 to ST33. In that case, the route prediction unit 17 determines the straight-ahead region only when it first determines that the object is at the intersection (step ST21 “YES”) (step ST22), and the first-determined straight-ahead region after the second time. Should be used. In addition, the course prediction unit 17 may estimate the trajectory of the target object only when it first determines that the target object is outside the straight traveling region (step ST23 “NO”) (steps ST24 to ST27, ST29, ST30). .. Then, the tilt acquisition unit 14 may estimate the orientation of the target object by using the trajectory of the target object estimated first after the second time (step ST28).
図19は、対象物である先行車両30が交差点を直進する場合における、進路予測部17の進路予測方法を説明する図である。図20は、対象物である先行車両30が交差点を直進する場合における、傾き取得部14による先行車両30の向き推定方法を説明する図である。図19及び図20において、対象物である先行車両30は、交差点を道路53から道路51へ直進する。
FIG. 19 is a diagram illustrating a route prediction method of the route prediction unit 17 in the case where the preceding vehicle 30 as the target object goes straight through the intersection. FIG. 20 is a diagram illustrating a method of estimating the direction of the preceding vehicle 30 by the inclination acquisition unit 14 when the preceding vehicle 30 that is an object travels straight at an intersection. In FIG. 19 and FIG. 20, the preceding vehicle 30, which is the object, goes straight from the road 53 to the road 51 at the intersection.
まず、進路予測部17は、対象物情報に含まれる先行車両30の位置32と、ナビゲーション装置3から取得した地図情報の交差点の範囲とを照らし合わせ、先行車両30が交差点にあるかどうかを判定する。図19の例では、先行車両30が交差点にあるため、進路予測部17は、交差点における直進領域55を決定する。
First, the route prediction unit 17 compares the position 32 of the preceding vehicle 30 included in the object information with the intersection range of the map information acquired from the navigation device 3, and determines whether the preceding vehicle 30 is at the intersection. To do. In the example of FIG. 19, since the preceding vehicle 30 is at the intersection, the route prediction unit 17 determines the straight traveling area 55 at the intersection.
続いて、進路予測部17は、先行車両30が交差点の直進領域55にあるかどうかを判定する。図19の例では、先行車両30が直進領域55にあるため、進路予測部17は、先行車両30が交差点を直進すると判定する。
Subsequently, the route prediction unit 17 determines whether the preceding vehicle 30 is in the straight traveling area 55 of the intersection. In the example of FIG. 19, since the preceding vehicle 30 is in the straight-ahead region 55, the route prediction unit 17 determines that the preceding vehicle 30 is going straight at the intersection.
傾き取得部14は、図20に示されるように、交差点に進入する直前の先行車両30の向き33aを、現在の先行車両30の向き33と推定する。
As shown in FIG. 20, the inclination acquisition unit 14 estimates the direction 33a of the preceding vehicle 30 immediately before entering the intersection as the current direction 33 of the preceding vehicle 30.
図21は、対象物である先行車両30が交差点を右折する場合における、進路予測部17の進路予測方法を説明する図である。図22は、対象物である先行車両30が交差点を右折する場合における、傾き取得部14による先行車両30の向き推定方法を説明する図である。図21及び図22において、対象物である先行車両30は、交差点を道路53から道路52へ右折する。
FIG. 21 is a diagram for explaining the route prediction method of the route prediction unit 17 when the preceding vehicle 30 as the object turns right at the intersection. FIG. 22 is a diagram illustrating a method of estimating the direction of the preceding vehicle 30 by the inclination acquisition unit 14 when the preceding vehicle 30 that is the object turns right at the intersection. 21 and 22, the preceding vehicle 30, which is the object, turns right at the intersection from the road 53 to the road 52.
まず、進路予測部17は、対象物情報に含まれる先行車両30の位置32と、ナビゲーション装置3から取得した地図情報の交差点の範囲とを照らし合わせ、先行車両30が交差点にあるかどうかを判定する。図21の例では、先行車両30が交差点にあるため、進路予測部17は、交差点における直進領域55を決定する。
First, the route prediction unit 17 compares the position 32 of the preceding vehicle 30 included in the object information with the intersection range of the map information acquired from the navigation device 3, and determines whether the preceding vehicle 30 is at the intersection. To do. In the example of FIG. 21, since the preceding vehicle 30 is at the intersection, the route prediction unit 17 determines the straight traveling area 55 at the intersection.
続いて、進路予測部17は、先行車両30が交差点の直進領域55にあるかどうかを判定する。図21の例では、先行車両30が直進領域55にないため、進路予測部17は、先行車両30が交差点を右折又は左折すると判定する。そして、進路予測部17は、先行車両30が直進領域55の右側にあるか左側にあるかを判定する。図21の例では、先行車両30が直進領域55よりも右側にあるため、進路予測部17は、先行車両30が交差点を右折すると判定する。
Subsequently, the route prediction unit 17 determines whether the preceding vehicle 30 is in the straight traveling area 55 of the intersection. In the example of FIG. 21, since the preceding vehicle 30 is not in the straight traveling region 55, the route prediction unit 17 determines that the preceding vehicle 30 turns right or left at the intersection. Then, the route prediction unit 17 determines whether the preceding vehicle 30 is on the right side or the left side of the straight traveling region 55. In the example of FIG. 21, since the preceding vehicle 30 is on the right side of the straight-ahead region 55, the route prediction unit 17 determines that the preceding vehicle 30 turns right at the intersection.
続いて、進路予測部17は、先行車両30に最も近い右折の道路52を、先行車両30の進路として決定する。そして、進路予測部17は、交差点に進入する直前の先行車両30の向きを表す直線と、先行車両30の進路として決定した道路52の進行方向の直線とに基づいて曲率を算出し、算出した曲率に基づいて先行車両30の軌道となる曲線を推定する。
Subsequently, the route prediction unit 17 determines the right-turning road 52 closest to the preceding vehicle 30 as the route of the preceding vehicle 30. Then, the route prediction unit 17 calculates and calculates the curvature based on the straight line representing the direction of the preceding vehicle 30 immediately before entering the intersection and the straight line in the traveling direction of the road 52 determined as the route of the preceding vehicle 30. The curve which becomes the trajectory of the preceding vehicle 30 is estimated based on the curvature.
傾き取得部14は、図22に示されるように、進路予測部17から取得した先行車両30の軌道を表す曲線33bの、先行車両30の位置32での接線を取得する。そして、当該接線に沿って先行車両30が走行したときの進行方向を、先行車両30の向き33と推定する。
As shown in FIG. 22, the inclination acquisition unit 14 acquires a tangent line at the position 32 of the preceding vehicle 30 of the curve 33b representing the trajectory of the preceding vehicle 30 acquired from the route prediction unit 17. Then, the traveling direction when the preceding vehicle 30 travels along the tangent is estimated as the direction 33 of the preceding vehicle 30.
以上のように、実施の形態3に係る表示制御装置1は、対象物の種別が移動体である場合に対象物の進路を予測する進路予測部17を備える。傾き取得部14は、自車情報、対象物情報、及び進路予測部17により予測された進路に基づいて、自車両に対する対象物の傾きを取得する。この構成により、表示制御装置1は、対象物である移動体が交差点を走行している場合のような、道路形状のみから対象物の傾きを取得できない場合でも、対象物の傾きに応じてAR画像を変更することができる。これにより、対象物の種別及び場所によらず、対象物とAR画像との傾きのずれによる違和感を低減させることが可能となる。
As described above, the display control device 1 according to the third embodiment includes the route prediction unit 17 that predicts the route of the object when the type of the object is a moving body. The inclination acquisition unit 14 acquires the inclination of the object with respect to the own vehicle based on the own vehicle information, the object information, and the course predicted by the course prediction unit 17. With this configuration, the display control device 1 makes the AR according to the inclination of the object even when the inclination of the object cannot be acquired from only the road shape, such as when the moving body that is the object is traveling at an intersection. You can change the image. This makes it possible to reduce the discomfort caused by the deviation of the tilt between the target object and the AR image regardless of the type and location of the target object.
最後に、各実施の形態に係る表示制御装置1のハードウェア構成を説明する図である。
図23及び図24は、各実施の形態に係る表示制御装置1のハードウェア構成例を示す図である。表示制御装置1における自車情報取得部11、対象物情報取得部12、道路形状取得部13、傾き取得部14、AR画像生成部15、AR画像制御部16、及び進路予測部17の機能は、処理回路により実現される。即ち、表示制御装置1は、上記機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路100であってもよいし、メモリ102に格納されるプログラムを実行するプロセッサ101であってもよい。 Finally, it is a figure explaining the hardware constitutions of the display control apparatus 1 which concerns on each embodiment.
23 and 24 are diagrams showing a hardware configuration example of the display control device 1 according to each embodiment. The functions of the vehicleinformation acquisition unit 11, the object information acquisition unit 12, the road shape acquisition unit 13, the inclination acquisition unit 14, the AR image generation unit 15, the AR image control unit 16, and the route prediction unit 17 in the display control device 1 are: Is realized by the processing circuit. That is, the display control device 1 includes a processing circuit for realizing the above functions. The processing circuit may be the processing circuit 100 as dedicated hardware, or may be the processor 101 that executes a program stored in the memory 102.
図23及び図24は、各実施の形態に係る表示制御装置1のハードウェア構成例を示す図である。表示制御装置1における自車情報取得部11、対象物情報取得部12、道路形状取得部13、傾き取得部14、AR画像生成部15、AR画像制御部16、及び進路予測部17の機能は、処理回路により実現される。即ち、表示制御装置1は、上記機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路100であってもよいし、メモリ102に格納されるプログラムを実行するプロセッサ101であってもよい。 Finally, it is a figure explaining the hardware constitutions of the display control apparatus 1 which concerns on each embodiment.
23 and 24 are diagrams showing a hardware configuration example of the display control device 1 according to each embodiment. The functions of the vehicle
図23に示されるように、処理回路が専用のハードウェアである場合、処理回路100は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、又はこれらを組み合わせたものが該当する。自車情報取得部11、対象物情報取得部12、道路形状取得部13、傾き取得部14、AR画像生成部15、AR画像制御部16、及び進路予測部17の機能を複数の処理回路100で実現してもよいし、各部の機能をまとめて1つの処理回路100で実現してもよい。
As shown in FIG. 23, when the processing circuit is dedicated hardware, the processing circuit 100 includes, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, and an ASIC (Application Specific Integrated Circuit). ), FPGA (Field Programmable Gate Array), or a combination thereof. The functions of the own vehicle information acquisition unit 11, the target object information acquisition unit 12, the road shape acquisition unit 13, the inclination acquisition unit 14, the AR image generation unit 15, the AR image control unit 16, and the route prediction unit 17 have a plurality of processing circuits 100. May be realized by, or the functions of each unit may be collectively realized by one processing circuit 100.
図24に示されるように、処理回路がプロセッサ101である場合、自車情報取得部11、対象物情報取得部12、道路形状取得部13、傾き取得部14、AR画像生成部15、AR画像制御部16、及び進路予測部17の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ102に格納される。プロセッサ101は、メモリ102に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、表示制御装置1は、プロセッサ101により実行されるときに、図5等のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ102を備える。また、このプログラムは、自車情報取得部11、対象物情報取得部12、道路形状取得部13、傾き取得部14、AR画像生成部15、AR画像制御部16、及び進路予測部17の手順又は方法をコンピュータに実行させるものであるとも言える。
As shown in FIG. 24, when the processing circuit is the processor 101, the vehicle information acquisition unit 11, the object information acquisition unit 12, the road shape acquisition unit 13, the inclination acquisition unit 14, the AR image generation unit 15, the AR image. The functions of the control unit 16 and the route prediction unit 17 are realized by software, firmware, or a combination of software and firmware. The software or firmware is described as a program and stored in the memory 102. The processor 101 realizes the function of each unit by reading and executing the program stored in the memory 102. That is, the display control device 1 includes a memory 102 for storing a program that, when executed by the processor 101, results in the steps shown in the flowchart of FIG. 5 or the like being executed. In addition, this program is a procedure of the vehicle information acquisition unit 11, the object information acquisition unit 12, the road shape acquisition unit 13, the inclination acquisition unit 14, the AR image generation unit 15, the AR image control unit 16, and the course prediction unit 17. Alternatively, it can be said that the method causes a computer to execute the method.
ここで、プロセッサ101とは、CPU(Central Processing Unit)、処理装置、演算装置、又はマイクロプロセッサ等のことである。
メモリ102は、RAM(Random Access Memory)、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、又はフラッシュメモリ等の不揮発性若しくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、CD(Compact Disc)又はDVD(Digital Versatile Disc)等の光ディスクであってもよい。 Here, theprocessor 101 is a CPU (Central Processing Unit), a processing device, a computing device, a microprocessor, or the like.
Thememory 102 may be a RAM (Random Access Memory), a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), or a non-volatile or volatile semiconductor memory such as a flash memory, a hard disk, a flexible disk, or the like. Magnetic disk, or an optical disk such as a CD (Compact Disc) or a DVD (Digital Versatile Disc).
メモリ102は、RAM(Random Access Memory)、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、又はフラッシュメモリ等の不揮発性若しくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、CD(Compact Disc)又はDVD(Digital Versatile Disc)等の光ディスクであってもよい。 Here, the
The
なお、自車情報取得部11、対象物情報取得部12、道路形状取得部13、傾き取得部14、AR画像生成部15、AR画像制御部16、及び進路予測部17の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、表示制御装置1における処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の機能を実現することができる。
The functions of the vehicle information acquisition unit 11, the object information acquisition unit 12, the road shape acquisition unit 13, the inclination acquisition unit 14, the AR image generation unit 15, the AR image control unit 16, and the route prediction unit 17 are partially described. May be realized by dedicated hardware, and a part thereof may be realized by software or firmware. As described above, the processing circuit in the display control device 1 can realize the above-described functions by hardware, software, firmware, or a combination thereof.
なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、又は各実施の形態の任意の構成要素の省略が可能である。
Note that, in the present invention, within the scope of the invention, it is possible to freely combine each embodiment, modify any constituent element of each embodiment, or omit any constituent element of each embodiment.
この発明に係る表示制御装置は、対象物とAR画像との傾きのずれによる違和感を低減させるようにしたので、車両に搭載されるAR表示システムの表示を制御する表示制御装置などに用いるのに適している。
INDUSTRIAL APPLICABILITY The display control device according to the present invention is configured to reduce a sense of discomfort due to a deviation of the tilt between the target object and the AR image, and thus is suitable for use in a display control device for controlling the display of an AR display system mounted on a vehicle. Are suitable.
1 表示制御装置、2 自車方向検知センサ、3 ナビゲーション装置、4 運転支援装置、5 表示装置、5a 表示面、11 自車情報取得部、12 対象物情報取得部、13 道路形状取得部、14 傾き取得部、15 AR画像生成部、16 AR画像制御部、17 進路予測部、20 自車両、21 向き、30 先行車両(対象物)、31 傾き、32 位置、33,33a 向き、33b 曲線、40,40a,40b AR画像、41,41a 傾き、θ 傾き。
1 display control device, 2 vehicle direction detection sensor, 3 navigation device, 4 driving support device, 5 display device, 5a display surface, 11 vehicle information acquisition unit, 12 object information acquisition unit, 13 road shape acquisition unit, 14 Inclination acquisition unit, 15 AR image generation unit, 16 AR image control unit, 17 course prediction unit, 20 own vehicle, 21 orientation, 30 preceding vehicle (object), 31 inclination, 32 position, 33, 33a orientation, 33b curve, 40, 40a, 40b AR image, 41, 41a tilt, θ tilt.
Claims (5)
- 自車両の位置と向きとを含む情報を自車情報として取得する自車情報取得部と、
前記自車両の予め定められた距離内にある対象物の位置を含む情報を対象物情報として取得する対象物情報取得部と、
前記対象物の位置する道路の道路形状を取得する道路形状取得部と、
前記自車情報、前記対象物情報、及び前記道路形状に基づいて前記自車両に対する前記対象物の傾きを取得する傾き取得部と、
前記対象物に重ねて表示するAR画像を生成するAR画像生成部と、
前記傾き取得部により取得された前記対象物の傾きに基づいて前記AR画像の前記対象物に対する表示の傾きを変更するAR画像制御部とを備える表示制御装置。 A vehicle information acquisition unit that acquires information including the position and orientation of the vehicle as vehicle information;
An object information acquisition unit that acquires information including the position of an object within a predetermined distance of the vehicle as object information,
A road shape acquisition unit that acquires the road shape of the road on which the object is located;
A tilt acquisition unit that acquires the tilt of the object with respect to the vehicle based on the vehicle information, the object information, and the road shape;
An AR image generation unit that generates an AR image to be displayed over the target object;
An AR image control unit that changes an inclination of a display of the AR image with respect to the object based on the inclination of the object acquired by the inclination acquisition unit. - 前記対象物情報は前記対象物の種別を含むことを特徴とする請求項1記載の表示制御装置。 The display control device according to claim 1, wherein the object information includes a type of the object.
- 前記AR画像制御部は、変更前の前記AR画像の表示面積に対する、変更後の前記AR画像の表示面積の割合が、予め定められた閾値以上になるように、前記AR画像の前記対象物に対する表示の傾きを変更することを特徴とする請求項1記載の表示制御装置。 The AR image control unit with respect to the object of the AR image such that the ratio of the display area of the AR image after the change to the display area of the AR image before the change becomes equal to or more than a predetermined threshold value. The display control device according to claim 1, wherein a display inclination is changed.
- 前記対象物の種別が移動体である場合に前記対象物の進路を予測する進路予測部を備え、
前記傾き取得部は、前記自車情報、前記対象物情報、及び前記進路予測部により予測された進路に基づいて前記自車両に対する前記対象物の傾きを取得することを特徴とする請求項2記載の表示制御装置。 A path prediction unit that predicts a path of the object when the type of the object is a moving body,
The said inclination acquisition part acquires the inclination of the said object with respect to the said own vehicle based on the said vehicle information, the said object information, and the course estimated by the said course estimation part, The said 2nd characterized by the above-mentioned. Display controller. - 自車情報取得部が、自車両の位置と向きとを含む情報を自車情報として取得し、
対象物情報取得部が、前記自車両の予め定められた距離内にある対象物の位置を含む情報を対象物情報として取得し、
道路形状取得部が、前記対象物の位置する道路の道路形状を取得し、
傾き取得部が、前記自車情報、前記対象物情報、及び前記道路形状に基づいて前記自車両に対する前記対象物の傾きを取得し、
AR画像生成部が、前記対象物に重ねて表示するAR画像を生成し、
AR画像制御部が、前記傾き取得部により取得された前記対象物の傾きに基づいて前記AR画像の前記対象物に対する表示の傾きを変更する表示制御方法。 The own vehicle information acquisition unit acquires information including the position and direction of the own vehicle as the own vehicle information,
The object information acquisition unit acquires information including the position of the object within a predetermined distance of the vehicle as the object information,
The road shape acquisition unit acquires the road shape of the road on which the object is located,
An inclination acquisition unit acquires the inclination of the object with respect to the own vehicle based on the own vehicle information, the object information, and the road shape,
An AR image generation unit generates an AR image to be displayed on the target object in an overlapping manner,
A display control method in which an AR image control unit changes a display inclination of the AR image with respect to the object based on the inclination of the object acquired by the inclination acquisition unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/045900 WO2020121486A1 (en) | 2018-12-13 | 2018-12-13 | Display control device and display control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/045900 WO2020121486A1 (en) | 2018-12-13 | 2018-12-13 | Display control device and display control method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020121486A1 true WO2020121486A1 (en) | 2020-06-18 |
Family
ID=71075752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/045900 WO2020121486A1 (en) | 2018-12-13 | 2018-12-13 | Display control device and display control method |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2020121486A1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010156608A (en) * | 2008-12-26 | 2010-07-15 | Toshiba Corp | Automotive display system and display method |
JP2015207243A (en) * | 2014-04-23 | 2015-11-19 | クラリオン株式会社 | information display device and information display method |
JP2016102966A (en) * | 2014-11-28 | 2016-06-02 | アイシン・エィ・ダブリュ株式会社 | Virtual image display device |
JP2018159738A (en) * | 2017-03-22 | 2018-10-11 | アイシン・エィ・ダブリュ株式会社 | Virtual image display device |
-
2018
- 2018-12-13 WO PCT/JP2018/045900 patent/WO2020121486A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010156608A (en) * | 2008-12-26 | 2010-07-15 | Toshiba Corp | Automotive display system and display method |
JP2015207243A (en) * | 2014-04-23 | 2015-11-19 | クラリオン株式会社 | information display device and information display method |
JP2016102966A (en) * | 2014-11-28 | 2016-06-02 | アイシン・エィ・ダブリュ株式会社 | Virtual image display device |
JP2018159738A (en) * | 2017-03-22 | 2018-10-11 | アイシン・エィ・ダブリュ株式会社 | Virtual image display device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110345955B (en) | Perception and planning collaboration framework for autopilot | |
CN110386142B (en) | Pitch angle calibration method for autonomous vehicle | |
JP7370944B2 (en) | Autonomous vehicle user interface with predicted trajectory | |
US11127142B2 (en) | Vehicle trajectory prediction model with semantic map and LSTM | |
CN110533943B (en) | Method for determining lane change trajectory of autonomous vehicle | |
EP3359436B1 (en) | Method and system for operating autonomous driving vehicles based on motion plans | |
CN110531750B (en) | Computer-implemented method, readable medium, and system for operating an autonomous vehicle | |
US10895912B2 (en) | Apparatus and a method for controlling a head- up display of a vehicle | |
US10179588B2 (en) | Autonomous vehicle control system | |
US10891747B1 (en) | Sensor calibration system for autonomous driving vehicles | |
US9058247B2 (en) | Risk potential calculation apparatus | |
EP3655298B1 (en) | A tunnel-based planning system for autonomous driving vehicles | |
US20200097016A1 (en) | Curvature corrected path sampling system for autonomous driving vehicles | |
JP7282718B2 (en) | Autonomous Vehicle User Interface with Predicted Trajectory | |
US20170351262A1 (en) | Target pathway generating device and driving control device | |
JP7349561B2 (en) | Map information correction method, driving support method, and map information correction device | |
US10732632B2 (en) | Method for generating a reference line by stitching multiple reference lines together using multiple threads | |
JP2020125033A (en) | Display control device and display control program | |
WO2019123770A1 (en) | Information processing device, information processing method, and program | |
CN111623766B (en) | Positioning system for autonomous driving truck based on two inertial measurement units and GPS | |
WO2020241134A1 (en) | Display system | |
WO2020121486A1 (en) | Display control device and display control method | |
US11288528B2 (en) | Differentiation-based traffic light detection | |
WO2020208883A1 (en) | Display system | |
CN114127658B (en) | 3D mileage in 6D space using road model 2D manifold |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18942972 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18942972 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |