JP2024092546A - Peripheral Display Device - Google Patents

Abstract

【課題】遠近感が表現されると共に良好な視認性を有するガイド線を周辺画像に重畳表示可能な周辺表示装置を提供する。【解決手段】実施形態の周辺表示装置は、移動体の周辺の状況を示す周辺画像に移動体の予測進路を示すガイド線を重畳させた表示画像を表示装置に表示させる表示処理部と、表示画像においてガイド線が移動体から遠いほど細くなるようにガイド線の幅を調整するための線幅調整処理を行う調整部と、を備え、線幅調整処理は、移動体に関する移動体情報に基づいて予測進路に対応する予測線を生成する予測線生成処理と、予測線の幅を移動体から遠いほど大きくなるように補正する補正処理と、補正後の予測線を移動体の周辺の三次元空間に対応する投影面に投影することにより表示画像上において移動体から遠いほど細くなるように表現されたガイド線を生成する投影処理と、を含む。【選択図】図４[Problem] To provide a peripheral display device capable of superimposing guide lines having a sense of depth and good visibility on a peripheral image. [Solution] The peripheral display device of the embodiment includes a display processing unit that causes a display image in which guide lines indicating the predicted course of a moving body are superimposed on a peripheral image showing the situation around the moving body, on a display device, and an adjustment unit that performs a line width adjustment process to adjust the width of the guide lines in the display image so that the guide lines become thinner the further they are from the moving body. The line width adjustment process includes a predicted line generation process that generates a predicted line corresponding to the predicted course based on moving body information about the moving body, a correction process that corrects the width of the predicted line so that it becomes larger the further it is from the moving body, and a projection process that generates a guide line expressed on the display image so that the further it is from the moving body, the thinner it becomes, by projecting the corrected predicted line onto a projection plane corresponding to the three-dimensional space around the moving body. [Selected Figure] Figure 4

Description

本発明の実施形態は、周辺表示装置に関する。 An embodiment of the present invention relates to a peripheral display device.

車両の走行を支援するためのシステムにおいて、車両の周辺の状況を示す周辺画像に車両の予測進路を示すガイド線を表示させる技術が利用されている。 A system for assisting vehicle driving uses technology that displays guide lines indicating the vehicle's predicted course on a surrounding image showing the situation around the vehicle.

特開２０２２－４６８８６号公報JP 2022-46886 A

上記のようなガイド線は、遠近感を表現するために、車両から遠いほど細くなるように（ガイド線の幅が小さくなるように）描画される場合がある。しかしながら、従来技術では、遠方の予測進路を示すガイド線が過度に細くなり、視認性が損なわれる可能性がある。 In order to create a sense of perspective, guide lines like those described above are sometimes drawn to become thinner (the width of the guide line becomes smaller) the farther they are from the vehicle. However, with conventional technology, guide lines indicating the predicted course in the distance can become excessively thin, impairing visibility.

そこで、本発明の実施形態の課題の一つは、遠近感が表現されると共に良好な視認性を有するガイド線を周辺画像に重畳表示可能な周辺表示装置を提供することである。 Therefore, one of the objectives of an embodiment of the present invention is to provide a peripheral display device that can superimpose guide lines with good visibility on a peripheral image while expressing a sense of perspective.

本発明の一実施形態としての周辺表示装置は、移動体の周辺の状況を示す周辺画像に移動体の予測進路を示すガイド線を重畳させた表示画像を表示装置に表示させる表示処理部と、表示画像においてガイド線が移動体から遠いほど細くなるようにガイド線の幅を調整するための線幅調整処理を行う調整部と、を備え、線幅調整処理は、移動体に関する移動体情報に基づいて予測進路に対応する予測線を生成する予測線生成処理と、予測線の幅を移動体から遠いほど大きくなるように補正する補正処理と、補正後の予測線を移動体の周辺の三次元空間に対応する投影面に投影することにより表示画像上において移動体から遠いほど細くなるように表現されたガイド線を生成する投影処理と、を含む、ことを特徴とする。 One embodiment of the peripheral display device according to the present invention includes a display processing unit that causes the display device to display a display image in which a peripheral image showing the situation around a moving body and a guide line showing the predicted path of the moving body are superimposed, and an adjustment unit that performs a line width adjustment process to adjust the width of the guide line in the display image so that the guide line becomes thinner the farther it is from the moving body. The line width adjustment process includes a predicted line generation process that generates a predicted line corresponding to the predicted path based on moving body information about the moving body, a correction process that corrects the width of the predicted line so that it becomes larger the farther it is from the moving body, and a projection process that projects the corrected predicted line onto a projection surface corresponding to the three-dimensional space around the moving body to generate a guide line that is expressed on the display image so that it becomes thinner the farther it is from the moving body.

上記構成によれば、移動体から遠いほど幅が大きくなるように補正された予測線を三次元空間に対応する投影面に投影することにより、予測進路を示すガイド線が周辺画像に重畳表示される。これにより、遠近感を表現するために移動体から遠いほど細くなるよう描画されるガイド線において、移動体から遠い部分が過度に細くなることを防止できる。これにより、遠近感が表現されると共に十分な視認性を有するガイド線を周辺画像に重畳表示させることができる。 According to the above configuration, a guide line indicating the predicted course is superimposed on the peripheral image by projecting a prediction line corrected so that its width increases the farther it is from the moving body onto a projection surface corresponding to a three-dimensional space. This makes it possible to prevent the guide line, which is drawn to become thinner the farther it is from the moving body in order to express a sense of perspective, from becoming excessively thin at the portion farther from the moving body. This allows a guide line that expresses a sense of perspective and has sufficient visibility to be superimposed on the peripheral image.

また、上記構成において、補正処理は、予測線を構成する部分のうち移動体の旋回方向内側の線である内側線と、当該予測線を構成する部分のうち移動体の旋回方向外側の線である外側線と、の間隔を移動体から遠いほど大きくなるように補正する処理を含んでもよい。 In the above configuration, the correction process may include a process of correcting the distance between an inner line, which is a line on the inside of the moving body's turning direction among the parts that make up the predicted line, and an outer line, which is a line on the outside of the moving body's turning direction among the parts that make up the predicted line, so that the distance becomes larger the farther from the moving body.

上記構成によれば、移動体からの距離に応じて予測線の幅を適切に補正できる。 The above configuration allows the width of the predicted line to be appropriately corrected depending on the distance from the moving object.

また、上記構成において、補正処理は、内側線を基準として外側線を旋回方向外側へ広げるように補正する処理を更に含んでもよい。 In the above configuration, the correction process may further include a process of correcting the outer line so as to widen it outward in the turning direction based on the inner line.

上記構成によれば、移動体の予測進路の内側の軌跡の精度が損なわれることを防止でき、補正処理により移動体が障害物に接触する可能性が増加してしまうことを防止できる。 The above configuration can prevent the accuracy of the inner trajectory of the predicted path of the moving body from being impaired, and can prevent the correction process from increasing the possibility of the moving body coming into contact with an obstacle.

また、上記構成において、周辺画像は、移動体の周辺を撮像した撮像画像を投影面に投影した投影画像を所定の仮想視点から見たときの画像であり、補正処理における移動体からの距離の増加に対する予測線の幅の補正量は、仮想視点からの視線方向と移動体の水平面とのなす角度が小さいほど大きくなるものであってもよい。 In the above configuration, the peripheral image is an image obtained by projecting an image of the surroundings of the moving body onto a projection surface, viewed from a predetermined virtual viewpoint, and the amount of correction of the width of the predicted line in response to an increase in distance from the moving body in the correction process may be greater the smaller the angle between the line of sight from the virtual viewpoint and the horizontal plane of the moving body.

上記構成によれば、遠近法の影響が大きくなる状況において予測線の幅の補正量を大きくすることができ、ガイド線の視認性をより向上させることができる。 The above configuration allows the amount of correction for the width of the predicted line to be increased in situations where the effects of perspective are significant, further improving the visibility of the guide line.

また、上記構成において、補正処理は、移動体の舵角が閾値以上になった場合に実行される。 In addition, in the above configuration, the correction process is executed when the steering angle of the moving body becomes equal to or greater than a threshold value.

上記構成によれば、ガイド線がある程度大きく湾曲し始めるまで補正処理を実行させないようにすることができ、補正処理による演算負荷の増加を抑制できる。 With the above configuration, it is possible to prevent the correction process from being executed until the guide line begins to curve significantly to a certain extent, thereby suppressing an increase in the computational load due to the correction process.

また、本発明の他の実施形態としての周辺表示装置は、移動体の周辺の状況を示す周辺画像に移動体の駐車目標位置を示す駐車目標線を重畳させた表示画像を表示装置に表示させる表示処理部と、表示画像において駐車目標線が移動体から遠いほど細くなるように駐車目標線の幅を調整するための線幅調整処理を行う調整部と、を備え、線幅調整処理は、移動体に関する移動体情報に基づいて駐車目標位置に対応する駐車位置予測線を生成する予測線生成処理と、駐車位置予測線の幅を移動体から遠いほど大きくなるように補正する補正処理と、表示画像上において、補正後の駐車位置予測線を移動体の周辺の三次元空間に対応する投影面に投影することにより移動体から遠いほど細くなるように表現された駐車目標線を生成する投影処理と、を含む、ことを特徴とする。 In addition, a peripheral display device as another embodiment of the present invention includes a display processing unit that displays on a display device a display image in which a parking target line indicating the parking target position of the mobile body is superimposed on a peripheral image showing the situation around the mobile body, and an adjustment unit that performs a line width adjustment process to adjust the width of the parking target line in the display image so that the parking target line becomes thinner the farther it is from the mobile body. The line width adjustment process includes a predicted line generation process that generates a parking position predicted line corresponding to the parking target position based on mobile body information about the mobile body, a correction process that corrects the width of the parking position predicted line so that it becomes larger the farther it is from the mobile body, and a projection process that generates a parking target line expressed to become thinner the farther it is from the mobile body by projecting the corrected parking position predicted line onto a projection surface corresponding to the three-dimensional space around the mobile body on the display image.

上記構成によれば、移動体から遠いほど幅が大きくなるように補正された駐車位置予測線を三次元空間に対応する投影面に投影することにより、駐車目標位置を示す駐車目標線が周辺画像に重畳表示される。これにより、遠近感を表現するために移動体から遠いほど細くなるよう描画される駐車目標線において、移動体から遠い部分が過度に細くなることを防止できる。これにより、遠近感が表現されると共に十分な視認性を有する駐車目標線を周辺画像に重畳表示させることができる。 According to the above configuration, the parking position prediction line, which has been corrected so that its width increases the farther it is from the moving body, is projected onto a projection surface corresponding to a three-dimensional space, and the parking target line indicating the parking target position is superimposed on the peripheral image. This prevents the portion of the parking target line, which is drawn to become thinner the farther it is from the moving body in order to express a sense of perspective, from becoming excessively thin at the farther end from the moving body. This allows the parking target line, which expresses a sense of perspective and has sufficient visibility, to be superimposed on the peripheral image.

図１は、実施形態の車両の構成の一例を示す斜視図である。FIG. 1 is a perspective view showing an example of a configuration of a vehicle according to an embodiment. 図２は、実施形態の車両の構成の一例を示す上面図である。FIG. 2 is a top view illustrating an example of the configuration of the vehicle according to the embodiment. 図３は、実施形態の車両のシステム構成の一例を示すブロック図である。FIG. 3 is a block diagram illustrating an example of a system configuration of a vehicle according to the embodiment. 図４は、実施形態の周辺表示装置の機能構成の一例を示すブロック図である。FIG. 4 is a block diagram illustrating an example of a functional configuration of the peripheral display device according to the embodiment. 図５は、実施形態の周辺画像を生成する処理の一例を説明するための図である。FIG. 5 is a diagram for explaining an example of a process for generating a peripheral image according to the embodiment. 図６は、実施形態の表示画像の一例を示す図である。FIG. 6 is a diagram illustrating an example of a display image according to the embodiment. 図７は、実施形態の補正処理の一例を説明するための図である。FIG. 7 is a diagram for explaining an example of the correction process according to the embodiment. 図８は、比較例のガイド線の一例を示す図である。FIG. 8 is a diagram showing an example of a guide wire of a comparative example. 図９は、実施形態のガイド線の一例を示す図である。FIG. 9 is a diagram illustrating an example of a guide line according to the embodiment. 図１０は、実施形態の周辺表示装置における処理の一例を示すフローチャートである。FIG. 10 is a flowchart illustrating an example of processing in the peripheral display device of the embodiment. 図１１は、変形例の表示画像の一例を示す図である。FIG. 11 is a diagram showing an example of a display image according to the modified example.

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、並びに当該構成によってもたらされる作用、結果及び効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。 The following describes exemplary embodiments of the present invention. The configurations of the embodiments described below, and the actions, results, and effects brought about by said configurations, are merely examples. The present invention can be realized with configurations other than those disclosed in the following embodiments, and it is possible to obtain at least one of the various effects based on the basic configuration and derivative effects.

図１は、実施形態の車両１の構成の一例を示す斜視図である。図２は、実施形態の車両１の構成の一例を示す上面図である。 Figure 1 is a perspective view showing an example of the configuration of a vehicle 1 according to an embodiment. Figure 2 is a top view showing an example of the configuration of a vehicle 1 according to an embodiment.

図１に示されるように、移動体の一例としての車両１は、ユーザとしての運転者を含む乗員が乗車する車室２ａを有している。車室２ａ内には、ユーザが座席２ｂから操作可能な状態で、制動部３０１ａ、加速部３０２ａ、操舵部３０３ａ、変速部３０４ａ等が設けられている。 As shown in FIG. 1, a vehicle 1, which is an example of a moving body, has a passenger compartment 2a in which passengers including a driver as a user ride. A braking unit 301a, an acceleration unit 302a, a steering unit 303a, a transmission unit 304a, etc. are provided in the passenger compartment 2a and can be operated by a user from a seat 2b.

制動部３０１ａは、例えば、運転者の足下に設けられたブレーキペダルであり、加速部３０２ａは、例えば、運転者の足下に設けられたアクセルペダルである。また、操舵部３０３ａは、例えば、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、変速部３０４ａは、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部３０３ａは、ハンドルであってもよい。 The braking unit 301a is, for example, a brake pedal provided under the driver's feet, and the acceleration unit 302a is, for example, an accelerator pedal provided under the driver's feet. The steering unit 303a is, for example, a steering wheel protruding from the dashboard (instrument panel), and the transmission unit 304a is, for example, a shift lever protruding from the center console. The steering unit 303a may be a steering wheel.

車室２ａ内には、各種の画像を出力可能な表示部８と、各種の音を出力可能な音声出力部９と、を有するモニタ装置１１が設けられている。モニタ装置１１は、例えば、車室２ａ内のダッシュボードの幅方向（左右方向）の中央部に設けられる。なお、表示部８は、例えばＬＣＤ（液晶ディスプレイ）やＯＥＬＤ（有機エレクトロルミネセンスディスプレイ）等で構成されている。 A monitor device 11 having a display unit 8 capable of outputting various images and an audio output unit 9 capable of outputting various sounds is provided in the vehicle interior 2a. The monitor device 11 is provided, for example, in the center of the width (left-right) of the dashboard in the vehicle interior 2a. The display unit 8 is, for example, composed of an LCD (liquid crystal display) or an OELD (organic electroluminescence display).

ここで、表示部８において画像が表示される領域としての表示画面には、操作入力部１０が設けられている。操作入力部１０は、例えば、指やスタイラス等の指示体が近接（接触を含む）した位置の座標を検出可能なタッチパネルとして構成されている。これにより、ユーザ（運転者）は、表示部８の表示画面に表示される画像を視認することができるとともに、操作入力部１０上で指示体を用いたタッチ（タップ）操作等を行うことで、各種の操作入力を実行することができる。 Here, the display screen, which is the area where the image is displayed on the display unit 8, is provided with an operation input unit 10. The operation input unit 10 is configured as a touch panel that can detect the coordinates of a position where an indicator such as a finger or a stylus approaches (including touches) the screen. This allows the user (driver) to visually recognize the image displayed on the display screen of the display unit 8, and to perform various operation inputs by performing touch (tap) operations using the indicator on the operation input unit 10, etc.

なお、実施形態では、操作入力部１０が、スイッチや、ダイヤル、ジョイスティック、押しボタン等といった、各種の物理的なインターフェースであってもよい。また、実施形態では、車室２ａ内におけるモニタ装置１１の位置とは異なる位置に、他の音声出力装置が設けられていてもよい。この場合、音声出力部９及び他の音声出力装置の両方から、各種の音情報を出力することができる。また、実施形態では、モニタ装置１１が、ナビゲーションシステムやオーディオシステム等の各種システムに関する情報を表示可能に構成されていてもよい。 In addition, in the embodiment, the operation input unit 10 may be various physical interfaces such as a switch, a dial, a joystick, a push button, etc. Also, in the embodiment, another audio output device may be provided at a position different from the position of the monitor device 11 in the vehicle interior 2a. In this case, various sound information can be output from both the audio output unit 9 and the other audio output device. Also, in the embodiment, the monitor device 11 may be configured to be able to display information about various systems such as a navigation system and an audio system.

また、図１及び図２に示されるように、実施形態の車両１は、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有した四輪の自動車として構成されている。以下では、簡単化のため、前輪３Ｆ及び後輪３Ｒを、総称して車輪と記載することがある。実施形態では、４つの車輪の一部または全部の横滑り角が、操舵部３０３ａの操作等に応じて変化（転舵）する。 As shown in Figures 1 and 2, the vehicle 1 of the embodiment is configured as a four-wheeled vehicle having two front wheels 3F on the left and right and two rear wheels 3R on the left and right. For simplicity, the front wheels 3F and rear wheels 3R may be collectively referred to as wheels below. In the embodiment, the sideslip angles of some or all of the four wheels change (steer) in response to the operation of the steering unit 303a, etc.

また、車両１には、周辺監視用の撮像装置としての複数（図１及び図２に示される例では４つ）の車載カメラ１５ａ～１５ｄが搭載されている。車載カメラ１５ａは、車体２の後側の端部２ｅ（例えば、リヤトランクのドア２ｈの下方）に設けられ、車両１の後方の領域を撮像する。また、車載カメラ１５ｂは、車体２の右側の端部２ｆのドアミラー２ｇに設けられ、車両１の右側方の領域を撮像する。また、車載カメラ１５ｃは、車体２の前側の端部２ｃ（例えば、フロントバンパ）に設けられ、車両１の前方の領域を撮像する。また、車載カメラ１５ｄは、車体２の左側の端部２ｄのドアミラー２ｇに設けられ、車両１の左側方の領域を撮像する。以下では、簡単化のため、車載カメラ１５ａ～１５ｄを、総称して車載カメラ１５と記載することがある。 The vehicle 1 is also equipped with multiple (four in the example shown in FIG. 1 and FIG. 2) onboard cameras 15a to 15d as imaging devices for monitoring the surroundings. The onboard camera 15a is provided at the rear end 2e of the vehicle body 2 (for example, below the rear trunk door 2h) and images the area behind the vehicle 1. The onboard camera 15b is provided on the door mirror 2g at the right end 2f of the vehicle body 2 and images the area to the right of the vehicle 1. The onboard camera 15c is provided at the front end 2c of the vehicle body 2 (for example, the front bumper) and images the area in front of the vehicle 1. The onboard camera 15d is provided on the door mirror 2g at the left end 2d of the vehicle body 2 and images the area to the left of the vehicle 1. In the following, for simplicity, the onboard cameras 15a to 15d may be collectively referred to as the onboard cameras 15.

車載カメラ１５は、例えば、ＣＣＤ（電荷結合素子）やＣＩＳ（ＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ）等といった撮像素子を有する、いわゆるデジタルカメラである。車載カメラ１５は、所定のフレームレートで車両１の周囲の撮像を行い、当該撮像によって得られた撮像画像の画像データを出力する。車載カメラ１５により得られる画像データは、フレーム画像として動画像を構成することが可能である。 The vehicle-mounted camera 15 is a so-called digital camera that has an imaging element such as a CCD (charge-coupled device) or a CIS (CMOS (complementary metal-oxide semiconductor) image sensor). The vehicle-mounted camera 15 captures images of the surroundings of the vehicle 1 at a predetermined frame rate and outputs image data of the captured images. The image data obtained by the vehicle-mounted camera 15 can be used as frame images to compose a moving image.

次に、図３を用いて、実施形態の車両１において各種の制御を実現するために設けられるシステム構成について説明する。なお、図３に示されるシステム構成は、あくまで一例であり、様々に設定（変更）可能である。 Next, the system configuration provided to realize various controls in the vehicle 1 of the embodiment will be described with reference to FIG. 3. Note that the system configuration shown in FIG. 3 is merely an example, and can be set (changed) in various ways.

図３は、実施形態の車両１のシステム構成の一例を示すブロック図である。図３に示されるように、車両１は、制動システム３０１と、加速システム３０２と、操舵システム３０３と、変速システム３０４と、障害物センサ３０５と、走行状態センサ３０６と、車載カメラ１５と、モニタ装置１１と、制御装置３１０と、車載ネットワーク３５０と、を有している。 Figure 3 is a block diagram showing an example of the system configuration of the vehicle 1 of the embodiment. As shown in Figure 3, the vehicle 1 has a braking system 301, an acceleration system 302, a steering system 303, a gear shift system 304, an obstacle sensor 305, a driving condition sensor 306, an on-board camera 15, a monitor device 11, a control device 310, and an on-board network 350.

制動システム３０１は、車両１の減速を制御する。制動システム３０１は、制動部３０１ａと、制動制御部３０１ｂと、制動部センサ３０１ｃと、を有している。 The braking system 301 controls the deceleration of the vehicle 1. The braking system 301 has a braking unit 301a, a braking control unit 301b, and a braking unit sensor 301c.

制動部３０１ａは、例えば上述したブレーキペダル等といった、車両１を減速させるための装置である。 The braking unit 301a is a device for decelerating the vehicle 1, such as the brake pedal described above.

制動制御部３０１ｂは、例えば、ＣＰＵ（Central Processing Unit）等といったハードウェアプロセッサを有したマイクロコンピュータとして構成される。制動制御部３０１ｂは、例えば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータを駆動し、制動部３０１ａを作動させることで、車両１の減速度合を制御する。 The braking control unit 301b is configured as a microcomputer having a hardware processor such as a CPU (Central Processing Unit). The braking control unit 301b drives an actuator based on instructions input via the in-vehicle network 350, for example, to operate the braking unit 301a, thereby controlling the degree of deceleration of the vehicle 1.

制動部センサ３０１ｃは、制動部３０１ａの状態を検出するためのセンシングデバイスである。例えば、制動部３０１ａがブレーキペダルとして構成される場合、制動部センサ３０１ｃは、制動部３０１ａの状態として、ブレーキペダルの位置または当該ブレーキペダルに作用している圧力を検出する。制動部センサ３０１ｃは、検出した制動部３０１ａの状態を車載ネットワーク３５０に出力する。 The braking unit sensor 301c is a sensing device for detecting the state of the braking unit 301a. For example, if the braking unit 301a is configured as a brake pedal, the braking unit sensor 301c detects the position of the brake pedal or the pressure acting on the brake pedal as the state of the braking unit 301a. The braking unit sensor 301c outputs the detected state of the braking unit 301a to the in-vehicle network 350.

加速システム３０２は、車両１の加速を制御する。加速システム３０２は、加速部３０２ａと、加速制御部３０２ｂと、加速部センサ３０２ｃと、を有している。 The acceleration system 302 controls the acceleration of the vehicle 1. The acceleration system 302 has an acceleration unit 302a, an acceleration control unit 302b, and an acceleration unit sensor 302c.

加速部３０２ａは、例えば上述したアクセルペダル等といった、車両１を加速させるための装置である。 The acceleration unit 302a is a device for accelerating the vehicle 1, such as the accelerator pedal described above.

加速制御部３０２ｂは、例えば、ＣＰＵ等といったハードウェアプロセッサを有したマイクロコンピュータとして構成される。加速制御部３０２ｂは、例えば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータを駆動し、加速部３０２ａを作動させることで、車両１の加速度合を制御する。 The acceleration control unit 302b is configured as, for example, a microcomputer having a hardware processor such as a CPU. The acceleration control unit 302b drives an actuator based on instructions input, for example, via the in-vehicle network 350, and operates the acceleration unit 302a, thereby controlling the acceleration rate of the vehicle 1.

加速部センサ３０２ｃは、加速部３０２ａの状態を検出するためのセンシングデバイスである。例えば、加速部３０２ａがアクセルペダルとして構成される場合、加速部センサ３０２ｃは、アクセルペダルの位置または当該アクセルペダルに作用している圧力を検出する。加速部センサ３０２ｃは、検出した加速部３０２ａの状態を車載ネットワーク３５０に出力する。 The acceleration sensor 302c is a sensing device for detecting the state of the acceleration unit 302a. For example, if the acceleration unit 302a is configured as an accelerator pedal, the acceleration sensor 302c detects the position of the accelerator pedal or the pressure acting on the accelerator pedal. The acceleration sensor 302c outputs the detected state of the acceleration unit 302a to the in-vehicle network 350.

操舵システム３０３は、車両１の進行方向を制御する。操舵システム３０３は、操舵部３０３ａと、操舵制御部３０３ｂと、操舵部センサ３０３ｃと、を有している。 The steering system 303 controls the traveling direction of the vehicle 1. The steering system 303 has a steering unit 303a, a steering control unit 303b, and a steering unit sensor 303c.

操舵部３０３ａは、例えば上述したステアリングホイールやハンドル等といった、車両１の転舵輪を転舵させる装置である。 The steering unit 303a is a device that steers the steered wheels of the vehicle 1, such as the steering wheel or handle described above.

操舵制御部３０３ｂは、例えば、ＣＰＵ等といったハードウェアプロセッサを有したマイクロコンピュータとして構成される。操舵制御部３０３ｂは、例えば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータを駆動し、操舵部３０３ａを作動させることで、車両１の進行方向を制御する。 The steering control unit 303b is configured as, for example, a microcomputer having a hardware processor such as a CPU. The steering control unit 303b drives an actuator based on instructions input, for example, via the in-vehicle network 350, and operates the steering unit 303a to control the traveling direction of the vehicle 1.

操舵部センサ３０３ｃは、操舵部３０３ａの状態を検出するためのセンシングデバイス、すなわち車両１の舵角を検出するための舵角センサである。例えば、操舵部３０３ａがステアリングホイールとして構成される場合、操舵部センサ３０３ｃは、ステアリングホイールの位置または当該ステアリングホイールの回転角度を検出する。なお、操舵部３０３ａがハンドルとして構成される場合、操舵部センサ３０３ｃは、ハンドルの位置または当該ハンドルに作用している圧力を検出してもよい。操舵部センサ３０３ｃは、検出した操舵部３０３ａの状態を車載ネットワーク３５０に出力する。 The steering unit sensor 303c is a sensing device for detecting the state of the steering unit 303a, i.e., a steering angle sensor for detecting the steering angle of the vehicle 1. For example, if the steering unit 303a is configured as a steering wheel, the steering unit sensor 303c detects the position of the steering wheel or the rotation angle of the steering wheel. Note that if the steering unit 303a is configured as a steering wheel, the steering unit sensor 303c may detect the position of the steering wheel or the pressure acting on the steering wheel. The steering unit sensor 303c outputs the detected state of the steering unit 303a to the in-vehicle network 350.

変速システム３０４は、車両１の変速比を制御する。変速システム３０４は、変速部３０４ａと、変速制御部３０４ｂと、変速部センサ３０４ｃと、を有している。 The gear shift system 304 controls the gear ratio of the vehicle 1. The gear shift system 304 has a gear shift unit 304a, a gear shift control unit 304b, and a gear shift unit sensor 304c.

変速部３０４ａは、例えば上述したシフトレバー等といった、車両１の変速比を変更するための装置である。 The transmission unit 304a is a device for changing the gear ratio of the vehicle 1, such as the shift lever described above.

変速制御部３０４ｂは、例えば、ＣＰＵ等といったハードウェアプロセッサを有したコンピュータとして構成される。変速制御部３０４ｂは、例えば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータを駆動し、変速部３０４ａを作動させることで、車両１の変速比を制御する。 The gear shift control unit 304b is configured as a computer having a hardware processor such as a CPU. The gear shift control unit 304b drives an actuator based on instructions input via the in-vehicle network 350, for example, to operate the gear shift unit 304a, thereby controlling the gear ratio of the vehicle 1.

変速部センサ３０４ｃは、変速部３０４ａの状態を検出するためのセンシングデバイスである。例えば、変速部３０４ａがシフトレバーとして構成される場合、変速部センサ３０４ｃは、シフトレバーの位置または当該シフトレバーに作用している圧力を検出する。変速部センサ３０４ｃは、検出した変速部３０４ａの状態を車載ネットワーク３５０に出力する。 The transmission sensor 304c is a sensing device for detecting the state of the transmission 304a. For example, if the transmission 304a is configured as a shift lever, the transmission sensor 304c detects the position of the shift lever or the pressure acting on the shift lever. The transmission sensor 304c outputs the detected state of the transmission 304a to the in-vehicle network 350.

障害物センサ３０５は、車両１の周囲に存在し得る物体（障害物）に関する情報を検出するためのセンシングデバイスである。障害物センサ３０５は、例えば、車両１の周囲に存在する物体までの距離を取得する測距センサを含んでいる。測距センサとしては、例えば、超音波センサ、ミリ波レーダ、レーザレーダ等が用いられ得る。障害物センサ３０５は、検出した情報を車載ネットワーク３５０に出力する。 The obstacle sensor 305 is a sensing device for detecting information relating to objects (obstacles) that may be present around the vehicle 1. The obstacle sensor 305 includes, for example, a distance measurement sensor that obtains the distance to objects present around the vehicle 1. As the distance measurement sensor, for example, an ultrasonic sensor, a millimeter wave radar, a laser radar, etc. may be used. The obstacle sensor 305 outputs the detected information to the in-vehicle network 350.

走行状態センサ３０６は、車両１の走行状態を検出するための装置である。走行状態センサ３０６には、例えば、車両１の車輪速を検出する車輪速センサや、車両１の前後方向又は左右方向の加速度を検出する加速度センサ、車両１の旋回速度（角速度）を検出するジャイロセンサ等が含まれ得る。走行状態センサ３０６は、検出した走行状態を車載ネットワーク３５０に出力する。 The driving condition sensor 306 is a device for detecting the driving condition of the vehicle 1. The driving condition sensor 306 may include, for example, a wheel speed sensor that detects the wheel speed of the vehicle 1, an acceleration sensor that detects the acceleration in the forward/backward or left/right direction of the vehicle 1, a gyro sensor that detects the turning speed (angular velocity) of the vehicle 1, and the like. The driving condition sensor 306 outputs the detected driving condition to the in-vehicle network 350.

制御装置３１０は、車両１に設けられる各種のシステムを統括的に制御する情報処理装置である。実施形態の制御装置３１０は、車載カメラ１５により撮像された撮像画像（撮像画像の画像データ）に基づいて、車両１の周辺の状況を示す周辺画像を生成し、周辺画像に車両１の予測進路を示すガイド線を重畳させた表示画像を表示部８に表示する機能を有している。周辺画像とは、撮像画像を車両の周辺の三次元空間に対応する投影面に投影した投影画像を所定の仮想視点から見たときの画像である。なお、周辺画像は、当該三次元画像の他、車両１の周辺の状況を上から俯瞰で見た俯瞰画像、及び、１つの車載カメラ１５から取得される１つの画像データのみに基づく画像である単カメラ画像等も含みうる。 The control device 310 is an information processing device that comprehensively controls various systems provided in the vehicle 1. The control device 310 of the embodiment has a function of generating a surrounding image showing the situation around the vehicle 1 based on a captured image (image data of the captured image) captured by the on-board camera 15, and displaying a display image on the display unit 8 in which a guide line showing the predicted course of the vehicle 1 is superimposed on the surrounding image. The surrounding image is an image when a projected image, in which the captured image is projected onto a projection surface corresponding to the three-dimensional space around the vehicle, is viewed from a predetermined virtual viewpoint. In addition to the three-dimensional image, the surrounding image may also include a bird's-eye view image of the situation around the vehicle 1 viewed from above, and a single camera image that is an image based only on one image data acquired from one on-board camera 15.

実施形態の制御装置３１０は、ＣＰＵ３１０ａと、ＲＯＭ（Read Only Memory）３１０ｂと、ＲＡＭ（Random Access Memory）３１０ｃと、ＳＳＤ（Solid State Drive）３１０ｄと、表示制御部３１０ｅと、音声制御部３１０ｆと、を有するマイクロコンピュータとして構成されている。 The control device 310 of the embodiment is configured as a microcomputer having a CPU 310a, a ROM (Read Only Memory) 310b, a RAM (Random Access Memory) 310c, a Solid State Drive (SSD) 310d, a display control unit 310e, and an audio control unit 310f.

ＣＰＵ３１０ａは、制御装置３１０を統括的に制御するハードウェアプロセッサである。ＣＰＵ３１０ａは、ＲＯＭ３１０ｂ等に記憶された各種のプログラムを読み出し、当該プログラムに規定されたインストラクションに従って各種の機能を実現する。ここで言及しているプログラムには、上記のような表示画像を表示部８に表示させるための処理を実行するプログラムが含まれる。 The CPU 310a is a hardware processor that performs overall control of the control device 310. The CPU 310a reads various programs stored in the ROM 310b, etc., and realizes various functions according to the instructions defined in the programs. The programs mentioned here include programs that execute processes for displaying the above-mentioned display image on the display unit 8.

ＲＯＭ３１０ｂは、上述したプログラムの実行に必要なパラメータ等を記憶する不揮発性の主記憶装置である。 ROM 310b is a non-volatile main memory device that stores parameters and other data required to execute the above-mentioned programs.

ＲＡＭ３１０ｃは、ＣＰＵ３１０ａの作業領域を提供する揮発性の主記憶装置である。 RAM 310c is a volatile main memory device that provides a working area for CPU 310a.

ＳＳＤ３１０ｄは、書き換え可能な不揮発性の補助記憶装置である。なお、補助記憶装置として、ＳＳＤ３１０ｄに替えて又はＳＳＤ３１０ｄに加えて、ＨＤＤ（Hard Disk Drive）が設けられてもよい。 SSD310d is a rewritable non-volatile auxiliary storage device. Note that a hard disk drive (HDD) may be provided as the auxiliary storage device instead of or in addition to SSD310d.

表示制御部３１０ｅは、制御装置３１０で実行される各種の処理のうち、主として、車載カメラ１５から得られた撮像画像に対する画像処理や、モニタ装置１１の表示部８に出力する画像データの生成等を司る。 Among the various processes executed by the control device 310, the display control unit 310e is mainly responsible for image processing of the captured images obtained from the vehicle-mounted camera 15 and the generation of image data to be output to the display unit 8 of the monitor device 11.

音声制御部３１０ｆは、制御装置３１０で実行されうる各種の処理のうち、主として、モニタ装置１１の音声出力部９に出力する音声データの生成等を司る。 Among the various processes that can be executed by the control device 310, the audio control unit 310f is primarily responsible for generating audio data to be output to the audio output unit 9 of the monitor device 11.

車載ネットワーク３５０は、制動システム３０１と、加速システム３０２と、操舵システム３０３と、変速システム３０４と、障害物センサ３０５と、走行状態センサ３０６と、モニタ装置１１の操作入力部１０と、制御装置３１０と、を通信可能に接続する。 The in-vehicle network 350 communicatively connects the braking system 301, the acceleration system 302, the steering system 303, the gear shift system 304, the obstacle sensor 305, the driving condition sensor 306, the operation input unit 10 of the monitor device 11, and the control device 310.

ここで、上述したように、周辺画像にガイド線を重畳表示する場合、ガイド線は、遠近感を表現するために、車両１からの距離が遠くなるほど細くなるように描画されることが好ましい。このような描画表現（ガイド線が車両１から遠くなるほど細くなる表現）は、ガイド線を三次元空間に対応する投影面に適宜な手法（例えば射影変換等）を用いて投影することにより、自然に実現され得るが、単に投影するのみでは、ガイド線の車両１から遠方に対応する部分が過度に細くなり、視認性が不足する可能性がある。 As described above, when guide lines are superimposed on the peripheral image, it is preferable that the guide lines are drawn so that they become thinner the farther they are from the vehicle 1 in order to create a sense of perspective. This type of drawing representation (guide lines becoming thinner the farther they are from the vehicle 1) can be naturally achieved by projecting the guide lines onto a projection surface corresponding to three-dimensional space using an appropriate method (e.g., projective transformation, etc.); however, simply projecting the guide lines may result in the portions of the guide lines that are farther away from the vehicle 1 becoming excessively thin, resulting in insufficient visibility.

そこで、実施形態は、上記のような課題を解決するための機能を有する周辺表示装置を制御装置３１０内で実現するものである。 Therefore, in this embodiment, a peripheral display device having functions to solve the above problems is realized within the control device 310.

図４は、実施形態の周辺表示装置４００の機能構成の一例を示すブロック図である。本実施形態の周辺表示装置４００は、取得部４０１、周辺画像生成部４０２、進路予測部４０３、表示処理部４０４及び調整部４０５を有する。これらの機能部４０１～４０５は、制御装置３１０を構成するハードウェア要素及びソフトウェア要素（プログラム）の協働により構成され得る。また、これらの機能部４０１～４０５のうちの少なくとも１つが専用のハードウェア（回路等）により構成されてもよい。 Figure 4 is a block diagram showing an example of the functional configuration of the peripheral display device 400 of this embodiment. The peripheral display device 400 of this embodiment has an acquisition unit 401, a peripheral image generation unit 402, a path prediction unit 403, a display processing unit 404, and an adjustment unit 405. These functional units 401 to 405 can be configured by cooperation between the hardware elements and software elements (programs) that make up the control device 310. In addition, at least one of these functional units 401 to 405 may be configured by dedicated hardware (circuits, etc.).

取得部４０１は、周辺画像にガイド線が重畳表示された表示画像を表示するために必要な情報を取得する。当該情報には、車載カメラ１５により撮像された撮像画像、車両１に関する車両情報（移動体情報の一例）等が含まれる。車両情報には、車両１の進行方向、舵角、車体サイズ等が含まれる。車体サイズには、軸距（ホイールベース）等が含まれる。 The acquisition unit 401 acquires information necessary to display a display image in which guide lines are superimposed on a peripheral image. This information includes an image captured by the onboard camera 15, vehicle information about the vehicle 1 (an example of mobile body information), and the like. The vehicle information includes the traveling direction, steering angle, and vehicle size of the vehicle 1, and the like. The vehicle size includes the wheelbase, and the like.

周辺画像生成部４０２は、取得部４０１により取得された撮像画像に基づいて車両１の周辺の状況を示す周辺画像を生成する。周辺画像の具体的態様は、特に限定されるべきものではないが、例えば、撮像画像を車両１の周辺の三次元空間に対応する投影面に投影した投影画像を所定の仮想視点から見たときの画像であり得る。また、撮像画像を投影面に投影させることなく、そのまま周辺画像として利用してもよい。周辺画像の例については後述する。 The surrounding image generating unit 402 generates a surrounding image showing the situation around the vehicle 1 based on the captured image acquired by the acquiring unit 401. The specific form of the surrounding image should not be particularly limited, but for example, it may be an image obtained when a projected image obtained by projecting the captured image onto a projection surface corresponding to the three-dimensional space around the vehicle 1 is viewed from a predetermined virtual viewpoint. Also, the captured image may be used as it is as the surrounding image without being projected onto a projection surface. Examples of surrounding images will be described later.

進路予測部４０３は、取得部４０１により取得された車両情報に基づいて、車両１の将来の進路を予測する。進路の予測方法は特に限定されるべきものではないが、例えば車両情報に含まれる車両１の進行方向、舵角等に基づいて進路を予測できる。 The course prediction unit 403 predicts the future course of the vehicle 1 based on the vehicle information acquired by the acquisition unit 401. The method of predicting the course should not be particularly limited, but the course can be predicted based on, for example, the traveling direction, steering angle, etc. of the vehicle 1 included in the vehicle information.

表示処理部４０４は、周辺画像生成部４０２により生成された周辺画像と、進路予測部４０３により予測された進路（予測進路）と、に基づいて、周辺画像に予測進路を示すガイド線が重畳された表示画像を表示装置（本実施形態ではモニタ装置１１の表示部８）に表示させる。 The display processing unit 404 displays on a display device (the display unit 8 of the monitor device 11 in this embodiment) a display image in which guide lines indicating the predicted course are superimposed on the peripheral image based on the peripheral image generated by the peripheral image generation unit 402 and the course (predicted course) predicted by the course prediction unit 403.

調整部４０５は、表示画像においてガイド線が車両１から遠いほど細くなるようにガイド線の幅を調整するための線幅調整処理を行う。線幅調整処理は、ガイド線が過度に細くなることを防止するための処理を含む。本実施形態の線幅調整処理は、予測線生成処理と、補正処理と、投影処理と、を含む。予測線生成処理は、車両情報に基づいて予測進路に対応する予測線を生成する処理である。補正処理は、予測線の幅を車両１から遠いほど大きくなるように補正する処理である。投影処理は、補正後の予測線を投影面に投影することにより車両１から遠いほど細くなるように表現されたガイド線を生成する処理である。 The adjustment unit 405 performs a line width adjustment process to adjust the width of the guide line in the displayed image so that the guide line becomes thinner the farther it is from the vehicle 1. The line width adjustment process includes a process to prevent the guide line from becoming excessively thin. The line width adjustment process of this embodiment includes a predicted line generation process, a correction process, and a projection process. The predicted line generation process is a process to generate a predicted line corresponding to the predicted path based on the vehicle information. The correction process is a process to correct the width of the predicted line so that it becomes larger the farther it is from the vehicle 1. The projection process is a process to generate a guide line that is expressed to become thinner the farther it is from the vehicle 1 by projecting the corrected predicted line onto the projection surface.

図５は、実施形態の周辺画像を生成する処理の一例を説明するための図である。図５において、車載カメラ１５ｂにより車両１の後方を撮像して得られた撮像画像Ｇ１と、車載カメラ１５ｄにより車両１の右側方を撮像して得られた撮像画像Ｇ２と、車載カメラ１５ａにより車両１の前方を撮像して得られた撮像画像Ｇ３と、車載カメラ１５ｃにより車両１の左側方を撮像して得られた撮像画像Ｇ４と、が例示されている。ここでは、撮像画像Ｇ１～Ｇ４を車両１の周囲の三次元空間に対応する投影面Ｐに対して射影変換等の手法により投影した投影画像を所定の仮想視点ＥＰから見たときの画像を周辺画像とする場合を例示する。 FIG. 5 is a diagram for explaining an example of a process for generating a peripheral image in an embodiment. In FIG. 5, an image G1 obtained by capturing an image of the rear of the vehicle 1 with the on-board camera 15b, an image G2 obtained by capturing an image of the right side of the vehicle 1 with the on-board camera 15d, an image G3 obtained by capturing an image of the front of the vehicle 1 with the on-board camera 15a, and an image G4 obtained by capturing an image of the left side of the vehicle 1 with the on-board camera 15c are shown as examples. Here, an example is shown in which the peripheral image is an image obtained by projecting the captured images G1 to G4 onto a projection plane P corresponding to the three-dimensional space around the vehicle 1 using a method such as projective transformation, and viewing the projected image from a predetermined virtual viewpoint EP.

本実施形態の投影面Ｐは、水平投影面Ｐ１と湾曲投影面Ｐ２とを含む。水平投影面Ｐ１は、車両１の水平面Ｓ０に対して平行な投影面である。湾曲投影面Ｐ２は、水平投影面Ｐ１の車両１から所定距離離れた部分から徐々に上方へ立ち上がるように湾曲した投影面である。なお、図５においては投影面Ｐのうち車両１の前後方向に設定された部分のみが示されているが、投影面Ｐは車両１の周囲を３６０°囲繞するように設定される。このような投影面Ｐに撮像画像Ｇ１～Ｇ４を投影することにより投影画像が生成される。周辺画像は、上記のように生成された投影画像を仮想視点ＥＰから見たときの画像である。本実施形態においては、仮想視点ＥＰの位置、及び仮想視点ＥＰからの視線方向Ｄｅと水平面Ｓ０とのなす角度θは、可変である。 The projection surface P in this embodiment includes a horizontal projection surface P1 and a curved projection surface P2. The horizontal projection surface P1 is a projection surface parallel to the horizontal plane S0 of the vehicle 1. The curved projection surface P2 is a projection surface that is curved so as to gradually rise upward from a portion of the horizontal projection surface P1 that is a predetermined distance away from the vehicle 1. Note that, although only a portion of the projection surface P that is set in the front-rear direction of the vehicle 1 is shown in FIG. 5, the projection surface P is set to surround the vehicle 1 360°. A projection image is generated by projecting the captured images G1 to G4 onto such a projection surface P. The peripheral image is an image when the projection image generated as described above is viewed from a virtual viewpoint EP. In this embodiment, the position of the virtual viewpoint EP and the angle θ between the line of sight De from the virtual viewpoint EP and the horizontal plane S0 are variable.

図６は、実施形態の表示画像５０１の一例を示す図である。表示画像５０１は、仮想視点ＥＰ及び視線方向Ｄｅに対応する周辺画像５１１に車両１の予測進路を示すガイド線Ｌが重畳表示された画像である。ここでは、仮想視点ＥＰが車両１の前方の斜め上方の位置に設定され、視線方向Ｄｅが仮想視点ＥＰから後方の斜め下方へ向かう方向に設定され、車両１が左後ろへ後退している場合における表示画像５０１が例示されている。 Figure 6 is a diagram showing an example of a display image 501 according to an embodiment. The display image 501 is an image in which a guide line L indicating the predicted course of the vehicle 1 is superimposed on a surrounding image 511 corresponding to a virtual viewpoint EP and a line of sight direction De. Here, the display image 501 is exemplified when the virtual viewpoint EP is set at a position diagonally above and in front of the vehicle 1, the line of sight direction De is set in a direction diagonally downward and rearward from the virtual viewpoint EP, and the vehicle 1 is reversing to the rear left.

本実施形態のガイド線Ｌは、内周線Ｌ１と、外周線Ｌ２と、端部線Ｌ３と、を含む。内周線Ｌ１は、車両１の予測進路の旋回方向内側に対応する線であり、例えば車体の旋回方向内側の所定部分（例えば進行方向側のバンパの旋回方向内側の端部や、当該端部から所定距離だけマージンが取られた位置等）の軌跡を示す線であり得る。外周線Ｌ２は、車両１の予測進路の旋回方向外側に対応する線であり、例えば車体の旋回方向外側の所定部分（例えば進行方向側のバンパの旋回方向外側の端部や、当該端部から所定距離だけマージンが取られた位置等）の軌跡を示す線であり得る。端部線Ｌ３は、予測進路上において車体から所定距離離れた位置を示す線である。 The guide line L in this embodiment includes an inner circumference line L1, an outer circumference line L2, and an end line L3. The inner circumference line L1 is a line corresponding to the inside of the predicted course of the vehicle 1 in the turning direction, and may be, for example, a line showing the trajectory of a specific part on the inside of the turning direction of the vehicle body (for example, the inner end of the bumper on the traveling direction side in the turning direction, or a position with a predetermined distance margin from that end). The outer circumference line L2 is a line corresponding to the outside of the turning direction of the predicted course of the vehicle 1, and may be, for example, a line showing the trajectory of a specific part on the outside of the turning direction of the vehicle body (for example, the outer end of the bumper on the traveling direction side in the turning direction, or a position with a predetermined distance margin from that end). The end line L3 is a line showing a position on the predicted course that is a predetermined distance away from the vehicle body.

なお、上記においては、車両１の周辺の三次元空間に対応する投影面Ｐに撮像画像Ｇ１～Ｇ４を投影した投影画像を所定の仮想視点ＥＰから見たときの画像を周辺画像５１１とする例を示したが、周辺画像５１１はこれに限定されるものではない。例えば、車両１の後方を撮像して得られた撮像画像Ｇ１をそのまま周辺画像５１１として利用してもよい。 In the above, an example was given in which the peripheral image 511 is an image obtained by projecting the captured images G1 to G4 onto the projection plane P corresponding to the three-dimensional space around the vehicle 1 and viewing the projected image from a predetermined virtual viewpoint EP, but the peripheral image 511 is not limited to this. For example, the captured image G1 obtained by capturing an image of the rear of the vehicle 1 may be used as the peripheral image 511 as is.

本実施形態のガイド線Ｌは、遠近感を表現するために、車両１から遠いほど細くなるように描画される。このような描画表現は、基本的には、予測進路に対応し所定の幅を有する線である予測線を、上記のような三次元空間に対応する投影面Ｐに投影させることにより実現できる。しかしながら、単に一定の幅を有する予測線を投影面Ｐに投影させるだけでは、ガイド線Ｌの車両１から遠い部分が過度に細くなり、視認性が不足する可能性がある。そこで、本実施形態では、ガイド線Ｌが過度に細くなることを防止するために、投影面Ｐに投影させる予測線の幅を車両１から遠いほど大きくするように補正する。 In this embodiment, the guide lines L are drawn to become thinner the further away from the vehicle 1 in order to express a sense of perspective. This type of drawing expression can basically be achieved by projecting a predicted line, which is a line that corresponds to the predicted course and has a predetermined width, onto a projection surface P that corresponds to the three-dimensional space described above. However, simply projecting a predicted line with a constant width onto the projection surface P may result in the portion of the guide line L far from the vehicle 1 becoming excessively thin, resulting in insufficient visibility. Therefore, in this embodiment, in order to prevent the guide lines L from becoming excessively thin, the width of the predicted line projected onto the projection surface P is corrected so that it becomes larger the further away from the vehicle 1.

図７は、実施形態の補正処理の一例を説明するための図である。図７において、ガイド線Ｌの外周線Ｌ２（図６参照）に対応する予測線ＰＬに対する補正処理の具体的手法が例示されている。 Figure 7 is a diagram for explaining an example of the correction process of the embodiment. In Figure 7, a specific method of correction process for the predicted line PL corresponding to the outer periphery L2 of the guide line L (see Figure 6) is illustrated.

補正前の予測線ＰＬは、内側線ＰＬｉと外側線ＰＬｏとに基づいて設定される。内側線ＰＬｉは、予測線ＰＬを構成する部分のうち車両１の旋回方向内側の線である。外側線ＰＬｏは、予測線ＰＬを構成する部分のうち車両１の旋回方向外側の線である。補正前の予測線ＰＬにおいては、内側線ＰＬｉと外側線ＰＬｏとの間の間隔（予測線ＰＬの幅）Ｄは、全域に亘って予め定められた一定の基準幅Ｄ０となっている。 The predicted line PL before correction is set based on the inner line PLi and the outer line PLo. The inner line PLi is the line on the inside of the predicted line PL in the turning direction of the vehicle 1. The outer line PLo is the line on the outside of the predicted line PL in the turning direction of the vehicle 1. In the predicted line PL before correction, the distance D between the inner line PLi and the outer line PLo (the width of the predicted line PL) is a constant reference width D0 that is determined in advance over the entire area.

補正後の予測線ＰＬ’は、内側線ＰＬｉと補正後の外側線ＰＬｏ’とに基づいて設定される。補正後の外側線ＰＬｏ’は、補正前の外側線ＰＬｏを車両１から遠ざかるに従い徐々に旋回方向外側へ広げるように補正した線である。内側線ＰＬｉと補正後の外側線ＰＬｏ’との間の間隔（予測線ＰＬ’の幅）Ｄ’は、車両１から遠ざかるに従い徐々に大きくなっている。 The corrected predicted line PL' is set based on the inside line PLi and the corrected outside line PLo'. The corrected outside line PLo' is a line obtained by correcting the pre-correction outside line PLo so that it gradually widens outward in the turning direction as it moves away from vehicle 1. The distance D' between the inside line PLi and the corrected outside line PLo' (width of predicted line PL') gradually increases as it moves away from vehicle 1.

図７において、旋回中心Ｏは、車両１の旋回動作の中心に対応する位置を示しており、例えば、車両１の舵角、軸距等に基づいて算出され得る。内側旋回半径Ｒ１は、旋回中心Ｏから内側線ＰＬｉまでの距離を示している。外側旋回半径Ｒ２は、旋回中心Ｏから外側線ＰＬｏ，ＰＬｏ’までの距離を示している。 In FIG. 7, the turning center O indicates a position corresponding to the center of the turning operation of the vehicle 1, and can be calculated based on, for example, the steering angle, wheelbase, etc. of the vehicle 1. The inner turning radius R1 indicates the distance from the turning center O to the inner line PLi. The outer turning radius R2 indicates the distance from the turning center O to the outer lines PLo, PLo'.

本実施形態においては、外側線ＰＬｏを等間隔に複数（本例では９）に分割し、外側線ＰＬｏ上に複数（本例では１０）の分割点Ｐｏ０～Ｐｏ９を設定する。そして、各分割点Ｐｏ０～Ｐｏ９の位置を旋回中心Ｏから引いた直線に沿って旋回方向外側へ広げるように移動させることにより補正後の分割点Ｐｏ０’～Ｐｏ９’を設定し、全ての補正後の分割点Ｐｏ０’～Ｐｏ９’を通る曲線を補正後の外側線ＰＬｏ’とする。このとき、各分割点Ｐｏ０～Ｐｏ９の補正量（補正前の分割点Ｐｏ０～Ｐｏ９から補正後の分割点Ｐｏ０’～Ｐｏ９’への移動量）は、車両１から遠いほど大きくなる。 In this embodiment, the outer line PLo is divided into multiple equal-spaced parts (9 in this example), and multiple division points Po0 to Po9 (10 in this example) are set on the outer line PLo. The positions of each division point Po0 to Po9 are then moved outward in the turning direction along straight lines drawn from the turning center O to set corrected division points Po0' to Po9', and the curve passing through all corrected division points Po0' to Po9' is the corrected outer line PLo'. At this time, the correction amount of each division point Po0 to Po9 (the amount of movement from the division points Po0 to Po9 before correction to the division points Po0' to Po9' after correction) becomes larger the farther from the vehicle 1.

上記のように、本実施形態では、内側線ＰＬｉを補正することなく、外側線ＰＬｏを旋回方向外側へ広げるように補正する手法が用いられる。これにより、車両１の予測進路の内側の軌跡の精度が損なわれることを防止でき、補正処理により車両１が障害物に接触する可能性が増加してしまうことを防止できる。 As described above, in this embodiment, a method is used in which the outer line PLo is corrected to widen outward in the turning direction without correcting the inner line PLi. This prevents the accuracy of the inner trajectory of the predicted path of the vehicle 1 from being impaired, and prevents the correction process from increasing the possibility of the vehicle 1 coming into contact with an obstacle.

補正後の外側線ＰＬｏ’の外側旋回半径Ｒ２は、例えば下記式（１）により算出され得る。 The outer turning radius R2 of the corrected outer line PLo' can be calculated, for example, by the following formula (1).

Ｒ２＝Ｒ１＋Ｄ０＋｛Ｋ＊（φ－φ０）＊（ｘ／ｎ）｝ …（１） R2 = R1 + D0 + {K * (φ-φ0) * (x/n)} ... (1)

上記式（１）において、Ｋは補正係数、φは現在舵角、φ０はガイド線表示開始舵角、ｘは分割点番号（本例では分割点Ｐｏ０’～Ｐｏ９’に対応する０～９）、ｎは総分割点数（本例では１０）を示している。ガイド線表示開始舵角φ０は、ガイド線Ｌの表示（周辺画像５１１への重畳）を開始させるための最小値として予め定められた舵角である。上記式（１）によれば、分割点番号ｘが大きくなるほど、すなわち車両１から遠い分割点ほど外側旋回半径Ｒ２が大きくなる。 In the above formula (1), K is a correction coefficient, φ is the current steering angle, φ0 is the guide line display start steering angle, x is the division point number (0 to 9 corresponding to division points Po0' to Po9' in this example), and n is the total number of division points (10 in this example). The guide line display start steering angle φ0 is a steering angle that is predetermined as the minimum value for starting the display of the guide line L (superimposing it on the peripheral image 511). According to the above formula (1), the larger the division point number x, i.e., the farther the division point is from the vehicle 1, the larger the outer turning radius R2 becomes.

また、補正係数Ｋが大きいほど全体的な補正量が大きくなる。補正係数Ｋは、様々な条件に基づいて適宜設定されるべきものであるが、例えば、仮想視点ＥＰからの視線方向Ｄｅと車両１の水平面Ｓ０とのなす角度θ（図５又は図６参照）が小さいほど大きくなるように設定されることが好ましい。これにより、遠近法の影響が大きくなる状況において外側線ＰＬｏ’の補正量を大きくすることができ、ガイド線Ｌの視認性をより向上させることができる。 The larger the correction coefficient K, the greater the overall correction amount. The correction coefficient K should be set appropriately based on various conditions, but for example, it is preferable to set it so that it is larger as the angle θ (see Figure 5 or Figure 6) between the line of sight De from the virtual viewpoint EP and the horizontal plane S0 of the vehicle 1 becomes smaller. This allows the correction amount of the outer line PLo' to be increased in situations where the effects of perspective are large, and the visibility of the guide line L can be further improved.

また、上記のような補正処理は、車両１の舵角が閾値以上になった場合に実行されることが好ましい。これにより、ガイド線Ｌがある程度大きく湾曲し始めるまで補正処理を実行させないようにすることができ、補正処理による演算負荷の増加を抑制できる。 The above-mentioned correction process is preferably executed when the steering angle of the vehicle 1 becomes equal to or greater than a threshold value. This makes it possible to prevent the correction process from being executed until the guide line L begins to curve significantly to a certain extent, thereby suppressing an increase in the computational load due to the correction process.

図８は、比較例のガイド線Ｌの一例を示す図である。図８において、補正前の予測線ＰＬ、すなわち図７に示されるように一定の幅（間隔Ｄ＝基準幅Ｄ１）を有する予測線ＰＬを投影面Ｐ（図５参照）に投影した場合のガイド線Ｌが例示されている。この場合、図８中破線で示されるように、外周線Ｌ２の車両１から遠い部分や端部線Ｌ３が過度に細くなり、ガイド線Ｌの視認性が悪くなる可能性が高い。 Figure 8 is a diagram showing an example of a guide line L in a comparative example. Figure 8 illustrates the guide line L when the predicted line PL before correction, that is, the predicted line PL having a certain width (distance D = reference width D1) as shown in Figure 7, is projected onto the projection plane P (see Figure 5). In this case, as shown by the dashed line in Figure 8, the part of the outer perimeter line L2 far from the vehicle 1 and the end line L3 become excessively thin, which is likely to reduce the visibility of the guide line L.

図９は、実施形態のガイド線Ｌの一例を示す図である。図９において、補正後の予測線ＰＬ’、すなわち図７に示されるように幅（間隔Ｄ’）が車両１から遠ざかるに従い徐々に大きくなる予測線ＰＬ’を投影面Ｐ（図５参照）に投影した場合のガイド線Ｌが例示されている。この場合、図９中破線で示されるように、外周線Ｌ２の車両１から遠い部分や端部線Ｌ３に適度な線幅が保たれ、ガイド線Ｌの視認性を向上させることができる。 Figure 9 is a diagram showing an example of a guide line L in an embodiment. Figure 9 illustrates an example of a guide line L when a corrected predicted line PL', i.e., a predicted line PL' whose width (spacing D') gradually increases the further away from the vehicle 1 as shown in Figure 7, is projected onto a projection plane P (see Figure 5). In this case, as shown by the dashed line in Figure 9, an appropriate line width is maintained in the portion of the perimeter line L2 far from the vehicle 1 and in the end line L3, improving the visibility of the guide line L.

なお、上記においては、外周線Ｌ２に対する補正処理について説明したが、内周線Ｌ１についても同様の補正処理を施すことができる。 Note that, although the above describes the correction process for the outer peripheral line L2, the same correction process can also be performed for the inner peripheral line L1.

図１０は、実施形態の周辺表示装置４００における処理の一例を示すフローチャートである。周辺画像生成部４０２は、車載カメラ１５により車両１の周辺を撮像した撮像画像Ｇ１～Ｇ４に基づいて周辺画像５１１を生成する（Ｓ１０１）。進路予測部４０３は、ＣＡＮ（Controller Area Network）等の車内ネットワークを介して取得される車両情報（例えば舵角、軸距等）に基づいて車両１の進路を予測する（Ｓ１０２）。 Figure 10 is a flowchart showing an example of processing in the periphery display device 400 of the embodiment. The peripheral image generation unit 402 generates a peripheral image 511 based on captured images G1 to G4 of the periphery of the vehicle 1 captured by the in-vehicle camera 15 (S101). The course prediction unit 403 predicts the course of the vehicle 1 based on vehicle information (e.g., steering angle, wheelbase, etc.) acquired via an in-vehicle network such as a Controller Area Network (CAN) (S102).

調整部４０５は、車両情報に基づいて進路予測部４０３により予測された予測進路に対応する予測線ＰＬを生成し（Ｓ１０３）、当該予測線ＰＬの幅を上述したように補正し（Ｓ１０４）、補正後の予測線ＰＬ’を投影面Ｐに投影する（Ｓ１０５）。これにより、補正後の予測線ＰＬ’に基づくガイド線Ｌが周辺画像５１１に重畳された表示画像５０１が生成される。そして、表示処理部４０４は、当該表示画像５０１を表示装置としてのモニタ装置１１に表示させる（Ｓ１０６）。 The adjustment unit 405 generates a predicted line PL corresponding to the predicted path predicted by the path prediction unit 403 based on the vehicle information (S103), corrects the width of the predicted line PL as described above (S104), and projects the corrected predicted line PL' onto the projection surface P (S105). This generates a display image 501 in which a guide line L based on the corrected predicted line PL' is superimposed on the peripheral image 511. The display processing unit 404 then causes the display image 501 to be displayed on the monitor device 11 as a display device (S106).

以上のように、本実施形態によれば、車両１から遠いほど幅（間隔Ｄ’）が大きくなるように補正された予測線ＰＬ’を三次元空間に対応する投影面Ｐに投影することにより、予測進路を示すガイド線Ｌが描画される。これにより、遠近感を表現するために車両１から遠いほど細くなるよう描画されるガイド線Ｌにおいて、車両１から遠い部分が過度に細くなることを防止できる。これにより、遠近感が表現されると共に十分な視認性を有するガイド線Ｌを周辺画像５１１に重畳表示させることができる。 As described above, according to this embodiment, the guide line L indicating the predicted course is drawn by projecting the predicted line PL', which has been corrected so that its width (distance D') increases the further it is from the vehicle 1, onto the projection plane P corresponding to the three-dimensional space. This prevents the guide line L, which is drawn to become thinner the further it is from the vehicle 1 in order to express a sense of perspective, from becoming excessively thin at the portion farther from the vehicle 1. This allows the guide line L, which expresses a sense of perspective and has sufficient visibility, to be superimposed on the surrounding image 511.

（変形例）
上記実施形態においては、車両１の予測進路を示すガイド線の幅の調整について説明したが、幅の調整の対象となる線の種類はこれに限定されるものではない。 (Modification)
In the above embodiment, the adjustment of the width of the guide line indicating the predicted course of the vehicle 1 has been described, but the type of line whose width is to be adjusted is not limited to this.

図１１は、変形例の表示画像６０１の一例を示す図である。本例の表示画像６０１は、周辺画像６１１に車両１の駐車目標位置を示す駐車目標線Ｌｐが重畳表示された画像である。当該駐車目標線Ｌｐは、車両情報に基づいて設定された駐車目標位置に対応する駐車位置予測線を上記のような投影面Ｐに投影することにより生成され得る。なお、この場合における車両情報には、車両１を駐車目標位置に駐車させる際の走行を支援するための駐車支援制御に関する情報（例えば駐車領域の認識結果、ユーザによる設定情報等）が含まれる。 FIG. 11 is a diagram showing an example of a display image 601 of a modified example. The display image 601 of this example is an image in which a parking target line Lp indicating the parking target position of the vehicle 1 is superimposed on a peripheral image 611. The parking target line Lp can be generated by projecting a parking position prediction line corresponding to the parking target position set based on the vehicle information onto the projection plane P as described above. Note that the vehicle information in this case includes information related to parking assistance control for assisting driving when parking the vehicle 1 at the parking target position (e.g., the parking area recognition result, information set by the user, etc.).

このとき、上記実施形態と同様に、駐車目標位置に対応する駐車位置予測線の幅を車両１から遠いほど大きくなるように補正し、補正後の予測線を投影面Ｐに投影させることにより、駐車目標線Ｌｐの車両１から遠い部分が過度に細くなることを防止できる。これにより、遠近感が表現されると共に十分な視認性を有する、駐車目標位置を示す駐車目標線Ｌｐを周辺画像６１１に重畳表示させることができる。なお、表示画像６０１に上記ガイド線Ｌを更に含めてもよい。 At this time, as in the above embodiment, the width of the parking position prediction line corresponding to the parking target position is corrected so that it becomes wider the farther it is from the vehicle 1, and the corrected prediction line is projected onto the projection plane P, thereby preventing the portion of the parking target line Lp far from the vehicle 1 from becoming excessively thin. This allows the parking target line Lp indicating the parking target position to be superimposed on the peripheral image 611 while expressing a sense of perspective and having sufficient visibility. The above-mentioned guide line L may also be included in the display image 601.

上記実施形態又は変形例の周辺表示装置４００の機能をコンピュータ（例えば制御装置３１０等）に実現させるためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。 The program for causing a computer (such as the control device 310) to realize the functions of the peripheral display device 400 of the above embodiment or modified example may be configured to be provided by recording it in an installable or executable format on a computer-readable recording medium such as a CD-ROM, a flexible disk (FD), a CD-R, or a digital versatile disk (DVD).

また、当該プログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、当該プログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。 The program may also be configured to be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. The program may also be configured to be provided or distributed via a network such as the Internet.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be embodied in various other forms, and various omissions, substitutions, and modifications can be made without departing from the gist of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are included in the scope of the invention and its equivalents as set forth in the claims.

１…車両、８…表示部、１１…モニタ装置、１５…車載カメラ、３１０…制御装置、４００…周辺表示装置、４０１…取得部、４０２…周辺画像生成部、４０３…進路予測部、４０４…表示処理部、４０５…調整部、５０１，６０１…表示画像、５１１，６１１…周辺画像、Ｄｅ…視線方向、ＥＰ…仮想視点、Ｌ…ガイド線、Ｌ１…内周線、Ｌ２…外周線、Ｌ３…端部線、Ｌｐ…駐車目標線、Ｇ１～Ｇ４…撮像画像、Ｐ…投影面、Ｐ１…水平投影面、Ｐ２…湾曲投影面、ＰＬ，ＰＬ’…予測線、ＰＬｉ…内側線、ＰＬｏ，ＰＬｏ’…外側線、Ｐｏ０～Ｐｏ９，Ｐｏ０’～Ｐｏ９’…分割点、Ｓ０…水平面 1...vehicle, 8...display unit, 11...monitor device, 15...vehicle-mounted camera, 310...control device, 400...peripheral display device, 401...acquisition unit, 402...peripheral image generation unit, 403...route prediction unit, 404...display processing unit, 405...adjustment unit, 501, 601...display image, 511, 611...peripheral image, De...line of sight, EP...virtual viewpoint, L...guide line, L1...inner circumference line, L2...outer circumference line, L3...end line, Lp...parking target line, G1-G4...captured image, P...projection surface, P1...horizontal projection surface, P2...curved projection surface, PL, PL'...prediction line, PLi...inner circumference line, PLo, PLo'...outer circumference line, Po0-Po9, Po0'-Po9'...division point, S0...horizontal surface

Claims (6)

移動体の周辺の状況を示す周辺画像に前記移動体の予測進路を示すガイド線を重畳させた表示画像を表示装置に表示させる表示処理部と、
前記表示画像において前記ガイド線が前記移動体から遠いほど細くなるように前記ガイド線の幅を調整するための線幅調整処理を行う調整部と、
を備え、
前記線幅調整処理は、
前記移動体に関する移動体情報に基づいて前記予測進路に対応する予測線を生成する予測線生成処理と、
前記予測線の幅を前記移動体から遠いほど大きくなるように補正する補正処理と、
補正後の前記予測線を前記移動体の周辺の三次元空間に対応する投影面に投影することにより前記表示画像上において前記移動体から遠いほど細くなるように表現された前記ガイド線を生成する投影処理と、
を含む、
周辺表示装置。 a display processing unit that displays on a display device a display image in which a guide line indicating a predicted course of the moving object is superimposed on a surrounding image indicating a surrounding situation of the moving object;
an adjustment unit that performs a line width adjustment process to adjust the width of the guide line in the displayed image so that the guide line becomes thinner as it becomes farther from the moving object;
Equipped with
The line width adjustment process includes:
a prediction line generation process for generating a prediction line corresponding to the predicted path based on moving body information related to the moving body;
a correction process for correcting the width of the predicted line so that the width increases as the predicted line becomes farther from the moving object;
a projection process for projecting the corrected predicted line onto a projection surface corresponding to a three-dimensional space around the moving object to generate the guide line on the display image, the guide line being expressed so as to become thinner as it becomes farther from the moving object;
including,
Peripheral display device. 前記補正処理は、前記予測線を構成する部分のうち前記移動体の旋回方向内側の線である内側線と、当該予測線を構成する部分のうち前記移動体の旋回方向外側の線である外側線と、の間隔を前記移動体から遠いほど大きくなるように補正する処理を含む、
請求項１に記載の周辺表示装置。 the correction process includes a process of correcting an interval between an inside line, which is a line on the inside of the portion constituting the predicted line in a turning direction of the moving body, and an outside line, which is a line on the outside of the portion constituting the predicted line in the turning direction of the moving body, so that the interval becomes larger as the portion becomes farther from the moving body.
The peripheral display device according to claim 1 . 前記補正処理は、前記内側線を基準として前記外側線を前記旋回方向外側へ広げるように補正する処理を更に含む、
請求項２に記載の周辺表示装置。 The correction process further includes a process of correcting the outer line so as to widen the outer line outward in the turning direction based on the inner line.
The peripheral display device according to claim 2 . 前記周辺画像は、前記移動体の周辺を撮像した撮像画像を前記投影面に投影した投影画像を所定の仮想視点から見たときの画像であり、
前記補正処理における前記移動体からの距離の増加に対する前記予測線の幅の補正量は、前記仮想視点からの視線方向と前記移動体の水平面とのなす角度が小さいほど大きくなる、
請求項１に記載の周辺表示装置。 the surrounding image is an image obtained by projecting a captured image of the surroundings of the moving object onto the projection surface, the projected image being viewed from a predetermined virtual viewpoint;
a correction amount of the width of the predicted line in response to an increase in the distance from the moving body in the correction process becomes larger as an angle between a line of sight from the virtual viewpoint and a horizontal plane of the moving body becomes smaller.
The peripheral display device according to claim 1 . 前記補正処理は、前記移動体の舵角が閾値以上になった場合に実行される、
請求項１に記載の周辺表示装置。 The correction process is executed when the steering angle of the moving body becomes equal to or greater than a threshold value.
The peripheral display device according to claim 1 . 移動体の周辺の状況を示す周辺画像に前記移動体の駐車目標位置を示す駐車目標線を重畳させた表示画像を表示装置に表示させる表示処理部と、
前記表示画像において前記駐車目標線が前記移動体から遠いほど細くなるように前記駐車目標線の幅を調整するための線幅調整処理を行う調整部と、
を備え、
前記線幅調整処理は、
前記移動体を前記駐車目標位置に駐車させる際の走行を支援するための駐車支援制御に関する情報を含む移動体情報に基づいて前記駐車目標位置に対応する駐車位置予測線を生成する予測線生成処理と、
前記駐車位置予測線の幅を前記移動体から遠いほど大きくなるように補正する補正処理と、
前記表示画像上において、補正後の前記駐車位置予測線を前記移動体の周辺の三次元空間に対応する投影面に投影することにより前記移動体から遠いほど細くなるように表現された前記駐車目標線を生成する投影処理と、
を含む、
周辺表示装置。 a display processing unit that displays, on a display device, a display image in which a parking target line indicating a parking target position of the moving object is superimposed on a surrounding image indicating a surrounding situation of the moving object;
an adjustment unit that performs a line width adjustment process to adjust a width of the parking target line in the display image so that the parking target line becomes thinner as the parking target line becomes farther from the moving object;
Equipped with
The line width adjustment process includes:
a predicted line generation process for generating a parking position predicted line corresponding to the parking target position based on moving body information including information regarding parking assist control for assisting driving when parking the moving body at the parking target position;
A correction process of correcting the width of the parking position prediction line so that the width increases as the line becomes farther from the moving body;
a projection process for generating the parking target line, which is expressed so as to become thinner as it becomes farther from the moving object, by projecting the corrected parking position prediction line on the display image onto a projection plane corresponding to a three-dimensional space around the moving object;
including,
Peripheral display device.

Images