JP6667347B2

JP6667347B2 - Display device

Info

Publication number: JP6667347B2
Application number: JP2016071085A
Authority: JP
Inventors: 広隆齊藤; 淳也関; 一文鈴木; 長田　勇輝; 勇輝長田
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2016-03-31
Filing date: 2016-03-31
Publication date: 2020-03-18
Anticipated expiration: 2036-03-31
Also published as: JP2017182584A

Description

本発明は、自動車等の車両に設けられ自車両周辺の環境を画像表示する表示装置に関し、特に自車両に搭載されたセンサにより直接認識できない範囲の情報をユーザが過信することを防止したものに関する。 The present invention relates to a display device provided in a vehicle such as an automobile for displaying an image of an environment around the host vehicle, and more particularly to a display device that prevents a user from overconfident in information in a range that cannot be directly recognized by a sensor mounted on the host vehicle. .

自動車等の車両において、自車両前方の状況を、各種の周辺認識手段によって認識し、車線形状や障害物等に関する情報を画像表示する表示装置が各種提案されている。
このような表示装置を用いると、乗員自らが目視により得られる以上の情報を得ることができ、乗員が運転者として運転する場合の運転支援としても、また、自動運転を行う車両において、乗員が自動運転制御の妥当性を監視するためにも有用である。 2. Description of the Related Art In a vehicle such as an automobile, various types of display devices have been proposed that recognize the situation in front of the host vehicle by various peripheral recognition means and display information on lane shapes, obstacles, and the like.
By using such a display device, the occupant himself can obtain more information than can be obtained visually, as driving assistance when the occupant drives as a driver, or in a vehicle that performs automatic driving, the occupant can It is also useful for monitoring the validity of automatic operation control.

車両周囲の状況を画像表示する表示装置に関する従来技術として、例えば特許文献１には、ＦＭＣ方式の車載レーダによって障害物を検出し、画像表示を行う装置において、車両の右左折時には、歩行者等を発見しやすいよう、反射電波強度の閾値を変更するとともに、表示画面のスケールを変更することが記載されている。
また、特許文献２には、自車両前方の道路形状をヘッドアップディスプレイにより三次元的に示す表示装置において、比較的遠方の道路形状の把握が必要な高速走行時においては表示範囲を長くし、低速走行時においては表示範囲を短くすることが記載されている。 As a prior art relating to a display device for displaying an image of a situation around a vehicle, for example, Patent Document 1 discloses a device that detects an obstacle using an FMC type in-vehicle radar and displays an image. It is described that the threshold value of the reflected radio wave intensity is changed and the scale of the display screen is changed so as to make it easier to find the radio wave.
Patent Document 2 discloses a display device that three-dimensionally shows the road shape ahead of the host vehicle using a head-up display. In a high-speed driving that requires grasping a relatively distant road shape, the display range is increased. It is described that the display range is shortened during low-speed running.

特許第４１２４４５４号Patent No. 4124454 特開２００６− ３９２３７号公報JP 2006-39237 A

上述したような表示装置においては、ドライバが環境認識結果を過信し、自動運転時においては自らの目視等による周辺監視を怠ったり、手動運転時においては無謀運転をすることを防止することが求められる。
特に、ナビゲーション装置が有する地図情報や路車間通信、車車間通信などを用いて環境認識を行う場合には、自車両から直接認識できない範囲の情報まで取得することが可能であるが、このような情報のみに依存して車両を走行させることは好ましくない。
上述した問題に鑑み、本発明の課題は、自車両に搭載されたセンサにより直接認識できない範囲の情報をユーザが過信することを防止した表示装置を提供することである。 In the display device as described above, it is required that the driver overestimate the result of environmental recognition and prevent the surroundings from being visually monitored or the like during autonomous driving or from reckless driving during manual driving. Can be
In particular, when environment recognition is performed using map information, road-to-vehicle communication, vehicle-to-vehicle communication, or the like of a navigation device, it is possible to acquire information in a range that cannot be directly recognized from the own vehicle. It is not preferable to run the vehicle only on the information.
In view of the above-described problem, an object of the present invention is to provide a display device that prevents a user from overlying information in a range that cannot be directly recognized by a sensor mounted on a host vehicle.

本発明は、以下のような解決手段により、上述した課題を解決する。
請求項１に係る発明は、自車両に搭載されたセンサによって自車両周囲の環境を認識する直接環境認識手段と、自車両外部から提供される情報、予め作成された地図データの少なくとも一方に基づいて自車両周囲の環境を認識する間接環境認識手段と、前記直接環境認識手段及び前記間接環境認識手段の認識結果に基づいて自車両前方の環境に関する情報を含む環境画像を生成する画像生成手段と、前記環境画像を表示する画像表示手段とを備える表示装置であって、前記環境画像は、自車両前方における自車両走行車線の車線形状を含み、前記車線形状は、前記直接環境認識手段によって認識された範囲の最先端部までのみが実際の車線幅を反映させた幅を有して表示され、前記最先端部以遠の前記間接環境認識手段のみによって認識された範囲の車線形状を、幅が実質的に一定であるラインにより表示することを特徴とする表示装置である。
これによれば、自車両に搭載されたセンサによって認識可能な範囲の限界をユーザに直感的に把握させることが可能となり、間接環境認識手段のみによって認識が可能な自車両から直接検知できない領域の情報をユーザが過信することを防止できる。
また、直接環境認識手段によって認識可能な領域においては、車線形状を車線幅を持たせた表示とすることによって、ユーザに路面上に分布し得るリスクを監視することを促すことができる。
The present invention solves the above-mentioned problems by the following means.
The invention according to claim 1 is based on direct environment recognition means for recognizing the environment around the vehicle by a sensor mounted on the vehicle, at least one of information provided from outside the vehicle, and map data created in advance. An indirect environment recognizing means for recognizing an environment around the own vehicle, and an image generating means for generating an environmental image including information on an environment in front of the own vehicle based on a recognition result of the direct environment recognizing means and the indirect environment recognizing means. Image display means for displaying the environmental image, wherein the environmental image includes a lane shape of a vehicle traveling lane ahead of the vehicle, and the lane shape is recognized by the direct environment recognition means. appears with a range of only up to the most distal end portion is to reflect the actual lane width wide, are recognized only by the indirect environment recognition means of the cutting edge portion beyond The range of the lane shape, a display device and displaying the width is substantially constant line.
According to this, it becomes possible for the user to intuitively grasp the limit of the range that can be recognized by the sensor mounted on the own vehicle, and the area of the area that cannot be directly detected from the own vehicle that can be recognized only by the indirect environment recognition means. It is possible to prevent the user from overlying the information.
Further, in an area that can be directly recognized by the environment recognizing means, by displaying the lane shape with the lane width, it is possible to urge the user to monitor a risk that can be distributed on the road surface.

また、ユーザに対して、間接環境認識手段のみによって認識される範囲を、直接環境認識手段の認識可能範囲外であることを直感的に認識させつつ、カーブの有無や方向、緩急といった最低限の情報を認識させることができる。
In addition, the user can intuitively recognize that the range recognized only by the indirect environment recognition means is out of the recognizable range of the direct environment recognition means, and the minimum, such as presence or absence of a curve, direction, and speed, is required. Information can be recognized.

請求項２に係る発明は、前記環境画像は、前記車線形状における前記直接環境認識手段によって認識された範囲と前記間接環境認識手段のみによって認識された範囲との境界箇所を示すマーカ表示を有することを特徴とする請求項１に記載の表示装置である。
これによれば、直接環境認識手段の認識範囲限界を強調して表示することが可能であり、上述した効果をより確実に得ることができる。
In the invention according to claim 2 , the environment image has a marker display indicating a boundary between the range recognized by the direct environment recognition unit and the range recognized only by the indirect environment recognition unit in the lane shape. The display device according to claim 1, wherein:
According to this, the recognition range limit of the direct environment recognition means can be emphasized and displayed, and the above-described effect can be obtained more reliably.

請求項３に係る発明は、前記環境画像は、前記車線形状の表示における前記直接環境認識手段による認識が可能な状態から不可能な状態への推移が予測される領域の表示態様を、他の領域の表示態様と異ならせることを特徴とする請求項１又は請求項２に記載の表示装置である。
請求項４に係る発明は、自車両に搭載されたセンサによって自車両周囲の環境を認識する直接環境認識手段と、自車両外部から提供される情報、予め作成された地図データの少なくとも一方に基づいて自車両周囲の環境を認識する間接環境認識手段と、前記直接環境認識手段及び前記間接環境認識手段の認識結果に基づいて自車両前方の環境に関する情報を含む環境画像を生成する画像生成手段と、前記環境画像を表示する画像表示手段とを備える表示装置であって、前記環境画像は、自車両前方における自車両走行車線の車線形状を含み、前記車線形状は、前記直接環境認識手段によって認識された範囲のみが実際の車線幅を反映させた幅を有して表示され、前記環境画像は、前記車線形状の表示における前記直接環境認識手段による認識が可能な状態から不可能な状態への推移が予測される領域の表示態様を、他の領域の表示態様と異ならせることを特徴とする表示装置である。
これらの各発明によれば、直接環境認識手段による認識が不可能となる可能性がある領域について、予告的な表示を行うことによって、ユーザに注意喚起し、直接環境認識手段による認識結果が表示される範囲が突然消失してユーザが動揺することを防止できる。
The invention according to claim 3 , wherein the environment image displays a display mode of an area in which a transition from a state that can be recognized by the direct environment recognition unit to a state that is not possible in the display of the lane shape is predicted. The display device according to claim 1 or 2 , wherein the display mode is different from a display mode of the area.
The invention according to claim 4 is based on at least one of direct environment recognition means for recognizing the environment around the vehicle by a sensor mounted on the vehicle, information provided from outside the vehicle, and map data created in advance. An indirect environment recognizing means for recognizing an environment around the own vehicle, and an image generating means for generating an environmental image including information on an environment in front of the own vehicle based on a recognition result of the direct environment recognizing means and the indirect environment recognizing means. Image display means for displaying the environmental image, wherein the environmental image includes a lane shape of a vehicle traveling lane ahead of the vehicle, and the lane shape is recognized by the direct environment recognition means. Only the drawn area is displayed with a width reflecting the actual lane width, and the environment image is recognized by the direct environment recognition means in displaying the lane shape. The display mode of the area transition is predicted from ready to not state is a display device characterized by varying the display mode of the other region.
According to these respective inventions, the there is a possibility that the recognition by the direct environment recognizing means impossible region, by performing a warning indication to alert the user, the recognition result of the direct environment recognizing means It is possible to prevent the displayed range from suddenly disappearing and the user from being upset.

請求項５に係る発明は、前記車線形状の表示における前記直接環境認識手段による認識が可能な状態から不可能な状態への推移が予測される領域を、前記直接環境認識手段、前記間接環境認識手段の少なくとも一方によって認識された障害物の自車両に対する相対位置及び相対速度に基づいて判別する領域判別手段を備えることを特徴とする請求項３又は請求項４に記載の表示装置である。
これによれば、直接環境認識手段、間接環境認識手段によって通常把握されている他車両等の障害物の自車両に対する相対位置、相対速度に基づいて、直接環境認識手段による認識が可能な状態から不可能な状態への推移が予測される領域を適切に判別することができる。 The invention according to claim 5, wherein in the display of the lane shape, a region in which a transition from a state that can be recognized by the direct environment recognition unit to a state that cannot be recognized is predicted is determined by the direct environment recognition unit and the indirect environment recognition. 5. The display device according to claim 3, further comprising: an area determining unit configured to determine based on a relative position and a relative speed of the obstacle recognized by at least one of the units with respect to the host vehicle.
According to this, based on the relative position and the relative speed of the obstacle such as another vehicle with respect to the own vehicle which are usually grasped by the direct environment recognizing means and the indirect environment recognizing means, the state can be recognized by the direct environment recognizing means. It is possible to appropriately determine an area where a transition to an impossible state is predicted.

以上説明したように、本発明によれば、自車両に搭載されたセンサにより直接認識できない範囲の情報をユーザが過信することを防止した表示装置を提供することができる。 As described above, according to the present invention, it is possible to provide a display device that prevents a user from overlying information in a range that cannot be directly recognized by a sensor mounted on the host vehicle.

本発明を適用した表示装置の実施例が設けられる車両の構成を模式的に示すブロック図である。It is a block diagram showing typically composition of a vehicle provided with an example of a display to which the present invention is applied. 実施例の車両において車両周囲を認識するセンサ類の配置を示す模式図である。It is a schematic diagram which shows the arrangement | positioning of the sensors which recognize the periphery of a vehicle in the vehicle of an Example. 実施例の表示装置の動作を示すフローチャートである。4 is a flowchart illustrating an operation of the display device according to the embodiment. 実施例の表示装置が設けられる車両が走行する道路環境の一例を模式的に示す図である。It is a figure which shows typically an example of the road environment where the vehicle in which the display device of an Example is provided runs. 図４の場合における画面表示の一例を模式的に示す図である。FIG. 5 is a diagram schematically illustrating an example of a screen display in the case of FIG. 4. 実施例の表示装置が設けられる車両が走行する道路環境の他の例を模式的に示す図である。It is a figure which shows typically other examples of the road environment where the vehicle in which the display device of an Example is provided runs. 図６の場合における画面表示の一例を模式的に示す図である。FIG. 7 is a diagram schematically illustrating an example of a screen display in the case of FIG. 6.

本発明は、自車両に搭載されたセンサにより直接認識できない範囲の情報をユーザが過信することを防止した表示装置を提供する課題を、自車両に搭載されたセンサ等によって認識可能な範囲の車線形状のみ車線幅を有する画像によって表示し、以遠の車線形状をライン状に表示することによって解決した。 The present invention has been made to solve the problem of providing a display device in which a user is prevented from overconfidence of information in a range that cannot be directly recognized by a sensor mounted on the own vehicle. The problem was solved by displaying only the shape with an image having a lane width, and displaying the lane shape further away in a line shape.

以下、本発明を適用した表示装置の実施例について説明する。
図１は、本発明を適用した表示装置の実施例が設けられる車両の構成を模式的に示すブロック図である。
実施例の表示装置は、例えば、自動運転機能を有する乗用車等の自動車である車両１に設けられ、ユーザ（例えば手動運転時のドライバ）等のユーザ等に対して、自車両周辺のリスクに関する情報等を画像表示するものである。
ユーザは、表示装置が提示する情報に基づいて、自車両前方の車線形状や障害物を監視するとともに、自動運転制御の実行時においては、自動運転制御の妥当性を検証することができる。 Hereinafter, embodiments of the display device to which the present invention is applied will be described.
FIG. 1 is a block diagram schematically showing a configuration of a vehicle provided with an embodiment of a display device to which the present invention is applied.
The display device according to the embodiment is provided, for example, in a vehicle 1 that is an automobile such as a passenger car having an automatic driving function, and informs a user such as a user (eg, a driver during manual driving) of a risk around the own vehicle. Are displayed as images.
The user can monitor the lane shape and obstacles ahead of the host vehicle based on the information presented by the display device, and can verify the validity of the automatic driving control when executing the automatic driving control.

図１に示すように、車両１は、エンジン制御ユニット１０、トランスミッション制御ユニット２０、挙動制御ユニット３０、電動パワーステアリング（ＥＰＳ）制御ユニット４０、自動運転制御ユニット５０、環境認識ユニット６０、ステレオカメラ制御ユニット７０、レーザスキャナ制御ユニット８０、後側方レーダ制御ユニット９０、ナビゲーション装置１００、路車間通信装置１１０、車車間通信装置１２０、画像生成ユニット２００、ディスプレイ２１０等を備えている。
上述した各ユニットは、例えば、ＣＰＵ等の情報処理手段、ＲＡＭやＲＯＭ等の記憶手段、入出力インターフェイス、及び、これらを接続するバス等を有するユニットとして構成される。これらの各ユニットは、例えばＣＡＮ通信システム等の車載ＬＡＮシステムを介して相互に通信が可能となっている。 As shown in FIG. 1, a vehicle 1 includes an engine control unit 10, a transmission control unit 20, a behavior control unit 30, an electric power steering (EPS) control unit 40, an automatic driving control unit 50, an environment recognition unit 60, and a stereo camera control. A unit 70, a laser scanner control unit 80, a rear side radar control unit 90, a navigation device 100, a road-to-vehicle communication device 110, a vehicle-to-vehicle communication device 120, an image generation unit 200, a display 210, and the like are provided.
Each of the above-described units is configured as, for example, a unit having information processing means such as a CPU, storage means such as a RAM and a ROM, an input / output interface, and a bus connecting these. These units can communicate with each other via an in-vehicle LAN system such as a CAN communication system.

エンジン制御ユニット１０は、車両１の走行用動力源であるエンジン及びその補機類を統括的に制御するものである。
エンジンとして、例えば、４ストロークガソリンエンジンが用いられる。
エンジン制御ユニット（ＥＣＵ）１０は、エンジンのスロットルバルブ開度、燃料噴射量及び噴射時期、点火時期等を制御することによって、エンジンの出力トルクを制御することが可能である。
車両１がドライバの運転操作に応じて運転される状態においては、エンジン制御ユニット１０は、アクセルペダルの操作量等に基いて設定されるドライバ要求トルクに、エンジンの実際のトルクが近づくようエンジンの出力を制御する。
また、車両１が自動運転を行う場合には、エンジン制御ユニット１０は、自動運転制御ユニット５０からの指令に応じてエンジンの出力を制御する。 The engine control unit 10 comprehensively controls an engine that is a power source for traveling of the vehicle 1 and its accessories.
As the engine, for example, a 4-stroke gasoline engine is used.
The engine control unit (ECU) 10 can control the output torque of the engine by controlling the throttle valve opening of the engine, the fuel injection amount and the injection timing, the ignition timing, and the like.
In a state where the vehicle 1 is driven in accordance with the driving operation of the driver, the engine control unit 10 controls the engine so that the actual torque of the engine approaches the driver request torque set based on the operation amount of the accelerator pedal and the like. Control the output.
When the vehicle 1 performs automatic driving, the engine control unit 10 controls the output of the engine according to a command from the automatic driving control unit 50.

トランスミッション制御ユニット（ＴＣＵ）２０は、エンジンの回転出力を変速するとともに、車両の前進、後退を切り替える図示しない変速機及び補機類を統括的に制御するものである。
車両１が自動運転を行う場合には、トランスミッション制御ユニット２０は、自動運転制御ユニット５０からの指令に応じて、前後進等のレンジ切替や変速比の設定を行う。
変速機として、例えば、チェーン式、ベルト式、トロイダル式等のＣＶＴや、複数のプラネタリギヤセットを有するステップＡＴ、ＤＣＴ、ＡＭＴ等の各種自動変速機を用いることができる。
変速機は、バリエータ等の変速機構部のほか、例えばトルクコンバータ、乾式クラッチ、湿式クラッチ等の発進デバイスや、前進走行レンジと後退走行レンジとを切替える前後進切替機構等を有して構成されている。 The transmission control unit (TCU) 20 controls the transmission and the auxiliary devices (not shown) for switching the forward and backward movements of the vehicle while changing the rotational output of the engine.
When the vehicle 1 performs automatic driving, the transmission control unit 20 performs range switching such as forward / reverse travel and setting of a gear ratio in response to a command from the automatic driving control unit 50.
As the transmission, for example, a CVT of a chain type, a belt type, a toroidal type or the like, or various automatic transmissions such as a step AT, a DCT, and an AMT having a plurality of planetary gear sets can be used.
The transmission is configured to include, in addition to a transmission mechanism such as a variator, a starting device such as a torque converter, a dry clutch, a wet clutch, and a forward / reverse switching mechanism that switches between a forward traveling range and a reverse traveling range. I have.

トランスミッション制御ユニット２０には、前後進切替アクチュエータ２１、レンジ検出センサ２２等が接続されている。
前後進切替アクチュエータ２１は、前後進切替機構に油圧を供給する油路を切り替える前後進切替バルブを駆動し、車両の前後進を切替えるものである。
前後進切替アクチュエータ２１は、例えば、ソレノイド等の電動アクチュエータである。
レンジ検出センサ２２は、変速機において現在選択されているレンジが前進用のものであるか、後退用のものであるかを判別するセンサ（スイッチ）である。 The transmission control unit 20 is connected with a forward / reverse switching actuator 21, a range detection sensor 22, and the like.
The forward / reverse switching actuator 21 drives a forward / backward switching valve that switches an oil passage for supplying hydraulic pressure to the forward / backward switching mechanism, and switches the vehicle forward or backward.
The forward / reverse switching actuator 21 is, for example, an electric actuator such as a solenoid.
The range detection sensor 22 is a sensor (switch) for determining whether the currently selected range in the transmission is for forward movement or for backward movement.

挙動制御ユニット３０は、左右前後輪にそれぞれ設けられた液圧式サービスブレーキのホイルシリンダ液圧を個別に制御することによって、アンダーステアやオーバステア等の車両挙動を抑制する挙動制御や、制動時のホイルロックを回復させるアンチロックブレーキ制御を行うものである。
挙動制御ユニット３０には、ハイドロリックコントロールユニット（ＨＣＵ）３１、車速センサ３２等が接続されている。 The behavior control unit 30 controls the wheel cylinder hydraulic pressures of the hydraulic service brakes provided on the left, right, front and rear wheels, respectively, to control vehicle behavior such as understeer and oversteer, and to control wheel lock during braking. The anti-lock brake control for recovering the brake force is performed.
The behavior control unit 30 is connected with a hydraulic control unit (HCU) 31, a vehicle speed sensor 32, and the like.

ＨＣＵ３１は、液圧式サービスブレーキの作動流体であるブレーキフルードを加圧する電動ポンプ、及び、各車輪のホイルシリンダに供給される液圧を個別に調節するバルブ等を有する。
車両１が自動運転を行う場合には、ＨＣＵ３１は、自動運転制御ユニット５０からの制動指令に応じて、各車輪のホイルシリンダに制動力を発生させる。
車速センサ３２は、各車輪のハブ部に設けられ、車輪の回転速度に比例する周波数の車速パルス信号を発生するものである。
車速パルス信号の周波数を検出し、所定の演算処理を施すことによって、車両の走行速度（車速）を算出することが可能である。 The HCU 31 includes an electric pump for pressurizing a brake fluid, which is a working fluid of a hydraulic service brake, and a valve for individually adjusting a hydraulic pressure supplied to a wheel cylinder of each wheel.
When the vehicle 1 performs automatic driving, the HCU 31 generates a braking force on the wheel cylinder of each wheel according to a braking command from the automatic driving control unit 50.
The vehicle speed sensor 32 is provided at a hub portion of each wheel, and generates a vehicle speed pulse signal having a frequency proportional to the rotation speed of the wheel.
The traveling speed (vehicle speed) of the vehicle can be calculated by detecting the frequency of the vehicle speed pulse signal and performing predetermined arithmetic processing.

電動パワーステアリング（ＥＰＳ）制御ユニット４０は、ドライバによる操舵操作を電動モータによってアシストする電動パワーステアリング装置、及び、その補機類を統括的に制御するものである。
ＥＰＳ制御ユニット４０には、モータ４１、舵角センサ４２等が接続されている。 The electric power steering (EPS) control unit 40 comprehensively controls an electric power steering device that assists a driver's steering operation with an electric motor, and its accessories.
A motor 41, a steering angle sensor 42, and the like are connected to the EPS control unit 40.

モータ４１は、車両の操舵系にアシスト力を付与してドライバによる操舵操作をアシストし、あるいは、自動運転時に舵角を変更する電動アクチュエータである。
車両１が自動運転を行う場合には、モータ４１は、自動運転制御ユニット５０からの操舵指令に応じて、操舵系の舵角が所定の目標舵角に近づくように操舵系にトルクを付与して転舵を行わせる。
舵角センサ４２は、車両の操舵系における現在の舵角を検出するものである。
舵角センサ４２は、例えば、ステアリングシャフトの角度位置を検出する位置エンコーダを備えている。 The motor 41 is an electric actuator that assists a driver's steering operation by applying an assist force to a steering system of the vehicle, or changes a steering angle during automatic driving.
When the vehicle 1 performs automatic driving, the motor 41 applies torque to the steering system in accordance with a steering command from the automatic driving control unit 50 so that the steering angle of the steering system approaches a predetermined target steering angle. To steer.
The steering angle sensor 42 detects a current steering angle in the steering system of the vehicle.
The steering angle sensor 42 includes, for example, a position encoder that detects an angular position of the steering shaft.

自動運転制御ユニット５０は、自動運転モードが選択されている場合に、上述したエンジン制御ユニット１０、トランスミッション制御ユニット２０、挙動制御ユニット３０、ＥＰＳ制御ユニット４０等に制御指令を出力し、車両を自動的に走行させる自動運転制御を実行するものである。 When the automatic driving mode is selected, the automatic driving control unit 50 outputs a control command to the above-described engine control unit 10, transmission control unit 20, behavior control unit 30, EPS control unit 40, and the like to automatically start the vehicle. This is to execute automatic operation control for making the vehicle travel in an optimal manner.

自動運転制御ユニット５０は、自動運転モードが選択された時に、環境認識ユニット６０から提供される自車両周辺の状況に関する情報、及び、図示しないドライバからの指令等に応じて、自車両が進行すべき目標走行軌跡を設定し、車両の加速（発進）、減速（停止）、前後進切替、転舵などを自動的に行い、予め設定された目的地まで車両を自動的に走行させる自動運転を実行する。
また、自動運転モードは、ユーザが手動運転を希望する場合、あるいは、自動運転の続行が困難である場合等に、ユーザからの所定の解除操作に応じて中止され、ドライバによる手動運転を行う手動運転モードへの復帰が可能となっている。 When the automatic driving mode is selected, the automatic driving control unit 50 causes the own vehicle to proceed in accordance with information on the surroundings of the own vehicle provided from the environment recognition unit 60, a command from a driver (not shown), and the like. Set the desired target trajectory, automatically perform acceleration (starting), deceleration (stop), forward / backward switching, steering, etc. of the vehicle, and automatically drive the vehicle to the preset destination. Execute.
In addition, the automatic driving mode is stopped in response to a predetermined release operation from the user when the user desires manual driving or when it is difficult to continue the automatic driving. It is possible to return to the operation mode.

自動運転制御ユニット５０には、入出力装置５１が接続されている。
入出力装置５１は、自動運転制御ユニット５０からユーザへの警報や各種メッセージ等の情報を出力するとともに、ユーザからの各種操作の入力を受け付けるものである。
入出力装置５１は、例えば、ＬＣＤ等の画像表示装置、スピーカ等の音声出力装置、タッチパネル等の操作入力装置等を有して構成されている。 An input / output device 51 is connected to the automatic operation control unit 50.
The input / output device 51 outputs information such as a warning and various messages from the automatic driving control unit 50 to the user, and receives input of various operations from the user.
The input / output device 51 includes, for example, an image display device such as an LCD, a sound output device such as a speaker, an operation input device such as a touch panel, and the like.

環境認識ユニット６０は、自車両周囲の情報を認識するものである。
環境認識ユニット６０は、ステレオカメラ制御ユニット７０、レーザスキャナ制御ユニット８０、後側方レーダ制御ユニット９０、ナビゲーション装置１００、路車間通信装置１１０、車車間通信装置１２０等からそれぞれ提供される情報に基づいて、自車両周辺の駐車車両、走行車両、建築物、地形、歩行者、サイクリスト等の障害物や、自車両が走行する道路の車線形状等を認識するものである。 The environment recognition unit 60 recognizes information around the own vehicle.
The environment recognition unit 60 is based on information provided from the stereo camera control unit 70, the laser scanner control unit 80, the rear side radar control unit 90, the navigation device 100, the road-to-vehicle communication device 110, the vehicle-to-vehicle communication device 120, and the like. In addition, it recognizes obstacles such as parked vehicles, running vehicles, buildings, terrain, pedestrians, cyclists, etc. around the own vehicle, lane shapes of roads on which the own vehicle runs, and the like.

ステレオカメラ制御ユニット７０は、車両の周囲に複数組設けられるステレオカメラ７１を制御するとともに、ステレオカメラ７１から伝達される画像を画像処理するものである。
個々のステレオカメラ７１は、例えば、レンズ等の撮像用光学系、ＣＭＯＳ等の固体撮像素子、駆動回路、及び、信号処理装置等からなるカメラユニットを、並列に例えば一対配列して構成されている。
ステレオカメラ制御ユニット７０は、公知のステレオ画像処理技術を利用した画像処理結果に基づいて、ステレオカメラ７１によって撮像された被写体の形状及び自車両に対する相対位置を認識する。
ステレオカメラ制御ユニット７０は、例えば、自車両前方の車線両端部の白線を検出し、車線形状を認識することが可能である。
レーザスキャナ制御ユニット８０は、レーザスキャナ８１を制御するとともに、レーザスキャナ８１の出力に基づいて車両周囲の車両や障害物等の各種物体を３Ｄ点群データとして認識するものである。 The stereo camera control unit 70 controls a plurality of sets of stereo cameras 71 provided around the vehicle and performs image processing on images transmitted from the stereo cameras 71.
Each of the stereo cameras 71 is configured by, for example, arranging a pair of camera units including, for example, an imaging optical system such as a lens, a solid-state imaging device such as a CMOS, a drive circuit, and a signal processing device in parallel. .
The stereo camera control unit 70 recognizes the shape of the subject imaged by the stereo camera 71 and the relative position with respect to the own vehicle based on the image processing result using the known stereo image processing technology.
The stereo camera control unit 70 can detect, for example, white lines at both ends of the lane in front of the host vehicle and recognize the lane shape.
The laser scanner control unit 80 controls the laser scanner 81 and recognizes various objects such as vehicles and obstacles around the vehicle as 3D point cloud data based on the output of the laser scanner 81.

後側方レーダ制御ユニット９０は、車両の左右側部にそれぞれ設けられる後側方レーダ９１を制御するとともに、後側方レーダ９１の出力に基づいて自車両後側方に存在する物体を検出するものである。
後側方レーダ９１は、例えば、自車両の後側方から接近する他車両を検知可能となっている。
後側方レーダ９１として、例えば、レーザレーダ、ミリ波レーダ等のレーダが用いられる。 The rear side radar control unit 90 controls the rear side radars 91 provided on the left and right sides of the vehicle, and detects an object present on the rear side of the vehicle based on the output of the rear side radar 91. Things.
The rear side radar 91 can detect another vehicle approaching from the rear side of the own vehicle, for example.
As the rear side radar 91, for example, a radar such as a laser radar or a millimeter wave radar is used.

図２は、実施例の車両において車両周囲を認識するセンサ類の配置を示す模式図である。
ステレオカメラ７１は、車両１の前部、後部、左右側部にそれぞれ設けられている。
レーザスキャナ８１は、車両１の周囲に実質的に死角が生じないよう分布して複数設けられている
後側方レーダ９１は、例えば、車両１の車体左右側部に配置され、検知範囲を車両後方側かつ車幅方向外側に向けて配置されている。 FIG. 2 is a schematic diagram illustrating an arrangement of sensors for recognizing the periphery of the vehicle in the vehicle according to the embodiment.
The stereo cameras 71 are provided at the front, rear, left and right sides of the vehicle 1 respectively.
A plurality of laser scanners 81 are provided so as to be substantially distributed around the vehicle 1 so that a blind spot does not occur. The rear-side radars 91 are arranged, for example, on the left and right sides of the vehicle 1 and have a detection range of the vehicle 1. It is arranged rearward and outward in the vehicle width direction.

ナビゲーション装置１００は、例えばＧＰＳ受信機等の自車両位置測位手段、予め準備された地図データを蓄積したデータ蓄積手段、自車両の前後方向の方位を検出するジャイロセンサ等を有する。
地図データは、道路、交差点、インターチェンジ等の道路情報を車線レベルで有する。
道路情報は、３次元の車線形状データのほか、各車線（レーン）の右左折可否や、一時停止位置、制限速度等の走行上の制約となる情報も含む。
ナビゲーション装置１００は、インストルメントパネルに組み込まれたディスプレイ１０１を有する。
ディスプレイ１０１は、ナビゲーション装置１００がドライバに対して出力する各種情報が表示される画像表示装置である。
ディスプレイ１０１は、タッチパネルを有して構成され、ドライバからの各種操作入力が行われる入力部としても機能する。 The navigation device 100 includes, for example, a vehicle position measurement unit such as a GPS receiver, a data storage unit that stores map data prepared in advance, a gyro sensor that detects the front-back direction of the vehicle, and the like.
The map data has road information such as roads, intersections, and interchanges at the lane level.
The road information includes, in addition to the three-dimensional lane shape data, information on whether or not each lane (lane) can make a right / left turn, a stop position, a speed limit, and other information that restricts traveling.
The navigation device 100 has a display 101 incorporated in an instrument panel.
The display 101 is an image display device on which various information output from the navigation device 100 to the driver is displayed.
The display 101 includes a touch panel, and also functions as an input unit through which various operation inputs from a driver are performed.

路車間通信装置１１０は、所定の規格に準拠する通信システムによって、図示しない地上局と通信し、渋滞情報、交通信号機点灯状態、道路工事、事故現場、車線規制、天候、路面状況などに関する情報を取得するものである。 The road-to-vehicle communication device 110 communicates with a ground station (not shown) by a communication system conforming to a predetermined standard, and transmits information on traffic congestion information, traffic signal lighting state, road construction, accident site, lane regulation, weather, road surface condition, and the like. What you get.

車車間通信装置１２０は、所定の規格に準拠する通信システムによって、図示しない他車両と通信し、他車両の位置、方位角、加速度、速度等の車両状態に関する情報や、車種、車両サイズ等の車両属性に関する情報を取得するものである。 The vehicle-to-vehicle communication device 120 communicates with another vehicle (not shown) by a communication system conforming to a predetermined standard, and transmits information on a vehicle state such as the position, azimuth, acceleration, and speed of the other vehicle, a vehicle type, a vehicle size, and the like. This is for acquiring information on vehicle attributes.

上述した各種の環境認識手段において、車両１自体に搭載されたセンサによって環境認識を行うステレオカメラ７１、レーザスキャナ８１、後側方レーダ９１等の車両に搭載されたセンサによって直接車線形状や障害物等の検知を行うものが、本発明にいう直接環境認識手段である。
一方、ナビゲーション装置１００、路車間通信装置１１０、車車間通信装置のように、自車両１以外に設けられたセンサからの情報や、予め準備された地図データ等に基づいて車線形状や障害物等の検知を行うものが、本発明にいう間接環境認識手段である。 In the various environment recognition means described above, the lane shape and obstacles are directly detected by sensors mounted on the vehicle such as the stereo camera 71, the laser scanner 81, and the rear side radar 91 for performing environment recognition by the sensors mounted on the vehicle 1 itself. This is the direct environment recognition means referred to in the present invention.
On the other hand, like the navigation device 100, the road-to-vehicle communication device 110, and the vehicle-to-vehicle communication device, lane shapes, obstacles, etc. are determined based on information from sensors provided other than the own vehicle 1 and map data prepared in advance. Is the indirect environment recognition means according to the present invention.

画像生成ユニット２００は、環境認識ユニット６０から伝達される環境認識結果に基づいて、ディスプレイ２１０により表示される自車両周辺の環境に関する情報を含む画像（環境画像）を生成するものである。 The image generation unit 200 generates an image (environmental image) including information on the environment around the host vehicle, which is displayed on the display 210, based on the environment recognition result transmitted from the environment recognition unit 60.

ディスプレイ２１０は、車両の乗員と対向して配置された画像表示装置である。
ディスプレイ２１０は、例えば、インストルメントパネル等の内装部材に組み込まれたＬＣＤを有する。 The display 210 is an image display device arranged to face the occupant of the vehicle.
The display 210 has, for example, an LCD incorporated in an interior member such as an instrument panel.

次に、実施例の表示装置における画像表示時の動作、及び、画面表示の例について説明する。
図３は、実施例の表示装置の動作を示すフローチャートである。
以下、ステップ毎に順を追って説明する。 Next, an operation of displaying an image in the display device of the embodiment and an example of screen display will be described.
FIG. 3 is a flowchart illustrating the operation of the display device according to the embodiment.
Hereinafter, description will be given step by step.

＜ステップＳ０１：環境認識処理実行＞
環境認識ユニット６０は、自車両１の主に前方における環境認識を行う。
この環境認識は、直接環境認識手段によるもの、間接環境認識手段によるものを含む。
環境認識ユニット６０は、自車両前方の車線形状、及び、他車両等の障害物の検知を行った後、画像生成ユニット２００に認識結果（検知結果）を伝達する。
その後、ステップＳ０２に進む。 <Step S01: Execute environment recognition process>
The environment recognition unit 60 performs environment recognition mainly in front of the host vehicle 1.
This environment recognition includes that by the direct environment recognition means and that by the indirect environment recognition means.
The environment recognition unit 60 transmits the recognition result (detection result) to the image generation unit 200 after detecting the lane shape ahead of the own vehicle and an obstacle such as another vehicle.
Thereafter, the process proceeds to step S02.

＜ステップＳ０２：直接認識範囲車線形状画像生成＞
画像生成ユニット２００は、環境認識ユニット６０からの情報に基づいて、直接環境認識手段によって認識可能な範囲（直接認識範囲）内の車線形状の画像を生成する。
ここで、直接認識範囲の限界（外縁）は、例えば、複数の車線を有する道路の場合、全ての車線を直接環境認識手段で認識可能な箇所、あるいは、少なくとも自車両の走行車線を直接環境認識手段で認識可能な箇所に設定することができる。
直接認識範囲内の車線形状は、検出された車線幅を反映させた車線形状によって、車線幅を有して表示される。
直接認識範囲内の車線形状を示す画像は、例えば、表示画像における視点から車線を見たときの輪郭と実質的に一致する輪郭を有して生成される。
その後、ステップＳ０３に進む。 <Step S02: Direct recognition range lane shape image generation>
The image generation unit 200 generates an image of a lane shape within a range recognizable by the direct environment recognition unit (direct recognition range) based on information from the environment recognition unit 60.
Here, the limit (outer edge) of the direct recognition range is, for example, in the case of a road having a plurality of lanes, where all the lanes can be directly recognized by the environment recognition means, or at least the traveling lanes of the own vehicle are directly recognized by the environment. It can be set at a location that can be recognized by the means.
The lane shape within the direct recognition range is displayed with the lane width according to the lane shape reflecting the detected lane width.
The image indicating the lane shape within the direct recognition range is generated, for example, with an outline substantially matching the outline when the lane is viewed from the viewpoint in the display image.
Thereafter, the process proceeds to step S03.

＜ステップＳ０３：間接認識範囲車線表示ライン生成＞
画像生成ユニット２００は、環境認識ユニット６０からの情報に基づいて、間接環境認識手段のみによって認識可能な範囲（間接認識範囲）内の車線形状を、実際の車線幅を反映しない、一定幅のライン状の画像として生成する。
その後、ステップＳ０４に進む。 <Step S03: Indirect recognition range lane display line generation>
Based on the information from the environment recognition unit 60, the image generation unit 200 converts a lane shape within a range recognizable only by the indirect environment recognition means (indirect recognition range) into a line of a fixed width that does not reflect the actual lane width. It is generated as an image of a shape.
Thereafter, the process proceeds to step S04.

＜ステップＳ０４：直接認識限界マーカ表示生成＞
画像生成ユニット２００は、ステップＳ０２において生成した車線形状（直接環境認識手段により認識された範囲）の画像の前端部（自車両１側から遠い側の端部）に相当する位置に、直接認識範囲の限界を示すマーカ表示を生成する。
その後、ステップＳ０５に進む。 <Step S04: Direct recognition limit marker display generation>
The image generation unit 200 sets a direct recognition range at a position corresponding to the front end (end farther from the host vehicle 1) of the image of the lane shape (range recognized by the direct environment recognition unit) generated in step S02. Generates a marker display indicating the limit of.
Thereafter, the process proceeds to step S05.

＜ステップＳ０５：障害物表示画像生成＞
画像生成ユニット２００は、環境認識ユニット６０からの情報に基づいて、直接認識範囲に含まれる他車両等の障害物の表示画像を生成する。
障害物の表示画像は、ディテール等を省略して簡素化したコンピュータグラフィックスとして生成される。
障害物の表示画像は、車線形状画像状の対応する位置に重畳して表示される。
その後、ステップＳ０６に進む。 <Step S05: Obstacle Display Image Generation>
The image generation unit 200 generates a display image of an obstacle such as another vehicle directly included in the recognition range, based on information from the environment recognition unit 60.
The display image of the obstacle is generated as simplified computer graphics by omitting details and the like.
The display image of the obstacle is superimposed and displayed at the corresponding position in the lane shape image.
Thereafter, the process proceeds to step S06.

＜ステップＳ０６：直接認識範囲減少障害物判断＞
画像生成ユニット２００は、環境認識ユニット６０からの情報に基づいて、今後直接認識範囲を減少させる可能性のある障害物の有無を判別する。
画像生成ユニット２００は、車線形状の表示における直接環境認識手段による認識が可能な状態から不可能な状態への推移が予測される領域を、直接環境認識手段、間接環境認識手段の少なくとも一方によって認識された障害物の自車両に対する相対位置及び相対速度に基づいて判別する領域判別手段として機能する。
画像生成ユニット２００は、認識されている各障害物の大きさ、形状、自車両に対する相対位置、相対速度に基づいて、当該障害物が今後直接認識範囲内の車線形状を遮蔽する可能性が所定の閾値以上であるか、それぞれ判断する。
直接認識範囲内の車線形状を遮蔽する可能性が閾値以上である障害物が存在する場合は、ステップＳ０７に進み、その他の場合はステップＳ０８に進む。 <Step S06: Direct recognition range decrease obstacle determination>
The image generation unit 200 determines, based on information from the environment recognition unit 60, whether there is an obstacle that may directly reduce the recognition range in the future.
The image generation unit 200 recognizes, by at least one of the direct environment recognition unit and the indirect environment recognition unit, an area in which the transition from a state that can be recognized by the direct environment recognition unit to a state that cannot be recognized by the direct environment recognition unit in the display of the lane shape is predicted. It functions as area determining means for determining based on the relative position and relative speed of the determined obstacle with respect to the own vehicle.
The image generation unit 200 determines, based on the size and shape of each recognized obstacle, the relative position and the relative speed with respect to the own vehicle, the possibility that the obstacle will directly block the lane shape within the recognition range in the future. It is determined whether each of them is equal to or more than the threshold value.
If there is an obstacle whose possibility of blocking the lane shape within the direct recognition range is equal to or larger than the threshold, the process proceeds to step S07, and otherwise proceeds to step S08.

＜ステップＳ０７：直接認識範囲減少予告画像生成＞
画像生成ユニット２００は、ステップＳ０６での判断結果に基づいて、ステップＳ０２において生成された車線形状画像において、現在は直接認識範囲に含まれるが、今後障害物によって遮蔽される可能性がある箇所に、予告表示Ｐを重畳させる。
その後、ステップＳ０８に進む。 <Step S07: Direct Recognition Range Reduction Notice Image Generation>
Based on the determination result in step S06, the image generation unit 200 determines whether the lane shape image generated in step S02 is included in the direct recognition range now, but may be blocked by an obstacle in the future. , The notice display P is superimposed.
Thereafter, the process proceeds to step S08.

＜ステップＳ０８：画像表示出力＞
画像生成ユニット２００は、生成された画像データを出力し、ディスプレイ２１０によって表示させ、ユーザに提示させる。
その後、一連の処理を終了（リターン）させる。 <Step S08: Image Display Output>
The image generation unit 200 outputs the generated image data, causes the display 210 to display the generated image data, and presents it to the user.
Thereafter, a series of processing is terminated (returned).

以下、実施例の表示装置における具体的な表示例について説明する。
図４は、実施例の表示装置が設けられる車両が走行する道路環境の一例を模式的に示す図である。
図４に示す例においては、自車両１は、左側通行片側一車線の道路を走行している。（後述する図６において同じ）
自車両１の前方には、自車両１から近い順に、直線路Ｓ１、右コーナＲ１、直線路Ｓ２、左コーナＬ１が順次設けられている。
直線路Ｓ１の前方には、先行車である他車両Ｖ１が走行している。
直線路Ｓ２には、先行車である他車両Ｖ２、及び、対向車である他車両Ｖ３が走行している。 Hereinafter, a specific display example in the display device of the embodiment will be described.
FIG. 4 is a diagram schematically illustrating an example of a road environment in which a vehicle provided with the display device according to the embodiment travels.
In the example shown in FIG. 4, the host vehicle 1 is traveling on a one-lane road on the left-hand side. (Same in FIG. 6 described later)
A straight road S1, a right corner R1, a straight road S2, and a left corner L1 are sequentially provided in front of the host vehicle 1 in the order from the host vehicle 1.
In front of the straight road S1, another vehicle V1, which is a preceding vehicle, is running.
On the straight road S2, another vehicle V2 as a preceding vehicle and another vehicle V3 as an oncoming vehicle are running.

自車両１のステレオカメラ７１、レーザスキャナ８１等による直接環境認識手段の認識可能範囲（検知範囲）Ａは、直線Ｓ１から右コーナＲ１の出口付近までが含まれているが、直線Ｓ２から先の領域は含まれていない。
したがって、この領域は間接環境認識手段によって車線形状が認識され、また、他車両Ｖ２、Ｖ３については、路車間通信装置１１０、車車間通信装置１２０によって情報が取得された場合のみ認識される。 The recognizable range (detection range) A of the direct environment recognizing means by the stereo camera 71, the laser scanner 81, and the like of the own vehicle 1 includes the area from the straight line S1 to the vicinity of the exit of the right corner R1. No regions are included.
Therefore, the lane shape of this area is recognized by the indirect environment recognition means, and the other vehicles V2 and V3 are recognized only when information is acquired by the road-to-vehicle communication device 110 and the vehicle-to-vehicle communication device 120.

図５は、図４の場合における画面表示の一例を模式的に示す図である。
表示画面Ｇ１は、自車両１及びその前方の状況を、ディテールを省略して簡素化し、コンピュータグラフィックスによって描画したものである。
画像生成ユニット２００は、このようなコンピュータグラフィックスのレンダリングを行う機能を備えている。
表示画面Ｇ１は、例えば、図５のような自車両１の上方側かつ斜め後方側に配置された仮想視点から見た状態を示す俯瞰図（鳥瞰図）である。
表示画面Ｇ１は、直線路Ｓ１、右コーナＲ１、直線路Ｓ２、左コーナＬ１の車線形状を示す画像を有する。 FIG. 5 is a diagram schematically showing an example of the screen display in the case of FIG.
The display screen G1 simplifies the host vehicle 1 and the situation in front of the host vehicle 1 by omitting details, and is drawn by computer graphics.
The image generation unit 200 has a function of rendering such computer graphics.
The display screen G1 is, for example, an overhead view (bird's eye view) showing a state viewed from a virtual viewpoint arranged above and at an obliquely rearward side of the vehicle 1 as shown in FIG.
The display screen G1 has an image indicating the lane shape of the straight road S1, the right corner R1, the straight road S2, and the left corner L1.

ここで、車線形状のうち、直接環境認識手段によって認識された範囲については、実際の車線幅を反映させた形状（車線幅を有する形状）によって表示されている。
図５に示す例においては、直線路Ｓ１、右コーナＲ１の車線形状は、車線幅を有する表示態様で表示されている。
このような車線形状表示の最先端部（間接環境認識手段のみによって認識される範囲との境界部）には、例えば表示色や輝度等を他の車線表示とは異ならせたマーカＭが表示されている。
また、直接環境認識手段によって認識可能な他車両Ｖ１は、ディテールを簡素化したコンピュータグラフィックスによって、直線路Ｓ１の表示上に重畳して表示されている。 Here, of the lane shapes, the range recognized by the direct environment recognition means is displayed in a shape reflecting the actual lane width (shape having a lane width).
In the example shown in FIG. 5, the lane shape of the straight road S1 and the right corner R1 is displayed in a display mode having a lane width.
At the forefront portion of such a lane shape display (boundary to the range recognized only by the indirect environment recognition means), for example, a marker M whose display color, luminance, and the like are different from those of other lane displays is displayed. ing.
The other vehicle V1 recognizable by the direct environment recognizing means is superimposed and displayed on the display of the straight road S1 by computer graphics with simplified details.

一方、車線形状のうち、間接環境認識手段のみによって認識された範囲については、実際の車線幅に関わらず一定の幅を有するライン状に表示されている。
図５に示す例においては、直線路Ｓ２、左コーナＬ１の車線形状は、破線によって表示されている。
また、間接環境認識手段のみによって認識可能な他車両Ｖ２、Ｖ３は、環境認識ユニット６０としては間接環境認識手段によって認識していても、表示は行わないようになっている。 On the other hand, of the lane shapes, the range recognized only by the indirect environment recognition means is displayed as a line having a certain width regardless of the actual lane width.
In the example shown in FIG. 5, the lane shapes of the straight road S2 and the left corner L1 are indicated by broken lines.
The other vehicles V2 and V3, which can be recognized only by the indirect environment recognition means, are not displayed even if the environment recognition unit 60 recognizes them by the indirect environment recognition means.

図６は、実施例の表示装置が設けられる車両が走行する道路環境の他の例を模式的に示す図である。
図６に示す例においては、自車両１は直線路Ｓ３を走行中している。
自車両１の前方には、トラック等の大型車である他車両Ｖ４が走行している。
他車両Ｖ４の車速は自車両１の車速に対して遅く、他車両Ｖ４は自車両１に対して接近する相対速度を有し、車間距離が徐々に減少する状態にある。 FIG. 6 is a diagram schematically illustrating another example of the road environment in which the vehicle provided with the display device according to the embodiment travels.
In the example shown in FIG. 6, the host vehicle 1 is traveling on a straight road S3.
In front of the host vehicle 1, another vehicle V4, which is a large vehicle such as a truck, is running.
The vehicle speed of the other vehicle V4 is lower than the vehicle speed of the own vehicle 1, the other vehicle V4 has a relative speed approaching the own vehicle 1, and the inter-vehicle distance is gradually reduced.

図７は、図４の場合における画面表示の一例を模式的に示す図である。
表示画像Ｇ２には、直線路Ｓ３の車線形状、マーカＭ、他車両Ｖ４等が表示される。
また、マーカＭよりも自車両１側の所定の領域における車線表示と重畳して、予告表示Ｐが表示されている。
予告表示Ｐは、現在は直接環境認識手段によって認識されているが、今後他車両等の障害物によって遮蔽され、直接環境認識手段による認識が不可能となる可能性が高い領域に表示される。
図７に示す例においては、他車両Ｖ４との車間距離が今後減少した場合に、他車両Ｖ４による遮蔽により、他車両Ｖ４より前方の車線形状を直接環境認識手段によって認識できなくなる可能性が高いため、現在のマーカＭの位置から他車両Ｖ４の直後に至るまでの領域に、予告表示Ｐが表示されている。
予告表示Ｐが表示された範囲については、今後間接環境認識手段のみによって認識され、車線幅をもたないライン状表示となり得ることがユーザに報知される。 FIG. 7 is a diagram schematically illustrating an example of a screen display in the case of FIG.
The display image G2 displays the lane shape of the straight road S3, the marker M, the other vehicle V4, and the like.
In addition, a notice display P is displayed so as to be superimposed on a lane display in a predetermined area closer to the host vehicle 1 than the marker M.
The notice display P is currently recognized by the direct environment recognizing means, but is displayed in an area where there is a high possibility that the direct environmental recognizing means will not be able to recognize it in the future because it will be shielded by obstacles such as other vehicles.
In the example illustrated in FIG. 7, when the inter-vehicle distance with the other vehicle V4 decreases in the future, there is a high possibility that the lane shape ahead of the other vehicle V4 cannot be recognized directly by the environment recognition unit due to the shielding by the other vehicle V4. Therefore, the notice display P is displayed in an area from the current position of the marker M to immediately after the other vehicle V4.
The range in which the notice display P is displayed is recognized only by the indirect environment recognition means in the future, and the user is notified that the display may be a line display having no lane width.

以上説明したように、実施例の表示装置によれば、以下の効果を得ることができる。
（１）自車両１に搭載されたステレオカメラ７１、レーザスキャナ８１等（直接環境認識手段）によって認識可能な範囲Ａの限界をユーザに直感的に把握させることが可能となり、ナビゲーション装置１００、路車間通信装置１１０、車車間通信装置１２０等（間接環境認識手段）のみによって認識が可能な、自車両から直接検知できない領域の情報をユーザが過信することを防止できる。
また、直接環境認識手段によって認識可能な領域においては、車線形状を道路幅を持たせた表示とすることによって、ユーザに路面上に分布し得るリスクを監視することを促すことができる。
（２）間接環境認識手段のみによって認識される範囲の車線形状をライン表示とすることによって、直接環境認識手段の認識可能範囲外であることを直感的に認識させつつ、カーブの有無や方向、緩急といった最低限の情報を認識させることができる。
（３）直接環境認識手段によって認識される車線形状の前端部にマーカＭを表示することによって、直接環境認識手段の認識範囲限界を強調して表示することが可能であり、上述した効果をより確実に得ることができる。
（４）直接環境認識手段による認識が不可能となる可能性がある領域について、予告表示Ｐを行うことによって、ユーザに注意喚起し、直接環境認識手段による認識結果が表示される範囲が突然消失してユーザが動揺することを防止できる。 As described above, according to the display device of the embodiment, the following effects can be obtained.
(1) It becomes possible for the user to intuitively grasp the limit of the range A that can be recognized by the stereo camera 71, the laser scanner 81, and the like (direct environment recognition means) mounted on the vehicle 1, and the navigation device 100 and the road It is possible to prevent the user from overlying information in an area that can be recognized only by the inter-vehicle communication device 110, the inter-vehicle communication device 120, or the like (indirect environment recognition means) and cannot be directly detected from the own vehicle.
Further, in an area that can be directly recognized by the environment recognizing means, by displaying the lane shape with a road width, it is possible to urge the user to monitor a risk that can be distributed on the road surface.
(2) The lane shape within the range recognized only by the indirect environment recognition means is displayed as a line, so that the user can intuitively recognize that the vehicle is outside the recognizable range of the direct environment recognition means. It is possible to make the minimum information, such as the speed, be recognized.
(3) By displaying the marker M at the front end of the lane shape recognized by the direct environment recognition means, it is possible to emphasize and display the recognition range limit of the direct environment recognition means. Can be obtained reliably.
(4) A warning is given to the user by performing the notice display P in an area where the recognition by the direct environment recognition means may not be possible, and the range in which the recognition result by the direct environment recognition means is displayed suddenly disappears. As a result, it is possible to prevent the user from being upset.

（変形例）
本発明は、以上説明した実施例に限定されることなく、種々の変形や変更が可能であって、それらも本発明の技術的範囲内である。
（１）表示装置の構成や、車両の構成は、上述した実施例に限定されず適宜変更することが可能である。また、実施例において車両は乗用車であるが、本発明は貨物車等の商用車、トラック、バス、自動二輪車、その他各種特殊車両などにも適用することが可能である。
（２）実施例において、車両はエンジンを走行用動力源とするものであったが、本発明はこれに限らず、電動モータや、エンジンと電動モータとを組み合わせたハイブリッドシステムを走行用動力源として用いることも可能である。
（３）自車両周辺の環境認識を行うセンサの種類や配置は、上述した実施例には限定されず、適宜変更することが可能である。例えば、実施例におけるセンサ類と併用あるいは代用して、ミリ波レーザ、レーザレーダ、単眼カメラ、超音波ソナー等の各種センサを用いることが可能である。
また、車両自体に搭載されているセンサ類などと併用あるいは代用して、路車間通信や車車間通信によって得た情報や、ＧＰＳ等の測位手段及びナビゲーション装置等が有する地図データを用いて環境認識を行ってもよい。
（４）実施例においては、間接環境認識手段のみによって認識可能な範囲内の車線形状をライン状の表示としているが、この範囲内の車線形状は表示しない構成とすることもできる。
（５）実施例においては、表示画像を俯瞰図（鳥瞰図）としているが、これに限らず、例えば平面図や、仮想ドライバ視点から見たドライバーズビューとすることも可能である。また、３Ｄ表示が可能なディスプレイを用いて、３Ｄ表示を行ってもよい。また、インストルメントパネルに設けたディスプレイによる表示に限らず、例えば、フロントガラスに像を投影するヘッドアップディスプレイによって表示してもよい。 (Modification)
The present invention is not limited to the embodiments described above, and various modifications and changes are possible, and these are also within the technical scope of the present invention.
(1) The configuration of the display device and the configuration of the vehicle are not limited to the above-described embodiment, and can be appropriately changed. Further, in the embodiments, the vehicle is a passenger vehicle, but the present invention can be applied to commercial vehicles such as freight vehicles, trucks, buses, motorcycles, and various other special vehicles.
(2) In the embodiment, the vehicle uses the engine as the driving power source. However, the present invention is not limited to this, and the driving power source may be an electric motor or a hybrid system combining the engine and the electric motor. It is also possible to use as.
(3) The types and arrangements of sensors for recognizing the environment around the host vehicle are not limited to those in the above-described embodiment, and can be changed as appropriate. For example, various sensors such as a millimeter-wave laser, a laser radar, a monocular camera, and an ultrasonic sonar can be used in combination with or in place of the sensors in the embodiment.
In addition, environment recognition is performed by using information obtained by road-to-vehicle communication or vehicle-to-vehicle communication, or by using positioning data such as GPS and map data possessed by a navigation device in combination with or instead of sensors mounted on the vehicle itself. May be performed.
(4) In the embodiment, the lane shape within the range recognizable only by the indirect environment recognition means is displayed as a line, but the lane shape within this range may not be displayed.
(5) In the embodiment, the display image is a bird's-eye view (bird's-eye view). However, the present invention is not limited to this. For example, a plan view or a driver's view viewed from a virtual driver's viewpoint may be used. Alternatively, 3D display may be performed using a display capable of 3D display. The display is not limited to the display provided on the instrument panel, and may be displayed, for example, by a head-up display that projects an image on a windshield.

１車両１０エンジン制御ユニット
２０トランスミッション制御ユニット２１前後進切替アクチュエータ
２２レンジ検出センサ３０挙動制御ユニット
３１ハイドロリックコントロールユニット（ＨＣＵ）
３２車速センサ
４０電動パワーステアリング（ＥＰＳ）制御ユニット
４１モータ４２舵角センサ
５０自動運転制御ユニット５１入出力装置
６０環境認識ユニット７０カメラ制御ユニット
７１ステレオカメラ
８０レーザスキャナ制御ユニット
８１レーザスキャナ９０後側方レーダ制御ユニット
９１後側方レーダ１００ナビゲーション装置
１０１ディスプレイ
１１０路車間通信装置１２０車車間通信装置
２００画像生成ユニット２１０ディスプレイ
Ｖ１〜Ｖ４他車両Ｓ１〜Ｓ３直線路
Ｒ１右コーナＬ１左コーナ
Ａ直接環境認識手段の認識可能範囲
Ｇ１，Ｇ２表示画像Ｍマーカ
Ｐ予告表示 DESCRIPTION OF SYMBOLS 1 Vehicle 10 Engine control unit 20 Transmission control unit 21 Forward / reverse switching actuator 22 Range detection sensor 30 Behavior control unit 31 Hydraulic control unit (HCU)
32 vehicle speed sensor 40 electric power steering (EPS) control unit 41 motor 42 steering angle sensor 50 automatic driving control unit 51 input / output device 60 environment recognition unit 70 camera control unit 71 stereo camera 80 laser scanner control unit 81 laser scanner 90 rear side Radar control unit 91 Rear side radar 100 Navigation device 101 Display 110 Road-to-vehicle communication device 120 Vehicle-to-vehicle communication device 200 Image generation unit 210 Display V1-V4 Other vehicles S1-S3 Straight road R1 Right corner L1 Left corner A Direct environment recognition means Recognizable range of G1, G2 Display image M Marker P Notice display

Claims

自車両に搭載されたセンサによって自車両周囲の環境を認識する直接環境認識手段と、
自車両外部から提供される情報、予め作成された地図データの少なくとも一方に基づいて自車両周囲の環境を認識する間接環境認識手段と、
前記直接環境認識手段及び前記間接環境認識手段の認識結果に基づいて自車両前方の環境に関する情報を含む環境画像を生成する画像生成手段と、
前記環境画像を表示する画像表示手段と
を備える表示装置であって、
前記環境画像は、自車両前方における自車両走行車線の車線形状を含み、
前記車線形状は、前記直接環境認識手段によって認識された範囲の最先端部までのみが実際の車線幅を反映させた幅を有して表示され、
前記最先端部以遠の前記間接環境認識手段のみによって認識された範囲の車線形状を、幅が実質的に一定であるラインにより表示すること
を特徴とする表示装置。 Direct environment recognition means for recognizing the environment around the vehicle by a sensor mounted on the vehicle,
Information provided from outside the vehicle, indirect environment recognition means for recognizing the environment around the vehicle based on at least one of map data created in advance,
Image generation means for generating an environment image including information on the environment ahead of the vehicle based on the recognition results of the direct environment recognition means and the indirect environment recognition means,
Image display means for displaying the environmental image, a display device comprising:
The environment image includes a lane shape of the own vehicle traveling lane in front of the own vehicle,
The lane shape is displayed with a width that reflects the actual lane width only up to the forefront of the range recognized by the direct environment recognition unit ,
A display device , wherein a lane shape in a range recognized by only the indirect environment recognition means far from the forefront portion is displayed by a line having a substantially constant width .

前記環境画像は、前記車線形状における前記直接環境認識手段によって認識された範囲と前記間接環境認識手段のみによって認識された範囲との境界箇所を示すマーカ表示を有すること
を特徴とする請求項１に記載の表示装置。 It said environmental image, to claim 1, characterized in that it comprises a marker display indicating the boundary portion between the recognition range only by the recognition range and the indirect environment recognition unit by the direct environment recognition means in the lane shape The display device according to the above.

前記環境画像は、前記車線形状の表示における前記直接環境認識手段による認識が可能な状態から不可能な状態への推移が予測される領域の表示態様を、他の領域の表示態様と異ならせること
を特徴とする請求項１又は請求項２に記載の表示装置。 In the environment image, a display mode of an area in which a transition from a state that can be recognized by the direct environment recognition unit to a state that cannot be recognized by the direct environment recognition unit in displaying the lane shape is predicted to be different from a display mode of another area. The display device according to claim 1 , wherein:

自車両に搭載されたセンサによって自車両周囲の環境を認識する直接環境認識手段と、  Direct environment recognition means for recognizing the environment around the vehicle by a sensor mounted on the vehicle,
自車両外部から提供される情報、予め作成された地図データの少なくとも一方に基づいて自車両周囲の環境を認識する間接環境認識手段と、  Information provided from outside the vehicle, indirect environment recognition means for recognizing the environment around the vehicle based on at least one of map data created in advance,
前記直接環境認識手段及び前記間接環境認識手段の認識結果に基づいて自車両前方の環境に関する情報を含む環境画像を生成する画像生成手段と、  Image generation means for generating an environment image including information on the environment ahead of the vehicle based on the recognition results of the direct environment recognition means and the indirect environment recognition means,
前記環境画像を表示する画像表示手段と  Image display means for displaying the environmental image;
を備える表示装置であって、  A display device comprising:
前記環境画像は、自車両前方における自車両走行車線の車線形状を含み、  The environment image includes a lane shape of the own vehicle traveling lane in front of the own vehicle,
前記車線形状は、前記直接環境認識手段によって認識された範囲のみが実際の車線幅を反映させた幅を有して表示され、  In the lane shape, only the range recognized by the direct environment recognition unit is displayed with a width reflecting the actual lane width,
前記環境画像は、前記車線形状の表示における前記直接環境認識手段による認識が可能な状態から不可能な状態への推移が予測される領域の表示態様を、他の領域の表示態様と異ならせること  In the environment image, a display mode of an area in which a transition from a state that can be recognized by the direct environment recognition unit to a state that cannot be recognized in the display of the lane shape is predicted is different from a display mode of another area.
を特徴とする表示装置。  A display device characterized by the above-mentioned.

前記車線形状の表示における前記直接環境認識手段による認識が可能な状態から不可能な状態への推移が予測される領域を、前記直接環境認識手段、前記間接環境認識手段の少なくとも一方によって認識された障害物の自車両に対する相対位置及び相対速度に基づいて判別する領域判別手段を備えること
を特徴とする請求項３又は請求項４に記載の表示装置。
An area where a transition from a state that can be recognized by the direct environment recognition unit to a state that cannot be recognized in the display of the lane shape is predicted is recognized by at least one of the direct environment recognition unit and the indirect environment recognition unit. The display device according to claim 3, further comprising an area determining unit configured to determine based on a relative position and a relative speed of the obstacle with respect to the own vehicle.