JP6863728B2

JP6863728B2 - Driving support device and driving support method

Info

Publication number: JP6863728B2
Application number: JP2016242630A
Authority: JP
Inventors: 裕生松本; 周樹村角
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2016-12-14
Filing date: 2016-12-14
Publication date: 2021-04-21
Anticipated expiration: 2036-12-14
Also published as: JP2018097685A

Description

本発明は、運転支援装置および運転支援方法に関する。 The present invention relates to a driving support device and a driving support method.

従来、例えば車両が旋回している場合に、車載カメラの撮像画像から車両の旋回角度や移動距離等の成分を含む移動ベクトルを抽出し、決定した移動ベクトルに応じて支援を行う運転支援装置がある。運転支援装置は、撮像画像から抽出された複数の移動ベクトルに基づいてヒストグラムを生成することで移動ベクトルの代表値を一意に決定する（たとえば、特許文献１参照）。 Conventionally, for example, when a vehicle is turning, a driving support device that extracts a movement vector including components such as the turning angle and the moving distance of the vehicle from an image captured by an in-vehicle camera and provides support according to the determined movement vector has been used. is there. The driving support device uniquely determines a representative value of the movement vector by generating a histogram based on a plurality of movement vectors extracted from the captured image (see, for example, Patent Document 1).

特開２０１６−２１７１２号公報Japanese Unexamined Patent Publication No. 2016-21712

しかしながら、従来の技術では、複数の移動ベクトルから一意に決定された代表値と、実際の車両の移動とがズレている可能性については考慮されていなかった。このため、運転者にとって実際の車両の移動と支援内容とがズレている可能性があることを認識できないため、実際とはズレた支援内容が行われた場合に、戸惑うおそれがあった。 However, in the conventional technique, the possibility that the representative value uniquely determined from a plurality of movement vectors and the actual movement of the vehicle deviate from each other has not been considered. For this reason, the driver cannot recognize that the actual movement of the vehicle and the support content may be different from each other, and there is a risk of confusion when the support content is different from the actual one.

本発明は、上記に鑑みてなされたものであって、運転者に対して的確な通知を行うことができる運転支援装置および運転支援方法を提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide a driving support device and a driving support method capable of accurately notifying a driver.

上述した課題を解決し、目的を達成するために、本発明に係る運転支援装置は、ヒストグラム生成部と、決定部と、算出部と、情報生成部とを備える。ヒストグラム生成部は、車両に設けられた撮像部の撮像画像から前記車両の移動に伴う移動ベクトルを抽出し、複数の前記移動ベクトルに基づいてヒストグラムを生成する。決定部は、前記ヒストグラム生成部によって生成された前記ヒストグラムに基づいて前記移動ベクトルの代表値を決定する。算出部は、前記ヒストグラム生成部によって生成された前記ヒストグラムに基づいて前記決定部によって決定された前記代表値の信頼度を算出する。情報生成部は、前記算出部によって算出された前記信頼度に基づいて前記車両の運転を支援するための支援情報を生成する。 In order to solve the above-mentioned problems and achieve the object, the driving support device according to the present invention includes a histogram generation unit, a determination unit, a calculation unit, and an information generation unit. The histogram generation unit extracts a movement vector accompanying the movement of the vehicle from the captured image of the imaging unit provided in the vehicle, and generates a histogram based on the plurality of the movement vectors. The determination unit determines a representative value of the movement vector based on the histogram generated by the histogram generation unit. The calculation unit calculates the reliability of the representative value determined by the determination unit based on the histogram generated by the histogram generation unit. The information generation unit generates support information for supporting the driving of the vehicle based on the reliability calculated by the calculation unit.

本発明によれば、運転者に対して的確な通知を行うことができる。 According to the present invention, it is possible to give an accurate notification to the driver.

図１Ａは、実施形態に係る運転支援方法の概要を示す図である。FIG. 1A is a diagram showing an outline of a driving support method according to an embodiment. 図１Ｂは、実施形態に係る運転支援方法の概要を示す図である。FIG. 1B is a diagram showing an outline of a driving support method according to an embodiment. 図２は、実施形態に係る運転支援装置の構成を示すブロック図である。FIG. 2 is a block diagram showing a configuration of a driving support device according to an embodiment. 図３Ａは、実施形態に係るヒストグラム生成部の処理内容を示す図である。FIG. 3A is a diagram showing the processing contents of the histogram generation unit according to the embodiment. 図３Ｂは、実施形態に係るヒストグラム生成部の処理内容を示す図である。FIG. 3B is a diagram showing the processing contents of the histogram generation unit according to the embodiment. 図４は、実施形態に係る算出部の処理内容を示す図である。FIG. 4 is a diagram showing the processing contents of the calculation unit according to the embodiment. 図５Ａは、実施形態に係る信頼度情報の説明図である。FIG. 5A is an explanatory diagram of reliability information according to the embodiment. 図５Ｂは、車両の走行速度に応じた補正方法の説明図である。FIG. 5B is an explanatory diagram of a correction method according to the traveling speed of the vehicle. 図６Ａは、実施形態に係る情報生成部の処理内容を示す図である。FIG. 6A is a diagram showing the processing contents of the information generation unit according to the embodiment. 図６Ｂは、実施形態に係る情報生成部の処理内容を示す図である。FIG. 6B is a diagram showing the processing contents of the information generation unit according to the embodiment. 図７は、実施形態に係る運転支援装置が実行する支援処理の処理手順を示すフローチャートである。FIG. 7 is a flowchart showing a processing procedure of support processing executed by the driving support device according to the embodiment.

以下、添付図面を参照して、本願の開示する運転支援装置および運転支援方法の実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。 Hereinafter, embodiments of the driving support device and the driving support method disclosed in the present application will be described in detail with reference to the accompanying drawings. The present invention is not limited to this embodiment.

まず、図１Ａおよび図１Ｂを用いて、実施形態に係る運転支援方法の概要について説明する。図１Ａおよび図１Ｂは、実施形態に係る運転支援方法の概要を示す図である。図１Ａに示すように、以下の実施形態では、車両Ｃが空きスペースへ旋回しながらバック走行している場面を一例として説明する。 First, the outline of the driving support method according to the embodiment will be described with reference to FIGS. 1A and 1B. 1A and 1B are diagrams showing an outline of a driving support method according to an embodiment. As shown in FIG. 1A, in the following embodiment, a scene in which the vehicle C is traveling backward while turning to an empty space will be described as an example.

図１Ａに示すように、実施形態に係る運転支援装置１は、車両Ｃに搭載され、実施形態に係る運転支援方法を実行する。実施形態に係る運転支援装置１は、撮像部１０である車載カメラから車両Ｃの後方の様子を撮像した撮像画像Ｐを取得する。図１Ｂにおいて、運転支援装置１が取得する撮像画像Ｐを示す。 As shown in FIG. 1A, the driving support device 1 according to the embodiment is mounted on the vehicle C to execute the driving support method according to the embodiment. The driving support device 1 according to the embodiment acquires an captured image P that captures the rear view of the vehicle C from an in-vehicle camera that is an imaging unit 10. FIG. 1B shows an image P acquired by the driving support device 1.

図１Ｂに示すように、実施形態に係る運転支援装置１は、撮像画像Ｐから車両Ｃの移動に伴う移動ベクトルＶ（図３Ａ等参照）のヒストグラムを生成し、かかるヒストグラムに基づいて移動ベクトルＶの代表値およびかかる代表値の信頼度を算出するものである。 As shown in FIG. 1B, the driving support device 1 according to the embodiment generates a histogram of the movement vector V (see FIG. 3A and the like) accompanying the movement of the vehicle C from the captured image P, and the movement vector V is based on the histogram. The representative value of and the reliability of such representative value are calculated.

なお、信頼度とは、決定した代表値の信頼性を示す度合である。具体的には、信頼度は、移動ベクトルＶの代表値と実際の車両Ｃの移動とが一致している可能性を示す度合である。 The reliability is a degree indicating the reliability of the determined representative value. Specifically, the reliability is a degree indicating the possibility that the representative value of the movement vector V and the actual movement of the vehicle C match.

ここで、従来の運転支援方法について説明する。従来の運転支援方法では、複数の移動ベクトルを値毎に分類したヒストグラムに基づいて移動ベクトルの代表値を決定し、かかる代表値に基づいて運転者に対して支援を行っていた。 Here, the conventional driving support method will be described. In the conventional driving support method, a representative value of a movement vector is determined based on a histogram in which a plurality of movement vectors are classified for each value, and support is provided to the driver based on the representative value.

ところが、従来は、複数の移動ベクトルの値から一意に代表値を決定しているにすぎず、代表値と実際の車両Ｃの移動とがズレている可能性については考慮されていなかった。つまり、従来は、運転者にとって支援内容が実際の車両の移動とズレている可能性があることを認識できないため、実際とはズレた支援内容が行われた場合に、戸惑うおそれがあった。すなわち、従来は、運転者に対して的確な通知を行う点で改善の余地があった。 However, conventionally, the representative value is only uniquely determined from the values of a plurality of movement vectors, and the possibility that the representative value and the actual movement of the vehicle C are different from each other has not been considered. That is, conventionally, since the driver cannot recognize that the support content may be different from the actual movement of the vehicle, there is a risk of being confused when the support content is different from the actual one. That is, in the past, there was room for improvement in providing accurate notification to the driver.

そこで、実施形態に係る運転支援方法では、決定した代表値が実際の移動ベクトルＶとズレている可能性がどの程度あるかを示す信頼度を算出することとした。具体的には、まず、実施形態に係る運転支援装置１は、車両Ｃに設けられた撮像部１０の撮像画像Ｐから車両Ｃの移動ベクトルＶ（図３Ａ等参照）を抽出し、複数の移動ベクトルＶに基づいてヒストグラムを生成する（ステップＳ１）。例えば、移動ベクトルＶに含まれる車両Ｃの旋回角度および移動距離のヒストグラムを生成する。 Therefore, in the driving support method according to the embodiment, it is decided to calculate the reliability indicating how much the determined representative value is likely to deviate from the actual movement vector V. Specifically, first, the driving support device 1 according to the embodiment extracts a movement vector V (see FIG. 3A, etc.) of the vehicle C from the captured image P of the imaging unit 10 provided in the vehicle C, and moves a plurality of movements. A histogram is generated based on the vector V (step S1). For example, a histogram of the turning angle and the moving distance of the vehicle C included in the movement vector V is generated.

つづいて、実施形態に係る運転支援装置１は、生成したヒストグラムに基づいて移動ベクトルＶの代表値を決定する（ステップＳ２）。つづいて、実施形態に係る運転支援装置１は、生成したヒストグラムに基づいて決定した代表値の信頼度を算出する（ステップＳ３）。 Subsequently, the driving support device 1 according to the embodiment determines a representative value of the movement vector V based on the generated histogram (step S2). Subsequently, the driving support device 1 according to the embodiment calculates the reliability of the representative value determined based on the generated histogram (step S3).

そして、実施形態に係る運転支援装置１は、算出した信頼度に基づいて車両Ｃの運転を支援するための支援情報を生成する（ステップＳ４）。例えば、運転支援装置１は、代表値に基づいて車両Ｃの予測される進行方向を示す予測線１００（図６Ａ参照）を支援情報として生成するとともに、信頼度に応じて予測線１００の表示形態を変化させる。なお、予測線１００の生成については、図６Ａおよび図６Ｂを用いて後述する。 Then, the driving support device 1 according to the embodiment generates support information for supporting the driving of the vehicle C based on the calculated reliability (step S4). For example, the driving support device 1 generates a prediction line 100 (see FIG. 6A) indicating the predicted traveling direction of the vehicle C based on the representative value as support information, and displays the prediction line 100 according to the reliability. To change. The generation of the prediction line 100 will be described later with reference to FIGS. 6A and 6B.

つまり、実施形態に係る運転支援装置１では、例えば信頼度が低い場合に、予測線１００の透過率を上げて表示することで、運転者が予測線１００の信頼度が低いことを認識できる。 That is, in the driving support device 1 according to the embodiment, for example, when the reliability is low, the driver can recognize that the reliability of the prediction line 100 is low by increasing the transmittance of the prediction line 100 and displaying the display.

これにより、例えば実際とはズレた予測線１００が表示された場合であっても、運転者は、信頼度が低いことを認識しているため、戸惑うことを防止できる。つまり、運転者に対して的確な通知を行うことができる。 As a result, for example, even when the prediction line 100 that is different from the actual one is displayed, the driver recognizes that the reliability is low, so that he / she can be prevented from being confused. That is, it is possible to give an accurate notification to the driver.

なお、実施形態に係る運転支援装置１では、移動ベクトルＶに含まれる移動距離のヒストグラムに基づいて信頼度を算出するが、かかる点については、図４を用いて後述する。 In the driving support device 1 according to the embodiment, the reliability is calculated based on the histogram of the moving distance included in the moving vector V, and this point will be described later with reference to FIG.

また、実施形態に係る運転支援装置１は、ヒストグラムの最頻値を代表値として決定するとともに、最頻値Ｆと中央値Ｍ（図４参照）との差分に基づいて信頼度を算出するが、かかる点については、図４を用いて後述する。 Further, the driving support device 1 according to the embodiment determines the mode value of the histogram as a representative value, and calculates the reliability based on the difference between the mode value F and the median value M (see FIG. 4). This point will be described later with reference to FIG.

次に、図２を参照して、実施形態に係る運転支援装置１の構成について詳細に説明する。図２は、実施形態に係る運転支援装置１の構成を示すブロック図である。図２に示すように、運転支援装置１は、撮像部１０と、シフトセンサ１１と、表示装置５０とに接続される。まず、運転支援装置１以外の構成について説明する。 Next, the configuration of the driving support device 1 according to the embodiment will be described in detail with reference to FIG. FIG. 2 is a block diagram showing a configuration of the driving support device 1 according to the embodiment. As shown in FIG. 2, the driving support device 1 is connected to the image pickup unit 10, the shift sensor 11, and the display device 50. First, configurations other than the driving support device 1 will be described.

撮像部１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備えた車載カメラであり、例えば車両Ｃ後方の様子を撮像する位置に設けられる。 The image pickup unit 10 is, for example, an in-vehicle camera equipped with an image pickup element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and is provided at a position for capturing a state behind the vehicle C, for example.

また、撮像部１０は、魚眼レンズ等の広角レンズを備えており、車両Ｃの周囲を広範囲に撮像することが可能である。なお、撮像部１０は、車両Ｃ後方を撮像する場合に限らず、車両Ｃの前方や側方を撮像する位置に設けられてもよい。 Further, the image pickup unit 10 is provided with a wide-angle lens such as a fisheye lens, and can take a wide range of images around the vehicle C. The imaging unit 10 is not limited to the case where the rear side of the vehicle C is imaged, and may be provided at a position where the front side or the side surface of the vehicle C is imaged.

シフトセンサ１１は、トランスミッションのシフト位置を検出するセンサである。シフトセンサ１１は、検出したシフト位置を示す信号を運転支援装置１へ出力する。 The shift sensor 11 is a sensor that detects the shift position of the transmission. The shift sensor 11 outputs a signal indicating the detected shift position to the driving support device 1.

表示装置５０は、例えば液晶パネルを備え、運転支援装置１から出力される情報を表示する。表示装置５０は、例えば撮像画像Ｐや、撮像画像Ｐに予測線１００を重ねた合成画像を表示する。 The display device 50 includes, for example, a liquid crystal panel, and displays information output from the driving support device 1. The display device 50 displays, for example, a captured image P or a composite image in which a prediction line 100 is superimposed on the captured image P.

次に、実施形態に係る運転支援装置１について説明する。運転支援装置１は、制御部２と、記憶部３とを備える。制御部２は、画像取得部２１と、ヒストグラム生成部２２と、決定部２３と、算出部２４と、情報生成部２５と、描画部２６とを備える。記憶部３は、画像情報３１と、信頼度情報３２とを備える。 Next, the driving support device 1 according to the embodiment will be described. The driving support device 1 includes a control unit 2 and a storage unit 3. The control unit 2 includes an image acquisition unit 21, a histogram generation unit 22, a determination unit 23, a calculation unit 24, an information generation unit 25, and a drawing unit 26. The storage unit 3 includes image information 31 and reliability information 32.

ここで、運転支援装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。 Here, the operation support device 1 is, for example, a computer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard Disk Drive), an input / output port, and various circuits. including.

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の画像取得部２１、ヒストグラム生成部２２、決定部２３、算出部２４、情報生成部２５および描画部２６として機能する。 The CPU of the computer, for example, reads and executes the program stored in the ROM to read and execute the image acquisition unit 21, the histogram generation unit 22, the determination unit 23, the calculation unit 24, the information generation unit 25, and the drawing unit of the control unit 2. Functions as 26.

また、制御部２の画像取得部２１、ヒストグラム生成部２２、決定部２３、算出部２４、情報生成部２５および描画部２６の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。 Further, at least one or all of the image acquisition unit 21, the histogram generation unit 22, the determination unit 23, the calculation unit 24, the information generation unit 25, and the drawing unit 26 of the control unit 2 are ASIC (Application Specific Integrated Circuit) or FPGA. It can also be configured with hardware such as (Field Programmable Gate Array).

また、記憶部３は、たとえば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、画像情報３１や、信頼度情報３２、各種プログラムの情報等を記憶することができる。なお、運転支援装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。 Further, the storage unit 3 corresponds to, for example, a RAM or an HDD. The RAM or HDD can store image information 31, reliability information 32, information on various programs, and the like. The driving support device 1 may acquire the above-mentioned program and various information via another computer or a portable recording medium connected by a wired or wireless network.

制御部２は、撮像画像Ｐから抽出した移動ベクトルＶのヒストグラムに基づいて移動ベクトルＶの代表値を決定するとともに、かかる代表値の信頼度を算出し、信頼度に基づいて運転を支援するための支援情報を生成する。 The control unit 2 determines the representative value of the movement vector V based on the histogram of the movement vector V extracted from the captured image P, calculates the reliability of the representative value, and supports the operation based on the reliability. Generate support information for.

画像取得部２１は、撮像部１０から所定の周期（例えば、１／３０秒周期）で時間的に連続して撮像画像Ｐを取得する。画像取得部２１は、取得した撮像画像Ｐを画像情報３１として記憶部３に記憶させるとともに、ヒストグラム生成部２２へ出力する。 The image acquisition unit 21 acquires images P from the image pickup unit 10 continuously in a predetermined cycle (for example, a cycle of 1/30 second). The image acquisition unit 21 stores the acquired captured image P as image information 31 in the storage unit 3 and outputs it to the histogram generation unit 22.

ここで、画像情報３１は、撮像画像Ｐが時系列に並べて記憶された情報である。画像情報３１は、画像取得部２１によって最新の撮像画像Ｐが記憶されると、時間的に最も古い撮像画像Ｐから順次削除して更新される。 Here, the image information 31 is information in which the captured images P are stored side by side in chronological order. When the latest captured image P is stored by the image acquisition unit 21, the image information 31 is sequentially deleted from the oldest captured image P in terms of time and updated.

ヒストグラム生成部２２は、撮像画像Ｐから車両Ｃの移動に伴う移動ベクトルＶを抽出し、複数の移動ベクトルＶに基づいてヒストグラムを生成する。ここで、図３Ａおよび図３Ｂを用いて、ヒストグラム生成部２２の処理内容について詳細に説明する。 The histogram generation unit 22 extracts the movement vector V accompanying the movement of the vehicle C from the captured image P, and generates a histogram based on the plurality of movement vectors V. Here, the processing contents of the histogram generation unit 22 will be described in detail with reference to FIGS. 3A and 3B.

図３Ａおよび図３Ｂは、ヒストグラム生成部２２の処理内容を示す図である。図３Ａおよび図３Ｂには、路面をＸ軸およびＹ軸の平面とする路面座標を示している。路面座標において、原点は、車両Ｃの後端中央部を示し、Ｘ軸は、車両Ｃの車幅方向を示し、Ｙ軸は、車両Ｃの前後方向を示す。また、図３Ａおよび図３Ｂには、Ｘ軸と平行な軸Ｘａを示しており、かかる軸Ｘａは、車両Ｃの後輪（旋回軸）の位置に対応している。 3A and 3B are diagrams showing the processing contents of the histogram generation unit 22. 3A and 3B show the road surface coordinates with the road surface as the plane of the X-axis and the Y-axis. In road surface coordinates, the origin indicates the central portion of the rear end of the vehicle C, the X-axis indicates the vehicle width direction of the vehicle C, and the Y-axis indicates the front-rear direction of the vehicle C. Further, FIGS. 3A and 3B show an axis Xa parallel to the X axis, and the axis Xa corresponds to the position of the rear wheel (turning axis) of the vehicle C.

また、図３Ａおよび図３Ｂには、撮像画像Ｐから抽出されたオプティカルフローを路面座標に投影した移動ベクトルＶを示している。オプティカルフローから移動ベクトルＶへの座標変換は、撮像部１０の取り付け俯角および取り付け高さに基づいて変換可能である。 Further, FIGS. 3A and 3B show a movement vector V in which the optical flow extracted from the captured image P is projected onto the road surface coordinates. The coordinate conversion from the optical flow to the movement vector V can be performed based on the mounting depression angle and mounting height of the imaging unit 10.

ヒストグラム生成部２２は、複数の移動ベクトルＶに基づいて車両Ｃの旋回角度αおよび移動距離を算出する。まず、図３Ａを用いて、車両Ｃの旋回角度αの算出方法について説明する。 The histogram generation unit 22 calculates the turning angle α and the moving distance of the vehicle C based on the plurality of movement vectors V. First, a method of calculating the turning angle α of the vehicle C will be described with reference to FIG. 3A.

図３Ａに示すように、まず、ヒストグラム生成部２２は、路面座標に変換された移動ベクトルＶに基づいて車両Ｃの旋回中心Ａを算出する。具体的には、ヒストグラム生成部２２は、各移動ベクトルＶの始点Ｐ１および終点Ｐ２の中点を通り、移動ベクトルＶと直交する直線が交わる点を旋回中心Ａとして算出する。 As shown in FIG. 3A, first, the histogram generation unit 22 calculates the turning center A of the vehicle C based on the movement vector V converted into the road surface coordinates. Specifically, the histogram generation unit 22 calculates the point where the straight line orthogonal to the movement vector V intersects as the turning center A, passing through the midpoint of the start point P1 and the end point P2 of each movement vector V.

旋回中心Ａは、軸Ｘａである車両Ｃの旋回軸上に位置しており、車両Ｃが円弧状に旋回する場合の中心となる位置である。つまり、路面座標において、旋回中心Ａと車両Ｃとの距離が遠い程、車両Ｃの旋回半径が大きいことを示す。 The turning center A is located on the turning axis of the vehicle C, which is the axis Xa, and is the center position when the vehicle C turns in an arc shape. That is, in terms of road surface coordinates, the farther the distance between the turning center A and the vehicle C is, the larger the turning radius of the vehicle C is.

つづいて、ヒストグラム生成部２２は、始点Ｐ１および終点Ｐ２から旋回中心Ａまで引かれた２直線のなす角を車両Ｃの旋回角度αとして算出する。ヒストグラム生成部２２は、各移動ベクトルＶについて同様に旋回角度αを算出し、算出した複数の旋回角度αの角度毎のヒストグラム（図１Ｂ等参照）を生成する。 Subsequently, the histogram generation unit 22 calculates the angle formed by the two straight lines drawn from the start point P1 and the end point P2 to the turning center A as the turning angle α of the vehicle C. The histogram generation unit 22 similarly calculates the turning angle α for each movement vector V, and generates a histogram for each of the calculated plurality of turning angles α (see FIG. 1B and the like).

ヒストグラム生成部２２は、例えば旋回角度αの階級値を１度毎に設定するが、これに限定されず、階級値の区分けは、任意に設定可能である。ヒストグラム生成部２２は、生成した旋回角度αのヒストグラムを決定部２３へ出力する。 The histogram generation unit 22 sets, for example, the class value of the turning angle α for each degree, but the classification is not limited to this, and the classification of the class value can be arbitrarily set. The histogram generation unit 22 outputs the generated histogram of the turning angle α to the determination unit 23.

なお、ヒストグラム生成部２２は、撮像画像Ｐのみに基づいてヒストグラムを生成することが可能である。つまり、ヒストグラム生成部２２は、舵角センサ等を用いることなく旋回角度αを算出することができる。これにより、運転支援装置１が例えば撮像部１０の後付にも対応可能となるため、汎用性を向上させることができる。 The histogram generation unit 22 can generate a histogram based only on the captured image P. That is, the histogram generation unit 22 can calculate the turning angle α without using a steering angle sensor or the like. As a result, the driving support device 1 can be retrofitted to, for example, the imaging unit 10, so that versatility can be improved.

次に、図３Ｂを用いて、車両Ｃの移動距離の算出方法について説明する。移動距離とは、２時刻間（例えば撮像画像Ｐの撮像間隔）における車両Ｃの移動距離を示す。ここで、移動ベクトルＶの元となるオプティカルフローは、撮像画像Ｐの路面等から抽出された特徴点を用いている。 Next, a method of calculating the moving distance of the vehicle C will be described with reference to FIG. 3B. The moving distance indicates the moving distance of the vehicle C in two time intervals (for example, the imaging interval of the captured image P). Here, the optical flow that is the source of the movement vector V uses the feature points extracted from the road surface or the like of the captured image P.

このため、車両Ｃが旋回しながら移動する場合、得られるオプティカルフローの長さは、車両Ｃの移動距離に加えて、車両Ｃの旋回角度αも影響する。 Therefore, when the vehicle C moves while turning, the length of the obtained optical flow is affected by the turning angle α of the vehicle C in addition to the moving distance of the vehicle C.

つまり、移動ベクトルＶの始点Ｐ１と終点Ｐ２とを結ぶ直線の長さは、移動距離および旋回角度αの２成分が合成された値となる。なお、車両Ｃが直進する場合は、旋回角度αが影響しない、つまり、移動ベクトルＶの長さがそのまま移動距離となる。 That is, the length of the straight line connecting the start point P1 and the end point P2 of the movement vector V is a value obtained by combining the two components of the movement distance and the turning angle α. When the vehicle C travels straight, the turning angle α does not affect it, that is, the length of the movement vector V becomes the movement distance as it is.

そこで、ヒストグラム生成部２２は、この点に着目し、移動ベクトルＶから旋回角度αの成分を除くことで、移動距離を算出する。具体的には、図３Ｂに示すように、まず、ヒストグラム生成部２２は、車両Ｃの所定の点Ａ１を中心として、移動ベクトルＶの始点Ｐ１を旋回角度α分回転させる。所定の点Ａ１は、例えば、車両Ｃの後輪軸の中心位置、言い換えれば、Ｙ軸および軸Ｘａの交点である。 Therefore, the histogram generation unit 22 pays attention to this point and calculates the movement distance by removing the component of the turning angle α from the movement vector V. Specifically, as shown in FIG. 3B, first, the histogram generation unit 22 rotates the start point P1 of the movement vector V by a turning angle α about a predetermined point A1 of the vehicle C. The predetermined point A1 is, for example, the center position of the rear wheel axle of the vehicle C, in other words, the intersection of the Y axis and the axis Xa.

ヒストグラム生成部２２は、始点Ｐ１の回転後の点Ｐ１ａから終点Ｐ２までを変換ベクトルＶａとして設定する。これにより、変換ベクトルＶａでは、移動ベクトルＶから旋回角度αの成分が除かれ、移動距離の成分、いわゆる並進量のみとなる。 The histogram generation unit 22 sets the rotation point P1a to the end point P2 of the start point P1 as the conversion vector Va. As a result, in the conversion vector Va, the component of the turning angle α is removed from the movement vector V, and only the component of the moving distance, the so-called translation amount, is obtained.

ヒストグラム生成部２２は、各移動ベクトルＶについて同様に変換ベクトルＶａに変換するとともに、変換ベクトルＶａの長さである移動距離を算出し、ヒストグラムを生成する。ヒストグラム生成部２２は、生成した移動距離のヒストグラムを決定部２３へ出力する。 The histogram generation unit 22 similarly converts each movement vector V into a conversion vector Va, calculates the movement distance which is the length of the conversion vector Va, and generates a histogram. The histogram generation unit 22 outputs the generated histogram of the movement distance to the determination unit 23.

なお、ヒストグラム生成部２２は、変換ベクトルＶａの長さを移動距離としてヒストグラムを生成したが、例えば、変換ベクトルＶａの長さをＹ軸向きの長さ（Ｙ軸並進量）およびＸ軸向きの長さ（Ｘ軸並進量）に分解して、それぞれについてヒストグラムを生成することとしてもよい。 The histogram generation unit 22 generated the histogram using the length of the conversion vector Va as the moving distance. For example, the length of the conversion vector Va is the length in the Y-axis direction (Y-axis translation amount) and the length in the X-axis direction. It may be decomposed into lengths (translations on the X-axis) and a histogram is generated for each of them.

図２に戻って、決定部２３について説明する。決定部２３は、ヒストグラム生成部２２によって生成されたヒストグラムに基づいて移動ベクトルＶの代表値を決定する。具体的には、決定部２３は、旋回角度αおよび移動距離それぞれのヒストグラムの最頻値Ｆ（図４参照）を代表値として決定する。 Returning to FIG. 2, the determination unit 23 will be described. The determination unit 23 determines the representative value of the movement vector V based on the histogram generated by the histogram generation unit 22. Specifically, the determination unit 23 determines the mode F (see FIG. 4) of each histogram of the turning angle α and the moving distance as a representative value.

決定部２３は、決定した代表値の情報を算出部２４へ出力する。なお、決定部２３は、最頻値Ｆを代表値として決定したが、これに限定されず、旋回角度αおよび移動距離の平均値を代表値として決定してもよい。 The determination unit 23 outputs the determined representative value information to the calculation unit 24. The determination unit 23 has determined the mode F as a representative value, but the present invention is not limited to this, and the average value of the turning angle α and the moving distance may be determined as a representative value.

算出部２４は、ヒストグラム生成部２２によって生成されたヒストグラムに基づいて決定部２３によって決定された代表値の信頼度を算出する。信頼度とは、代表値の信頼性を示す度合であり、より具体的には、決定部２３が決定した代表値が実際の移動ベクトルＶとずれる可能性がどの程度あるかを示す指標である。ここで、図４を用いて、算出部２４の処理内容について詳細に説明する。 The calculation unit 24 calculates the reliability of the representative value determined by the determination unit 23 based on the histogram generated by the histogram generation unit 22. The reliability is a degree indicating the reliability of the representative value, and more specifically, it is an index indicating how much the representative value determined by the determination unit 23 is likely to deviate from the actual movement vector V. .. Here, the processing contents of the calculation unit 24 will be described in detail with reference to FIG.

図４は、算出部２４の処理内容を示す図である。図４には、ヒストグラム生成部２２によって生成された移動距離のヒストグラムを示している。ここで、決定部２３は、ヒストグラムの最頻値Ｆを移動距離の代表値として決定している。 FIG. 4 is a diagram showing the processing contents of the calculation unit 24. FIG. 4 shows a histogram of the moving distance generated by the histogram generation unit 22. Here, the determination unit 23 determines the mode F of the histogram as a representative value of the moving distance.

算出部２４は、車両Ｃの運転者が行う車両Ｃのバック走行への切替操作を検出した場合に、信頼度の算出を開始する。具体的には、算出部２４は、シフトセンサ１１からシフト位置がリバースであることを示す情報を取得した場合に、信頼度の算出を開始する。 The calculation unit 24 starts calculating the reliability when the driver of the vehicle C detects the operation of switching the vehicle C to the back driving. Specifically, the calculation unit 24 starts the calculation of the reliability when the information indicating that the shift position is reverse is acquired from the shift sensor 11.

なお、算出部２４は、シフトセンサ１１からの情報に限らず、バック走行への切替操作であればよく、例えば車速がゼロになったことを検知して、信頼度の算出を開始することとしてもよい。これにより、不必要に信頼度を算出しなくてよいため、制御部２の処理負荷を抑えることができる。 The calculation unit 24 is not limited to the information from the shift sensor 11, and may be an operation for switching to back driving. For example, the calculation unit 24 detects that the vehicle speed has become zero and starts calculating the reliability. May be good. As a result, it is not necessary to calculate the reliability unnecessarily, so that the processing load of the control unit 2 can be suppressed.

つづいて、算出部２４は、信頼度情報３２を用いて、ヒストグラム生成部２２によって生成された移動距離のヒストグラムにおける最頻値Ｆと中央値Ｍとの差分Ｄに基づいて信頼度を算出する。 Subsequently, the calculation unit 24 calculates the reliability based on the difference D between the mode F and the median M in the histogram of the moving distance generated by the histogram generation unit 22 using the reliability information 32.

信頼度情報３２は、信頼度を算出するための係数の情報を含んだ情報であるが、かかる点について図５Ａを用いて後述する。最頻値Ｆとは、ヒストグラムにおいて頻度が最大となる階級値である。中央値Ｍとは、最小の階級値および最大の階級値の中間となる階級値である。 The reliability information 32 is information including information on a coefficient for calculating the reliability, and this point will be described later with reference to FIG. 5A. The mode value F is the class value having the highest frequency in the histogram. The median M is a class value that is intermediate between the minimum class value and the maximum class value.

最頻値Ｆと中央値Ｍとの差分Ｄが大きくなる場面として、夜間の撮像画像Ｐからヒストグラムを生成した場合がある。具体的には、算出部２４は、撮像画像Ｐが夜間画像である場合に、車両Ｃのバックライトや暗闇の影響で、ゼロ付近の階級値を最頻値Ｆとしてしまうことがある。 As a scene where the difference D between the mode F and the median M becomes large, there is a case where a histogram is generated from the captured image P at night. Specifically, when the captured image P is a night image, the calculation unit 24 may set the class value near zero as the mode value F due to the influence of the backlight or darkness of the vehicle C.

このため、算出部２４は、夜間画像の影響で最頻値Ｆおよび中央値Ｍの差分Ｄが大きい場合に、代表値の信頼度が低くなるように算出する。これにより、例えば夜間画像によって信頼度が低下していることを運転者が容易に知ることができる。 Therefore, the calculation unit 24 calculates so that the reliability of the representative value becomes low when the difference D between the mode value F and the median value M is large due to the influence of the nighttime image. As a result, the driver can easily know that the reliability is lowered by, for example, a night image.

また、算出部２４は、ヒストグラムのばらつきに基づいて信頼度を算出する。具体的には、算出部２４は、ヒストグラムの分散や標準偏差をばらつきとして算出する。つまり、算出部２４は、例えばヒストグラムの階級値が広範囲に分布している場合には、代表値が実際の値とずれる可能性が高い。このため、分散が大きい程、信頼度が低くなるように算出することで、信頼度をより正確に算出することができる。 Further, the calculation unit 24 calculates the reliability based on the variation of the histogram. Specifically, the calculation unit 24 calculates the variance and standard deviation of the histogram as variations. That is, in the calculation unit 24, for example, when the class values of the histogram are widely distributed, there is a high possibility that the representative values deviate from the actual values. Therefore, the reliability can be calculated more accurately by calculating so that the larger the variance, the lower the reliability.

なお、図４に示すように、算出部２４は、移動距離のヒストグラムを用いて信頼度を算出することが好ましい。これは、旋回角度αに基づいて移動距離を算出していることに基づく。つまり、算出部２４は、移動距離のヒストグラムを用いることで、旋回角度αおよび移動距離双方の影響を加味した信頼度を算出することができる。 As shown in FIG. 4, it is preferable that the calculation unit 24 calculates the reliability by using the histogram of the moving distance. This is based on the fact that the moving distance is calculated based on the turning angle α. That is, the calculation unit 24 can calculate the reliability in consideration of the influences of both the turning angle α and the moving distance by using the histogram of the moving distance.

なお、算出部２４は、移動距離のヒストグラムに限らず、旋回角度αのヒストグラムを用いて信頼度を算出することとしてもよい。かかる場合、移動距離および旋回角度α双方のヒストグラムからそれぞれ信頼度を算出し、かかる２つの信頼度を比較することで最終的な信頼度を算出することとしてもよい。 The calculation unit 24 may calculate the reliability by using not only the histogram of the moving distance but also the histogram of the turning angle α. In such a case, the reliability may be calculated from the histograms of both the moving distance and the turning angle α, and the final reliability may be calculated by comparing the two reliabilitys.

次に、図５Ａおよび図５Ｂを用いて算出部２４の信頼度算出についてさらに説明する。図５Ａは、信頼度情報３２の説明図である。まず、図５Ａを用いて、算出部２４の信頼度算出方法について説明する。 Next, the reliability calculation of the calculation unit 24 will be further described with reference to FIGS. 5A and 5B. FIG. 5A is an explanatory diagram of the reliability information 32. First, a method of calculating the reliability of the calculation unit 24 will be described with reference to FIG. 5A.

図５Ａに示すように、信頼度情報３２は、算出部２４によって算出された差分Ｄに応じた係数Ｘと、分散に応じた係数Ｙとを組み合わせて、信頼度を算出するための係数を決定する情報である。 As shown in FIG. 5A, the reliability information 32 determines a coefficient for calculating the reliability by combining the coefficient X according to the difference D calculated by the calculation unit 24 and the coefficient Y according to the variance. Information to be done.

より具体的には、算出部２４は、信頼度の最大値を４とし、係数Ｘおよび係数Ｙに応じて決定された係数を４から差し引いて信頼度を算出する、いわゆる減点方式を用いる。これにより、信頼度を容易に算出することができる。 More specifically, the calculation unit 24 uses a so-called deduction method in which the maximum value of the reliability is set to 4, and the coefficient determined according to the coefficient X and the coefficient Y is subtracted from 4 to calculate the reliability. Thereby, the reliability can be easily calculated.

図５Ａに示すように、算出部２４は、差分Ｄが大きい程、係数Ｘが大きくなり、また、分散が大きい程、係数Ｙが大きくなる、つまり、係数Ｘおよび係数Ｙの合算値が大きくなるため、結果として信頼度が小さくなる。 As shown in FIG. 5A, in the calculation unit 24, the larger the difference D, the larger the coefficient X, and the larger the variance, the larger the coefficient Y, that is, the total value of the coefficient X and the coefficient Y becomes larger. Therefore, the reliability is reduced as a result.

また、例えば、算出部２４は、ヒストグラムの差分Ｄが「４以下」であり、分散が「４５以下」である場合、減点数を「０」とする、すなわち、算出結果である信頼度は最大値である「４」となる。 Further, for example, when the difference D of the histogram is "4 or less" and the variance is "45 or less", the calculation unit 24 sets the deduction point to "0", that is, the reliability of the calculation result is maximum. The value is "4".

一方、算出部２４は、ヒストグラムの差分Ｄが「８以上」であり、分散が「６０以上」である場合、減点数を「４」とする、すなわち、算出結果である信頼度は最小値である「０」となる。 On the other hand, when the difference D of the histogram is "8 or more" and the variance is "60 or more", the calculation unit 24 sets the deduction point to "4", that is, the reliability of the calculation result is the minimum value. It becomes a certain "0".

なお、算出部２４は、信頼度を減点方式によって算出する場合に限らず、例えば、係数Ｘおよび係数Ｙに応じて決定された係数をそのまま信頼度として決定することとしてもよい。かかる場合には、信頼度の最大値は「０」となり、最小値は「４」となる。 The calculation unit 24 is not limited to the case where the reliability is calculated by the deduction method, and may, for example, determine the coefficient determined according to the coefficient X and the coefficient Y as it is as the reliability. In such a case, the maximum value of the reliability is "0" and the minimum value is "4".

また、図５Ａに示した信頼度の最大値や係数Ｘおよび係数Ｙは、一例であり、差分Ｄと分散との組み合わせによって相対的に信頼度が決定されるものであれば足りる。つづいて、算出部２４は、係数Ｘおよび係数Ｙによって算出した信頼度を、車両Ｃの走行速度に応じて補正する。かかる点について、図５Ｂを用いて説明する。 Further, the maximum value of the reliability and the coefficient X and the coefficient Y shown in FIG. 5A are examples, and it is sufficient if the reliability is relatively determined by the combination of the difference D and the variance. Subsequently, the calculation unit 24 corrects the reliability calculated by the coefficient X and the coefficient Y according to the traveling speed of the vehicle C. This point will be described with reference to FIG. 5B.

図５Ｂは、車両Ｃの走行速度に応じた補正方法の説明図である。図５Ｂに示すように、算出部２４は、車両Ｃの走行速度（車速）を行、差分Ｄおよび分散によって算出された信頼度を列とするテーブルの情報に基づいて信頼度を算出する。なお、かかるテーブルの情報は、例えば信頼度情報３２と合わせて記憶部３に記憶される。 FIG. 5B is an explanatory diagram of a correction method according to the traveling speed of the vehicle C. As shown in FIG. 5B, the calculation unit 24 calculates the reliability based on the information in the table in which the traveling speed (vehicle speed) of the vehicle C is rowed, the difference D and the reliability calculated by the variance are columns. The information in the table is stored in the storage unit 3 together with the reliability information 32, for example.

図５Ｂに示すように、算出部２４は、車速に応じた係数Ｚを用いて信頼度を補正することで、最終的な信頼度を算出する。具体的には、算出部２４は、車速が速い程、係数Ｚを小さくする、つまり、最終的な信頼度が小さくなるようにする。 As shown in FIG. 5B, the calculation unit 24 calculates the final reliability by correcting the reliability using the coefficient Z corresponding to the vehicle speed. Specifically, the calculation unit 24 reduces the coefficient Z as the vehicle speed increases, that is, the final reliability decreases.

これは、車速が速い程、２時刻間の撮像画像Ｐの変化が大きくなることで、同一特徴点の変化の追従精度が悪化することを考慮している。したがって、車速に応じて信頼度を補正することで、より正確な信頼度を算出することができる。 This is because the faster the vehicle speed, the larger the change in the captured image P between two hours, and the worse the tracking accuracy of the change in the same feature point. Therefore, more accurate reliability can be calculated by correcting the reliability according to the vehicle speed.

なお、算出部２４は、撮像画像Ｐに基づいて算出した移動距離を用いて車両Ｃの走行速度を算出してもよく、あるいは、別途設けられた車速センサ等から車両Ｃの走行速度を取得することとしてもよい。 The calculation unit 24 may calculate the traveling speed of the vehicle C using the moving distance calculated based on the captured image P, or acquire the traveling speed of the vehicle C from a separately provided vehicle speed sensor or the like. It may be that.

図２に戻って、情報生成部２５について説明する。情報生成部２５は、算出部２４によって算出された信頼度に基づいて車両Ｃの運転を支援するための支援情報を生成する。ここで、図６Ａおよび図６Ｂを用いて情報生成部２５の処理内容について説明する。 Returning to FIG. 2, the information generation unit 25 will be described. The information generation unit 25 generates support information for supporting the driving of the vehicle C based on the reliability calculated by the calculation unit 24. Here, the processing contents of the information generation unit 25 will be described with reference to FIGS. 6A and 6B.

図６Ａおよび図６Ｂは、情報生成部２５の処理内容を示す図である。図６Ａおよび図６Ｂでは、情報生成部２５が支援情報として車両Ｃの予測される進行方向を示す予測線１００を生成する処理を一例として説明する。 6A and 6B are diagrams showing the processing contents of the information generation unit 25. In FIGS. 6A and 6B, a process in which the information generation unit 25 generates a prediction line 100 indicating the predicted traveling direction of the vehicle C as support information will be described as an example.

図６Ａに示すように、情報生成部２５は、領域Ｒ内に予測線１００を描画するための支援情報を生成する。領域Ｒは、車両Ｃの前後方向Ｈおよび車幅Ｗによって規定される。例えば、前後方向Ｈは、算出部２４によって算出された移動距離に応じて動的に変化する値であり、車幅Ｗは、静的な値である。 As shown in FIG. 6A, the information generation unit 25 generates support information for drawing the prediction line 100 in the area R. The region R is defined by the front-rear direction H of the vehicle C and the vehicle width W. For example, the front-rear direction H is a value that dynamically changes according to the moving distance calculated by the calculation unit 24, and the vehicle width W is a static value.

情報生成部２５は、ヒストグラム生成部２２によって算出された旋回中心Ａを中心とする２つの円弧を予測線１００として生成する。かかる２つの円弧は、車両Ｃ側の基端がそれぞれ車両Ｃの側面位置に対応する。つまり、２つの円弧の間隔は、車幅を示す。 The information generation unit 25 generates two arcs centered on the turning center A calculated by the histogram generation unit 22 as the prediction line 100. In these two arcs, the base ends on the vehicle C side correspond to the side surface positions of the vehicle C, respectively. That is, the distance between the two arcs indicates the vehicle width.

情報生成部２５は、生成した予測線１００を路面座標から撮像画像Ｐの座標に変換する。なお、情報生成部２５は、予測線１００に加えて、車両Ｃの前後方向で平行となるように固定され、車幅を示す固定ガイド線を併せて生成することとしてもよい。 The information generation unit 25 converts the generated prediction line 100 from the road surface coordinates to the coordinates of the captured image P. In addition to the prediction line 100, the information generation unit 25 may be fixed so as to be parallel to the vehicle C in the front-rear direction, and may also generate a fixed guide line indicating the vehicle width.

また、情報生成部２５は、算出部２４によって算出された信頼度に応じた表示形態の予測線１００を生成する。かかる点について、図６Ｂを用いて説明する。図６Ｂに示すグラフでは、横軸に信頼度を示し、縦軸に予測線１００の透過率を示している。 Further, the information generation unit 25 generates the prediction line 100 of the display form according to the reliability calculated by the calculation unit 24. This point will be described with reference to FIG. 6B. In the graph shown in FIG. 6B, the horizontal axis shows the reliability and the vertical axis shows the transmittance of the prediction line 100.

ここで、透過率「０％」とは、予測線１００が運転者に視認できる状態であり、予測線１００と重なった部分の撮像画像Ｐは視認できない状態を示す。また、透過率が０より大きく、１００％未満である場合、たとえば、「５０％」は、半透明の予測線１００と予測線１００と重なった部分の撮像画像Ｐとが視認できる状態を示す。 Here, the transmittance "0%" indicates a state in which the prediction line 100 is visible to the driver, and the captured image P of the portion overlapping the prediction line 100 is invisible. When the transmittance is greater than 0 and less than 100%, for example, "50%" indicates a state in which the translucent prediction line 100 and the captured image P of the portion overlapping the prediction line 100 can be visually recognized.

５０％より透過率が高くなると、予測線１００を通して撮像画像Ｐをより鮮明に視認でき、一方、５０％より透過率が低くなると、予測線１００がより鮮明に視認できる。透過率「１００％」は、予測線１００が透明のため視認できず、予測線１００と重なった部分の撮像画像Ｐのみが視認できる状態を示す。 When the transmittance is higher than 50%, the captured image P can be visually recognized more clearly through the prediction line 100, while when the transmittance is lower than 50%, the prediction line 100 can be visually recognized more clearly. The transmittance "100%" indicates a state in which the prediction line 100 is transparent and therefore cannot be visually recognized, and only the captured image P of the portion overlapping the prediction line 100 can be visually recognized.

図６Ｂに示すように、情報生成部２５は、信頼度が低い程、生成する予測線１００の透過率を高くする。つまり、情報生成部２５は、信頼度が低い程、予測線１００よりも撮像画像Ｐを視認しやすくすることで、撮像画像Ｐをより鮮明に視認できるようにする。 As shown in FIG. 6B, the lower the reliability of the information generation unit 25, the higher the transmittance of the prediction line 100 to be generated. That is, the lower the reliability of the information generation unit 25, the easier it is to visually recognize the captured image P than the prediction line 100, so that the captured image P can be visually recognized more clearly.

また、情報生成部２５は、信頼度がゼロの場合には、予測線１００の透過率を１００％にする、つまり、予測線１００を非表示とする。このように、予測線１００の表示形態を変えることで、車両Ｃの運転者が予測線１００の信頼度を認識できるため、予測線１００が実際と一致していなかった場合でも戸惑いにくくすることができる。 Further, when the reliability is zero, the information generation unit 25 sets the transmittance of the prediction line 100 to 100%, that is, hides the prediction line 100. By changing the display form of the prediction line 100 in this way, the driver of the vehicle C can recognize the reliability of the prediction line 100, so that even if the prediction line 100 does not match the actual one, it is difficult to be confused. it can.

なお、予測線１００の表示形態は、透過率に限定されるものではなく、色の濃淡を変化させるようにしてもよい。あるいは、予測線１００を信頼度に応じた点滅間隔で点滅表示させることとしてもよい。 The display form of the prediction line 100 is not limited to the transmittance, and the shade of color may be changed. Alternatively, the prediction line 100 may be displayed blinking at blinking intervals according to the reliability.

図２に戻って、描画部２６について説明する。描画部２６は、車両Ｃの予測される進行方向を示す予測線１００を撮像画像Ｐに重ねて描画した合成画像を生成する。描画部２６は、生成した合成画像を表示装置５０に出力することで、合成画像を表示させる。 Returning to FIG. 2, the drawing unit 26 will be described. The drawing unit 26 generates a composite image drawn by superimposing the prediction line 100 indicating the predicted traveling direction of the vehicle C on the captured image P. The drawing unit 26 outputs the generated composite image to the display device 50 to display the composite image.

次に、図７を用いて、実施形態に係る運転支援装置１が実行する支援処理の処理手順について説明する。図７は、実施形態に係る運転支援装置１が実行する支援処理の処理手順を示すフローチャートである。 Next, the processing procedure of the support processing executed by the driving support device 1 according to the embodiment will be described with reference to FIG. 7. FIG. 7 is a flowchart showing a processing procedure of the support processing executed by the driving support device 1 according to the embodiment.

図７に示すように、まず、画像取得部２１は、バック走行の切替操作を検出する（ステップＳ１０１）。なお、画像取得部２１が切替操作を検出することとしたが、算出部２４が切替操作を直接検出することとしてもよい。 As shown in FIG. 7, first, the image acquisition unit 21 detects the back running switching operation (step S101). Although the image acquisition unit 21 has decided to detect the switching operation, the calculation unit 24 may directly detect the switching operation.

つづいて、ヒストグラム生成部２２は、車両Ｃに設けられた撮像部１０の撮像画像Ｐから車両Ｃの移動に伴う移動ベクトルＶを抽出し、複数の移動ベクトルＶに基づいてヒストグラムを生成する（ステップＳ１０２）。 Subsequently, the histogram generation unit 22 extracts the movement vector V accompanying the movement of the vehicle C from the captured image P of the imaging unit 10 provided in the vehicle C, and generates a histogram based on the plurality of movement vectors V (step). S102).

つづいて、決定部２３は、ヒストグラム生成部２２によって生成されたヒストグラムに基づいて移動ベクトルＶの代表値を算出する（ステップＳ１０３）。つづいて、算出部２４は、ヒストグラム生成部２２によって生成されたヒストグラムに基づいて決定部２３によって決定された代表値の信頼度を算出する（ステップＳ１０４）。 Subsequently, the determination unit 23 calculates a representative value of the movement vector V based on the histogram generated by the histogram generation unit 22 (step S103). Subsequently, the calculation unit 24 calculates the reliability of the representative value determined by the determination unit 23 based on the histogram generated by the histogram generation unit 22 (step S104).

つづいて、情報生成部２５は、算出部２４によって算出された信頼度が最大値であるか否かを判定する（ステップＳ１０５）。情報生成部２５は、信頼度が最大値であった場合（ステップＳ１０５，Ｙｅｓ）、通常表示となる予測線１００を生成し（ステップＳ１０６）、処理を終了する。 Subsequently, the information generation unit 25 determines whether or not the reliability calculated by the calculation unit 24 is the maximum value (step S105). When the reliability is the maximum value (step S105, Yes), the information generation unit 25 generates a prediction line 100 to be normally displayed (step S106), and ends the process.

一方、ステップＳ１０５において、情報生成部２５は、信頼度が最大値でなかった場合（ステップＳ１０５，Ｎｏ）、信頼度がゼロであるか否かを判定する（ステップＳ１０７）。 On the other hand, in step S105, when the reliability is not the maximum value (steps S105, No), the information generation unit 25 determines whether or not the reliability is zero (step S107).

情報生成部２５は、信頼度がゼロであった場合（ステップＳ１０７，Ｙｅｓ）、非表示となるように予測線１００を生成し（ステップＳ１０８）、処理を終了する。あるいは、情報生成部２５は、予測線１００の生成を禁止する。 When the reliability is zero (step S107, Yes), the information generation unit 25 generates a prediction line 100 so as to be hidden (step S108), and ends the process. Alternatively, the information generation unit 25 prohibits the generation of the prediction line 100.

一方、ステップＳ１０７において、情報生成部２５は、信頼度がゼロでない場合（ステップＳ１０７，Ｎｏ）、信頼度に応じた表示形態で表示される予測線１００を生成し（ステップＳ１０９）、処理を終了する。 On the other hand, in step S107, when the reliability is not zero (step S107, No), the information generation unit 25 generates a prediction line 100 displayed in a display form according to the reliability (step S109), and ends the process. To do.

上述してきたように、実施形態に係る運転支援装置１は、ヒストグラム生成部２２と、決定部２３と、算出部２４と、情報生成部２５とを備える。ヒストグラム生成部２２は、車両Ｃに設けられた撮像部１０の撮像画像Ｐから車両Ｃの移動に伴う移動ベクトルＶを抽出し、複数の移動ベクトルＶに基づいてヒストグラムを生成する。決定部２３は、ヒストグラム生成部２２によって生成されたヒストグラムに基づいて移動ベクトルＶの代表値を決定する。算出部２４は、ヒストグラム生成部２２によって生成されたヒストグラムに基づいて決定部２３によって決定された代表値の信頼度を算出する。情報生成部２５は、算出部２４によって算出された信頼度に基づいて車両Ｃの運転を支援するための支援情報を生成する。これにより、運転者が戸惑うことを防止できる。 As described above, the driving support device 1 according to the embodiment includes a histogram generation unit 22, a determination unit 23, a calculation unit 24, and an information generation unit 25. The histogram generation unit 22 extracts the movement vector V accompanying the movement of the vehicle C from the captured image P of the imaging unit 10 provided in the vehicle C, and generates a histogram based on the plurality of movement vectors V. The determination unit 23 determines the representative value of the movement vector V based on the histogram generated by the histogram generation unit 22. The calculation unit 24 calculates the reliability of the representative value determined by the determination unit 23 based on the histogram generated by the histogram generation unit 22. The information generation unit 25 generates support information for supporting the driving of the vehicle C based on the reliability calculated by the calculation unit 24. This can prevent the driver from being confused.

なお、上述した実施形態では、撮像画像Ｐのみを用いて移動ベクトルＶの代表値を決定したが、例えば舵角センサ等を別途設けておいてもよい。つまり、通常は、舵角センサから車両Ｃの旋回移動を検出することとし、例えば、舵角センサが故障した場合に、撮像画像Ｐを用いて移動ベクトルＶを決定することとしてもよい。 In the above-described embodiment, the representative value of the movement vector V is determined using only the captured image P, but for example, a steering angle sensor or the like may be provided separately. That is, normally, the turning movement of the vehicle C is detected from the steering angle sensor, and for example, when the steering angle sensor fails, the movement vector V may be determined using the captured image P.

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。 Further effects and variations can be easily derived by those skilled in the art. For this reason, the broader aspects of the invention are not limited to the particular details and representative embodiments expressed and described as described above. Therefore, various modifications can be made without departing from the spirit or scope of the general concept of the invention as defined by the appended claims and their equivalents.

１運転支援装置
２制御部
３記憶部
１０撮像部
２１画像取得部
２２ヒストグラム生成部
２３決定部
２４算出部
２５情報生成部
Ｃ車両
Ｖ移動ベクトル 1 Driving support device 2 Control unit 3 Storage unit 10 Imaging unit 21 Image acquisition unit 22 Histogram generation unit 23 Decision unit 24 Calculation unit 25 Information generation unit C Vehicle V Movement vector

Claims

車両に設けられた撮像部の撮像画像から前記車両の移動に伴う移動ベクトルを抽出し、複数の前記移動ベクトルに基づいてヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラム生成部によって生成された前記ヒストグラムに基づいて前記移動ベクトルの代表値を決定する決定部と、
前記ヒストグラム生成部によって生成された前記ヒストグラムに基づいて前記決定部によって決定された前記代表値の信頼度を算出する算出部と、
前記算出部によって算出された前記信頼度に基づいて前記車両の運転を支援するための支援情報を生成する情報生成部と、
を備え、
前記決定部は、
前記ヒストグラムの最頻値を前記代表値として決定し、
前記算出部は、
前記ヒストグラムにおける前記最頻値と中央値との差分に基づいて前記信頼度を算出すること
を特徴とする運転支援装置。 A histogram generation unit that extracts a movement vector accompanying the movement of the vehicle from an image captured by an imaging unit provided on the vehicle and generates a histogram based on the plurality of movement vectors.
A determination unit that determines a representative value of the movement vector based on the histogram generated by the histogram generation unit, and a determination unit.
A calculation unit that calculates the reliability of the representative value determined by the determination unit based on the histogram generated by the histogram generation unit, and a calculation unit.
An information generation unit that generates support information for supporting the driving of the vehicle based on the reliability calculated by the calculation unit, and an information generation unit .
Equipped with a,
The decision unit
The mode value of the histogram is determined as the representative value, and
The calculation unit
A driving support device characterized in that the reliability is calculated based on the difference between the mode value and the median value in the histogram.

前記車両の予測される進行方向を示す予測線を前記撮像画像に重ねて描画する描画部をさらに備え、
前記情報生成部は、
前記算出部によって算出された前記信頼度に応じた表示形態の前記予測線を含む前記支援情報を生成し、当該支援情報を前記描画部へ出力すること
を特徴とする請求項１に記載の運転支援装置。 A drawing unit for drawing a prediction line indicating the predicted traveling direction of the vehicle by superimposing it on the captured image is further provided.
The information generation unit
The operation according to claim 1, wherein the support information including the prediction line in a display form according to the reliability calculated by the calculation unit is generated, and the support information is output to the drawing unit. Support device.

前記移動ベクトルの大きさは、
前記車両の旋回角度の成分と、前記車両の移動距離の成分とを含み、
前記ヒストグラム生成部は、
前記移動ベクトルの大きさから前記旋回角度の成分を除くことによって算出される前記移動距離の前記ヒストグラムを生成し、
前記算出部は、
前記移動距離の前記ヒストグラムに基づいて前記信頼度を算出すること
を特徴とする請求項１または２に記載の運転支援装置。 The magnitude of the movement vector is
The component of the turning angle of the vehicle and the component of the moving distance of the vehicle are included.
The histogram generator
The histogram of the movement distance calculated by removing the component of the turning angle from the magnitude of the movement vector is generated.
The calculation unit
The driving support device according to claim 1 or 2, wherein the reliability is calculated based on the histogram of the moving distance.

前記算出部は、
前記ヒストグラムのばらつきに基づいて前記信頼度を算出すること
を特徴とする請求項１〜３のいずれか一つに記載の運転支援装置。 The calculation unit
The driving support device according to any one of claims 1 to 3 , wherein the reliability is calculated based on the variation of the histogram.

前記算出部は、
前記車両の走行速度に応じて前記信頼度を補正すること
を特徴とする請求項１〜４のいずれか一つに記載の運転支援装置。 The calculation unit
The driving support device according to any one of claims 1 to 4 , wherein the reliability is corrected according to the traveling speed of the vehicle.

前記ヒストグラム生成部は、
前記撮像画像のみに基づいて前記ヒストグラムを生成すること
を特徴とする請求項１〜５のいずれか一つに記載の運転支援装置。 The histogram generator
The driving support device according to any one of claims 1 to 5 , wherein the histogram is generated based only on the captured image.

前記算出部は、
前記車両の運転者が行う前記車両のバック走行への切替操作を検出した場合に、前記信頼度の算出を開始すること
を特徴とする請求項１〜６のいずれか一つに記載の運転支援装置。 The calculation unit
The driving support according to any one of claims 1 to 6 , wherein the calculation of the reliability is started when the operation of switching to the back running of the vehicle is detected by the driver of the vehicle. apparatus.

車両に設けられた撮像部の撮像画像から前記車両の移動に伴う移動ベクトルを抽出し、複数の前記移動ベクトルに基づいてヒストグラムを生成するヒストグラム生成工程と、
前記ヒストグラム生成工程によって生成された前記ヒストグラムに基づいて前記移動ベクトルの代表値を決定する決定工程と、
前記ヒストグラム生成工程によって生成された前記ヒストグラムに基づいて前記決定工程によって決定された前記代表値の信頼度を算出する算出工程と、
前記算出工程によって算出された前記信頼度に基づいて前記車両の運転を支援するための支援情報を生成する情報生成工程と、
を含み、
前記決定工程は、
前記ヒストグラムの最頻値を前記代表値として決定し、
前記算出工程は、
前記ヒストグラムにおける前記最頻値と中央値との差分に基づいて前記信頼度を算出すること
を特徴とする運転支援方法。 A histogram generation step of extracting a movement vector accompanying the movement of the vehicle from an image captured by an imaging unit provided in the vehicle and generating a histogram based on the plurality of the movement vectors.
A determination step of determining a representative value of the movement vector based on the histogram generated by the histogram generation step, and a determination step of determining the representative value of the movement vector.
A calculation step of calculating the reliability of the representative value determined by the determination step based on the histogram generated by the histogram generation step, and a calculation step.
An information generation step of generating support information for supporting the driving of the vehicle based on the reliability calculated by the calculation step, and an information generation step .
Only including,
The determination step is
The mode value of the histogram is determined as the representative value, and
The calculation process is
A driving support method characterized in that the reliability is calculated based on the difference between the mode and the median in the histogram.