WO2023085226A1 - 逆走判定装置、逆走判定方法、および逆走判定プログラム - Google Patents
逆走判定装置、逆走判定方法、および逆走判定プログラム Download PDFInfo
- Publication number
- WO2023085226A1 WO2023085226A1 PCT/JP2022/041348 JP2022041348W WO2023085226A1 WO 2023085226 A1 WO2023085226 A1 WO 2023085226A1 JP 2022041348 W JP2022041348 W JP 2022041348W WO 2023085226 A1 WO2023085226 A1 WO 2023085226A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- reverse
- vehicle
- running
- determination
- determining
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 36
- 230000002441 reversible effect Effects 0.000 claims description 56
- 238000010586 diagram Methods 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Definitions
- the present disclosure relates to a reverse running determination device, a reverse running determination method, and a reverse running determination program.
- Patent Document 1 describes a device that recognizes marks on the road based on images captured by a camera and determines whether or not the own vehicle is running in the opposite direction.
- the above-described device determines reverse running when the host vehicle is actually running in reverse. Therefore, it is not possible to quickly detect this at the stage where reverse running is likely to occur.
- means according to one aspect of the present disclosure and effects thereof will be described.
- the reverse-running determination device executes a reverse-running determination process for determining whether or not the vehicle will run in the reverse direction, based on a predetermined object indicated by image data corresponding to the output of a camera directed toward the front of the vehicle.
- the predetermined object is an object that is periodically arranged along a confluence with the road on which the vehicle is traveling, and the reverse driving determination process is performed in the horizontal direction indicated by the image data.
- FIG. 1 is a block diagram showing a partial configuration of a vehicle according to the first embodiment
- FIG. 2 is a diagram illustrating the field of view of the camera according to the embodiment
- FIG. 3 is a flowchart showing the procedure of processing executed by the control device according to the embodiment
- FIG. 4 is a diagram exemplifying a signboard used for reverse-driving risk scene determination according to the embodiment
- FIG. 5 is a diagram illustrating an image during reverse running according to the embodiment
- 6(a) and 6(b) are diagrams illustrating the displacement of images at the time of merging according to the embodiment
- FIG. 7 is a diagram illustrating an image for explaining the effect of the embodiment
- FIG. 8 is a flowchart of a procedure of processing executed by a control device according to the second embodiment
- FIG. 9 is a diagram exemplifying a reverse-running determination method according to the third embodiment.
- image data Dp which is data obtained by imaging the outside of the vehicle VC.
- the field of view FV of the camera 10 is the front area of the vehicle VC.
- the field of view FV is a symmetrical area with respect to the longitudinal direction of the vehicle.
- the horizontal angle of the field of view FV is 180° or less.
- the image ECU 20 executes processing for recognizing objects around the vehicle based on the image data Dp.
- the image ECU 20 includes a PU 22 and a storage device 24 .
- PU 22 is a software processing device comprising at least one of CPU, GPU, and TPU.
- the storage device 24 stores an object recognition program 24a and object recognition mapping data 24b.
- the object recognition map data 24b defines an object recognition map for inputting the image data Dp and outputting variable values related to object recognition results.
- Object recognition maps include both discriminative models and regression models.
- the identification model uses a variable indicating whether or not it is a predetermined object as an output variable.
- the regression model uses coordinate values corresponding to predetermined positions on a predetermined outline of an object as output variables.
- the ADASECU 30 executes processing for controlling travel of the vehicle VC.
- the ADASECU 30 receives the result of recognition by the image ECU 20 via the local network 28 when executing processing for controlling travel.
- the ADASECU 30 also operates a drive system 40 and a braking system 42 .
- the drive system 40 includes at least one of an internal combustion engine and a rotating electrical machine as a thrust generating device for the vehicle.
- the drive system 40 may include a drive control device that controls the internal combustion engine and the rotating electric machine.
- "the ADASECU 30 operates the drive system 40" means that the ADASECU 30 outputs a command signal to the drive control device.
- the braking system 42 includes at least one of a device that decelerates the rotation of the wheels by frictional force and a device that decelerates the rotation of the wheels by converting the power of the wheels into electrical energy.
- the device that decelerates the rotation of the wheels by converting it into electrical energy may be shared with the rotating electric machine of the drive system.
- the braking system may include a braking control device that controls a device that decelerates the rotation of the wheels.
- "the ADASECU 30 operates the braking system 42" means that the ADASECU 30 outputs a command signal to the braking control device.
- the ADASECU 30 includes a PU 32 and a storage device 34.
- PU 32 is a software processing device comprising at least one of CPU, GPU, and TPU.
- the storage device 34 stores a driving support program 34a.
- the driving support program 34a particularly includes command data for causing the PU 32 to execute support processing for suppressing reverse running of the vehicle VC.
- Fig. 3 shows the procedure of support processing for suppressing reverse driving of the vehicle VC.
- the processing shown in FIG. 3 is implemented by the PU 32 repeatedly executing the driving assistance program 34a stored in the storage device 34, for example, at predetermined intervals.
- the step number of each process is represented by a number prefixed with "S".
- the PU 32 first acquires the recognition result of the object by the image ECU 20 (S10). Next, PU32 determines whether the flag F is "1" (S12). The flag F is set to "1" when the scene is a reverse driving risk scene, and is set to "0" otherwise.
- a reverse-running risk scene is a driving scene in which a reverse-running risk occurs.
- the PU 32 determines whether or not an object indicating a meeting point is detected based on the recognition result obtained by the process of S10 ( S14).
- An object that indicates a meeting point is, for example, the signboard shown in FIG. FIG. 4 exemplifies a signboard indicating that the vehicle will join the main line.
- the traveling direction of the lane in which the vehicle VC is traveling forms an acute angle with the traveling directions of the other lanes.
- the above recognition results can be obtained using the identification model of the object recognition map. That is, it can be acquired by including a variable indicating whether or not the signboard is the above-mentioned signboard in the output variables of the identification model.
- the discriminant model is a trained model that has been trained using each of the image data Dp in which the signboard is captured and the image data Dp that does not include the signboard as training data.
- FIG. 1 An example of an arrow signboard 52 is shown in FIG.
- the arrow signboard 52 indicates the traveling direction of the lane to which the lane in which the vehicle VC is traveling merges.
- a plurality of arrow signboards 52 are arranged at predetermined intervals along the merging lane.
- “A plurality of vehicles are arranged at predetermined intervals along the merging lane” means the following. That is, when there is no lane adjacent to the merging destination lane in which the traveling direction is opposite, the area adjacent to the merging destination lane is arranged along the traveling direction. In addition, when there is a lane in which the traveling direction is opposite to the lane adjacent to the merging lane, it means that the area adjacent to the opposite lane is arranged along the traveling direction.
- the recognition result used in the process of S18 can be obtained using the identification model of the object recognition map. That is, it can be obtained by including a variable indicating whether or not it is the arrow signboard 52 in the output variables of the identification model.
- the discriminative model is a trained model that has been trained using image data Dp in which the arrow signboard 52 is captured and image data Dp that does not include the arrow signboard 52 as training data.
- Condition (i) The condition is that the arrow signboards 52 are present on both left and right sides in front of and below the vehicle VC in the image indicated by the image data Dp.
- FIG. 5 illustrates a case where condition (i) is satisfied.
- FIG. 5 shows an example in which arrow signboards 52 exist on both sides of the left/right determination line 54 .
- FIG. 5 shows an example in which the left/right determination line 54 is a line that divides the area into left and right at the center in the horizontal direction of the image 50 indicated by the image data Dp.
- FIG. 5 also shows an example in which an arrow signboard 52 exists below the up/down determination line 56 .
- FIG. 5 shows an example in which the vertical determination line 56 is a line that bisects the area at the vertical center of the image 50 indicated by the image data Dp.
- FIG. 6 exemplifies the displacement of the arrow signboard 52 in the image 50 when the vehicle runs in reverse.
- FIG. 6(a) shows the time when the lane 60 on which the vehicle VC is traveling reaches the point where it merges with the lane 62 of the merging destination. In that case, the arrow signboard 52 is located on the right side of the image 50 . In other words, the arrow signboard 52 is located on the driver's seat side.
- FIG. 6(b) shows the point in time when the vehicle VC is about to drive in the lane 62 in the reverse direction.
- the arrow signboard 52 is located on the left side of the image 50 .
- the arrow signboard 52 is located on the passenger seat side.
- the arrow signboard 52 is displaced in the image 50 in the direction from the driver's seat to the passenger's seat.
- the recognition results used by the PU 32 to determine whether the conditions (i) and (ii) are satisfied among the recognition results obtained by the process of S10 are obtained using the regression model of the object recognition map. be able to. That is, it can be realized by including, for example, the coordinates of the four vertices of the arrow signboard 52 in the output variables of the object recognition mapping.
- the regression model is a learned model that has been learned using the image data Dp in which the arrow signboard 52 is captured and the vertex coordinates of the arrow signboard 52 in the image data Dp as training data.
- the PU 32 determines that the logical product is true (S20: YES)
- the PU 32 determines reverse running (S22).
- the vehicle VC is forcibly stopped by forcibly operating the driving system 40 and the braking system 42 (S24).
- the forced stop means executing control to stop the vehicle VC regardless of the user's accelerator operation or the like.
- the PU 32 substitutes "0" for the flag F when completing the process of S24 and when making a negative determination in the process of S20 (S26). It should be noted that the PU 32 temporarily terminates the series of processes shown in FIG. 2 when the processes of S16 and S26 are completed and when a negative determination is made in the processes of S14 and S18.
- the PU 32 determines the reverse driving based on the arrangement and displacement direction of the arrow signboard 52 indicating the traveling direction of the merging destination. As a result, it is possible to determine whether the vehicle is traveling in the opposite direction before the vehicle actually travels in the opposite direction in the merging lane.
- (1) PU 32 determines that the vehicle is running in the wrong direction when the AND of condition (i) and condition (ii) is true. Therefore, it is possible to suppress erroneous determination that the vehicle is running in the reverse direction, as compared with the case where the determination is made based only on the condition (i).
- Fig. 7 shows the case where the merging lane is curved.
- the arrow signboards 52 can be detected on both the left and right sides of the left/right determination line 54 at the stage when the vehicle VC starts traveling in the merging lane. Therefore, depending on the radius of curvature of the curve and the like, the arrow signboards 52 can be detected below the up/down determination line 56 and on both the left and right sides of the left/right determination line 54 . However, in that case, the displacement direction of the arrow signboard 52 does not satisfy the condition (ii).
- Condition (i) is such that the logical product of the condition that the arrow signboard 52 is positioned on both the left and right sides of the left/right determination line 54 and the condition that the arrow signboard 52 is positioned below the top/bottom determination line 56 is true. condition. As a result, the condition (i) is satisfied in the situation illustrated in FIG. You can prevent things from happening.
- the PU 32 executed the processing of S20 on the condition that the wrong-way driving risk scene has been determined.
- the arrow signboard 52 at the rear of the vehicle traveling ahead, it is possible to suppress the affirmative determination in the processing of S20.
- the PU 32 forcibly stops the vehicle VC when making a reverse run determination. As a result, it is possible to prevent the vehicle from interfering with the running of the vehicle located in the merging lane.
- the second embodiment will be described below with reference to the drawings, focusing on differences from the first embodiment.
- FIG. 8 shows the procedure of support processing for suppressing reverse driving of the vehicle VC according to this embodiment.
- the processing shown in FIG. 8 is implemented by the PU 32 repeatedly executing the driving support program 34a stored in the storage device 34, for example, at predetermined intervals.
- the same step numbers are assigned to the processes corresponding to the processes shown in FIG. 3 for the sake of convenience.
- the PU 32 determines whether or not the logical product of condition (i) and the following condition (iii) is true (S20a).
- Condition (iii) The condition is that the size difference between the arrow signboards 52 is equal to or less than a predetermined value. This is a condition for not making a reverse driving determination when the condition (i) is satisfied in the situation illustrated in FIG.
- Whether or not the difference in size is equal to or less than a predetermined value can be realized, for example, by calculating the area of arrow signboard 52 in image 50 from the coordinates of the four vertices of arrow signboard 52 .
- the PU 32 determines that the logical product is true (S20a: YES), it proceeds to the processing of S22, and when it determines that the logical product is false (S20a: NO), it proceeds to the processing of S26.
- the condition (i) is changed to the condition illustrated in FIG.
- a pair of left and right determination lines 54l and 54r are provided.
- the left/right determination lines 54l and 54r are arranged symmetrically with respect to the left/right determination line 54 illustrated in FIG.
- the left/right determination line 54l is located on the left side of the center in the horizontal direction in the image 50 .
- the left/right determination line 54r is located on the right side of the center in the horizontal direction in the image 50 .
- condition (i) a condition that the arrow signs 52 are present on the left side of the left/right determination line 54l and the right side of the left/right determination line 54r below the up/down determination line 56 in the image 50 is provided. adopt.
- the condition may be that the logical AND of the above conditions (i), (ii), and (iii) is true.
- the logical sum of the condition that the logical product of the above condition (i) and the condition (ii) is true and the condition that the logical product of the above condition (i) and the condition (iii) is true is It may be a condition that it is true.
- the condition may be that the logical sum of the above conditions (i) and (ii) is true.
- condition (i) a condition obtained by removing the condition that the arrow signboard 52 is positioned below the up/down determination line 56 from condition (i) may be used. .
- the process of stopping the vehicle VC was exemplified as the countermeasure process for reverse running, but the present invention is not limited to this.
- it may be processing to warn the user that the vehicle is about to run in the wrong direction. This can be achieved, for example, by generating a predetermined alarm sound.
- visual information may be added.
- the ADAS ECU 30 as the driving control device receives the object recognition result obtained by subjecting the image data Dp to image recognition processing or the like by the image ECU 20, but the present invention is not limited to this.
- the ADASECU 30 may execute the processing executed by the image ECU 20 in the above embodiment.
- the travel control device is not limited to one that includes the PU 32 and the storage device 34 and executes software processing.
- a dedicated hardware circuit such as an ASIC may be provided to perform hardware processing at least part of what is software processed in the above embodiments. That is, the execution device may have any one of the following configurations (a) to (c).
- (c) provide dedicated hardware circuitry to perform all of the above processing;
- the computer is not limited to a single PU 32 as illustrated in FIG. Moreover, as illustrated in FIG. 1, the computer is not limited to a computer installed in a vehicle.
- the processing of FIG. 3 other than the processing of S24 may be executed by the PU installed in the driver's portable terminal.
- the computer installed on the vehicle and the computer not installed on the vehicle communicate with each other and cooperatively execute the driving support program 34a.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
逆走判定装置は、車両の前方に向けられたカメラ(10)の出力に応じた画像データが示す所定のオブジェクト(52)に基づき、前記車両が逆走するか否かを判定する逆走判定処理(S20,S22)を実行するように構成され、前記所定のオブジェクトは、前記車両が走行している道路と合流する合流路に沿って周期的に配置されている物体であり、前記逆走判定処理は、前記画像データが示す水平方向における左側の領域および右側の領域の2つの領域のそれぞれに前記所定のオブジェクトが撮像されている場合に前記車両が逆走すると判定する処理と、前記画像データが示す領域の左右両端部のうちの所定の一方から他方へと前記所定のオブジェクトが変位する場合に前記車両が逆走すると判定する処理と、の2つの処理のうちの少なくとも1つの処理を含む。
Description
本出願は、2021年11月12日に出願された日本出願番号2021-184762号に基づくもので、ここにその記載内容を援用する。
本開示は、逆走判定装置、逆走判定方法、および逆走判定プログラムに関する。
たとえば、下記特許文献1には、カメラの撮像画像に基づいて道路上のマークを認識し、自車両が逆走しているか否かを判定する装置が記載されている。
上記装置は、自車両が実際に逆走しているときに逆走を判定するものである。そのため、逆走となりそうな段階でいち早くこれを検知することができない。
以下、本開示の一態様にかかる手段およびその作用効果について記載する。
以下、本開示の一態様にかかる手段およびその作用効果について記載する。
逆走判定装置は、車両の前方に向けられたカメラの出力に応じた画像データが示す所定のオブジェクトに基づき、前記車両が逆走するか否かを判定する逆走判定処理を実行するように構成され、前記所定のオブジェクトは、前記車両が走行している道路と合流する合流路に沿って周期的に配置されている物体であり、前記逆走判定処理は、前記画像データが示す水平方向における左側の領域および右側の領域の2つの領域のそれぞれに前記所定のオブジェクトが撮像されている場合に前記車両が逆走すると判定する処理と、前記画像データが示す領域の左右両端部のうちの所定の一方から他方へと前記所定のオブジェクトが変位する場合に前記車両が逆走すると判定する処理と、の2つの処理のうちの少なくとも1つの処理を含む。
車両が正常に合流路へ入ろうとする場合には、画像データが示す水平方向における左側の領域および右側の領域の2つの領域のいずれか1つの領域のみに所定のオブジェクトが入る傾向がある。一方、車両が逆走しようとする場合、画像データが示す水平方向における左側の領域および右側の領域の2つの領域のそれぞれに所定のオブジェクトが入る傾向がある。そのため、2つの領域のそれぞれに前記所定のオブジェクトが撮像されている場合に車両が逆走すると判定する処理によれば、車両が実際に逆走を開始する前に、逆走しようとしていることを判定できる。
また、車両が正常に合流路へ入ろうとする場合と車両が逆走しようとする場合とでは、画像データが示す領域において所定のオブジェクトが変位する方向が逆となる傾向がある。そのため、上記所定の一方から他方へと所定のオブジェクトが変位する場合に車両が逆走すると判定する処理によれば、車両が実際に逆走を開始する前に、逆走しようとしていることを判定できる。
したがって、上記構成によれば、車両が逆走しようとしていることを迅速に判定できる。
本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参酌しながら下記の詳細な記述により、より明確になる。その図面は、
本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参酌しながら下記の詳細な記述により、より明確になる。その図面は、
<第1の実施形態>
以下、第1の実施形態について図面を参照しつつ説明する。
図1に示すカメラ10は、車両VCの外部を撮像したデータである画像データDpを出力する。
以下、第1の実施形態について図面を参照しつつ説明する。
図1に示すカメラ10は、車両VCの外部を撮像したデータである画像データDpを出力する。
図2に示すように、カメラ10の視野FVは、車両VCの前方領域となっている。本実施形態において、視野FVは、車両の前後方向を中心に左右対称な領域となっている。ここで、視野FVの水平方向の角度は、180°以下となっている。
図1に戻り、画像ECU20は、画像データDpに基づき、車両の周囲の物体の認識処理を実行する。詳しくは、画像ECU20は、PU22および記憶装置24を備えている。PU22は、CPU,GPU,およびTPUの少なくとも1つからなるソフトウェア処理装置である。記憶装置24には、物体認識プログラム24aと、物体認識写像データ24bとが記憶されている。物体認識写像データ24bは、画像データDpを入力として物体の認識結果に関する変数の値を出力する物体認識写像を規定する。物体認識写像は、識別モデル、および回帰モデルの双方を含む。識別モデルは、予め定められた物体であるか否かを示す変数を出力変数とする。回帰モデルは、予め定められた物体の輪郭の所定の位置にかかる座標の値を出力変数とする。PU22が物体認識プログラム24aを実行すると、物体認識写像に画像データDpが入力されることによって、物体の認識処理が実行される。
ADASECU30は、車両VCの走行を制御する処理を実行する。ADASECU30は、走行を制御する処理を実行する際、ローカルネットワーク28を介して、画像ECU20による認識結果を受信する。また、ADASECU30は、駆動系40、および制動系42を操作する。
駆動系40は、車両の推力生成装置としての、内燃機関および回転電機の2つのうちの少なくとも1つを含む。なお、駆動系40に、内燃機関および回転電機を制御対象とする駆動制御装置を含めてもよい。その場合、「ADASECU30が駆動系40を操作する」とは、ADASECU30が駆動制御装置に指令信号を出力することを意味する。
制動系42は、摩擦力によって車輪の回転を減速させる装置と、車輪の動力を電気エネルギに変換することによって車輪の回転を減速させる装置との2つのうちの少なくとも1つを含む。なお、電気エネルギに変換することによって車輪の回転を減速させる装置は、駆動系の回転電機と共有されていてもよい。なお、制動系に、車輪の回転を減速させる装置を制御対象とする制動制御装置を含めてもよい。その場合、「ADASECU30が制動系42を操作する」とは、ADASECU30が制動制御装置に指令信号を出力することを意味する。
ADASECU30は、PU32および記憶装置34を備えている。PU32は、CPU,GPU,およびTPUの少なくとも1つからなるソフトウェア処理装置である。記憶装置34には、走行支援プログラム34aが記憶されている。走行支援プログラム34aには、特に、車両VCの逆走を抑制するための支援処理をPU32に実行させるための指令データが含まれている。
図3に、車両VCの逆走を抑制するための支援処理の手順を示す。図3に示す処理は、記憶装置34に記憶された走行支援プログラム34aをPU32がたとえば所定周期でくり返し実行することにより実現される。なお、以下では、先頭に「S」が付与された数字によって各処理のステップ番号を表現する。
図3に示す一連の処理において、PU32は、まず、画像ECU20による物体の認識結果を取得する(S10)。次に、PU32は、フラグFが「1」であるか否かを判定する(S12)。フラグFは、逆走リスクシーンである場合に「1」となる一方、そうではない場合に「0」となる。逆走リスクシーンは、逆走リスクが生じる走行シーンである。PU32は、フラグFが「0」であると判定する場合(S12:NO)、S10の処理によって取得した認識結果に基づき、合流地点であることを示すオブジェクトが検出されたか否かを判定する(S14)。
合流地点であることを示すオブジェクトは、たとえば図4に示す看板等である。図4には、本線に合流する旨を示す看板を例示した。本実施形態では、車両VCが走行している車線が他の車線に合流する場合に、逆走リスクシーンであると判定する。ここで、車両VCが走行している車線の進行方向と、他の車線の進行方向とは鋭角をなす。
上記認識結果は、物体認識写像のうちの識別モデルを用いて取得することができる。すなわち、識別モデルの出力変数に、上記看板であるか否かを示す変数を含めることにより取得できる。なお、識別モデルは、上記看板が撮像された画像データDpと看板が含まれない画像データDpとのそれぞれを訓練データとして学習された学習済みモデルである。
図3に戻り、PU32は、合流地点のオブジェクトが検出されたと判定する場合(S14:YES)、フラグFに「1」を代入する(S16)。
一方、PU32は、フラグFが「1」であると判定する場合(S12:YES)、S10の処理によって取得した認識結果に基づき、矢印看板が検出されたか否かを判定する(S18)。
一方、PU32は、フラグFが「1」であると判定する場合(S12:YES)、S10の処理によって取得した認識結果に基づき、矢印看板が検出されたか否かを判定する(S18)。
図5に、矢印看板52を例示する。矢印看板52は、車両VCが走行している車線が合流した先の車線に関する進行方向を示す。矢印看板52は、合流先の車線に沿って所定間隔で複数個が配置されている。「合流先の車線に沿って所定間隔で複数個が」配置されるとは、次のことを意味する。すなわち、合流先の車線に隣接する車線に走行方向が逆となる車線が存在しない場合には、合流先の車線に隣接する領域において、走行方向に沿って配置されることを意味する。また、合流先の車線に隣接する車線に走行方向が逆となる車線が存在する場合には、逆となる車線に隣接する領域において、走行方向に沿って配置されることを意味する。
S18の処理において用いる認識結果は、物体認識写像のうちの識別モデルを用いて取得することができる。すなわち、識別モデルの出力変数に、矢印看板52であるか否かを示す変数を含めることにより取得できる。なお、識別モデルは、矢印看板52が撮像された画像データDpと矢印看板52が含まれない画像データDpとのそれぞれを訓練データとして学習された学習済みモデルである。
図3に戻り、PU32は、矢印看板52が検出されたと判定する場合(S18:YES)、下記条件(i)および条件(ii)の論理積が真であるか否かを判定する(S20)。
条件(i):矢印看板52が画像データDpが示す画像における車両VCの前方の左右両側且つ下方に存在する旨の条件である。
図5に、条件(i)を満たす場合を例示する。図5には、左右判定ライン54の両側に矢印看板52が存在する例が示されている。図5には、左右判定ライン54を、画像データDpが示す画像50の水平方向の中央において、領域を左右に2分する線とする例を示した。また、図5には、上下判定ライン56の下側に矢印看板52が存在する例が示されている。図5には、上下判定ライン56を、画像データDpが示す画像50の上下方向の中央において、領域を2分する線とする例を示した。
図5に、条件(i)を満たす場合を例示する。図5には、左右判定ライン54の両側に矢印看板52が存在する例が示されている。図5には、左右判定ライン54を、画像データDpが示す画像50の水平方向の中央において、領域を左右に2分する線とする例を示した。また、図5には、上下判定ライン56の下側に矢印看板52が存在する例が示されている。図5には、上下判定ライン56を、画像データDpが示す画像50の上下方向の中央において、領域を2分する線とする例を示した。
条件(ii):矢印看板52の変位方向が左側である旨の条件である。換言すれば、矢印看板52の変位方向が、運転席から助手席へと進む方向である旨の条件である。
図6に、逆走する場合における画像50内の矢印看板52の変位を例示する。図6(a)には、車両VCが走行している車線60が合流先の車線62と合流する地点に到達した時点を示す。その場合、矢印看板52は、画像50のうちの右側に位置する。換言すれば、矢印看板52は、運転席側に位置する。図6(b)には、車両VCが車線62を逆走しようとする時点を示す。その場合、矢印看板52は、画像50のうちの左側に位置する。換言すれば、矢印看板52は、助手席側に位置する。
図6に、逆走する場合における画像50内の矢印看板52の変位を例示する。図6(a)には、車両VCが走行している車線60が合流先の車線62と合流する地点に到達した時点を示す。その場合、矢印看板52は、画像50のうちの右側に位置する。換言すれば、矢印看板52は、運転席側に位置する。図6(b)には、車両VCが車線62を逆走しようとする時点を示す。その場合、矢印看板52は、画像50のうちの左側に位置する。換言すれば、矢印看板52は、助手席側に位置する。
このように、車両VCが逆走しようとする場合には、矢印看板52が画像50内を運転席から助手席へと進む方向に変位する。
S10の処理によって取得した認識結果のうち条件(i)および条件(ii)を満たすか否かを判定するうえでPU32が利用する認識結果は、物体認識写像のうちの回帰モデルを用いて取得することができる。すなわち、物体認識写像の出力変数に、たとえば矢印看板52の4つの頂点の座標を含めるなどして実現できる。なお、回帰モデルは、矢印看板52が撮像された画像データDpおよび画像データDpにおける矢印看板52の頂点座標を訓練データとして学習された学習済みモデルである。
S10の処理によって取得した認識結果のうち条件(i)および条件(ii)を満たすか否かを判定するうえでPU32が利用する認識結果は、物体認識写像のうちの回帰モデルを用いて取得することができる。すなわち、物体認識写像の出力変数に、たとえば矢印看板52の4つの頂点の座標を含めるなどして実現できる。なお、回帰モデルは、矢印看板52が撮像された画像データDpおよび画像データDpにおける矢印看板52の頂点座標を訓練データとして学習された学習済みモデルである。
図3に戻り、PU32は、論理積が真であると判定する場合(S20:YES)、逆走判定をする(S22)。そして、駆動系40および制動系42を強制的に操作することによって、車両VCを強制的に停止させる(S24)。ここで、強制的な停止とは、ユーザによるアクセル操作等にかかわらず、車両VCを停止させる制御を実行することを意味する。
PU32は、S24の処理を完了する場合と、S20の処理において否定判定する場合と、には、フラグFに「0」を代入する(S26)。
なお、PU32は、S16,S26の処理を完了する場合と、S14,S18の処理において否定判定する場合と、には、図2に示す一連の処理を一旦終了する。
なお、PU32は、S16,S26の処理を完了する場合と、S14,S18の処理において否定判定する場合と、には、図2に示す一連の処理を一旦終了する。
ここで、本実施形態の作用および効果について説明する。
PU32は、車両VCが走行する車線が他の車線に合流する場合、合流先の進行方向を示す矢印看板52の配置および変位方向に基づき、逆走判定をした。これにより、実際に合流先の車線を逆走している段階となる前に逆走を判定することができる。
PU32は、車両VCが走行する車線が他の車線に合流する場合、合流先の進行方向を示す矢印看板52の配置および変位方向に基づき、逆走判定をした。これにより、実際に合流先の車線を逆走している段階となる前に逆走を判定することができる。
以上説明した本実施形態によれば、さらに以下に記載する作用および効果が得られる。
(1)PU32は、条件(i)および条件(ii)の論理積が真である場合に、逆走していると判定した。そのため、条件(i)のみから逆走判定をする場合と比較して、逆走しているとの誤判定を抑制できる。
(1)PU32は、条件(i)および条件(ii)の論理積が真である場合に、逆走していると判定した。そのため、条件(i)のみから逆走判定をする場合と比較して、逆走しているとの誤判定を抑制できる。
図7に、合流先の車線がカーブしている場合を示す。その場合、車両VCが合流先の車線を走行し始めた段階で、左右判定ライン54の左右両側に矢印看板52が検出されうる。したがって、カーブの曲率半径等によっては、上下判定ライン56の下側且つ、左右判定ライン54の左右両側に矢印看板52が検出されうる。しかし、その場合、矢印看板52の変位方向は、条件(ii)を満たさない。
(2)条件(i)を、矢印看板52が左右判定ライン54の左右両側に位置する旨の条件と、上下判定ライン56の下方に位置する旨の条件との論理積が真である旨の条件とした。これにより、矢印看板52が左右判定ライン54の左右両側に位置する旨の条件を条件(i)とする場合と比較して、図7に例示するような状況において、条件(i)が満たされる事態が生じることを抑制できる。
(3)PU32は、逆走リスクシーン判定がなされていることを条件に、S20の処理を実行した。これにより、たとえば前方を走行する車両の後部に、矢印看板52と誤認識するようなオブジェクトが存在する場合などに、S20の処理において肯定判定することを抑制できる。
(4)PU32は、逆走判定をする場合、車両VCを強制的に停止させた。これにより、合流先の車線に位置する車両の走行に干渉する事態が生じることを抑制できる。
<第2の実施形態>
以下、第2の実施形態について、第1の実施形態との相違点を中心に図面を参照しつつ説明する。
<第2の実施形態>
以下、第2の実施形態について、第1の実施形態との相違点を中心に図面を参照しつつ説明する。
図8に、本実施形態にかかる車両VCの逆走を抑制するための支援処理の手順を示す。図8に示す処理は、記憶装置34に記憶された走行支援プログラム34aをPU32がたとえば所定周期でくり返し実行することにより実現される。なお、図8において、図3に示した処理に対応する処理については、便宜上、同一のステップ番号を付与する。
図8に示す一連の処理において、PU32は、S18の処理において肯定判定する場合、条件(i)および以下の条件(iii)の論理積が真であるか否かを判定する(S20a)。
条件(iii):矢印看板52同士の大きさの相違が所定値以下である旨の条件である。これは、図7に例示した状況において条件(i)を満たす場合に逆走判定をしないための条件である。
なお、大きさの相違が所定値以下であるか否かは、たとえば、矢印看板52の4つの頂点の座標から画像50における矢印看板52の面積を算出することによって実現できる。
PU32は、論理積が真であると判定する場合(S20a:YES)、S22の処理に移行する一方、論理積が偽であると判定する場合(S20a:NO)、S26の処理に移行する。
PU32は、論理積が真であると判定する場合(S20a:YES)、S22の処理に移行する一方、論理積が偽であると判定する場合(S20a:NO)、S26の処理に移行する。
<第3の実施形態>
以下、第3の実施形態について、第1の実施形態との相違点を中心に図面を参照しつつ説明する。
以下、第3の実施形態について、第1の実施形態との相違点を中心に図面を参照しつつ説明する。
本実施形態では、条件(i)を図9に例示する条件に変更する。
図9に示すように、本実施形態では、一対の左右判定ライン54l,54rを設ける。左右判定ライン54l,54rは、図5に例示した左右判定ライン54に対して対称に配置されるものである。これにより、左右判定ライン54lは、画像50において、水平方向中央よりも左側に位置する。左右判定ライン54rは、画像50において、水平方向中央よりも右側に位置する。
図9に示すように、本実施形態では、一対の左右判定ライン54l,54rを設ける。左右判定ライン54l,54rは、図5に例示した左右判定ライン54に対して対称に配置されるものである。これにより、左右判定ライン54lは、画像50において、水平方向中央よりも左側に位置する。左右判定ライン54rは、画像50において、水平方向中央よりも右側に位置する。
本実施形態では、条件(i)に代えて、画像50における上下判定ライン56よりも下側において、左右判定ライン54lの左側および左右判定ライン54rの右側に矢印看板52が存在する旨の条件を採用する。
<その他の実施形態>
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
「合流判定処理について」
・S12,S14,S16,S26の処理を設けることは必須ではない。これを設けなくても、たとえば上記条件(ii)または条件(iii)を逆走判定の条件に加えることにより、条件(i)のみを用いる場合に生じうる誤判定のリスクを軽減できる。
・S12,S14,S16,S26の処理を設けることは必須ではない。これを設けなくても、たとえば上記条件(ii)または条件(iii)を逆走判定の条件に加えることにより、条件(i)のみを用いる場合に生じうる誤判定のリスクを軽減できる。
「逆走判定処理について」
・逆走判定するための条件としては、上記条件(i)および条件(ii)の論理積が真である旨の条件と、上記条件(i)および条件(iii)の論理積が真である旨の条件とのいずれかに限らない。たとえば、上記条件(i)、条件(ii)、および条件(iii)の論理積が真である旨の条件であってもよい。またたとえば、上記条件(i)および条件(ii)の論理積が真である旨の条件と、上記条件(i)および条件(iii)の論理積が真である旨の条件との論理和が真である旨の条件であってもよい。またたとえば、上記条件(i)および条件(ii)の論理和が真である旨の条件であってもよい。
・逆走判定するための条件としては、上記条件(i)および条件(ii)の論理積が真である旨の条件と、上記条件(i)および条件(iii)の論理積が真である旨の条件とのいずれかに限らない。たとえば、上記条件(i)、条件(ii)、および条件(iii)の論理積が真である旨の条件であってもよい。またたとえば、上記条件(i)および条件(ii)の論理積が真である旨の条件と、上記条件(i)および条件(iii)の論理積が真である旨の条件との論理和が真である旨の条件であってもよい。またたとえば、上記条件(i)および条件(ii)の論理和が真である旨の条件であってもよい。
・上記実施形態およびそれらの変更例において、条件(i)に代えて、上記条件(i)から矢印看板52が上下判定ライン56の下方に位置する旨の条件を削除した条件を用いてもよい。
「所定のオブジェクトについて」
・上記実施形態では、逆走判定に利用する所定のオブジェクトとして、矢印が描かれた看板を例示したがこれに限らない。たとえば、所定間隔に配置されたラバーポールであってもよい。
・上記実施形態では、逆走判定に利用する所定のオブジェクトとして、矢印が描かれた看板を例示したがこれに限らない。たとえば、所定間隔に配置されたラバーポールであってもよい。
「逆走への対処処理について」
・上記実施形態では、逆走への対処処理として、車両VCを停止させる処理を例示したが、これに限らない。たとえば、ユーザに逆走しようとしている旨を警告する処理であってもよい。これは、たとえば所定の警報音の発生によって実現できる。ただし、その際、視覚情報を加えてもよい。
・上記実施形態では、逆走への対処処理として、車両VCを停止させる処理を例示したが、これに限らない。たとえば、ユーザに逆走しようとしている旨を警告する処理であってもよい。これは、たとえば所定の警報音の発生によって実現できる。ただし、その際、視覚情報を加えてもよい。
「走行制御装置について」
・上記実施形態では、走行制御装置としてのADASECU30が、画像ECU20によって画像データDpに画像認識処理等が施された物体の認識結果を受信することとしたが、これに限らない。たとえば、ADASECU30が、上記実施形態において画像ECU20が実行した処理を実行することとしてもよい。
・上記実施形態では、走行制御装置としてのADASECU30が、画像ECU20によって画像データDpに画像認識処理等が施された物体の認識結果を受信することとしたが、これに限らない。たとえば、ADASECU30が、上記実施形態において画像ECU20が実行した処理を実行することとしてもよい。
・走行制御装置としては、PU32と記憶装置34とを備えて、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理するたとえばASIC等の専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の(a)~(c)のいずれかの構成であればよい。(a)上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するプログラム格納装置とを備える。(b)上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。(c)上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。
「コンピュータについて」
・コンピュータとしては、図1に例示したように、単一のPU32に限らない。また、図1に例示したように、車両に備え付けられたコンピュータに限らない。たとえば、図3の処理のうちS24の処理以外の処理については、ドライバの携帯端末に搭載されたPUが実行することとしてもよい。その場合、車両に備え付けられたコンピュータと備え付けられていないコンピュータとが通信をしつつ協働で走行支援プログラム34aが実行されることとなる。
・コンピュータとしては、図1に例示したように、単一のPU32に限らない。また、図1に例示したように、車両に備え付けられたコンピュータに限らない。たとえば、図3の処理のうちS24の処理以外の処理については、ドライバの携帯端末に搭載されたPUが実行することとしてもよい。その場合、車両に備え付けられたコンピュータと備え付けられていないコンピュータとが通信をしつつ協働で走行支援プログラム34aが実行されることとなる。
本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
本明細書における記述「A及びBの少なくとも1つ」は、「Aのみ、または、Bのみ、または、AとBの両方」を意味するものとして理解されたい。
Claims (9)
- 車両の前方に向けられたカメラ(10)の出力に応じた画像データが示す所定のオブジェクト(52)に基づき、前記車両が逆走するか否かを判定する逆走判定処理(S20,S22)を実行するように構成され、
前記所定のオブジェクトは、前記車両が走行している道路と合流する合流路に沿って周期的に配置されている物体であり、
前記逆走判定処理は、
前記画像データが示す水平方向における左側の領域および右側の領域の2つの領域のそれぞれに前記所定のオブジェクトが撮像されている場合に前記車両が逆走すると判定する処理と、
前記画像データが示す領域の左右両端部のうちの所定の一方から他方へと前記所定のオブジェクトが変位する場合に前記車両が逆走すると判定する処理と、の2つの処理のうちの少なくとも1つの処理を含む逆走判定装置。 - 前記合流路に合流するか否かを判定する合流判定処理(S14)を実行するように構成され、
前記逆走判定処理による逆走する旨の判定は、前記合流判定処理によって合流すると判定されていることを条件になされる請求項1記載の逆走判定装置。 - 前記逆走判定処理は、前記2つの領域のそれぞれに前記所定のオブジェクトが撮像されている場合に、前記車両が逆走すると判定する処理を含む請求項1または2記載の逆走判定装置。
- 前記逆走判定処理は、前記2つの領域のそれぞれに前記所定のオブジェクトが撮像されて且つ、前記所定のオブジェクトが前記画像データが示す領域を上下方向に分割する上下判定ライン(56)よりも下側に位置する場合に、前記車両が逆走すると判定する処理を含む請求項3記載の逆走判定装置。
- 前記逆走判定処理(S20,S22)は、前記2つの領域のそれぞれに前記所定のオブジェクトが撮像されて且つ、前記所定の一方から他方へと前記所定のオブジェクトが変位する場合に、前記車両が逆走すると判定する処理を含む請求項3または4記載の逆走判定装置。
- 前記逆走判定処理(S20a,S22)は、前記2つの領域のそれぞれに前記所定のオブジェクトが撮像されて且つ、撮像された前記所定のオブジェクト同士の大きさの相違が所定値以下である場合に前記車両が逆走すると判定する処理を含む請求項3~5のいずれか1項に記載の逆走判定装置。
- 前記逆走判定処理によって逆走すると判定される場合、前記車両の走行を停止させる停止処理(S24)を実行するように構成されている請求項1~6のいずれか1項に記載の逆走判定装置。
- 請求項1~7のいずれか1項に記載の逆走判定装置(30)における各処理を実行するステップを有する逆走判定方法。
- 請求項1~7のいずれか1項に記載の逆走判定装置における各処理をコンピュータによって実行させる逆走判定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023559614A JPWO2023085226A1 (ja) | 2021-11-12 | 2022-11-07 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-184762 | 2021-11-12 | ||
JP2021184762 | 2021-11-12 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023085226A1 true WO2023085226A1 (ja) | 2023-05-19 |
Family
ID=86336061
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/041348 WO2023085226A1 (ja) | 2021-11-12 | 2022-11-07 | 逆走判定装置、逆走判定方法、および逆走判定プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2023085226A1 (ja) |
WO (1) | WO2023085226A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015121952A (ja) * | 2013-12-24 | 2015-07-02 | 株式会社デンソー | 逆走検出装置 |
JP2017073073A (ja) * | 2015-10-09 | 2017-04-13 | 株式会社デンソー | 情報処理装置 |
JP2017134441A (ja) * | 2016-01-25 | 2017-08-03 | 株式会社デンソー | 逆走判定システム |
JP2018084873A (ja) * | 2016-11-21 | 2018-05-31 | 株式会社デンソーテン | 逆走防止装置、逆走防止方法および逆走防止システム |
JP2018195117A (ja) * | 2017-05-18 | 2018-12-06 | 矢崎エナジーシステム株式会社 | ドライブレコーダ |
-
2022
- 2022-11-07 JP JP2023559614A patent/JPWO2023085226A1/ja active Pending
- 2022-11-07 WO PCT/JP2022/041348 patent/WO2023085226A1/ja unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015121952A (ja) * | 2013-12-24 | 2015-07-02 | 株式会社デンソー | 逆走検出装置 |
JP2017073073A (ja) * | 2015-10-09 | 2017-04-13 | 株式会社デンソー | 情報処理装置 |
JP2017134441A (ja) * | 2016-01-25 | 2017-08-03 | 株式会社デンソー | 逆走判定システム |
JP2018084873A (ja) * | 2016-11-21 | 2018-05-31 | 株式会社デンソーテン | 逆走防止装置、逆走防止方法および逆走防止システム |
JP2018195117A (ja) * | 2017-05-18 | 2018-12-06 | 矢崎エナジーシステム株式会社 | ドライブレコーダ |
Also Published As
Publication number | Publication date |
---|---|
JPWO2023085226A1 (ja) | 2023-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9031774B2 (en) | Apparatus and method for preventing collision of vehicle | |
US11577724B2 (en) | Driving assistance apparatus | |
CN110321916B (zh) | 学习数据制作方法、学习方法、危险预测方法及装置、程序存储介质 | |
JP5603687B2 (ja) | 車両用白線認識装置 | |
US10583816B2 (en) | Lane departure prevention device | |
JP4755227B2 (ja) | 物体を認識するための方法 | |
JP2019053658A (ja) | 車両制御装置 | |
JP2005346395A (ja) | 車線逸脱警報装置 | |
US10112607B2 (en) | Driving support device that performs driving support in accordance with characteristics and skills of driver | |
JP2015016799A (ja) | 走行経路生成装置 | |
US12005889B2 (en) | Arithmetic operation device for vehicle | |
JP6365385B2 (ja) | 立体物検出装置及び立体物検出方法 | |
CN111862108B (zh) | 图像处理装置及图像处理方法 | |
JP2007220013A (ja) | 車両用白線検出装置 | |
JP6834633B2 (ja) | 運転支援装置 | |
CN112109703A (zh) | 车辆控制方法、车辆控制***、车及存储介质 | |
JP5538098B2 (ja) | 車両用白線認識装置 | |
US11731647B2 (en) | Road shape recognizer, autonomous drive system and method of recognizing road shape | |
WO2023085226A1 (ja) | 逆走判定装置、逆走判定方法、および逆走判定プログラム | |
JP2017134610A (ja) | 映像生成装置、映像表示方法、及びプログラム | |
JP7414782B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
CN111497852B (zh) | 弯道场景的障碍物位置判定方法、装置、设备及存储介质 | |
JPH02241855A (ja) | 先行車識別方法 | |
JPWO2022249468A5 (ja) | ||
JP2017142591A (ja) | 車両用支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22892725 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2023559614 Country of ref document: JP Kind code of ref document: A |