WO2019163493A1 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- WO2019163493A1 WO2019163493A1 PCT/JP2019/003779 JP2019003779W WO2019163493A1 WO 2019163493 A1 WO2019163493 A1 WO 2019163493A1 JP 2019003779 W JP2019003779 W JP 2019003779W WO 2019163493 A1 WO2019163493 A1 WO 2019163493A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- lane
- points
- distance
- width
- line
- Prior art date
Links
- 230000014509 gene expression Effects 0.000 claims description 38
- 238000003384 imaging method Methods 0.000 claims description 29
- 238000012937 correction Methods 0.000 claims description 20
- 241000270295 Serpentes Species 0.000 claims 1
- 238000000034 method Methods 0.000 description 45
- 238000012545 processing Methods 0.000 description 26
- 238000005192 partition Methods 0.000 description 18
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
- B62D1/24—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted
- B62D1/28—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted non-mechanical, e.g. following a line or other known markers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/021—Determination of steering angle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
Definitions
- the present invention relates to a technique for detecting a change in lane width based on an image captured by a camera mounted on a vehicle.
- the method of the above-mentioned patent document 1 detects the adjacent lane width from the distance between the left and right lane markings that divide the adjacent lane while detecting the own lane width from the distance between the left and right lane markings that divide the own lane.
- An object of the present invention is to provide an imaging device capable of detecting a change in the own lane width without using information on adjacent lanes.
- the present invention includes a first camera that captures a first image, and a control device that recognizes a first lane line and a second lane line that define a lane in the first image, and is mounted on a vehicle.
- the control device includes: a width of the first lane marking at two points at different distances from the vehicle on the first image; and a width of the second lane marking at the two points on the first image.
- a lane width determining unit that determines whether or not there is a change in the width of the lane based on the relationship between the distance between the first lane line and the second lane line at the two points on the first image.
- FIG. 1 is a block diagram illustrating an overall configuration of an imaging apparatus.
- the flowchart which shows the process sequence of lane width recognition.
- the outline figure of feature point detection of lane markings The outline figure of lane width recognition in the present invention.
- the outline figure of lane width recognition in the present invention The outline figure of lane width recognition in the present invention.
- the outline figure of lane width recognition in the present invention The outline figure of lane width recognition in the present invention.
- FIG. 1 is a schematic configuration diagram illustrating an overall configuration of an imaging apparatus 100 according to an embodiment of the present invention.
- the image pickup apparatus 100 in this figure processes a first camera 11 provided on the indoor side of an upper part of a windshield of a vehicle (sometimes referred to as own vehicle) and an image (captured image) taken by the first camera 11. And a control device 1 for performing the above operation.
- the first camera 11 is installed toward the front of the vehicle, and periodically captures an image of a predetermined area defined by the focal length of the lens and acquires a time-series image.
- an image captured by the first camera 11 may be referred to as a first image.
- the control device 1 is a computer (for example, a microcomputer), for example, an input unit, a central processing unit (CPU or MPU) that is a processor, a read-only memory (ROM) that is a storage device, and a random access memory (RAM). And an output unit.
- the input unit converts various information input to the control device 1 so that the CPU can calculate it.
- the ROM is a recording medium in which a control program that executes arithmetic processing, which will be described later, and various information necessary for the execution of the arithmetic processing are stored.
- the CPU includes an input unit and a ROM according to the control program stored in the ROM. , Predetermined arithmetic processing is performed on the signal taken from the RAM.
- a command for controlling the output target, information used by the output target, and the like are output from the output unit.
- the storage device is not limited to the above-described semiconductor memory such as ROM and RAM, and can be replaced with a magnetic storage device such as a hard disk drive, for example.
- the lane marking recognition unit 14 is a part that executes processing for recognizing the left and right lane markings (white lines) that define the own lane (the lane in which the host vehicle is traveling) in the image captured by the first camera 11. Since the white line recognition process is known, a description thereof will be omitted.
- the lane marking recognition unit 14 recognizes the white line recognized at the position closest to the host vehicle on the left side of the host vehicle as the left lane line (left lane line) L1 (see FIG. 3) that defines the host lane.
- the white line recognized at the position closest to the vehicle on the right side of the vehicle can be recognized as the right lane line (right lane line) L2 (see FIG. 3) that defines the lane.
- the space surrounded by the left lane line and the right lane line recognized as such can be recognized as the own lane.
- the lane marking recognition unit 14 can also perform approximation processing to a solid line when the lane marking to be recognized is not a solid line such as a broken line or an unclear blur line.
- the left and right lane markings of the lane may be referred to as the first lane marking and the second lane marking.
- the left lane marking is the first lane marking, but the right lane marking may be the first lane marking.
- the lane width determination unit 15 obtains each lane line width and own lane width from the left and right lane lines L1 and L2 of the own lane recognized by the lane line recognition unit 14, and determines whether there is a change in the own lane width. Execute the process. Specifically, the width of the left lane line (first lane line) L1 at two points PV1 and PV2 (see FIG. 3) at different distances from the vehicle on the image (first image) captured by the first camera 11 And the width of the right lane line (second lane line) L2 at the two points PV1 and PV2 on the first image, and the first lane line L1 and the second lane line L2 at the two points PV1 and PV2 on the first image.
- the two points PV1 and PV2 that serve as the reference points for obtaining the division line width and the own lane width can be set at arbitrary positions from the own vehicle.
- PV1 is closer to the vehicle and PV2 is farther from the vehicle.
- the first straight line V1 and the second straight line V2, which are two straight lines passing through the two points PV1 and PV2, respectively, are set on the image (first image) captured by the first camera 11.
- the width of the first lane line L1, the width of the second lane line L2, and the width of the own lane (the distance between the first lane line L1 and the second lane line L2) at the point PV1 close to the own vehicle on the first image.
- the width of the first lane line L1, the width of the second lane line L2, and the width of the own lane line (distance between the first lane line L1 and the second lane line L2) at the point PV2 far from the own vehicle on the first image.
- the two straight lines V1 and V2 are defined after the two points PV1 and PV2 are set.
- the two straight lines V1 and V2 that are parallel to each other are set without setting the two points PV1 and PV2. It is also possible to set a predetermined distance from.
- FIG. 2 is a flowchart of the process of the control device 1 according to the first embodiment of the present invention
- FIG. 3 is a reference when calculating the left and right partition line widths and the own lane width in the first embodiment of the present invention. It is explanatory drawing of the point (intersection of straight line V1, V2 and division line L1, L2) P1-P8.
- step S201 the lane width determining unit 15 and the left and right lane markings L1 and L2 recognized by the lane marking recognition unit 14 and the horizontal line on the image existing near the camera.
- Feature points P1, P2, P3, and P4 existing on intersections with the first straight line (V1) extending in the direction are detected.
- the intersection of the left end of the first straight line V1 and the first partition line L1 is P1
- the intersection of the first straight line V1 and the right end of the first partition line L1 is P2
- the intersection of the first straight line V1 and the left end of the second partition line L2 is P3.
- the intersection of the right ends of the first straight line V1 and the second partition line L2 is P4.
- the lane width determination unit 15 is on the intersection of the left and right lane markings L1 and L2 recognized by the lane marking recognition unit 14 and the second straight line (V2) that is far from the camera and extends in the horizontal direction on the image.
- Feature points P5, P6, P7, and P8 are detected.
- the intersection of the left end of the second straight line V2 and the first partition line L1 is P5
- the intersection of the second straight line V2 and the right end of the first partition line L1 is P6
- the intersection of the second straight line V2 and the left end of the second partition line L2 is P7.
- the intersection of the right ends of the second straight line V2 and the second partition line L2 is P8.
- step S203 the lane width determination unit 15 determines the left and right division line widths and lane widths at the camera near and the camera far (two points PV1, PV2) from the feature points P1-P8 detected at steps S201, S202, respectively. calculate. Specifically, from FIG. 3, the distance from P1 to P2 is calculated as the left section line width from the feature point on the first straight line V1 near the camera, and the distance from P3 to P4 is calculated as the right section line width. As a result, the distance from P2 to P3 is calculated.
- the distance from P5 to P6 is calculated as the left section line width from the feature point on the straight line V2 far from the camera
- the distance from P7 to P8 is calculated as the right section line width
- the distance from P6 to P7 is calculated as the lane width.
- step S203 in addition to the above distance (left and right division line width and lane width at two points PV1 and PV2), the distance from P1 to P3, P5 to P7, according to the formula used in the subsequent step S204. , P1 to P4, P5 to P8, P2 to P4, P6 to P8. That is, in step S203, the distance between two arbitrarily selected points among the four feature points P1-P4 related to the first straight line V1 detected in step S201 and the second straight line V2 detected in step S202. The distance between two arbitrarily selected points among the four feature points P5-P8 can be calculated.
- step S204 the lane width determination unit 15 calculates the near-camera far-distance and far-camera segment line widths calculated in step S203 with respect to two predetermined expressions of the following expressions (1) to (7). Then, by substituting the lane width and determining whether the two expressions are satisfied, it is determined whether or not the own lane width has changed.
- the signs of the two feature points are shown in succession, and this indicates the distance between the two points. For example, “P1P2” indicates “distance between two points P1 and P2”, in other words, “left partition line width on the first straight line V1”.
- each expression represents the ratio of the distance on the first straight line V1
- the right side of each expression represents the ratio of the distance on the second straight line V2.
- each expression there are an expression that exchanges the denominator on the left side and the numerator on the right side, and an expression that exchanges the numerator on the left side and the denominator on the right side, but these are the same as the original expression, so they are not defined separately.
- the above equations (1)-(3) are the relational expressions of the left section line width and the own lane width on the two straight lines V1, V2, and the above equations (4)-(6) are the expressions on the two straight lines V1, V2. It is a relational expression between the right division line width and the own lane width, and the expression (7) is a relational expression between the left and right division line widths
- the lane width determination unit 15 determines whether each of the two formulas in the “combination of two formulas” is satisfied. Normally, since the right side and the left side of each expression include an error, in this embodiment, an allowable value for considering the right side and the left side to be the same is set based on experiments and results, and the difference between the right side and the left side is If it is within the allowable value, it is assumed that both sides are the same, that is, that the formula is satisfied.
- the lane width determination unit 15 establishes a similarity relationship between the left and right division line widths on the two straight lines V1 and V2 and the own lane width when both of the two expressions in the “combination of two expressions” are considered to be established. It is determined that there is no change in the own lane width at the two points PV1 and PV2, and the own lane width is constant.
- step S205 when it is determined that there is a change in the own lane width in the determination by the lane width determination unit 15 in step 204, the branch road determination unit 16 proceeds to step S206 and determines that there is a branch road.
- the difference between the lane widths near and far from the camera is calculated, a threshold is set for the difference, and if a difference greater than the threshold can be confirmed, it is determined that there is a branch lane that branches from the own lane. You may do it.
- step S207 it is determined that there is no branch road.
- step S201 one cycle of the branch determination process by the control device 1 is completed.
- the control device 1 executes a series of processes again from step S201.
- an arbitrary timing can be determined by determining the success or failure of the relational expression between the left and right division line widths and the own lane width, respectively, near and far from the first camera 11. It is possible to determine whether or not the own lane width is constant using one image picked up in (1). Further, as is clear from the above description, in the present embodiment, the determination can be performed using only information related to the own lane without using information related to the adjacent lane. That is, according to the present embodiment, it is possible to detect a change in the own lane width without using information related to the adjacent lane.
- the presence / absence of a change in the own lane width is determined from one first image captured at a predetermined time.
- the processing of steps S201-204 is performed on each of a plurality of first images having different imaging times. Even if it is determined whether or not the own lane width has changed, and it is determined that there is no change in the own lane in all of the plurality of determinations, the flowchart of the control device 1 is configured to proceed to NO in step S205. good. By configuring the control device 1 in this way, it is possible to improve the accuracy of the determination regarding whether or not the own lane width has changed.
- FIG. 5 is a schematic configuration diagram showing an overall configuration of a vehicle control system 200 according to the second embodiment of the present invention.
- the vehicle control system 200 in this figure is provided on the indoor side of the upper part of the windshield of the vehicle, and includes a second camera 12 that constitutes a stereo camera together with the first camera 11, and captured images of the first camera 11 and the second camera 12.
- Control device 1 that executes external environment recognition processing including object detection based on the above
- vehicle control device 2 that controls the vehicle based on the result of external environment recognition processing by imaging device 100, and commands output from vehicle control device 2
- a steering wheel driving device 23 for driving the steering wheel 24 of the vehicle.
- the second camera 12 is installed toward the front of the vehicle, and periodically captures an image of a predetermined area defined by the focal length of the lens, and acquires a time-series image.
- an image captured by the second camera 12 may be referred to as a second image.
- control device 1 of the present embodiment includes a parallax calculation unit 17 that calculates parallax based on the first image and the second image, and a lane width determination unit 15 that uses the own lane.
- the parallax calculation unit based on the position of the vanishing point that is the intersection of the contour lines of the right lane line (first lane line) L1 and the left lane line (second lane line) L2
- the parallax correction unit 18 that corrects the parallax calculated by 17 and the distance calculation that calculates the distance to the object on the image based on the parallax corrected by the parallax correction unit 18 or the parallax calculated by the parallax calculation unit 17 Part 19.
- the vehicle control device 2 is a computer (for example, a microcomputer) like the control device 1, and includes, for example, an input unit, a central processing unit (CPU or MPU) that is a processor, and a read-only memory (ROM) that is a storage device. And a random access memory (RAM) and an output unit.
- a computer for example, a microcomputer
- CPU or MPU central processing unit
- ROM read-only memory
- RAM random access memory
- the vehicle control device 2 includes a rudder angle command calculation unit 21 that calculates a rudder angle command for controlling the rudder angle of the steered wheel of the vehicle based on the recognition result of the outside world by the imaging device 100, and left and right sections that define the own lane.
- the extension direction of one of the lines (first lane line and second lane line) L1 and L2 and the traveling direction of the host vehicle are calculated, and whether or not the calculated extending direction and the traveling direction of the host vehicle are parallel
- a parallel determination unit 22 for determining whether or not.
- the steering wheel drive device 23 is a motor that rotationally drives a steering shaft that mechanically connects a steering wheel and a pinion gear in, for example, a rack and pinion type steering system.
- the steering wheel is rotated by the steering wheel drive device 23 based on the steering angle command input from the steering angle command calculation unit 21, the pinion gear rotates, and the rack moves in the vehicle width direction according to the rotation direction of the pinion gear.
- This operation is transmitted to the knuckle arm via the tie rod, and the steering angle defined by the steering angle command is given to the steering wheel (for example, the front wheel) 24.
- FIG. 6 is a flowchart of the process of the control device 1 according to the second embodiment of the present invention.
- FIG. 6 the same processes as those in FIG.
- step S301 the parallax calculation unit 17 calculates parallax by stereo matching based on a pair of images (first image and second image) obtained by the first camera 11 and the second camera 12. .
- step S302 the parallax correction unit 18 proceeds to step S303 if it is determined by the determination by the lane width determination unit 15 in step 204 that there is a change in the own lane width. On the other hand, if it is determined in step 204 that there is no change in the own lane width, the process proceeds to step S305.
- step S303 the parallax correction unit 18 determines that there is no situation in which parallax correction using parallax information parallel to each other (parallax correction processing in step S305) should not be performed, and proceeds to step S304 without performing parallax correction. move on.
- step S304 the distance calculation unit 19 calculates the distance to the object on the image based on the parallax calculated by the parallax calculation unit 17.
- the parallax correction unit 18 performs the parallax correction processing by regarding the left and right lane markings L1 and L2 defining the own lane as being parallel to each other. Specifically, the following processing is executed. First, as shown in FIG. 7, the parallax correction unit 18 determines points (edge pixels) that form the edges of the left and right partition lines L1 and L2 based on one of the set of captured images used when calculating the parallax. A plurality of extracted straight lines AL1, AL2, AL3, AL4 are detected as contour lines of the left and right dividing lines L1, L2.
- the position of the vanishing point that is the intersection of the four contour lines is calculated, and the parallax at the position of the vanishing point is acquired.
- the disparity at the vanishing point is essentially zero, but correction is necessary when the disparity at the vanishing point defined by the four approximate lines AL1, AL2, AL3, and AL4 is not zero, and the disparity at the vanishing point is zero.
- the parallax calculated by the parallax calculation unit 17 is corrected so that
- step S306 the distance calculation unit 19 calculates the distance to the object on the image based on the parallax corrected by the parallax correction unit 18 in step S305.
- step S201 one cycle of the distance calculation process to the predetermined object by the control device 1 is completed.
- the control device 1 executes a series of processes again from step S201.
- the imaging apparatus 100 of the present embodiment configured as described above, when the parallax correction processing is performed on the assumption that the left and right lane markings L1 and L2 are parallel, whether or not the assumption is satisfied. Can be easily determined just by using it for the information of the own lane without using the information about the adjacent lane, and if the whole is not established, it is avoided that the parallax correction process is executed.
- the parallax correction process based on this can be executed with high accuracy. That is, according to the present embodiment, it is possible to detect a change in the own lane width without using information related to adjacent lanes, and to improve the accuracy of parallax correction.
- FIG. 8 is a flowchart of processing of the control device 1 and the vehicle control device 2 according to the third embodiment of the present invention.
- the same processes as those in FIG. 2 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
- step S205 the branch road determination unit 16 ends the process when it is determined by the determination by the lane width determination unit 15 in step 204 that there is a change in the own lane width.
- the control device 1 waits for a predetermined control period and then executes a series of processes again from step S201.
- step S401 it is assumed that the own lane width is constant, and the process proceeds to step S401.
- step S401 the parallel determination unit 22 of the vehicle control device 2 calculates the extending direction of one of the left marking line L1 and the right marking line L2 and the traveling direction of the own vehicle, and calculates the extending direction and the own vehicle's traveling direction. It is determined whether the traveling directions are parallel.
- a known method can be used as the parallel determination processing. For example, the distance from the own vehicle to one of the left and right lane markings L1 and L2 at different times is calculated, and the difference between the calculated distances at the respective times is calculated.
- a method of determining that the lane marking extension direction and the traveling direction of the host vehicle are parallel when within a predetermined threshold can be used. If it is determined in step S401 that the lane marking extension direction and the traveling direction of the host vehicle are parallel, the process proceeds to step S402. If it is determined that the lane marking extension direction is not parallel, the process is terminated.
- step S402 the steering angle command calculation unit 21 of the vehicle control device 2 determines whether or not the steering angle specified by the steering angle command output to the steering wheel drive device 23 is zero. In step S403, if zero, the process ends.
- step S403 the rudder angle command calculation unit 21 determines that there is no change in the width of the own lane by the state (that is, the lane width determination unit 15 and the parallel determination unit 22 determines the extension direction of the lane marking and the own vehicle.
- the traveling direction is determined to be parallel, the steering angle specified by the steering angle command is corrected to zero.
- the steering angle command of the steering angle command calculating unit 21 is corrected, the steering angle control accuracy of the host vehicle is improved.
- the presence or absence of a change in the own lane width is determined using the left and right lane markings.
- the presence or absence of a change in the own lane width is determined using only one lane marking.
- the hardware configuration of this embodiment is the same as that shown in FIG.
- the presence or absence of the change of the own lane width is determined using the left lane line (first lane line) L1 will be described here, it goes without saying that the right lane line L2 may be used.
- the lane width determination unit 15 of the present embodiment has a traveling direction DR of the host vehicle (in the present embodiment, parallel to the left partition line) on the image (first image) captured by the first camera 11. ) And the width of the left lane marking (first lane marking) L1 at two points P13 and P17 (see FIG. 10) at different distances, and the vehicle and the first lane marking L1 at the two locations P13 and P17 on the first image. Based on the relationship with the distance, a process of determining whether or not there is a change in the width of the own lane at the two points P13 and P17 is executed. In this embodiment, it is determined whether or not there is a change in the width of the own lane at two points P13 and P17. If there is no change in the own lane width at the two points, the own lane width is considered to be constant. If there is a change in the own lane width, it is considered that the own lane width is not constant.
- the two points P13 and P17 serving as the reference points for obtaining the left division line width and the distance from the own vehicle to the left division line can be set at arbitrary positions from the own vehicle.
- P13 is closer to the vehicle and P17 is farther from the vehicle.
- the first straight line V1 and the second straight line V2, which are two straight lines that pass through the two points P13 and P17, respectively, are set on the image (first image) captured by the first camera 11.
- the width of the first lane marking L1 at the point P13 close to the own vehicle on the first image and the distance between the host vehicle and the first lane marking L1 are the width of the first lane marking L1 on the first straight line V1, And the distance between the host vehicle and the first lane marking L1.
- the width of the first lane line L1 at the point P17 far from the host vehicle on the first image, and the distance between the host vehicle and the first lane line L1 are the width of the first lane line L1 on the second straight line V2, and This is the distance between the host vehicle and the first lane marking L1.
- the two straight lines V1 and V2 are defined after the two points P13 and P17 are set.
- the two straight lines V1 and V2 that are parallel to each other are set at a predetermined distance from the vehicle.
- the intersections of the traveling direction DR of the host vehicle parallel to the lane marking L1 and the two straight lines V1 and V2 may be P13 and P17.
- FIG. 9 is a flowchart of processing of the control device 1 and the vehicle control device 2 according to the fourth embodiment of the present invention.
- FIG. 9 the same processes as those in FIG.
- step S501 the parallel determination unit 22 of the vehicle control device 2 calculates the extending direction of the first lane line (left lane line) L1 and the traveling direction of the host vehicle. Then, it is determined whether or not the extending direction is parallel to the traveling direction of the host vehicle, that is, whether or not the host vehicle is traveling along the first lane marking.
- this parallel determination process a known method can be used, but the method described in the third embodiment can be used. If it is determined in step S501 that the lane line extending direction and the traveling direction of the host vehicle are parallel, that is, if the host vehicle is traveling along the first lane line, the process proceeds to step S502. If it is determined that there is no, the process of FIG. 2 is started and the process proceeds to step S201.
- the lane width determination unit 15 recognizes the first lane line (left lane line) L1 recognized by the lane line recognition unit 14 and the first straight line (V1) that exists near the camera and extends in the horizontal direction on the image. ), Feature points P11, P12, and P13 existing on the intersections with the above are detected.
- the intersection of the left end of the first straight line V1 and the first dividing line L1 is P11
- the intersection of the first straight line V1 and the right end of the first dividing line L1 is P12
- the first straight line V1 is a straight line indicating the traveling direction of the host vehicle (third The intersection of DR (which may be referred to as a straight line) is P13.
- the lane width determination unit 15 recognizes the first lane line (left lane line) L1 recognized by the lane line recognition unit 14, and a second straight line (V2) that exists far from the camera and extends in the horizontal direction on the image. Feature points P15, P16, and P17 existing on the intersections with are detected.
- the intersection of the left end of the second straight line V2 and the first lane marking L1 is P15
- the intersection of the second straight line V2 and the right end of the first lane marking L1 is P16
- the intersection of the second straight line V2 and the straight line DR indicating the traveling direction of the host vehicle Becomes P17.
- the distance between the first straight line V1 and the second straight line V2 is preferably as far as possible within the range in which the two partition lines L1 and L2 are recognized.
- a new straight line is set in the same manner as shown in FIG. Subsequent processing may be executed by setting three points P15′-P17 ′.
- the lane width determination unit 15 determines the left division line width at the camera near and camera far (two points P13, P17) from the feature points P11-P13, P15-P17 detected in steps S502, S503,
- the distance between the host vehicle and the left lane marking is calculated. Specifically, from FIG. 10, the distance from P11 to P12 is calculated as the left line width from the feature point on the first straight line V1 near the camera, and the distance from P12 to P13 is calculated as the distance between the vehicle and the left line. To do. Further, the distance from P15 to P16 is calculated as the left segment line width from the feature point on the straight line V2 far from the camera, and the distance from P16 to P17 is calculated as the distance between the host vehicle and the left segment line.
- the distance from P15 'to P16' is set as the left lane line width from the feature points P15 ', P16', P17 'on the new straight line.
- the distance from P16 ′ to P17 ′ is calculated as the distance between the host vehicle and the left lane marking.
- step S505 the lane width determination unit 15 determines the left of the camera near and the camera far calculated in step S504 for any one of the following expressions (11) to (13). By substituting the lane line width and the distance to the left lane line, it is determined whether or not there is a change in the own lane width by determining whether or not the two expressions are satisfied.
- the signs of the two feature points are described in succession, and this indicates the distance between the two points. For example, “P11P12” indicates “distance between two points P11 and P12”, in other words, “left partition line width on the first straight line V1”.
- each expression represents the ratio of the distance on the first straight line V1
- the right side of each expression represents the ratio of the distance on the second straight line V2.
- each expression there are an expression that exchanges the denominator on the left side and the numerator on the right side, and an expression that exchanges the numerator on the left side and the denominator on the right side, but these are the same as the original expression, so they are not defined separately.
- the lane width determination unit 15 determines whether any one of the above three expressions is satisfied. Normally, since the right side and the left side of each expression include an error, in this embodiment, an allowable value for considering the right side and the left side to be the same is set based on experiments and results, and the difference between the right side and the left side is If it is within the allowable value, it is assumed that both sides are the same, that is, that the formula is satisfied.
- the lane width determination unit 15 establishes a similarity relationship between the left division line width on the two straight lines V1 and V2 and the distance between the own vehicle and the left division line. Then, it is determined that there is no change in the own lane width at the two points P13 and P17, and the own lane width is constant.
- step S205 when it is determined by the determination by the lane width determination unit 15 in step 505 that there is a change in the own lane width, the branch path determination unit 16 proceeds to step S206 and determines that there is a branch path. At this time, the difference between the lane widths near and far from the camera is calculated, a threshold is set for the difference, and if a difference greater than the threshold can be confirmed, it is determined that there is a branch lane that branches from the own lane. You may do it. On the other hand, if it is determined in step 505 that there is no change in the own lane width, the process proceeds to step S207 and it is determined that there is no branch road.
- step S501 one cycle of the branch determination process by the control device 1 is completed.
- the control device 1 executes a series of processes again from step S501.
- the present invention is not limited to the above-described embodiment, and includes various modifications within the scope not departing from the gist of the present invention.
- the present invention is not limited to the one having all the configurations described in the above embodiments, and includes a configuration in which a part of the configuration is deleted.
- part of the configuration according to one embodiment can be added to or replaced with the configuration according to another embodiment.
- each configuration relating to the above-described control devices 1 and 2 and functions and execution processing of each configuration are partly or entirely hardware (for example, logic for executing each function is designed by an integrated circuit). It may be realized with.
- the configuration related to the control devices 1 and 2 may be a program (software) that realizes each function related to the configuration of the device by being read and executed by an arithmetic processing device (for example, a CPU).
- Information related to the program can be stored in, for example, a semiconductor memory (flash memory, SSD, etc.), a magnetic storage device (hard disk drive, etc.), a recording medium (magnetic disk, optical disc, etc.), and the like.
- control line and the information line are shown as necessary for the description of the embodiment. However, all the control lines and information lines related to the product are not necessarily shown. It does not always indicate. In practice, it can be considered that almost all the components are connected to each other.
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本発明は、隣接車線に関する情報を用いることなく自車線幅の変化を検知できる撮像装置を提供する。本発明は、第1画像を撮像する第1カメラ11と,第1画像中で車線を規定する第1区画線L1及び第2区画線L2を認識する制御装置1とを備え,車両に搭載された撮像装置100において,制御装置1は,第1画像上で車両からの距離の異なる2地点PV1,PV2における第1区画線L1の幅と,第1画像上で2地点PV1,PV2における第2区画線L2の幅と,第1画像上で2地点PV1,PV2における第1区画線L1と第2区画線L2の距離との関係に基づいて,車線の幅の変化の有無を判定する車線幅判定部15を備える。
Description
本発明は,車両に搭載されたカメラで撮像された画像に基づいて車線幅の変化を検出する技術に関する。
従来から,車両(自車)に搭載されたカメラで撮像した画像を解析することで,車線を規定する区画線(白線)の位置を検出し,自車が走行する車線(自車線)の幅の変化を推定する技術が知られている。
自車両が走行する自車線の幅(自車線幅)と,自車線に隣接する隣接車線の幅(隣接車線幅)の変化の傾向の相違に基づいて,自車線上で自車の進行方向に存在する分岐車線を検知する技術として,特許文献1がある。
前述の特許文献1の手法は,自車線を区画する左右の区画線間の距離から自車線幅を検出しつつ,隣接車線を区画する左右の区画線間の距離から隣接車線幅を検出して,分岐車線を検知するものである。つまり,分岐車線の検知には自車線幅と隣接車線幅の双方の情報が必要である。そのため,隣接車線幅が検知できない場合(例えば,隣接車線が存在しない場合や,隣接車線の区画線がカメラの撮像画像に写っていない場合等)には,分岐車線が存在するか否か(すなわち,自車線幅に変化があるか否か)を判定することが不可能である。
本発明の目的は,隣接車線に関する情報を用いることなく自車線幅の変化を検知できる撮像装置を提供することにある。
本発明は,第1画像を撮像する第1カメラと,前記第1画像中で車線を規定する第1区画線及び第2区画線を認識する制御装置とを備え,車両に搭載された撮像装置において,前記制御装置は,前記第1画像上で前記車両からの距離の異なる2地点における前記第1区画線の幅と,前記第1画像上で前記2地点における前記第2区画線の幅と,前記第1画像上で前記2地点における前記第1区画線と前記第2区画線の距離との関係に基づいて,前記車線の幅の変化の有無を判定する車線幅判定部を備える。
本発明によれば,隣接車線に関する情報を用いることなく自車線幅の変化を検知できる。
以下,本発明の実施形態について図面を用いて説明する。
<第1実施形態>
図1は本発明の実施形態に係る撮像装置100の全体構成を示す概略構成図である。この図の撮像装置100は,車両(自車と称することがある)のフロントガラスの上部の室内側に備えられた第1カメラ11と,第1カメラ11が撮影した画像(撮像画像)を処理する制御装置1とを備えている。
図1は本発明の実施形態に係る撮像装置100の全体構成を示す概略構成図である。この図の撮像装置100は,車両(自車と称することがある)のフロントガラスの上部の室内側に備えられた第1カメラ11と,第1カメラ11が撮影した画像(撮像画像)を処理する制御装置1とを備えている。
第1カメラ11は,車両前方に向かって設置されており,レンズの焦点距離で規定される所定の領域の画像を定期的に撮影して,時系列の画像を取得している。本稿では第1カメラ11により撮像された画像を第1画像と称することがある。
制御装置1は,コンピュータ(例えばマイクロコンピュータ)であり,例えば,入力部と,プロセッサである中央処理装置(CPU又はMPU)と,記憶装置であるリードオンリーメモリ(ROM)及びランダムアクセスメモリ(RAM)と,出力部とをそれぞれ有している。このうち入力部は,制御装置1に入力される各種情報を,CPUが演算可能なように変換する。ROMは,適宜後述する演算処理を実行する制御プログラムと,当該演算処理の実行に必要な各種情報等が記憶された記録媒体であり,CPUは,ROMに記憶された制御プログラムに従って入力部及びROM,RAMから取り入れた信号に対して所定の演算処理を行う。出力部からは,出力対象を制御するための指令や出力対象が利用する情報等が出力される。なお,記憶装置は上記のROM及びRAMという半導体メモリに限られず,例えばハードディスクドライブ等の磁気記憶装置に代替可能である。
制御装置1は,第1カメラ11の撮像画像に基づいて物体検知をはじめとする外界認識処理を実行するコンピュータであり,画像取得部13と,区画線認識部14と,車線幅判定部15と,分岐路判定部16とを備えている。なお,図1の制御装置1は複数のコンピュータで構成しても良い。
画像取得部13は,第1カメラ11を制御し,定期的に露光時間(シャッタースピード)の設定および撮像を行ってカラー画像の時系列を取得し,それらを制御装置1内に記憶する処理を実行する。カラー画像はRGBカラーモデルで定義されており,カラー画像を構成する各画素の色は赤(R),緑(G),青(B)の明るさの組合せで定義されている。本実施形態ではR,G,Bそれぞれの明るさを0-255までの整数値(すなわち256階調)で表現しており各画素の色を3つの値(R値,G値,B値)の組合せで定義している。
区画線認識部14は,第1カメラ11において撮像された画像中で自車線(自車が走行する車線)を規定する左右の区画線(白線)を認識する処理を実行する部分である。白線の認識処理については公知であるため説明は省略する。区画線認識部14は,自車の左側で自車に最も近い位置で認識された白線を,自車線を規定する左側の区画線(左区画線)L1(図3参照)と認識し,自車の右側で自車に最も近い位置で認識された白線を,自車線を規定する右側の区画線(右区画線)L2(図3参照)と認識することができる。そして,そのように認識した左区画線と右区画線で囲まれた空間を自車線と認識することができる。区画線認識部14は,認識する区画線が破線や明瞭でないかすれ線等の実線でない場合には,実線への近似処理を行うこともできる。なお,本稿では自車線の左右の区画線を第1区画線,第2区画線と称することがある。以下では左区画線を第1区画線とするが,右区画線を第1区画線としても良い。
車線幅判定部15は,区画線認識部14より認識された自車線の左右の区画線L1,L2から,それぞれの区画線幅と自車線幅を求め,自車線の幅の変化の有無を判定する処理を実行する。具体的には,第1カメラ11が撮像した画像(第1画像)上で自車からの距離の異なる2地点PV1,PV2(図3参照)における左区画線(第1区画線)L1の幅と,第1画像上で2地点PV1,PV2における右区画線(第2区画線)L2の幅と,第1画像上で2地点PV1,PV2における第1区画線L1と第2区画線L2の距離(すなわち自車線幅)との関係に基づいて,2地点PV1,PV2での自車線の幅の変化の有無を判定する処理を実行する。本実施形態では2地点PV1,PV2での自車線の幅の変化の有無を判定し,2地点での自車線幅の変化が無い場合には自車線幅は一定であるとみなし,2地点での自車線幅の変化が有る場合には自車線幅は一定でないとみなす。
区画線幅と自車線幅を求める地点の基準となる2地点PV1,PV2は自車から任意の位置に設定できる。本実施形態では自車から近い方をPV1,遠い方をPV2とする。そして,2地点PV1,PV2をそれぞれ通過し互いに平行な2本の直線である第1直線V1及び第2直線V2を第1カメラ11が撮像した画像(第1画像)上に設定する。このとき,第1画像上で自車に近い地点PV1における第1区画線L1の幅,第2区画線L2の幅,及び自車線の幅(第1区画線L1と第2区画線L2の距離)は,第1直線V1上における第1区画線L1の幅,第2区画線L2の幅,及び自車線の幅となる。一方,第1画像上で自車から遠い地点PV2における第1区画線L1の幅,第2区画線L2の幅,及び自車線の幅(第1区画線L1と第2区画線L2の距離)は,第2直線V2上における第1区画線L1の幅,第2区画線L2の幅,及び自車線の幅となる。なお,本実施形態では2地点PV1,PV2を設定してから互いに平行な2直線V1,V2を規定したが,2地点PV1,PV2を設定することなく互いに平行な2直線V1,V2を自車から所定の距離に設定することも可能である。
次に図2及び図3を用いて制御装置1の処理の流れを説明する。図2は本発明の第1実施形態に係る制御装置1の処理のフローチャートであり,図3は本発明の第1実施形態で左右の区画線幅と自車線幅を算出する際に基準となる点(直線V1,V2と区画線L1,L2の交点)P1-P8の説明図である。
図2の処理を制御装置1が開始すると,ステップS201において,車線幅判定部15は,区画線認識部14にて認識した左右区画線L1,L2と,カメラ近方に存在し画像上の水平方向に延びる第1直線(V1)との交点上に存在する特徴点P1,P2,P3,P4を検出する。第1直線V1と第1区画線L1の左端の交点がP1,第1直線V1と第1区画線L1の右端の交点がP2,第1直線V1と第2区画線L2の左端の交点がP3,第1直線V1と第2区画線L2の右端の交点がP4となる。
ステップS202において,車線幅判定部15は,区画線認識部14にて認識した左右区画線L1,L2と,カメラ遠方に存在し画像上の水平方向に延びる第2直線(V2)との交点上に存在する特徴点P5,P6,P7,P8を検出する。第2直線V2と第1区画線L1の左端の交点がP5,第2直線V2と第1区画線L1の右端の交点がP6,第2直線V2と第2区画線L2の左端の交点がP7,第2直線V2と第2区画線L2の右端の交点がP8となる。
なお,第1直線V1と第2直線V2の間の距離は,2本の区画線L1,L2を認識している範囲内で,できるだけ離れているほうがよい。ただし,例えば第2直線V2上で2本の区画線L1,L2に係る4点P5-P8の全てを認識できなかった場合には,図4に示すように,第2直線V2よりもさらにカメラ遠方,または第2直線V2よりもカメラ近方(ただし第1直線V1よりはカメラ遠方)にて,第2直線V2同様に水平方向に延びる第3直線(V2’)と左右区画線L1,L2との交点上に存在する特徴点P5’,P6’,P7’,P8’を検出し,これを点P5-P8の代わりに後の演算処理に利用することができる。なお,ここでは第2直線V2上で4点P5-P8を認識できなかった場合を例に挙げて説明したが,第1直線V1についても同様の処理が可能であることはいうまでもない。
ステップS203において,車線幅判定部15は,ステップS201,S202にて検出した特徴点P1-P8から,カメラ近方及びカメラ遠方(2地点PV1,PV2)における左右の区画線幅と車線幅をそれぞれ算出する。具体的には,図3より,カメラ近方の第1直線V1上の特徴点から左区画線幅としてP1からP2の距離を,右区画線幅としてP3からP4の距離を算出し,車線幅としてP2からP3の距離を算出する。また,カメラ遠方の直線V2上の特徴点から左区画線幅としてP5からP6の距離を,右区画線幅としてP7からP8の距離を算出し,車線幅としてP6からP7の距離を算出する。
なお,ステップS203では,上記の距離(2地点PV1,PV2における左右の区画線幅と車線幅)の他に,後続するステップS204で利用する式に応じて,P1からP3の距離,P5からP7の距離,P1からP4の距離,P5からP8の距離,P2からP4の距離,P6からP8の距離,を算出することもできる。すなわち,ステップS203では,ステップS201にて検出した第1直線V1に係る4つの特徴点P1-P4のうち任意に選択した2点間の距離と,ステップS202にて検出した第2直線V2に係る4つの特徴点P5-P8のうち任意に選択した2点間の距離を算出できる。
なお,第2直線V2上にて左右の区画線を認識できなかった場合は,第3直線V3上の特徴点P5’,P6’,P7’,P8’から区画線幅としてP5’からP6’の距離を,右区画線幅としてP7’からP8’の距離を算出し,車線幅としてP6’からP7’の距離を算出する。
ステップS204において,車線幅判定部15は,下記の(1)-(7)の式のうち予め定められた2つの式に対して,ステップS203で算出したカメラ近方及びカメラ遠方の区画線幅及び車線幅を代入し,当該2つの式が成立したか否かを判定することで自車線幅の変化の有無を判定する。下記(1)-(7)の式では,2つの特徴点の符号を連続して表記しているが,これは当該2点間の距離を示す。例えば,「P1P2」は「2点P1,P2の距離」を示し,言いかえると「第1直線V1上における左区画線幅」を示す。各式の左辺は第1直線V1上の距離の比を表しており,各式の右辺は第2直線V2上の距離の比を表している。各式で,左辺の分母と右辺の分子を交換した式と,左辺の分子と右辺の分母を交換した式が存在するが,これらは元の式と同じなので別途定義しない。
(1)P2P3/P1P2=P6P7/P5P6
(2)P1P3/P1P2=P5P7/P5P6
(3)P2P3/P1P3=P6P7/P5P7
(4)P2P3/P3P4=P6P7/P7P8
(5)P2P4/P2P3=P6P8/P6P7
(6)P3P4/P2P4=P7P8/P6P8
(7)P2P3/P1P4=P6P7/P5P8
上記(1)-(3)の式は2直線上V1,V2における左区画線幅と自車線幅の関係式であり,上記(4)-(6)の式は2直線上V1,V2における右区画線幅と自車線幅の関係式であり,上記(7)の式は2直線上V1,V2における左右区画線幅と自車線幅の関係式である。
(2)P1P3/P1P2=P5P7/P5P6
(3)P2P3/P1P3=P6P7/P5P7
(4)P2P3/P3P4=P6P7/P7P8
(5)P2P4/P2P3=P6P8/P6P7
(6)P3P4/P2P4=P7P8/P6P8
(7)P2P3/P1P4=P6P7/P5P8
上記(1)-(3)の式は2直線上V1,V2における左区画線幅と自車線幅の関係式であり,上記(4)-(6)の式は2直線上V1,V2における右区画線幅と自車線幅の関係式であり,上記(7)の式は2直線上V1,V2における左右区画線幅と自車線幅の関係式である。
自車線幅の変化の有無を判定するために予め定められた「2つの式の組合せ」としては,[A]上記(1)-(3)の式のいずれか1式と上記(4)-(6)の式のいずれか1式の組合せ,[B]上記(1)-(3)の式のいずれか1式と上記(7)の式の組合せ,[C]上記(4)-(6)の式のいずれか1式と上記(7)の式の組合せ,すなわち,A-Bの3種類で合計15の組合せが存在する。車線幅判定部15が利用する2つの式の組合せは状況に合わせて適宜選択することができるが,15個の組合せの中から予め1つに定めておいてもよい。また,利用する組合せの順番を決めておいてもよい。
車線幅判定部15は,上記の「2つの式の組合せ」における2式のそれぞれが成立するか否かを判定する。通常,各式の右辺と左辺には誤差が含まれるため,本実施形態では,右辺と左辺を同一であるとみなすための許容値を実験や実績等から設定し,右辺と左辺の差が当該許容値以内であれば両辺は同一,すなわち当該式が成立するとみなすものとしている。
車線幅判定部15は,上記の「2つの式の組合せ」における2式がともに成立するとみなされたとき,2直線V1,V2上の左右区画線幅と自車線幅において相似関係が成立し,2地点PV1,PV2における自車線幅に変化がなく,自車線幅が一定であると判定する。
ステップS205において,分岐路判定部16は,ステップ204の車線幅判定部15による判定で自車線幅に変化があると判定された場合には,ステップS206へ進んで分岐路が有ると判定する。このとき,カメラ近方とカメラ遠方での車線幅の差分を算出し,その差分についての閾値を設け,当該閾値以上の差分が確認できれば,自車線から分岐する分岐車線が存在することを判断するようにしても良い。一方,ステップ204の判定で自車線幅に変化が無いと判定された場合には,ステップS207に進んで分岐路は無いと判定する。
以上により,制御装置1による分岐判定処理の1サイクルが完了する。制御装置1は所定の制御周期だけ待機した後,ステップS201から一連の処理を再び実行する。
以上のように構成した本実施形態の撮像装置100によれば,第1カメラ11の近方と遠方でそれぞれ左右区画線幅と自車線幅の関係式の成否を判定することによって,任意のタイミングで撮像された1枚の画像を用いて自車線幅が一定であるか否かを判定することができる。また,上記説明から明白なように,本実施形態では,隣接車線に関する情報を用いることなく自車線に関する情報のみを利用して当該判定を行うことができる。すなわち,本実施形態によれば,隣接車線に関する情報を用いることなく自車線幅の変化を検知できる。
なお,上記では所定の時刻に撮像した1枚の第1画像から自車線幅の変化の有無を判定したが,撮像時刻の異なる複数の第1画像のそれぞれにおいてステップS201-204の処理を実行することで自車線幅の変化の有無を判定し,その複数の判定の全てにおいて自車線に変化が無いと判定された場合にステップS205でNOに進むように制御装置1のフローチャートを構成しても良い。このように制御装置1を構成すると,自車線幅の変化の有無に関する判定の精度を向上できる。
<第2実施形態>
図5は本発明の第2実施形態に係る車両制御システム200の全体構成を示す概略構成図である。この図の車両制御システム200は,車両のフロントガラスの上部の室内側に備えられ第1カメラ11とともにステレオカメラを構成する第2カメラ12と,第1カメラ11及び第2カメラ12の撮像画像に基づいて物体検知をはじめとする外界認識処理を実行する制御装置1と,撮像装置100による外界認識処理の結果に基づいて車両を制御する車両制御装置2と,車両制御装置2から出力される指令に基づいて車両の操舵輪24を駆動する操舵輪駆動装置23とを備えている。
図5は本発明の第2実施形態に係る車両制御システム200の全体構成を示す概略構成図である。この図の車両制御システム200は,車両のフロントガラスの上部の室内側に備えられ第1カメラ11とともにステレオカメラを構成する第2カメラ12と,第1カメラ11及び第2カメラ12の撮像画像に基づいて物体検知をはじめとする外界認識処理を実行する制御装置1と,撮像装置100による外界認識処理の結果に基づいて車両を制御する車両制御装置2と,車両制御装置2から出力される指令に基づいて車両の操舵輪24を駆動する操舵輪駆動装置23とを備えている。
第2カメラ12は,車両前方に向かって設置されており,レンズの焦点距離で規定される所定の領域の画像を定期的に撮影して,時系列の画像を取得している。本稿では第2カメラ12により撮像された画像を第2画像と称することがある。
本実施形態の制御装置1は,第1実施形態の各部13-16に加えて,第1画像と第2画像に基づいて視差を演算する視差演算部17と,車線幅判定部15により自車線の幅の変化が無いと判定された場合,右区画線(第1区画線)L1と左区画線(第2区画線)L2の輪郭線の交点である消失点の位置に基づいて視差演算部17により算出される視差を補正する視差補正部18と,視差補正部18により補正された視差または視差演算部17で演算された視差に基づいて画像上の対象物までの距離を演算する距離演算部19とを備えている。
車両制御装置2は,制御装置1と同様にコンピュータ(例えばマイクロコンピュータ)であり,例えば,入力部と,プロセッサである中央処理装置(CPU又はMPU)と,記憶装置であるリードオンリーメモリ(ROM)及びランダムアクセスメモリ(RAM)と,出力部とをそれぞれ有している。
車両制御装置2は,撮像装置100による外界認識結果に基づいて車両の操舵輪の舵角を制御するための舵角指令を演算する舵角指令演算部21と,自車線を規定する左右の区画線(第1区画線と第2区画線)L1,L2のいずれか一方の延在方向と自車両の進行方向を演算し,その演算した延在方向と自車両の進行方向が平行か否かを判定する平行判定部22とを備えている。
操舵輪駆動装置23は,例えばラック&ピニオン式のステアリングシステムでは,ステアリングホイールとピニオンギアを機械的に繋ぐステアリングシャフトを回転駆動するモータである。舵角指令演算部21から入力される舵角指令に基づき操舵輪駆動装置23によりステアリングシャフトを回転駆動するとピニオンギアが回転し,そのピニオンギアの回転方向に応じてラックが車幅方向における左右のいずれかに動作する。この動作がタイロッドを介してナックルアームに伝えられ,舵角指令が規定する操舵角が操舵輪(例えば前輪)24に与えられる。
次に図6を用いて制御装置1の処理の流れを説明する。図6は本発明の第2実施形態に係る制御装置1の処理のフローチャートである。なお,図6において図2と同じ処理には同じ符号を付し説明は適宜省略する。
ステップS204が完了したら,ステップS301で,視差演算部17は第1カメラ11及び第2カメラ12で得られた一対の画像(第1画像と第2画像)に基づいてステレオマッチングにより視差を演算する。
ステップS302において,視差補正部18は,ステップ204の車線幅判定部15による判定で自車線幅に変化があると判定された場合には,ステップS303へ進む。一方,ステップ204の判定で自車線幅に変化が無いと判定された場合には,ステップS305に進む。
ステップS303では,視差補正部18は,互いに平行な区画線の情報を利用した視差補正(ステップS305の視差補正処理)を実行すべき状況ではないと判断し,視差補正を行うこと無くステップS304に進む。ステップS304では,距離演算部19は,視差演算部17で演算された視差に基づいて画像上の対象物までの距離を演算する。
一方,ステップS305では,視差補正部18は,自車線を規定する左右の区画線L1,L2は互いに平行であるとみなして視差補正処理を実行する。具体的には次の処理を実行する。まず,図7に示すように,視差補正部18は視差を算出した際に利用した1組の撮像画像のいずれかに基づき左右の区画線L1,L2のエッジを形成する点(エッジ画素)を複数抽出し,左右の区画線L1,L2の輪郭線となる4本の近似直線AL1,AL2,AL3,AL4を検出する。次にその4本の輪郭線の交点である消失点の位置を算出し,その消失点の位置における視差を取得する。消失点の視差は本来ゼロとなるが,4本の近似直線AL1,AL2,AL3,AL4から規定される消失点の視差がゼロでない場合には補正が必要であり,その消失点の視差がゼロになるように視差演算部17により算出される視差を補正する。
なお,上記の説明では4本の近似直線を利用したが左区画線の輪郭線AL1,AL2のいずれかと右区画線の輪郭線AL3,AL4のいずれか(すなわち合計2本の近似直線)で規定される消失点を利用して補正しても良い。また,左右の区画線L1,L2が互いに平行であることを条件として行う公知の視差補正であれば上記以外の方法も利用可能である。
ステップS306では,距離演算部19は,ステップS305で視差補正部18により補正された視差に基づいて画像上の対象物までの距離を演算する。
以上により,制御装置1による所定の対象物までの距離演算処理の1サイクルが完了する。制御装置1は所定の制御周期だけ待機した後,ステップS201から一連の処理を再び実行する。
以上のように構成した本実施形態の撮像装置100によれば,左右の区画線L1,L2が平行であることを前提として視差補正処理を行っている場合に,その前提が成立しているか否かを隣接車線に関する情報を用いることなく自車線の情報に用いるだけで容易に判断でき,当該全体が成立していない場合には視差補正処理が実行されることが回避されるので,当該前提に基づく視差補正処理を精度良く実行できる。すなわち本実施形態によれば,隣接車線に関する情報を用いることなく自車線幅の変化を検知できるとともに,視差補正の精度が向上する。
<第3実施形態>
本実施形態では左右区画線L1,L2の延在方向と自車両の向き(進行方向)が平行であるときに自車の舵角が発生している場合は舵角無しに補正を行う処理について説明する。本実施形態のハードウェア構成は図5に示したものと同じとし説明は省略する。
本実施形態では左右区画線L1,L2の延在方向と自車両の向き(進行方向)が平行であるときに自車の舵角が発生している場合は舵角無しに補正を行う処理について説明する。本実施形態のハードウェア構成は図5に示したものと同じとし説明は省略する。
ここでは本実施形態に係る車両制御システム200の処理の流れについて図8を用いて説明する。図8は本発明の第3実施形態に係る制御装置1と車両制御装置2の処理のフローチャートである。なお,図8において図2と同じ処理には同じ符号を付し説明は適宜省略する。
ステップS205において,分岐路判定部16は,ステップ204の車線幅判定部15による判定で自車線幅に変化があると判定された場合には処理を終了する。処理を終了した場合には,制御装置1は所定の制御周期だけ待機した後,ステップS201から一連の処理を再び実行する。一方,ステップ204の判定で自車線幅に変化が無いと判定された場合には,自車線幅が一定であるとみなしてステップS401に進む。
ステップS401では,車両制御装置2の平行判定部22は,左区画線L1と右区画線L2のいずれか一方の延在方向と自車両の進行方向を演算してその延在方向と自車両の進行方向が平行か否かを判定する。この平行判定処理としては公知の方法が利用可能であるが,例えば,異なる時刻における自車両から左右の区画線L1,L2のいずれかまでの距離を算出し,それぞれの時刻の算出距離の差が所定の閾値以内の場合に区画線の延在方向と自車両の進行方向が平行であると判定する方法が利用できる。ステップS401で区画線の延在方向と自車両の進行方向が平行であると判定された場合にはステップS402に進み,平行でないと判定された場合には処理を終了する。
ステップS402では,車両制御装置2の舵角指令演算部21が操舵輪駆動装置23に出力している舵角指令が規定する舵角がゼロか否かを判定し,その舵角がゼロでない場合にはステップS403に進み,ゼロの場合には処理を終了する。
ステップS403では,舵角指令演算部21は,その状態(すなわち,車線幅判定部15により自車線の幅の変化が無いと判定され,平行判定部22により区画線の延在方向と自車両の進行方向が平行であると判定された場合)における舵角指令が規定する舵角をゼロに補正する。これにより,舵角指令演算部21の舵角指令が補正されるので自車両の舵角制御精度が向上する。
<第4実施形態>
上記の各実施形態では自車線幅の変化の有無を左右の区画線を利用して判定したが,本実施形態では1本の区画線のみで自車線幅の変化の有無を判定している点に特徴がある。
本実施形態のハードウェア構成は図5に示したものと同じとし説明は省略する。ここでは左区画線(第1区画線)L1を利用して自車線幅の変化の有無を判定する場合について説明するが,右区画線L2を利用しても良いことはいうまでもない。
上記の各実施形態では自車線幅の変化の有無を左右の区画線を利用して判定したが,本実施形態では1本の区画線のみで自車線幅の変化の有無を判定している点に特徴がある。
本実施形態のハードウェア構成は図5に示したものと同じとし説明は省略する。ここでは左区画線(第1区画線)L1を利用して自車線幅の変化の有無を判定する場合について説明するが,右区画線L2を利用しても良いことはいうまでもない。
本実施形態の車線幅判定部15は,図10に示すように,第1カメラ11が撮像した画像(第1画像)上で自車両の進行方向DR(本実施形態では左区画線と平行とする)において距離の異なる2地点P13,P17(図10参照)における左区画線(第1区画線)L1の幅と,第1画像上で2地点P13,P17における自車両と第1区画線L1の距離との関係に基づいて,2地点P13,P17での自車線の幅の変化の有無を判定する処理を実行する。本実施形態では2地点P13,P17での自車線の幅の変化の有無を判定し,2地点での自車線幅の変化が無い場合には自車線幅は一定であるとみなし,2地点での自車線幅の変化が有る場合には自車線幅は一定でないとみなす。
本実施形態において,左区画線幅と,自車両から左区画線までの距離とを求める地点の基準となる2地点P13,P17は自車から任意の位置に設定できる。本実施形態では自車から近い方をP13,遠い方をP17とする。そして,2地点P13,P17をそれぞれ通過し互いに平行な2本の直線である第1直線V1及び第2直線V2を第1カメラ11が撮像した画像(第1画像)上に設定する。このとき,第1画像上で自車に近い地点P13における第1区画線L1の幅,及び自車両と第1区画線L1の距離は,第1直線V1上における第1区画線L1の幅,及び自車両と第1区画線L1の距離となる。一方,第1画像上で自車から遠い地点P17における第1区画線L1の幅,及び自車両と第1区画線L1の距離は,第2直線V2上における第1区画線L1の幅,及び自車両と第1区画線L1の距離となる。なお,本実施形態では2地点P13,P17を設定してから互いに平行な2直線V1,V2を規定したが,互いに平行な2直線V1,V2を自車から所定の距離に設定し,第1区画線L1と平行な自車両の進行方向DRと当該2直線V1,V2の交点をP13,P17とすることも可能である。
次に本実施形態に係る車両制御システム200の処理の流れについて図9を用いて説明する。図9は本発明の第4実施形態に係る制御装置1と車両制御装置2の処理のフローチャートである。なお,図9において図2と同じ処理には同じ符号を付し説明は適宜省略する。
図9の処理を車両制御システム200が開始すると,ステップS501において,車両制御装置2の平行判定部22は,第1区画線(左区画線)L1の延在方向と自車両の進行方向を演算してその延在方向と自車両の進行方向が平行か否か,すなわち自車両が第1区画線に沿って走行しているか否かを判定する。この平行判定処理としては公知の方法が利用可能であるが,第3実施形態で説明した方法が利用可能である。ステップS501で区画線の延在方向と自車両の進行方向が平行であると判定された場合,すなわち自車両が第1区画線に沿って走行している場合にはステップS502に進み,そうではないと判定された場合には図2の処理を開始しステップS201に進む。
ステップS502において,車線幅判定部15は,区画線認識部14にて認識した第1区画線(左区画線)L1と,カメラ近方に存在し画像上の水平方向に延びる第1直線(V1)との交点上に存在する特徴点P11,P12,P13を検出する。第1直線V1と第1区画線L1の左端の交点がP11,第1直線V1と第1区画線L1の右端の交点がP12,第1直線V1と自車両の進行方向を示す直線(第3直線と称することがある)DRの交点がP13となる。
ステップS503において,車線幅判定部15は,区画線認識部14にて認識した第1区画線(左区画線)L1と,カメラ遠方に存在し画像上の水平方向に延びる第2直線(V2)との交点上に存在する特徴点P15,P16,P17を検出する。第2直線V2と第1区画線L1の左端の交点がP15,第2直線V2と第1区画線L1の右端の交点がP16,第2直線V2と自車両の進行方向を示す直線DRの交点がP17となる。
なお,第1直線V1と第2直線V2の間の距離は,2本の区画線L1,L2を認識している範囲内で,できるだけ離れているほうがよい。ただし,例えば第2直線V2上で左区画線L1に係る3点P15-P17の全てを認識できなかった場合には,図4に示す場合と同様に新たに直線を設定し,その直線上に3点P15’-P17’を設定して後続の処理を実行しても良い。
ステップS504において,車線幅判定部15は,ステップS502,S503にて検出した特徴点P11-P13,P15-P17から,カメラ近方及びカメラ遠方(2地点P13,P17)における左区画線幅と,自車両と左区画線の距離をそれぞれ算出する。具体的には,図10より,カメラ近方の第1直線V1上の特徴点から左区画線幅としてP11からP12の距離を,自車両と左区画線の距離としてP12からP13の距離を算出する。また,カメラ遠方の直線V2上の特徴点から左区画線幅としてP15からP16の距離を,自車両と左区画線の距離としてP16からP17の距離を算出する。
なお,ステップS504では,上記の距離(2地点P13,P17における左区画線幅と,自車両と左区画線の距離)の他に,後続するステップS505で利用する式に応じて,P11からP13の距離,P15からP17の距離を算出することもできる。すなわち,ステップS504では,ステップS502にて検出した第1直線V1に係る3つの特徴点P11-P13のうち任意に選択した2点間の距離と,ステップS503にて検出した第2直線V2に係る3つの特徴点P15-P17のうち任意に選択した2点間の距離を算出できる。
なお,第2直線V2上にて左区画線を認識できなかった場合は,新たな直線上の特徴点P15’,P16’,P17’から左区画線幅としてP15’からP16’の距離を,自車両と左区画線の距離としてP16’からP17’の距離を算出する。
ステップS505において,車線幅判定部15は,下記の(11)-(13)の式のうち予め定められたいずれか1つの式に対して,ステップS504で算出したカメラ近方及びカメラ遠方の左区画線幅と左区画線までの距離を代入し,当該2つの式が成立したか否かを判定することで自車線幅の変化の有無を判定する。下記(11)-(13)の式では,2つの特徴点の符号を連続して表記しているが,これは当該2点間の距離を示す。例えば,「P11P12」は「2点P11,P12の距離」を示し,言いかえると「第1直線V1上における左区画線幅」を示す。各式の左辺は第1直線V1上の距離の比を表しており,各式の右辺は第2直線V2上の距離の比を表している。各式で,左辺の分母と右辺の分子を交換した式と,左辺の分子と右辺の分母を交換した式が存在するが,これらは元の式と同じなので別途定義しない。
(11)P12P13/P11P12=P16P17/P15P16
(12)P11P13/P11P12=P15P17/P15P16
(13)P12P13/P11P13=P16P17/P15P17
上記(11)-(13)の式は,2直線上V1,V2における左区画線幅と,自車両と左区画線の距離の関係式である。
(12)P11P13/P11P12=P15P17/P15P16
(13)P12P13/P11P13=P16P17/P15P17
上記(11)-(13)の式は,2直線上V1,V2における左区画線幅と,自車両と左区画線の距離の関係式である。
車線幅判定部15が利用する式は状況に合わせて適宜選択することができるが,上記3個の中から予め1つに定めておいてもよい。また,利用する組合せの順番を決めておいてもよい。
車線幅判定部15は,上記の3つの式のいずれか1つが成立するか否かを判定する。通常,各式の右辺と左辺には誤差が含まれるため,本実施形態では,右辺と左辺を同一であるとみなすための許容値を実験や実績等から設定し,右辺と左辺の差が当該許容値以内であれば両辺は同一,すなわち当該式が成立するとみなすものとしている。
車線幅判定部15は,上記の3つの式のいずれか1つが成立するとみなされたとき,2直線V1,V2上の左区画線幅と,自車両と左区画線の距離において相似関係が成立し,2地点P13,P17における自車線幅に変化がなく,自車線幅が一定であると判定する。
ステップS205において,分岐路判定部16は,ステップ505の車線幅判定部15による判定で自車線幅に変化があると判定された場合には,ステップS206へ進んで分岐路が有ると判定する。このとき,カメラ近方とカメラ遠方での車線幅の差分を算出し,その差分についての閾値を設け,当該閾値以上の差分が確認できれば,自車線から分岐する分岐車線が存在することを判断するようにしても良い。一方,ステップ505の判定で自車線幅に変化が無いと判定された場合には,ステップS207に進んで分岐路は無いと判定する。
以上により,制御装置1による分岐判定処理の1サイクルが完了する。制御装置1は所定の制御周期だけ待機した後,ステップS501から一連の処理を再び実行する。
以上のように構成した本実施形態の車両制御システム200によれば,第1カメラ11の近方と遠方でそれぞれ左区画線幅と,自車両と左区画線の距離の関係式の成否を判定することによって,任意のタイミングで撮像された1枚の画像を用いて自車線幅が一定であるか否かを判定することができる。また,上記説明から明白なように,本実施形態では,自車両が自車線を規定する2つの区画線のうち一方の区画線と平行に走行している場合に限られるものの,当該一方の区画線の情報のみを利用して自車線幅が一定であるか否かを判定できる。すなわち,本実施形態によれば,隣接車線に関する情報を用いることなく自車線幅の変化を検知できる。
なお,上記では,平行判定部22を車両制御装置2に設ける場合について説明したが,撮像装置100の制御装置1に設けても良い。この場合,本実施形態は撮像装置100のみで実施が可能となる。
本発明は,上記の実施の形態に限定されるものではなく,その要旨を逸脱しない範囲内の様々な変形例が含まれる。例えば,本発明は,上記の実施の形態で説明した全ての構成を備えるものに限定されず,その構成の一部を削除したものも含まれる。また,ある実施の形態に係る構成の一部を,他の実施の形態に係る構成に追加又は置換することが可能である。
また,上記の制御装置1,2に係る各構成や当該各構成の機能及び実行処理等は,それらの一部又は全部をハードウェア(例えば各機能を実行するロジックを集積回路で設計する等)で実現しても良い。また,上記の制御装置1,2に係る構成は,演算処理装置(例えばCPU)によって読み出し・実行されることで当該装置の構成に係る各機能が実現されるプログラム(ソフトウェア)としてもよい。当該プログラムに係る情報は,例えば,半導体メモリ(フラッシュメモリ,SSD等),磁気記憶装置(ハードディスクドライブ等)及び記録媒体(磁気ディスク,光ディスク等)等に記憶することができる。
また,上記の各実施の形態の説明では,制御線や情報線は,当該実施の形態の説明に必要であると解されるものを示したが,必ずしも製品に係る全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えて良い。
1…制御装置,2…車両制御装置,11…カメラ(第1カメラ),12…カメラ(第2カメラ),13…画像取得部,14…区画線認識部,15…車線幅判定部,16…分岐路判定部,17…視差演算部,18…視差補正部,19…距離演算部,21…舵角指令演算部,22…平行判定部,23…操舵輪駆動装置,24…操舵輪,L1…左区画線(第1区画線),L2…右区画線(第2区画線),V1…第1直線,V2…第2直線,PV1,PV2…自車両から距離の異なる2地点,P13,P17…自車両から距離の異なる2地点
Claims (11)
- 第1画像を撮像する第1カメラと,前記第1画像中で車線を規定する第1区画線及び第2区画線を認識する制御装置とを備え,車両に搭載された撮像装置において,
前記制御装置は,前記第1画像上で前記車両からの距離の異なる2地点における前記第1区画線の幅と,前記第1画像上で前記2地点における前記第2区画線の幅と,前記第1画像上で前記2地点における前記第1区画線と前記第2区画線の距離との関係に基づいて,前記車線の幅の変化の有無を判定する車線幅判定部を備えることを特徴とする撮像装置。 - 請求項1の撮像装置において,
前記2地点をそれぞれ通過し互いに平行な2本の直線である第1直線及び第2直線を前記第1画像上に設定したとき,
前記第1画像上で前記2地点のうち一方の地点における前記第1区画線の幅,前記第2区画線の幅,及び前記第1区画線と前記第2区画線の距離は,前記第1直線上における前記第1区画線の幅,前記第2区画線の幅,及び前記第1区画線と前記第2区画線の距離であり,
前記第1画像上で前記2地点のうち他方の地点における前記第1区画線の幅,前記第2区画線の幅,及び前記第1区画線と前記第2区画線の距離は,前記第2直線上における前記第1区画線の幅,前記第2区画線の幅,及び前記第1区画線と前記第2区画線の距離であることを特徴とする撮像装置。 - 請求項1の撮像装置において,
前記2地点をそれぞれ通過し互いに平行な2本の直線である第1直線及び第2直線を前記第1画像上に設定し,前記第1直線と前記第1区画線の左端の交点をP1,前記第1直線と前記第1区画線の右端の交点をP2,前記第1直線と前記第2区画線の左端の交点をP3,前記第1直線と前記第2区画線の右端の交点をP4,前記第2直線と前記第1区画線の左端の交点をP5,前記第2直線と前記第1区画線の右端の交点をP6,前記第2直線と前記第2区画線の左端の交点をP7,前記第2直線と前記第2区画線の右端の交点をP8とし,次の(1)-(7)の式を設定したとき,
(1)2点P2,P3の距離/2点P1,P2の距離=2点P6,P7の距離/2点P5,P6の距離
(2)2点P1,P3の距離/2点P1,P2の距離=2点P5,P7の距離/2点P5,P6の距離
(3)2点P2,P3の距離/2点P1,P3の距離=2点P6,P7の距離/2点P5,P7の距離
(4)2点P2,P3の距離/2点P3,P4の距離=2点P6,P7の距離/2点P7,P8の距離
(5)2点P2,P4の距離/2点P2,P3の距離=2点P6,P8の距離/2点P6,P7の距離
(6)2点P3,P4の距離/2点P2,P4の距離=2点P7,P8の距離/2点P6,P8の距離
(7)2点P2,P3の距離/2点P1,P4の距離=2点P6,P7の距離/2点P5,P8の距離
前記車線幅判定部は,上記(1)-(3)の式のいずれかと上記(4)-(6)の式のいずれかが成立したとみなしたとき,上記(1)-(3)の式のいずれかと上記(7)の式が成立したとみなしたとき,または,上記(4)-(6)の式のいずれかと上記(7)の式が成立したとみなしたとき,前記車線の幅の変化は無いと判定し,それ以外のときは前記車線の幅の変化が有ると判定することを特徴とする撮像装置。 - 請求項1の撮像装置において,
前記車線幅判定部は,前記車線の幅の変化の有無の判定結果に基づいて,前記車線の幅が一定か否かを判定することを特徴とする撮像装置。 - 請求項1の撮像装置において,
前記制御装置は,前記車線幅判定部により前記車線の幅の変化が有ると判定された場合,前記車線が分岐すると判定する分岐路判定部をさらに備えることを特徴とする撮像装置。 - 請求項1の撮像装置において,
第2画像を撮像する第2カメラをさらに備え,
前記制御装置は,
前記第1画像と前記第2画像に基づいて視差を演算する視差演算部と
前記車線幅判定部により前記車線の幅の変化が無いと判定された場合,前記第1区画線と前記第2区画線の輪郭線の交点である消失点の位置に基づいて前記視差演算部により算出される視差を補正する視差補正部と,
前記視差補正部により補正された視差に基づいて対象物までの距離を演算する距離演算部とをさらに備えることを特徴とする撮像装置。 - 請求項1の撮像装置において,
前記車線幅判定部が前記車線の幅に変化は無いと判定するときとは,撮像時刻の異なる複数の第1画像を基に前記2地点における前記車線の幅の変化の有無を判定し,その複数の判定の全てにおいて前記車線の幅に変化は無いと判定されたときであることを特徴とする撮像装置。 - 請求項1の撮像装置において,
前記第1区画線と前記第2区画線は平行であることを特徴とする撮像装置。 - 請求項1の撮像装置と,
前記撮像装置による外界認識結果に基づいて前記車両の操舵輪の蛇角を制御するための舵角指令を演算する舵角指令演算部を有する車両制御装置と,
前記舵角指令演算部から出力される舵角指令を基に前記車両の操舵輪を駆動する操舵輪駆動装置とを備える車両制御システムにおいて,
前記車両制御装置は,前記第1区画線と前記第2区画線のいずれか一方の延在方向と前記車両の進行方向を演算して前記延在方向と前記車両の進行方向が平行か否かを判定する平行判定部をさらに備え,
前記舵角指令演算部は,前記車線幅判定部により前記車線の幅の変化が無いと判定され,前記平行判定部により前記延在方向と前記車両の進行方向が平行であると判定された場合に,前記舵角指令が規定する舵角がゼロでないとき,その舵角指令が規定する舵角をゼロに補正することを特徴とする車両制御システム。 - 第1画像を撮像する第1カメラと,前記第1画像中で車線を規定する第1区画線を認識する制御装置とを備え,車両に搭載された撮像装置において,
前記制御装置は,前記第1画像上で前記車両からの距離の異なる2地点における前記第1区画線の幅と,前記車両が前記第1区画線に沿って走行しているときの前記2地点における前記車両と前記第1区画線の距離との関係に基づいて,前記車線の幅の変化の有無を判定する車線幅判定部を備えることを特徴とする撮像装置。 - 請求項10の撮像装置において,
前記2地点をそれぞれ通過し互いに平行な2本の直線である第1直線及び第2直線を前記第1画像上に設定し,前記第1直線と前記第1区画線の交点の一方をP11,前記第1直線と前記第1区画線の交点の他方をP12,前記第1直線と前記車両の進行方向を示す第3直線の交点をP13,前記第2直線と前記第1区画線の交点の一方をP15,前記第2直線と前記第1区画線の交点の他方をP16,前記第2直線と前記第3直線の交点をP17とし,次の(11)-(13)の式を設定したとき,
(11)2点P12,P13の距離/2点P11,P12の距離=2点P16,P17の距離/2点P15,P16の距離
(12)2点P11,P13の距離/2点P11,P12の距離=2点P15,P17の距離/2点P15,P16の距離
(13)2点P12,P13の距離/2点P11,P13の距離=2点P16,P17の距離/2点P15,P17の距離
前記車線幅判定部は,上記(11)-(13)の式のいずれかが成立したとみなしたとき,前記車線の幅の変化は無いと判定し,それ以外のときは前記車線の幅の変化が有ると判定することを特徴とする撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/970,399 US11308337B2 (en) | 2018-02-20 | 2019-02-04 | Image capturing device |
JP2020501649A JP6999022B2 (ja) | 2018-02-20 | 2019-02-04 | 撮像装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018028258 | 2018-02-20 | ||
JP2018-028258 | 2018-02-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019163493A1 true WO2019163493A1 (ja) | 2019-08-29 |
Family
ID=67688510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/003779 WO2019163493A1 (ja) | 2018-02-20 | 2019-02-04 | 撮像装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11308337B2 (ja) |
JP (1) | JP6999022B2 (ja) |
WO (1) | WO2019163493A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022060077A (ja) * | 2020-10-02 | 2022-04-14 | 株式会社Subaru | 自動操舵制御装置 |
US12024170B2 (en) * | 2020-12-14 | 2024-07-02 | Zoox, Inc. | Lane change gap finder |
CN114299461A (zh) * | 2021-12-06 | 2022-04-08 | 江苏航天大为科技股份有限公司 | 一种基于两阶段的车辆违规变道识别方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11232467A (ja) * | 1998-02-18 | 1999-08-27 | Aqueous Reserch:Kk | 分岐認識装置及び分岐認識方法 |
JP2002312797A (ja) * | 2001-04-09 | 2002-10-25 | Denso Corp | 分岐路判定装置、プログラム及び記録媒体 |
JP2003083742A (ja) * | 2001-09-13 | 2003-03-19 | Fuji Heavy Ind Ltd | 監視システムの距離補正装置および距離補正方法 |
JP2008033807A (ja) * | 2006-07-31 | 2008-02-14 | Nissan Motor Co Ltd | 車線逸脱防止装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012125687A2 (en) * | 2011-03-14 | 2012-09-20 | The Regents Of The University Of California | Method and system for vehicle classification |
JP5578331B2 (ja) * | 2011-12-26 | 2014-08-27 | トヨタ自動車株式会社 | 車両の走行軌跡制御装置 |
JP6318999B2 (ja) * | 2014-09-04 | 2018-05-09 | 株式会社Soken | 駐車スペース認識装置、駐車スペース認識システム |
US9483059B2 (en) * | 2014-11-26 | 2016-11-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method to gain driver's attention for autonomous vehicle |
JP6341191B2 (ja) * | 2015-12-16 | 2018-06-13 | トヨタ自動車株式会社 | 情報演算装置 |
JP2017123009A (ja) | 2016-01-06 | 2017-07-13 | 株式会社Soken | 区画線認識装置 |
JP6774297B2 (ja) * | 2016-10-17 | 2020-10-21 | 株式会社デンソー | 車両認識装置及び車両認識方法 |
JP6652045B2 (ja) * | 2016-12-26 | 2020-02-19 | トヨタ自動車株式会社 | 自動運転車両 |
JP6819281B2 (ja) * | 2016-12-27 | 2021-01-27 | 株式会社デンソー | 衝突判定装置、および、衝突判定システム |
KR20190072834A (ko) * | 2017-12-18 | 2019-06-26 | 삼성전자주식회사 | 차량의 종방향 속도를 제어하는 장치 및 방법 |
-
2019
- 2019-02-04 US US16/970,399 patent/US11308337B2/en active Active
- 2019-02-04 JP JP2020501649A patent/JP6999022B2/ja active Active
- 2019-02-04 WO PCT/JP2019/003779 patent/WO2019163493A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11232467A (ja) * | 1998-02-18 | 1999-08-27 | Aqueous Reserch:Kk | 分岐認識装置及び分岐認識方法 |
JP2002312797A (ja) * | 2001-04-09 | 2002-10-25 | Denso Corp | 分岐路判定装置、プログラム及び記録媒体 |
JP2003083742A (ja) * | 2001-09-13 | 2003-03-19 | Fuji Heavy Ind Ltd | 監視システムの距離補正装置および距離補正方法 |
JP2008033807A (ja) * | 2006-07-31 | 2008-02-14 | Nissan Motor Co Ltd | 車線逸脱防止装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2019163493A1 (ja) | 2021-02-04 |
US11308337B2 (en) | 2022-04-19 |
US20210117698A1 (en) | 2021-04-22 |
JP6999022B2 (ja) | 2022-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6347827B2 (ja) | 車線境界線を検出する方法、装置、およびデバイス | |
WO2019163493A1 (ja) | 撮像装置 | |
JP7077910B2 (ja) | 区画線検出装置及び区画線検出方法 | |
US9336595B2 (en) | Calibration device, method for implementing calibration, and camera for movable body and storage medium with calibration function | |
CN113602260A (zh) | 车辆向后行驶辅助装置及其控制方法 | |
WO2020066072A1 (ja) | 区画線認識装置 | |
US20170318279A1 (en) | Stereo camera apparatus and vehicle comprising the same | |
US11880993B2 (en) | Image processing device, driving assistance system, image processing method, and program | |
US9542607B2 (en) | Lane boundary line recognition device and computer-readable storage medium storing program of recognizing lane boundary lines on roadway | |
US20210001776A1 (en) | Method and apparatus for calibrating a plurality of cameras | |
JP2018005618A (ja) | 道路認識装置 | |
JP2020187474A (ja) | 走行車線認識装置、走行車線認識方法およびプログラム | |
JP7095559B2 (ja) | 区画線検出装置及び区画線検出方法 | |
EP3598388A1 (en) | Method and apparatus for visual odometry, and non-transitory computer-readable recording medium | |
JP5979023B2 (ja) | 車両用撮像装置 | |
KR101714896B1 (ko) | 지능형 운전자 보조 시스템을 위한 광량 변화에 강건한 스테레오 정합 장치 및 방법 | |
KR20160064275A (ko) | 차량 위치 인식 장치 및 방법 | |
WO2013069453A1 (ja) | 画像処理装置及び画像処理方法 | |
WO2014054124A1 (ja) | 路面標示検出装置及び路面標示検出方法 | |
JP6841553B2 (ja) | 撮像装置 | |
CN114037977B (zh) | 道路灭点的检测方法、装置、设备及存储介质 | |
WO2015182148A1 (ja) | 物体検出装置および物体検出装置を設置した車両 | |
US11551457B2 (en) | Vehicle external environment recognition apparatus | |
JP6637399B2 (ja) | 領域認識装置及び領域認識方法 | |
KR102681321B1 (ko) | 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19756800 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020501649 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19756800 Country of ref document: EP Kind code of ref document: A1 |