WO2009088035A1 - 車線認識装置、車線認識方法および車線認識プログラム - Google Patents

車線認識装置、車線認識方法および車線認識プログラム Download PDF

Info

Publication number
WO2009088035A1
WO2009088035A1 PCT/JP2009/050124 JP2009050124W WO2009088035A1 WO 2009088035 A1 WO2009088035 A1 WO 2009088035A1 JP 2009050124 W JP2009050124 W JP 2009050124W WO 2009088035 A1 WO2009088035 A1 WO 2009088035A1
Authority
WO
WIPO (PCT)
Prior art keywords
bird
lane
image
eye view
eye
Prior art date
Application number
PCT/JP2009/050124
Other languages
English (en)
French (fr)
Inventor
Kazuyuki Sakurai
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to EP09700415A priority Critical patent/EP2242022A4/en
Priority to US12/808,032 priority patent/US8655081B2/en
Priority to CN200980102024.5A priority patent/CN101911122B/zh
Publication of WO2009088035A1 publication Critical patent/WO2009088035A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to the recognition of lane markings, and in particular to estimating the position of lane markings by image processing.
  • LKS Longe Keep Support
  • ITS Intelligent Road Transportation System
  • This is a sensor that recognizes the lane on the road, thereby controlling steering, acceleration, braking, etc., so that the vehicle always travels in the middle of the lane.
  • an image input device such as a camera is installed on the front or rear side of a traveling car, and the image input device processes an image of the road on which the vehicle is traveling.
  • Techniques for recognizing the lane markings drawn in are particularly actively researched.
  • FIG. 18 is a conceptual diagram showing an example of the configuration of a general-purpose lane recognition device 1800 described in Patent Document 1.
  • the general-purpose lane recognition device 1800 includes an image input device 1810, a bird's-eye view image creation unit 1820, a luminance profile creation unit 1830, and a dividing line detection unit 1840.
  • FIG. 19 is a conceptual diagram showing the operation of the lane recognition device 1800 shown in FIG. FIG. 19A is an image of a road in motion, which is captured by the image input device 1810. This is called an original image 1910.
  • the bird's-eye-view image creation unit 1820 to which the original image 1910 is input, creates a bird's-eye view image 1920 shown in FIG. 19 (b) from the original image 1910.
  • the brightness profile creation unit 1830 integrates the brightness of the coordinate in the direction orthogonal to the road width direction of the road surface represented in the bird's-eye view image 1920 to obtain the integrated brightness shown in FIG. To detect.
  • the lane line detection unit 1840 detects the lane lane line 1930 by determining the position corresponding to the coordinate in the road width direction indicating the integrated luminance higher than the distribution of the integrated luminance.
  • Patent Document 2 discloses an example of a technique for detecting a lane from an original image.
  • Patent Document 3 discloses an example of a technique for generating a synthetic bird's-eye view image from a bird's-eye view image based on a plane movement amount.
  • Patent Document 4 discloses an example of a technique for detecting the position and line type of a lane from an original image.
  • Patent Document 5 discloses an example of a technique for determining whether a lane detected from an original image is a solid line or a broken line.
  • Patent Document 6 discloses an example of a technique for improving the lane detection accuracy by a plurality of images at different points in time.
  • Patent Document 7 discloses an example of a technique for improving the lane detection accuracy based on the variation of the luminance total value.
  • Patent Document 8 discloses an example of a technique for improving lane detection accuracy by attaching various sensors to a vehicle and determining the condition of a road surface.
  • Patent Document 9 discloses a technique in which a plurality of images at different points in time are connected to obtain a bird's-eye view image of the periphery of a vehicle.
  • Patent Document 10 discloses an example of a technique for improving the image quality when obtaining a bird's-eye view image from an original image.
  • Patent Document 11 discloses an example of a technique for improving lane detection accuracy by recognizing lanes independently at short and long distances.
  • the general-purpose lane recognition device 1800 shown in FIGS. 18 and 19 has a problem that false recognition is likely to occur. For example, when raindrops or foreign matter adheres to the image input device 1810, point-like noise is generated in the original image 1910 due to such raindrops or foreign matter. When this is converted into a bird's-eye view image 1920 by the bird's-eye view image creation means 1820, it becomes white line-like noise in the vertical direction, and it becomes difficult to distinguish from the lane. Therefore, false recognition is likely to occur.
  • Patent Document 1 Japanese Patent Document 1
  • Patent Documents 2 to 11 describe no configuration capable of suppressing noise that is likely to be generated in each of the two.
  • An object of the present invention is to provide a lane recognition apparatus, a lane recognition method, and a lane recognition program which suppress noise likely to occur in each of an original image and a bird's-eye view image and improve lane recognition accuracy.
  • a lane recognition device is a lane recognition system for recognizing a lane based on an image
  • Synthetic bird's-eye view image creation means for creating a bird's-eye view image synthesized by connecting a plurality of bird's-eye view images obtained by respectively forming partial regions of original images captured at a plurality of different times
  • a division line candidate extraction unit that detects a lane division line candidate using an original image or a bird's-eye view image generated from the original image, and information of the synthetic bird's-eye view image; It is characterized by having lane line position estimation means which estimates a lane line position based on the information on the lane line candidate.
  • a lane recognition method constructed by using the present invention as a method is a lane recognition method for recognizing a lane based on an image.
  • Creating a bird's-eye-view image synthesized by connecting a plurality of bird's-eye-view images obtained by forming bird's-eye view images of partial regions of the original image captured at a plurality of different times A lane marking candidate is detected using an original image or a bird's-eye image generated from the original image and information of the synthetic bird's-eye image, A lane marking position is estimated based on the information on the lane marking candidate.
  • a lane recognition program which is a program according to the present invention, is a lane recognition program for performing control of recognizing a lane based on an image.
  • Synthetic bird's-eye view image creation processing for creating a bird's-eye view image synthesized by connecting a plurality of bird's-eye view images obtained by respectively forming partial regions of original images captured at a plurality of different times An original image or a bird's-eye view image generated from the original image, and a parting line candidate extraction process for detecting a lane parting line candidate using information of the synthetic bird's-eye view image;
  • a computer is caused to execute a lane line position estimation process of estimating a lane lane line position based on the information of the lane line candidate.
  • the present invention is configured to detect the position of a candidate line of a lane marking using both the original image and the bird's-eye image, it is possible to cancel out the noise likely to occur in each of the original image and the bird's-eye image Can. By this, it is possible to suppress the noise and improve the lane recognition accuracy.
  • FIG. 1 is a block diagram showing the basic configuration of a lane recognition device 10 according to a first embodiment of the present invention.
  • the lane recognition device 10 includes a control unit 100 and an image input device 110.
  • the control unit 100 is a main part of a computer device configured by a CPU, a RAM, an OS, etc., and a dividing line candidate detection unit 120, a synthetic bird's eye view image generating unit 130, a dividing line candidate verification unit 140, and a dividing line position estimation unit
  • the functions 150 and 150 are executed.
  • the image input device 110 is a device such as a camera that inputs an image to be detected as a lane marking.
  • the image input from the image input device 110 is referred to as an original image.
  • the image input device 110 is attached to a vehicle such as a car.
  • the vehicle to which the image input device 110 is attached is referred to as the own vehicle.
  • the control unit 100 may be mounted on the vehicle, and the connection between the image input device 110 and the control unit 100 may be wired. In addition, the control unit 100 may not be mounted on the vehicle, and the connection between the image input device 110 and the control unit 100 may be wireless connection.
  • the synthetic bird's-eye view image creation unit 130 generates a bird's-eye view image synthesized based on the original images captured at a plurality of different times.
  • the lane line candidate detection unit 120 detects, from the original image, the position of a line that is a candidate for a lane line.
  • the lane line candidate inspection means 140 is based on the information around the lane line candidate position in the synthesized bird's-eye view image created in the synthesized bird's-eye view image creation means 130 for the lane lane line candidate detected in the lane line candidate detection means 120. Test whether it is suitable as a lane line.
  • the lane line position estimation means 150 estimates the position of the current time of the lane line based on the position of the lane line candidate that has been verified as suitable as the lane line by the lane line candidate verification means 140.
  • the lane line position output unit 160 outputs the lane line position at the present time estimated by the lane line position estimation unit 150.
  • the detected lane line candidate is the synthetic bird's eye image, or
  • the lane line candidate extraction unit is configured to detect a lane line candidate using the information of the synthesized bird's-eye view image.
  • the dividing line candidate detecting unit 120, the synthetic bird eye image creating unit 130, the dividing line candidate verification unit 140, the dividing line position estimating unit 150, and the dividing line position output unit 160 are constructed as hardware.
  • the partition line candidate detection unit 120, the synthesized bird's-eye view image creation unit 130, the partition line candidate inspection unit 140, the partition line position estimation unit 150, and the partition line position output unit 160 are realized by causing the CPU of the computer to execute the program. It may be constructed as a lane recognition program to be realized.
  • FIG. 2 is a conceptual view showing generation of a synthetic bird's-eye view image performed by the synthetic bird's-eye view image creating means 130 shown in FIG.
  • the bird's-eye view image referred to here is a view obtained by converting the scenery captured in the original image into an image when viewed from the vertical downward gaze in the real world.
  • Bird's eye imaging refers to converting an original image into such an image.
  • the synthetic bird's-eye view image is created by connecting partial bird's-eye view images obtained by bird's-eye view imaging of partial regions of the respective original images using original images captured at a plurality of different times.
  • the image input device 110 is installed in the opposite direction to the traveling direction of the vehicle, and captures an image of the back of the vehicle.
  • FIG. 2A shows an original image at time T-1
  • FIG. 2B shows an original image at time T.
  • a portion which is not photographed at time T-1 but enters the photographing range of the original image at time T is shown as a hatched portion (this is referred to as a near region 21).
  • Arrows in FIGS. 2A and 2C indicate the traveling direction of the vehicle.
  • FIG. 2 (c) is a bird's-eye view image generated from the original image of FIG. 2 (a) at time T-1.
  • FIG. 2 (d) is an image in which the pixels of the bird's-eye view image of FIG. 2 (c) are vertically moved by the distance of movement of the vehicle between time T-1 and time T. Since the bird's-eye-view image of FIG. 2C does not include the part corresponding to the near region 21 of FIG. 2B, the part becomes the blank part 22 in the image of FIG.
  • the synthetic bird's-eye view image creation unit 130 combines the image obtained by transforming the image of FIG. 2B into a bird's-eye view image and the image of FIG. The part corresponding to the front area 21 of FIG. 2B is filled to generate the synthetic bird's-eye view image of FIG.
  • FIG. 3 is a flowchart showing an outline of the process performed by the lane recognition device 10 shown in FIG.
  • the process is started, first, an original image to be subjected to lane marking detection is input by the image input device 110 (step S2001).
  • the lane line candidate detection unit 120 detects a lane line candidate (step S2002), and the combined bird's-eye view image creation unit 130 creates a combined bird's-eye view image (step S2003).
  • step S2005 the lane line candidate verification unit 140 verifies whether the lane line to be verified is suitable as the lane line, from the information around the to-be-tested lane line candidate in the synthesized bird's-eye view image. Details of the “test” in step S2005 will be described later.
  • step S2006 if the test passes, the lane line candidate testing means 140 adds the test lane line candidate to the test pass candidate (step S2007), and if it fails, the process returns to step S2004. Further, the lane line position estimating means 150 estimates the lane line position at the current time based on the position of the lane line candidate that has passed the test (step S2008). Finally, the lane line position output unit 160 outputs the lane line position estimated in step S2008 (step S2009).
  • the lane line candidates are detected from the original image, and they are inspected by the information in the synthesized bird's-eye view image, but conversely, the lane line candidate is detected from the synthesized bird's-eye view image
  • the lane line candidate may be verified by the original image or information in a bird's-eye view image generated from the original image.
  • a processed image obtained by subjecting these to a process such as a filter may be used.
  • FIG. 4 is a conceptual diagram showing an example of noise included in the original image in the creation of the synthetic bird's-eye view image shown in FIG.
  • the original image 410 shown in FIG. 4A in addition to the original lane line 411, foreign matter 412 such as a raindrop remains at the same position in the original image for a certain period of time or longer.
  • the synthetic bird's-eye view image 420 shown in FIG. 4B by the synthetic bird's-eye view image creation means 130, the lane markings are added to the original lane markings 421 converted from the lane markings 411 of the original image 410.
  • Vertical white line noise 422 similar to 411 is generated.
  • the noise 422 may be misrecognized as a lane line candidate.
  • the foreign substance 412 causing the noise 422 is only a point-like partial noise in the original image 410, it is hard to be recognized as a lane line candidate.
  • the distant part 413 of the vehicle is not clear because the distance is long. For this reason, when it is going to recognize a lane marking with only the original image 410, there is a risk that the image of the distant part 413 may become a cause of erroneous recognition. However, since the image of the distant part 413 is not included in the synthetic bird's-eye view image 420 created by the synthetic bird's-eye view image creation means 130, it does not become a factor of false recognition of a lane line candidate.
  • the lane marking candidates are detected and tested in each of the original image 410 and the synthetic bird's-eye view image 420, and therefore noise appearing in each image is canceled out.
  • the lane markings can be recognized with high accuracy by suppressing the influence of noise.
  • FIG. 5 is a conceptual view showing an example in which the lane recognition device 10 shown in FIG. 1 is actually mounted on a vehicle.
  • a camera 510 is attached to the rear of the vehicle 520 traveling on the road.
  • the camera 510 is the image input device 110.
  • the shooting range 511 of the camera 510 is opposite to the traveling direction 530 of the vehicle.
  • the lane recognition device 10 recognizes lane markings 540 and 550 from the image captured by the camera 510.
  • FIG. 6 is a block diagram showing more detailed configurations of the dividing line candidate detection unit 120, the synthetic bird's-eye view image generating unit 130, the dividing line candidate verification unit 140, and the dividing line position estimation unit 150 shown in FIG.
  • the dividing line candidate detection unit 120 includes an original image binarization unit 621 and a Hough transform unit 622.
  • the dividing line candidate detection unit 120 is not limited to this configuration, and may be a unit that detects a high-intensity line segment or straight line that seems to be a dividing line.
  • the binarization means 621 and the Hough conversion means 622 constituting the parting line candidate detection means 120 may be realized by causing a CPU of a computer to execute a program.
  • the synthetic bird's-eye-view image creating unit 130 includes a pixel moving unit 631, an original image bird's-eye view transforming unit 632, and a front area adding unit 633.
  • the division line candidate verification unit 140 includes a division line position conversion unit 641, a synthesized bird's-eye image division line position calculation unit 642, and a division line pixel inspection unit 643.
  • the lane line position estimation means 150 includes left and right lane line candidate selection means 651 and left and right lane line position estimation means 652. Note that the pixel moving means 631, the original image bird's-eye view means 632, and the near area addition means 633 constituting the synthetic bird's-eye view image creating means 130 may be realized by causing a CPU of a computer to execute a program.
  • the division line position conversion means 641 constituting the division line candidate verification means 140, the division line position calculation means 642 in the synthesized bird's-eye view image, and the division line pixel verification means 643 are realized by causing the CPU of a computer to execute a program. You may do so.
  • the left and right lane line candidate selection means 651 and the left and right lane line position estimation means 65 that constitute the lane line position estimation means 150 may be realized by causing a CPU of a computer to execute a program.
  • the original image binarization means 621 foregrounds the original image, for example, with the pixel having a luminance value of 200 or more as the foreground if the gradation number of the original image is 256, and the other pixels as the background. And binarize with the background.
  • the Hough transform means 622 detects straight lines by well-known Hough transform based on the pixels regarded as foreground in the original image, and sets those straight lines as division line candidates.
  • the pixel moving means 631 moves each pixel of the synthetic bird's-eye view image to a distance according to the moving amount of the vehicle from the previous time as shown in FIG.
  • the bottom row of the synthetic bird's-eye view image of FIG. 2C generated from the original image of FIG. 2A is 1 m from the tip of the image input device 110, and each pixel of the synthetic bird's-eye view image
  • each pixel of the synthetic bird's-eye view image is moved 10 pixels away.
  • the original image bird's-eye view conversion means 632 forms a bird's-eye-view image of the front area 21 of the original image shown in FIG.
  • the range of the front region 21 must include the region in the original image corresponding to the distance range corresponding to the movement amount of the vehicle in the real world.
  • the foreground area addition means 633 adds the foreground area 21 of the original image that was made into a bird's eye view image by the original image bird's-eye view means 632 to the blank portion 22 of the synthetic bird's eye view image to obtain the synthesized bird's eye image shown in FIG. Generate
  • FIG. 7 is an image diagram for explaining the principle of bird's-eye view imaging of an original image by the original-image bird's-bird hatching means 632 shown in FIG.
  • the coordinate system of the original image on the image plane 720 captured by the image input device 110 is xy
  • the coordinate system of the real world is xyz. It is assumed that the transformation from the real world to the original image at the time of imaging is perspective transformation, and other factors of transformation due to distortion of a lens etc. can be ignored.
  • the road surface 710 is a plane perpendicular to the Y axis, and the distance 730 from the origin of the real world coordinate system to the road surface 710 is H, Let f be the distance 740 between the origins of both coordinate systems.
  • the bird's-eye view image is an image when the road surface is viewed from the viewpoint of the vertical direction in the real world.
  • the conversion from the original image to the bird's-eye view image can be performed by setting the luminance at each pixel of the bird's-eye view image to the luminance of the corresponding pixel represented by Equation 1 in the original image. Therefore, if the points on the road surface are converted to pixels in the original image by the above equation 1, it is assumed that real world coordinates on the road surface are quantized at an appropriate interval, for example, 5 cm by 5 cm. I can say that.
  • the dividing line position conversion means 641 converts the position of the dividing line candidate into a position in the synthetic bird's-eye view image by the method as described above.
  • the synthesized bird's-eye-view image sectional line position calculating means 642 calculates the detailed position of the sectional line candidate in the synthesized bird's-eye view image.
  • the dividing line pixel inspection means 643 verifies whether or not each dividing line candidate is suitable as a dividing line using the information of the synthesized bird's-eye view image.
  • FIG. 8 is a conceptual diagram showing the calculation of the positions of the parting line candidates by the synthesized bird's-eye-in-image parting line position calculating means 642 shown in FIG.
  • the original image dividing line candidate position 820 is the position of the dividing line candidate in the composite bird's-eye view image 810 converted by the dividing line position conversion means 641.
  • the synthesized bird's-eye image intra-partition line position calculating means 642 the original bird's-eye image candidate position 820 is set to be a front section of the synthesized bird's-eye image, and the angle is any one within the dividing line angle range 830. It represents the division line candidate position in the synthetic bird's eye image inside.
  • the angle is determined as an angle at which the sum of pixel values in the synthesized bird's-eye view image at the position of the synthesized bird's-eye view at the position at the angle or in the periphery thereof is the largest.
  • the dividing line angle range 830 is ⁇ 30 degrees and the angle is changed in steps of one degree
  • the dividing line candidate position in the synthesized bird's-eye image or its periphery for example, the dividing line candidate position in the synthesized bird's-eye image is central
  • the sum of pixel values in the composite bird's-eye view image in the range of 20 cm on the left and right is respectively calculated, and it is determined as the angle which takes the sum of the maximum pixel values.
  • the evaluation value in the determination of the candidate position of the dividing line in the synthesized bird's eye image is not limited to the sum of pixel values, and the arrangement of the pixels in the compound bird's eye view image at or near the dividing line candidate position in the synthesized bird's eye image It may be a value that expresses the line-likeness.
  • the dividing line pixel inspection means 643 verifies whether or not each dividing line candidate is suitable as a dividing line, based on the pixels in the synthetic bird's-eye view image at or in the synthetic bird's-eye image division line candidate position.
  • the evaluation value for the test it is possible to use, for example, the sum of pixel values in the determination of the candidate for the dividing line in the synthesized bird's-eye image calculated by the synthesized bird's-eye image for the dividing line position calculating means 642.
  • the evaluation value for the test is not limited to the sum of pixel values, and is a value expressing some kind of division line likeness about the arrangement of the pixels in the synthesized bird's eye image at the synthesized line bird's eye image If it is In addition, an evaluation value different from the evaluation value calculated by the synthesized bird's-eye image in-division-line position calculating means 642 may be used.
  • the left and right lane line candidate selection means 651 is the lane line line most suitable for each of the left and right lane line lines among the lane line candidate candidates that have passed the test in the pixel line test means 643 for the vehicle lane. Select a candidate.
  • the reference for selection may be, for example, to select the position of the left and right lane line at the previous time itself or the position closest to the predicted position. Alternatively, it may be selected in a range close to the position of the left and right lane markings at the previous time, for example, within 1 m and which has the largest evaluation value for the test. Furthermore, these criteria can be used in combination.
  • the left and right lane line position estimating means 652 estimates the position of the left and right lane line at the present time from the position of the lane line candidate selected for each of the left and right lane lines, the position of the left and right lane line at the previous time, etc. Do. This estimation may be performed, for example, using the positions of the lane line candidates selected for each of the left and right lane lines as the positions of the left and right lane lines at the current time. In addition, the position of the left and right lane markings may be performed by using a time-series filtering method, such as a Kalman filter.
  • FIG. 9 is a flowchart showing more detailed operation of the lane recognition device 10 shown in FIGS.
  • the same reference numerals as in the flowchart of FIG. 3 denote the same operations.
  • the reference numbers in FIG. 3 are further added with child numbers.
  • step S2002 in FIG. 3 is divided into two steps in FIG. 9, each of them is made to be step S2002 a and step S 2002 b.
  • an original image to be subjected to lane marking detection is input by the image input device 110 (step S2001).
  • the original image binarizing means 621 binarizes the original image, and classifies each pixel into the foreground and the background (step S2002a).
  • a straight line is detected by Hough transform using the pixels of the foreground classified in step S2002a by the Hough transform means 622 as feature points, and is set as a lane marking candidate (step S2002b).
  • the pixel moving means 631 moves the pixels of the synthetic bird's-eye view image of the previous time according to the movement amount of the vehicle from the previous time, and forms a blank portion 22 at the bottom.
  • the original image bird's-eye view conversion means 632 forms a bird's-eye view on the front portion 21 of the original image (step S2003 b).
  • the foreground region addition unit 633 adds the original image foreground portion 21 converted into a bird's eye view image to the blank portion 22 at the bottom of the bird's eye image (step S2003 c).
  • step S2005a the lane line position conversion means 641 converts the test lane line candidate position in the original image into the front segment position of the synthetic bird's eye view image.
  • step S2005b the synthesized bird's-eye-view image sectional line position calculating unit 642 calculates the angle of the test lane line position in the synthesized bird's-eye view image, and obtains a lane line candidate position in the synthesized bird's-eye view image.
  • step S2005c the lane line pixel testing means 643 calculates a test evaluation value as to whether or not the traffic lane line candidate to be tested is suitable as a lane line.
  • step S2006 the test evaluation value is compared with a predetermined threshold, and if the test evaluation value is equal to or greater than the threshold, the process proceeds to step S2007, and if smaller than the threshold, the process returns to step S2004.
  • step S2006 the candidate for the line under test is added to the test pass candidate.
  • the left and right lane line candidate selection unit 651 selects the most suitable lane line candidate for each of the left and right lane line from the test pass candidates (step S2008 a). Subsequently, the left and right lane line position estimating means 652 estimates the position of the left and right lane line at the present time based on the selected lane line candidate (step S2008 b). Finally, the lane line position output unit 160 outputs the lane line position estimated in step S2008 (step S2009).
  • FIG. 10 is a block diagram showing the basic configuration of a lane recognition device 11 according to a second embodiment of the present invention.
  • the lane recognition device 11 includes a control unit 1000 and an image input device 110.
  • the control unit 1000 is a main part of a computer device configured by a CPU, a RAM, an OS, etc., and a bird's eye view image creation unit 1020, a synthetic bird's eye view image creation unit 1030, a second synthetic bird's eye view image creation unit 1040, division line candidate detection
  • the respective functions such as means 1050, lane line position estimation means 1060, and lane line position output means 160 are performed.
  • the image input device 110 is a device such as a camera that is the same as the first embodiment of the present invention.
  • the bird's-eye-view image creation means 1020 is predetermined for a predetermined real world range, for example, 1m to 8m from the vehicle and 4m from the vehicle on the left and right, respectively.
  • a bird's-eye view image is created with an accuracy of, for example, 5 cm long and 5 cm wide.
  • the synthetic bird's-eye view image creation unit 1030 creates a bird's-eye view image synthesized based on the original images captured at a plurality of different times.
  • the second composite bird's-eye view image creation unit 1040 creates a second composite bird's-eye view image based on the bird's-eye view image and the composite bird's-eye view image.
  • the lane line candidate detection unit 1050 detects the position of a line that becomes a lane line candidate from the second combined bird's-eye view image.
  • the lane line position estimation unit 1060 estimates the current position of the lane line based on the positions of the lane line candidate.
  • the lane line position output means 160 outputs the lane line position at the present time estimated by the lane line position estimation means 1060.
  • the second composite bird's-eye view image referred to here is a bird's-eye view image newly created from the bird's-eye view image and the synthetic bird's-eye view image, and is created so as to remove noises respectively possessed by the bird's-eye view image and the synthetic bird's-eye view image .
  • the synthetic bird's-eye view image does not include noise in the far part 413 considered to be contained in a large amount in the bird's-eye view, and the bird's-eye view image has white lines due to the foreign object 412 contained in the synthetic bird's-eye view. It does not include the noise 422. For this reason, it is possible to create a second synthetic bird's-eye view image so that these noises cancel each other out in the bird's-eye view image and the synthetic bird's-eye view image.
  • a processed image obtained by subjecting this to a process such as a filter may be used.
  • a second composite bird's-eye view image creation unit 1040 that creates a second composite bird's-eye view image having pixel values of pixels
  • a division line candidate detection unit 1050 that detects the lane marking candidate from the second composite bird's-eye view image
  • the lane line candidate extraction unit is configured to detect a lane line candidate using the bird's-eye-view image generated from the original image and the information on the synthetic bird's-eye view image.
  • the bird's eye view image creation means 1020, the synthetic bird's eye view image creation means 1030, the second synthetic bird's eye view image creation means 1040, the dividing line candidate detection means 1050, the dividing line position estimation means 1060, and the dividing line position output means 160 It may be realized by executing a program.
  • FIG. 11 is a flowchart showing an outline of the process performed by the lane recognition device 11 shown in FIG.
  • an original image to be subjected to lane marking detection is input by the image input device 110 (step S2101).
  • the bird's eye view image creation unit 1020 creates a bird's eye view image from the original image (step S2102)
  • the synthetic bird's eye view image creation unit 1030 produces a synthetic bird's eye view image (step S2103).
  • the second combined bird's-eye view image creation means 1040 creates a second combined bird's-eye view image (step S2104)
  • the lane line candidate detection means 1050 detects lane lane line candidates from the second composite bird's eye image (step S2105).
  • the lane line position is estimated by the line position estimation unit 1060 based on the position of the lane line candidate (step S2106).
  • the lane line position output unit 160 outputs the lane line position estimated in step S2106 (step S2107).
  • the lane boundary line candidate is detected from the second combined bird's-eye view image created so as to remove the noise possessed by each of the bird's-eye view image and the combined bird's-eye view image.
  • lane markings can be recognized with high accuracy.
  • the camera 510 attached to the rear of the vehicle 520 in the form described in FIG.
  • FIG. 12 is a block diagram showing a more detailed configuration of the synthetic bird's-eye-view image creating unit 1030, the dividing line candidate detection unit 1050, and the dividing line position estimation unit 1060 shown in FIG.
  • the synthetic bird's-eye-view image creating means 1030 includes a pixel moving means 1231, an original image bird's-eye view means 1232, and a front area adding means 1233.
  • the dividing line candidate detection means 1050 includes a second synthetic bird's eye view image binarization means 1251 and a Hough transform means 1252.
  • the lane line position estimation means 1060 includes left and right lane line candidate selection means 1261 and left and right lane line position estimation means 1262.
  • the pixel moving means 1231 constituting the synthetic bird's-eye view image creating means 1030, the original image bird's-eye view means 1232 and the near area addition means 1233 may be realized by causing a CPU of a computer to execute a program.
  • the second combined bird's-eye view image binarization means 1251 and the Hough conversion means 1252 which constitute the parting line candidate detection means 1050 may be realized by causing a CPU of a computer to execute a program.
  • the left and right lane line candidate selection means 1261 and the left and right lane line position estimation means 1262 constituting the lane line position estimation means 1060 may be realized by causing a CPU of a computer to execute a program.
  • the pixel moving means 1231, the original image bird's-eye view means 1232, and the near area adding means 1233 are the pixel moving means 631 according to the first embodiment of the present invention shown in FIG. 6, the original image bird's-eye view means 632, and the near area Since they are the same as the adding means 633, the detailed description will be omitted.
  • the second composite bird's-eye view image creation unit 1240 creates a second composite bird's-eye view image based on the bird's-eye view image and the composite bird's-eye view image.
  • the creation of the second combined bird's-eye view image can be performed, for example, as follows.
  • the bird's-eye view image and the synthetic bird's-eye view image are in the same real world range, for example, 1m to 8m from the vehicle and 4m from the vehicle on the left and right respectively
  • the second synthetic bird's-eye view image is created with the same accuracy, for example, 5 cm long and 5 cm wide.
  • the second synthetic bird's-eye view image has the same real world range and the same accuracy, and each pixel value of the second synthetic bird's-eye view image in the second synthetic bird's-eye view image creating means 1240 corresponds to the pixel value of the corresponding bird's eye view and the synthetic bird's-eye view The darker value is taken as the pixel value.
  • the method of creating the second bird's-eye view image is not limited to the above, and noises that are easily mistaken for the lane markings that appear separately in the bird's-eye view image and the synthetic bird's-eye view offset each other As long as the method is obtained.
  • the second composite bird's-eye view image binarizing means 1251 uses, for example, a pixel having a luminance value of 200 or more as the foreground if the gradation number of the second composite bird's-eye image is 256, and the other pixels as the background. And so on, the second synthetic bird's-eye view image is binarized into the foreground and the background.
  • the Hough transform means 1252 detects straight lines by known Hough transform based on the pixels made foreground in the second synthetic bird's-eye view image, and sets those straight lines as division line candidates.
  • the left and right lane line candidate selection unit 1261 is the lane line candidate that is most suitable for each of the left and right lane line lines among the lane line candidates detected by the lane line candidate detection means 1250 for the left and right lane line of the host vehicle lane.
  • Choose The criteria and method of selection can be the same as the left and right division line candidate selection means 651 of the first embodiment of the present invention shown in FIG. 6, and thus the detailed description will be omitted.
  • left and right lane line position estimating means 1262 can also perform the same operation as the left and right lane line position estimating means 652 of the first embodiment of the present invention shown in FIG. Omit.
  • FIG. 13 is a flowchart showing a more detailed operation of the lane recognition device 11 shown in FIGS.
  • the same reference numerals as in the flowchart of FIG. 11 denote the same operations.
  • an original image to be subjected to lane marking detection is input by the image input device 110 (step S2101).
  • the bird's eye view image creation unit 1020 creates a bird's eye view image from the original image (step S2102).
  • the pixel moving means 1231 moves each pixel of the synthesized bird's-eye view image at the previous time (step S2103a), and the original image bird's-eye view means 1232 converts the front part of the original image into a bird's-eye view (step S2103b), and the front area adding means 1233 A front portion 21 of the original image, which has been made into a bird's eye view image, is added to the blank portion 22 at the bottom of the bird's eye view image (step S2103 c).
  • the second composite bird's-eye view image creation unit 1240 creates a second composite bird's-eye view image from the bird's-eye view image and the composite bird's-eye view image (step S2104).
  • the second synthetic bird's-eye view image binarizing means 1251 binarizes the second synthetic bird's-eye view image and classifies each pixel of the second synthetic bird's-eye view image into foreground and background (step S2105a).
  • a straight line is detected by Hough transformation with pixels as feature points, and is set as a lane marking candidate (step S2105 b).
  • the left and right parting line candidate selecting unit 1261 selects a parting line candidate most suitable for each of the left and right parting lines from among the lane parting line candidates (step S2105 c).
  • the left and right lane line position estimating means 1262 estimates the position of the left and right lane line at the present time (step S2106), and finally the lane line position output means 160 outputs the estimated position of the left and right lane line (step S2107). ).
  • FIG. 14 is a block diagram showing the basic configuration of a lane recognition device 12 according to a third embodiment of the present invention.
  • the lane recognition device 12 includes a control unit 1400 and an image input device 110.
  • the control unit 1400 is a main part of a computer device configured by a CPU, a RAM, an OS, etc., and a dividing line candidate detection unit 1420, a synthetic bird's eye view image generating unit 1430, a dividing line candidate verification unit 1440, a dividing line position estimation unit
  • the functions such as 1450, marking line type determination means 1460, and marking line position output means 160 are executed.
  • the image input device 110 is a device such as a camera that is the same as the first and second embodiments of the present invention.
  • the lane line candidate detection unit 1420 detects the position of a line serving as a lane line candidate from the original image or a bird's-eye image generated from the original image.
  • the synthetic bird's-eye view image creation unit 1430 creates a bird's-eye view image synthesized based on the original images captured at a plurality of different times.
  • the lane line candidate inspection means 1440 is based on the information about the lane line candidate position in the synthesized bird's-eye view image created in the synthesized bird's-eye view image creation means 1430 for the lane lane line candidate detected in the lane line candidate detection means 1420. Test whether it is suitable as a lane line.
  • the lane line position estimation unit 1450 estimates the current position of the lane line based on the position of the lane line candidate that has been verified as suitable as the lane line by the lane line candidate verification unit 1440.
  • the lane line type determination unit 1460 is a line type of the lane lane line based on the composite image around the position of the lane lane line estimated by the lane line position estimation means 1450 or the information of the original image or the bird's eye image generated from the original image. For example, determination of a solid line or a broken line is performed.
  • the lane line position output means 160 determines the current lane lane line position estimated by the lane line position estimation means 1450 and the lane line type determination means 1460. Output the specified lane line type.
  • the lane recognition device 12 shown in FIG. 14 is the lane line recognition device 10 according to the first embodiment of the present invention shown in FIG. It can be said that it is added.
  • the division line candidate detection unit 1420, the synthetic bird's-eye view image generation unit 1430, the division line candidate verification unit 1440, and the division line position estimation unit 1450 are division line candidate detection unit 120 according to the first embodiment of the present invention; It is the same as the image creation means 130, the lane line candidate verification means 140, and the lane line position estimation means 150, respectively.
  • Lane line candidate detection means 1420 for detecting a lane line candidate from the original image or a bird eye image generated from the original image, or the synthesized bird eye image, the lane line candidate detected is the synthesized bird eye image, or the synthesized bird eye image
  • a marking line inspection means 1440 for testing whether or not the original image or a bird's-eye image generated from the original image is suitable as a lane line, an original image or a bird's-eye image generated from the original image
  • the lane line candidate extraction unit is configured to detect a lane line candidate using the information of the synthesized bird's-eye view image.
  • the division line candidate detection unit 1420, the synthetic bird's-eye view image generation unit 1430, the division line candidate verification unit 1440, the division line position estimation unit 1450, the division line type determination unit 1460, and the division line position output unit 160 It may be realized by executing a program.
  • FIG. 15 is a flowchart showing an outline of the process performed by the lane recognition device 12 shown in FIG.
  • an original image to be subjected to lane marking detection is input by the image input device 110 (step S2201).
  • the lane line candidate detection unit 1420 detects a lane line candidate (step S2202), and the combined bird's-eye view image creation unit 1430 creates a combined bird's-eye view image (step S2203).
  • step S2205 the lane line candidate verification unit 1440 verifies whether the lane line to be verified is suitable as the lane line, from the information around the lane line candidate to be verified in the synthesized bird's-eye view image. Details of the “test” in step S2205 will be described later.
  • step S2206 if the test passes, the lane line candidate testing means 1440 adds the test lane line candidate to the test pass candidate (step S2207), and if it fails, the process returns to step S2204. Further, the lane line position estimating means 1450 estimates the lane lane line position at the present time based on the position of the lane lane line candidate that has passed the test (step S2208), and the lane line type determination means 1460 estimates the lane line location. The line type of the lane marking is determined based on (step S2209). Finally, the lane marking position output means 160 outputs the lane marking position and line type estimated in step A8 (step S2210).
  • steps S2201 to 2208 of the flowchart of FIG. 15 are the same as steps S2001 to 2008 of the flowchart according to the first embodiment of the present invention shown in FIG. It can be said that step S2209 of determining the line type of the lane markings is added after that.
  • the present embodiment as in the first embodiment of the present invention, it is possible not only to be able to accurately recognize the lane markings, but also to accurately determine the lane marking types based on the lane marking position. it can.
  • FIG. 16 is a block diagram showing a more detailed configuration of the parting line type determination means 1460 shown in FIG.
  • the dividing line type determining means 1460 includes a synthetic bird's eye view image binarizing means 1661, a connecting line connected foreground length calculating means 1662, and a solid line / broken line determining means 1663.
  • the synthetic bird's-eye view image binarizing means 1661 constituting the dividing line type determining means 1460, the connected foreground length calculating means 1662 for the dividing lines, and the solid / broken line judging means 1663 are realized by causing the CPU of the computer to execute a program. You may do so.
  • the synthetic bird's-eye view image binarizing means 1661 foregrounds the pixel having a luminance value of 200 or more, for example, if the number of gradations of the synthetic bird's-eye image is 256, the synthetic bird's-eye view image obtained in the step up to step S2208 , And binarize the synthetic bird's eye image into the foreground and the background.
  • the foreground pixels of the synthetic bird's-eye view image existing on the left and right partition lines whose positions are estimated by the left and right partition line position estimation unit 1652 are divided into, for example, a connected set in the vicinity of 8 Then, the maximum number of pixels in the connected set is calculated as the connected foreground length on the partition line.
  • the solid line / broken line determination unit 1663 determines that the lane line is a solid line if the connected foreground length of the line is equal to or greater than a predetermined threshold, for example, 200 pixels or more. It is determined that it is a broken line.
  • FIG. 17 is a flow chart showing more detailed operation of the lane recognition device 12 shown in FIGS. Note that, as described above, steps S2201 to 2208 are the same as steps S2001 to S2008 of the flowchart according to the first embodiment of the present invention shown in FIG. 3, so detailed description will be omitted.
  • the synthesized bird's-eye view image binarization means 1661 binarizes the synthesized bird's-eye view image and classifies each pixel into foreground and background (step S2209a). Subsequently, the dividing line connected foreground length calculating unit 1662 calculates the maximum number of pixels in the connected set of foregrounds on the left and right dividing lines as the connected line length of the dividing line (step S2209 b).
  • the solid line / broken line determination means 1663 compares the connected foreground length of the dividing line with a predetermined threshold, and determines that the lane dividing line is a solid line if the connected foreground length of the divided line is equal to or greater than a predetermined threshold. If it is smaller than the threshold value, it is determined that the lane marking is a broken line (step S2209c). Finally, the lane line position output unit 160 outputs the estimated lane line position and the determined lane line type (step S2210).
  • the lane recognition device 12 shown in FIG. 14 corresponds to the lane recognition device 10 according to the first embodiment of the present invention to which the lane line type determination means 1460 is added.
  • the lane line type judging means 1460 can be added to the lane recognition device 11 according to the second embodiment of the present invention shown.
  • the present invention is applicable to applications such as lane marking position estimation from images and determination of lane marking types.
  • FIG. 1 is a block diagram showing a basic configuration of a lane recognition device according to a first embodiment of the present invention. It is a conceptual diagram shown about the production
  • FIG. 9 is a flow chart showing more detailed operation of the lane recognition device shown in FIGS. It is a block diagram showing the fundamental composition of the lane recognition device concerning a 2nd embodiment of the present invention.
  • FIG. 11 is a flowchart showing an outline of processing executed by the lane recognition device shown in FIG. 10.
  • FIG. 13 is a flowchart showing more detailed operation of the lane recognition device shown in FIGS. 10 and 12;
  • FIG. It is a block diagram showing the fundamental composition of the lane recognition device concerning a 3rd embodiment of the present invention.
  • 15 is a flowchart showing an outline of processing executed by the lane recognition device 12 shown in FIG.
  • FIG. 17 is a flowchart showing more detailed operation of the lane recognition device shown in FIGS. 14 and 16;
  • FIG. It is a conceptual diagram which shows an example of a structure of the general purpose lane recognition apparatus described in patent document 1.
  • FIG. FIG. 19 is a conceptual view showing an operation of the lane recognition device shown in FIG. 18;

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】原画像と鳥瞰画像のそれぞれで発生しやすいノイズを抑制し、車線の認識精度を向上する車線認識装置を提供する。 【解決手段】画像に基づいて車線を認識する車線認識システムであって、複数の異なる時刻において撮影された原画像の部分領域をそれぞれ鳥瞰画像化した複数鳥瞰画像を接続することにより合成された鳥瞰画像を作成する合成鳥瞰画像作成手段と、原画像もしくは原画像から生成される鳥瞰画像、および前記合成鳥瞰画像の情報を用いて車線区画線候補を検出する区画線候補抽出手段と、前記車線区画線候補の情報を基に車線区画線位置を推定する区画線位置推定手段とを有する。

Description

車線認識装置、車線認識方法および車線認識プログラム
　本発明は車線区画線の認識に関し、特に画像の処理によって車線区画線の位置を推定することに関する。
　ＩＴ技術を応用して、輸送効率および道路交通の快適性を向上しようとするＩＴＳ（Intelligent Transport Systems、高度道路交通システム）の研究テーマの一つとして、ＬＫＳ（Lane Keep Support、車線維持支援）システムがある。これは、センサによって道路上の車線を認識し、それによって自動車が車線の中央を常に走行するようにステアリング、アクセル、ブレーキなどを制御するものである。
　このＬＫＳシステムを実現する上で重要であるのが車線認識技術である。特にカメラなどの画像入力装置を走行中の車の前面もしくは後面に設置し、該画像入力装置が走行中の道路を撮影した画像を処理して、白もしくは黄色などの高輝度の色で道路上に描かれた車線区画線を認識する技術が特に盛んに研究されている。
　図１８は、特許文献１に記載された汎用の車線認識装置１８００の構成の一例を示す概念図である。汎用の車線認識装置１８００は、画像入力装置１８１０と、鳥瞰画像作成手段１８２０と、輝度プロファイル作成手段１８３０と、区画線検出手段１８４０から構成されている。
　図１９は、図１８で示された車線認識装置１８００の動作を示す概念図である。図１９（ａ）は、画像入力装置１８１０によって撮影された走行中の道路の画像である。これを原画像１９１０という。原画像１９１０を入力された鳥瞰画像作成手段１８２０は、原画像１９１０から図１９（ｂ）に示す鳥瞰画像１９２０を作成する。
　輝度プロファイル作成手段１８３０は、鳥瞰画像１９２０に表される路面の路幅方向に直交する方向の座標の輝度を積分することにより、図１９（ｃ）に示される積分輝度を路幅方向の座標別に検出する。最後に、区画線検出手段１８４０が、積分輝度の分布より高い積分輝度を示す路幅方向の座標に対応する位置を求め、車線区画線１９３０を検出する。
　特許文献１以外にも、車線認識については次のような文献がある。特許文献２には、原画像から車線を検出する技術の一例が開示されている。特許文献３には、平面移動量に基づいて鳥瞰画像から合成鳥瞰画像を生成する技術の一例が開示されている。特許文献４には、原画像から車線の位置および線種を検出する技術の一例が開示されている。特許文献５には、原画像から検出された車線が実線か破線かを判断する技術の一例が開示されている。
　特許文献６には、時点の異なる複数の画像によって車線の検出精度を向上するする技術の一例が開示されている。特許文献７には、輝度合計値の変動に基づいて車線の検出精度を向上する技術の一例が開示されている。特許文献８には、車両に種々のセンサを備え付けて路面の状況を判定することによって車線の検出精度を向上するする技術の一例が開示されている。
　特許文献９には、時点の異なる複数の画像をつなぎ合わせて車両の周囲の鳥瞰画像を得るという技術が開示されている。特許文献１０には、原画像から鳥瞰画像を得る際の画質を改善する技術の一例が開示されている。特許文献１１には、近距離と遠距離で独立して車線を認識することによって車線の検出精度を向上するする技術の一例が開示されている。
特開２００４－１４５８５２号公報 特開２０００－２４２７６９号公報 特開２００２－１２０６７５号公報 特開２００２－１７５５３４号公報 特開２００３－０６７７５５号公報 特開２００３－３４６１６３号公報 特開２００４－２４６６４１号公報 特開２００５－２７６０４１号公報 特開２００７－０９６４９７号公報 特開２００７－２４９３９２号公報 特開平０９－１６７２３９号公報
　図１８および１９に示した汎用の車線認識装置１８００においては、誤認識が発生しやすい問題がある。たとえば画像入力装置１８１０に雨滴や異物が付着した場合、原画像１９１０にはそのような雨滴や異物に起因する点状のノイズが発生する。これを鳥瞰画像作成手段１８２０によって鳥瞰画像１９２０に変換すると、縦方向の白線状のノイズとなり、車線との区別が付きにくくなる。そのため、誤認識が発生しやすくなる。
　その一方で、原画像１９１０を鳥瞰画像１９２０に変換せず、そのまま輝度プロファイルから車線を検出しようとする場合、画像入力装置１８１０から遠い距離の映像が不鮮明になりやすいので、車線を正確に認識することが難しい。
　このように、原画像１９１０から直接車線を検出する場合と、原画像１９１０を鳥瞰画像１９２０に変換してから車線を検出する場合とでは、それぞれに発生しやすいノイズがあり、誤認識が発生しやすい原因となる。しかしながら、特許文献１はもちろん、特許文献２～１１にも、これらの両者のそれぞれで発生しやすいノイズを抑制できる構成は記載されていない。
　本発明の目的は、原画像と鳥瞰画像のそれぞれで発生しやすいノイズを抑制し、車線の認識精度を向上する車線認識装置、車線認識方法および車線認識プログラムを提供することにある。
　前記目的を達成するため、本発明に係る車線認識装置は、画像に基づいて車線を認識する車線認識システムであって、
　複数の異なる時刻において撮影された原画像の部分領域をそれぞれ鳥瞰画像化した複数鳥瞰画像を接続することにより合成された鳥瞰画像を作成する合成鳥瞰画像作成手段と、
　原画像もしくは原画像から生成される鳥瞰画像、および前記合成鳥瞰画像の情報を用いて車線区画線候補を検出する区画線候補抽出手段と、
　前記車線区画線候補の情報を基に車線区画線位置を推定する区画線位置推定手段とを有することを特徴とする。
　また、本発明を方法として構築した車線認識方法は、画像に基づいて車線を認識する車線認識方法であって、
　複数の異なる時刻において撮影された原画像の部分領域をそれぞれ鳥瞰画像化した複数鳥瞰画像を接続することにより合成された鳥瞰画像を作成し、
　原画像もしくは原画像から生成される鳥瞰画像、および前記合成鳥瞰画像の情報を用いて車線区画線候補を検出し、
　前記車線区画線候補の情報を基に車線区画線位置を推定することを特徴とする。
　また、本発明をプログラムとして構築した車線認識プログラムは、画像に基づいて車線を認識する制御を行うための車線認識プログラムであって、
　複数の異なる時刻において撮影された原画像の部分領域をそれぞれ鳥瞰画像化した複数鳥瞰画像を接続することにより合成された鳥瞰画像を作成する合成鳥瞰画像作成処理と、
　原画像もしくは原画像から生成される鳥瞰画像、および前記合成鳥瞰画像の情報を用いて車線区画線候補を検出する区画線候補抽出処理と、
　前記車線区画線候補の情報を基に車線区画線位置を推定する区画線位置推定処理とをコンピュータに実行させることを特徴とする。
　本発明は、原画像と鳥瞰画像の両方を利用して車線区画線の候補となる線の位置を検出するように構成したので、原画像と鳥瞰画像のそれぞれで発生しやすいノイズを相殺することができる。これによって、ノイズを抑制して車線の認識精度を向上することができる。
［第１の実施の形態］
　図１は、本発明の第１の実施の形態に係る車線認識装置１０の原理的な構成を示すブロック図である。車線認識装置１０は、制御部１００と、画像入力装置１１０とから構成されている。制御部１００は、ＣＰＵ、ＲＡＭ、およびＯＳなどによって構成されるコンピュータ装置の主要部であり、区画線候補検出手段１２０、合成鳥瞰画像作成手段１３０、区画線候補検定手段１４０、区画線位置推定手段１５０、区画線位置出力手段１６０という各機能を実行する。
　画像入力装置１１０は、車線区画線を検出する対象となる画像を入力するカメラなどの装置である。以後、画像入力装置１１０から入力された画像を原画像という。画像入力装置１１０は自動車などの車両に取り付けられる。以後、画像入力装置１１０が取り付けられた車両を自車という。制御部１００を自車に搭載して、画像入力装置１１０と制御部１００との間の接続を有線接続としてもよい。また、制御部１００を自車に搭載せず、画像入力装置１１０と制御部１００との間の接続を無線接続としてもよい。
　合成鳥瞰画像作成手段１３０は、複数の異なる時刻において撮影された原画像を基に合成された鳥瞰画像を生成する。区画線候補検出手段１２０は、原画像から、車線区画線の候補となる線の位置を検出する。
　区画線候補検定手段１４０は、区画線候補検出手段１２０において検出された車線区画線候補について、合成鳥瞰画像作成手段１３０において作成された合成鳥瞰画像内の車線区画線候補位置周辺の情報に基づいて車線区画線として適しているか否かを検定する。
　区画線位置推定手段１５０は、区画線候補検定手段１４０において車線区画線として適していると検定された車線区画線候補の位置に基づいて車線区画線の現時刻の位置を推定する。区画線位置出力手段１６０は、区画線位置推定手段１５０において推定された現時刻の車線区画線位置を出力する。
　前記原画像もしくは原画像から生成される鳥瞰画像、または前記合成鳥瞰画像から車線区画線候補を検出する区画線候補検出手段１２０と、前記検出した前記車線区画線候補を前記合成鳥瞰画像、または前記原画像もしくは原画像から生成される鳥瞰画像の情報を用いて車線区画線として適しているか否かを検定する区画線検定手段１４０とは、原画像もしくは原画像から生成される鳥瞰画像、および前記合成鳥瞰画像の情報を用いて車線区画線候補を検出する区画線候補抽出手段を構成している。
　また、図１に示す実施形態では、区画線候補検出手段１２０、合成鳥瞰画像作成手段１３０、区画線候補検定手段１４０、区画線位置推定手段１５０、区画線位置出力手段１６０をハードウェアとして構築したが、コンピュータのＣＰＵでプログラムを実行させることにより、区画線候補検出手段１２０、合成鳥瞰画像作成手段１３０、区画線候補検定手段１４０、区画線位置推定手段１５０、区画線位置出力手段１６０を実現する実現する車線認識プログラムとして構築しても良いものである。
　図２は、図１で示した合成鳥瞰画像作成手段１３０によって行われる合成鳥瞰画像の生成について示す概念図である。ここでいう鳥瞰画像とは、原画像に撮影されている風景を、実世界で鉛直方向下向きの視線で見た場合の画像に変換したものである。鳥瞰画像化とは、原画像をそのような画像に変換することをいう。
　合成鳥瞰画像は、複数の異なる時刻において撮影された原画像を用い、それぞれの原画像の部分領域を鳥瞰画像化した部分鳥瞰画像をつなぎ合わせることにより作成される。図２に示した例では、画像入力装置１１０は自車の進行方向と反対向きに設置され、自車の後ろ方向を撮影している。図２（ａ）は時刻Ｔ－１の時点での原画像、図２（ｂ）は時刻Ｔの時点での原画像である。図２（ｂ）の下部には、時刻Ｔ－１では撮影されていず、時刻Ｔで始めて原画像の撮影範囲に入った部分が斜線部として示されている（これを手前領域２１という）。なお図２（ａ）および（ｃ）中の矢印は、自車の進行方向を表す。
　図２（ｃ）は時刻Ｔ－１の時点で、図２（ａ）の原画像から生成された鳥瞰画像である。図２（ｄ）は、図２（ｃ）の鳥瞰画像の画素を、時刻Ｔ－１から時刻Ｔの間に自車の移動した距離の分だけ垂直方向に移動させた画像である。図２（ｃ）の鳥瞰画像には、図２（ｂ）の手前領域２１に該当する部分は含まれていないので、図２（ｄ）の画像ではその部分は空白部２２となる。
　ここで合成鳥瞰画像作成手段１３０は、図２（ｂ）を鳥瞰画像化して得られた画像と、図２（ｄ）の画像とを合成することにより、図２（ｄ）の空白部２２（図２（ｂ）の手前領域２１に該当する部分）を埋めて、図２（ｅ）の合成鳥瞰画像を生成する。
　図３は、図１で示した車線認識装置１０が実行する処理の概要について書き表したフローチャートである。処理を開始すると、まず画像入力装置１１０により車線区画線検出の対象となる原画像が入力される（ステップＳ２００１）。次に、区画線候補検出手段１２０が車線区画線の候補を検出し（ステップＳ２００２）、合成鳥瞰画像作成手段１３０が合成鳥瞰画像を作成する（ステップＳ２００３）。
　さらに、未検定の車線区画線候補が存在する間は以下に示すステップＳ２００５～２００７を、未検定の車線区画線が存在しなくなるまで繰り返す（ステップＳ２００４）。ステップＳ２００５では、区画線候補検定手段１４０が、合成鳥瞰画像内の検定対象車線区画線候補周辺の情報から、検定対象車線区画線が車線区画線として適しているか否かを検定する。ステップＳ２００５における「検定」の詳細については後述する。
　ステップＳ２００６において、検定に合格していれば区画線候補検定手段１４０が検定対象車線区画線候補を検定合格候補に加え（ステップＳ２００７）、不合格であればステップＳ２００４に戻る。さらに、区画線位置推定手段１５０が、検定に合格した車線区画線候補の位置を基に現時刻における車線区画線位置を推定する（ステップＳ２００８）。最後に、区画線位置出力手段１６０がステップＳ２００８において推定された車線区画線位置を出力する（ステップＳ２００９）。
　なお、本実施の形態では車線区画線候補を原画像から検出し、合成鳥瞰画像内の情報によりそれらを検定するように構成されているが、逆に合成鳥瞰画像から車線区画線候補を検出し、車線区画線候補を原画像もしくは原画像から生成される鳥瞰画像内の情報により検定してもよい。また、本実施の形態における原画像や合成鳥瞰画像の代わりに、これらにフィルタ等の処理を施した処理画像を用いてもよい。
　図４は、図２で示した合成鳥瞰画像の作成で、原画像に含まれるノイズの一例を示す概念図である。図４（ａ）に示される原画像４１０では、本来の車線区画線４１１の他に、雨滴などの異物４１２が一定時間以上原画像内の同一位置に留まっている。これを合成鳥瞰画像作成手段１３０により図４（ｂ）に示される合成鳥瞰画像４２０とした場合、原画像４１０の車線区画線４１１から変換された本来の車線区画線４２１に加えて、車線区画線４１１に似た縦方向の白線状のノイズ４２２が発生する。
　このため、合成鳥瞰画像４２０だけで車線区画線を認識しようとした場合、ノイズ４２２を車線区画線候補と誤認識してしまう危険性がある。しかしながら、ノイズ４２２の原因となった異物４１２は、原画像４１０では点状の部分的なノイズにしかならないので、車線区画線候補としては認識されにくい。
　逆に、原画像４１０で自車の遠方部分４１３は、距離が遠いため鮮明な映像にならない。このため、原画像４１０だけで車線区画線を認識しようとした場合、遠方部分４１３の映像が誤認識の要因となる危険性がある。しかしながら、遠方部分４１３の映像は、合成鳥瞰画像作成手段１３０によって作成された合成鳥瞰画像４２０には含まれないので、車線区画線候補の誤認識の要因とはならない。
　つまり、本実施の形態では、原画像４１０と合成鳥瞰画像４２０のそれぞれで車線区画線候補を検出し、検定するように構成されているので、それぞれの画像において出現するノイズを相殺して、それらのノイズの影響を抑えて車線区画線を精度良く認識することができる。
　図５は、図１で示した車線認識装置１０を、実際に車両に実装する例を示す概念図である。道路を走行する自車５２０の後部にカメラ５１０が取り付けられている。このカメラ５１０が、画像入力装置１１０となる。カメラ５１０の撮影範囲５１１は、自車の進行方向５３０の逆方向に向いている。車線認識装置１０は、カメラ５１０によって撮影された画像から、車線区分線５４０および５５０を認識するものである。
　図６は、図１で示した区画線候補検出手段１２０、合成鳥瞰画像作成手段１３０、区画線候補検定手段１４０、および区画線位置推定手段１５０の、より詳細な構成を示すブロック図である。区画線候補検出手段１２０は、原画像２値化手段６２１と、ハフ変換手段６２２とを含む。ただし、区画線候補検出手段１２０はこの構成に限定されるものではなく、区画線らしい高輝度の線分もしくは直線を検出する手段であればよい。前記区画線候補検出手段１２０を構成する２値化手段６２１とハフ変換手段６２２とをコンピュータのＣＰＵにプログラムを実行させることにより実現させるようにしても良い。
　合成鳥瞰画像作成手段１３０は、画素移動手段６３１と、原画像鳥瞰化手段６３２と、手前領域付加手段６３３とを含む。区画線候補検定手段１４０は、区画線位置変換手段６４１と、合成鳥瞰画像内区画線位置計算手段６４２と、区画線上画素検定手段６４３とを含む。区画線位置推定手段１５０は、左右区画線候補選択手段６５１と、左右区画線位置推定手段６５２とを含む。なお、合成鳥瞰画像作成手段１３０を構成する画素移動手段６３１と原画像鳥瞰化手段６３２と手前領域付加手段６３３とを、コンピュータのＣＰＵにプログラムを実行させることにより実現させるようにしても良い。また、区画線候補検定手段１４０を構成する区画線位置変換手段６４１と合成鳥瞰画像内区画線位置計算手段６４２と区画線上画素検定手段６４３とを、コンピュータのＣＰＵにプログラムを実行させることにより実現させるようにしても良い。また、区画線位置推定手段１５０を構成する左右区画線候補選択手段６５１と左右区画線位置推定手段６５２とを、コンピュータのＣＰＵにプログラムを実行させることにより実現させるようにしても良い。
　原画像２値化手段６２１は、原画像を、例えば原画像の階調数が２５６であれば輝度値２００以上の画素を前景、それ以外の画素を背景とする、というように原画像を前景と背景とに２値化する。ハフ変換手段６２２は原画像において前景とされた画素を基に公知のハフ(Hough)変換により直線を検出し、それらの直線を区画線候補とする。
　画素移動手段６３１は、図２に示すように前時刻からの自車の移動量に合わせて合成鳥瞰画像の各画素を遠方に移動する。例えば、図２（ａ）の原画像から生成された図２（ｃ）の合成鳥瞰画像の最下行を画像入力装置１１０の先端より１ｍの位置とし、合成鳥瞰画像の各画素が道路面の縦５ｃｍ、横５ｃｍに相当するように合成鳥瞰画像を作成する場合、自車の移動量が５０ｃｍであったならば、合成鳥瞰画像の各画素を遠方に１０ピクセルずつ移動させる。これにより図２（ｄ）に示した状態の画像になる。
　原画像鳥瞰化手段６３２は図２（ｂ）の原画像の手前領域２１を鳥瞰画像化する。ただし、手前領域２１の範囲は、実世界での自車の移動量に相当する距離範囲に対応する原画像での領域を含んでいなければならない。手前領域付加手段６３３は、原画像鳥瞰化手段６３２において鳥瞰画像化された原画像の手前領域２１を合成鳥瞰画像の空白部２２に付加して、図２（ｅ）に示した合成鳥瞰画像を生成する。
　図７は、図６で示した原画像鳥瞰化手段６３２による原画像の鳥瞰画像化の原理について説明するイメージ図である。画像入力装置１１０によって撮影される画像面７２０における原画像の座標系をｘｙとし、実世界の座標系をＸＹＺとする。撮像の際の実世界から原画像への変換は透視変換であるとし、レンズ等の歪み等による他の変換の要因は無視できるものとする。Ｘ軸とｘ軸、Ｙ軸とｙ軸はそれぞれ平行であり、道路面７１０はＹ軸に対して鉛直な平面をなし、実世界座標系の原点から道路面７１０までの距離７３０をＨとし、両座標系の原点同士の距離７４０をｆとする。
　この場合、道路面上の点(Ｘi、Ｈ、Ｘi)に対応する原画像内の画素(ｘi、ｙi)は次の数１のように表される。
Figure JPOXMLDOC01-appb-M000001
 　鳥瞰画像は道路面を実世界で鉛直方向下向きの視線で見た場合の画像である。原画像から鳥瞰画像への変換は、鳥瞰画像の各画素における輝度を、原画像内の数１で表される対応する画素の輝度とすることにより行うことができる。従って、上述の数１で道路面上の点を原画像内の画素に変換したものは、道路面上の実世界座標を適当な間隔、例えば縦５ｃｍ×横５ｃｍで量子化したものであると言える。
　なお、画像撮像系において透視変換以外の変換要因、例えばレンズの歪み、道路面７１０とｘ軸との間の傾斜ズレ等が存在する場合は、数１の代わりにそれらの変換要因を考慮した変換式を用いて補正することにより、同様に原画像の鳥瞰画像化を達成することができる。これは当業者が任意にとりうる手法であるので、詳しい説明を省略する。
　区画線位置変換手段６４１は、区画線候補の位置を上述のような手法で合成鳥瞰画像内での位置に変換する。合成鳥瞰画像内区画線位置計算手段６４２は合成鳥瞰画像内での区画線候補の詳細な位置を計算する。区画線上画素検定手段６４３は各区画線候補が区画線として適しているか否かを合成鳥瞰画像の情報を用いて検定する。
　図８は、図６で示した合成鳥瞰画像内区画線位置計算手段６４２による、区画線候補の位置の計算を示す概念図である。原画像内区画線候補位置８２０は、区画線位置変換手段６４１により変換された、合成鳥瞰画像８１０での区画線候補の位置である。合成鳥瞰画像内区画線位置計算手段６４２では、原画像内区画線候補位置８２０を合成鳥瞰画像の手前切片とし、角度を区画線角度範囲８３０内のいずれかであるとすることにより、合成鳥瞰画像内での合成鳥瞰画像内区画線候補位置を表現する。
　角度の決定については、角度での位置における合成鳥瞰画像内区画線候補位置もしくはその周辺における合成鳥瞰画像内の画素値の和が最大となる角度として決定する。たとえば、区画線角度範囲８３０を±３０度とし、１度刻みで角度を変化させた場合の合成鳥瞰画像内区画線候補位置もしくはその周辺、例えば合成鳥瞰画像内区画線候補位置を中心線とした左右２０cmの範囲、における合成鳥瞰画像内の画素値の和をそれぞれ計算し、最大の画素値の和をとる角度として決定する。
　ここで、合成鳥瞰画像内区画線候補位置の決定における評価値は画素値の和に限るものではなく、合成鳥瞰画像内区画線候補位置もしくはその周辺における合成鳥瞰画像内の画素の配置について、なんらかの区画線らしさを表現する値であればよい。
　区画線上画素検定手段６４３は、合成鳥瞰画像内区画線候補位置もしくはその周辺における合成鳥瞰画像内の画素に基づいて、各区画線候補が区画線として適しているか否かを検定する。ここで、検定のための評価値としては、例えば、合成鳥瞰画像内区画線位置計算手段６４２において計算した合成鳥瞰画像内区画線候補位置の決定における画素値の和を用いることができる。
　すなわち、画素値の和が予め定められた閾値以上である場合、対象各区画線候補が区画線として適しているとして検定に合格であるとする。ここで、検定のための評価値は画素値の和に限るものではなく、合成鳥瞰画像内区画線候補位置もしくはその周辺における合成鳥瞰画像内の画素の配置について、なんらかの区画線らしさを表現する値であればよい。また、合成鳥瞰画像内区画線位置計算手段６４２において計算した評価値とは別の評価値を用いてもよい。
　左右区画線候補選択手段６５１は自車レーンの左右車線区画線について、区画線上画素検定手段６４３において検定に合格した車線区画線候補の中から、左右車線区画線のそれぞれについて最も適した車線区画線候補を選択する。選択の基準は、例えば、前時刻での左右車線区画線の位置そのものや予測される位置に最も近い位置のものを選択するようにしてもよい。もしくは、前時刻での左右車線区画線の位置に近いある範囲、例えば１ｍ以内に存在するもので、検定のための評価値が最も大きいものを選択するようにしてもよい。さらに、これらの基準を組み合わせて用いることもできる。
　左右区画線位置推定手段６５２は、左右車線区画線のそれぞれについて選択した車線区画線候補の位置や、前時刻での左右車線区画線の位置等から現時刻での左右車線区画線の位置を推定する。この推定は、例えば、左右車線区画線のそれぞれについて選択した車線区画線候補の位置をそのまま現時刻での左右車線区画線の位置として行ってもよい。また、左右車線区画線の位置について時系列的なフィルタリング手法、例えばカルマンフィルタ等を用いることによって行ってもよい。
　図９は、図１および６で示した車線認識装置１０の、より詳細な動作を示すフローチャートである。なお、図３のフローチャートで示した動作と同一の動作には、同一の参照番号を付している。図３で示した動作が図９において複数のステップに分かれる場合は、図３の参照番号にさらに子番号を付ける形で表している。たとえば図３のステップＳ２００２が図９では２つのステップに分かれる場合、その各々をステップＳ２００２ａとステップＳ２００２ｂというようにしている。
　処理を開始すると、まず画像入力装置１１０により車線区画線検出の対象となる原画像が入力される（ステップＳ２００１）。次に、原画像２値化手段６２１が原画像を２値化し、各画素を前景と背景とに分類する（ステップＳ２００２ａ）。続いてハフ変換手段６２２によりステップＳ２００２ａで分類された前景の画素を特徴点としたハフ変換により直線を検出し、車線区画線候補とする（ステップＳ２００２ｂ）。
　画素移動手段６３１は、前時刻の合成鳥瞰画像の画素を前時刻からの自車の移動量に合わせて移動し、下部に空白部２２を作る。（ステップＳ２００３ａ）。原画像鳥瞰化手段６３２は、原画像の手前部分２１を鳥瞰画像化する（ステップＳ２００３ｂ）。手前領域付加手段６３３は、鳥瞰画像化された原画像手前部分２１を鳥瞰画像下部の空白部２２に付加する（ステップＳ２００３ｃ）。
　さらに、未検定の車線区画線候補が存在する間は次のステップステップＳ２００５ａからステップＳ２００７までを、未検定の車線区画線が存在しなくなるまで繰り返す（ステップＳ２００４）。ステップＳ２００５ａでは、区画線位置変換手段６４１が、原画像での検定対象車線区画線候補位置を合成鳥瞰画像の手前切片位置に変換する。ステップＳ２００５ｂでは、合成鳥瞰画像内区画線位置計算手段６４２が、検定対象車線区画線位置の合成鳥瞰画像内での角度を計算し、合成鳥瞰画像内での車線区画線候補位置を求める。
　ステップＳ２００５ｃでは、区画線上画素検定手段６４３が、検定対象車線区画線候補が車線区画線として適しているか否かの検定評価値を計算する。ステップＳ２００６では、検定評価値と予め定められた閾値とを比較し、検定評価値が閾値以上であればステップＳ２００７に進み、閾値より小さければステップＳ２００４に戻る。ステップＳ２００６では、検定合格候補に検定対象区画線候補を加える。
　さらに、左右区画線候補選択手段６５１が、検定合格候補の中から、左右車線区画線のそれぞれについて最も適した車線区画線候補を選択する（ステップＳ２００８ａ）。続いて左右区画線位置推定手段６５２が、選択された車線区画線候補を基に、現時刻での左右車線区画線の位置を推定する（ステップＳ２００８ｂ）。最後に、区画線位置出力手段１６０がステップＳ２００８において推定された車線区画線位置を出力する（ステップＳ２００９）。
［第２の実施の形態］
　図１０は、本発明の第２の実施の形態に係る車線認識装置１１の原理的な構成を示すブロック図である。車線認識装置１１は、制御部１０００と、画像入力装置１１０とから構成されている。制御部１０００は、ＣＰＵ、ＲＡＭ、およびＯＳなどによって構成されるコンピュータ装置の主要部であり、鳥瞰画像作成手段１０２０、合成鳥瞰画像作成手段１０３０、第２合成鳥瞰画像作成手段１０４０、区画線候補検出手段１０５０、区画線位置推定手段１０６０、区画線位置出力手段１６０という各機能を実行する。
　画像入力装置１１０は、本発明の第１の実施の形態と同一の、カメラなどの装置である。鳥瞰画像作成手段１０２０は、現時刻の原画像から、予め定められた実世界範囲、例えば、前後は自車からの距離が１ｍから８ｍまで、左右はそれぞれ自車から４ｍまで、について予め定められた精度、例えば縦５ｃｍ、横５ｃｍ精度、で鳥瞰画像を作成する。
　合成鳥瞰画像作成手段１０３０は、複数の異なる時刻において撮影された原画像を基に合成された鳥瞰画像を作成する。第２合成鳥瞰画像作成手段１０４０は、鳥瞰画像と合成鳥瞰画像とを基に第２合成鳥瞰画像を作成する。
　区画線候補検出手段１０５０は、第２合成鳥瞰画像から車線区画線の候補となる線の位置を検出する。区画線位置推定手段１０６０は、車線区画線候補の位置に基づいて車線区画線の現時刻の位置を推定する。区画線位置出力手段１６０は、本発明の第１の実施の形態と同様に、区画線位置推定手段１０６０において推定された現時刻の車線区画線位置を出力する。
　ここでいう第２合成鳥瞰画像とは、鳥瞰画像と合成鳥瞰画像とから新たに作成された鳥瞰画像であり、鳥瞰画像と合成鳥瞰画像がそれぞれもつノイズを除去するように作成されるものである。前述のように、合成鳥瞰画像は鳥瞰画像に多く含まれていると考えられる遠方部分４１３でのノイズを含まず、また鳥瞰画像には合成鳥瞰画像に含まれる異物４１２などに起因する白線状のノイズ４２２を含まない。このため、これらのノイズを鳥瞰画像と合成鳥瞰画像とでお互いに相殺するように第２合成鳥瞰画像を作成することが可能である。
　なお、本実施の形態における第２合成鳥瞰画像の代わりに、これにフィルタ等の処理を施した処理画像を用いてもよい。
　前記原画像もしくは原画像から生成される鳥瞰画像、および前記合成鳥瞰画像から、前記２つの画像の同一位置の画素もしくはそれらの周辺の画素における画素値を基に算出される値を前記同一位置の画素の画素値とする第２合成鳥瞰画像を作成する第２合成鳥瞰画像作成手段１０４０と、前記第２合成鳥瞰画像から前記車線区画線候補を検出する区画線候補検出手段１０５０とは、原画像もしくは原画像から生成される鳥瞰画像、および前記合成鳥瞰画像の情報を用いて車線区画線候補を検出する区画線候補抽出手段を構成している。
　また、鳥瞰画像作成手段１０２０、合成鳥瞰画像作成手段１０３０、第２合成鳥瞰画像作成手段１０４０、区画線候補検出手段１０５０、区画線位置推定手段１０６０、区画線位置出力手段１６０を、コンピュータのＣＰＵにプログラムを実行させることにより実現させるようにしても良い。
　図１１は、図１０で示した車線認識装置１１が実行する処理の概要について書き表したフローチャートである。まず画像入力装置１１０により車線区画線検出の対象となる原画像が入力される（ステップＳ２１０１）。次に、鳥瞰画像作成手段１０２０が原画像から鳥瞰画像を作成し（ステップＳ２１０２）、合成鳥瞰画像作成手段１０３０が合成鳥瞰画像を作成する（ステップＳ２１０３）。
　さらに、第２合成鳥瞰画像作成手段１０４０が第２合成鳥瞰画像を作成し（ステップＳ２１０４）、区画線候補検出手段１０５０が第２合成鳥瞰画像から車線区画線候補を検出し（ステップＳ２１０５）、区画線位置推定手段１０６０により区画線候補の位置を基に車線区画線位置を推定する（ステップＳ２１０６）。最後に、区画線位置出力手段１６０がステップＳ２１０６において推定された車線区画線位置を出力する（ステップＳ２１０７）。
　本実施の形態では、鳥瞰画像と合成鳥瞰画像がそれぞれもつノイズを除去するように作成される第２合成鳥瞰画像から車線区画線候補を検出するように構成されているため、ノイズの影響を抑えて車線区画線を精度良く認識することができる。
　図１０で示した車線認識装置１１は、本発明の第１の実施の形態と同じく、図５で説明した形で自車５２０の後部に取り付けられたカメラ５１０が画像入力装置１１０となる。
　図１２は、図１０で示した合成鳥瞰画像作成手段１０３０、区画線候補検出手段１０５０、および区画線位置推定手段１０６０の、より詳細な構成を示すブロック図である。合成鳥瞰画像作成手段１０３０は、画素移動手段１２３１と、原画像鳥瞰化手段１２３２と、手前領域付加手段１２３３とを含む。区画線候補検出手段１０５０は、第２合成鳥瞰画像２値化手段１２５１と、ハフ変換手段１２５２とを含む。区画線位置推定手段１０６０は、左右区画線候補選択手段１２６１と、左右区画線位置推定手段１２６２とを含む。なお、合成鳥瞰画像作成手段１０３０を構成する画素移動手段１２３１と原画像鳥瞰化手段１２３２と手前領域付加手段１２３３とを、コンピュータのＣＰＵにプログラムを実行させることにより実現させるようにしても良い。また、区画線候補検出手段１０５０を構成する第２合成鳥瞰画像２値化手段１２５１とハフ変換手段１２５２とを、コンピュータのＣＰＵにプログラムを実行させることにより実現させるようにしても良い。また、区画線位置推定手段１０６０を構成する左右区画線候補選択手段１２６１と左右区画線位置推定手段１２６２とを、コンピュータのＣＰＵにプログラムを実行させることにより実現させるようにしても良い。
　画素移動手段１２３１、原画像鳥瞰化手段１２３２、および手前領域付加手段１２３３は、図６で示した本発明の第１の実施の形態の画素移動手段６３１、原画像鳥瞰化手段６３２、および手前領域付加手段６３３とそれぞれ同一であるので、詳細な説明を省略する。
　第２合成鳥瞰画像作成手段１２４０は、鳥瞰画像と合成鳥瞰画像とを基に第２合成鳥瞰画像を作成する。第２合成鳥瞰画像の作成は、例えば以下のように行うことができる。原画像鳥瞰化手段１２２０および合成鳥瞰画像作成手段１２３０において、鳥瞰画像と合成鳥瞰画像を同じ実世界範囲、例えば前後は自車からの距離が１ｍから８ｍまで、左右はそれぞれ自車から４ｍまで、について同じ精度、例えば縦５ｃｍ、横５ｃｍ精度、で第２合成鳥瞰画像を作成する。
　その際、第２合成鳥瞰画像も同じ実世界範囲および同じ精度とし、第２合成鳥瞰画像作成手段１２４０において第２合成鳥瞰画像の各画素値を、対応する鳥瞰画像の画素値と合成鳥瞰画像の画素値とでより暗い方の値とする。これにより、鳥瞰画像と合成鳥瞰画像とに別個に現れる高輝度で車線区画線と間違えやすいノイズをお互いに相殺し、第２合成鳥瞰画像としてノイズの少ない鳥瞰画像を得ることができる。
　なお、第２鳥瞰画像の作成手法は上記に限らず、鳥瞰画像と合成鳥瞰画像とに別個に現れる車線区画線と間違えやすいノイズをお互いに相殺し、第２合成鳥瞰画像としてノイズの少ない鳥瞰画像が得られる手法であればよい。
　第２合成鳥瞰画像２値化手段１２５１は、第２合成鳥瞰画像を、例えば第２合成鳥瞰画像の階調数が２５６であれば輝度値２００以上の画素を前景、それ以外の画素を背景とする、というように第２合成鳥瞰画像を前景と背景とに２値化する。ハフ変換手段１２５２は第２合成鳥瞰画像において前景とされた画素を基に公知のハフ変換により直線を検出し、それらの直線を区画線候補とする。
　左右区画線候補選択手段１２６１は自車レーンの左右車線区画線について、区画線候補検出手段１２５０において検出された車線区画線候補の中から、左右車線区画線のそれぞれについて最も適した車線区画線候補を選択する。選択の基準および方法は、図６で示した本発明の第１の実施の形態の左右区画線候補選択手段６５１と同様にすることができるので、詳細な説明を省略する。
　また、左右区画線位置推定手段１２６２も、図６で示した本発明の第１の実施の形態の左右区画線位置推定手段６５２と同様の動作を行うようにすることができるので、詳細な説明を省略する。
　図１３は、図１０および１２で示した車線認識装置１１の、より詳細な動作を示すフローチャートである。なお、図１１のフローチャートで示した動作と同一の動作には、同一の参照番号を付している。図１１で示した動作が図１３において複数のステップに分かれる場合は、本発明の第１の実施の形態に係る詳細なフローチャート図９と同様に、図１１の参照番号にさらに子番号を付ける形で表している。
　まず画像入力装置１１０により車線区画線検出の対象となる原画像が入力される（ステップＳ２１０１）。次に、鳥瞰画像作成手段１０２０が原画像から鳥瞰画像を作成する（ステップＳ２１０２）。
　さらに、画素移動手段１２３１が前時刻の合成鳥瞰画像の各画素を移動し（ステップＳ２１０３ａ）、原画像鳥瞰化手段１２３２が原画像の手前部分を鳥瞰画像化し（ステップＳ２１０３ｂ）、手前領域付加手段１２３３が鳥瞰画像化された原画像手前部分２１を鳥瞰画像下部の空白部２２に付加する（ステップＳ２１０３ｃ）。
　さらに、第２合成鳥瞰画像作成手段１２４０が鳥瞰画像と合成鳥瞰画像とから第２合成鳥瞰画像を作成する（ステップＳ２１０４）。第２合成鳥瞰画像２値化手段１２５１が第２合成鳥瞰画像を２値化し、第２合成鳥瞰画像の各画素を前景と背景とに分類する（ステップＳ２１０５ａ）と、ハフ変換手段１２５２が前景の画素を特徴点としたハフ変換により直線を検出し、車線区画線候補とする（ステップＳ２１０５ｂ）。さらに、左右区画線候補選択手段１２６１が、車線区画線候補の中から左右区画線のそれぞれについて最も適した区画線候補を選択する（ステップＳ２１０５ｃ）。
　さらに、左右区画線位置推定手段１２６２が現時刻での左右車線区画線の位置を推定し（ステップＳ２１０６）、最後に区画線位置出力手段１６０が左右車線区画線の推定位置を出力する（ステップＳ２１０７）。
［第３の実施の形態］
　図１４は、本発明の第３の実施の形態に係る車線認識装置１２の原理的な構成を示すブロック図である。車線認識装置１２は、制御部１４００と、画像入力装置１１０とから構成されている。制御部１４００は、ＣＰＵ、ＲＡＭ、およびＯＳなどによって構成されるコンピュータ装置の主要部であり、区画線候補検出手段１４２０、合成鳥瞰画像作成手段１４３０、区画線候補検定手段１４４０、区画線位置推定手段１４５０、区画線種判定手段１４６０、区画線位置出力手段１６０という各機能を実行する。
　画像入力装置１１０は、本発明の第１および第２の実施の形態と同一の、カメラなどの装置である。区画線候補検出手段１４２０は、原画像もしくは原画像から生成される鳥瞰画像から、車線区画線の候補となる線の位置を検出する。合成鳥瞰画像作成手段１４３０は、複数の異なる時刻において撮影された原画像を基に合成された鳥瞰画像を作成する。
　区画線候補検定手段１４４０は、区画線候補検出手段１４２０において検出された車線区画線候補について、合成鳥瞰画像作成手段１４３０において作成された合成鳥瞰画像内の車線区画線候補位置周辺の情報に基づいて車線区画線として適しているか否かを検定する。
　区画線位置推定手段１４５０は、区画線候補検定手段１４４０において車線区画線として適していると検定された車線区画線候補の位置に基づいて車線区画線の現時刻の位置を推定する。区画線種判定手段１４６０は、区画線位置推定手段１４５０により推定された車線区画線の位置周辺の合成画像もしくは原画像もしくは原画像から生成される鳥瞰画像の情報に基づいて車線区画線の線種、例えば実線や破線、の判定を行う。
　区画線位置出力手段１６０は、本発明の第１および第２の実施の形態と同様に、区画線位置推定手段１４５０において推定された現時刻の車線区画線位置および区画線種判定手段１４６０において判定された車線区画線種を出力する。
　以上の説明からわかるように、図１４に示された車線認識装置１２は、図１に示された本発明の第１の実施の形態に係る車線認識装置１０に、区画線種判定手段１４６０が付加されたものであると言える。区画線候補検出手段１４２０、合成鳥瞰画像作成手段１４３０、区画線候補検定手段１４４０、区画線位置推定手段１４５０、は、本発明の第１の実施の形態に係る区画線候補検出手段１２０、合成鳥瞰画像作成手段１３０、区画線候補検定手段１４０、区画線位置推定手段１５０と各々同一である。
　前記原画像もしくは原画像から生成される鳥瞰画像、または前記合成鳥瞰画像から車線区画線候補を検出する区画線候補検出手段１４２０と、前記検出した前記車線区画線候補を前記合成鳥瞰画像、または前記原画像もしくは原画像から生成される鳥瞰画像の情報を用いて車線区画線として適しているか否かを検定する区画線検定手段１４４０とは、原画像もしくは原画像から生成される鳥瞰画像、および前記合成鳥瞰画像の情報を用いて車線区画線候補を検出する区画線候補抽出手段を構成している。
　また、区画線候補検出手段１４２０、合成鳥瞰画像作成手段１４３０、区画線候補検定手段１４４０、区画線位置推定手段１４５０、区画線種判定手段１４６０、区画線位置出力手段１６０とを、コンピュータのＣＰＵにプログラムを実行させることにより実現させるようにしても良い。
　図１５は、図１４で示した車線認識装置１２が実行する処理の概要について書き表したフローチャートである。まず画像入力装置１１０により車線区画線検出の対象となる原画像が入力される（ステップＳ２２０１）。次に、区画線候補検出手段１４２０が車線区画線の候補を検出し（ステップＳ２２０２）、合成鳥瞰画像作成手段１４３０が合成鳥瞰画像を作成する（ステップＳ２２０３）。
　さらに、未検定の車線区画線候補が存在する間は以下に示すステップＳ２２０５～２２０７を、未検定の車線区画線が存在しなくなるまで繰り返す（ステップＳ２２０４）。ステップＳ２２０５では、区画線候補検定手段１４４０が、合成鳥瞰画像内の検定対象車線区画線候補周辺の情報から、検定対象車線区画線が車線区画線として適しているか否かを検定する。ステップＳ２２０５における「検定」の詳細については後述する。
　ステップＳ２２０６において、検定に合格していれば区画線候補検定手段１４４０が検定対象車線区画線候補を検定合格候補に加え（ステップＳ２２０７）、不合格であればステップＳ２２０４に戻る。さらに、区画線位置推定手段１４５０が、検定に合格した車線区画線候補の位置を基に現時刻における車線区画線位置を推定し（ステップＳ２２０８）、区画線種判定手段１４６０が推定車線区画線位置を基に車線区画線の線種を判定する（ステップＳ２２０９）。最後に、区画線位置出力手段１６０によりステップＡ８において推定された車線区画線位置および線種を出力する（ステップＳ２２１０）。
　以上の説明からわかるように、図１５のフローチャートのステップＳ２２０１～２２０８は、図３で示した本発明の第１の実施の形態に係るフローチャートのステップＳ２００１～２００８と同一である。車線区画線の線種を判定するステップＳ２２０９が、その後に付加されたものであるとも言える。
　本実施の形態では、本発明の第１の実施の形態と同様に車線区画線を精度良く認識することができるのみならず、車線区画線位置に基づく車線区画線種も精度良く判定することができる。
　図１６は、図１４で示した区画線種判定手段１４６０の、より詳細な構成を示すブロック図である。区画線種判定手段１４６０は、合成鳥瞰画像２値化手段１６６１と、区画線上連結前景長算出手段１６６２と、実線・破線判定手段１６６３とを含む。なお、図１４で示した区画線候補検出手段１４２０、合成鳥瞰画像作成手段１４３０、区画線候補検定手段１４４０、区画線位置推定手段１４５０の詳細な構成は、各々図６で示した区画線候補検出手段１２０、合成鳥瞰画像作成手段１３０、区画線候補検定手段１４０、区画線位置推定手段１５０と同一であるので、説明を省略する。また、区画線種判定手段１４６０を構成する合成鳥瞰画像２値化手段１６６１と区画線上連結前景長算出手段１６６２と実線・破線判定手段１６６３とを、コンピュータのＣＰＵにプログラムを実行させることにより実現させるようにしても良い。
　合成鳥瞰画像２値化手段１６６１は、ステップＳ２２０８までの工程で得られた合成鳥瞰画像を、例えば合成鳥瞰画像の階調数が２５６であれば輝度値２００以上の画素を前景、それ以外の画素を背景とする、というように合成鳥瞰画像を前景と背景とに２値化する。
　区画線上連結前景長算出手段１６６２は、左右区画線位置推定手段１６５２において位置を推定された左右区画線上に存在する合成鳥瞰画像の前景画素について、例えば８近傍の意味での連結集合に区分けをし、それらの連結集合で最大の画素数を区画線上連結前景長として算出する。
　実線・破線判定手段１６６３は、区画線上連結前景長が予め定められた閾値以上、例えば２００画素以上、の場合に車線区画線は実線であると判定し、閾値より小さい場合には車線区画線は破線であると判定する。
　図１７は、図１４および１６で示した車線認識装置１２の、より詳細な動作を示すフローチャートである。なお、前述のようにステップＳ２２０１～２２０８は図３で示した本発明の第１の実施の形態に係るフローチャートのステップＳ２００１～２００８と同一であるので、詳細な説明を省略する。
　また、図１５のフローチャートで示した動作と同一の動作には、同一の参照番号を付している。図１５で示した動作が図１７において複数のステップに分かれる場合は、本発明の第１および第２の実施の形態と同様に、図１５の参照番号にさらに子番号を付ける形で表している。
　ステップＳ２２０８までの工程で得られた合成鳥瞰画像に対して、合成鳥瞰画像２値化手段１６６１は合成鳥瞰画像を２値化し、各画素を前景と背景とに分類する（ステップＳ２２０９ａ）。続いて、区画線上連結前景長算出手段１６６２は左右区画線上での前景の連結集合の中で最大の画素数を区画線上連結前景長として算出する（ステップＳ２２０９ｂ）。
　さらに、実線・破線判定手段１６６３は区画線上連結前景長と予め定められた閾値を比較し、区画線上連結前景長が予め定められた閾値以上の場合に車線区画線は実線であると判定し、閾値より小さい場合には車線区画線は破線であると判定する（ステップＳ２２０９ｃ）。最後に、区画線位置出力手段１６０が推定された車線区画線位置および判定された車線区画線種を出力する（ステップＳ２２１０）。
　図１４に示された車線認識装置１２は、本発明の第１の実施の形態に係る車線認識装置１０に区画線種判定手段１４６０が付加されたものであるが、これと同様に図１０に示された本発明の第２の実施の形態に係る車線認識装置１１に区画線種判定手段１４６０を付加することもできる。
　これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることは言うまでもないことである。
　この出願は２００８年１月１１日に出願された日本出願特願２００８－００４２７５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明によれば、画像からの車線区画線位置推定および車線区画線の種別判定といった用途に適用可能である。
本発明の第１の実施の形態に係る車線認識装置の原理的な構成を示すブロック図である。 図１で示した合成鳥瞰画像作成手段によって行われる合成鳥瞰画像の生成について示す概念図である。 図１で示した車線認識装置が実行する処理の概要について書き表したフローチャートである。 図２で示した合成鳥瞰画像の作成で、原画像に含まれるノイズの一例を示す概念図である。 図１で示した車線認識装置を、実際に車両に実装する例を示す概念図である。 図１で示した区画線候補検出手段、合成鳥瞰画像作成手段、区画線候補検定手段、および区画線位置推定手段の、より詳細な構成を示すブロック図である。 図６で示した原画像鳥瞰化手段による原画像の鳥瞰画像化の原理について説明するイメージ図である。 図６で示した合成鳥瞰画像内区画線位置計算手段による、区画線候補の位置の計算を示す概念図である。 図９は、図１および６で示した車線認識装置の、より詳細な動作を示すフローチャートである。 本発明の第２の実施の形態に係る車線認識装置の原理的な構成を示すブロック図である。 図１０で示した車線認識装置が実行する処理の概要について書き表したフローチャートである。 図１０で示した合成鳥瞰画像作成手段、区画線候補検出手段、および区画線位置推定手段の、より詳細な構成を示すブロック図である。 図１０および１２で示した車線認識装置の、より詳細な動作を示すフローチャートである。 本発明の第３の実施の形態に係る車線認識装置の原理的な構成を示すブロック図である。 図１４で示した車線認識装置１２が実行する処理の概要について書き表したフローチャートである。 図１４で示した区画線種判定手段の、より詳細な構成を示すブロック図である。 図１４および１６で示した車線認識装置の、より詳細な動作を示すフローチャートである。 特許文献１に記載された汎用の車線認識装置の構成の一例を示す概念図である。 図１８で示された車線認識装置の動作を示す概念図である。
符号の説明
　１０、１１、１２　車線認識装置
　１００、１０００、１４００　制御部
　１１０　画像入力装置
　１２０、１４２０　区画線候補検出手段
　１３０、１４３０　合成鳥瞰画像作成手段
　１４０、１４４０　区画線候補検定手段
　１５０、１４５０　区画線位置推定手段
　１６０　区画線位置出力手段
　６２１　原画像２値化手段
　６２２　ハフ変換手段
　６３１　画素移動手段
　６３２　原画像鳥瞰化手段
　６３３　手前領域付加手段
　６４１　区画線位置変換手段
　６４２　合成鳥瞰画像内区画線位置計算手段
　６４３　区画線上画素検定手段
　６５１　左右区画線候補選択手段
　６５２　左右区画線位置推定手段
　１０２０　鳥瞰画像作成手段
　１０３０　合成鳥瞰画像作成手段
　１０４０　第２合成鳥瞰画像作成手段
　１０５０　区画線候補検出手段
　１０６０　区画線位置推定手段
　１２３１　画素移動手段
　１２３２　原画像鳥瞰化手段
　１２３３　手前領域付加手段
　１２５１　第２合成鳥瞰画像２値化手段
　１２５２　ハフ変換手段
　１２６１　左右区画線候補選択手段
　１２６２　左右区画線位置推定手段
　１４６０　区画線種判定手段
　１６６１　合成鳥瞰画像２値化手段
　１６６２　区画線上連結前景長算出手段
　１６６３　実線・破線判定手段

Claims (23)

  1. 　画像に基づいて車線を認識する車線認識システムであって、
    　複数の異なる時刻において撮影された原画像の部分領域をそれぞれ鳥瞰画像化した複数鳥瞰画像を接続することにより合成された鳥瞰画像を作成する合成鳥瞰画像作成手段と、
    　原画像もしくは原画像から生成される鳥瞰画像、および前記合成鳥瞰画像の情報を用いて車線区画線候補を検出する区画線候補抽出手段と、
    　前記車線区画線候補の情報を基に車線区画線位置を推定する区画線位置推定手段とを有することを特徴とする車線認識システム。
  2. 　前記区画線候補抽出手段は、
    　前記原画像もしくは原画像から生成される鳥瞰画像、または前記合成鳥瞰画像から車線区画線候補を検出する区画線候補検出手段と、
    　前記検出した前記車線区画線候補を前記合成鳥瞰画像、または前記原画像もしくは原画像から生成される鳥瞰画像の情報を用いて車線区画線として適しているか否かを検定する区画線検定手段とを含む請求項１に記載の車線認識システム。
  3. 　前記区画線候補抽出手段は、
    　前記原画像もしくは原画像から生成される鳥瞰画像、および前記合成鳥瞰画像から、前記２つの画像の同一位置の画素もしくはそれらの周辺の画素における画素値を基に算出される値を前記同一位置の画素の画素値とする第２合成鳥瞰画像を作成する第２合成鳥瞰画像作成手段と、
    　前記第２合成鳥瞰画像から前記車線区画線候補を検出する区画線候補検出手段とを含む請求項１に記載の車線認識システム。
  4. 　前記原画像もしくは原画像から生成される鳥瞰画像、または前記合成鳥瞰画像、または前記第２合成鳥瞰画像の情報から車線区画線の線種を判定する区画線判定手段をさらに備えた請求項１、２または３記載の車線認識システム。
  5. 　前記区画線検定手段は、前記合成鳥瞰画像内での前記車線区画線候補上の白もしくは黄色ペイント部分の配置により車線区画線として適しているか否かを検定する請求項１、２または４記載の車線認識システム。
  6. 　前記区画線検定手段は、前記合成鳥瞰画像内での前記車線区画線候補上の白もしくは黄色ペイント部分である画素が一定数以上存在する場合車線区画線として適しているとする請求項５記載の車線認識システム。
  7. 　前記第２合成鳥瞰画像作成手段は、前記第２合成鳥瞰画像の各画素の画素値を、前記原画像から生成される鳥瞰画像および前記合成鳥瞰画像のそれぞれ対応する画素の内輝度の低い方の画素値とする請求項１、３または４記載の車線認識システム。
  8. 　自車両後方に搭載したカメラ画像からの車線認識を目的とした請求項１、２、３、４、５、６または７に記載の車線認識システム。
  9. 　画像に基づいて車線を認識する車線認識方法であって、
    　複数の異なる時刻において撮影された原画像の部分領域をそれぞれ鳥瞰画像化した複数鳥瞰画像を接続することにより合成された鳥瞰画像を作成し、
    　原画像もしくは原画像から生成される鳥瞰画像、および前記合成鳥瞰画像の情報を用いて車線区画線候補を検出し、
    　前記車線区画線候補の情報を基に車線区画線位置を推定することを特徴とする車線認識方法。
  10. 　車線区画線候補の検出の際に、前記原画像もしくは原画像から生成される鳥瞰画像、または前記合成鳥瞰画像から車線区画線候補を検出し、
    　前記検出した前記車線区画線候補を前記合成鳥瞰画像、または前記原画像もしくは原画像から生成される鳥瞰画像の情報を用いて車線区画線として適しているか否かを検定すること請求項９に記載の車線認識方法。
  11. 　車線区画線候補の検出の際に、前記原画像もしくは原画像から生成される鳥瞰画像、および前記合成鳥瞰画像から、前記２つの画像の同一位置の画素もしくはそれらの周辺の画素における画素値を基に算出される値を前記同一位置の画素の画素値とする第２合成鳥瞰画像を作成し、
    　前記第２合成鳥瞰画像から前記車線区画線候補を検出する請求項９に記載の車線認識方法。
  12. 　前記原画像もしくは原画像から生成される鳥瞰画像、または前記合成鳥瞰画像、または前記第２合成鳥瞰画像の情報から車線区画線の線種をさらに判定する請求項９、１０または１１記載の車線認識方法。
  13. 　車線区画線候補の検出の際に、前記合成鳥瞰画像内での前記車線区画線候補上の白もしくは黄色ペイント部分の配置により車線区画線として適しているか否かを検定する請求項９、１０または１２記載の車線認識方法。
  14. 　車線区画線候補の検出の際に、前記合成鳥瞰画像内での前記車線区画線候補上の白もしくは黄色ペイント部分である画素が一定数以上存在する場合車線区画線として適しているとする請求項１３記載の車線認識方法。
  15. 　前記第２合成鳥瞰画像の作成の際に、前記第２合成鳥瞰画像の各画素の画素値を、前記原画像から生成される鳥瞰画像および前記合成鳥瞰画像のそれぞれ対応する画素の内輝度の低い方の画素値とする請求項９、１１または１２記載の車線認識方法。
  16. 　自車両後方に搭載したカメラ画像からの車線認識を目的とした請求項９、１０、１１、１２、１３、１４または１５に記載の車線認識方法。
  17. 　画像に基づいて車線を認識する制御を行うための車線認識プログラムであって、
    　複数の異なる時刻において撮影された原画像の部分領域をそれぞれ鳥瞰画像化した複数鳥瞰画像を接続することにより合成された鳥瞰画像を作成する合成鳥瞰画像作成処理と、
    　原画像もしくは原画像から生成される鳥瞰画像、および前記合成鳥瞰画像の情報を用いて車線区画線候補を検出する区画線候補抽出処理と、
    　前記車線区画線候補の情報を基に車線区画線位置を推定する区画線位置推定処理とをコンピュータに実行させることを特徴とする車線認識プログラム。
  18. 　前記コンピュータに、前記区画線候補抽出処理として、
    　前記原画像もしくは原画像から生成される鳥瞰画像、または前記合成鳥瞰画像から車線区画線候補を検出する区画線候補検出処理と、
    　前記検出した前記車線区画線候補を前記合成鳥瞰画像、または前記原画像もしくは原画像から生成される鳥瞰画像の情報を用いて車線区画線として適しているか否かを検定する区画線検定処理とを実行させる請求項１７に記載の車線認識プログラム。
  19. 　前記コンピュータに、前記区画線候補抽出処理として、
    　前記原画像もしくは原画像から生成される鳥瞰画像、および前記合成鳥瞰画像から、前記２つの画像の同一位置の画素もしくはそれらの周辺の画素における画素値を基に算出される値を前記同一位置の画素の画素値とする第２合成鳥瞰画像を作成する第２合成鳥瞰画像作成処理と、
    　前記第２合成鳥瞰画像から前記車線区画線候補を検出する第２車線区画線検出処理とを実行させる請求項１７に記載の車線認識プログラム。
  20. 　前記コンピュータに、
    　前記原画像もしくは原画像から生成される鳥瞰画像、または前記合成鳥瞰画像、または前記第２合成鳥瞰画像の情報から車線区画線の線種を判定する処理をさらに実行させる請求項１７、１８または１９記載の車線認識プログラム。
  21. 　前記コンピュータに、前記区画線検定処理として、前記合成鳥瞰画像内での前記車線区画線候補上の白もしくは黄色ペイント部分の配置により車線区画線として適しているか否かを検定する処理を実行させる請求項１７、１８または２０記載の車線認識プログラム。
  22. 　前記コンピュータに、前記区画線検定処理として、前記合成鳥瞰画像内での前記車線区画線候補上の白もしくは黄色ペイント部分である画素が一定数以上存在する場合車線区画線として適しているとする処理を実行させる請求項２１記載の車線認識プログラム。
  23. 　前記コンピュータに、前記第２合成鳥瞰画像作成処理として、前記第２合成鳥瞰画像の各画素の画素値を、前記原画像から生成される鳥瞰画像および前記合成鳥瞰画像のそれぞれ対応する画素の内輝度の低い方の画素値とする処理を実行させる請求項１７、１９または２０記載の車線認識プログラム。
PCT/JP2009/050124 2008-01-11 2009-01-08 車線認識装置、車線認識方法および車線認識プログラム WO2009088035A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP09700415A EP2242022A4 (en) 2008-01-11 2009-01-08 TRACK IDENTIFICATION SYSTEM, TRACE IDENTIFICATION PROCEDURE AND TRACE IDENTIFICATION PROGRAM
US12/808,032 US8655081B2 (en) 2008-01-11 2009-01-08 Lane recognition system, lane recognition method, and lane recognition program
CN200980102024.5A CN101911122B (zh) 2008-01-11 2009-01-08 车道识别***和车道识别方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008004275A JP4697480B2 (ja) 2008-01-11 2008-01-11 車線認識装置、車線認識方法および車線認識プログラム
JP2008-004275 2008-01-11

Publications (1)

Publication Number Publication Date
WO2009088035A1 true WO2009088035A1 (ja) 2009-07-16

Family

ID=40853147

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/050124 WO2009088035A1 (ja) 2008-01-11 2009-01-08 車線認識装置、車線認識方法および車線認識プログラム

Country Status (5)

Country Link
US (1) US8655081B2 (ja)
EP (1) EP2242022A4 (ja)
JP (1) JP4697480B2 (ja)
CN (1) CN101911122B (ja)
WO (1) WO2009088035A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014083816A1 (ja) * 2012-11-27 2014-06-05 日産自動車株式会社 運転支援装置
CN112906583A (zh) * 2021-02-25 2021-06-04 北京经纬恒润科技股份有限公司 一种车道线检测方法及装置

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170596A (ja) * 2010-02-18 2011-09-01 Renesas Electronics Corp 区画線認識システム、区画線認識方法、及び区画線認識プログラム
WO2011117950A1 (ja) * 2010-03-23 2011-09-29 日本電気株式会社 線状マーク検出システム、線状マーク検出方法および線状マーク検出用プログラムが格納された非一時的なコンピュータ可読媒体
JP5521778B2 (ja) * 2010-05-26 2014-06-18 富士通株式会社 計測装置及び制御装置
US9076046B2 (en) * 2010-12-15 2015-07-07 Honda Motor Co., Ltd. Lane recognition device
JP5971020B2 (ja) * 2011-08-22 2016-08-17 日産自動車株式会社 レーン認識装置
JP5823251B2 (ja) * 2011-10-20 2015-11-25 アルパイン株式会社 車線監視システム及び車線監視方法
DE102013103953B4 (de) * 2012-05-02 2020-07-09 GM Global Technology Operations LLC Spurerkennung bei voller Fahrt unter Verwendung mehrerer Kameras
US9516277B2 (en) * 2012-05-02 2016-12-06 GM Global Technology Operations LLC Full speed lane sensing with a surrounding view system
JP5792678B2 (ja) * 2012-06-01 2015-10-14 株式会社日本自動車部品総合研究所 車線境界線検出装置およびプログラム
DE112013004044T5 (de) * 2012-08-13 2015-05-13 Honda Motor Co., Ltd. Straßenumgebungs-Erkennungsvorrichtung
KR101252015B1 (ko) * 2012-08-16 2013-04-09 주식회사 피엘케이 테크놀로지 차량의 경로 변경을 판정하는 내비게이션 시스템
TW201410521A (zh) * 2012-09-11 2014-03-16 Acard Technology Corp 整合式安全行車記錄器系統及其方法
CN102927964B (zh) * 2012-10-24 2016-02-03 安科智慧城市技术（中国）有限公司 距离测量装置、方法及车辆
JP6328369B2 (ja) * 2012-11-27 2018-05-23 クラリオン株式会社 車載用制御装置
US9643601B2 (en) * 2012-11-27 2017-05-09 Nissan Motor Co., Ltd. Driving assistance device
CN103057470B (zh) * 2012-12-06 2015-09-16 重庆交通大学 一种车辆违章压线预先提示装置及其提示方法
JP6085212B2 (ja) * 2013-03-28 2017-02-22 本田技研工業株式会社 運転支援装置
KR101787996B1 (ko) * 2013-04-11 2017-10-19 주식회사 만도 차선 추정 장치 및 그 방법
CN103400506B (zh) * 2013-07-30 2016-02-10 吴云肖 Led光地址发射器及车联网***及电子地图绘制方法
CN103440785B (zh) * 2013-08-08 2015-08-05 华南师范大学 一种快速的车道偏移警示方法
JP5971223B2 (ja) * 2013-10-16 2016-08-17 株式会社デンソー 合成画像生成装置
US9677897B2 (en) 2013-11-13 2017-06-13 Elwha Llc Dead reckoning system for vehicles
US9412028B2 (en) 2013-11-13 2016-08-09 Elwha Llc Wheel slip or spin notification
JP2015171106A (ja) * 2014-03-10 2015-09-28 株式会社デンソー 車両周辺画像表示装置、車両周辺画像表示方法
JP6330383B2 (ja) * 2014-03-12 2018-05-30 株式会社デンソー 合成画像生成装置、および合成画像生成プログラム
JP5908946B2 (ja) * 2014-06-18 2016-04-26 富士重工業株式会社 画像処理装置
JP6477907B2 (ja) * 2015-10-09 2019-03-06 株式会社Ihi 線分検出方法
JP6493143B2 (ja) * 2015-10-15 2019-04-03 株式会社デンソー 表示制御装置及び表示制御プログラム
FR3047589B1 (fr) * 2016-02-10 2018-02-02 Peugeot Citroen Automobiles Sa Procede et dispositif d'estimation de la position laterale d'un vehicule dans une voie de circulation
KR102628654B1 (ko) * 2016-11-07 2024-01-24 삼성전자주식회사 차선을 표시하는 방법 및 장치
JP6741603B2 (ja) * 2017-01-16 2020-08-19 株式会社Ｓｏｋｅｎ 推定装置
CN111886624A (zh) * 2018-03-28 2020-11-03 三菱电机株式会社 图像处理装置、图像处理方法及图像处理程序
CN108509906B (zh) * 2018-03-30 2022-02-08 长安大学 无人机航拍路基线光点捕捉双阈值Radon识别方法
CN110826364B (zh) * 2018-08-09 2024-02-02 上海汽车集团股份有限公司 一种库位识别方法及装置
CN108985272B (zh) * 2018-08-17 2021-11-23 广东创图文化传媒有限公司 基于反射与透视图像融合的高可信度书画备案鉴证方法
CN109800641B (zh) * 2018-12-14 2023-04-18 天津大学 基于阈值自适应二值化和连通域分析的车道线检测方法
EP3818339B1 (en) * 2019-02-04 2024-02-21 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation
CN110163176B (zh) * 2019-05-28 2021-06-18 北京百度网讯科技有限公司 车道线变化位置识别方法、装置、设备和介质
JP7380443B2 (ja) * 2020-06-22 2023-11-15 トヨタ自動車株式会社 部分画像生成装置及び部分画像生成用コンピュータプログラム
US20240095946A1 (en) * 2020-12-03 2024-03-21 Nec Corporation Line position estimation device, method, and program
CN112699825A (zh) * 2021-01-05 2021-04-23 上海博泰悦臻网络技术服务有限公司 一种车道线识别方法及其装置
GB2616597A (en) * 2022-03-10 2023-09-20 Continental Automotive Tech Gmbh Method and system for identifying rows of objects in images
CN115619856B (zh) * 2022-12-05 2023-04-07 中质智通检测技术有限公司 基于车路协同感知的车道定位方法
WO2024121880A1 (ja) * 2022-12-05 2024-06-13 日本電気株式会社 情報処理装置、情報処理方法、及びコンピュータ可読媒体

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09167239A (ja) 1995-12-18 1997-06-24 Hitachi Ltd 画像処理による走行路面の監視装置及び方法
JP2000242769A (ja) 1999-02-24 2000-09-08 Mitsubishi Electric Corp 白線認識装置
JP2002120675A (ja) 2000-10-17 2002-04-23 Mitsubishi Electric Corp 車両周辺監視支援装置
JP2002175534A (ja) 2000-12-06 2002-06-21 Sumitomo Electric Ind Ltd 道路の白線検出方法
JP2003067755A (ja) 2001-08-28 2003-03-07 Nissan Motor Co Ltd 道路白線認識装置
JP2003346163A (ja) 2002-05-27 2003-12-05 Nissan Motor Co Ltd 車両用走行路認識装置
JP2004145852A (ja) 2002-08-27 2004-05-20 Clarion Co Ltd レーンマーカー位置検出方法及びレーンマーカー位置検出装置並びに車線逸脱警報装置
JP2004246641A (ja) 2003-02-14 2004-09-02 Nissan Motor Co Ltd 道路白線認識装置
JP2005276041A (ja) 2004-03-26 2005-10-06 Clarion Co Ltd 車線位置検知システム
JP2005346385A (ja) * 2004-06-02 2005-12-15 Toyota Motor Corp 線図形化処理装置
JP2005346197A (ja) * 2004-05-31 2005-12-15 Toyota Motor Corp 車線境界線の検出方法及び装置、並びに車線保持制御方法及び装置
JP2005346384A (ja) * 2004-06-02 2005-12-15 Toyota Motor Corp 車両用走路判定装置
JP2007052730A (ja) * 2005-08-19 2007-03-01 Toyota Motor Corp 走行路認識装置
JP2007096497A (ja) 2005-09-27 2007-04-12 Clarion Co Ltd 車両周囲表示システム
JP2007249392A (ja) 2006-03-14 2007-09-27 Clarion Co Ltd 車両周辺視認装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0827127B1 (en) * 1996-08-28 2006-10-04 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus, and method therefor
US6078701A (en) 1997-08-01 2000-06-20 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images
GB2353205A (en) 1999-08-14 2001-02-21 Ibm Mounting bracket for equipment rack
JP3584194B2 (ja) * 2000-02-22 2004-11-04 株式会社ホンダエレシス 白線検出方法および白線検出装置
JP2002083285A (ja) 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
JP3898709B2 (ja) * 2004-05-19 2007-03-28 本田技研工業株式会社 車両用走行区分線認識装置
JP2005346179A (ja) * 2004-05-31 2005-12-15 Canon Inc 画像処理装置および表示制御方法およびコンピュータが読み取り可能なプログラムを格納した記憶媒体およびプログラム
JP4956915B2 (ja) 2005-05-20 2012-06-20 日産自動車株式会社 映像表示装置及び映像表示方法
US7778491B2 (en) * 2006-04-10 2010-08-17 Microsoft Corporation Oblique image stitching
CN101842808A (zh) * 2007-11-16 2010-09-22 电子地图有限公司 用于产生车道信息的方法及设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09167239A (ja) 1995-12-18 1997-06-24 Hitachi Ltd 画像処理による走行路面の監視装置及び方法
JP2000242769A (ja) 1999-02-24 2000-09-08 Mitsubishi Electric Corp 白線認識装置
JP2002120675A (ja) 2000-10-17 2002-04-23 Mitsubishi Electric Corp 車両周辺監視支援装置
JP2002175534A (ja) 2000-12-06 2002-06-21 Sumitomo Electric Ind Ltd 道路の白線検出方法
JP2003067755A (ja) 2001-08-28 2003-03-07 Nissan Motor Co Ltd 道路白線認識装置
JP2003346163A (ja) 2002-05-27 2003-12-05 Nissan Motor Co Ltd 車両用走行路認識装置
JP2004145852A (ja) 2002-08-27 2004-05-20 Clarion Co Ltd レーンマーカー位置検出方法及びレーンマーカー位置検出装置並びに車線逸脱警報装置
JP2004246641A (ja) 2003-02-14 2004-09-02 Nissan Motor Co Ltd 道路白線認識装置
JP2005276041A (ja) 2004-03-26 2005-10-06 Clarion Co Ltd 車線位置検知システム
JP2005346197A (ja) * 2004-05-31 2005-12-15 Toyota Motor Corp 車線境界線の検出方法及び装置、並びに車線保持制御方法及び装置
JP2005346385A (ja) * 2004-06-02 2005-12-15 Toyota Motor Corp 線図形化処理装置
JP2005346384A (ja) * 2004-06-02 2005-12-15 Toyota Motor Corp 車両用走路判定装置
JP2007052730A (ja) * 2005-08-19 2007-03-01 Toyota Motor Corp 走行路認識装置
JP2007096497A (ja) 2005-09-27 2007-04-12 Clarion Co Ltd 車両周囲表示システム
JP2007249392A (ja) 2006-03-14 2007-09-27 Clarion Co Ltd 車両周辺視認装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2242022A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014083816A1 (ja) * 2012-11-27 2014-06-05 日産自動車株式会社 運転支援装置
CN112906583A (zh) * 2021-02-25 2021-06-04 北京经纬恒润科技股份有限公司 一种车道线检测方法及装置
CN112906583B (zh) * 2021-02-25 2024-04-09 北京经纬恒润科技股份有限公司 一种车道线检测方法及装置

Also Published As

Publication number Publication date
US8655081B2 (en) 2014-02-18
CN101911122A (zh) 2010-12-08
US20100284569A1 (en) 2010-11-11
JP2009169510A (ja) 2009-07-30
CN101911122B (zh) 2012-09-26
EP2242022A4 (en) 2012-02-15
EP2242022A1 (en) 2010-10-20
JP4697480B2 (ja) 2011-06-08

Similar Documents

Publication Publication Date Title
WO2009088035A1 (ja) 車線認識装置、車線認識方法および車線認識プログラム
CN109034047B (zh) 一种车道线检测方法及装置
JP6184877B2 (ja) 車両用外界認識装置
JP3780922B2 (ja) 道路白線認識装置
JP4241834B2 (ja) 車載霧判定装置
JP5136504B2 (ja) 物体識別装置
JP4416039B2 (ja) 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム
WO2010047226A1 (ja) 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム
JP2012174117A (ja) 移動体検出装置
EP3115966B1 (en) Object detection device, object detection method, and computer program
WO2014002692A1 (ja) ステレオカメラ
KR101483742B1 (ko) 지능형 차량의 차선 검출방법
JP2016206721A (ja) 路面標示検出装置及び路面標示検出方法
CN112261390B (zh) 车载摄像设备及其图像优化装置和优化方法
JP5353531B2 (ja) 車両灯火認識装置及びプログラム
JP4123138B2 (ja) 車両検知方法及び車両検知装置
KR101637535B1 (ko) 탑뷰 영상 왜곡 보정 장치 및 방법
WO2009119070A1 (ja) 車両用画像処理装置及び画像処理プログラム
JP2010224936A (ja) 物体検出装置
JP2007156897A (ja) 速度計測装置、方法及びプログラム
JP2004062519A (ja) レーンマーク検出装置
JP6416654B2 (ja) 白線検出装置
JP6569416B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラム
JP2007272461A (ja) 運動推定装置、方法及びプログラム
JP4956841B2 (ja) 車両用画像処理装置、車両、及び車両用画像処理プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980102024.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09700415

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12808032

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2009700415

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE