WO2022259373A1 - 認識装置、認識方法、及び認識プログラム - Google Patents

認識装置、認識方法、及び認識プログラム Download PDF

Info

Publication number
WO2022259373A1
WO2022259373A1 PCT/JP2021/021778 JP2021021778W WO2022259373A1 WO 2022259373 A1 WO2022259373 A1 WO 2022259373A1 JP 2021021778 W JP2021021778 W JP 2021021778W WO 2022259373 A1 WO2022259373 A1 WO 2022259373A1
Authority
WO
WIPO (PCT)
Prior art keywords
roadway
change
area
boundary
time
Prior art date
Application number
PCT/JP2021/021778
Other languages
English (en)
French (fr)
Inventor
皓平 森
和昭 尾花
崇洋 秦
夕貴 横畑
亜紀 林
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/021778 priority Critical patent/WO2022259373A1/ja
Priority to JP2023527211A priority patent/JPWO2022259373A1/ja
Publication of WO2022259373A1 publication Critical patent/WO2022259373A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles

Definitions

  • the technology disclosed relates to a recognition device, a recognition method, and a recognition program.
  • Such a function may use an image captured by a camera mounted on the vehicle for recognizing the surrounding environment of the vehicle.
  • the surrounding environment that cars should recognize is the boundary with the roadway or sidewalk, but there are various patterns such as straight lines, dotted lines, and combinations of these. However, there are cases where patterning is not possible. For example, various lane markings whose colors or shapes cannot be patterned, cases where lane markings do not exist, effects of shadows such as features, deterioration of lane markings over time, and effects of other vehicles.
  • the boundary of the roadway includes the boundary between running lanes and the boundary between the roadway and a non-roadway (sidewalk).
  • the disclosed technology has been made in view of the above points, and aims to provide a recognition device, a recognition method, and a recognition program capable of appropriately recognizing the surrounding environment of a running vehicle.
  • An aspect of the present disclosure is a recognition device that detects a boundary of a roadway using time-series images captured by a camera mounted on a vehicle, and an acquisition unit that acquires the time-series images; classifying the regions in the acquired time-series images into the roadway, which is a region with a small amount of change, and the region other than the roadway, which is a region with a large amount of change, according to the magnitude of the amount of change; and a detection unit that detects a boundary of the area with the large amount of change as a boundary of the roadway.
  • FIG. 4 is a diagram schematically showing means for recognizing the surrounding environment reflected in the drive recorder of the vehicle to be observed.
  • FIG. 10 is a diagram showing an example of a case where a boundary cannot be patterned due to coloration or the like;
  • FIG. 10 illustrates an example of a case where a boundary cannot be patterned due to shadow effects and lack of partition lines;
  • FIG. 10 is a diagram showing an example of a case where even if there is a partition line, the boundary cannot be patterned;
  • It which shows an example of the time series image image
  • It is a block diagram showing a hardware configuration of a recognition device of the present disclosure. 2 is a block diagram showing the functional configuration of the recognition device of the present disclosure;
  • FIG. 10 is a diagram showing an example of a case where a boundary cannot be patterned due to coloration or the like;
  • FIG. 10 illustrates an example of a case where a boundary cannot be patterned due to shadow effects and lack
  • FIG. 2 is an image diagram of a finite difference method; It is a figure which shows an example of calculation of a difference image.
  • FIG. 10 is a diagram showing an example of a difference image calculated by emphasizing a boundary line; It is a difference image obtained by superimposing the obtained frame difference images within a certain range of time width.
  • FIG. 10 is a diagram showing an example of correction for truncating pixels with low frequency in consideration of appearance frequency;
  • FIG. 10 is a diagram showing an example of correction for truncating pixels with low frequency in consideration of appearance frequency;
  • FIG. 10 is a diagram showing an example of correction for truncating pixels with low frequency in consideration of appearance frequency;
  • FIG. 10 is a diagram showing an example of correction for truncating pixels with low frequency in consideration of appearance frequency;
  • FIG. 10 is a diagram showing an example of correction for truncating pixels with low frequency in consideration of appearance frequency;
  • FIG. 10 is a diagram showing an example of correction for truncating pixels
  • FIG. 10 is a diagram showing an example of correction so as to divide the area of the difference image from the vanishing point; It is a figure which removes the area
  • FIG. 4 is a diagram showing an example of segmentation of regions based on vanishing points; FIG.
  • FIG. 10 is a diagram showing an example of region correction using a vanishing point; 4 is a flow chart showing the flow of recognition processing by the recognition device of the present disclosure; FIG. 10 is a diagram showing an example in which recognition of the surrounding environment of the present technology is utilized for alert notification to the driver or automatic driving; It is a figure showing an example at the time of utilizing recognition of surrounding environment of this art for object detection. It is a configuration example of a recognition device in a modified example of the present disclosure.
  • the technology of the present disclosure can be applied to means for recognizing the surrounding environment reflected in the drive recorder of the vehicle to be observed, as shown in FIG.
  • the surrounding environment can be recognized by classifying objects around the vehicle into objects that appear to move and objects that do not appear to move relatively, and by detecting lane markings and boundaries between roadways and sidewalks.
  • FIG. 2 is a diagram showing an example of demarcation lines that cannot be patterned.
  • L1 in FIG. 2 is a case in which characters are drawn on the road and a plurality of marking line patterns are included.
  • L2 to L4 are cases in which a plurality of colored demarcation lines such as white lines, blue lines, and green lines are mixed.
  • L4 is a bicycle lane area, and it is difficult to determine how far the roadway extends. In these cases, it is difficult to pattern and recognize boundaries.
  • L5 in FIG. 3 is a diagram showing an example where there is no partition line and there is a shadow effect. Due to sunlight conditions and shadows, the "white" division lines do not always appear to be the same color. In addition, when a "white" partition line is used as a detection condition, a guardrail also falls under this condition, and may be detected as a boundary and lead to erroneous detection.
  • L6 is a scene in which no lane marking exists at the boundary between the roadway and the sidewalk, and the boundary between the roadway and the sidewalk is a block, not a lane marking.
  • FIG. 4 is a diagram showing an example of demarcation lines that cannot be patterned.
  • L7 in FIG. 4 has a dashed line, it is difficult to identify the area because there is less than one lane between the dashed line and the block.
  • L8 is a demarcation line that has faded due to deterioration over time.
  • the left and right sides are usually dashed lines, but L9 is a case where, for example, even in the case of two or more lanes, the area before the intersection is a solid line.
  • the technique of the present disclosure recognizes the boundary by capturing the changing surroundings. For example, if the color cannot be patterned or the shape cannot be patterned, the characteristics as a whole are similar even if the pattern cannot be patterned, so it is assumed that the change in the time-series image will be less than the background. be done.
  • the present technology can be applied to a real space region having predetermined characteristics and other regions.
  • a physical space region having a predetermined feature is a region in which a plurality of patterns are continuous or similar patterns are continuous, and the proportion of features that do not apply to the pattern is small. Therefore, the present technology may be applied to railroad tracks and the like.
  • FIG. 5 is a diagram showing an example of time-series images captured by an in-vehicle camera. From the time-series images shown in FIG. 5, the following logics (1) to (6) can be explained. (1) The own vehicle moves. (2) With an in-vehicle camera of the own vehicle, the “surroundings" appear to be moving instead of the own vehicle. (3) Of the “surroundings", the roadway is made of the same material such as concrete, is constructed continuously over a certain section, and has similar colors that appear continuously, so that the color does not easily change. (4) Curb blocks, sidewalks, or clusters of buildings with respect to the roadway tend to change due to their various colors. (5) Therefore, it can be considered that the area with relatively large change is the surrounding area and not the roadway. (6) It is possible to recognize the surrounding environment from the magnitude of time-series change in pixels at the same coordinates or in the same region on the image.
  • FIG. 6 is a block diagram showing the hardware configuration of the recognition device 100 of the present disclosure.
  • the recognition device 100 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a storage 14, an input unit 15, a display unit 16, and a communication interface ( I/F) 17.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • storage 14 an input unit 15, a display unit 16, and a communication interface ( I/F) 17.
  • I/F communication interface
  • the CPU 11 is a central processing unit that executes various programs and controls each section. That is, the CPU 11 reads a program from the ROM 12 or the storage 14 and executes the program using the RAM 13 as a work area. The CPU 11 performs control of each configuration and various arithmetic processing according to programs stored in the ROM 12 or the storage 14 . In this embodiment, the ROM 12 or storage 14 stores a recognition program.
  • the ROM 12 stores various programs and various data.
  • the RAM 13 temporarily stores programs or data as a work area.
  • the storage 14 is configured by a storage device such as a HDD (Hard Disk Drive) or SSD (Solid State Drive), and stores various programs including an operating system and various data.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • the input unit 15 includes a pointing device such as a mouse and a keyboard, and is used for various inputs.
  • the display unit 16 is, for example, a liquid crystal display, and displays various information.
  • the display unit 16 may employ a touch panel system and function as the input unit 15 .
  • the communication interface 17 is an interface for communicating with other devices such as terminals.
  • the communication uses, for example, a wired communication standard such as Ethernet (registered trademark) or FDDI, or a wireless communication standard such as 4G, 5G, or Wi-Fi (registered trademark).
  • FIG. 7 is a block diagram showing the functional configuration of the recognition device 100 of the present disclosure.
  • Each functional configuration is realized by the CPU 11 reading a recognition program stored in the ROM 12 or the storage 14, developing it in the RAM 13, and executing it.
  • the recognition device 100 includes an acquisition unit 110, a detection unit 112, and a road database 114.
  • the acquisition unit 110 of the recognition device 100 acquires time-series images captured by a camera mounted on a vehicle.
  • the detection unit 112 is a processing unit that detects the boundary of the surrounding environment of the vehicle to be observed (hereinafter simply referred to as the vehicle) and outputs the detection result. It is divided into a portion 122 and an evaluation portion 124 .
  • the road database 114 stores road information including the number of lanes on the road. As shown in FIG. 8, it is possible to specify which lane is the lane of the host vehicle by applying information on the number of lanes in the road information to the image.
  • the detection unit 112 classifies the regions in the time-series images acquired by the acquisition unit 110 according to the magnitude of the change, and detects the boundary of the roadway. By classifying the area into the roadway, which is an area with a small amount of change, and the area other than the roadway, which is an area with a large amount of change, the boundary between the area with a small amount of change and the area with a large amount of change is detected as the boundary of the roadway. Processing of each unit in the detection unit 112 will be described.
  • the difference calculation unit 120 calculates a difference image between time-series images.
  • a frame difference method (hereinafter referred to as a difference method) is used to calculate the difference image.
  • FIG. 9 shows an image diagram of the finite difference method.
  • the difference method is a method of detecting a "changed pixel" by taking a logical product from the calculation results of absolute difference values between frames.
  • the difference method can be applied in a method of detecting the surrounding environment with a camera fixedly installed on a moving body.
  • FIG. 10 is a diagram showing an example of calculation of a difference image. Based on the image of time series t, the image of t+1, and the image of t+2, the difference image is binarized and calculated so as to emphasize the change at t+1. This method is based on the fact that the color of concrete roads basically looks the same except for construction marks, etc., and that the color of roads does not change.
  • FIG. 11 is a diagram showing an example of a difference image calculated by emphasizing a boundary line.
  • the upper part of FIG. 11 is a difference image obtained by binarizing the entire image with the same threshold according to the normal frame difference method. In this case, dark colors such as colored division lines disappear, and temporarily dark places such as “shade” are also detected.
  • the lower part of FIG. 11 is a difference image calculated by emphasizing the boundary line. Since the method emphasizes the boundary line, only outline information is required for shade, and colored division lines can also be detected. If the marking line is truly evenly painted, only the outline information is detected, but in reality, there are dents or protrusions on the road surface, or paint rubbing, etc., so differences are also detected within the marking line.
  • FIG. 12 is a difference image obtained by superimposing the obtained frame difference images within a certain time width range.
  • the shaping section 122 corrects the difference image calculated by the difference calculation section 120 .
  • a method suitable for each difference image is used as described below.
  • FIG. 13 is an example of correction in which low-frequency pixels are cut off in consideration of appearance frequency.
  • pixels with low frequency locally existing on roadways and sidewalks such as manholes and shades are removed. It also includes objects on the roadway that appear infrequently and are detected as large changes. In this case, pixels corresponding to lane markings, buildings, etc., which frequently change due to the influence of protrusions, dents, and slight lateral movement of the vehicle, remain without being removed.
  • the boundary line between the roadway and the sidewalk can also be extracted from the changes in the color of the road shoulder and step blocks.
  • the information of momentary shade and passing vehicles is reduced. Vehicles can be further reduced by applying processing to the rectangular areas detected by object detection.
  • guardrails are monochromatic on their own, but because they are installed by pillars, the sidewalks and buildings in the background are naturally reflected between the pillars of the guardrails, and they change frequently.
  • the sidewalk itself is colorful (for example, if it is composed of tiles of two or more colors and has a grid pattern or pattern), the pixel values change at high frequency, so the difference is emphasized and the division is further reduced. easier. In this way, black pixels are extracted from locations where the pixel value changes are small and the difference is unlikely to occur, and white pixels are extracted from locations where the pixel value changes are large and the difference is emphasized.
  • the shaping unit 122 may perform correction by segmenting the area of the difference image from the vanishing point. With the vanishing point as the center, the area around the difference image is divided into, for example, triangular areas, and each area is divided into areas where the ratio of black pixels/white pixels has changed or has not changed. As shown in FIG. 16, if the installation position and angle of view information of the camera (the angle of view information is fixed for each model and for each internal setting) and the width of each lane on the road on which the vehicle is running are known, The position of the division line reflected in the image can be roughly specified.
  • the shaping unit 122 may perform correction to remove the area in which the own vehicle is reflected in the difference image. As shown in FIG. 17, the lower area of the difference image is cut because the own vehicle may be reflected there. In this way, the shaping unit 122 performs processing so that the detection unit 112 does not detect the area in which the vehicle itself is photographed.
  • the difference image is extracted with white in areas where the amount of change is large, and in black in areas with small amount of change.
  • the evaluation unit 124 classifies the regions and detects boundaries by specifying the region of the driving lane of the host vehicle and the regions on the left and right thereof from the difference image corrected by the shaping unit 122 .
  • the evaluation unit 124 determines a threshold value for distinguishing black and white in the area classification.
  • the area of the difference image after correction is divided into a "black” area with a small amount of change and a "white” area with a large amount of change.
  • the “white” area includes lines that are extracted as partition lines.
  • the evaluation unit 124 In the classification of the area by the evaluation unit 124, for example, road information corresponding to the number of lanes of the road on which the vehicle is traveling is acquired from the road database 114, and based on the acquired road information and the extracted lane markings, the change Areas of low volume are classified as the driving lane of the host vehicle and the surrounding driving lanes. Then, the evaluation unit 124 classifies an area with a small amount of change as a roadway, and an area with a large amount of change as an area other than the roadway.
  • FIG. 18 is a diagram for identifying and classifying regions from the corrected difference image.
  • the region (1) specifies that the black region in the center of the image is the driving lane of the host vehicle. From the adjacent white demarcation line, it is specified that there are surrounding driving lanes in the area (2). Further, from the adjacent white division lines, it is specified that there is a driving lane in the area (3A) and that there is no driving lane in the area (3B). Furthermore, it is specified that there is no driving lane in the area (4) to the left of (3A).
  • the area is classified into the roadway, which is an area where the amount of change is small, and the area other than the roadway, which is an area where the amount of change is large. is the boundary of . Also, referring to the number of driving lanes on the left and right and road information, it detects that the vehicle is driving on the third lane based on the information that this road is a "4-lane road on one side". can.
  • Fig. 19 is an example of boundary correction when it is difficult to distinguish the boundary between the roadway and the sidewalk.
  • a sidewalk may appear like a roadway if only similar colors appear continuously for a certain section, but elements such as road shoulders and curbs are “white” areas. Therefore, since these elements can be regarded as a fixed range of "white” area, the part of the fixed range of "white” area can be detected as a boundary.
  • FIG. 20 is an example of correction for an area of a road that changes sharply, corresponding to the so-called zebra zone.
  • a continuous area of the zebra zone can be corrected by the shaping unit 122 as an area with a large change.
  • the narrow “black” area is regarded as “white” and filled in by the correction of the shaping section 122 .
  • the shaping unit 122 corrects the width of the “black” area to a “white” area when the width is narrower than a predetermined length.
  • FIG. 22 is an example of segmentation of areas based on vanishing points.
  • the "black” area immediately below the vanishing point is regarded as the driving lane of the host vehicle. If the width of the "white” area on the left is narrow, and if there is a “black” area with a certain width or more on the left, it is determined that there is an adjacent driving lane. In FIG. 22 as well, due to the correction by the shaping unit 122, the narrow “black” area is regarded as “white” and painted over.
  • FIG. 23 shows region correction using vanishing points. Assuming that the lane markings between the driving lanes cannot be recognized and that the wide "black” area is the driving lane of the vehicle, the left and right ratio of the "black” area is calculated, and if there is an extreme difference, it is divided into two areas. , and a “white” area is sandwiched between them.
  • FIG. 24 is a flowchart showing the flow of recognition processing by the recognition device 100 of the present disclosure. Recognition processing is performed by the CPU 11 reading out the recognition program from the ROM 12 or the storage 14, developing it in the RAM 13, and executing it.
  • step S100 the CPU 11, as the acquisition unit 110, acquires time-series images captured by a camera mounted on the vehicle.
  • step S102 the CPU 11, as the difference calculation unit 120, calculates a difference image of the time-series images.
  • step S104 the CPU 11, as the shaping unit 122, corrects the calculated difference image.
  • step S106 the CPU 11, as the evaluation unit 124, classifies areas with a small amount of change into the driving lane of the host vehicle and the roadway of surrounding driving lanes, and classifies areas with a large amount of change into other than the roadway.
  • the classification is performed by obtaining from the road database 114 road information corresponding to the number of lanes of the roadway on which the vehicle is traveling, and based on the road information and lane markings extracted from the corrected difference image.
  • step S108 the CPU 11, as the evaluation unit 124, detects the boundary line between the lanes of the driving lane and the roadway boundary representing the boundary line between the roadway and the non-roadway from the classification result, and outputs the detection result.
  • the recognition device 100 of the present embodiment it is possible to appropriately recognize the surrounding environment of the running vehicle.
  • FIG. 25 is an example in which the recognition of the surrounding environment of this technology is utilized for alert notification to the driver or automatic driving.
  • the autonomous vehicle misidentifies that "both left and right are dashed lines" and determines that it is traveling in the second lane, and changes lanes to the left, there is a risk of running onto the sidewalk. occur.
  • the left side is actually a cycling zone, not a dashed line. If the recognition of the surrounding environment by this technology finds that the boundary of the roadway is just to the left of the driving lane of the host vehicle, such a problem will not occur. Also, if it is known that there is a cycle zone between the lane marking and the road boundary, it can issue an alert when the driver moves to park there.
  • Fig. 26 is an example of using the recognition of the surrounding environment of this technology for object detection. For example, when a vehicle is detected as an object, the vehicle on the roadway and the vehicle on the site (parking lot, etc.) may be reflected at the same time. If the boundary line between the roadway and the sidewalk can be detected, even if the division line is not on the edge of the road or cannot be seen because it is rubbed, it is possible to determine whether or not the vehicle is on the roadway and classify the vehicle.
  • a speed acquisition unit 130 that acquires the speed of the vehicle is provided, and the difference calculation unit 120 of the detection unit 112 calculates
  • the differential image may be calculated using only the captured images.
  • the reason why the images are selected according to the speed in this way is that the part of this technology that captures "the background is moving" due to the running of the vehicle to be observed is an important technology. For example, using vehicle speed information, a process of calculating a difference image using only images when the vehicle is traveling at a speed of 20 km/h or more is performed.
  • the recognition processing executed by the CPU by reading the software (program) in the above embodiment may be executed by various processors other than the CPU.
  • the processor is a PLD (Programmable Logic Device) whose circuit configuration can be changed after manufacturing, such as an FPGA (Field-Programmable Gate Array), and an ASIC (Application Specific Integrated Circuit) to execute specific processing.
  • a dedicated electric circuit or the like which is a processor having a specially designed circuit configuration, is exemplified.
  • the recognition processing may be performed by one of these various processors, or by a combination of two or more processors of the same or different type (for example, multiple FPGAs, a combination of a CPU and an FPGA, etc.). ) can be run.
  • the hardware structure of these various processors is an electric circuit in which circuit elements such as semiconductor elements are combined.
  • the recognition program is stored (installed) in advance in the storage 14 , but it is not limited to this.
  • Programs are stored in non-transitory storage media such as CD-ROM (Compact Disk Read Only Memory), DVD-ROM (Digital Versatile Disk Read Only Memory), and USB (Universal Serial Bus) memory.
  • CD-ROM Compact Disk Read Only Memory
  • DVD-ROM Digital Versatile Disk Read Only Memory
  • USB Universal Serial Bus
  • the program may be downloaded from an external device via a network.
  • a recognition device that detects the boundary of a roadway using time-series images captured by a camera mounted on a vehicle, obtaining the time-series images; Areas in the acquired time-series images are classified according to the magnitude of the amount of change into an area with a small amount of change, the roadway, and an area with a large amount of change, other than the roadway. Detecting the boundary of the area with a large amount of change as the boundary of the roadway;
  • a recognizer configured to:
  • a non-temporary storage medium storing a computer-executable program for executing recognition processing for detecting roadway boundaries using time-series images captured by a camera mounted on a vehicle, obtaining the time-series images; Areas in the acquired time-series images are classified according to the magnitude of the amount of change into an area with a small amount of change, the roadway, and an area with a large amount of change, other than the roadway. Detecting the boundary of the area with a large amount of change as the boundary of the roadway; Non-transitory storage media.
  • recognition device 110 acquisition unit 112 detection unit 114 road database 120 difference calculation unit 122 shaping unit 124 evaluation unit 130 speed acquisition unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

車両に搭載されたカメラから撮影された時系列画像を用いて車道の境界を検出する認識装置であって、前記時系列画像を取得する取得部と、取得された時系列画像内における領域を、変化量の大きさに応じて変化量が少ない領域である車道と変化量が大きい領域である車道以外とに分類し、前記変化量が少ない領域と前記変化量が大きい領域の境界を前記車道の境界として検出する検出部とを有する。

Description

認識装置、認識方法、及び認識プログラム
　開示の技術は、認識装置、認識方法、及び認識プログラムに関する。
　自動運転、又は運転手補助に係る機能を実現するためには、自動車の周辺環境を適切に認識し、認識した結果に基づく車両の制御、又は運転手への通知又は提案をするための機能を設ける必要がある。このような機能には、自動車の周辺環境を認識するために自動車に搭載されたカメラなどにより撮影された画像が用いられる場合もある。
　画像を用いる場合、例えば単純化された画像を二値化することで特定のパターンを検出することが可能である（例えば、特許文献１参照）。
特開２０１９－９６１５１号公報
　自動車が認識すべき周辺環境として車道又は歩道との境界等が存在するが、境界には直線、点線、それらの組合せ等の様々なパターンが存在する。しかしながら、パターン化できないケースも存在する。例えば、色又は形状等がパターン化できない多様な区画線、区画線が存在しないケース、地物などの影の影響、区画線の時間の経過による劣化、及び他の自動車による影響などがこれにあたる。なお、車道の境界とは、走行レーン間の境界、及び車道と車道以外（歩道）との境界を含む。
　開示の技術は、上記の点に鑑みてなされたものであり、走行中の車両の周辺環境を適切に認識することができる認識装置、認識方法、及び認識プログラムを提供することを目的とする。
　本開示の態様は、認識装置であって、車両に搭載されたカメラから撮影された時系列画像を用いて車道の境界を検出する認識装置であって、前記時系列画像を取得する取得部と、取得された時系列画像内における領域を、変化量の大きさに応じて変化量が少ない領域である車道と変化量が大きい領域である車道以外とに分類し、前記変化量が少ない領域と前記変化量が大きい領域の境界を前記車道の境界として検出する検出部とを有する。
　開示の技術によれば、走行中の車両の周辺環境を適切に認識することができる。
観測対象の車両のドライブレコーダに映った周辺環境を認識する手段を模式的に示す図である。 配色等により、境界をパターン化できないケースの例を示す図である。 影の影響、及び区画線がないことにより、境界をパターン化できないケースの例を示す図である。 区画線があっても、境界をパターン化できないケースの例を示す図である。 車載カメラで撮影された時系列画像の一例を示す図である。 本開示の認識装置のハードウェア構成を示すブロック図である。 本開示の認識装置の機能的な構成を示すブロック図である。 道路情報の車線数の情報を画像に当てはめた図である。 差分法のイメージ図である。 差分画像の算出の一例を示す図である。 境界線を強調して算出した差分画像の一例を示す図である。 得られたフレーム差分画像を、ある程度の時間幅の範囲で重ね合わせた差分画像である。 出現頻度を考慮して、頻度の低い画素を足切りする補正の一例を示す図である。 出現頻度を考慮して、頻度の低い画素を足切りする補正の一例を示す図である。 出現頻度を考慮して、頻度の低い画素を足切りする補正の一例を示す図である。 消失点から、差分画像の領域を区分するように補正する一例を示す図である。 差分画像の自車両が映り込む領域を除去する図である。 補正後の差分画像から領域を特定して分類する図である。 車道と歩道との境界が判別しづらいときの境界の補正の例である。 道路のいわゆるゼブラゾーンにあたる変化が激しい補正の検出の例である。 領域の幅に応じて補正する例を示す図である。 消失点を基準とした領域の区分の例を示す図である。 消失点を用いた領域の補正の例を示す図である。 本開示の認識装置による認識処理の流れを示すフローチャートである。 本技術の周辺環境の認識を、運転手、又は自動運転へのアラート通知に活用する場合の例を示す図である。 本技術の周辺環境の認識を、物体検知に活用した場合の例を示す図である。 本開示の変形例における認識装置の構成例である。
　以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
　まず、本開示の概要について説明する。本開示の技術は、図１に示すような、観測対象の車両のドライブレコーダに映った周辺環境を認識する手段に適用できる。周辺環境は、車両の周囲の物体を、相対的に動いて見える／動いて見えない物体に区分し、走行レーンの区画線、並びに車道と歩道との境界を検出することで認識できる。
　上記課題において説明したように、境界には、パターン化できないケースが存在する。区画線についてパターン化できない例としては、区画線の色が一般的な白又はオレンジに限定されないケース、及び減速させるための区画線等、形状も単なる実線又は破線以外であるケース等が挙げられる。図２は、パターン化できない区画線の一例を示す図である。図２のＬ１は、道路上に文字が描かれ、複数の区画線のパターンが含まれるケースである。Ｌ２～４は、白線、青の線、及び緑の線など複数の配色の区画線が混合しているケースである。また、Ｌ４は自転車専用レーンの領域となっており、車道がどこまでかが判別しがたい。これらのケースの場合、境界をパターン化して認識することは難しい。
　図３のＬ５は、区画線がなく、影の影響がある場合の一例を示す図である。日照条件及び影の影響で、「白」の区画線も常に同一色に見えるというわけでもない。また、「白」の区画線を検出の条件とした場合、ガードレールもこの条件に該当するため、境界として検出され誤検知に繋がり得る。Ｌ６は、車道と歩道の境界に区画線が存在しないシーンであり、車道と歩道との境界はブロックであって区画線になっていない。
　また、区画線があっても、パターン化できないケースも存在する。図４は、パターン化できない区画線の一例を示す図である。図４のＬ７は、区画線が破線であるものの、破線とブロックの間は１車線には満たないため、何の領域かを特定しがたい。Ｌ８は、時間の経過による劣化によりかすれてしまった区画線である。２レーン以上の場合、左右は破線となっているのが通例と考えられるが、Ｌ９は、２レーン以上の場合であっても、例えば交差点手前は実線になっているケースである。
　以上の状況を鑑みて、色又は影の有無に左右されず、認識しにくい場合も問題なく区画線を検出したい。また、区画線以外に、車道と歩道との境界も検出したい。そこで、本開示の技術では、変化する周囲を捉えることにより、境界を認識する。例えば、色がパターン化できない、形状がパターン化できない場合については、パターン化できなくても全体としての特徴は似ているため、時系列画像で見たときの変化が背景よりも少ないことが想定される。また、影の影響のように時間によって見た目が変化する場合、時系列画像全体としての傾向に変化を及ぼすことになるものの、変化が大きい背景と変化が少ない車道という関係は変わらない（ただし、変化量は全体として下がるから閾値を低くする必要がある）。以上のように、相対的に変化が大きい領域は周囲であることを想定することにより、周辺環境を捉えることができる。本手法により、区画線の有無に関わらず、自車両の周辺環境を認識し、自車両の走行レーン、周囲のレーン、及び車道と歩道との間の境界も推定可能となる。なお、以下では車道に適用する場合を例に説明するが、本技術は、所定の特徴を有する現実空間の領域とそれ以外の領域とであれば適用できる。所定の特徴を有する現実空間の領域とは、複数のパターンが連続する、又は類似するパターンが連続し、パターンに当てはまらない特徴が占める割合が小さい領域である。よって、本技術を線路などに適用してもよい。
　図５は、車載カメラで撮影された時系列画像の一例を示す図である。図５で示される時の時系列画像から、以下（１）～（６）の論理付けを説明することができる。
（１）自車両が動く。
（２）自車両の車載カメラでは、自車両ではなく「周囲」が動いているように見える。
（３）「周囲」のうち、車道はコンクリートのように同じ素材で作られ、一定区間連続して構築され、近しい色が連続して出現してくるため、色合いが変化しにくい。
（４）車道に対して縁石ブロック、歩道、又はビル群は色合いが様々であるため変化しやすい。
（５）よって相対的に変化が大きい領域は周囲であり、車道ではない、と捉えられる。
（６）同一座標の画素若しくは画像上で同一の領域における時系列での変化の大きさから、周辺環境を認識することが可能である。
　以下、本実施形態の構成について説明する。
　図６は、本開示の認識装置１００のハードウェア構成を示すブロック図である。
　図６に示すように、認識装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。
　ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、認識プログラムが格納されている。
　ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
　入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。
　表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能してもよい。
　通信インタフェース１７は、端末等の他の機器と通信するためのインタフェースである。当該通信には、例えば、イーサネット（登録商標）若しくはＦＤＤＩ等の有線通信の規格、又は、４Ｇ、５Ｇ、若しくはＷｉ－Ｆｉ（登録商標）等の無線通信の規格が用いられる。
　次に、認識装置１００の各機能構成について説明する。図７は、本開示の認識装置１００の機能的な構成を示すブロック図である。各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶された認識プログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。
　図７に示すように、認識装置１００は、取得部１１０と、検出部１１２と、道路データベース１１４とを含んで構成されている。認識装置１００は、取得部１１０により、車両に搭載されたカメラから撮影された時系列画像を取得する。検出部１１２は、観測対象の車両（以下、単に車両と記載する）の周辺環境の境界を検出して、検出結果を出力する処理部であり、機能構成としては、差分算出部１２０と、整形部１２２と、評価部１２４とに分けられる。道路データベース１１４には、車道の車線数を含む道路情報が格納される。図８に示すように、道路情報の車線数の情報を画像に当てはめ、何車線目が自車両のレーンであるかが特定可能である。
　検出部１１２では、取得部１１０で取得された時系列画像内における領域を、変化量の大きさに応じて分類し、車道の境界を検出する。変化量が少ない領域である車道と変化量が大きい領域である車道以外とに分類することにより、変化量が少ない領域と変化量が大きい領域の境界を車道の境界として検出する。検出部１１２内の各部の処理を説明する。
　差分算出部１２０は、時系列画像の差分画像を算出する。差分画像の算出には、フレーム差分法（以下、差分法）を用いる。図９に差分法のイメージ図を示す。差分法は、フレーム間の差分絶対値の算出結果から論理積を取ることで、「変化した画素」を検出する手法である。差分法は、移動体に固定して設置されたカメラで周辺環境を検出する方法において適用可能である。
　図１０は、差分画像の算出の一例を示す図である。時系列ｔの画像、ｔ＋１の画像、ｔ＋２の画像を元に、ｔ＋１における変化を強調するように、差分画像を二値化して算出する。この手法は、コンクリートの道路の色は工事跡等を除けば、基本的に同じ色に見える性質から、車道は色合いが変化しないという点に着目した手法といえる。
　また、Ａｄａｐｔｉｖｅ Ｔｈｒｅｓｈｏｌｄの手法を用いて、境界線を強調した差分画像を算出してもよい。図１１は、境界線を強調して算出した差分画像の一例を示す図である。図１１の上は、通常のフレーム差分法にのっとって画像全体を同一閾値で２値化した場合の差分画像である。この場合、色付きの区画線等の暗めの色が消失し、「日陰」といった一時的に暗くなる場所も検出される。他方で、図１１の下は、境界線を強調して算出した差分画像である。境界線が強調される手法のため、日陰も輪郭の情報だけで済み、色付きの区画線も検出可能である。真に均一に塗装された区画線であれば輪郭のみの情報が検出されるが、実態として路面の凹み若しくは突起、又は塗装の擦れなどがあるため区画線内にも差分が検出される。
　図１２は、得られたフレーム差分画像を、ある程度の時間幅の範囲で重ね合わせた差分画像である。
　整形部１２２は、差分算出部１２０で算出した差分画像を補正する。補正手法は、以下に説明するように差分画像ごとに適した手法を用いる。
　補正の一例として、出現頻度を考慮して、頻度の低い画素を足切りする補正について説明する。図１３は、出現頻度を考慮して、頻度の低い画素を足切りする補正の一例である。図１３の左上の差分画像では、マンホール及び日陰等、車道及び歩道上に局所的に存在する頻度の低い画素を取り除いている。また、車道上にあるものの出現頻度が低く、大きい変化として検出されてしまうものも含む。この場合、突起、凹み、自車両の多少の左右の走行ブレの影響により、頻繁に変化する区画線やビル等に相当する画素については除かれずに残っている。
　図１４の左に示す画像の場合、路肩や段差ブロックの色の変化から、車道と歩道の境界線も抽出できる。図１４の右に示す差分画像は、瞬間的な日陰やすれ違う車両の情報は低減されている。車両は物体検知で検知した矩形領域に処理を加えることでさらに低減が可能である。
　また、ガードレールの支柱、ポール、又は草木等の周辺環境の地物のように、それら地物単体または地物間に存在する要素とで色が異なる場合があるとさらに、車道と歩道との境界が強調されることになる。例えばガードレールは単体では単色であるが、支柱によって設置されているため、ガードレールの支柱間は当然、背景である歩道やビルが映り、高い頻度で変化する。また、歩道自体がカラフルな場合（例えば、２色以上のタイルで構成され格子状や模様等を描いている場合）、高い頻度で画素値が変化するため差分が強調されて、さらに区分がしやすくなる。このように画素値の変化が少なく差分に違いが生じにくい箇所は黒画素、画素値の変化が多く差分が強調される箇所は白画素として抽出される。
　図１５の上の画像の場合、車道と歩道の色が近しく、かつ歩道の色が一定の場合は「歩道」部分は画素値の変化が少ないため黒画素として抽出される。しかし、車道と歩道との境界ブロックの色の変化で境界線の判定が可能である。図１５の下の画像の場合、周辺環境に地物があり、高い頻度で画素値の変化があり差分が強調されるため、白画素として抽出される。以上が、出現頻度による補正の説明である。
　また、整形部１２２は、消失点から、差分画像の領域を区分する補正をしてもよい。消失点を中心に、差分画像の周囲に対して、例えば三角形で表現される領域に区切り、各領域内の黒画素／白画素の割合から変化した領域、又は変化しなかった領域に区分する。図１６に示すように、カメラの設置位置と画角情報（画角情報は機種ごと、内部設定ごとに固定である）、及び走行中の道路における各車線の幅員が既知であれば、映像内に映り込む区画線の位置がおおよそ特定できる。
　また、整形部１２２は、差分画像の自車両が映り込む領域を除去する補正をしてもよい。図１７に示すように、差分画像の下部の領域は自車両が映り込んでいる可能性があるためカットする。このようにして、整形部１２２は、車両自体が撮影されている領域を検出部１１２において、検出の対象とならないように処理を施す。
　以上の差分算出部１２０及び整形部１２２の処理により、差分画像は、変化量が大きい領域が白で抽出され、変化量が少ない領域が黒で抽出される。
　評価部１２４は、整形部１２２で補正後の差分画像から、自車両の走行レーンの領域と、その左右にある領域を特定することにより、領域を分類し、境界を検出する。評価部１２４は領域の分類において、白黒を判別するための閾値を定めておく。補正後の差分画像の領域は、変化量が少ない「黒」の領域、変化量が大きい「白」の領域に分けられる。「白」の領域には、区画線として抽出される線が含まれる。評価部１２４による領域の分類では、例えば、車両が走行中の車道の車線数に対応する道路情報を道路データベース１１４から取得し、取得した道路情報と、抽出される区画線とに基づいて、変化量が少ない領域を自車両の走行レーン、及び周囲の走行レーンとして分類する。そして、評価部１２４は、変化量が少ない領域を車道として、変化量が大きい領域を車道以外として分類する。
　評価部１２４における検出の例を以下に説明する。図１８は、補正後の差分画像から領域を特定して分類する図である。まず、（１）の領域は、画像中央の黒領域が自車両の走行レーンであることを特定する。隣の白の区画線から、（２）の領域に周囲の走行レーンがあることを特定する。さらに隣の白の区画線から、（３Ａ）の領域には走行レーンがあること、（３Ｂ）の領域には走行レーンがないことを特定する。さらに（３Ａ）の左隣の（４）の領域には走行レーンがないことが特定される。以上の特定により領域を、変化量が少ない領域である車道と変化量が大きい領域である車道以外とに分類し、ここから白と黒の領域を分ける（５）の境界が、車道と歩道との境界であることを検出する。また、左右に存在する走行レーンの車線数と、道路情報とを参照して、この道路が「片側４車線道路」という情報を元に、自車両は３車線目を走行していることを検出できる。
　整形部１２２の補正の例について、いくつかのパターンを説明する。
　図１９は、車道と歩道との境界が判別しづらいときの境界の補正の例である。歩道も一定区間連続して近しい色のみが出現する場合、車道のように見える場合があるが、路肩や縁石等の要素が「白」の領域となる。そのため、これらの要素が集まって一定範囲の「白」の領域とみなせるため、一定範囲の「白」の領域の部分を境界として検出できる。
　図２０は、道路のいわゆるゼブラゾーンにあたる変化が激しい領域の補正の例である。ゼブラゾーンの一定範囲連続した領域は変化が大きい領域として整形部１２２により補正できる。
　領域の幅に応じて補正する例を示す。図２１の左の場合、幅の狭い「黒」の領域は「白」とみなして、整形部１２２の補正により塗りつぶす。このように、整形部１２２は、「黒」の領域の幅が所定の長さより狭い場合に、「白」の領域に補正する。
　図２２は、消失点を基準とした領域の区分の例である。消失点の直下の「黒」の領域が自車両の走行レーンであるとみなす。左隣の「白」の領域の幅が狭く、またさらに左に一定以上の幅の「黒」の領域があれば隣に走行レーンありと判断する。図２２についても、整形部１２２の補正により、幅の狭い「黒」の領域は「白」とみなして塗りつぶされる。
　図２３は、消失点を用いた領域の補正である。走行レーン間の区画線が認識できず、広い「黒」の領域が自車両の走行レーンだとすると、「黒」の領域の左右の比を求め、極端に差がある場合は２つの領域に分割し、間に「白」の領域を挟む処理を施す。
　次に、認識装置１００の作用について説明する。
　図２４は、本開示の認識装置１００による認識処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から認識プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、認識処理が行なわれる。
　ステップＳ１００において、ＣＰＵ１１は、取得部１１０として、車両に搭載されたカメラから撮影された時系列画像を取得する。
　ステップＳ１０２において、ＣＰＵ１１は、差分算出部１２０として、時系列画像の差分画像を算出する。
　ステップＳ１０４において、ＣＰＵ１１は、整形部１２２として、算出した差分画像を補正する。
　ステップＳ１０６において、ＣＰＵ１１は、評価部１２４として、変化量が少ない領域を自車両の走行レーン、及び周囲の走行レーンの車道に分類し、変化量が大きい領域を車道以外に分類する。分類は、車両が走行中の車道の車線数に対応する道路情報を道路データベース１１４から取得し、道路情報と、補正後の差分画像から抽出される区画線とに基づいて行う。
　ステップＳ１０８において、ＣＰＵ１１は、評価部１２４として、分類結果から、走行レーンの車線間の境界線、及び車道と車道以外との間の境界線を表す車道の境界を検出し、検出結果を出力する。
　以上説明したように本実施形態の認識装置１００によれば、走行中の車両の周辺環境を適切に認識することができる。
　本技術の活用例を説明する。図２５は、本技術の周辺環境の認識を、運転手、又は自動運転へのアラート通知に活用する場合の例である。例えば、図２５の状況において、自動運転車両が「左右ともに破線」であると誤認して２車線目を走行中と判断し、左に車線変更をしてしまうと、歩道に乗り上げてしまう恐れが生じる。左側は破線ではなく実際には自転車走行ゾーンである。本技術の周辺環境の認識によって、車道の境界が、自車両の走行レーンのすぐ左にあることがわかればこうした問題は発生しない。また、区画線と道路境界線との間に自転車走行ゾーンがあることがわかっていれば、ここに路駐しようとドライバーが動いた際、アラートを発することができる。
　図２６は、本技術の周辺環境の認識を、物体検知に活用した場合の例である。例えば車両を物体検知した場合、車道上の車両と、敷地内（駐車場等）の車両が同時に映り込んでしまう場合がある。区画線が道路端にない場合、擦れて見えない場合でも、車道と歩道との境界を検出できれば、車道上の車両であるか否かを判別し分類することができる。
（変形例）
　上記実施形態の変形例として、図２７に示すように、車両の速度を取得する速度取得部１３０を有するようにし、検出部１１２の差分算出部１２０は、速度が所定の閾値以上であるときに撮影された画像のみを用いるように差分画像を算出するようにしてもよい。このように速度によって画像を選別するのは、本技術が、観測対象の車両が走行することにより、「背景が動いている」ことを捉える部分が肝要な技術だからである。例えば、車両の速度の情報を用いて、時速２０ｋｍ／ｈ以上で走行している場合の画像のみを用いて差分画像を算出する、といった処理を行う。
　また、車道以外への適用の例について説明する。例えば、電車と線路との場合に適用して、レールを検知することができる。レールは影の影響を除けば常に一定の色（つまり黒）に見え、レール間については枕木とバラスト（砂利）とが交互に設置されているため変化が強調され、同様にレールの外側のバラストも一定の色ではないため変化が強調される。つまり、枕木とバラストとのいずれも「白」の領域として検出できる。
　走行するロボットへの適用については、ロボットが歩道を走行する場合を想定し、色が一定である道路からはみ出さないようにロボットを制御することで、本技術に使用可能な時系列画像が得られる。
　なお、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した認識処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、認識処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　また、上記実施形態では、認識プログラムがストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　以上の実施形態に関し、更に以下の付記を開示する。
　（付記項１）
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記プロセッサは、
　車両に搭載されたカメラから撮影された時系列画像を用いて車道の境界を検出する認識装置であって、
　前記時系列画像を取得し、
　取得された時系列画像内における領域を、変化量の大きさに応じて変化量が少ない領域である車道と変化量が大きい領域である車道以外とに分類し、前記変化量が少ない領域と前記変化量が大きい領域の境界を前記車道の境界として検出する、
　ように構成されている認識装置。
　（付記項２）
　車両に搭載されたカメラから撮影された時系列画像を用いて車道の境界を検出する認識処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
　前記時系列画像を取得し、
　取得された時系列画像内における領域を、変化量の大きさに応じて変化量が少ない領域である車道と変化量が大きい領域である車道以外とに分類し、前記変化量が少ない領域と前記変化量が大きい領域の境界を前記車道の境界として検出する、
　非一時的記憶媒体。
１００ 認識装置
１１０ 取得部
１１２ 検出部
１１４ 道路データベース
１２０ 差分算出部
１２２ 整形部
１２４ 評価部
１３０ 速度取得部

Claims (8)

  1. 　車両に搭載されたカメラから撮影された時系列画像を用いて車道の境界を検出する認識装置であって、
    　前記時系列画像を取得する取得部と、
    　取得された時系列画像内における領域を、変化量の大きさに応じて変化量が少ない領域である車道と変化量が大きい領域である車道以外とに分類し、前記変化量が少ない領域と前記変化量が大きい領域の境界を前記車道の境界として検出する検出部と、
    　を有する認識装置。
  2. 　前記検出部は、さらに前記時系列画像から前記車両自体が撮影されている領域を前記検出部が検出する対象とならないよう処理を施す請求項１記載の認識装置。
  3. 　前記車両の速度を取得する速度取得部を有し、
    　前記検出部は、前記速度が所定の閾値以上であるときに撮影された画像のみを用いる請求項１又は請求項２記載の認識装置。
  4. 　前記検出部は、前記時系列画像の差分画像を算出し、前記差分画像の画素の変化により領域の前記変化量を算出する請求項１～請求項３の何れか１項に記載の認識装置。
  5. 　前記差分画像の二値の一方の領域の幅が所定の長さより狭い場合に、当該領域を二値の他方の領域に補正する請求項４に記載の認識装置。
  6. 　前記検出部は、前記車両が走行中の車道の車線数に対応する道路情報を取得し、前記道路情報と、前記時系列画像において抽出される区画線とに基づいて、前記変化量が少ない領域として前記車両の走行レーン、及び周囲の走行レーンを特定する請求項１～請求項５の何れか１項に記載の認識装置。
  7. 　車両に搭載されたカメラから撮影された時系列画像を用いて車道の境界を検出するコンピュータにおける認識方法であって、
    　前記時系列画像を取得し、
    　取得された時系列画像内における領域を、変化量の大きさに応じて変化量が少ない領域である車道と変化量が大きい領域である車道以外とに分類し、前記変化量が少ない領域と前記変化量が大きい領域の境界を前記車道の境界として検出する、
    　処理をコンピュータに実行させる認識方法。
  8. 　車両に搭載されたカメラから撮影された時系列画像を用いて車道の境界を検出するコンピュータにおける認識プログラムであって、
    　前記時系列画像を取得し、
    　取得された時系列画像内における領域を、変化量の大きさに応じて変化量が少ない領域である車道と変化量が大きい領域である車道以外とに分類し、前記変化量が少ない領域と前記変化量が大きい領域の境界を前記車道の境界として検出する、
    　処理をコンピュータに実行させる認識プログラム。
PCT/JP2021/021778 2021-06-08 2021-06-08 認識装置、認識方法、及び認識プログラム WO2022259373A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/021778 WO2022259373A1 (ja) 2021-06-08 2021-06-08 認識装置、認識方法、及び認識プログラム
JP2023527211A JPWO2022259373A1 (ja) 2021-06-08 2021-06-08

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/021778 WO2022259373A1 (ja) 2021-06-08 2021-06-08 認識装置、認識方法、及び認識プログラム

Publications (1)

Publication Number Publication Date
WO2022259373A1 true WO2022259373A1 (ja) 2022-12-15

Family

ID=84425833

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/021778 WO2022259373A1 (ja) 2021-06-08 2021-06-08 認識装置、認識方法、及び認識プログラム

Country Status (2)

Country Link
JP (1) JPWO2022259373A1 (ja)
WO (1) WO2022259373A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008262333A (ja) * 2007-04-11 2008-10-30 Nissan Motor Co Ltd 路面判別装置および路面判別方法
JP2013051987A (ja) * 2011-08-31 2013-03-21 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2015149028A (ja) * 2014-02-07 2015-08-20 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法
JP2020113207A (ja) * 2019-01-16 2020-07-27 アルパイン株式会社 車載装置、レーン関連処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008262333A (ja) * 2007-04-11 2008-10-30 Nissan Motor Co Ltd 路面判別装置および路面判別方法
JP2013051987A (ja) * 2011-08-31 2013-03-21 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2015149028A (ja) * 2014-02-07 2015-08-20 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法
JP2020113207A (ja) * 2019-01-16 2020-07-27 アルパイン株式会社 車載装置、レーン関連処理方法

Also Published As

Publication number Publication date
JPWO2022259373A1 (ja) 2022-12-15

Similar Documents

Publication Publication Date Title
CN111212772B (zh) 用于确定车辆的驾驶策略的方法和设备
Wen et al. A deep learning framework for road marking extraction, classification and completion from mobile laser scanning point clouds
CN107609491B (zh) 一种基于卷积神经网络的车辆违章停车检测方法
WO2020000251A1 (zh) 基于摄像机协同接力的路口违章视频识别方法
US10552706B2 (en) Attachable matter detection apparatus and attachable matter detection method
CN103077617B (zh) 基于计算机视觉的人行横道智能交通灯监管***及方法
KR101605514B1 (ko) 차선 인식 장치 및 방법
CN105678285B (zh) 一种自适应的道路鸟瞰图变换方法和道路车道检测方法
CN103593649B (zh) 一种用于车道偏离预警的车道线检测方法
CN101702263B (zh) 一种人行横道信号灯绿波自适应控制***及方法
US20160176358A1 (en) Early detection of turning condition identification using perception technology
CN103996053A (zh) 基于机器视觉的车道偏离报警方法
US20100098290A1 (en) Method for detecting a clear path through topographical variation analysis
WO2014017517A1 (ja) 立体物検出装置及び立体物検出方法
CN103778786A (zh) 一种基于显著车辆部件模型的交通违章检测方法
US8718329B2 (en) Top-down view classification in clear path detection
CN105005771A (zh) 一种基于光流点轨迹统计的车道线实线的检测方法
CN103714538A (zh) 道路边缘检测方法、装置及车辆
CN102592454A (zh) 一种基于车辆侧面与路面交线检测的交叉口车辆运动参数测量方法
CN108520635B (zh) 一种混合现实道路显示***
CN106778548A (zh) 用于检测障碍物的方法和装置
CN105654073A (zh) 一种基于视觉检测的速度自动控制方法
CN112349087B (zh) 一种基于路口信息全息感知的可视化数据输入方法
CN106127177A (zh) 一种无人驾驶压路机
JP6003986B2 (ja) 立体物検出装置、立体物検出方法及び異物検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21945051

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023527211

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18566154

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21945051

Country of ref document: EP

Kind code of ref document: A1