WO2020110751A1 - 車線位置情報出力装置 - Google Patents

車線位置情報出力装置 Download PDF

Info

Publication number
WO2020110751A1
WO2020110751A1 PCT/JP2019/044704 JP2019044704W WO2020110751A1 WO 2020110751 A1 WO2020110751 A1 WO 2020110751A1 JP 2019044704 W JP2019044704 W JP 2019044704W WO 2020110751 A1 WO2020110751 A1 WO 2020110751A1
Authority
WO
WIPO (PCT)
Prior art keywords
lane
position information
image
unit
vehicle
Prior art date
Application number
PCT/JP2019/044704
Other languages
English (en)
French (fr)
Inventor
朋夫 野村
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to DE112019005899.1T priority Critical patent/DE112019005899T5/de
Publication of WO2020110751A1 publication Critical patent/WO2020110751A1/ja
Priority to US17/211,275 priority patent/US20210209947A1/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/123Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/133Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Definitions

  • the present disclosure relates to a lane position information output device that outputs lane position information for generating a lane map that represents a traveling lane of a vehicle.
  • Patent Document 1 an image of the surroundings of a vehicle is captured by an in-vehicle camera, position information of a lane is generated from the obtained image, and a lane map representing a traveling lane of the vehicle is generated based on the generated position information of the lane.
  • the technology is disclosed.
  • a lane position information output device includes an image capturing unit that captures an image of the periphery of a vehicle, a lane extracting unit that extracts a lane from an image captured by the image capturing unit, and a lane position that the lane extracting unit extracts. And a lane position information output unit that outputs the lane position information shown. The lane position information output unit outputs the lane position information when the lane accurately appears in the image captured by the image capturing unit.
  • the lane position information is output in a predetermined case where the lane accurately appears in the image captured by the imaging unit. Therefore, based on this lane position information, a more accurate lane map can be generated. .. That is, the lane position information output device according to the present disclosure can output lane position information for generating a more accurate lane map.
  • FIG. 1 is a diagram schematically showing a configuration example of a lane position information output device, a center server, and a lane map generation system according to the present embodiment
  • FIG. 2 is a diagram schematically showing an example of an image captured by the image capturing unit according to the present embodiment
  • FIG. 3 is a diagram schematically showing a lane map generation example according to the present embodiment
  • FIG. 4 is a flowchart schematically showing an operation example of the lane position information output device according to the present embodiment
  • FIG. 5 is a diagram schematically showing a situation example in which the lane position information according to the present embodiment cannot be accurately output
  • FIG. 6 is a flowchart showing an example of the situation determination processing based on the image analysis information according to the present embodiment
  • FIG. 7 is a flowchart showing an example of a situation determination process based on vehicle information according to this embodiment.
  • the lane position information output device 10 illustrated in FIG. 1 is mounted on a moving body such as a vehicle 11, and includes a control unit 12, an imaging unit 13, a communication unit 14, a current position estimation unit 15, and the like. ..
  • the control unit 12 is mainly composed of, for example, a microcomputer and a memory, and controls the overall operation of the lane position information output device 10 based on a control program.
  • the imaging unit 13 is composed of, for example, a vehicle-mounted camera mounted on the vehicle 11, and is configured to be capable of imaging the periphery of the vehicle 11, in this case, at least the front in the traveling direction of the vehicle 11.
  • the communication unit 14 is composed of, for example, a communication module including an unillustrated communication antenna and the like, and is configured to be capable of wireless communication with an external center server 20.
  • the current position estimation unit 15 includes a positioning antenna (not shown) such as a GPS (Global Positioning System), an acceleration sensor, and a vehicle speed sensor.
  • the current position estimation unit 15 is based on various information such as a signal received from a positioning satellite via a positioning antenna, the acceleration of the vehicle 11 detected by an acceleration sensor, and the traveling speed of the vehicle 11 detected by a vehicle speed sensor.
  • the control unit 12 is configured to be able to add the current position information estimated by the current position estimation unit 15 to the image data obtained by the image pickup unit 13. That is, the control unit 12 is configured to be able to add to the image data obtained by the image pickup unit 13 position information indicating the position at which the image was picked up.
  • control unit 12 virtually realizes the lane extraction unit 31 and the lane position information output unit 32 by software by executing the control program.
  • the lane position information output device 10 may be configured to implement various processing units such as the lane extraction unit 31 and the lane position information output unit 32 by hardware, or may be configured by a combination of software and hardware. Good.
  • the lane extracting unit 31 extracts a “lane” from the image by performing a known image analysis process on the image captured by the image capturing unit 13. Specifically, the lane position information output device 10 stores a plurality of types of lane pattern data representing lanes in advance, and the lane extraction unit 31 uses the image data obtained by the image capturing unit 13 and a plurality of types of lane pattern data. By matching and, the “lane” can be extracted from the image captured by the image capturing unit 13.
  • the lane position information output unit 32 generates lane position information indicating the position of the lane extracted by the lane extraction unit 31 from the image. Specifically, as illustrated in FIG. 2, the lane position information output unit 32 sets the reference position K in the image G obtained by the image pickup unit 13. In this case, the lane position information output unit 32 sets the center position of the image G obtained by the imaging unit 13 in the left-right direction as the reference position K.
  • the lane position information output unit 32 generates lane position information indicating the position of the lane extracted by the lane extraction unit 31 with reference to the set reference position K.
  • the lane position information output unit 32 generates the lane position information P1 and P2 for each of the plurality of lanes L1 and L2 with the center position K as a reference.
  • the image data obtained by the image capturing unit 13 may be added with the current position information estimated by the current position estimating unit 15, in other words, the position information indicating the position where the image is captured. it can. Therefore, by reflecting the current position information on the image data obtained by the image pickup unit 13, the position coordinates of the reference position K, and by extension, the lane position information P generated with the reference position K as a reference, are displayed on the actual road. It can be associated with the set coordinate system or the coordinate system set on the map data.
  • the lane position information output unit 32 outputs the generated lane position information P.
  • the lane position information output unit 32 is configured to output the generated lane position information P to the center server 20 via the communication unit 14. Further, the lane position information output unit 32 generates and outputs the lane position information P for each of the plurality of image data obtained by the imaging unit 13. Therefore, the center server 20 is configured to store a plurality of lane position information P generated from a plurality of images obtained by the imaging unit 13 at any time. Further, the lane position information output unit 32 adds the current position information estimated by the current position estimation unit 15 to the lane position information P output to the center server 20.
  • the center server 20 includes a map generation unit 21, a communication unit 22, and the like.
  • the communication unit 22 is composed of, for example, a communication module including a communication antenna (not shown), and is configured to be capable of wireless communication with an external lane position information output device 10.
  • the center server 20 receives the lane position information P output from the lane position information output device 10 via the communication unit 22 and provides it to the map generation unit 21.
  • the map generator 21 is mainly composed of, for example, a server computer, and generates a so-called lane map based on a plurality of lane position information P obtained from the lane position information output device 10.
  • the lane map is a map showing the traveling lanes of vehicles provided on the road.
  • the center server 20 arranges a plurality of lane position information P obtained from the lane position information output device 10 based on the position information. Then, the center server 20 forms a traveling lane by combining the plurality of lane position information P. In the example shown in FIG. 3, a plurality of linear lanes, in this case, a plurality of travel lanes L1, L2, L3 formed of three lane position information groups PG1, PG2, PG3 are formed. Then, the center server 20 generates a lane map that reflects the formed traveling lane L on the road. Then, the center server 20 generates lane map data that reproduces the generated lane map.
  • the lane position information output device 10 and the center server 20 build a lane map generation system 40 that generates a lane map.
  • a part of control example in the lane map generation system 40 that is, a control example when the lane position information output device 10 outputs the lane position information P to the center server 20 will be described.
  • the control unit 12 of the lane position information output device 10 executes the image capturing process by the image capturing unit 13 (A1), and then executes the current position estimating process by the current position estimating unit 15 (A2).
  • the current position information is added to the image data obtained by the image pickup unit 13.
  • the control unit 12 executes a lane extraction process for extracting a "lane” by performing a known image analysis process on the image data obtained by the image pickup unit 13 (A3).
  • the control unit 12 confirms whether or not the well-known lane keeping function of the vehicle 11 is turned off (A4).
  • the lane keeping function is a function of causing the vehicle 11 to travel along a traveling lane provided on the road, in other words, a function of causing the vehicle 11 to travel without departing from the traveling lane.
  • the lane keeping function may be switched on/off in accordance with, for example, a manual operation by the driver, or a main control unit (not shown) that controls the overall operation of the vehicle 11 may be used depending on the traveling condition of the vehicle 11. It may be configured to automatically switch over, or a configuration in which both configurations are combined.
  • the control unit 12 confirms whether or not the “lane” is extracted from the image in the lane extraction process of step A3 (A5).
  • the control unit 12 generates lane position information P indicating the position of the lane (A6).
  • the control unit 12 transmits the generated lane position information P to the center server 20 (A7).
  • the control unit 12 may attach the current position information obtained in step A2 to the lane position information P transmitted to the center server 20.
  • control unit 12 performs a well-known image analysis process on the image data obtained in step A1 to detect a predetermined portion of the image. In this case, it is confirmed whether or not there is a lane at the center position of the image in which the reference position K is set (A8). When the lane does not exist at the reference position K (A8: NO), the control unit 12 proceeds to step A6.
  • the control unit 12 transmits the output impossible information to the center server 20 (A9).
  • the unoutputtable information is information indicating that the lane position information P cannot be output, or that it is preferable not to output the lane position information P.
  • the presence of a lane in the center of the image in which the reference position K is set means that the vehicle 11 is likely to cross the driving lane L2 due to, for example, a lane change, as illustrated in FIG.
  • the control unit 12 scans the image from the center of the image in which the reference position K is set toward the left and right ends. It is configured. Then, in the process of this scan, the control unit 12 changes the lane to a point where the pixel value is low, that is, a portion corresponding to the asphalt other than the lane of the road, is high, that is, a point corresponding to the lane. Is determined as the end portion in the width direction.
  • the control unit 12 cannot determine the widthwise end of the center lane of this image, and therefore cannot recognize the existence of this lane. That is, in the example shown in FIG. 5, the traveling lane L2 existing in the center of the image cannot be recognized or becomes difficult. Then, the lane position information P2 for the traveling lane L2 cannot be output accurately or becomes difficult.
  • the control unit 12 may, in this way, output the lane position information P inaccurately, that is, in the situation where the lane overlaps the reference position K or the reference position K, the lane position information P Instead of outputting P, instead of this, output impossible information indicating that the lane position information P cannot be output is output.
  • the output disable information should include output disable reason information indicating the reason why the lane position information P cannot be output, in this case, the reference position K or a specific reason that the lane overlaps around the reference position K. You can
  • the control unit 12 determines the situation determination process based on the image analysis information (A10) and based on the vehicle information.
  • a situation determination process (A11) is executed.
  • the execution order of the situation determination process (A10) based on the image analysis information and the situation determination process (A11) based on the vehicle information may be appropriately changed, or both processes may be performed simultaneously.
  • the control unit 12 performs well-known image analysis processing on the image obtained in step A1 to determine whether rain or snow appears in the image.
  • (B1) whether the wiper of the oncoming vehicle shown in the image is rotating (B2), whether fog is shown in the image (B3), or whether the road shown in the image is wet.
  • (B4) whether snow is recognized on the road shown in the image (B5), whether a preceding vehicle or an obstacle is shown in the image (B6), dirt attached to the lens of the camera is shown in the image.
  • the determination processing of these steps B1 to B7 can be realized by applying a well-known image analysis processing. Further, when a moving image is obtained by the image capturing unit 13, it is possible to make a more accurate determination by analyzing the moving image.
  • the control unit 12 sets the rain/snow flag (B8). Further, when the control unit 12 determines that the wiper of the oncoming vehicle shown in the image is rotating (B2: YES), the oncoming vehicle wiper flag is set (B9). In addition, when the control unit 12 determines that fog is reflected in the image (B3: YES), the fog flag is set (B10). Further, when it is determined that the road shown in the image is wet (B4: YES), the control unit 12 sets the road wet flag (B11).
  • the control unit 12 sets the road snow flag (B12). Further, when it is determined that the preceding vehicle and the obstacle are reflected in the image (B6: YES), the control unit 12 sets the preceding vehicle/obstacle flag (B13). Further, when it is determined that the dirt attached to the lens of the camera is reflected in the image (B7: YES), the control unit 12 sets the dirt flag (B14).
  • the control unit 12 determines whether the wiper of the vehicle 11 is operating (C1) and the road on which the vehicle 11 is running is frozen. Whether the vehicle is traveling (C2), whether the road on which the vehicle 11 is traveling is exposed to sunlight (C3), or whether the road on which the vehicle 11 is traveling is congested (C4). Check. Whether or not the wiper of the vehicle 11 is operating can be confirmed, for example, based on the operating state of an actuator that drives the wiper of the vehicle 11.
  • Whether or not the road on which the vehicle 11 is traveling is frozen is determined by, for example, the antilock brake system (ABS) provided in the vehicle 11, the vehicle safety control system (VSC: Vehicle Stability Control), or the like. It can be confirmed based on the operation status of the traveling control system. Whether or not the road on which the vehicle 11 is traveling is exposed to sunlight can be confirmed, for example, based on the detection status of a solar radiation sensor (not shown) provided in the vehicle 11. Whether or not a traffic jam is occurring on the road on which the vehicle 11 is traveling can be confirmed, for example, based on the detection status of a vehicle speed sensor provided in the vehicle 11.
  • ABS antilock brake system
  • VSC Vehicle Stability Control
  • the control unit 12 determines that the wiper of the vehicle 11 is operating (C1: YES)
  • the control unit 12 sets the own vehicle wiper flag (C5). Further, when it is determined that the road on which the vehicle 11 is traveling is frozen (C2: YES), the control unit 12 sets the road freeze flag (C6).
  • the control unit 12 determines that the road on which the vehicle 11 is traveling is exposed to sunlight (C3: YES)
  • the control unit 12 sets the solar radiation flag (C7). Further, when the control unit 12 determines that the traffic congestion is occurring on the road on which the vehicle 11 is traveling (C4: YES), the traffic congestion flag is set (C8).
  • the control unit 12 transmits the unextractable information to the center server 20 ( A12).
  • the unextractable information is information indicating that the lane cannot be extracted from the image data obtained by the imaging unit 13 or that it is difficult.
  • the control unit 12 does not output the lane position information P in such a situation where it is difficult to extract the lane from the image, and instead, the unextractable information indicating that the lane cannot be extracted. Is output.
  • the unextractable information includes unextractable reason information indicating a specific reason why the lane cannot be extracted from the image, for example, rain or snow is reflected in the image, or the wiper of the vehicle 11 is operating. It may be included.
  • the reason why extraction is not possible can be specified based on the setting status of the plurality of types of flags described above.
  • the lane position information output device 10 for example, when the lane does not exist in the center of the image captured by the image capturing unit 13, the lane keeping function of causing the vehicle 11 to travel along the traveling lane is turned off.
  • the lane position information P is output only when the lane is accurately displayed in the image captured by the imaging unit 13, for example.
  • a more accurate lane map can be generated based on the lane position information P output in a predetermined case where the lane accurately appears in the image captured by the image capturing unit 13. That is, the lane position information output device 10 according to the present embodiment can output the lane position information P for generating a more accurate lane map.
  • the unextractable information indicating that the lane cannot be extracted is output.
  • the reason is positive. Can be shown. Further, by positively indicating the reason why the lane cannot be extracted from the image, it can be clearly distinguished from the case where the lane is not extracted because the lane does not exist in the image.
  • the present disclosure is not limited to the above-described embodiment, and various modifications and expansions can be made without departing from the gist thereof.
  • the present disclosure is applicable not only when the vehicle 11 changes lanes but also when the vehicle 11 crosses the lane, for example, to avoid a parked vehicle on the roadside, to avoid an obstacle in front of the traveling direction, It can be applied in situations where lanes are crossed to avoid.
  • the mounting position of the imaging unit 13 on the vehicle 11 may be the central portion in the width direction of the vehicle 11 or another position.
  • the set position of the reference position K may be appropriately adjusted according to the mounting position of the imaging unit 13 in the vehicle 11.
  • the lane position information output device 10 may include a component corresponding to the map generation unit 21 of the center server 20. That is, the lane position information output device 10 alone may perform a series of controls including extraction of a lane from an image, specification of the position of the extracted lane, and generation of a lane map based on the specified lane position.
  • control unit and the method thereof described in the present disclosure are achieved by a dedicated computer provided by configuring a processor and a memory programmed to execute one or more functions embodied by a computer program. , May be realized.
  • control unit and the method described in the present disclosure may be realized by a dedicated computer provided by configuring a processor with one or more dedicated hardware logic circuits.
  • control unit and the method thereof described in the present disclosure are based on a combination of a processor and a memory programmed to execute one or more functions and a processor configured by one or more hardware logic circuits. It may be implemented by one or more dedicated computers configured.
  • the computer program may be stored in a computer-readable non-transition tangible recording medium as an instruction executed by a computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)

Abstract

車線位置情報出力装置10は、車両の周辺を撮像する撮像部(13)と、前記撮像部が撮像する画像から車線を抽出する車線抽出部(31)と、前記車線抽出部が抽出する車線の位置を示す車線位置情報を出力する車線位置情報出力部(32)と、を備え、前記車線位置情報出力部は、前記撮像部が撮像する画像に車線が正確に表れる所定の場合に前記車線位置情報を出力する。

Description

車線位置情報出力装置 関連出願の相互参照
 本出願は、2018年11月27日に出願された日本出願番号2018-221301号に基づくもので、ここにその記載内容を援用する。
 本開示は、車両の走行レーンを表すレーン地図を生成するための車線位置情報を出力する車線位置情報出力装置に関する。
 例えば特許文献1には、車載カメラにより車両の周辺を撮像し、得られた画像から車線の位置情報を生成し、生成した車線の位置情報に基づき、車両の走行レーンを表すレーン地図を生成する技術が開示されている。
特許第6197393号公報
 ところで、例えば車両が車線変更を行うような場合には、車両の真下に車線が位置した状態を経由することになる。つまり、車両が車線を跨ぐ状態を経由することになる。そして、このような状態では、画像内において車線の位置を特定する際の基準位置と車両の真下に位置する車線とが重なる可能性があり、このような場合には、複数の車線の位置情報を正確に特定することが困難となる。そして、このような不正確な車線位置情報に基づきレーン地図を生成したとしても、正確なレーン地図を生成することは困難である。
 そこで、より正確なレーン地図を生成するための車線位置情報を出力できるようにした車線位置情報出力装置を提供する。
 本開示の一態様において、車線位置情報出力装置は、車両の周辺を撮像する撮像部と、撮像部が撮像する画像から車線を抽出する車線抽出部と、車線抽出部が抽出する車線の位置を示す車線位置情報を出力する車線位置情報出力部と、を備えている。車線位置情報出力部は、撮像部が撮像する画像に車線が正確に表れる所定の場合に車線位置情報を出力する。
 この構成によれば、撮像部が撮像する画像に車線が正確に表れる所定の場合に車線位置情報が出力されるため、この車線位置情報に基づけば、より正確なレーン地図を生成することができる。即ち、本開示に係る車線位置情報出力装置によれば、より正確なレーン地図を生成するための車線位置情報を出力することができる。
 本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図1は、本実施形態に係る車線位置情報出力装置、センターサーバ、レーン地図生成システムの構成例を概略的に示す図であり、 図2は、本実施形態に係る撮像部により撮像される画像の一例を概略的に示す図であり、 図3は、本実施形態に係るレーン地図の生成例を概略的に示す図であり、 図4は、本実施形態に係る車線位置情報出力装置の動作例を概略的に示すフローチャートであり、 図5は、本実施形態に係る車線位置情報を正確に出力できない状況例を概略的に示す図であり、 図6は、本実施形態に係る画像解析情報に基づく状況判定処理の一例を示すフローチャートであり、 図7は、本実施形態に係る車両情報に基づく状況判定処理の一例を示すフローチャートである。
 以下、車線位置情報出力装置に係る一実施形態について図面を参照しながら説明する。図1に例示する車線位置情報出力装置10は、例えば車両11などの移動体に搭載されるものであり、制御部12、撮像部13、通信部14、現在位置推定部15などを備えている。制御部12は、例えばマイクロコンピュータやメモリなどを主体として構成されており、制御プログラムに基づき車線位置情報出力装置10の動作全般を制御する。撮像部13は、例えば車両11に搭載される車載カメラで構成されており、車両11の周辺、この場合、少なくとも車両11の走行方向前方を撮像可能に構成されている。通信部14は、例えば、図示しない通信用アンテナなどを備える通信モジュールで構成されており、外部のセンターサーバ20に無線通信可能に構成されている。
 現在位置推定部15は、例えばGPSアンテナ(GPS:Global Positioning System)などの図示しない測位用アンテナ、加速度センサ、車速センサなどを備えている。現在位置推定部15は、測位用衛星から測位用アンテナを介して受信する信号、加速度センサにより検知される車両11の加速度、車速センサにより検知される車両11の走行速度などの各種の情報に基づいて、車両11の現在位置を推定可能に構成されている。また、制御部12は、撮像部13により得られる画像データに、現在位置推定部15により推定される現在位置情報を付加可能に構成されている。つまり、制御部12は、撮像部13により得られる画像データに、その画像が撮像された位置を示す位置情報を付加可能に構成されている。
 また、制御部12は、制御プログラムを実行することにより、車線抽出部31、車線位置情報出力部32をソフトウェアにより仮想的に実現する。なお、車線位置情報出力装置10は、車線抽出部31、車線位置情報出力部32などの各種の処理部をハードウェアにより実現する構成としてもよいし、ソフトウェアとハードウェアの組み合わせにより実現する構成としてもよい。
 車線抽出部31は、撮像部13が撮像する画像に周知の画像解析処理を施すことにより、当該画像から「車線」を抽出する。具体的には、車線位置情報出力装置10は、車線を表す複数種類の車線パターンデータを予め格納しており、車線抽出部31は、撮像部13により得られる画像データと複数種類の車線パターンデータとをマッチングさせることにより、撮像部13が撮像する画像から「車線」を抽出可能となっている。
 車線位置情報出力部32は、車線抽出部31が画像から抽出する車線の位置を示す車線位置情報を生成する。具体的には、図2に例示するように、車線位置情報出力部32は、撮像部13により得られた画像G内に基準位置Kを設定する。この場合、車線位置情報出力部32は、撮像部13により得られた画像Gの左右方向の中央位置を基準位置Kとして設定する。
 そして、車線位置情報出力部32は、設定した基準位置Kを基準として、車線抽出部31が抽出した車線の位置を示す車線位置情報を生成する。図2に例示する画像Gにおいては、複数、この場合、2つの車線L1,L2が存在している。そのため、車線位置情報出力部32は、複数の車線L1,L2について、それぞれ中央位置Kを基準として車線位置情報P1,P2を生成する。
 なお、上述した通り、撮像部13により得られる画像データには、現在位置推定部15より推定された現在位置情報、換言すれば、その画像が撮像された位置を示す位置情報を付加することができる。そのため、撮像部13により得られる画像データに現在位置情報を反映させることにより、基準位置Kの位置座標、ひいては、この基準位置Kを基準として生成される車線位置情報Pを、実際の道路上に設定されている座標系、あるいは、地図データ上で設定されている座標系に対応付けることができる。
 そして、車線位置情報出力部32は、生成した車線位置情報Pを出力する。この場合、車線位置情報出力部32は、生成した車線位置情報Pを、通信部14を介してセンターサーバ20に出力するように構成されている。また、車線位置情報出力部32は、撮像部13により得られる複数の画像データについて、それぞれ車線位置情報Pを生成して出力する。よって、センターサーバ20には、撮像部13によって随時得られる複数の画像から生成される複数の車線位置情報Pが蓄積されるようになっている。また、車線位置情報出力部32は、センターサーバ20に出力する車線位置情報Pに、現在位置推定部15が推定した現在位置情報を付加する。
 次に、センターサーバ20の構成例について説明する。図1に例示するように、センターサーバ20は、地図生成部21、通信部22などを備えている。通信部22は、例えば、図示しない通信用アンテナなどを備える通信モジュールで構成されており、外部の車線位置情報出力装置10に無線通信可能に構成されている。センターサーバ20は、車線位置情報出力装置10から出力される車線位置情報Pを、通信部22を介して受信して地図生成部21に提供する。地図生成部21は、例えばサーバコンピュータなどを主体として構成されており、車線位置情報出力装置10から得られる複数の車線位置情報Pに基づいて、いわゆるレーン地図を生成する。レーン地図は、道路上に設けられている車両の走行レーンを表す地図である。
 ここで、レーン地図の生成例について説明する。図3に例示するように、センターサーバ20は、車線位置情報出力装置10から得られる複数の車線位置情報Pを、その位置情報に基づき配置する。そして、センターサーバ20は、これら複数の車線位置情報Pを合成することにより、走行レーンを形成する。図3に示す例では、線状に並ぶ複数、この場合、3つの車線位置情報群PG1,PG2,PG3からなる複数の走行レーンL1,L2,L3が形成されている。そして、センターサーバ20は、形成した走行レーンLを道路上に反映したレーン地図を生成する。そして、センターサーバ20は、生成したレーン地図を再現するレーン地図データを生成する。
 車線位置情報出力装置10は、センターサーバ20とともに、レーン地図を生成するレーン地図生成システム40を構築している。次に、このレーン地図生成システム40における一部の制御例、つまり、車線位置情報出力装置10からセンターサーバ20に車線位置情報Pを出力する場合の制御例について説明する。
 図4に例示するように、車線位置情報出力装置10の制御部12は、撮像部13による撮像処理を実行すると(A1)、現在位置推定部15による現在位置推定処理を実行して(A2)、撮像部13により得られた画像データに現在位置情報を付加する。そして、制御部12は、撮像部13により得られた画像データに周知の画像解析処理を施すことにより「車線」を抽出する車線抽出処理を実行する(A3)。
 制御部12は、画像からの車線抽出処理を完了すると、車両11が備える周知のレーンキープ機能がオフされているか否かを確認する(A4)。レーンキープ機能は、道路上に設けられている走行レーンに沿って車両11を走行させる機能、換言すれば、車両11を走行レーンから外れないように走行させる機能である。このレーンキープ機能のオン/オフの切り換えは、例えば、運転者の手動操作に応じて切り換える構成としてもよいし、車両11の動作全般を制御する図示しないメイン制御部により車両11の走行状況に応じて自動的に切り換える構成としてもよいし、両構成を組み合わせた構成としてもよい。
 制御部12は、レーンキープ機能がオンされている場合(A4:NO)には、ステップA3の車線抽出処理において画像から「車線」が抽出されたか否かを確認する(A5)。制御部12は、画像から「車線」が抽出されている場合(A5:YES)には、その車線の位置を示す車線位置情報Pを生成する(A6)。そして、制御部12は、生成した車線位置情報Pをセンターサーバ20に送信する(A7)。このとき、制御部12は、センターサーバ20に送信する車線位置情報Pに、ステップA2により得られた現在位置情報を添付するようにするとよい。
 また、制御部12は、レーンキープ機能がオフされている場合(A4:YES)には、ステップA1により得られた画像データに周知の画像解析処理を施すことにより、当該画像の所定部位、この場合、基準位置Kが設定されている画像の中央位置に車線が存在しないか否かを確認する(A8)。制御部12は、基準位置Kに車線が存在しない場合(A8:NO)には、ステップA6に移行する。
 また、制御部12は、基準位置Kに車線が存在する場合(A8:YES)には、出力不能情報をセンターサーバ20に送信する(A9)。出力不能情報は、車線位置情報Pを出力できないこと、あるいは、出力しない方が好ましいことを示す情報である。
 基準位置Kが設定されている画像の中央に車線が存在するということは、図5に例示するように、例えば車線変更などにより車両11が走行レーンL2を跨いでいる可能性が高い。このような場合、走行レーンL2に重なる基準位置Kを基準として、走行レーンL2を除いて左右の走行レーンL1,L3の車線位置情報P1,P3のみが出力されてしまう可能性があり、つまり、走行レーンL2の車線位置情報P2が出力されない可能性があり、複数の走行レーンL1,L2,L3の全てについて車線位置情報P1,P2,P3を正確に出力することが困難となるおそれがある。
 より詳細に説明すると、本実施形態に係る車線位置情報出力装置10によれば、制御部12は、基準位置Kが設定されている画像の中央から左右の両端に向かって画像をスキャンするように構成されている。そして、制御部12は、このスキャンの過程において、画素の値が低い状態、つまり、道路の車線以外のアスファルトに対応する部分から、高い状態、つまり、車線に対応する部分に変化するポイントを車線の幅方向の端部として判定するように構成されている。
 そのため、画像の基準位置K、この場合、画像の中央部に車線が存在する場合には、基準位置Kに車線が重なっている状態となり、この基準位置Kから左右の両端に向かって画像をスキャンしていったとしても、その中央の車線については、画素の値が、高い状態から低い状態に変化するポイントは存在するにしても、低い状態から高い状態に変化するポイントが存在しないことになる。そのため、制御部12は、この画像の中央の車線の幅方向の端部を判定することができず、従って、この車線の存在を認識することができない。つまり、図5に示す例では、画像の中央に存在する走行レーンL2を認識することができない、あるいは、困難となるのである。そして、走行レーンL2について車線位置情報P2を正確に出力することができない、あるいは、困難となるのである。
 そのため、制御部12は、このように、出力される車線位置情報Pが不正確となるおそれがある状況、つまり、基準位置Kあるいは基準位置Kの周辺に車線が重なる状況においては、車線位置情報Pを出力しないようにし、これに代えて、車線位置情報Pを出力できないことを示す出力不能情報を出力する。なお、この出力不能情報には、車線位置情報Pを出力できない理由、この場合、基準位置Kあるいは基準位置Kの周辺に車線が重なっているといった具体的な理由を示す出力不能理由情報を含めるようにしてもよい。
 また、図4に例示するように、制御部12は、画像から「車線」が抽出されていない場合(A5:NO)には、画像解析情報に基づく状況判定処理(A10)、車両情報に基づく状況判定処理(A11)を実行する。なお、画像解析情報に基づく状況判定処理(A10)、車両情報に基づく状況判定処理(A11)の実行順は、適宜変更してもよいし、両処理を同時に実行してもよい。
 図6に例示するように、画像解析情報に基づく状況判定処理では、制御部12は、ステップA1で得られた画像に周知の画像解析処理を施すことにより、画像に雨や雪が映っているか否か(B1)、画像に映っている対向車のワイパーが回動しているか否か(B2)、画像に霧が映っているか否か(B3)、画像に映っている道路が濡れているか否か(B4)、画像に映っている道路に積雪が認められるか否か(B5)、画像に先行車や障害物が映っているか否か(B6)、カメラのレンズに付着した汚れが画像に映っているか否か(B7)を確認する。なお、これらステップB1~B7の判定処理は、周知の画像解析処理を適用することにより実現することができる。また、撮像部13により動画が得られる場合には、その動画を解析することにより、一層精度の良い判定を行うことができる。
 制御部12は、画像に雨や雪が映っていると判定した場合(B1:YES)には、雨・雪フラグをセットする(B8)。また、制御部12は、画像に映っている対向車のワイパーが回動していると判定した場合(B2:YES)には、対向車ワイパーフラグをセットする(B9)。また、制御部12は、画像に霧が映っていると判定した場合(B3:YES)には、霧フラグをセットする(B10)。また、制御部12は、画像に映っている道路が濡れていると判定した場合(B4:YES)には、道路ウェットフラグをセットする(B11)。また、制御部12は、画像に映っている道路に積雪が認められると判定した場合(B5:YES)には、道路積雪フラグをセットする(B12)。また、制御部12は、画像に先行車や障害物が映っていると判定した場合(B6:YES)には、先行車・障害物フラグをセットする(B13)。また、制御部12は、カメラのレンズに付着した汚れが画像に映っていると判定した場合(B7:YES)には、汚れフラグをセットする(B14)。
 また、図7に例示するように、車両情報に基づく状況判定処理では、制御部12は、車両11のワイパーが作動しているか否か(C1)、車両11が走行している道路が凍結しているか否か(C2)、車両11が走行している道路に日光が照射されているか否か(C3)、車両11が走行している道路で渋滞が発生しているか否か(C4)を確認する。車両11のワイパーが作動しているか否かは、例えば、車両11のワイパーを駆動するアクチュエータの動作状況に基づき確認することができる。車両11が走行している道路が凍結しているか否かは、例えば、車両11に備えられているアンチロックブレーキシステム(ABS:Antilock Brake System)、車両安全制御システム(VSC:Vehicle Stability Control)などの走行制御系のシステムの動作状況に基づき確認することができる。車両11が走行している道路に日光が照射されているか否かは、例えば、車両11に備えられている図示しない日射センサの検知状況に基づき確認することができる。車両11が走行している道路で渋滞が発生しているか否かは、例えば、車両11に備えられている車速センサの検知状況に基づき確認することができる。
 制御部12は、車両11のワイパーが作動していると判定した場合(C1:YES)には、自車ワイパーフラグをセットする(C5)。また、制御部12は、車両11が走行している道路が凍結していると判定した場合(C2:YES)には、道路凍結フラグをセットする(C6)。また、制御部12は、車両11が走行している道路に日光が照射されていると判定した場合(C3:YES)には、日射フラグをセットする(C7)。また、制御部12は、車両11が走行している道路で渋滞が発生していると判定した場合(C4:YES)には、渋滞フラグをセットする(C8)。
 図4に例示するように、制御部12は、画像解析情報に基づく状況判定処理(A10)、車両情報に基づく状況判定処理(A11)を完了すると、抽出不能情報をセンターサーバ20に送信する(A12)。抽出不能情報は、撮像部13により得られた画像データから車線を抽出できないこと、あるいは、困難であることを示す情報である。
 画像解析情報に基づく状況判定処理(A10)における複数の判定項目(ステップB1~B7)の少なくとも何れか1つにおいて肯定判定がなされる場合、車両情報に基づく状況判定処理(A11)における複数の判定項目(ステップC1~C4)の少なくとも何れか1つにおいて肯定判定がなされる場合には、撮像部13により得られた画像データから車線を抽出することが困難となる可能性が高い。そのため、制御部12は、このように画像から車線を抽出することが困難となる状況においては、車線位置情報Pを出力しないようにし、これに代えて、車線を抽出できないことを示す抽出不能情報を出力する。なお、この抽出不能情報には、画像から車線を抽出できない理由、例えば、画像に雨や雪が映っている、車両11のワイパーが作動している、といった具体的な理由を示す抽出不能理由情報を含めるようにしてもよい。抽出不能理由は、上述した複数種類のフラグのセット状況に基づき特定することができる。
 本実施形態に係る車線位置情報出力装置10によれば、例えば、撮像部13が撮像する画像の中央に車線が存在しない場合、車両11を走行レーンに沿って走行させるレーンキープ機能がオフされている場合など、つまり、撮像部13が撮像する画像に車線が正確に表れる所定の場合に限って車線位置情報Pを出力するように構成した。撮像部13が撮像する画像に車線が正確に表れる所定の場合に出力される車線位置情報Pに基づけば、より正確なレーン地図を生成することができる。即ち、本実施形態に係る車線位置情報出力装置10によれば、より正確なレーン地図を生成するための車線位置情報Pを出力することができる。
 また、車線位置情報出力装置10によれば、撮像部13が撮像する画像から車線を抽出できない場合には、車線を抽出できないことを示す抽出不能情報を出力する。この構成によれば、撮像部13が撮像する画像から車線を抽出できない場合、つまり、画像内に車線が存在しているにも関わらず何らかの理由によりその車線を抽出できない場合に、その理由を積極的に示すことができる。また、画像から車線を抽出することができない理由を積極的に示すことにより、そもそも画像内に車線が存在していないから車線が抽出されない場合と明確に区別することができる。
 なお、本開示は、上述した一実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の変形や拡張を行うことができる。例えば、本開示は、車両11が車線変更する場合だけでなく、車両11が車線を跨ぐような状況、例えば、路側の駐車車両を避けるため、走行方向前方の障害物を避けるため、工事現場を避けるために車線を跨ぐ状況において適用することができる。
 また、車両11における撮像部13の搭載位置は、車両11の幅方向の中央部であってもよいし、その他の位置であってもよい。また、車両11における撮像部13の搭載位置に応じて、基準位置Kの設定位置を適宜調整するようにするとよい。
 車線位置情報出力装置10は、センターサーバ20の地図生成部21に相当する構成要素を備えてもよい。つまり、車線位置情報出力装置10単体で、画像からの車線の抽出、抽出した車線の位置の特定、特定した車線位置に基づくレーン地図の生成を含む一連の制御を行うようにしてもよい。
 なお、本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
 また、本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
 

Claims (4)

  1.  車両の周辺を撮像する撮像部(13)と、
     前記撮像部が撮像する画像から車線を抽出する車線抽出部(31)と、
     前記車線抽出部が抽出する車線の位置を示す車線位置情報を出力する車線位置情報出力部(32)と、
    を備え、
     前記車線位置情報出力部は、前記撮像部が撮像する画像に車線が正確に表れる所定の場合に前記車線位置情報を出力する車線位置情報出力装置。
  2.  前記所定の場合は、前記撮像部が撮像する画像の中央に車線が存在しない場合である請求項1に記載の車線位置情報出力装置。
  3.  前記所定の場合は、車両を走行レーンに沿って走行させるレーンキープ機能がオフされている場合である請求項1または2に記載の車線位置情報出力装置。
  4.  前記車線抽出部は、前記撮像部が撮像する画像から車線を抽出できない場合に、車線を抽出できないことを示す抽出不能情報を出力する請求項1から3の何れか1項に記載の車線位置情報出力装置。
     
PCT/JP2019/044704 2018-11-27 2019-11-14 車線位置情報出力装置 WO2020110751A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112019005899.1T DE112019005899T5 (de) 2018-11-27 2019-11-14 Fahrspurpositionsinformation-Ausgabevorrichtung
US17/211,275 US20210209947A1 (en) 2018-11-27 2021-03-24 Traffic lane position information output device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-221301 2018-11-27
JP2018221301A JP2020087001A (ja) 2018-11-27 2018-11-27 車線位置情報出力装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/211,275 Continuation US20210209947A1 (en) 2018-11-27 2021-03-24 Traffic lane position information output device

Publications (1)

Publication Number Publication Date
WO2020110751A1 true WO2020110751A1 (ja) 2020-06-04

Family

ID=70853194

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/044704 WO2020110751A1 (ja) 2018-11-27 2019-11-14 車線位置情報出力装置

Country Status (4)

Country Link
US (1) US20210209947A1 (ja)
JP (1) JP2020087001A (ja)
DE (1) DE112019005899T5 (ja)
WO (1) WO2020110751A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9253753B2 (en) * 2012-04-24 2016-02-02 Zetta Research And Development Llc-Forc Series Vehicle-to-vehicle safety transceiver using time slots

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006315491A (ja) * 2005-05-11 2006-11-24 Toyota Motor Corp 車両用走行制御装置
JP2007241468A (ja) * 2006-03-06 2007-09-20 Toyota Motor Corp 車線変更検出装置
JP2017198566A (ja) * 2016-04-28 2017-11-02 日立オートモティブシステムズ株式会社 レーンマーカ認識装置、自車両位置推定装置
JP2017533482A (ja) * 2015-09-10 2017-11-09 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 車線データの処理方法、装置、記憶媒体及び機器

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101472615B1 (ko) * 2010-12-21 2014-12-16 삼성전기주식회사 차선이탈 경보 시스템 및 방법
JP6197393B2 (ja) 2013-06-20 2017-09-20 株式会社豊田中央研究所 レーン地図生成装置及びプログラム
JP6264338B2 (ja) * 2015-08-07 2018-01-24 トヨタ自動車株式会社 車線維持支援装置
US10275666B2 (en) * 2016-03-24 2019-04-30 Nissan Motor Co., Ltd. Travel lane detection method and travel lane detection device
CN106407893B (zh) * 2016-08-29 2019-11-22 东软集团股份有限公司 一种检测车道线的方法、装置和设备
CN109086650B (zh) * 2017-06-14 2022-04-12 现代摩比斯株式会社 校准方法和校准设备
JP6548129B2 (ja) * 2017-09-01 2019-07-24 本田技研工業株式会社 車両制御システム、車両制御方法、及びプログラム
CN111587407B (zh) * 2017-11-10 2024-01-23 辉达公司 用于安全且可靠的自主车辆的***和方法
CN111936820A (zh) * 2018-03-30 2020-11-13 丰田自动车欧洲公司 用于调整车辆外部位置信息的***和方法
EP3822582A4 (en) * 2018-07-11 2022-03-09 Nissan Motor Co., Ltd. METHOD FOR GENERATING DRIVING ENVIRONMENTAL INFORMATION, METHOD FOR DRIVING ENVIRONMENTAL INFORMATION, DEVICE FOR GENERATING TRAVELING ENVIRONMENTAL INFORMATION

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006315491A (ja) * 2005-05-11 2006-11-24 Toyota Motor Corp 車両用走行制御装置
JP2007241468A (ja) * 2006-03-06 2007-09-20 Toyota Motor Corp 車線変更検出装置
JP2017533482A (ja) * 2015-09-10 2017-11-09 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 車線データの処理方法、装置、記憶媒体及び機器
JP2017198566A (ja) * 2016-04-28 2017-11-02 日立オートモティブシステムズ株式会社 レーンマーカ認識装置、自車両位置推定装置

Also Published As

Publication number Publication date
US20210209947A1 (en) 2021-07-08
JP2020087001A (ja) 2020-06-04
DE112019005899T5 (de) 2021-08-12

Similar Documents

Publication Publication Date Title
JP7130505B2 (ja) 道路の曲率データ無しでの進行レーン識別
JP6795618B2 (ja) 車両周辺情報取得装置および車両
JP7074438B2 (ja) 自車位置推定装置
US7050908B1 (en) Lane marker projection method for a motor vehicle vision system
US11308717B2 (en) Object detection device and object detection method
JP7518893B2 (ja) 緊急車両の検出
US11318930B2 (en) Parking assistance device and parking assistance method
US10754335B2 (en) Automated driving system
US10803307B2 (en) Vehicle control apparatus, vehicle, vehicle control method, and storage medium
KR102541560B1 (ko) 객체 인식 방법 및 장치
JP6038422B1 (ja) 車両判定装置、車両判定方法及び車両判定プログラム
JP7414497B2 (ja) 運転支援装置
JP2020003890A (ja) 車両遠隔支援システム
KR20220142590A (ko) 차량 외관의 검출을 위한 전자 장치, 방법, 및 컴퓨터 판독가능 저장 매체
WO2017056724A1 (ja) 周辺認識装置
CN113650607B (zh) 一种低速场景自动驾驶方法、***及汽车
WO2020110751A1 (ja) 車線位置情報出力装置
CN109195849B (zh) 摄像装置
CN113492846B (zh) 控制装置、控制方法以及存储程序的计算机可读取存储介质
US10864856B2 (en) Mobile body surroundings display method and mobile body surroundings display apparatus
RU2706757C1 (ru) Способ и блок управления для заднего обзора
JP2008185554A (ja) 車両用経路案内装置
EP3865815A1 (en) Vehicle-mounted system
CN114868381A (zh) 图像处理装置、图像处理方法以及程序
JP7511788B2 (ja) ヘッドライト制御装置およびヘッドライト制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19891109

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19891109

Country of ref document: EP

Kind code of ref document: A1