RU2683618C1 - System for determination of the actual parameters of a carriageway - Google Patents
System for determination of the actual parameters of a carriageway Download PDFInfo
- Publication number
- RU2683618C1 RU2683618C1 RU2017145153A RU2017145153A RU2683618C1 RU 2683618 C1 RU2683618 C1 RU 2683618C1 RU 2017145153 A RU2017145153 A RU 2017145153A RU 2017145153 A RU2017145153 A RU 2017145153A RU 2683618 C1 RU2683618 C1 RU 2683618C1
- Authority
- RU
- Russia
- Prior art keywords
- module
- carriageway
- determining
- actual parameters
- basis
- Prior art date
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 230000000694 effects Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241000314701 Toxolasma parvus Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
Изобретение относится к области управления дорожным движением и предназначено для распознавания дорожной разметки, формирования виртуальной дорожной сцены при отсутствии достоверно распознаваемой дорожной разметки и информирования водителя о сходе с полосы движения. Основной функцией информирования является предоставление водителю транспортного средства дополнительной информации, необходимой для повышения безопасности передвижения, а также для повышения комфорта и снижения утомляемости водителя.The invention relates to the field of traffic control and is intended for recognition of road markings, the formation of a virtual road scene in the absence of reliably recognizable road markings and for informing the driver of a lane departure. The main function of informing is to provide the driver of the vehicle with additional information necessary to increase the safety of movement, as well as to increase comfort and reduce driver fatigue.
Известна система оценки динамики транспортного средства относительно неподвижных объектов (US 2010017128 A1). Датчик обнаружения неподвижного объекта выбирают из группы, состоящей из радиолокационных устройств, лидарных (LIDAR) устройств, камер и систем наблюдения. Данная система не предназначена для анализа дорожной разметки или формирования виртуальной дорожной разметки.A known system for assessing the dynamics of a vehicle relative to stationary objects (US2010017128 A1). A fixed object detection sensor is selected from the group consisting of radar devices, lidar (LIDAR) devices, cameras and surveillance systems. This system is not intended for the analysis of road markings or the formation of virtual road markings.
Известен способ обнаружения однозначного пути движения транспортного средства (US 8332134 B2), включающий генерирование потока данных, соответствующего трехмерному сканированию целевой области, окружающей транспортное средство, из лидарной системы транспортного средства; оценка текущего местоположения транспортного средства с использованием потока данных, соответствующего трехмерному сканированию целевой области, окружающей транспортное средство; корреляция потока данных, соответствующего трехмерному сканированию целевой области, окружающей транспортное средство, с предустановленными (ранее собранными) данными об исследуемом ландшафте. Действенность данного способа снижается при неблагоприятных погодных условиях и особенно при возникновении временных препятствий, например, при ремонте проезжей части или прилежащих территорий.A known method of detecting a unique path of a vehicle (US 8332134 B2), comprising generating a data stream corresponding to a three-dimensional scan of the target area surrounding the vehicle from the lidar system of the vehicle; estimating the current location of the vehicle using a data stream corresponding to a three-dimensional scan of the target area surrounding the vehicle; correlation of the data stream corresponding to three-dimensional scanning of the target area surrounding the vehicle with predefined (previously collected) data on the investigated landscape. The effectiveness of this method is reduced under adverse weather conditions and especially when temporary obstacles occur, for example, when repairing the roadway or adjacent territories.
В качестве прототипа выбрана система (RU 165235 U1), содержащая модуль визуального представления дорожной сцены, первый и второй модули селекции сигналов изменения направления движения транспортного средства, модуль представления текущего положения транспортного средства, модуль определения величины сигнала коррекции положения транспортного средства, модуль идентификации текущих участков разметки дорожной сцены, модуль памяти, модуль фиксации границ текущих участков дорожной сцены, и модуль интеграции выходных сигналов. Данная система позволяет повысить надежность системы путем идентификации положения транспортного средства относительно линий разметки дорожной сцены и предупреждения водителя о кризисных ситуациях. Модуль визуального представления дорожной сцены включает две камеры и два детектора изображения дорожной разметки. Данная система также малоэффективна при неблагоприятных погодных условиях или при некачественной или поврежденной дорожной разметке.As a prototype, a system (RU 165235 U1) was selected that contains a module for visual representation of the road scene, first and second modules for selecting signals for changing the direction of the vehicle, a module for representing the current position of the vehicle, a module for determining the value of the signal for correcting the position of the vehicle, an identification module for current sections road scene marking, a memory module, a module for fixing the boundaries of the current sections of the road scene, and an output signal integration module. This system allows you to increase the reliability of the system by identifying the position of the vehicle relative to the marking lines of the road scene and warning the driver about crisis situations. The visual representation module for the road scene includes two cameras and two road marking image detectors. This system is also ineffective in adverse weather conditions or with poor or damaged road markings.
Задача, решаемая изобретением - повышение безопасности движения транспортных средств; повышение комфорта и снижения утомляемости водителя. Достигаемый технический результат - формирование виртуальной дорожной сцены при отсутствии достоверно распознаваемой дорожной разметки, в частности, определение границ проезжей части, в случае отсутствия или повреждения дорожной разметки, обнаружение и акцентирование внимание водителя на малоразмерных препятствиях на пути движения, в частности на отрицательных препятствиях.The problem solved by the invention is improving the safety of vehicles; increase comfort and reduce driver fatigue. The technical result achieved is the formation of a virtual road scene in the absence of a reliably recognizable road marking, in particular, determining the boundaries of the carriageway, in the absence or damage of the road marking, detecting and focusing the driver's attention on small-sized obstacles along the way, in particular on negative obstacles.
Указанная задача решается системой определения фактических параметров проезжей части, устанавливаемая на транспортном средстве, содержащей модуль визуального представления разметки края проезжей части (модуль визуального представления дорожной сцены), модуль приема и обработки данных (функционал первого и второго модулей селекции сигналов изменения направления движения транспортного средства, модуля идентификации текущих участков разметки дорожной сцены, модуля фиксации границ текущих участков дорожной сцены, модуля интеграции выходных сигналов) модуль информирования водителя о сходе с полосы движения, в которую, согласно предложению, введен модуль определения фактических параметров проезжей части, выполненный на основе лидара, при этом модуль приема и обработки данных выполнен с возможностью вычислений как на основе данных с каждого из модулей визуального представления разметки края проезжей части или модуля определения фактических параметров проезжей части раздельно или совместно.This problem is solved by a system for determining the actual parameters of the carriageway, installed on a vehicle containing a module for visual representation of the marking of the edge of the carriageway (module for visual representation of the road scene), a module for receiving and processing data (functional of the first and second modules for selecting signals for changing the direction of the vehicle, module for identifying the current sections of the marking of the road scene, module for fixing the boundaries of the current sections of the road scene, module for output signals) a driver informing module about getting off the lane, into which, according to the proposal, a module for determining the actual parameters of the carriageway, made on the basis of the lidar, is introduced, while the data receiving and processing module is configured to calculate as on the basis of data from each of the modules visual representation of the marking of the edge of the carriageway or the module for determining the actual parameters of the carriageway separately or jointly.
Структура системы:System structure:
1. Модуль визуального представления разметки края проезжей части (Модуль 1) состоит из по меньшей мере одной видеокамеры. Видеокамера устанавливается на транспортном средстве таким образом, что в поле зрения попадает линия разметки края проезжей части как с левой, так и с правой стороны движения. Пример возможной для использования камеры: Basler acA1300-60gc (вертикальный диапазон 37°, горизонтальный диапазон 46°).1. The module for the visual representation of the marking of the edge of the roadway (Module 1) consists of at least one video camera. The camcorder is mounted on the vehicle in such a way that the line of marking the edge of the roadway enters the field of view both on the left and on the right side of the movement. An example of a possible camera: Basler acA1300-60gc (vertical range 37 °, horizontal range 46 °).
2. Модуль определения фактических параметров проезжей части (Модуль 2) состоит из лидара. Лидар устанавливается на транспортном средстве таким образом, что в поле его зрения попадает вся проезжая часть и примыкающая к ней область. Пример для использования: Лидар VLP 16 (Получение данных об окружающем пространстве (трехмерное облако точек); 16 лазеров, горизонтальный обзор 360°, вертикальный обзор от +15° до -15° (30°), угловое разрешение 0,1°-0,4° (азимут), разрешение при измерении расстояния ±3 см, частота обновления области обзора 5…2 0 Гц (выбирается пользователем), диапазон измерения до 100 м).2. The module for determining the actual parameters of the roadway (Module 2) consists of a lidar. The lidar is mounted on the vehicle in such a way that the entire roadway and the adjacent area fall into its field of vision. Example for use: Lidar VLP 16 (Obtaining data about the environment (three-dimensional cloud of points); 16 lasers, horizontal 360 °, vertical viewing from + 15 ° to -15 ° (30 °), angular resolution 0.1 ° -0 , 4 ° (azimuth), resolution for measuring distances ± 3 cm, refresh rate of the field of view 5 ... 2 0 Hz (user-selectable), measurement range up to 100 m).
3. Бортовый вычислитель для приема и обработки данных (Модуль 3), поступающих с модулей 1 и 2. Данный модуль представляет из себя малогабаритную вычислительную платформу, представляющую возможность параллельной обработки данных. Пример исполнения - вычислительная платформа Jetson ТХ1:3. On-board computer for receiving and processing data (Module 3) coming from modules 1 and 2. This module is a small-sized computing platform that represents the possibility of parallel data processing. An example of execution is the Jetson TX1 computing platform:
GPU: 1 ТЕРАФЛОП/с 256-ядерный с архитектурой NVIDIA Maxwell™GPU: 1 TERAFLOP / s 256-core with NVIDIA Maxwell ™ architecture
Процессор: 64-битные ARM® А57 CPUProcessor: 64-bit ARM® A57 CPU
Память: 4 ГБ памяти LPDDR4 | 25,6 Гбит/сMemory: 4 GB LPDDR4 memory | 25.6 Gbps
Дисплей: 2 разъема DSI, 1 разъем eDP 1.4, 1 разъем DP 1.2/HDMIDisplay: 2 DSI, 1 eDP 1.4, 1 DP 1.2 / HDMI
Подключение: Подключение к сети Wi-Fi 802.11ас и устройствам с поддержкой BluetoothConnection: Connect to a Wi-Fi 802.11ac network and Bluetooth enabled devices
Сеть: 1 Gigabit EthernetNetwork: 1 Gigabit Ethernet
Системы хранения данных: 16 ГБ eMMC, SDIO, SATAStorage Systems: 16 GB eMMC, SDIO, SATA
Другое: 3 порта UART, 3 порта SPI, 4 порта I2C, 4 порта I2S, GPIO]Other: 3 UART ports, 3 SPI ports, 4 I2C ports, 4 I2S ports, GPIO]
4. Модуль информирования водителя о сходе с полосы движения (Модуль 4). Данный модуль состоит из устройства вывода видео и аудио информации, например: Монитор сенсорный 10,1" Lilliput FA1011-NP/C/T.4. Module informing the driver about the exit from the lane (Module 4). This module consists of a device for outputting video and audio information, for example: Touch monitor 10.1 "Lilliput FA1011-NP / C / T.
Система работает следующим образом:The system works as follows:
Модуль 1 производит передачу видеопотока данных в модуль 3. Модуль 3 производит обработку данных, в результате чего происходит распознавание дорожной разметки. С этой целью в модуле 3 реализуется следующая последовательность операций:Module 1 transmits a video data stream to module 3. Module 3 processes the data, resulting in recognition of road markings. To this end, in module 3, the following sequence of operations is implemented:
1. Разделение цветов изображения с порогом для желтого (в пространстве HSV) и белого (в пространстве RGB)1. Separation of image colors with a threshold for yellow (in HSV space) and white (in RGB space)
2. Применение сглаживания (размытие изображения для удаления шума).2. The use of anti-aliasing (blurring the image to remove noise).
3. Преобразование изображения в цветовой режим "оттенки серого".3. Convert the image into a color mode "shades of gray."
4. Применение оператора Кэнни.4. Application operator Canny.
5. Подготовка области интересов.5. Preparation of area of interest.
6. Применение преобразования Хафа для извлечения элементов из изображения.6. Using the Hough transform to extract elements from an image.
7. Отрисовка полупрозрачных линий на начальном изображении (линий разметки на видеоизображении)7. Drawing of translucent lines on the initial image (marking lines on the video image)
Модуль 2 производит передачу данных в виде трехмерного облака точек в модуль 3.Module 2 transmits data in the form of a three-dimensional cloud of points to module 3.
Модуль 3 производит обработку данных, в результате чего происходит распознавание границы фактических параметров проезжей части. С этой целью в модуле 3 реализуется следующая последовательность операций:Module 3 performs data processing, as a result of which the boundary of the actual parameters of the roadway is recognized. To this end, in module 3, the following sequence of operations is implemented:
1. Определение плоскости проезжей части1. The definition of the plane of the roadway
2. Определение точек ненулевого уровня, а именно:2. Determination of points of nonzero level, namely:
2.1 Проекция на плоскость всех точек из облака2.1 The projection onto the plane of all points from the cloud
2.2 Вычисление расстояния между исходной точкой облака и точкой проекции2.2 Calculation of the distance between the starting point of the cloud and the projection point
2.3 Отсечение всех точек, расстояние которых менее заранее определенного порога2.3 Cutting off all points whose distance is less than a predetermined threshold
3. Определение ближайших точек от центра точки расположения лидара в плоскости нулевого уровня3. The determination of the nearest points from the center of the lidar location point in the zero plane
3.1 Расчет карты секторов3.1 calculation of the sector map
3.2 Расчет минимального расстояния в секторе3.2 the calculation of the minimum distance in the sector
3.3 Фильтрация точек3.3 Point filtering
4. Выделение линий из облака точек4. Highlighting lines from a point cloud
5. Экстраполяция линий5. Extrapolation of lines
6. Определение фактических параметров границ проезжей части6. Determination of the actual parameters of the boundaries of the roadway
На основе вышеуказанных преобразований модулем 3 производится оценка параметров движения в полосе. В случае распознавания модулем 3 дорожной разметки, расчет параметров движения транспортного средства осуществляется по данным, получаемым с модуля 1. При непреднамеренном пересечении линии дорожной разметки полосы движения производится передача сигнала в модуль 4.Based on the above transformations, module 3 evaluates the parameters of movement in the lane. In the case of module 3 recognizing the road markings, the calculation of the vehicle’s motion parameters is carried out according to the data received from module 1. If the road marking line of the lane is inadvertently crossed, a signal is transmitted to module 4.
При отсутствии достоверно распознаваемой дорожной разметки модуль 3 использует данные, получаемые с модуля 2. На основе параметров границы проезжей части, ширины транспортного средства и заранее выбранной зоны безопасности (вокруг транспортного средства) происходит формирование безопасного виртуального коридора движения. В случае выхода транспортного средства за границы безопасного виртуального коридора происходит передача сигнала в модуль 4.In the absence of reliably recognizable road markings, module 3 uses the data received from module 2. Based on the parameters of the roadway border, the width of the vehicle, and a pre-selected safety zone (around the vehicle), a safe virtual traffic corridor is formed. If the vehicle leaves the safe virtual corridor, the signal is transmitted to module 4.
Модуль 4 принимает сигнал от модуля 3 и производит видео и аудио информирование водителя о сходе с полосы движения транспортного средства.Module 4 receives a signal from module 3 and produces video and audio informing the driver about the descent from the vehicle lane.
Таким образом, заявленная система позволяет осуществить следующие функции:Thus, the claimed system allows you to perform the following functions:
- обнаружение дорожной разметки;- detection of road markings;
- определение границ проезжей части и формирование «виртуальной» полосы движения, в случае отсутствия или повреждения дорожной разметки;- determination of the boundaries of the carriageway and the formation of a "virtual" lane, in the absence or damage to road markings;
- предупреждение о сходе с полосы определенной по существующей дорожной разметке или с учетом границ проезжей части;- a warning about the exit from a lane determined by the existing road markings or taking into account the boundaries of the carriageway;
В целом, применение данной системы позволяет повысить безопасность движения транспортных средств путем предупреждения о непреднамеренном сходе с полосы движения. Также данная система способствует повышению комфорта и снижению утомляемости водителя.In general, the use of this system allows to increase the safety of vehicles by warning about unintentional descent from the lane. Also, this system helps to increase comfort and reduce driver fatigue.
Claims (1)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017145153A RU2683618C1 (en) | 2017-12-21 | 2017-12-21 | System for determination of the actual parameters of a carriageway |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017145153A RU2683618C1 (en) | 2017-12-21 | 2017-12-21 | System for determination of the actual parameters of a carriageway |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2683618C1 true RU2683618C1 (en) | 2019-03-29 |
Family
ID=66089821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017145153A RU2683618C1 (en) | 2017-12-21 | 2017-12-21 | System for determination of the actual parameters of a carriageway |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2683618C1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6526352B1 (en) * | 2001-07-19 | 2003-02-25 | Intelligent Technologies International, Inc. | Method and arrangement for mapping a road |
| US20100253598A1 (en) * | 2009-04-02 | 2010-10-07 | Gm Global Technology Operations, Inc. | Lane of travel on windshield head-up display |
| US20110190972A1 (en) * | 2010-02-02 | 2011-08-04 | Gm Global Technology Operations, Inc. | Grid unlock |
| US20110301813A1 (en) * | 2010-06-07 | 2011-12-08 | Denso International America, Inc. | Customizable virtual lane mark display |
| US20150166062A1 (en) * | 2013-12-12 | 2015-06-18 | Magna Electronics Inc. | Vehicle control system with traffic driving control |
| RU165235U1 (en) * | 2015-11-17 | 2016-10-10 | Общество с ограниченной ответственностью "Когнитивные технологии" | ROAD SCENE RECOGNITION AND ANALYSIS SYSTEM |
-
2017
- 2017-12-21 RU RU2017145153A patent/RU2683618C1/en not_active IP Right Cessation
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6526352B1 (en) * | 2001-07-19 | 2003-02-25 | Intelligent Technologies International, Inc. | Method and arrangement for mapping a road |
| US20100253598A1 (en) * | 2009-04-02 | 2010-10-07 | Gm Global Technology Operations, Inc. | Lane of travel on windshield head-up display |
| US20110190972A1 (en) * | 2010-02-02 | 2011-08-04 | Gm Global Technology Operations, Inc. | Grid unlock |
| US20110301813A1 (en) * | 2010-06-07 | 2011-12-08 | Denso International America, Inc. | Customizable virtual lane mark display |
| US20150166062A1 (en) * | 2013-12-12 | 2015-06-18 | Magna Electronics Inc. | Vehicle control system with traffic driving control |
| RU165235U1 (en) * | 2015-11-17 | 2016-10-10 | Общество с ограниченной ответственностью "Когнитивные технологии" | ROAD SCENE RECOGNITION AND ANALYSIS SYSTEM |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3296923B1 (en) | A method of detecting an overtaking vehicle, related processing system, overtaking vehicle detection system and vehicle | |
| US20210264176A1 (en) | Hazard detection from a camera in a scene with moving shadows | |
| US11287523B2 (en) | Method and apparatus for enhanced camera and radar sensor fusion | |
| CN106503653B (en) | Region labeling method and device and electronic equipment | |
| CN105922991B (en) | Based on the lane departure warning method and system for generating virtual lane line | |
| EP2549457B1 (en) | Vehicle-mounting vehicle-surroundings recognition apparatus and vehicle-mounting vehicle-surroundings recognition system | |
| US10650252B2 (en) | Lane detection device and lane detection method | |
| EP2947638A1 (en) | Airport surface collision zone display for an aircraft | |
| RU2636120C2 (en) | Three-dimensional object detecting device | |
| US20200349846A1 (en) | A multi-spectral system for providing precollision alerts | |
| US20150161457A1 (en) | Three-dimensional object detection device, and three-dimensional object detection method | |
| US20180260639A1 (en) | Systems and methods for detecting traffic signs | |
| US11691585B2 (en) | Image processing apparatus, imaging device, moving body device control system, image processing method, and program product | |
| US11987239B2 (en) | Driving assistance device | |
| Fernández et al. | Free space and speed humps detection using lidar and vision for urban autonomous navigation | |
| Nambi et al. | Hams: Driver and driving monitoring using a smartphone | |
| US20170103271A1 (en) | Driving assistance system and driving assistance method for vehicle | |
| KR20200045696A (en) | Method and apparatus of determining driving information | |
| Petrovai et al. | A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices | |
| JP2004265432A (en) | Travel environment recognition device | |
| KR20140024681A (en) | Apparatus and method for detecting lane | |
| KR102163774B1 (en) | Apparatus and method for image recognition | |
| WO2011087354A2 (en) | Vehicle parking and obstacle avoidance system using a single panoramic camera | |
| JP2011103058A (en) | Erroneous recognition prevention device | |
| KR102079291B1 (en) | Forward vehicle collision warning apparatus and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20191222 |