RU2670845C9 - Способ оценки участка для парковки транспортного средства - Google Patents

Способ оценки участка для парковки транспортного средства Download PDF

Info

Publication number
RU2670845C9
RU2670845C9 RU2014113945A RU2014113945A RU2670845C9 RU 2670845 C9 RU2670845 C9 RU 2670845C9 RU 2014113945 A RU2014113945 A RU 2014113945A RU 2014113945 A RU2014113945 A RU 2014113945A RU 2670845 C9 RU2670845 C9 RU 2670845C9
Authority
RU
Russia
Prior art keywords
vehicle
parking space
data
computer
radar
Prior art date
Application number
RU2014113945A
Other languages
English (en)
Other versions
RU2670845C2 (ru
RU2014113945A (ru
Inventor
Эрик Дэвид ШАФФЕР
Верн Ричард СТЕМПНИК
Брайан ЧОЙ
Марк КРОУФОРД
Original Assignee
Форд Глобал Технолоджис, ЛЛК
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Форд Глобал Технолоджис, ЛЛК filed Critical Форд Глобал Технолоджис, ЛЛК
Publication of RU2014113945A publication Critical patent/RU2014113945A/ru
Publication of RU2670845C2 publication Critical patent/RU2670845C2/ru
Application granted granted Critical
Publication of RU2670845C9 publication Critical patent/RU2670845C9/ru

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862Combination of radar systems with sonar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9314Parking operations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93271Sensor installation details in the front of the vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93272Sensor installation details in the back of the vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93274Sensor installation details on the side of the vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • G01S2015/933Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

Предложен способ оценки парковочного места для парковки транспортного средства. При осуществлении способа сканируют парковочное место с помощью ультразвуковых датчиков для получения ультразвуковых данных. Сканируют парковочное место с помощью радиолокационных датчиков для получения радиолокационных данных. Используют компьютер для идентификации первого объекта в качестве вероятного бордюра, если первый объект идентифицирован только по ультразвуковым данным, и для определения, следует ли принять либо отклонить парковочное место, на основании как ультразвуковых данных, так и радиолокационных данных. Паркуют транспортное средство в ответ на принятие парковочного места. Предложено также транспортное средство. Достигается повышение надежности, безопасности. 2 н. и 9 з.п. ф-лы, 4 ил.

Description

Область техники, к которой относится изобретение
Изобретение относится к электронным системам для транспортных средств, в частности к системам помощи при парковке.
Уровень техники
Известно, что для сканирования и обнаружения подходящего места для парковки используются ультразвуковые датчики, которые помогают водителям при парковке транспортных средств около бордюра. Тем не менее, условия окружающей среды и другие условия могут снизить надежность ультразвуковых датчиков и ограничить их эффективность. В некоторых случаях ультразвуковые датчики не могут обнаружить объекты небольшого размера, а в других случаях не могут обнаружить высокие объекты, например, грузовики.
Раскрытие изобретения
Для решения указанных проблем предлагается способ оценки участка для парковки транспортного средства, в котором выполняют ультразвуковое сканирование указанного участка для получения ультразвуковых данных, выполняют радиолокационное сканирование указанного участка для получения радиолокационных данных и оценивают возможность парковки транспортного средства на этом участке на основании как ультразвуковых, так и радиолокационных данных.
Также изобретение относится к машиночитаемому носителю, на котором хранятся выполняемые компьютером инструкции, относящиеся к выполнению оценки возможного парковочного места для транспортного средства, получению данных ультразвукового сканирования места, получению данных радиолокационного сканирования места и определению возможности парковки транспортного средства на основании как ультразвуковых, так и радиолокационных данных.
Способ может быть реализован в транспортном средстве, в котором установлен ультразвуковой сканер, радиолокационный сканер и компьютер. При этом компьютер запрограммирован на получение данных ультразвукового сканирования участка, получение данных радиолокационного сканирования участка и оценку возможности парковки транспортного средства на возможном парковочном месте на основании ультразвуковых данных и радиолокационных данных.
Краткое описание чертежей
На Фиг. 1 показан вид сверху транспортного средства рядом с которым впереди и позади находятся другие транспортные средства, которые ограничивают парковочное место для осуществления автоматической парковки;
На Фиг. 2 показаны компоненты транспортного средства, связанные с выполнением автоматической парковки;
На Фиг. 3 показана логическая схема способа парковки транспортного средства;
На Фиг. 4 показана логическая схема слияния данных ультразвукового и радиолокационного сканирования.
Осуществление изобретения
В активной системе автоматической парковки (парковочного ассистента) используют технологию ультразвуковых датчиков для сканирования и обнаружения подходящего парковочного места, чтобы помочь водителям при парковке транспортных средств около бордюра. Однако из-за условий окружающей среды или других условий ультразвуковой датчик может иметь ограниченные возможности и ограниченную эффективность при обнаружении небольших объектов, которые находятся в намеченном месте парковки или за его пределами. Предлагаемый способ может быть использован для выполнения парковки транспортного средства, в ходе которой осуществляется получение данных ультразвукового и радиолокационного сканирования, слияние данных обоих типов датчиков и на основании объединенных данных выполняется парковка.
На Фиг. 1 показан сценарий 100 автоматической парковки «Активная автопарковка» (АРА), в котором проезжающее транспортное средство 102, например, легковой автомобиль, может использовать систему автопарковки для помощи водителю или его инструктирования о том, какие действия следует выполнить, чтобы припарковать транспортное средство, например, путем параллельной парковки. Когда транспортное средство 102 проходит вдоль пути 104, система автопарковки идентифицирует парковочное место 106 как пространство между двумя припаркованными транспортными средствами 108 и 110. Таким образом, парковочное место ограничено пространством между транспортными средствами 108, 110, и оно также имеет границу на дальней стороне, например, бордюр 112. Парковочное место 106 может иметь границу или быть ограничено любым типом или количеством объектов или ограничителей, не обязательно транспортными средствами 108, 110 и бордюром 112.
На Фиг. 2 показано, что в транспортном средстве 102 имеется тормозная система 200, педаль 202 газа, трансмиссия 204, модуль 206 управления системой автопарковки (РАСМ) и колеса 208. Транспортное средство 102 также имеет систему 210 торможения, педаль тормоза 212, силовой агрегат 214, аудиоинтерфейс 216 и дисплей 218. В данном примере также показана система 220 рулевого управления, которая включает в себя электродвигатель 224 и рулевое колесо 226. Система рулевого управления может быть использована с усилителем, либо может представлять собой любой тип системы рулевого управления, например, обычную вакуумную/гидравлическую систему, систему с электрогидравлическим усилением (EHPAS) или систему «Управление с помощью электроники». Транспортное средство 102 может содержать акселерометр, который измеряет ускорение транспортного средства 102.
В показанном варианте система 228 датчиков функционально соединена с транспортным средством 102 и может быть соединена с РАСМ 206 для направления на него входного сигнала (сигналов). Система 228 датчиков включает в себя датчики для определения параметров окружающей среды транспортного средства, например, камеру 230, ультразвуковые (U/S) датчики или сканеры 232 (которые могут включать в себя передатчик и датчик/приемник), радиолокатор или радиолокационный сканер 234 и датчик 236 рулевого управления, в качестве примеров. Хотя это не показано, система 228 датчиков может также включать в себя такие системы как, например, лазерные локаторы, тепловые датчики и систему GPS (без ограничения перечисленным). Как показано на Фиг.1, четыре приемопередатчика или датчика 114, например, ультразвуковые датчики, могут быть расположены на левой и правой сторонах транспортного средства 102 рядом с передним и задним бамперами для обеспечения полного или практически полного 360° охвата пространства вокруг транспортного средства 102. При необходимости количество, тип и/или расположение датчиков могут отличаться от показанного на схеме.
Система 228 датчиков может включать в себя датчики для определения состояния или режима работы различных бортовых систем транспортного средства 102, например, датчик одометра (не показан) и/или датчик 236 угла поворота рулевого колеса. Датчики одометра могут быть расположены на одном или нескольких колесах 226 транспортного средства 102 и/или в системе 204 трансмиссии транспортного средства 102. В качестве примера датчик 236 угла поворота рулевого колеса связан с системой 220 рулевого управления транспортного средства 102 и может, например, находиться на рулевом колесе 226 или на рулевой колонке. Транспортное средство 102 может быть также оборудовано видеодисплеем 218 для отображения различных типов информации для водителя. Транспортное средство 102 также может иметь устройства 216 звукового интерфейса, например, динамик, предупредительный звуковой сигнал, гудок или иное устройство для генерации звуков.
Как показано на Фиг. 1, транспортное средство 102 паркуется на парковочном месте 106 с использованием РАСМ 206. При выполнении этого маневра по крайней мере один из датчиков 114 использован для обнаружения соседних объектов и их расположения относительно положения транспортного средства 102, когда транспортное средство 102 движется по пути 104 и проезжает мимо объектов 110, 108. На Фиг. 1 в качестве соседних объектов, образующих границы парковочного места 106, показаны два припаркованных транспортного средства 110, 108 и бордюр 112. Предполагается, что РАСМ 206 может успешно обнаружить парковочное место 106 по отношению только к одному объекту или транспортному средству, например, либо транспортному средству 108, либо транспортному средству 110, если они присутствуют.
РАСМ 206 включает в себя компонент обработки данных, который обрабатывает информацию от датчика (датчиков) для оценки возможности успешно припарковать транспортное средство 102 на парковочном месте 106. Компонент обработки данных может, например, представлять собой устройство на основе микропроцессора, как известно из уровня техники. Оценка, выполняемая в РАСМ 206, может включать в себя определение возможности следования по доступной траектории 116 движения для парковки транспортного средства 102 на парковочном месте 106. При наличии доступной траектории 116 движения РАСМ 206 определит, что парковочное место может быть использовано как парковочное место. Расчеты, выполняемые РАСМ 206, могут предполагать определение подходящей длины 118 места в зависимости от таких параметров, как длина 120 транспортного средства 102 и/или возможный радиус поворота транспортного средства 102, и/или любых других геометрических параметров, связанных с транспортным средством 102 и/или другими объектами в непосредственной близости от парковочного места 106.
Движение транспортного средства 102 по траектории 116 можно осуществить посредством одного или нескольких парковочных маневров, в зависимости от необходимости, пока транспортное средство не будет правильно припарковано. В соответствии с изобретением, один парковочный маневр определяется как (1) перемещение транспортного средства задним ходом от места остановки на парковочное место, (2) остановка транспортного средства на парковочном месте, (3) перемещение транспортного средства вперед на парковочном месте и (4) последующая остановка, соответствующая завершению парковки транспортного средства. Обычно в рамках каждого этапа парковочного маневра для следования траектории 116 необходимо по крайней мере одно действие или движение системы 220 рулевого управления. Если парковочное место 106 слишком мало по сравнению с длиной транспортного средства 120 и/или радиусом поворота, может потребоваться последующее движение транспортного средства 102 назад и/или вперед, что соответствует дополнительному парковочному маневру.
После определения того, что транспортное средство 102 правильно припарковано в желаемом припаркованном положении, РАСМ 206 включает систему 220 рулевого управления с целью возвращения в центральное положение. В одном примере выполняется включение электродвигателя 224 для перемещения рулевого колеса 226 и связанных с ним компонентов системы 220 рулевого управления таким образом, чтобы управляемые ходовые колеса транспортного средства 102 были выровнены параллельно продольной (в направлении вперед-назад) оси 122 транспортного средства 102.
На схеме 300 с Фиг. 3 проиллюстрирован способ парковки транспортного средства. На первом этапе 302 модуль обработки, например, РАСМ 206, определяет, есть ли возможное парковочное место для парковки транспортного средства 102. Это может быть выполнено, например, с помощью сигналов от датчика (датчиков) 114 системы 228 датчиков. Возможным парковочным местом является место (например, парковочное место 106), имеющее достаточно большие размеры, чтобы на нем можно было припарковать транспортное средство 102 с помощью системы автопарковки, которой он оборудован.
Если на этапе 302 определено, что парковочное место подходит для парковки, на этапе 304 водителю направляется уведомление или предупреждение о том, что существует возможное парковочное место. Уведомление может быть передано посредством интерфейса визуальных и/или звуковых сигналов, например, выведено на дисплей 218 в транспортном средстве 102. В качестве альтернативы, визуальным интерфейсом может быть графическое изображение, значок или иное нетекстовое сообщение на дисплее 218. Такой визуальный интерфейс может быть расположен в любом подходящем месте в транспортном средстве 102, например, на потолочной консоли. В еще одном примере могут быть переданы звуковые сигналы посредством звукового интерфейса 216.
Затем на этапе 306 водитель получает указание остановить транспортное средство и воспользоваться помощью системы при осуществлении парковки. Это указание может быть направлено в визуальной и/или звуковой форме посредством того же интерфейса (интерфейсов), что и на этапе 304. После того как водитель остановит транспортное средство 102, на этапе 308 водитель получит команду убрать руки с устройства рулевого управления системы рулевого управления (например, с рулевого колеса 226) и включить устройство управления тормозами (например, педаль тормоза 212) и устройство управления передачей (например, рычаг или кнопку переключения передач) для включения или переключения передачи системы силового агрегата 214 на задний ход.
На этапе 310 система автопарковки берет на себя управление системой 224 рулевого управления для следования по траектории 116. В одном примере система автопарковки генерирует сигналы, сообщающие водителю о необходимости выполнять действия, необходимые для движения транспортного средства назад и вперед (в рамках одного или нескольких парковочных маневров) для достижения припаркованного положения транспортного средства 102 на парковочном месте 106. Припаркованное положение может быть ограничено в зависимости от характера и размеров парковочного места, например, когда транспортное средство 102 находится на определенном расстоянии от одного или нескольких объектов или конструктивных элементов, которые являются границами места, и/или под определенным углом параллельно соответствующими объектам/конструктивным элементам.
Действия, предлагаемые для выполнения водителю на этапе 308, могут включать в себя такие действия, как нажатие на педаль 212 тормоза тормозной системы 210 для регулирования скорости транспортного средства и/или включение устройства управления передачей для включения или переключения передачи системы силового агрегата 214 с передачи переднего хода на передачу заднего хода и обратно.
Как показано на этапе 312, способ может дополнительно включать в себя отображение для водителя изображения области вокруг парковочного места. Например, изображение 124 с камеры 126 заднего вида может отображаться на видеодисплее. В другом примере на дисплей 218 может быть выведен смоделированный или виртуальный вид сверху, показывающий транспортное средство и его расположение относительно парковочного места. На любое из этих изображений могут быть наложены линии и/или иные символы, изображающие предпочтительную траекторию 116 движения. В одном варианте радиолокационные системы 128 могут быть установлены спереди и/или сзади, и/или по бокам транспортного средства 102.
После того как система автопарковки определит, что транспортное средство 102 припарковано правильно, и будет завершено последнее перемещение парковочного маневра, способ переходит к этапу 314, на котором срабатывает система 220 рулевого управления и осуществляет перемещение в центральное состояние между окружающими объектами, например, транспортными средствами 108, 110, или в общем относительно бордюра 112 и/или пути 104. Этот процесс может предусматривать включение электродвигателя 224, который обеспечивает подачу питания к системе рулевого управления для перемещения рулевого колеса 226 вместе со связанными с ним компонентами до тех пор, пока колеса транспортного средства 102 не будут установлены параллельно оси 122 транспортного средства 102.
Хотя парковочное место 106 было описано как место для параллельной парковки между расположенным впереди первым объектом и расположенным сзади вторым объектом, в качестве альтернативы парковочное место может быть расположено перпендикулярно позади, например, как в стандартных парковках и гаражах на несколько транспортных средств. Кроме того, парковочное место 106 было описано как расположенное справа от транспортного средства 102, но в качестве альтернативы система автопарковки может быть использована для обнаружения парковочного места слева от транспортного средства 102.
Для обнаружения и оценки в системе АРА возможных парковочных мест для оборудованного транспортного средства 102, на которые не влияют условия окружающей среды (колебаниям температуры, влажности, сильным порывам ветра и т.д.). Окружающие условия могут создавать проблемы при использовании только одного ультразвукового сканирования, поэтому могут быть использованы как данные ультразвукового сканирования, так и данные радиолокационного сканирования. При оценке возможного парковочного места согласно изобретению определяется, где находится объект (объекты) и является ли обнаруженный объект (объекты) препятствием при парковке, находится ли за пределами участка для возможной парковки или является ли сам объект (объекты) границей возможного парковочного места (например, транспортное средство перед и/или позади парковочного места 106, например, припаркованные транспортные средства 108 и 110). Способ включает в себя использование одного или нескольких ультразвуковых датчиков 114, а также радиолокационных систем 128.
В качестве одного примера, в некоторых случаях этот объект, находящийся за пределами бордюра 112, может быть клумбой, почтовым ящиком или иным объектом, находящимся выше бордюра 112. Таким образом, одни только ультразвуковые датчики, возможно, не смогут отличить бордюр от другого объекта, а также могут неправильно обнаружить иной объект как бордюр, на основании которого определяется алгоритм парковки. Т.е. к бордюру и другому объекту могут относиться два комплекта ультразвуковых эхосигналов. Так как другой объект выше и может создавать более сильный сигнал или эхо, этот бордюр, возможно, не будет распознан.
Как было сказано выше, в транспортном средстве 102 установлены радиолокаторы 128, которые могут поддерживать систему информирования о наличии транспортных средств в мертвой зоне (BLIS). Таким образом, данные, полученные с помощью радиолокаторов 128, объединяемые с данными ультразвуковых датчиков, обычно используемых в АРА, могут улучшить способность обнаружения и оценки участка для парковки.
На Фиг. 4 показан способ или алгоритм 400, который включает в себя оценку участка для парковки транспортного средства, при которой на этапе 402 производят ультразвуковое сканирование участка для получения ультразвуковых данных и радиолокационное сканирование участка для получения радиолокационных данных на этапе 404. Ультразвуковые данные могут содержать как данные о бордюре, так и данные о других объектах. Тем не менее, радиолокатор, как правило, направлен на более высокие объекты (например, транспортные средства в мертвой зоне видимости) и может обнаруживать более высокие объекты, но не бордюр. Таким образом, если после этапа 406 (ответвление 408 схемы) объект обнаружен только на основании ультразвуковых данных, то на этапе 410 такой объект будет распознан как бордюр (или это вероятно будет бордюр, хотя вместо этого может быть стена, но в любом случае объект будет задавать границу возможного парковочного места или участка). Таким образом, как ультразвуковые, так и радиолокационные данные могут содержать частично совпадающие обнаруженные объекты, но если объект обнаружен только на основании ультразвуковых данных, то это место распознается с большой степенью вероятности как бордюр. Однако если (412) объекты обнаружены не только на основании ультразвуковых данных, то процедура возвращается к этапам 402, 404, после чего происходит повторное получение ультразвуковых и радиолокационных данных.
После того как на этапе 410 будет идентифицирован бордюр, процедура переходит к этапу 414 для определения того, можно ли распознать объекты с помощью ультразвукового и радиолокационного сканирования. В некоторых случаях объекты могут выглядеть в ультразвуковых данных как разброс точек. Тем не менее, вместе с полученными радиолокационными данными такие данные могут быть использованы для оценки и точной идентификации объекта. Таким образом, при оценке данных объекта на этапе 414, если (ответвление 416 схемы) не обнаружено никаких объектов (т.е. при отсутствии препятствий, объектов за бордюром, или транспортных средств перед возможным парковочным местом или участком или позади него), то на этапе 418 возможное парковочное место будет акцептовано. Однако если (ответвление 420 схемы) обнаружен один или несколько объектов (с помощью ультразвукового и радиолокационного сканирования), то на этапе 422 выполняется оценка объекта (объектов). Это значит, что после идентификации объектов выполняется их оценка для определения того, являются ли они препятствием для парковки (например, парковочный конус или мотоцикл), находится ли объект (объекты) за бордюром (и, следовательно, не представляют собой препятствие), или является границей передней или задней части возможного парковочного места (например, транспортного средства 108 или 110).
Таким образом, на этапе 422 выполняется оценка объекта и устанавливается, обнаружены ли радиолокационные данные для того же самого места, в котором расположен бордюр, и при утвердительном ответе дополнительно осуществляется распознавание первого объекта как стены. На этапе 424 выполняется оценка обнаруженных объектов для определения того, что находится за бордюром. При получении положительного ответа (ответвление 426 схемы) объект на этапе 428 будет отклонен, так как объект не представляет собой препятствие и находится за пределами участка, на котором будет припарковано транспортное средство. На этапе 430 с помощью полученных данных выполняется оценка других объектов, если будет определено, что проверяется не последний объект (ответвление 432 схемы), процедура возвращается к этапу 422. Однако если достигнут последний объект для оценки (ответвление 434 схемы), то на этапе 418 будет принято возможное парковочное место.
Если во время оценки на этапе 424 определен объект, расположенный перед бордюром (ответвление 436 схемы), то на этапе 438 в способе 400 будет дополнительно определено, ограничивает или образует ли оцениваемый объект часть возможного парковочного места или участка (например, это может быть транспортное средство впереди или позади, например, одно из транспортных средств 108, 110). При получении отрицательного ответа (ответвление 440 схемы) объект будет определен как препятствие, на этапе 442 участок будет отклонен, процесс завершится, пока не будет обнаружено другое возможное парковочное место (после чего процесс будет начат повторно). Тем не менее, если будет определено (ответвление 444 схемы), что объект действительно является границей части парковочного места (и объект находится перед или за желательным парковочным местом), то возможное парковочное место или участок будут ограничены, после чего процедура вернется к этапу 430. Таким образом, в способе 400 либо на этапе 418 место для парковки будет принято, после чего на этапе 446 будет выполнена парковка транспортного средства, либо на этапе 442 возможное место будет отклонено.
Одним из инструментов раскрытого способа является радиолокатор, который в одном варианте использован для системы информирования о наличии транспортных средств в мертвой зоне видимости. В раскрытом способе использованы сигналы от радиолокационного датчика для определения объектов, которые были бы пропущены или неправильно распознаны при использовании одного только ультразвукового датчика.
Когда оборудованное транспортное средство движется мимо свободного парковочного места, ультразвуковые и радиолокационные датчики обнаруживают различные объекты, в том числе другие транспортные средства, и направляют соответствующую информацию на виртуальной датчик через высокоскоростную шину транспортного средства. Направляемая информация включает в себя данные о расстоянии до каждого объекта с учетом коэффициента достоверности. Расстояние до объектов, связанное с шириной луча в угловых единицах, затем может быть синхронизировано с другими модулями для обеспечения более надежного определения окружающих объектов. Радиолокационные точки вместе с точками ультразвуковых данных обеспечивают более надежное определение расположения объектов относительно оборудованного транспортного средства. При наличии более точной информации, полученной с помощью объединенных данных от датчиков, можно оценить размеры, необходимые для правильной парковки оборудованного транспортного средства или отклонения парковочного места, если определено, что оно не подходит.
Преимуществом радиолокатора является его возможность обнаруживать более высокие объекты во время маневра и при сканировании определять границы парковочного места. Форма луча у радиолокатора выше и проходит выше бордюра таким образом, что он легко может отличить бордюр от стены и парковать оборудованное транспортное средство на необходимом расстоянии от стены. В качестве примера и в соответствии с описанием, если ультразвуковой датчик обнаруживает бордюр, и радиолокатор определяет аналогичный объект на том же расстоянии, то сигнал от радиолокатора можно использовать для подтверждения того, что объект, относительно которого выполняется выравнивание, является стеной. То есть, радиолокатор не может видеть бордюры, поэтому если радиолокатор обнаруживает объекты на том же расстоянии, что и ультразвуковой датчик, этим объектом является стена, потому что ультразвуковой датчик видит стены и бордюры одновременно.
Радиолокатор также используется в качестве управления с обратной связью в режиме реального времени для выравнивания относительно стены на необходимом расстоянии, так как расположенные сзади ультразвуковые датчики обычно не могут быть использованы во время маневра для создания замкнутой системы обратной связи. В качестве одного примера, парковочное место может быть предложено между нижним рычагом подвески и осью прицепа. Видимость ультразвукового датчика ограничена по высоте расстоянием, не выше, возможно, 0,3 м, поэтому даже при цельном кузове прицепа есть пространство между нижним рычагом подвески и осью колеса. Еще одним примером является свес школьного автобуса. Ультразвуковой датчик обычно видит пространство между осями, а не кузов между ними. Ограничение по высоте ультразвукового сканирования приводит к тому, что сплошная часть более высоких объектов находится вне зоны отражения. При использовании только ультразвукового сканирования может быть показано ложно обнаруженное место. Высокие грузовые транспортные средства-пикапы и лимузины также могут давать аналогичный эффект. Радиолокатор, с другой стороны, обнаружит кузов транспортного средства, а не пространство между осями. Таким образом, поток объединенных данных позволит отклонить ложное место, которое было бы получено при использовании одной только традиционной ультразвуковой системы.
Аналогичная концепция может быть использована для определения, является ли ограничивающая место структура стеной. Ультразвуковые датчики увидят бордюр или стену, но такие системы являются одномерными и могут надежно определить расстояние только до самого низкого объекта (объектов). Однако радиолокатор обнаруживает объекты с высотой более 0,3 м.
Размеры парковочного участка определяются на основании ряда эхосигналов и качества этих эхосигналов, отраженных обратно в АРА. В целом, оценка фактической длины парковочного места улучшается при низкой скорости проезда или сканирования, так что может быть целесообразно установить пороговые значения скорости, которые позволяют в равной степени сочетать удовлетворение от вождения (не слишком медленное передвижение) с возможностью получения большего количества данных (не слишком быстрое передвижение). То есть, более высокая скорость проезда или сканирования, как правило, приводят к уменьшению количества эхосигналов или точек отраженных данных, вследствие чего система неточно вычисляет длину парковочного места. Кроме того, при более высокой скорости проезда края окружающих транспортных средств невозможно точно определить, если возвращаемые точки данных не попадают на эти края. Таким образом, расчетная длина парковочного места может быть больше фактической длины места, если не установлены контрольные пороговые значения скорости.
По существу, виртуальный датчик с радиолокатором использует более высокое разрешение и более высокую скорость обработки радиолокатора для более точного определения того, где начинается и заканчивается парковочное место. Обнаружение края транспортного средства имеет большое значение для окончательного определения параметров парковки, и при помощи только ультразвуковых датчиков невозможно правильно обнаружить края. Эффект усиливается на порядок на более высоких скоростях передвижения. Таким образом, способ 400 предполагает использование радиолокатора для повышения точности вычисления длины места за счет предоставления недостающей информации о краях окружающих транспортных средств.
Ультразвуковые датчики подвержены влиянию условий окружающей среды. В зависимости от влажности и температуры значительно изменяется скорость, с которой эхосигнал перемещается в воздухе. Это может привести к неправильной оценке расстояния до объекта и неправильной оценке длины парковочного места.
Таким образом, при выполнении определения исключительно на основе ультразвукового сканирования, парковочные места могут быть выбраны неправильно. Могут быть предложены некоторые слишком узкие парковочные места, а другие подходящие по размерам парковочные места могут быть отклонены. С точки зрения параметров парковки это может привести к неправильному расчету пути к потенциальному парковочному месту и неправильному окончательному положению парковки, что может увеличить неудовлетворенность водителя.
При этом радиолокатор не так чувствителен к условиям окружающей среды, как ультразвуковой датчик. Таким образом, комбинированный датчик может быть корректирующим средством для проверки расстояния до объектов в замкнутом контуре и корректировки неправильно рассчитанных расстояний на основании данных ультразвукового датчика. Например, если длина транспортного средства не соответствует данным ультразвукового датчика по какому-либо определенному пороговому значению, то парковочное место не будет предложено. Вследствие этого не будут предложены слишком узкие парковочные места и потенциально не будут предложены места, где длины транспортных средств не измерены правильно и имеют место достаточно большие размеры для парковки. В качестве примера, может существовать достаточный разброс ультразвукового эхосигнала таким образом, что может быть отклонено место, подходящее по требованиям. Такой эффект может возникнуть при наличии в потенциальном парковочном месте снега. Радиолокатор можно использовать для проверки отсутствия объекта на парковочном месте, и место теперь может быть предложено после фильтрования ложных обнаружений. Обычно радиолокатор не видит объекты с высотой ниже порогового значения 0,3 м и, следовательно, не может получить отраженный от снега сигнал.
Проверка в замкнутом контуре, указанная выше, обеспечивает возможность правильного выравнивания относительно стены, например, на расстоянии примерно 40 см. Стандартные варианты реализации ультразвуковой технологии обычно предусматривают только одно сканирование во время первого прохода, а затем для определения траектории используется информация, хранящаяся в памяти, и эта траектория не будет изменена. Если объекты перемещаются или по какой-то причине при первом проходе не было выполнено точное измерение места, радиолокатор может обеспечить постоянное и расширенное покрытие участка парковочного места, в то время как ультразвуковой датчик имеет только ограниченный обзор. Следовательно, радиолокационная система имеет расширенный диапазон покрытия, который, как правило, проходит от точки, расположенной на значительном расстоянии перед транспортным средством, до точки, расположенной на значительном расстоянии позади транспортного средства (как правило, один метр или более до передней и задней части транспортного средства и по обеим сторонам от транспортного средства). Это обеспечивает лучшее выравнивание относительно стены, если электрическая система рулевого управления действует медленнее, чем ожидалось, вследствие низкого давления в шинах, или при возникновении более сильного трения за счет внутреннего тепла, или неправильного расчета скорости вращения колес/расстояния из-за низкого давления в шинах и т.д.
Кроме того, объединение данных ультразвуковых систем с радиолокатором обеспечивает возможность более точно отличить бордюры от других объектов в Европе, где транспортные средства часто паркуют около бордюров. Таким образом, в этом сценарии, если бордюр обнаружен ближе к оборудованному транспортному средству, чем, например, к одному или обоим транспортным средствам 108, 110, то определение на основании данных только ультразвуковых датчиков может привести к тому, что место не будет предложено, но при объединении данных ультразвукового сканирования с данными радиолокационного сканирования место будет предложено как открытое место. На Фиг. 4, на этапе 410 идентифицирован бордюр, после чего, если на этапе 414 объект не обнаружен ни ультразвуковым, ни радиолокационным датчиком, на этапе 418 парковочное место будет принято, даже если будет определено, что оно не имеет необходимой полной глубины парковочного места. Следовательно, парковочное место будет принято на этапе 418, даже если место не имеет достаточную глубину, вследствие чего потребуется парковка частично на бордюре или несмотря на какие-либо расположенные впереди и/или сзади транспортные средства, которые могут быть припаркованы на бордюре.
Кроме того, также может быть реализовано слияние данных с использованием стратегии единого эхосигнала. Описанные выше сценарии на Фиг. 4 могут быть выполнены с использованием двойных эхосигналов. Двойные эхосигналы представляют собой несколько путей для объектов с высокой отражающей способностью, например, транспортных средств и стен, расположенных вертикально или почти вертикально. При эффектах окружающей среды, связанных с повышенными температурами, тем не менее, второй эхосигнал, как правило, исчезает, и может быть использована стратегия одного эхосигнала. Таким образом, одиночные эхосигналы обычно обеспечивают адекватное измерение при объединении с данными радиолокационного сканирования без уменьшения количества сценариев, которые могут быть предложены.
РАСМ 206 может включать в себя компьютер или машиночитаемый носитель информации, выполняющие способ или алгоритм 400. В общем случае такие компьютерные системы и/или устройства, как процессор и устройство ввода данных пользователем, могут использовать операционную систему, включая, но не ограничиваясь версиями и/или разновидностями ОС Microsoft Windows®; Unix (например, ОС Solaris® компании Oracle Corporation, Калифорния); AIX UNIX от компании International Business Machines, Армонк, Нью-Йорк; Linux; Mac OS X и iOS от компании Apple Inc., Купертино, Калифорния; BlackBerry OS от компании Research In Motion из Ватерлоо, Канада; а также Android от компании Open Handset Alliance.
В общем случае компьютерные устройства могут включать в себя машиночитаемые инструкции, которые могут быть выполнены одним или несколькими описанными выше вычислительными устройствами. Машиночитаемые инструкции могут быть скомпилированы или транслированы из компьютерных программ, созданных с использованием различных языков и/или технологий программирования, включая, но не ограничиваясь перечисленным, языки Java™, С, С++, Visual Basic, Java Script, Perl и т.д. или их комбинации. В общем случае процессор или микропроцессор принимает инструкции, например, из запоминающего устройства или машиночитаемого носителя информации, и выполняет эти инструкции, тем самым реализуя один или несколько процессов, например, описанных выше. Такие инструкции и другие данные могут храниться и передаваться с помощью различных машиночитаемых носителей.
Машиночитаемый носитель (сюда также относятся носители, читаемые процессором) включает в себя любые энергонезависимые носители (например, материальные носители), предоставляющие данные (например, инструкции), которые могут быть обработаны компьютером (например, процессором вычислительного устройства). Такой носитель может иметь множество форм, включая, но не ограничиваясь этим, постоянные и оперативные запоминающие устройства. Постоянными запоминающими устройствами могут быть, например, оптические или магнитные диски, а также другие виды энергонезависимых носителей. Оперативные запоминающие устройства могут представлять собой, например, динамическое оперативное запоминающее устройство (DRAM), которые обычно являются частью основного запоминающего устройства. Такие инструкции могут быть переданы с помощью одного или нескольких средств передачи данных, например, с помощью коаксиальных кабелей, медных кабелей и оптоволоконных кабелей, включая провода, которые являются частью системной шины, соединенной с процессором компьютера. Стандартными формами машиночитаемых носителей являются гибкий магнитный диск, жесткий диск, магнитная лента, любые другие виды магнитных носителей, CD-ROM, DVD, любые другие оптические носители, перфорированная лента, бумажная лента, любые другие физические носители информации с отверстиями, RAM, PROM, EPROM, FLASH-EEPROM, другие чипы или карты памяти, а также любые другие носители, с которыми может работать компьютер.
Базы данных, архивы или другие описанные хранилища данных могут включать в себя различные механизмы для хранения, доступа и чтения различных данных, например, иерархические базы данных, наборы файлов в файловой системе, базы данных приложения в соответствующем формате, реляционные системы управления базами данных (RDBMS) и т.д. Каждое такое хранилище данных обычно встроено в вычислительное устройство с операционной системой, например, одной из указанных выше, а доступ к ним осуществляется через сеть любым из известных способов. Доступ к файловой системе может быть выполнен из операционной системы, при этом такая система может поддерживать различные форматы файлов. RDBMS обычно использует язык структурированных запросов (SQL) вместе с языком создания, хранения, редактирования и выполнения сохраненных процедур, например, PL/SQL.
В некоторых примерах элементы системы могут представлять собой машиночитаемые инструкции (например, программное обеспечение) на одном или нескольких компьютерных устройствах (например, серверах, персональных компьютерах и т.д.) и могут храниться на соответствующем машиночитаемом носителе (например, дисках, запоминающих устройствах и т.д.). Компьютерная программа может состоять из таких инструкций, сохраненных на машиночитаемом носителе, для выполнения описанных функций
В отношении описанных в данном документе процессов, систем, способов, эвристических алгоритмов и т.д., следует понимать, что, несмотря на обозначенную последовательность этапов, они могут быть выполнены в другой последовательности. Также следует понимать, что некоторые этапы могут быть выполнены одновременно, а также некоторые этапы могут быть добавлены или опущены. Другими словами описания процессов представлены лишь в качестве примера вариантов осуществления изобретения и не рассматриваются как ограничение изобретения.
Таким образом, следует понимать, что описание приведено в целях наглядности, а не ограничения. Многие дополнительные варианты реализации и применения, отличные от показанных примеров, станут очевидны при ознакомлении с вышеприведенным описанием. Объем не должен быть определен на основании приведенного выше описания, но, напротив, должен быть определен на основании прилагаемой формулы изобретения наряду с полным объемом эквивалентов, для которых данная формула является основанием. Предполагается и имеется в виду, что описываемые технологии могут быть развиты и усовершенствованы в будущем, причем раскрытые системы и способы будут включены в подобные будущие варианты реализации. Таким образом, следует понимать, что применение изобретения может быть изменено и модифицировано.
Все термины, применяемые в формуле изобретения, следует понимать в их наиболее широких разумных толкованиях и их обычных значениях, как это понимают специалисты в данной области техники, если иное явно не указано в описании изобретения. В частности, использование слов «какой-либо», «данный», «вышеуказанный» и т.д. надо понимать как один или несколько указанных элементов, если в формуле не указано иное.

Claims (32)

1. Способ оценки парковочного места для парковки транспортного средства, содержащий этапы, на которых:
сканируют парковочное место с помощью ультразвуковых датчиков для получения ультразвуковых данных;
сканируют парковочное место с помощью радиолокационных датчиков для получения радиолокационных данных;
используют компьютер для идентификации первого объекта в качестве вероятного бордюра, если первый объект идентифицирован только по ультразвуковым данным, и для определения, следует ли принять либо отклонить парковочное место, на основании как ультразвуковых данных, так и радиолокационных данных; и
паркуют транспортное средство в ответ на принятие парковочного места.
2. Способ по п. 1, дополнительно содержащий использование компьютера для определения, обнаруживается ли другой объект в радиолокационных данных и в том же самом месте, что и вероятный бордюр, и если такой другой объект обнаруживается, способ дополнительно содержит использование компьютера для определения упомянутого первого объекта в качестве стены.
3. Способ по п. 1, дополнительно содержащий использование компьютера для оценки, был ли идентифицирован бордюр, и если бордюр был идентифицирован, то способ дополнительно содержит использование компьютера для определения, может ли идентификация второго объекта быть выполнена с использованием и ультразвуковых данных, и радиолокационных данных; и
использование компьютера для оценки, действительно ли никакой второй объект не был идентифицирован с использованием как ультразвуковых данных, так и радиолокационных данных, и если второй объект идентифицирован не был, то способ дополнительно содержит использование компьютера для принятия парковочного места для транспортного средства.
4. Способ по п. 1, дополнительно содержащий использование компьютера для оценки, был ли второй объект идентифицирован с использованием как ультразвуковых данных, так и радиолокационных данных, и если это так, то способ дополнительно содержит использование компьютера для оценки, расположен ли этот второй объект ближе к транспортному средству, чем бордюр, или дальше от транспортного средства, чем бордюр.
5. Способ по п. 4, дополнительно содержащий использование компьютера для:
оценки, что второй объект находится ближе к транспортному средству, чем бордюр;
определения, устанавливает ли второй объект границу части парковочного места;
оценки, что второй объект находится дальше от транспортного средства, чем бордюр; и
отклонения рассмотрения второго объекта в качестве препятствия на парковочном месте в ответ на то, что второй объект находится дальше от транспортного средства, чем бордюр.
6. Способ по п. 1, в котором этап использования компьютера для определения, следует ли принять либо отклонить парковочное место, дополнительно содержит использование компьютера для оценки, найдены ли какие-либо препятствия на парковочном месте с использованием как ультразвуковых данных, так и радиолокационных данных.
7. Транспортное средство, содержащее:
ультразвуковой сканер;
радиолокационный сканер; и
компьютер, запрограммированный на:
получение ультразвуковых данных участка,
получение радиолокационных данных упомянутого участка,
идентификацию первого объекта в качестве вероятного бордюра, если первый объект идентифицирован только по ультразвуковым данным,
определение, следует ли принять или отклонить возможное парковочное место, на основе ультразвуковых данных и радиолокационных данных, и
парковку транспортного средства в ответ на принятие возможного парковочного места.
8. Транспортное средство по п. 7, в котором компьютер дополнительно запрограммирован для определения того, обнаруживается ли другой объект по радиолокационным данным и в том же самом месте, что и возможный бордюр, и, если да, дополнительно для определения упомянутого первого объекта в качестве стены.
9. Транспортное средство по п. 7, в котором компьютер дополнительно запрограммирован на:
оценку, был ли идентифицирован бордюр, и если да, то на определение, может ли идентификация второго объекта быть выполнена с использованием как ультразвуковых данных, так и радиолокационных данных; и
оценку, действительно ли никакой второй объект не был идентифицирован с использованием как ультразвуковых данных, так и радиолокационных данных, и если второй объект идентифицирован не был, то на принятие возможного парковочного места в качестве парковочного места для транспортного средства.
10. Транспортное средство по п. 7, в котором компьютер дополнительно запрограммирован на:
оценку, была ли идентификация второго объекта проведена с использованием как ультразвуковых данных, так и радиолокационных данных, и если да, то дополнительно на оценку, находится ли упомянутый второй объект ближе к транспортному средству, чем бордюр, или дальше от транспортного средства, чем бордюр; или
оценку, что второй объект находится ближе к транспортному средству, чем бордюр, затем на определение, устанавливает ли второй объект границу части возможного парковочного места, и оценку, что второй объект находится дальше от транспортного средства, чем бордюр, затем на отклонение рассмотрения второго объекта в качестве препятствия в этом участке.
11. Транспортное средство по п. 7, в котором компьютер дополнительно запрограммирован на определение, следует ли осуществлять парковку в возможном парковочном месте, будучи дополнительно запрограммированным на оценку того, найдены ли какие-либо препятствия в этом участке с использованием как ультразвуковых данных, так и радиолокационных данных.
RU2014113945A 2013-04-09 2014-04-09 Способ оценки участка для парковки транспортного средства RU2670845C9 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/859,128 US9696420B2 (en) 2013-04-09 2013-04-09 Active park assist object detection
US13/859,128 2013-04-09

Publications (3)

Publication Number Publication Date
RU2014113945A RU2014113945A (ru) 2015-10-20
RU2670845C2 RU2670845C2 (ru) 2018-10-25
RU2670845C9 true RU2670845C9 (ru) 2018-11-30

Family

ID=51567736

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014113945A RU2670845C9 (ru) 2013-04-09 2014-04-09 Способ оценки участка для парковки транспортного средства

Country Status (4)

Country Link
US (1) US9696420B2 (ru)
CN (1) CN104097633B (ru)
DE (1) DE102014206235A1 (ru)
RU (1) RU2670845C9 (ru)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9696420B2 (en) * 2013-04-09 2017-07-04 Ford Global Technologies, Llc Active park assist object detection
KR101439156B1 (ko) * 2013-08-19 2014-09-11 현대자동차주식회사 주차보조시스템을 이용한 기류 검지 및 차량 제어 방법
WO2015081335A2 (en) * 2013-11-29 2015-06-04 Ims Solutions Inc. Advanced context-based driver scoring
EP2905764B1 (en) * 2014-02-10 2021-04-07 Circet Hybrid magnetic-radar detector for space management
JP2016084094A (ja) * 2014-10-28 2016-05-19 アイシン精機株式会社 駐車支援装置
US9725116B2 (en) * 2015-03-27 2017-08-08 Ford Global Technologies, Llc Vehicle and vehicle parking system
DE102016206757A1 (de) 2015-04-28 2016-11-03 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Unterstützung eines Einparkvorganges eines Kraftfahrzeuges
CN104916162B (zh) * 2015-05-28 2017-05-03 惠州华阳通用电子有限公司 泊车位检测方法和***
US9810778B2 (en) 2015-09-14 2017-11-07 Semiconductor Components Industries, Llc Triggered-event signaling with digital error reporting
US9718404B2 (en) 2015-10-01 2017-08-01 Ford Global Technologies, LLCS Parking obstruction locator and height estimator
CN108140319B (zh) * 2015-10-22 2021-09-24 日产自动车株式会社 停车辅助方法及停车辅助装置
US10185319B2 (en) * 2015-11-16 2019-01-22 Ford Global Technologies, Llc Method and device for assisting a parking maneuver
DE102015225415A1 (de) * 2015-12-16 2017-06-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Klassifizieren einer mittels eines distanzbasierten Detektionsverfahrens erkannten Parklücke auf Gültigkeit
US10114113B2 (en) 2016-03-02 2018-10-30 Ford Global Technologies, Llc Ultrasound range correction
KR102513745B1 (ko) 2016-04-15 2023-03-24 주식회사 에이치엘클레무브 운전 지원 장치
US10330644B2 (en) 2016-10-05 2019-06-25 Ford Global Technologies, Llc Systems and methods for humidity determination and uses thereof
US10302596B2 (en) 2016-10-05 2019-05-28 Ford Global Technologies, Llc Systems and methods for humidity determination and uses thereof
US10309931B2 (en) 2016-10-05 2019-06-04 Ford Global Technologies, Llc Systems and methods for humidity determination and uses thereof
CN108082183B (zh) * 2016-11-22 2020-07-10 比亚迪股份有限公司 自动泊车控制***和控制方法、探头模块和车辆
DE102016123391A1 (de) 2016-12-02 2018-06-07 Continental Engineering Services Gmbh Verfahren zur Unterstützung eines Einparkvorganges sowie Parkassistenzvorrichtung
US10369988B2 (en) 2017-01-13 2019-08-06 Ford Global Technologies, Llc Autonomous parking of vehicles inperpendicular parking spots
DE102017206310B4 (de) 2017-04-12 2022-03-10 Ford Global Technologies, Llc Fahrassistenzsystem mit Kurzdistanz-Abstandsbestimmung und Betriebsverfahren
US10049573B1 (en) 2017-04-21 2018-08-14 Ford Global Technologies, Llc Active park assist detection of semi-trailer overhang
US10683034B2 (en) 2017-06-06 2020-06-16 Ford Global Technologies, Llc Vehicle remote parking systems and methods
US10775781B2 (en) 2017-06-16 2020-09-15 Ford Global Technologies, Llc Interface verification for vehicle remote park-assist
US10234868B2 (en) 2017-06-16 2019-03-19 Ford Global Technologies, Llc Mobile device initiation of vehicle remote-parking
US10585430B2 (en) 2017-06-16 2020-03-10 Ford Global Technologies, Llc Remote park-assist authentication for vehicles
US11269067B2 (en) 2017-09-12 2022-03-08 Semiconductor Components Industries, Llc Response-based determination of piezoelectric transducer state
US11194028B2 (en) 2017-09-12 2021-12-07 Semiconductor Components Industries, Llc Measuring resonance parameters of piezoelectric transducers
US10580304B2 (en) 2017-10-02 2020-03-03 Ford Global Technologies, Llc Accelerometer-based external sound monitoring for voice controlled autonomous parking
US10281921B2 (en) 2017-10-02 2019-05-07 Ford Global Technologies, Llc Autonomous parking of vehicles in perpendicular parking spots
US10627811B2 (en) 2017-11-07 2020-04-21 Ford Global Technologies, Llc Audio alerts for remote park-assist tethering
US10336320B2 (en) 2017-11-22 2019-07-02 Ford Global Technologies, Llc Monitoring of communication for vehicle remote park-assist
US10578676B2 (en) 2017-11-28 2020-03-03 Ford Global Technologies, Llc Vehicle monitoring of mobile device state-of-charge
CN108569279A (zh) * 2017-12-15 2018-09-25 蔚来汽车有限公司 用于识别车位的方法和装置
US10814864B2 (en) 2018-01-02 2020-10-27 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10974717B2 (en) 2018-01-02 2021-04-13 Ford Global Technologies, I.LC Mobile device tethering for a remote parking assist system of a vehicle
US10737690B2 (en) 2018-01-02 2020-08-11 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10583830B2 (en) 2018-01-02 2020-03-10 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10585431B2 (en) 2018-01-02 2020-03-10 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10688918B2 (en) 2018-01-02 2020-06-23 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US11148661B2 (en) 2018-01-02 2021-10-19 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10684773B2 (en) 2018-01-03 2020-06-16 Ford Global Technologies, Llc Mobile device interface for trailer backup-assist
US10747218B2 (en) 2018-01-12 2020-08-18 Ford Global Technologies, Llc Mobile device tethering for remote parking assist
US10917748B2 (en) 2018-01-25 2021-02-09 Ford Global Technologies, Llc Mobile device tethering for vehicle systems based on variable time-of-flight and dead reckoning
US10684627B2 (en) 2018-02-06 2020-06-16 Ford Global Technologies, Llc Accelerometer-based external sound monitoring for position aware autonomous parking
US11188070B2 (en) 2018-02-19 2021-11-30 Ford Global Technologies, Llc Mitigating key fob unavailability for remote parking assist systems
US10507868B2 (en) 2018-02-22 2019-12-17 Ford Global Technologies, Llc Tire pressure monitoring for vehicle park-assist
US10732622B2 (en) 2018-04-05 2020-08-04 Ford Global Technologies, Llc Advanced user interaction features for remote park assist
US10683004B2 (en) 2018-04-09 2020-06-16 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10759417B2 (en) 2018-04-09 2020-09-01 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10493981B2 (en) 2018-04-09 2019-12-03 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10793144B2 (en) 2018-04-09 2020-10-06 Ford Global Technologies, Llc Vehicle remote park-assist communication counters
CN108613816B (zh) * 2018-04-13 2020-02-21 江苏大学 基于超声波雷达的自动泊车寻库试验数据采集装置及方法
US10232673B1 (en) * 2018-06-01 2019-03-19 Ford Global Technologies, Llc Tire pressure monitoring with vehicle park-assist
US10384605B1 (en) 2018-09-04 2019-08-20 Ford Global Technologies, Llc Methods and apparatus to facilitate pedestrian detection during remote-controlled maneuvers
EP3624001B1 (en) 2018-09-13 2024-05-01 Volvo Car Corporation Methods and systems for parking line marker detection and pairing and parking spot detection and classification
US10984659B2 (en) * 2018-09-13 2021-04-20 Volvo Car Corporation Vehicle parking availability map systems and methods
US10720058B2 (en) 2018-09-13 2020-07-21 Volvo Car Corporation System and method for camera or sensor-based parking spot detection and identification
US10821972B2 (en) 2018-09-13 2020-11-03 Ford Global Technologies, Llc Vehicle remote parking assist systems and methods
US10717432B2 (en) 2018-09-13 2020-07-21 Ford Global Technologies, Llc Park-assist based on vehicle door open positions
US10967851B2 (en) 2018-09-24 2021-04-06 Ford Global Technologies, Llc Vehicle system and method for setting variable virtual boundary
US10529233B1 (en) 2018-09-24 2020-01-07 Ford Global Technologies Llc Vehicle and method for detecting a parking space via a drone
US10908603B2 (en) 2018-10-08 2021-02-02 Ford Global Technologies, Llc Methods and apparatus to facilitate remote-controlled maneuvers
US10628687B1 (en) 2018-10-12 2020-04-21 Ford Global Technologies, Llc Parking spot identification for vehicle park-assist
US11097723B2 (en) 2018-10-17 2021-08-24 Ford Global Technologies, Llc User interfaces for vehicle remote park assist
US11137754B2 (en) 2018-10-24 2021-10-05 Ford Global Technologies, Llc Intermittent delay mitigation for remote vehicle operation
US11789442B2 (en) 2019-02-07 2023-10-17 Ford Global Technologies, Llc Anomalous input detection
US11195344B2 (en) 2019-03-15 2021-12-07 Ford Global Technologies, Llc High phone BLE or CPU burden detection and notification
US11169517B2 (en) 2019-04-01 2021-11-09 Ford Global Technologies, Llc Initiation of vehicle remote park-assist with key fob
US11275368B2 (en) 2019-04-01 2022-03-15 Ford Global Technologies, Llc Key fobs for vehicle remote park-assist
TWI786311B (zh) * 2019-07-04 2022-12-11 先進光電科技股份有限公司 行動載具輔助系統及其停車控制方法
CN112213728A (zh) * 2019-07-11 2021-01-12 深圳市优必选科技股份有限公司 一种超声测距方法、装置、计算机可读存储介质及机器人
CN111267838B (zh) * 2020-01-20 2021-07-23 北京百度网讯科技有限公司 泊车处理方法、***、装置及车辆控制器
DE102020202188A1 (de) 2020-02-20 2021-08-26 Continental Automotive Gmbh Parkassistenzsystem
DE102020205354A1 (de) 2020-04-28 2021-10-28 Continental Automotive Gmbh Parkassistenzsystem
CN111746525B (zh) * 2020-07-07 2022-06-21 东风柳州汽车有限公司 泊车路径规划方法、装置、设备及存储介质
CN113534166B (zh) * 2021-07-01 2022-04-22 东风汽车集团股份有限公司 一种基于超声波雷达自动泊车的限位器识别***
JP2023027707A (ja) * 2021-08-17 2023-03-02 パナソニックIpマネジメント株式会社 物体検出システムおよび物体検出方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008042597A2 (en) * 2006-09-28 2008-04-10 Sandisk Corporation Flash drive that configures generic bluetooth controller of the drive to be compatible with multiple bluetooth peripheral devices
US20100117812A1 (en) * 2008-11-10 2010-05-13 Lorenz Laubinger System and method for displaying a vehicle surrounding with adjustable point of view
US20110241857A1 (en) * 2008-05-08 2011-10-06 Sabine Brandenburger Driver assistance method for moving a motor vehicle and driver assistance device

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7629899B2 (en) * 1997-10-22 2009-12-08 Intelligent Technologies International, Inc. Vehicular communication arrangement and method
GB2319420A (en) 1996-11-13 1998-05-20 Ford Motor Co Parallel parking aid using radar
US6483441B1 (en) * 1997-09-02 2002-11-19 Thomas F. Hinde Distance indicating device and method
DE19847013A1 (de) * 1998-10-13 2000-04-20 Bosch Gmbh Robert Einparkhilfesystem
US6396535B1 (en) * 1999-02-16 2002-05-28 Mitsubishi Electric Research Laboratories, Inc. Situation awareness system
JP3676616B2 (ja) * 1999-04-28 2005-07-27 本田技研工業株式会社 障害物検出装置
DE19926559A1 (de) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
AU2001259640A1 (en) * 2000-05-08 2001-11-20 Automotive Technologies International, Inc. Vehicular blind spot identification and monitoring system
US7852462B2 (en) * 2000-05-08 2010-12-14 Automotive Technologies International, Inc. Vehicular component control methods based on blind spot monitoring
US6982635B2 (en) * 2000-09-21 2006-01-03 American Calcar Inc. Technique for assisting a vehicle user to make a turn
DE10206764A1 (de) * 2002-02-19 2003-08-28 Bosch Gmbh Robert Verfahren zum Einparken eines Fahrzeugs
DE10232413A1 (de) * 2002-07-17 2004-02-19 Webasto Vehicle Systems International Gmbh Verfahren und Vorrichtung zum Verstellen eines bewegbaren Fahrzeugteils
JP4235051B2 (ja) * 2003-08-29 2009-03-04 トヨタ自動車株式会社 駐車支援装置
US20050075770A1 (en) 2003-10-07 2005-04-07 Taylor Ronald M. Motor vehicle back-up system
US7576767B2 (en) * 2004-07-26 2009-08-18 Geo Semiconductors Inc. Panoramic vision system and method
DE102004038494A1 (de) * 2004-08-07 2006-03-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Sensorsystems
JP3977368B2 (ja) 2004-09-30 2007-09-19 クラリオン株式会社 駐車支援システム
EP1827950B1 (de) * 2004-12-24 2008-05-28 Continental Teves AG & Co. oHG Verfahren zum ermitteln der befahrbarkeit einer parklücke und einparkhilfe-einrichtung
DE102005027165B4 (de) * 2005-06-13 2024-01-25 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ausgabe von Einparkhinweisen
DE102005032095A1 (de) * 2005-07-08 2007-01-18 Robert Bosch Gmbh Parkvorrichtung
US8996172B2 (en) 2006-09-01 2015-03-31 Neato Robotics, Inc. Distance sensor system and method
JP2008114731A (ja) * 2006-11-06 2008-05-22 Fujitsu Ten Ltd 目標物監視装置、及び目標物監視方法
JP4386083B2 (ja) 2007-02-27 2009-12-16 トヨタ自動車株式会社 駐車支援装置
JP4609444B2 (ja) 2007-03-08 2011-01-12 トヨタ自動車株式会社 駐車支援装置
DE102007045562A1 (de) * 2007-09-24 2009-04-02 Robert Bosch Gmbh Steuereinrichtung für eine Anzeigeeinrichtung einer Einparkeinrichtung und Verfahren zur Darstellung
KR101104609B1 (ko) 2007-10-26 2012-01-12 주식회사 만도 차량의 목표주차위치 인식 방법 및 그 시스템
JPWO2009060663A1 (ja) 2007-11-08 2011-03-17 ボッシュ株式会社 駐車支援装置
JP4530060B2 (ja) 2008-02-19 2010-08-25 トヨタ自動車株式会社 駐車支援装置及び方法
US8224500B2 (en) * 2008-09-11 2012-07-17 Deere & Company Distributed knowledge base program for vehicular localization and work-site management
US8378850B2 (en) 2009-09-11 2013-02-19 Ford Global Technologies, Llc Vehicle park assist system and method for parking a vehicle using such system
US20110068953A1 (en) 2009-09-24 2011-03-24 Salvador Toledo Vehicle Park Assist System and Method for Parking a Vehicle Using Such System
US20110080304A1 (en) * 2009-10-07 2011-04-07 Ford Global Technologies, Llc Vehicle Park Assist System and Method for Parking a Vehicle Using Such System
US20110169957A1 (en) * 2010-01-14 2011-07-14 Ford Global Technologies, Llc Vehicle Image Processing Method
US20110260887A1 (en) 2010-04-23 2011-10-27 Ford Global Technologies, Llc Vehicle park assist with steering centering
EP2428431A1 (en) 2010-09-08 2012-03-14 Ford Global Technologies, LLC Vehicele park assist system and method for parking a vehicle using such system
US8571722B2 (en) * 2010-10-22 2013-10-29 Toyota Motor Engineering & Manufacturing North America, Inc. Method for safely parking vehicle near obstacles
DE102011102916A1 (de) 2011-05-31 2012-12-06 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs und Fahrerassistenzsystem für ein Kraftfahrzeug
DE102011113916A1 (de) * 2011-09-21 2013-03-21 Volkswagen Aktiengesellschaft Verfahren zur Klassifikation von Parkszenarien für ein Einparksystem eines Kraftfahrzeugs
EP2769235B1 (en) * 2011-10-19 2023-11-29 Balu Subramanya Directional speed and distance sensor
US8736463B1 (en) * 2012-01-30 2014-05-27 Google Inc. Object bounding box estimation
CN102632837B (zh) * 2012-03-31 2014-01-22 奇瑞汽车股份有限公司 一种辅助泊车***及其控制方法
US9253753B2 (en) * 2012-04-24 2016-02-02 Zetta Research And Development Llc-Forc Series Vehicle-to-vehicle safety transceiver using time slots
US9300423B2 (en) * 2012-04-24 2016-03-29 Zetta Research and Development LLC—ForC Series Device for synchronizing a time base for V2V communictation
US9696420B2 (en) * 2013-04-09 2017-07-04 Ford Global Technologies, Llc Active park assist object detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008042597A2 (en) * 2006-09-28 2008-04-10 Sandisk Corporation Flash drive that configures generic bluetooth controller of the drive to be compatible with multiple bluetooth peripheral devices
US20110241857A1 (en) * 2008-05-08 2011-10-06 Sabine Brandenburger Driver assistance method for moving a motor vehicle and driver assistance device
US20100117812A1 (en) * 2008-11-10 2010-05-13 Lorenz Laubinger System and method for displaying a vehicle surrounding with adjustable point of view

Also Published As

Publication number Publication date
CN104097633A (zh) 2014-10-15
RU2670845C2 (ru) 2018-10-25
DE102014206235A1 (de) 2014-10-09
CN104097633B (zh) 2017-12-15
RU2014113945A (ru) 2015-10-20
US9696420B2 (en) 2017-07-04
US20140300504A1 (en) 2014-10-09

Similar Documents

Publication Publication Date Title
RU2670845C9 (ru) Способ оценки участка для парковки транспортного средства
RU2638587C2 (ru) Способ постановки транспортного средства на стоянку и система для его выполнения
US9409574B2 (en) Vehicle acceleration suppression device and vehicle acceleration suppression method
US9896129B2 (en) Driving assistant system of vehicle and method for controlling the same
US7936283B2 (en) Method for detecting parking area by using range sensor
US11590976B2 (en) Apparatus and method for controlling speed in cooperative adaptive cruise control system
US8957786B2 (en) Enhanced alignment method for park assist
JP4308381B2 (ja) 周辺監視センサ
US8321066B2 (en) Method for determining free spaces in the vicinity of a motor vehicle, in particular in the vicinity relevant to the vehicle operation
US20090128364A1 (en) Parking device
RU2674636C2 (ru) Способ определения расстояния от транспортного средства до объекта и система для его выполнения
CN103287358A (zh) 用于确定物体传感器未对准的方法
JP2018200267A (ja) 上方構造物判定装置及び運転支援システム
CN110456796B (zh) 自动驾驶视觉盲区检测方法及装置
JP7109661B2 (ja) 移動手段周辺の物体が移動手段の運転操作に及ぼす影響を評価する方法
JP5083172B2 (ja) 衝突予測装置
JP2009075638A (ja) 車種判別装置
CN113650607B (zh) 一种低速场景自动驾驶方法、***及汽车
KR102440478B1 (ko) 사각지대 감지장치 및 방법
US20230182722A1 (en) Collision avoidance method and apparatus
JP4823282B2 (ja) 周辺監視センサ
KR101127702B1 (ko) 자동차의 통합 측/후방 안전시스템
JP4924292B2 (ja) 情報処理装置及びプログラム
WO2021229704A1 (ja) 物体認識装置、経路生成装置、駐車支援装置、物体認識システム、経路生成システム及び駐車支援システム
US20230175304A1 (en) Vehicle for recognizing road sign using at least one sensor and method thereof

Legal Events

Date Code Title Description
HE9A Changing address for correspondence with an applicant
TH4A Reissue of patent specification
MM4A The patent is invalid due to non-payment of fees

Effective date: 20210410