RU2689902C2 - Способ обнаружения физических угроз, приближающихся к транспортному средству (варианты), и транспортное средство - Google Patents

Способ обнаружения физических угроз, приближающихся к транспортному средству (варианты), и транспортное средство Download PDF

Info

Publication number
RU2689902C2
RU2689902C2 RU2017121309A RU2017121309A RU2689902C2 RU 2689902 C2 RU2689902 C2 RU 2689902C2 RU 2017121309 A RU2017121309 A RU 2017121309A RU 2017121309 A RU2017121309 A RU 2017121309A RU 2689902 C2 RU2689902 C2 RU 2689902C2
Authority
RU
Russia
Prior art keywords
vehicle
approaching
threat
neural network
sensors
Prior art date
Application number
RU2017121309A
Other languages
English (en)
Other versions
RU2017121309A3 (ru
RU2017121309A (ru
Inventor
Франсуа ШАРЕТТ
Скотт Винсент МАЙЕРС
Лайза СКАРИЯ
Александру Михай ГУРГХИАН
Original Assignee
ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи filed Critical ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи
Publication of RU2017121309A publication Critical patent/RU2017121309A/ru
Publication of RU2017121309A3 publication Critical patent/RU2017121309A3/ru
Application granted granted Critical
Publication of RU2689902C2 publication Critical patent/RU2689902C2/ru

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/01—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles operating on vehicle systems or fittings, e.g. on doors, seats or windscreens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/02—Occupant safety arrangements or fittings, e.g. crash pads
    • B60R21/12—Occupant safety arrangements or fittings, e.g. crash pads which protect the occupants against personal attack from the inside or the outside of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/30—Conjoint control of vehicle sub-units of different type or different function including control of auxiliary equipment, e.g. air-conditioning compressors or oil pumps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/24—Direction of travel

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Emergency Alarm Devices (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

Настоящее изобретение относится к обнаружению физических угроз, приближающихся к транспортному средству. Внешние датчики на транспортном средстве охватывают среду вокруг транспортного средства. Приближающиеся цели, обнаруженные внешними датчиками, могут быть переданы в нейронную сеть для распознавания и/или классификации приближающихся целей как потенциальных угроз. Механизмы отслеживания могут использовать временную информацию для определения, приближается ли угроза к транспортному средству. При обнаружении приближающейся угрозы транспортное средство может активировать одну или более контрмер. Если транспортное средство включает в себя возможность автономного вождения, контрмеры могут включать в себя автоматическое осуществление попытки отъезда на расстояние от приближающейся угрозы. Обеспечивается помощь водителю для определения опасности или угрозы приближающийся к транспортному средству. 3 н. и 17 з.п. ф-лы, 5 ил.

Description

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ
1. Область техники, к которой относится изобретение
Настоящее изобретение в общем относится к области безопасности водителя и/или пассажиров транспортного средства и, в частности, к обнаружению физических угроз, приближающихся к транспортному средству.
2. Связанный уровень техники
Транспортное средство может замедляться или останавливаться, позволяя водителю и/или пассажиру транспортного средства безопасно осуществлять другую деятельность, не связанную с работой транспортного средства. Например, водитель может съехать на обочину и остановить транспортное средство для отправки текстового сообщения, совершения звонка, просмотра карты, оформления документов и т.д. Во время остановки или при движении на малой скорости водителю и/или пассажиру будет легче уделить внимание другой деятельности, не подвергая опасности других участников дорожного движения (например, другие транспортные средства, пешеходов, велосипедистов и т.д.) на проезжей части. Однако при остановке транспортного средства или движении на малой скорости (и даже если транспортное средство не находится вблизи проезжей части) все еще существуют внешние опасности для транспортного средства и/или водителя и пассажиров. Например, к транспортному средству могут приближаться другие транспортные средства или люди с намерением причинить вред транспортному средству и/или его водителю и пассажирам. Когда водитель и/или пассажир выполняет другую деятельность, внимание водителя и/или пассажира может быть сфокусировано на другой деятельности. В связи с этим водитель и/или пассажир может не замечать опасность или угрозу, приближающуюся к транспортному средству.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Заявлен способ для использования в транспортном средстве, причем способ содержит этапы, на которых:
определяют, что траектория объекта, вероятно, приведет к перемещению объекта вблизи транспортного средства, на основе отфильтрованных данных датчиков от одного или более датчиков, установленных снаружи на транспортном средстве;
предоставляют отфильтрованные данные датчиков в качестве входных данных в нейронную сеть;
принимают классификацию угрозы для объекта от нейронной сети; и
указывают классификацию угрозы в кабине транспортного средства.
Причем в заявленном способе прием классификации угрозы для объекта содержит этап, на котором принимают указание, что объект представляет угрозу для водителя и/или пассажиров транспортного средства.
Причем в заявленном способе прием указания, что объект представляет угрозу для водителя и/или пассажиров транспортного средства, содержит этап, на котором принимают указание о приближении оружия к транспортному средству.
Причем в заявленном способе прием указания, что объект представляет угрозу для водителя и/или пассажиров транспортного средства, содержит этап, на котором принимают указание, что на человеке, приближающемся к транспортному средству, надета маска.
Заявленный способ дополнительно содержит этап, на котором активируют контрмеры в транспортном средстве в отношении угрозы, создаваемой объектом.
Причем в заявленном способе прием классификации угрозы для объекта содержит этап, на котором принимают указание, что объект не представляет угрозы для водителя и/или пассажиров транспортного средства.
Заявлен способ для использования в транспортном средстве, при этом способ оповещения водителя и/или пассажира транспортного средства о приближении угрозы к транспортному средству, причем способ содержит этапы, на которых:
определяют, что траектория объекта, вероятно, приведет к перемещению объекта вблизи транспортного средства, что включает в себя этапы, на которых:
используют один или более датчиков, установленных на транспортном средстве, для отслеживания области вблизи транспортного средства на наличие приближающихся объектов; и
фильтруют данные от одного или более датчиков на гетерогенной вычислительной платформе в транспортном средстве для определения, что объект имеет скорость и направление, указывающие приближение объекта к пространству, занимаемому транспортным средством;
предоставляют отфильтрованные данные для приближающегося объекта в качестве входных данных в нейронную сеть;
принимают указание от нейронной сети, что приближающийся объект представляет угрозу для водителя и/или пассажиров транспортного средства; и
активируют контрмеры в транспортном средстве в отношении угрозы.
Причем в заявленном способе транспортное средство имеет множество дверей.
Причем в заявленном способе транспортное средство неподвижно.
Причем в заявленном способе использование одного или более датчиков, установленных на транспортном средстве, для отслеживания области вблизи транспортного средства на наличие приближающихся объектов содержит использование множества датчиков, установленных на транспортном средстве, для отслеживания области, причем множество датчиков включает в себя: по меньшей мере одну камеру, по меньшей мере один лидарный датчик и по меньшей мере один звуковой датчик обнаружения объектов.
Причем в заявленном способе фильтрация данных от одного или более датчиков на гетерогенной вычислительной платформе содержит фильтрацию данных от множества датчиков на гетерогенной вычислительной платформе, причем гетерогенная вычислительная платформа включает в себя: по меньшей мере один центральный блок обработки (CPU), по меньшей мере один графический блок обработки (GPU) и по меньшей мере одну программируемую пользователем вентильную матрицу (FPGA) в транспортном средстве.
Причем в заявленном способе фильтрация данных от одного или более датчиков содержит использование одного или более из: фильтра Калмана и многочастичного фильтра для фильтрации данных от одного или более датчиков.
Причем в заявленном способе фильтрация данных от одного или более датчиков содержит определение оптического потока приближающегося объекта.
Причем в заявленном способе прием указания от нейронной сети о том, что приближающийся объект представляет угрозу для водителя и/или пассажиров транспортного средства, содержит этап, на котором принимают указание, что приближающийся объект представляет собой одно из: человека с оружием, человека в маске и оскалившейся собаки.
Причем в заявленном способе активация контрмер в транспортном средстве содержит активацию контрмер, включающих в себя одно или более из: записи приближающегося объекта, блокировки дверей транспортного средства, воспроизведения звукового предупреждения в кабине транспортного средства, обеспечения звука клаксона транспортного средства, мигания огней транспортного средства.
Причем в заявленном способе транспортное средство представляет собой автономное транспортное средство; и
в котором активация контрмер в транспортном средстве содержит автоматическое осуществление попытки маневра отъезда автономного транспортного средства от приближающегося объекта.
Заявлено транспортное средство, причем транспортное средство содержит:
один или более установленных снаружи датчиков для отслеживания области вблизи транспортного средства;
один или более процессоров;
системную память, соединенную с одним или более процессорами, причем системная память хранит инструкции, исполняемые одним или более процессорами;
причем один или более процессоров выполнены с возможностью исполнения инструкций, сохраненных в системной памяти, в ответ на физическую угрозу для водителя и/или пассажиров транспортного средства, включая следующее:
определение, что траектория объекта, вероятно, приведет к перемещению объекта вблизи транспортного средства, что включает в себя:
использование одного или более установленных снаружи датчиков для отслеживания области вблизи транспортного средства на наличие приближающихся объектов; и
фильтрацию данных от одного или более датчиков для определения, что объект имеет скорость и направление, указывающие приближение объекта к пространству, занимаемому транспортным средством;
предоставление отфильтрованных данных для приближающегося объекта в качестве входных данных в нейронную сеть;
прием указания от нейронной сети о том, что приближающийся объект представляет угрозу для водителя и/или пассажиров транспортного средства; и
активацию контрмер в транспортном средстве в отношении угрозы.
Причем в заявленном транспортном средстве один или более установленных снаружи датчиков включают в себя одно или более из: камеры, лидарного датчика, радиолокационного датчика и ультразвукового датчика.
Причем в заявленном транспортном средстве один или более процессоров, выполненных с возможностью исполнения инструкций для приема указания от нейронной сети о том, что приближающийся объект представляет угрозу для водителя и/или пассажиров транспортного средства, содержат один или более процессоров, выполненных с возможностью исполнения инструкций для приема указания, что приближающийся объект представляет собой одно из: человека с оружием, человека в маске или оскалившейся собаки.
Причем в заявленном транспортном средстве один или более процессоров, выполненных с возможностью исполнения инструкций для активации контрмер в транспортном средстве, содержат один или более процессоров, выполненных с возможностью исполнения инструкций для активации контрмер, включающих в себя одно или более из: записи приближающегося объекта, блокировки дверей транспортного средства, воспроизведения звукового предупреждения в кабине транспортного средства, обеспечения звука клаксона транспортного средства, мигания огней транспортного средства.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Конкретные признаки, аспекты и преимущества настоящего изобретения станут лучше понятны со ссылкой на нижеследующее описание и сопровождающие чертежи, на которых:
Фигура 1 иллюстрирует примерную структурную схему вычислительного устройства.
Фигура 2 иллюстрирует примерную среду, которая обеспечивает обнаружение физических угроз, приближающихся к транспортному средству.
Фигура 3 иллюстрирует блок-схему последовательности операций примерного способа обнаружения физических угроз, приближающихся к транспортному средству.
Фигуры 4A и 4B иллюстрируют пример транспортного средства, активирующего контрмеры в ответ на приближающуюся угрозу.
ПОДРОБНОЕ ОПИСАНИЕ
Настоящее изобретение относится к способам, системам и компьютерным программным продуктам для обнаружения физических угроз, приближающихся к транспортному средству. Внешние датчики на транспортном средстве (например, камера кругового обзора) могут быть использованы для обнаружения различных опасных ситуаций. Внешние датчики могут быть использованы в ситуациях, в которых водитель и/или пассажиры транспортного средства более уязвимы к нападениям, например, когда транспортное средство стоит или движется на малой скорости. В одном аспекте камера установлена на крыше транспортного средства для более полного охвата среды вокруг транспортного средства. Для обнаружения приближающихся угроз, таких как, например, человек в маске, человек, держащий оружие (нож или пистолет), оскалившаяся собака и т.д., может быть использована нейронная сеть.
В частности, для обнаружения приближающихся целей на изображении кругового обзора может быть использован оптический поток. Приближающиеся цели могут быть переданы в нейронную сеть для распознавания и/или классификации приближающихся целей как потенциальные засады, нападения и т.д. Механизмы отслеживания (например, фильтры Калмана, многочастичные фильтры и т.д.) могут использовать временную информацию для определения, приближается ли угроза к транспортному средству.
При обнаружении приближающейся угрозы транспортное средство может активировать одну или более контрмер для устранения угрозы. Контрмеры могут включать в себя одно или более из: записи приближающейся цели, блокировки дверей, воспроизведения звукового предупреждения в кабине транспортного средства, обеспечения звука клаксона и мигания огней. Если транспортное средство включает в себя возможность автономного вождения, транспортное средство может автоматически осуществить попытку отъезда на расстояние от приближающейся угрозы.
Аспекты изобретения могут быть реализованы в вычислительных устройствах множества различных типов. Фигура 1 иллюстрирует примерную структурную схему вычислительного устройства 100. Вычислительное устройство 100 может быть использовано для выполнения различных процедур, например, рассмотренных в настоящем документе. Вычислительное устройство 100 может функционировать в качестве сервера, клиента или любого другого вычислительного объекта. Вычислительное устройство 100 может выполнять различные функции связи и передачи данных, которые описаны в настоящем документе, и может выполнять одну или более прикладных программ, таких как прикладные программы, описанные в настоящем документе. Вычислительное устройство 100 может представлять собой любое из широкого множества вычислительных устройств, например, мобильный телефон или другое мобильное устройство, настольный компьютер, портативный компьютер, компьютер-сервер, карманный компьютер, планшетный компьютер и т.п.
Вычислительное устройство 100 включает в себя один или более процессоров 102, одно или более устройств 104 памяти, один или более интерфейсов 106, одно или более запоминающих устройств 108 большой емкости, одно или более устройств 110 ввода/вывода (I/O) и устройство 130 отображения, все из которых подключены к шине 112. Процессор/процессоры 102 включает/включают в себя один или более процессоров или контроллеров, которые исполняют инструкции, сохраненные в устройстве/устройствах 104 памяти и/или запоминающем устройстве/устройствах 108 большой емкости. Процессор/процессоры 102 также может/могут включать в себя различные типы компьютерных запоминающих носителей, например, кэш-память.
Устройство/устройства 104 памяти включает/включают в себя различные компьютерные запоминающие носители, такие как энергозависимое запоминающее устройство (например, запоминающее устройство 114 с произвольным доступом (RAM)) и/или энергонезависимое запоминающее устройство (например, постоянное запоминающее устройство (ROM) 116). Устройство/устройства 104 памяти также может/могут включать в себя перезаписываемое ROM, например, флэш-память.
Запоминающее устройство/устройства 108 большой емкости включает/включают в себя различные компьютерные запоминающие носители, такие как магнитные ленты, магнитные диски, оптические диски, твердотельная память (например, флэш-память) и т.д. Как изображено на Фигуре 1, конкретное запоминающее устройство большой емкости представляет собой накопитель 124 на жестких дисках. Различные накопители также могут быть включены в запоминающее устройство/устройства 108 большой емкости для обеспечения чтения и/или записи на различные считываемые компьютером носители. Запоминающее устройство/устройства 108 большой емкости включает/включают в себя съемный носитель 126 и/или несъемный носитель.
Устройство/устройства 110 ввода/вывода (I/O) включает/включают в себя различные устройства, которые позволяют ввод или извлечение данных и/или другой информации в/из вычислительного устройства 100. Примерные устройства 110 ввода/вывода включают в себя устройства управления указателем, клавиатуры, клавишные панели, сканеры штрихкодов, микрофоны, мониторы или другие устройства отображения, динамики, принтеры, карты сетевых интерфейсов, модемы, камеры, объективы, радиолокаторы, CCD или другие устройства захвата изображений и т.п.
Устройство 130 отображения включает в себя устройство любого типа, выполненное с возможностью отображения информации одному или более пользователям вычислительного устройства 100. Примеры устройства 130 отображения включают в себя монитор, терминал с дисплеем, видеопроектор и т.п.
Интерфейс/интерфейсы 106 включает/включают в себя различные интерфейсы, которые обеспечивают взаимодействие вычислительного устройства 100 с другими системами, устройствами или вычислительными средами, а также людьми. Примерные интерфейсы 106 могут включать в себя любое количество различных сетевых интерфейсов 120, таких как интерфейсы для персональных сетей (PAN), локальных сетей (LAN), глобальных сетей (WAN), беспроводных сетей (например, сетей коммуникации ближнего поля (NFC), Bluetooth, Wi-Fi и т.д.) и интернета. Другие интерфейсы включают в себя пользовательский интерфейс 118 и интерфейс 122 периферийных устройств.
Шина 112 обеспечивает связь процессора/процессоров 102, устройства/устройств 104 памяти, интерфейса/интерфейсов 106, запоминающего устройства/устройств 108 большой емкости и устройства/устройств 110 ввода/вывода друг с другом, а также с другими устройствами или компонентами, подключенными к шине 112. Шина 112 представляет один или более из различных типов структур шины, таких как системная шина, шина PCI, шина IEEE 1394, USB-шина и т.д.
Фигура 2 иллюстрирует примерную среду 200, которая обеспечивает обнаружение физических угроз, приближающихся к транспортному средству. Среда 200 включает в себя транспортное средство 201, такое как, например, легковой автомобиль, грузовой автомобиль, автобус или мотоцикл. Транспортное средство 201 может вмещать водителя (не показан) и, возможно, одного или более других пассажиров (не показаны). Транспортное средство 201 может включать в себя множество дверей (например, две двери или четыре двери). Среда 200 также включает в себя приближающийся объект 221, такой как, например, человек, животное, объект, переносимый человеком, и т.д.
Транспортное средство 201 включает в себя внешние датчики 202, фильтр 207, нейронную сеть 208, дисплей 209, модуль 211 реагирования и компоненты 213 транспортного средства. Внешние датчики 202 установлены снаружи на транспортном средстве 201. Внешние датчики 202 включают в себя камеру/камеры 203, радиолокационный датчик/датчики 204 и ультразвуковой датчик/датчики 206. Внешние датчики 202 также могут включать в себя датчики других типов (не показаны), такие как, например, акустические датчики, лидарные датчики и электромагнитные датчики. Внешние датчики 202 могут отслеживать объекты вблизи транспортного средства 201. Внешние датчики 202 могут выводить данные датчиков, указывающие положение и оптический поток (т.е. направление и скорость) отслеживаемых объектов. На основе данных датчиков транспортное средство 201 может определять, приближается ли объект к транспортному средству 201.
Фильтр 207 (например, фильтр Калмана, многочастичный фильтр и т.д.) может иметь доступ к данным датчиков, выводимым внешними датчиками 202. Фильтр 207 может формировать отфильтрованные данные датчиков путем сохранения данных датчиков для объектов, которые приближаются к транспортному средству 201, и отфильтровывания данных датчиков для объектов, которые не приближаются к транспортному средству 201. Данные датчиков для объектов, не приближающихся к транспортному средству 201 (например, объектов, имеющих траекторию, которая вряд ли пересечется с транспортным средством 201), могут быть проигнорированы. Данные датчиков для объектов, приближающихся к транспортному средству 201, могут быть переданы в модуль 208 нейронной сети.
Модуль 208 нейронной сети может принимать отфильтрованные данные датчиков для объектов, приближающихся к транспортному средству 201. Модуль 208 нейронной сети может обрабатывать данные датчиков для каждого приближающегося объекта для определения вероятности того, что объект представляет угрозу для водителя и/или пассажиров транспортного средства 201. Модуль 208 нейронной сети может классифицировать каждый приближающийся объект как представляющий угрозу или не представляющий угрозу объект. Альтернативно модуль 208 нейронной сети может вычислять вероятность угрозы для каждого приближающегося объекта.
Модуль 208 нейронной сети может включать в себя нейронную сеть с архитектурой в соответствии с многослойной (или «глубокой») моделью. Многослойная модель нейронной сети может включать в себя входной слой, множество скрытых слоев и выходной слой. Многослойная модель нейронной сети также может включать в себя слой потерь. Для классификации данных датчиков (например, изображения) значения в данных датчиков (например, значения пикселей) назначаются входным узлам и затем передаются через множество скрытых слоев нейронной сети. Множество скрытых слоев может выполнять ряд нелинейных преобразований. В конце преобразований выходной узел выдает значение, которое соответствует классификации (например, представляет угрозу или не представляет угрозу), выведенную нейронной сетью.
Нейронная сеть может быть обучена определению различий между необходимыми классификациями, такими как, например, не представляющие угрозу люди, люди в маске, люди с ножом, люди с пистолетом и другие потенциальные угрозы. Нейронная сеть может быть обучена обнаружению и отслеживанию обычных пешеходов для определения, приближаются ли они к транспортному средству 201, и с какой скоростью. Нейронная сеть также может быть обучена обнаружению, приближается ли множество людей к транспортному средству 201, и разграничению между угрозами и отсутствием угроз.
Классификации объектов (и/или вероятности угроз) для приближающихся объектов могут быть представлены на дисплее 209. Даже когда приближающийся объект не представляет угрозы, водитель и/или пассажиры транспортного средства могут иметь необходимость узнать о приближающемся объекте. Классификации объектов для приближающихся объектов (и/или вероятности угроз) также могут быть переданы в модуль 211 реагирования. На основе классификации (и/или вероятности угрозы) для приближающегося объекта модуль 211 реагирования может побуждать транспортное средство 201 к реагированию определенным образом.
Например, если приближающийся объект классифицирован как угроза, и/или вероятность угрозы для приближающегося объекта выше порогового значения, модуль 212 принятия контрмер может активировать контрмеры в отношении приближающегося объекта. Модуль 212 принятия контрмер может инструктировать камеру/камеры 203 для записи приближающегося объекта. Модуль 212 принятия контрмер также может преобразовывать конфигурацию компонентов 213 транспортного средства, например, осуществлять блокировку дверей транспортного средства 201, активацию клаксона транспортного средства 201, мигание передних фар и задних фонарей транспортного средства 201, воспроизведение звукового предупреждения в кабине транспортного средства 201, автоматическое совершение телефонного звонка в 911 и т.д. Если транспортное средство 201 включает в себя возможность автономного вождения, модуль 212 принятия контрмер может побуждать транспортное средство 201 к отъезду на расстояние от приближающегося объекта (возможно, в сочетании с другими контрмерами).
Компоненты транспортного средства 201 могут быть связаны друг с другом по сети (или быть частью сети), такой как, например, PAN, LAN, WAN, шина локальной сети контроллеров (CAN) и даже интернет. Соответственно компоненты транспортного средства 201, а также любые другие подключенные компьютерные системы и их компоненты могут создавать связанное с данными сообщение и обмениваться связанным с данными сообщением (например, нагрузки коммуникации ближнего поля (NFC), пакеты Bluetooth, датаграммы протокола интернет (IP) и другие протоколы более высокого уровня, которые используют IP-датаграммы, такие как, протокол управления передачей (TCP), протокол передачи гипертекста (HTTP), простой протокол передачи почты (SMTP) и т.д.) по сети.
Транспортное средство 201 может включать в себя гетерогенную вычислительную платформу с процессорами множества разных типов и в разном количестве. Например, гетерогенная вычислительная платформа может включать в себя по меньшей мере один центральный блок обработки (CPU), по меньшей мере один графический блок обработки (GPU) и по меньшей мере одну программируемую пользователем вентильную матрицу (FPGA). Аспекты изобретения могут быть реализованы в процессорах разных типов и разного количества.
Фигура 3 иллюстрирует блок-схему последовательности операций примерного способа 300 обнаружения физических угроз, приближающихся к транспортному средству. Способ 300 будет описан в отношении компонентов и данных компьютерной архитектуры 200.
Способ 300 включает в себя этап, на котором определяют, что траектория объекта, вероятно, приведет к перемещению объекта вблизи транспортного средства (301). Например, транспортное средство 201 может определять, что траектория приближающегося объекта 221, вероятно, приведет к перемещению приближающегося объекта 221 вблизи транспортного средства 201.
Определение того, что траектория объекта, вероятно, приведет к перемещению объекта вблизи транспортного средства, включает в себя этап, на котором используют один или более датчиков, установленных на транспортном средстве, для отслеживания области вблизи транспортного средства на наличие приближающихся объектов (302). Например, внешние датчики 202 могут отслеживать область 231 на наличие приближающихся объектов. В одном аспекте область 231 представляет собой область, проходящую на 360 градусов вокруг транспортного средства 201. При отслеживании области 231 внешние датчики 202 могут генерировать данные 222 датчиков на основе распознавания объектов в области 231. Данные 222 датчиков могут включать в себя оптический поток (т.е. скорость и направление) приближающегося объекта 221 (а также оптический поток любых других объектов в пределах области 231).
Определение того, что траектория объекта, вероятно, приведет к перемещению объекта вблизи транспортного средства, включает в себя этап, на котором фильтруют данные от одного или более датчиков на гетерогенной вычислительной платформе в транспортном средстве для определения, что объект имеет скорость и направление, указывающие приближение объекта к пространству, занимаемому транспортным средством (303). Например, фильтр 207 может фильтровать данные 222 датчиков, получая отфильтрованные данные 223 датчиков. Отфильтрованные данные 223 датчиков включают в себя данные датчиков для любых объектов, имеющих оптический поток (например, скорость и направление), указывающий приближение объекта к пространству, занимаемому транспортным средством 201. Например, отфильтрованные данные 223 датчиков могут включать в себя скорость и направление приближающегося объекта 221. Скорость и направление приближающегося объекта 221 могут указывать, что траектория приближающегося объекта 221, вероятно, пересечет пространство, занимаемое транспортным средством 201.
Способ 300 включает в себя этап, на котором предоставляют отфильтрованные данные для приближающегося объекта в качестве входных данных в нейронную сеть (304). Например, фильтр 207 может предоставлять отфильтрованные данные 223 датчиков в качестве входных данных в модуль 208 нейронной сети. Модуль 208 нейронной сети может обрабатывать отфильтрованные данные 223 датчиков для вывода классификации 224 объекта (например, представляющий угрозу или не представляющий угрозы) для приближающегося объекта 221. Модуль 208 нейронной сети также может обрабатывать отфильтрованные данные 223 датчиков для вывода классификаций для других объектов, приближающихся к транспортному средству 201. Классификация 224 объекта может быть передана на дисплей 209 и в модуль 211 реагирования.
Способ 300 включает в себя этап, на котором принимают классификацию угрозы для приближающегося объекта от нейронной сети (305). Например, дисплей 209 и модуль 211 реагирования могут принимать классификацию 224 для приближающегося объекта 221. Дисплей 209 может представлять классификацию 224 объекта водителю и/или пассажирам транспортного средства 201 для указания: (a) что приближающийся объект 221 приближается к транспортному средству 201, и (b) представляет ли приближающийся объект 221 угрозу. На основе классификации 224 объекта модуль 211 реагирования может инициировать или может не инициировать реакцию. Если классификация 224 объекта указывает, что приближающийся объект 221 не представляет угрозы (например, приближающийся объект 221 классифицирован как не представляющий опасности пешеход), модуль 211 реагирования может не предпринимать никакого дальнейшего действия.
С другой стороны, если классификация 224 объекта указывает, что приближающийся объект 221 представляет угрозу (например, приближающийся объект 221 классифицирован как человек в маске и/или с оружием), модуль 211 реагирования может инструктировать модуль 212 принятия контрмер инициировать одну или более контрмеру в отношении угрозы. В ответ модуль 212 принятия контрмер может подавать команду 227 записи камере/камерам 203. Команда 227 записи инструктирует камеру/камеры 203 записывать приближение приближающегося объекта 221. Модуль 212 принятия контрмер также может подавать команды 226 принятия контрмер компонентам 213 транспортного средства. Команды 226 принятия контрмер могут инструктировать компоненты 213 транспортного средства принимать одну или более контрмер, в отношении угрозы, создаваемой приближающимся объектом 221. Контрмеры могут включать в себя блокировку дверей транспортного средства 201, активацию клаксона транспортного средства 201, мигание передних фар и/или задних фонарей транспортного средства 201, воспроизведение звукового предупреждения в кабине транспортного средства 201, автоматическое осуществление телефонного звонка в 911 и т.д. Если транспортное средство 201 включает в себя возможность автономного вождения, модуль 212 принятия контрмер может побуждать транспортное средство 201 к отъезду на расстояние от приближающегося объекта 221 (возможно, в сочетании с другими контрмерами).
Аспекты изобретения полезны как для гражданских лиц, так и для сотрудников служб оперативного реагирования. Гражданские лица и сотрудники служб оперативного реагирования могут осуществлять деятельность в кабине транспортного средства, не связанную с вождением. Эта деятельность может требовать достаточного внимания так, что они не могут одновременно выполнять деятельность и следить за приближающимися объектами вблизи транспортного средства. Например, гражданский водитель может съехать на обочину и припарковать транспортное средство для просмотра карты. Во время просмотра карты водитель может быть предупрежден о приближающемся человеке в маске. Подобным образом сотрудник полиции может припарковаться для составления протокола. Во время составления протокола сотрудник полиции может быть предупрежден о приближающемся человеке с оружием.
Фигуры 4A и 4B иллюстрируют пример транспортного средства 401, активирующего контрмеры в ответ на приближающуюся угрозу. Как изображено на Фигуре 4A, человек 411 приближается к транспортному средству 401. Камера 406 (камера кругового обзора) может захватывать изображение человека 411. Нейронная сеть в транспортном средстве 401 может обрабатывать изображение для классификации человека 411 как угрозы. Обратимся к Фигуре 4B, в ответ на классификацию человека 411 как угрозы транспортное средство 401 может активировать дверные замки 403 и мигание передних фар 402 и задних фонарей 404.
В одном аспекте один или более процессоров выполнены с возможностью исполнения инструкций (например, считываемых компьютером инструкций, исполняемых компьютером инструкций и т.д.) для выполнения любой из множества описанных операций. Один или более процессоров могут иметь доступ к информации из системной памяти и/или могут сохранять информацию в системной памяти. Один или более процессоров могут преобразовывать информацию между различными форматами, такими как, например, данные датчиков, отфильтрованные данные датчиков, классификации объектов, команды принятия контрмер и т.д.
Системная память может быть связана с одним или более процессорами и может хранить инструкции (например, считываемые компьютером инструкции, исполняемые компьютером инструкции и т.д.), исполняемые одним или более процессорами. Системная память также может быть выполнена с возможностью хранения любого из множества различных типов данных, генерируемых описанными компонентами, таких как, например, данные датчиков, отфильтрованные данные датчиков, классификации объектов, команды принятия контрмер и т.д.
В вышеизложенном описании сделана ссылка на сопровождающие чертежи, которые образуют его часть, и на которых путем иллюстрации показаны конкретные реализации, в соответствии с которыми изобретение может быть осуществлено на практике. Следует понимать, что могут быть использованы другие реализации, и могут быть выполнены изменения без отклонения от объема охраны настоящего изобретения. Ссылки в описании на «один вариант выполнения», «вариант выполнения», «примерный вариант выполнения» и т.д. указывают, что описанный вариант выполнения может включать в себя конкретный признак, структуру или характеристику, но каждый вариант выполнения необязательно включает в себя конкретный признак, структуру или характеристику. Кроме того, такие фразы необязательно ссылаются на один и тот же вариант выполнения. Дополнительно, при описании конкретного признака, структуры или характеристики в связи с вариантом выполнения предполагается, что они находятся в пределах знания специалиста в области техники для осуществления такого признака, структуры или характеристики в связи с другими вариантами выполнения, описанными или нет в явной форме.
Реализации раскрытых в настоящем документе систем, устройств и способов могут содержать или использовать компьютер специального назначения или общего назначения, включающий в себя компьютерное аппаратное обеспечение, такое как, например, один или более процессоров и системная память, которые рассмотрены в настоящем документе. Реализации в пределах объема настоящего изобретения также могут включать в себя физический и другой считываемый компьютером носитель для переноса или хранения исполняемых компьютером инструкций и/или структур данных. Такие считываемые компьютером носители могут представлять собой любые доступные носители, к которым может быть получен доступ посредством компьютерной системы общего назначения или специального назначения. Считываемые компьютером носители, которые хранят исполняемые компьютером инструкции, представляют собой компьютерные запоминающие носители (устройства). Считываемые компьютером носители, которые переносят исполняемые компьютером инструкции, представляют собой среду передачи данных. Таким образом, путем примера и без ограничения варианты выполнения изобретения могут содержать по меньшей мере два совершенно разных вида считываемых компьютером носителей: компьютерные запоминающие носители (устройства) и среду передачи данных.
Компьютерные запоминающие носители (устройства) включают в себя RAM, ROM, EEPROM, CD-ROM, твердотельные накопители («SSD») (например, на основе RAM), флэш-память, память с изменением фазового состояния («PCM»), другие типы памяти, другие запоминающие устройства на оптических дисках, запоминающие устройства на магнитных дисках или другие магнитные запоминающие устройства, или любые другие носители, которые могут быть использованы для хранения требуемого средства программного кода в виде исполняемых компьютером инструкций или структур данных, и к которым может быть получен доступ посредством компьютера общего назначения или специального назначения.
Реализация раскрытых в настоящем документе устройств, систем и способов может осуществлять связь через компьютерную сеть. «Сеть» определена как один или более каналов передачи данных, которые позволяют передачу электронных данных между компьютерными системами и/или модулями и/или другими электронными устройствами. При передаче или предоставлении информации через сеть или другое коммуникационное соединение (проводное, беспроводное или сочетание проводного или беспроводного) в компьютер, компьютер рассматривает соединение как среду передачи данных. Среда передачи данных может включать в себя сеть и/или каналы передачи данных, которые могут быть использованы для переноса требуемого средства программного кода в виде исполняемых компьютером инструкций или структур данных, и к которым может быть получен доступ посредством компьютера общего назначения или специального назначения. Сочетания вышеописанных средств также должны быть включены в пределы объема охраны считываемого компьютером носителя.
Исполняемые компьютером инструкции содержат, например, инструкции и данные, которые при исполнении в процессоре побуждают компьютер общего назначения, компьютер специального назначения или устройство обработки специального назначения к выполнению некоторой функции или группы функций. Исполняемые компьютером инструкции могут представлять собой, например, двоичные коды, инструкции промежуточного формата, такие как язык ассемблера, или даже исходный код. Хотя объект описан языком, характерным для структурных признаков и/или методологических действий, следует понимать, что объект, определяемый приложенной формулой изобретения, необязательно ограничен описанными выше признаками или действиями. Наоборот, описанные признаки и действия раскрыты в качестве примерных форм реализации формулы изобретения.
Специалисту в области техники будет понятно, что изобретение может быть осуществлено на практике в сетевых вычислительных средах с множеством типов конфигураций компьютерных систем, включая компьютер на приборной панели или другой компьютер транспортного средства, персональные компьютеры, настольные компьютеры, переносные компьютеры, процессоры обработки сообщений, портативные устройства, многопроцессорные системы, микропроцессорную или программируемую бытовую электронику, сетевые персональные компьютеры, миникомпьютеры, большие электронно-вычислительные машины, мобильные телефоны, карманные персональные компьютеры, планшетные компьютеры, пейджеры, маршрутизаторы, переключатели, различные запоминающие устройства и т.п. Изобретение также может быть осуществлено на практике в распределенных системных средах, в которых и локальные, и удаленные компьютерные системы, которые связаны (проводными каналами передачи данных, беспроводными каналами передачи данных или сочетанием проводных и беспроводных каналов передачи данных) по сети, выполняют задачи. В распределенной системной среде программные модули могут быть расположены как в локальных, так и в удаленных запоминающих устройствах.
Дополнительно, при необходимости, описанные в настоящем документе функции могут быть выполнены в одном или более элементов из: аппаратного обеспечения, программного обеспечения, аппаратно-программного обеспечения, цифровых компонентов или аналоговых компонентов. Например, одна или более интегральных схем специального назначения (ASIC) могут быть запрограммированы с возможностью выполнения одной или более описанных в настоящем документе систем и процедур. Определенные термины используются во всем описании и формуле изобретения для обозначения конкретных системных компонентов. Как будет понятно специалисту в области техники, компоненты могут быть названы разными названиями. Настоящий документ не предусматривает различие между компонентами, которые отличаются по названию, а не по функции.
Следует отметить, что рассмотренные выше варианты выполнения датчиков могут содержать компьютерное аппаратное обеспечение, программное обеспечение, аппаратно-программное обеспечение или любое их сочетание для выполнения по меньшей мере части их функций. Например, датчик может включать в себя компьютерный код, выполненный с возможностью исполнения в одном или более процессорах, и может включать в себя аппаратную логику/электрическую схему, управляемую компьютерным кодом. Эти примерные устройства обеспечены в настоящем документе в целях иллюстрации и не предназначены для ограничения. Варианты выполнения настоящего изобретения могут быть реализованы в дополнительных типах устройств, которые должны быть известны специалисту в области техники.
По меньшей мере некоторые варианты выполнения изобретения направлены на компьютерные программные продукты, содержащие такую логику (например, в форме программного обеспечения), сохраненную на любом используемом компьютером носителе. Такое программное обеспечение при исполнении в одном или более устройствах обработки данных побуждает устройство работать так, как описано в настоящем документе.
Хотя выше описаны различные варианты выполнения настоящего изобретения, следует понимать, что они представлены исключительно путем примера и без ограничения. Специалисту в области техники будет понятно, что различные изменения в форме и деталях могут быть выполнены без отклонения от замысла и объема охраны изобретения. Таким образом, широта и объем охраны настоящего изобретения не должны быть ограничены каким-либо из вышеописанных примерных вариантов выполнения, а должны быть определены только в соответствии со следующей далее формулой изобретения и ее эквивалентами. Вышеприведенное описание представлено в целях иллюстрации и описания. Оно не предназначено быть исчерпывающим или ограничивающим изобретение точными раскрытыми формами. Многие модификации и изменения возможны в свете вышеприведенного замысла. Дополнительно, следует отметить, что любая или все из вышеупомянутых альтернативных реализаций могут быть использованы в любом требуемом сочетании для образования дополнительных гибридных реализаций изобретения.

Claims (41)

1. Способ обнаружения физических угроз, приближающихся к транспортному средству, причем способ содержит этапы, на которых:
определяют, что траектория первого объекта, вероятно, приведет первый объект и соответствующий второй объект к перемещению вблизи транспортного средства, на основе отфильтрованных данных датчиков от одного или более датчиков, установленных снаружи на транспортном средстве;
предоставляют отфильтрованные данные датчиков в качестве входных данных в нейронную сеть;
принимают классификацию угрозы от нейронной сети, классифицирующую первый объект и соответствующий второй объект, совместно, как угрозу не от транспортного средства для пассажира транспортного средства;
указывают классификацию угрозы в кабине транспортного средства; и
автоматически маневрируют транспортным средством, чтобы отвести его от первого объекта и второго объекта.
2. Способ по п. 1, в котором прием классификации угрозы содержит этап, на котором принимают указание, что первый объект является человеком и соответствующий второй объект является оружием, которым владеет человек.
3. Способ по п. 1, в котором прием классификации угрозы содержит этап, на котором принимают указание о приближении оружия к транспортному средству.
4. Способ по п. 1, в котором прием классификации угрозы содержит этап, на котором принимают указание, что первый объект является человеком и соответствующий второй объект является маской, надетой на человека.
5. Способ по п. 1, содержащий также этап, на котором активируют контрмеры для отпугивания угрозы, исходящей не от транспортного средства.
6. Способ по п. 1, в котором прием классификации угрозы содержит этап, на котором принимают указание, что первый объект является собакой и соответствующий второй объект является зубами собаки.
7. Способ по п. 1, содержащий также этап, на котором автоматически активируют контрмеры в транспортном средстве, включающие в себя одно или более из: записи первого объекта, блокировки дверей транспортного средства, совершение телефонного звонка в службы экстренной помощи, воспроизведения звукового предупреждения в кабине транспортного средства, обеспечения звука клаксона транспортного средства или мигания огней транспортного средства.
8. Способ обнаружения физических угроз, приближающихся к транспортному средству, причем способ содержит этапы, на которых:
определяют, что траектория объекта, вероятно, приведет к перемещению объекта вблизи транспортного средства, что включает в себя этапы, на которых:
используют один или более датчиков, установленных на транспортном средстве, для отслеживания области вблизи транспортного средства на наличие приближающихся объектов; и
фильтруют данные от одного или более датчиков на гетерогенной вычислительной платформе в транспортном средстве для определения, что объект имеет скорость и направление, указывающие приближение объекта к пространству, занимаемому транспортным средством;
предоставляют отфильтрованные данные для приближающегося объекта в качестве входных данных в нейронную сеть;
принимают указание от нейронной сети, что приближающийся объект и второй объект, связанный с приближающимся объектом, совместно, представляет угрозу не от транспортного средства для пассажира транспортного средства, на основании, по меньшей мере частично, идентификации второго объекта; и
активируют контрмеры в транспортном средстве в отношении угрозы, исходящей не от транспортного средства, включающие в себя автоматическое осуществление попытки маневрирования транспортным средством, чтобы отвести в сторону пассажира транспортного средства от обоих и приближающегося объекта и второго объекта.
9. Способ по п. 8, в котором активизация контрмер в транспортном средстве в отношении угрозы, исходящей не от транспортного средства, содержит автоматическое совершение телефонного звонка в службы экстренной помощи.
10. Способ по п. 8, в котором прием указания от нейронной сети, что приближающийся объект и второй объект, связанный с приближающимся объектом, совместно, представляет угрозу не от транспортного средства содержит этап, на котором принимают вероятность угрозы от нейронной сети.
11. Способ по п. 8, в котором использование одного или более датчиков, установленных на транспортном средстве, для отслеживания области вблизи транспортного средства на наличие приближающихся объектов содержит использование по меньшей мере двух из: камеры, лидарного датчика и звукового датчика обнаружения объектов, для отслеживания области вблизи транспортного средства на наличие приближающихся объектов.
12. Способ по п. 11, в котором фильтрация данных от одного или более датчиков на гетерогенной вычислительной платформе содержит фильтрацию данных от множества датчиков на по меньшей мере двух из: центральном блоке обработки (CPU), графическом блоке обработки (GPU) и программируемой пользователем вентильной матрице (FPGA) в транспортном средстве.
13. Способ по п. 8, в котором фильтрация данных от одного или более датчиков содержит фильтрацию данных, используя один или более из: фильтр Калмана и многочастичный фильтр.
14. Способ по п. 8, в котором фильтрация данных от одного или более датчиков содержит определение оптического потока угрозы, исходящей не от транспортного средства.
15. Способ по п. 8, в котором прием указания от нейронной сети о том, что приближающийся объект и второй объект, связанный с приближающимся объектом, совместно, представляет угрозу не от транспортного средства для пассажира транспортного средства, содержит этап, на котором принимают указание, что приближающийся объект является человеком, а связанный с ним второй объект представляет собой одно из: оружие, которым вооружен человек, или маску, надетую на человека.
16. Способ по п. 8 в котором активация контрмер в транспортном средстве содержит активацию контрмер, включающих в себя одно или более из: записи приближающегося объекта, блокировки дверей транспортного средства, воспроизведения звукового предупреждения в кабине транспортного средства, обеспечения звука клаксона транспортного средства или мигания огней транспортного средства.
17. Транспортное средство, содержащее:
один или более установленных снаружи датчиков для отслеживания области вблизи транспортного средства;
один или более процессоров;
системную память, соединенную с одним или более процессорами, причем системная память хранит инструкции, исполняемые одним или более процессорами;
причем один или более процессоров выполнены с возможностью исполнения инструкций, сохраненных в системной памяти, для:
определения, что траектория объекта, вероятно, приведет этот объект и соответствующий второй объект к перемещению вблизи транспортного средства, включающего в себя:
использование одного или более установленных снаружи датчиков для отслеживания области вблизи транспортного средства на наличие приближающихся объектов; и
фильтрацию данных от одного или более датчиков для определения, что объект имеет скорость и направление, указывающие приближение объекта к пространству, занимаемому транспортным средством;
предоставление отфильтрованных данных в качестве входных данных в нейронную сеть;
прием вероятности угрозы от нейронной сети, указывающей вероятность того, что объект и второй объект, совместно, представляют собой угрозу, исходящую не от транспортного средства, для пассажира транспортного средства; и
управление одним или более компонентами транспортного средства, при этом один или более компоненты транспортного средства маневрируют транспортным средством чтобы отвести его в сторону от обоих и объекта и второго объекта.
18. Транспортное средство по п. 17, в котором один или более установленных снаружи датчиков включают в себя одно или более из: камеры, лидарного датчика, радиолокационного датчика и ультразвукового датчика.
19. Транспортное средство по п. 17, в котором один или более процессоров, выполненных с возможностью исполнения инструкций для приема указания от нейронной сети о том, что приближающийся объект представляет угрозу, исходящую не от транспортного средства, для пассажиров транспортного средства содержат один или более процессоров, выполненных с возможностью исполнения инструкций для приема указания, что приближающийся объект является человеком, а связанный с ним второй объект представляет собой одно из: оружия, которым вооружен человек, или маски, надетой на человека.
20. Транспортное средство по п. 17, в котором один или более процессоров, выполненных с возможностью исполнения инструкций для активации контрмер в транспортном средстве, содержат один или более процессоров, выполненных с возможностью исполнения инструкций для активации контрмер, включающих в себя одно или более из: записи приближающегося объекта, блокировки дверей транспортного средства, воспроизведения звукового предупреждения в кабине транспортного средства, обеспечения звука клаксона транспортного средства или мигания огней транспортного средства.
RU2017121309A 2016-06-28 2017-06-19 Способ обнаружения физических угроз, приближающихся к транспортному средству (варианты), и транспортное средство RU2689902C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/195,827 US10139827B2 (en) 2016-06-28 2016-06-28 Detecting physical threats approaching a vehicle
US15/195,827 2016-06-28

Publications (3)

Publication Number Publication Date
RU2017121309A RU2017121309A (ru) 2018-12-19
RU2017121309A3 RU2017121309A3 (ru) 2019-01-30
RU2689902C2 true RU2689902C2 (ru) 2019-05-29

Family

ID=60579596

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017121309A RU2689902C2 (ru) 2016-06-28 2017-06-19 Способ обнаружения физических угроз, приближающихся к транспортному средству (варианты), и транспортное средство

Country Status (5)

Country Link
US (1) US10139827B2 (ru)
CN (1) CN107539213A (ru)
DE (1) DE102017114122A1 (ru)
MX (1) MX2017008592A (ru)
RU (1) RU2689902C2 (ru)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10247565B2 (en) 2016-04-11 2019-04-02 State Farm Mutual Automobile Insurance Company Traffic risk avoidance for a route selection system
US10222228B1 (en) 2016-04-11 2019-03-05 State Farm Mutual Automobile Insurance Company System for driver's education
US10019904B1 (en) 2016-04-11 2018-07-10 State Farm Mutual Automobile Insurance Company System for identifying high risk parking lots
US10026309B1 (en) 2016-04-11 2018-07-17 State Farm Mutual Automobile Insurance Company Networked vehicle control systems to facilitate situational awareness of vehicles
US10233679B1 (en) 2016-04-11 2019-03-19 State Farm Mutual Automobile Insurance Company Systems and methods for control systems to facilitate situational awareness of a vehicle
US11851041B1 (en) 2016-04-11 2023-12-26 State Farm Mutual Automobile Insurance Company System for determining road slipperiness in bad weather conditions
US10486708B1 (en) 2016-04-11 2019-11-26 State Farm Mutual Automobile Insurance Company System for adjusting autonomous vehicle driving behavior to mimic that of neighboring/surrounding vehicles
US10872379B1 (en) 2016-04-11 2020-12-22 State Farm Mutual Automobile Insurance Company Collision risk-based engagement and disengagement of autonomous control of a vehicle
US10571283B1 (en) 2016-04-11 2020-02-25 State Farm Mutual Automobile Insurance Company System for reducing vehicle collisions based on an automated segmented assessment of a collision risk
US10259383B1 (en) * 2016-12-09 2019-04-16 Ambarella, Inc. Rear collision alert system
US10053088B1 (en) 2017-02-21 2018-08-21 Zoox, Inc. Occupant aware braking system
US12027033B2 (en) * 2017-06-08 2024-07-02 Guardian Band Inc. Wearable personal safety devices and methods of operating the same
US20190023207A1 (en) * 2017-07-18 2019-01-24 Aptiv Technologies Limited Safe-exit system for safety protection of a passenger exiting or entering an automated vehicle
JP6936098B2 (ja) * 2017-09-29 2021-09-15 トヨタ自動車株式会社 対象物推定装置
CN108469815A (zh) * 2018-02-27 2018-08-31 重庆嵩岳贸易服务有限公司 一种基于意图的计算机深度学习自动导航和驾驶***及其方法
US20180215377A1 (en) * 2018-03-29 2018-08-02 GM Global Technology Operations LLC Bicycle and motorcycle protection behaviors
CN108545021A (zh) * 2018-04-17 2018-09-18 济南浪潮高新科技投资发展有限公司 一种识别特殊目标的辅助驾驶方法及***
EP3561786B1 (en) 2018-04-24 2022-10-26 Dr. Ing. h.c. F. Porsche AG Method and device for operating a vehicle
US11050933B2 (en) 2018-04-27 2021-06-29 Continenal Automotive Systems, Inc. Device and method for determining a center of a trailer tow coupler
US10864910B2 (en) * 2018-05-16 2020-12-15 GM Global Technology Operations LLC Automated driving systems and control logic using sensor fusion for intelligent vehicle control
US11176383B2 (en) * 2018-06-15 2021-11-16 American International Group, Inc. Hazard detection through computer vision
JP7043030B2 (ja) * 2018-08-01 2022-03-29 オムロン株式会社 光電センサ
JP7119839B2 (ja) * 2018-09-26 2022-08-17 トヨタ自動車株式会社 物体検出装置、物体検出方法及び車両制御装置
DE102018222001B4 (de) 2018-12-18 2024-03-28 Audi Ag Verfahren zum Beurteilen einer Beförderungssituation bei einer angebotenen Beförderungsfahrt, sowie ein elektronisches Überprüfungssystem
US10810866B2 (en) * 2018-12-19 2020-10-20 Federal Signal Corporation Perimeter breach warning system
DE102018222683A1 (de) * 2018-12-20 2020-06-25 Robert Bosch Gmbh Verfahren zum Erstellen einer Umgebungsrepräsentationskarte zur Überwachung eines Fahrzeugs und/oder eines Fahrzeuganhängers unter Verwendung eines Kamerasystems
JP7180364B2 (ja) * 2018-12-21 2022-11-30 トヨタ自動車株式会社 車両制御装置、車両、及び車両制御方法
US11099266B2 (en) 2019-01-11 2021-08-24 International Business Machines Corporation Trajectory based threat alerting with friendly device augmentation
DE102019105343A1 (de) * 2019-02-09 2020-08-13 Elmos Semiconductor Aktiengesellschaft Messsystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens
DE102019203345A1 (de) * 2019-03-12 2020-09-17 Robert Bosch Gmbh Verfahren zur Überwachung des Umfelds eines Fahrzeugs
GB2582904B (en) * 2019-03-26 2021-04-14 Atsr Ltd Method and apparatus for controlling access to a vehicle
US11226624B2 (en) 2019-04-11 2022-01-18 Motorola Solutions, Inc. System and method for enabling a 360-degree threat detection sensor system to monitor an area of interest surrounding a vehicle
US11002827B2 (en) 2019-05-21 2021-05-11 Motorola Solutions, Inc. System and method for collaborating between vehicular 360 degree threat detection appliances
CN110758320B (zh) * 2019-10-23 2021-02-23 上海能塔智能科技有限公司 自助试驾的防遗留处理方法、装置、电子设备与存储介质
WO2021081371A1 (en) * 2019-10-23 2021-04-29 Continental Automotive Systems, Inc. Method and system to protect a rider from threatening objects approaching a motorbike or bicycle
US11433855B2 (en) * 2020-04-03 2022-09-06 Micron Technology, Inc. Intelligent detection and alerting of potential intruders
US11091166B1 (en) 2020-04-21 2021-08-17 Micron Technology, Inc. Driver screening
US11494865B2 (en) * 2020-04-21 2022-11-08 Micron Technology, Inc. Passenger screening
WO2022174075A1 (en) * 2021-02-12 2022-08-18 Retinus Llc Systems and methods for computer vision based detection and alerting
US20220348165A1 (en) * 2021-04-28 2022-11-03 GM Global Technology Operations LLC Contactless alarming system for proactive intrusion detection
US11919479B2 (en) 2021-05-18 2024-03-05 Ford Global Technologies, Llc Systems and methods for providing security to a vehicle
US11398149B1 (en) 2021-06-28 2022-07-26 Arity International Limited Crosswalk detection using high-frequency transmitters
US20230278499A1 (en) * 2022-03-02 2023-09-07 Christopher B Comer Adaptive Perimeter Security System for Vehicles

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783403B2 (en) * 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US8379928B2 (en) * 2009-07-06 2013-02-19 Valeo Vision Obstacle detection procedure for motor vehicle
US9218698B2 (en) * 2012-03-14 2015-12-22 Autoconnect Holdings Llc Vehicle damage detection and indication
US20160129883A1 (en) * 2011-04-22 2016-05-12 Angel A. Penilla Contact detect feature of a vehicle and notifications to enable live views of vehicle

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7660437B2 (en) * 1992-05-05 2010-02-09 Automotive Technologies International, Inc. Neural network systems for vehicles
US20060261931A1 (en) 2003-08-15 2006-11-23 Ziyi Cheng Automobile security defence alarm system with face identification and wireless communication function
US7501937B2 (en) * 2003-08-27 2009-03-10 Omega Patents, L.L.C. Vehicle security device including pre-warn indicator and related methods
US7034668B2 (en) * 2003-10-27 2006-04-25 Ford Global Technologies, Llc Threat level identification and quantifying system
US8594370B2 (en) * 2004-07-26 2013-11-26 Automotive Systems Laboratory, Inc. Vulnerable road user protection system
JP2006321357A (ja) * 2005-05-19 2006-11-30 Auto Network Gijutsu Kenkyusho:Kk 車両用監視装置
US8233704B2 (en) * 2007-06-13 2012-07-31 Sri International Exemplar-based heterogeneous compositional method for object classification
US8175333B2 (en) 2007-09-27 2012-05-08 Behavioral Recognition Systems, Inc. Estimator identifier component for behavioral recognition system
US8036425B2 (en) 2008-06-26 2011-10-11 Billy Hou Neural network-controlled automatic tracking and recognizing system and method
US20110134245A1 (en) 2009-12-07 2011-06-09 Irvine Sensors Corporation Compact intelligent surveillance system comprising intent recognition
US8552886B2 (en) * 2010-11-24 2013-10-08 Bcs Business Consulting Services Pte Ltd. Crash warning system for motor vehicles
US9047768B1 (en) * 2010-12-08 2015-06-02 COPsync, Inc. Method, system and computer program product for law enforcement
JP5639283B2 (ja) 2011-11-25 2014-12-10 本田技研工業株式会社 車両周辺監視装置
KR101372023B1 (ko) * 2012-05-31 2014-03-07 현대자동차주식회사 차량 주변의 이동체 감지 장치 및 방법
JP6205640B2 (ja) 2012-07-30 2017-10-04 市光工業株式会社 車両用警告装置
US9014905B1 (en) * 2014-01-28 2015-04-21 Google Inc. Cyclist hand signal detection by an autonomous vehicle
KR101519288B1 (ko) * 2014-03-21 2015-05-11 현대자동차주식회사 차량 주변 보안 모니터링 방법
US9437111B2 (en) * 2014-05-30 2016-09-06 Ford Global Technologies, Llc Boundary detection system
US9889859B2 (en) * 2015-12-21 2018-02-13 Intel Corporation Dynamic sensor range in advanced driver assistance systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783403B2 (en) * 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US8379928B2 (en) * 2009-07-06 2013-02-19 Valeo Vision Obstacle detection procedure for motor vehicle
US20160129883A1 (en) * 2011-04-22 2016-05-12 Angel A. Penilla Contact detect feature of a vehicle and notifications to enable live views of vehicle
US9218698B2 (en) * 2012-03-14 2015-12-22 Autoconnect Holdings Llc Vehicle damage detection and indication

Also Published As

Publication number Publication date
CN107539213A (zh) 2018-01-05
RU2017121309A3 (ru) 2019-01-30
US10139827B2 (en) 2018-11-27
MX2017008592A (es) 2018-09-10
US20170371339A1 (en) 2017-12-28
RU2017121309A (ru) 2018-12-19
DE102017114122A1 (de) 2017-12-28

Similar Documents

Publication Publication Date Title
RU2689902C2 (ru) Способ обнаружения физических угроз, приближающихся к транспортному средству (варианты), и транспортное средство
RU2693367C2 (ru) Транспортное средство и способ для использования в нем для выявления угрозы в ожидании открывания двери транспортного средства
US10089879B2 (en) Boundary detection system
CN107608388B (zh) 自主警车
CN107220581B (zh) 通过后置摄像机的行人检测和运动预测
US10322696B2 (en) Vehicle environment imaging systems and methods
US20180137756A1 (en) Detecting and responding to emergency vehicles in a roadway
US20180164809A1 (en) Autonomous School Bus
EP3867889B1 (en) Perimeter breach warning system
CN107072867A (zh) 一种盲人安全出行实现方法、***以及可穿戴设备
US20230166731A1 (en) Devices and methods for assisting operation of vehicles based on situational assessment fusing expoential risks (safer)
RU2707695C2 (ru) Способ, система и машиночитаемые носители хранения данных для обнаружения листвы с использованием данных дальности
US11567509B2 (en) Control system, control method, and non-transitory storage medium
WO2020250019A1 (en) System and method for automatic emergency braking
US20220126818A1 (en) Systems and methods for identifying high-risk driving situations from driving data
CN115361653A (zh) 经由对相邻车辆的基于车辆的监视来提供安全性
US11616932B1 (en) Car security camera triggering mechanism
CN114426022A (zh) 检测逆行车辆的方法和***
US20210039660A1 (en) Anomaly Detector For Vehicle Control Signals
CN114913712A (zh) 用于防止车辆事故的***和方法
Keivani et al. A vision-based driver assistance system using collaborative edge computing
JP7343645B2 (ja) 車両に基づくインタラクション方法、装置、機器、媒体および車両
CN117935228A (zh) 一种车内外异常识别方法、装置、介质及设备
CN114604199A (zh) 一种车辆保护***及方法
JP2018195184A (ja) 車両用装置、安全運転支援システム、及び、安全運転支援方法