RU2785822C1 - Way to warn about the presence of an obstacle on the way - Google Patents

Way to warn about the presence of an obstacle on the way Download PDF

Info

Publication number
RU2785822C1
RU2785822C1 RU2022129481A RU2022129481A RU2785822C1 RU 2785822 C1 RU2785822 C1 RU 2785822C1 RU 2022129481 A RU2022129481 A RU 2022129481A RU 2022129481 A RU2022129481 A RU 2022129481A RU 2785822 C1 RU2785822 C1 RU 2785822C1
Authority
RU
Russia
Prior art keywords
objects
image
frame
images
area
Prior art date
Application number
RU2022129481A
Other languages
Russian (ru)
Inventor
Ольга Дмитриевна Миронова
Олег Дмитриевич Зверев
Павел Александрович Бахметов
Михаил Александрович Пономарев
Даниил Владимирович Захаров
Дмитрий Андреевич Аксенов
Original Assignee
Ольга Дмитриевна Миронова
Filing date
Publication date
Application filed by Ольга Дмитриевна Миронова filed Critical Ольга Дмитриевна Миронова
Application granted granted Critical
Publication of RU2785822C1 publication Critical patent/RU2785822C1/en

Links

Images

Abstract

FIELD: invention relates to the field of obstacle warning devices.
SUBSTANCE: method includes obtaining an image of the surrounding space; selecting the best quality image for a given period of time, determining the center and area of the selected image, detecting objects in the image; comparison of images of identified objects with stored reference images of physical objects, to assign identified objects to objects of the first or second type, for each of the identified objects of the first type, the implementation of the definition of a frame that limits the identified object; determination of the frame area; comparing the area of the frame that bounds the detected object with the stored reference values for different physical objects using a heuristic algorithm, if the area of the frame that bounds the detected object is greater than the reference value, determining the center of the frame that bounds the detected object, based on the center of the frame determination on the image of the surrounding space of the location of the identified object, relative to the center of the specified images, generating a warning about the location of the object, if the detected object occupies more than a quarter of the image area; moreover, the detection of objects and the determination of the frame that bounds the object is carried out using a neural network that is trained on a data set that includes images of physical objects.
EFFECT: technical result is to increase the accuracy of timely determination of the location of an object that can interfere with the movement of a visually impaired user, in particular, in conditions of fast walking or running.
9 cl, 1 dwg

Description

Область техникиTechnical field

Данное изобретение относится к средствам предупреждения о наличии препятствий и может быть использовано, главным образом, как средство помощи в передвижении слепым и слабовидящим людям.This invention relates to means of warning of the presence of obstacles and can be used mainly as a means of assisting the movement of blind and visually impaired people.

Уровень техникиState of the art

Из уровня техники известен способ и устройство для помощи слабовидящим, раскрытое в описании к патенту US 10528815 В2, опубликованном 07.01.2020. В данном решении раскрыто оборудование для помощи слабовидящему пользователю при движении и способ выявления препятствий при помощи указанного оборудования. Согласно указанному способу получают при помощи двух камер ряд изображений, которые обрабатываются нейронной сетью в целях обнаружения объектов, которые могут помешать движению, например лестниц, дверей и т.п. В процессе обработки полученных изображений используют алгоритмы обработки глубины и алгоритмов идентификации объектов. После того как на изображениях идентифицируют то или иное препятствие, пользователя указанным оборудованием уведомляют о приближении к данному объекту, используя для этого динамик. При этом указывают пользователю, какой объект расположен в поле движения пользователя и какое расстояние осталось до столкновения с ним. Описанный выше способ позволяет идентифицировать местоположение объекта в пространстве и своевременно предупредить о наличии помехи движению.From the prior art, a method and device for helping the visually impaired is known, disclosed in the description of US patent 10528815 B2, published on 01/07/2020. This solution discloses equipment for assisting a visually impaired user in movement and a method for detecting obstacles using said equipment. According to this method, a series of images are obtained using two cameras, which are processed by a neural network in order to detect objects that can interfere with movement, such as stairs, doors, etc. In the process of processing the obtained images, depth processing algorithms and object identification algorithms are used. After one or another obstacle is identified in the images, the user of the specified equipment is notified of the approach to this object, using a speaker for this. At the same time, they indicate to the user which object is located in the user's movement field and what distance is left before a collision with it. The method described above makes it possible to identify the location of an object in space and warn in a timely manner of the presence of an obstruction to movement.

Также из уровня техники известен способ облегченной одновременной локализации и картирования, выполняемый в реальном времени на колесном устройстве, приведенный в заявке US 2022/0187841 А1, опубликованной 16.01.2022. Согласно указанному способу определяют препятствия в реальном времени на основе RGB - изображений. Для этого применяют нейронную сеть, использующую алгоритм SIFT (scale-invariant feature transform). Указанный алгоритм позволяет идентифицировать объекты и их местоположение на полученных изображениях путем определения площади рамок, ограничивающих каждый идентифицируемый объект, и последующего приведения данных изображений к эталонным. После этого сравнивают изображения при помощи эвристических алгоритмов для определения объекта мешающего движению. Данный способ определения препятствий, мешающих движению, позволяет повысить точность их обнаружения по сравнению с известными аналогичными способами.Also known from the prior art is a method of facilitated simultaneous localization and mapping performed in real time on a wheeled device, given in the application US 2022/0187841 A1, published on 01/16/2022. According to this method, obstacles are determined in real time based on RGB images. For this, a neural network is used that uses the SIFT (scale-invariant feature transform) algorithm. The specified algorithm allows to identify objects and their location on the obtained images by determining the area of the frames that limit each identified object, and then bringing the image data to the reference ones. After that, the images are compared using heuristic algorithms to determine the object interfering with the movement. This method of determining obstacles that impede movement allows to increase the accuracy of their detection compared to known similar methods.

Наиболее близким к предложенному способу обхода препятствий является способ, раскрытый в описании к патенту US 10130548 В2, опубликованное 20.11.2018. Раскрытый в указанном документе способ предназначен для оказания помощи слабовидящим людям при движении и заключается в получении нескольких изображений от RGB - камеры мобильного телефона и обработке полученных изображений посредством применения нейронной сети. Указанная нейронная сеть определяет центр изображения и идентифицирует объекты, расположенные на изображениях, их расположение и границы. В процессе обработки полученные изображения подвергаются аффинному преобразованию для их более точной идентификации. В случае обнаружения объекта, который может помешать движению пользователя, выдается аудио оповещение, указывающее в какую сторону от идентифицируемого объекта нужно повернуть или, если объект расположен достаточно близко - остановиться. Указанное решение позволяет обеспечить надежную помощь в навигации пользователям с ослабленным зрением. Описанный выше способ может быть принят в качестве прототипа заявленного изобретения.The closest to the proposed method of avoiding obstacles is the method disclosed in the description of US patent 10130548 B2, published on November 20, 2018. The method disclosed in this document is intended to assist visually impaired people in movement and consists in obtaining several images from the RGB camera of a mobile phone and processing the obtained images through the use of a neural network. The specified neural network determines the center of the image and identifies the objects located on the images, their location and boundaries. During processing, the resulting images are subjected to an affine transformation for their more accurate identification. If an object is detected that can interfere with the user's movement, an audio notification is issued indicating which direction from the identified object to turn or, if the object is close enough, to stop. This solution allows to provide reliable navigation assistance to visually impaired users. The method described above can be taken as a prototype of the claimed invention.

Общим недостатком всех приведенных выше способов определения препятствий и помощи слабовидящим людям является то, что точность определения местоположения препятствия и соответственно расстояния до него не является достаточной для его своевременного обнаружения. В ряде случаев, если слабовидящий пользователь достаточно быстро движется, например в процессе занятия спортом, он может не успеть своевременно обнаружить на своем пути опасный объект, вследствие чего может произойти столкновение с ним.A common disadvantage of all the above methods for determining obstacles and helping visually impaired people is that the accuracy of determining the location of the obstacle and, accordingly, the distance to it is not sufficient for its timely detection. In some cases, if a visually impaired user moves fast enough, for example, in the process of playing sports, he may not have time to detect a dangerous object on his way, as a result of which a collision with it may occur.

В связи с этим в качестве задачи, которая положена в основу заявленного изобретения, выступает устранение данного недостатка. Соответственно в качестве технического результата, который достигается при осуществлении заявленного изобретения, выступает повышение точности своевременного определения местоположения объекта, который может помешать движению слабовидящего пользователя, в частности, в условиях быстрой ходьбы или бега.In this regard, as a task, which is the basis of the claimed invention, is the elimination of this drawback. Accordingly, as a technical result, which is achieved in the implementation of the claimed invention, there is an increase in the accuracy of the timely determination of the location of an object that can interfere with the movement of a visually impaired user, in particular, in conditions of fast walking or running.

Сущность изобретенияThe essence of the invention

Указанный выше технический результат и поставленная задача достигается и решается за счет того, что способ предупреждения о наличии препятствия на пути следования включает в себя:The above technical result and the task set are achieved and solved due to the fact that the method of warning about the presence of an obstacle on the route includes:

получение изображения окружающего пространства;obtaining an image of the surrounding space;

выбор изображения лучшего качества за заданный промежуток времени,selection of the best quality image for a given period of time,

осуществление определения центра и площади выбранного изображения,determining the center and area of the selected image,

выявление объектов на изображении;detection of objects in the image;

сравнение изображений выявленных объектов с сохраненными эталонными изображениями физических объектов для отнесения выявленных объектов к объектам первого или второго типа,comparison of images of detected objects with saved reference images of physical objects to classify detected objects as objects of the first or second type,

для каждого из выявленных объектов первого типа осуществление определения рамки, ограничивающей выявленный объект;for each of the identified objects of the first type, the implementation of the definition of a frame that limits the identified object;

определение площади рамки;determination of the frame area;

сравнение площади рамки, ограничивающей выявленный объект, с сохраненными эталонными значениями для разных физических объектов, при помощи эвристического алгоритма,comparing the area of the frame that bounds the detected object with the stored reference values for different physical objects using a heuristic algorithm,

в случае если площади рамки, ограничивающей выявленный объект, больше эталонного значения, осуществление определения центра рамки, ограничивающей выявленный объект,if the area of the frame that bounds the identified object is greater than the reference value, the determination of the center of the frame that bounds the identified object,

на основании центра рамки определение на изображении окружающего пространства местоположения выявленного объекта, относительно центра указанного изображения,based on the center of the frame, determining the location of the detected object on the image of the surrounding space, relative to the center of the specified image,

формирование предупреждения о местонахождении объекта в случае, если выявленный объект, занимает больше четверти площади изображения;generating a warning about the location of an object if the detected object occupies more than a quarter of the image area;

причем выявление объектов и определение рамки, ограничивающей объект, осуществляется при помощи нейронной сети, которая обучена на наборе данных, который включает в себя изображения физических объектов.moreover, the detection of objects and the determination of the frame that bounds the object is carried out using a neural network that is trained on a data set that includes images of physical objects.

Также в способе изображение окружающего пространства получают в трехканальном формате RGB.Also in the method, the image of the surrounding space is obtained in a three-channel RGB format.

Также в способе изображение получают при помощи камеры мобильного телефона.Also in the method, an image is obtained using a mobile phone camera.

Также в способе изображение является видеопотоком, полученным в режиме реального времени.Also in the method, the image is a video stream received in real time.

Также в способе площадь ограничивающей объект рамки определяют в пикселях.Also in the method, the area of the object bounding box is determined in pixels.

Также в способе предупреждение производится в звуковом формате.Also in the method, the warning is produced in an audio format.

Также в способе предупреждение выводится на экран.Also in the method, a warning is displayed.

Также в способе сравнения изображений выявленных объектов с изображениями эталонных объектов производится аффинное преобразование и поворот изображений выявленных объектов таким образом, чтобы их центры совпадали с изображениями эталонных объектов.Also, in the method for comparing images of detected objects with images of reference objects, an affine transformation and rotation of images of detected objects is performed so that their centers coincide with images of reference objects.

Краткое описание чертежей и графических материаловBrief description of drawings and graphics

Данное изобретение пояснено следующими графическими иллюстрациями.The present invention is illustrated by the following graphic illustrations.

На фиг. 1 приведена блок-схема способа.In FIG. 1 shows a block diagram of the method.

Осуществление изобретенияImplementation of the invention

Варианты реализации изобретения устраняют вышеупомянутые и другие недостатки, обеспечивая механизмы для предупреждения о наличии препятствия на пути следования человека.Embodiments of the invention overcome the aforementioned and other disadvantages by providing mechanisms for warning of the presence of an obstacle in a person's path.

Перед началом работы задают начальное максимальное значение качества изображения, которое используется для определения препятствия, а также интервал времени, в течении которого осуществляется выбор изображения лучшего качества.Before starting work, the initial maximum image quality value is set, which is used to determine the obstacle, as well as the time interval during which the best quality image is selected.

С помощью камеры мобильного устройства получают изображение окружающего пользователя пространства.Using the camera of the mobile device, an image of the space surrounding the user is obtained.

В данном контексте «мобильное устройство» может относиться к портативному компьютеру, такому как мобильный телефон, смартфон, планшетный компьютер, нетбук, умные часы, персональное устройство цифрового помощника, ноутбук, цифровая видеокамера, цифровой фотоаппарат, цифровая видеокамера. Некоторые мобильные устройства могут иметь сенсорный экран, обеспечивающий интерфейс сенсорного экрана цифровыми кнопками и цифровой клавиатурой. Некоторые мобильные устройства могут иметь физические кнопки вместе с физической клавиатурой.As used herein, "mobile device" may refer to a portable computer such as a mobile phone, smartphone, tablet computer, netbook, smart watch, personal digital assistant device, laptop, digital video camera, digital camera, digital video camera. Some mobile devices may have a touch screen that provides a touch screen interface with number buttons and a numeric keypad. Some mobile devices may have physical buttons along with a physical keyboard.

Изображение может являться видеопотоком, полученным в режиме реального времени.The image may be a video stream received in real time.

На этапе П3 (фиг. 1) фиксируется время начала цикла П4-П7, в котором отбирается наилучшее изображение за определенный промежуток времени. При истечении заданного интервала времени, выбранное изображение лучшего качества, используют в дальнейшей обработке.At stage P3 (Fig. 1), the start time of the cycle P4-P7 is fixed, in which the best image for a certain period of time is selected. When the specified time interval has elapsed, the selected image of the best quality is used in further processing.

Определяют центр и площадь полученного изображения.Determine the center and area of the resulting image.

Полученное изображение окружающего пространства подают на вход нейронной сети для выявления объектов на изображении. Цветные изображения могут быть представлены в виде трех отдельных матриц изображений: одна хранит количество красного (R) в каждом пикселе, другая - количество зеленого (G), а третья - количество синего (В), в формате RGB.The resulting image of the surrounding space is fed to the input of the neural network to identify objects in the image. Color images can be represented as three separate image matrices, one storing the amount of red (R) in each pixel, another the amount of green (G), and a third the amount of blue (B), in RGB format.

Нейронная сеть распознает объекты на изображении.The neural network recognizes objects in the image.

Для отнесения выявленных объектов к объектам первого или второго типа изображения выявленных объектов сравниваются с эталонными изображениями физических объектов, сохраненными ранее. Для сравнения изображений выявленных объектов с эталонными изображениями производится аффинное преобразование и поворот изображений выявленных объектов таким образом, чтобы их центры совпадали с изображениями эталонных объектов.To classify the detected objects as objects of the first or second type, the images of the detected objects are compared with the reference images of physical objects previously saved. To compare the images of the identified objects with the reference images, an affine transformation and rotation of the images of the identified objects is performed so that their centers coincide with the images of the reference objects.

Под объектами первого типа понимаются объекты, расположенные ближе или имеющие больший размер, чем объекты второго типа, под объектами второго типа понимаются объекты, расположенные дальше или имеющие меньший размер, чем объекты первого типа.Objects of the first type are understood to be objects located closer or having a larger size than objects of the second type, objects of the second type are understood to be objects located further or having a smaller size than objects of the first type.

На втором этапе нейронная сеть обрабатывает данные, относящиеся к объектам первого типа, и возвращает рамки вокруг каждого из таких объектов.At the second stage, the neural network processes the data related to objects of the first type and returns frames around each of these objects.

Площадь ограничивающей объект рамки может быть определена в пикселях.The area of the object's bounding box can be specified in pixels.

На этапе способа П11 (фиг. 1) осуществляется сравнение площади рамки, ограничивающей выявленный объект, с сохраненными эталонными значениями для каждого вида объектов, при помощи эвристического алгоритма.At the stage of the method P11 (Fig. 1), the area of the frame that bounds the identified object is compared with the stored reference values for each type of object using a heuristic algorithm.

При определении, что площадь рамки, ограничивающей выявленный объект, больше сохраненного эталонного значения, определяют центр рамки, ограничивающей выявленный объект.When determining that the area of the box that bounds the detected object is greater than the stored reference value, the center of the box that bounds the detected object is determined.

На основании центра рамки определяют на полученном изображении окружающего пространства местоположение выявленного объекта, относительно центра указанного изображения. На основании расположения центра рамки, ограничивающей выявленный объект, определяют в какой из трех зон он находится: слева, по центру, или справа.Based on the center of the frame, the location of the detected object is determined on the obtained image of the surrounding space, relative to the center of the specified image. Based on the location of the center of the frame that bounds the identified object, it is determined in which of the three zones it is located: on the left, in the center, or on the right.

В частности, если центр рамки, ограничивающей объект будет находиться слева от центра полученного изображения, то местоположение объекта будет обозначено, как слева, если центр рамки, ограничивающей объект будет находиться справа, то местоположение объекта будет обозначено, как справа.In particular, if the center of the box that bounds the object is to the left of the center of the received image, then the location of the object will be indicated as on the left, if the center of the frame that bounds the object is on the right, then the location of the object will be indicated as on the right.

Предупреждение о наличии препятствия на пути следования формируется в виде сигнала, указывающего на местоположение объекта относительно пользователя.The warning about the presence of an obstacle on the route is generated as a signal indicating the location of the object relative to the user.

Предупреждение о местонахождении объекта производится в случае, если выявленный объект занимает больше четверти площади полученного изображения окружающего пространства, что свидетельствует о том, что расстояние до объекта мало и может произойти столкновение с ним.A warning about the location of the object is produced if the detected object occupies more than a quarter of the area of the received image of the surrounding space, which indicates that the distance to the object is small and a collision with it may occur.

Для того чтобы избежать столкновения с препятствием, оно должно находиться вне зоны, которую отсекает угол в п/8 радиан с вершиной, расположенной в непосредственной близости к человеку по центру его туловища по горизонтальной оси и биссектрисой перпендикулярной этой оси. Угол обзора камеры в среднем 90 градусов или п/2 радиан. Таким образом, если препятствие занимает площадь больше (п/2)/(п/8)=0,25 столкновение с объектом неизбежно.In order to avoid a collision with an obstacle, it must be outside the zone cut off by an angle of n/8 radians with a vertex located in close proximity to a person in the center of his torso along the horizontal axis and a bisector perpendicular to this axis. The camera's field of view averages 90 degrees, or n/2 radians. Thus, if an obstacle occupies an area greater than (n/2)/(n/8)=0.25, a collision with an object is inevitable.

Предупреждение о препятствии может производится в звуковом формате или в виде предупреждения, выводимого на экран.Obstacle warning can be made in an audible format or as a warning displayed on the screen.

Используемая нейронная сеть может быть представлена нейронной сетью, включающей в себя входной слой, выходной слой и один или несколько скрытых слоев, соединяющих входной слой и выходной слой. Выходной слой может иметь то же количество узлов, что и входной слой.The neural network used can be represented by a neural network including an input layer, an output layer, and one or more hidden layers connecting the input layer and the output layer. The output layer can have the same number of nodes as the input layer.

Нейронная сеть может включать множество нейронов, которые связаны с обучаемыми весами и смещениями. Нейроны могут быть организованы в слои. Нейронная сеть может быть обучена на обучающем наборе данных.The neural network may include a plurality of neurons that are associated with trainable weights and biases. Neurons can be organized into layers. The neural network can be trained on the training dataset.

Во время обучения нейронной сети параметры нейронной сети могут быть изменены для оптимизации точности распознавания.During neural network training, neural network parameters can be changed to optimize recognition accuracy.

Нейронная сеть может быть обучена на наборе данных, который включает в себя изображения физических объектов, где одна сторона изображения имеет размер 640 пикселей, а другая сторона изображения либо меньше первой стороны, либо равна ей, а объект на разных изображениях имеет разный ракурс.The neural network can be trained on a dataset that includes images of physical objects, where one side of the image has a size of 640 pixels, and the other side of the image is either smaller than the first side or equal to it, and the object in different images has a different angle.

Для обучения нейронной сети может быть использовано 12500 кадров изображений физических объектов, снятых с разных ракурсов и на разных фонах, с разным масштабом, яркостью.To train the neural network, 12500 frames of images of physical objects taken from different angles and against different backgrounds, with different scales and brightness can be used.

Обучение нейронной сети может включать в себя обработку нейронной сетью изображений, и сравнение полученного результата с целевым значением, ошибка может быть передана обратно на предыдущие уровни нейронной сети, параметры которых (веса и смещения нейронов) могут быть соответствующим образом скорректированы для минимизации ошибок.Neural network training may include processing images by the neural network, and comparing the result with the target value, the error can be passed back to the previous levels of the neural network, the parameters of which (weights and biases of neurons) can be adjusted accordingly to minimize errors.

После обучения нейронная сеть может использоваться для распознавания объектов на изображении окружающего пространства.After training, the neural network can be used to recognize objects in the image of the surrounding space.

Описанные выше этапы способа позволяют своевременно и точно определить местоположение объекта, который может помешать движению слабовидящего пользователя, и предупредить о наличии препятствия на пути следования.The steps of the method described above make it possible to timely and accurately determine the location of an object that can interfere with the movement of a visually impaired user, and warn about the presence of an obstacle on the way.

Claims (21)

1. Способ предупреждения о наличии препятствия на пути следования, включающий в себя:1. A method of warning about the presence of an obstacle on the route, including: получение изображений окружающего пространства;obtaining images of the surrounding space; выбор изображения лучшего качества за заданный промежуток времени, selection of the best quality image for a given period of time, осуществление определения центра и площади выбранного изображения,determining the center and area of the selected image, выявление объектов на изображении;detection of objects in the image; сравнение изображений выявленных объектов с сохраненными эталонными изображениями физических объектов для отнесения выявленных объектов к объектам первого или второго типа, comparison of images of detected objects with saved reference images of physical objects to classify detected objects as objects of the first or second type, для каждого из выявленных объектов первого типа осуществление определения рамки, ограничивающей выявленный объект;for each of the identified objects of the first type, the implementation of the definition of a frame that limits the identified object; определение площади рамки; determination of the frame area; сравнение площади рамки, ограничивающей выявленный объект, с сохраненными эталонными значениями для разных физических объектов при помощи эвристического алгоритма, comparing the area of the frame that bounds the detected object with the stored reference values for different physical objects using a heuristic algorithm, в случае если площади рамки, ограничивающей выявленный объект, больше эталонного значения, осуществление определения центра рамки, ограничивающей выявленный объект,if the area of the frame that bounds the identified object is greater than the reference value, the determination of the center of the frame that bounds the identified object, на основании центра рамки определение на изображении окружающего пространства местоположения выявленного объекта относительно центра указанного изображения, based on the center of the frame, determining the location of the detected object on the image of the surrounding space relative to the center of the specified image, формирование предупреждения о местонахождении объекта, в случае если выявленный объект занимает больше четверти площади изображения;generating a warning about the location of the object, if the detected object occupies more than a quarter of the image area; причём выявление объектов и определение рамки, ограничивающей объект, осуществляется при помощи нейронной сети, которая обучена на наборе данных, который включает в себя изображения физических объектов. moreover, the detection of objects and the determination of the frame that bounds the object is carried out using a neural network that is trained on a data set that includes images of physical objects. 2. Способ по п. 1, отличающийся тем, что изображение окружающего пространства получают в трехканальном формате RGB. 2. The method according to p. 1, characterized in that the image of the surrounding space is obtained in a three-channel RGB format. 3. Способ по п. 1, отличающийся тем, что изображение получают при помощи камеры мобильного телефона. 3. The method according to p. 1, characterized in that the image is obtained using a mobile phone camera. 4. Способ по п.1, отличающийся тем, что изображение является видеопотоком, полученным в режиме реального времени. 4. The method according to claim 1, characterized in that the image is a video stream obtained in real time. 5. Способ по п. 1, отличающийся тем, что площадь ограничивающей объект рамки определяют в пикселях. 5. The method according to claim. 1, characterized in that the area of the bounding box of the object is determined in pixels. 6. Способ по п. 1, отличающийся тем, что предупреждение производится в звуковом формате. 6. The method according to p. 1, characterized in that the warning is made in a sound format. 7. Способ по п. 1, отличающийся тем, что предупреждение выводится на экран.7. Method according to claim 1, characterized in that a warning is displayed on the screen. 8. Способ по п. 1, отличающийся тем, что для сравнения изображений выявленных объектов с изображениями эталонных объектов производится аффинное преобразование и поворот изображений выявленных объектов таким образом, чтобы их центры совпадали с изображениями эталонных объектов. 8. The method according to claim 1, characterized in that to compare the images of the identified objects with the images of the reference objects, an affine transformation and rotation of the images of the identified objects is performed so that their centers coincide with the images of the reference objects. 9. Способ по п. 1, отличающийся тем, что под объектами первого типа понимаются объекты, расположенные ближе или имеющие больший размер, чем объекты второго типа.9. The method according to claim 1, characterized in that objects of the first type are understood to be objects located closer or having a larger size than objects of the second type.
RU2022129481A 2022-11-14 Way to warn about the presence of an obstacle on the way RU2785822C1 (en)

Publications (1)

Publication Number Publication Date
RU2785822C1 true RU2785822C1 (en) 2022-12-14

Family

ID=

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018120470A1 (en) * 2016-12-30 2018-07-05 华为技术有限公司 Image processing method for use when reversing vehicles and relevant equipment therefor
US10130548B2 (en) * 2015-05-13 2018-11-20 Abl Ip Holding Llc System and method to assist users having reduced visual capability utilizing lighting device provided information
RU2701051C2 (en) * 2017-01-24 2019-09-24 ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи Method, system and machine-readable storage media for detecting objects using recurrent neural network and linked feature map
US10528815B2 (en) * 2016-12-31 2020-01-07 Vasuyantra Corp. Method and device for visually impaired assistance
CN111860072A (en) * 2019-04-30 2020-10-30 广州汽车集团股份有限公司 Parking control method and device, computer equipment and computer readable storage medium
CN114359714A (en) * 2021-12-15 2022-04-15 中国电子科技南湖研究院 Unmanned body obstacle avoidance method and device based on event camera and intelligent unmanned body
US20220187841A1 (en) * 2020-12-10 2022-06-16 AI Incorporated Method of lightweight simultaneous localization and mapping performed on a real-time computing and battery operated wheeled device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10130548B2 (en) * 2015-05-13 2018-11-20 Abl Ip Holding Llc System and method to assist users having reduced visual capability utilizing lighting device provided information
WO2018120470A1 (en) * 2016-12-30 2018-07-05 华为技术有限公司 Image processing method for use when reversing vehicles and relevant equipment therefor
US10528815B2 (en) * 2016-12-31 2020-01-07 Vasuyantra Corp. Method and device for visually impaired assistance
RU2701051C2 (en) * 2017-01-24 2019-09-24 ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи Method, system and machine-readable storage media for detecting objects using recurrent neural network and linked feature map
CN111860072A (en) * 2019-04-30 2020-10-30 广州汽车集团股份有限公司 Parking control method and device, computer equipment and computer readable storage medium
US20220187841A1 (en) * 2020-12-10 2022-06-16 AI Incorporated Method of lightweight simultaneous localization and mapping performed on a real-time computing and battery operated wheeled device
CN114359714A (en) * 2021-12-15 2022-04-15 中国电子科技南湖研究院 Unmanned body obstacle avoidance method and device based on event camera and intelligent unmanned body

Similar Documents

Publication Publication Date Title
US9400935B2 (en) Detecting apparatus of human component and method thereof
CN106164980B (en) Information processing apparatus and information processing method
TWI439951B (en) Facial gender identification system and method and computer program products thereof
US20070230797A1 (en) Method, apparatus, and program for detecting sightlines
US7995807B2 (en) Automatic trimming method, apparatus and program
EP2339507A1 (en) Head detection and localisation method
KR20100075167A (en) Apparatus and method for capturing digital image using face recognition function
US20170344858A1 (en) Control device, control method, and computer program product
JP2009223459A (en) Information processor and method, and program
Poonsri et al. Improvement of fall detection using consecutive-frame voting
JP2010123019A (en) Device and method for recognizing motion
JP2015219879A (en) Image recognition system, image recognition method, and program
US11887331B2 (en) Information processing apparatus, control method, and non-transitory storage medium
US11222439B2 (en) Image processing apparatus with learners for detecting orientation and position of feature points of a facial image
RU2785822C1 (en) Way to warn about the presence of an obstacle on the way
US11527090B2 (en) Information processing apparatus, control method, and non-transitory storage medium
US9282317B2 (en) Method and apparatus for processing an image and generating information representing the degree of stereoscopic effects
JP4011426B2 (en) Face detection device, face detection method, and face detection program
CN113505760B (en) Target detection method, device, related equipment and computer readable storage medium
KR20110136761A (en) Object recognition method of robot
JP2023511241A (en) Neural network training method and apparatus and associated object detection method and apparatus
JP6543546B2 (en) Specific motion detection device and specific motion detection method
CN110781712A (en) Human head space positioning method based on human face detection and recognition
CN114863237B (en) Method and system for recognizing swimming gesture
WO2020259603A1 (en) Image processing apparatus and method