RU152572U1 - TRAINING ROBOT ASSISTANT - Google Patents
TRAINING ROBOT ASSISTANT Download PDFInfo
- Publication number
- RU152572U1 RU152572U1 RU2014138896/12U RU2014138896U RU152572U1 RU 152572 U1 RU152572 U1 RU 152572U1 RU 2014138896/12 U RU2014138896/12 U RU 2014138896/12U RU 2014138896 U RU2014138896 U RU 2014138896U RU 152572 U1 RU152572 U1 RU 152572U1
- Authority
- RU
- Russia
- Prior art keywords
- unit
- robot
- sensor
- output
- learner
- Prior art date
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
Робот-ассистент, содержащий, по меньшей мере, один датчик и вычислительный блок, включающий блок управления и блок памяти, отличающийся тем, что снабжен речевым анализатором, выполненным с возможностью распознавания слов-команд, поступающих от обучаемого и перевода их в цифровой код с формированием визуального образа, соответствующего тому или иному слову-команде, выход которого связан с вычислительным блоком, узлом технического зрения с телекамерой и устройством обработки видеосигнала, а также рукой-манипулятором, управляемой вычислительным блоком и предназначенной для передачи обучаемому предмета, соответствующего слову-команде, при этом в качестве датчика использован датчик перемещения робота, а устройство обработки видеосигнала узла технического зрения выполнено в виде блока формирования контурного изображения, связанного с видеовыходом телекамеры, и блока расчета перемещения робота, вход которого связан с выходом датчика перемещения робота, причем узел технического зрения информационно связан с вычислительным блоком, выполненным в виде компьютера, размещенного в корпусе робота.An assistant robot containing at least one sensor and a computing unit, including a control unit and a memory unit, characterized in that it is equipped with a speech analyzer configured to recognize command words from the learner and translate them into a digital code with formation a visual image corresponding to a particular command word, the output of which is connected to a computing unit, a technical vision unit with a television camera and a video signal processing device, as well as a manipulator arm controlled by a computer an integral unit and intended for transmitting to the learner an object corresponding to the command word, the robot moving sensor being used as a sensor, and the video signal processing device of the technical vision unit made in the form of a contour image forming unit associated with the video output of the camera, and a robot moving calculation unit, the input of which is connected with the output of the robot displacement sensor, and the technical vision unit is informationally connected with the computing unit, made in the form of a computer, leg in the body of the robot.
Description
Полезная модель относится к области обучения или общения со слепыми, глухими или немыми, в частности к специальным средствам обучения и может быть использована в коррекционной педагогике и восстановительной медицине.The utility model relates to the field of training or communication with the blind, deaf or dumb, in particular to special teaching aids and can be used in correctional pedagogy and restorative medicine.
Известен способ коррекции развития сенсорных систем у детей (патент РФ №2412727), заключающийся в том, что осуществляют стимуляцию системы зрительного восприятия, системы слухового восприятия и системы тактильного восприятия ребенка в периферических зонах. При этом связывают различные сенсорные стимулы в точках пространства относительно тела ребенка путем перемещения специалиста относительно сагиттальной плоскости тела ребенка. Затем формируют фронтальное сенсорное направление восприятия ребенка, как приоритетное. Стимулирование системы зрительного восприятия включает стимулирование быстрыми движениями рук специалиста при встраивании в собственную двигательную активность ребенка. Стимуляцию системы слухового восприятия осуществляют звуками, включающими шуршание пальцев, хлопками в ладони, голосом, а также звуками музыкальных инструментов. Стимулирование системы тактильного восприятия осуществляют путем нажатий пальцами в направлении от проксимальных отделов к дистальным и в обратном направлении. Способ расширяет арсенал средств для коррекции развития ребенка с аутизмом.A known method for correcting the development of sensory systems in children (RF patent No. 2412727), which consists in the fact that they stimulate the visual perception system, the auditory perception system and the tactile perception system of the child in the peripheral zones. At the same time, various sensory stimuli are connected at points of space relative to the child’s body by moving a specialist relative to the sagittal plane of the child’s body. Then form the frontal sensory direction of perception of the child, as a priority. Stimulation of the visual perception system includes stimulation by quick movements of the hands of a specialist when embedded in the child’s own motor activity. Stimulation of the auditory perception system is carried out by sounds, including the rustling of fingers, clapping in the palms, voice, as well as the sounds of musical instruments. The tactile perception system is stimulated by pressing with fingers in the direction from the proximal to the distal and in the opposite direction. The method expands the arsenal of means for correcting the development of a child with autism.
Недостатком известного способа заключается в необходимости активного участия специалиста при осуществлении сенсорного воздействия.The disadvantage of this method is the need for the active participation of a specialist in the implementation of sensory exposure.
Известно устройство для обучения человека, содержащее носитель информации с нанесенными на его поверхности визуально воспринимаемыми элементами информации и кнопочными переключателями, размещенными рядом с элементами информации, средства сигнализации, таймер, блок памяти (патент Франции №2140923).A device for training a person is known, comprising a storage medium with visually perceptible information elements deposited on its surface and push-button switches located next to information elements, signaling devices, a timer, a memory unit (French patent No. 2140923).
Недостатком известного устройства является невозможность его использования для обучения людей с дефектами зрения.A disadvantage of the known device is the inability to use it to educate people with visual impairments.
Известно также устройство для обучения человека, выбранное в качестве прототипа (патент РФ №2084963), содержащее носитель информации с органолептически воспринимаемыми элементами информации, снабженными одним или несколькими органолептически невоспринимаемыми сенсорами, связанными со звуковым генератором, размещенным в теле носителя информации. Устройство снабжено датчиками и вычислительным блоком, включающим блок управления и блок памяти.A device for training a person is also known, selected as a prototype (RF patent No. 2084963), containing a storage medium with organoleptically perceptible information elements equipped with one or more organoleptically unreceivable sensors associated with a sound generator located in the body of the information carrier. The device is equipped with sensors and a computing unit, including a control unit and a memory unit.
Использование устройства заключается в том, что обучаемому предлагается носитель информации, содержащий элементы информации, содержание которых должно быть усвоено обучаемым. В зависимости от возраста, целей обучения, состояния здоровья и развития обучаемого могут быть использованы различные носители информации с различными элементами информации.The use of the device lies in the fact that the learner is offered a storage medium containing information elements, the contents of which must be learned by the learner. Depending on age, learning objectives, health status and development of the learner, various storage media with various information elements can be used.
Недостатком данного устройства является то, что носитель информации должен быть специальным образом подготовлен.The disadvantage of this device is that the storage medium must be specially prepared.
В основу полезной модели положена задача использования для обучения неподготовленного носителя информации, т.е. фактически любого предмета используемого в быту.The utility model is based on the problem of using an unprepared information carrier for training, i.e. virtually any item used in everyday life.
Технический результат заключается в уменьшении времени подготовки носителя информации (предмета), используемого в процессе обучения, т.е. установления связи у обучаемого между словом-командой, обозначающим тот или иной предмет и тактильными ощущениями обучаемого.The technical result consists in reducing the preparation time of the information carrier (subject) used in the learning process, i.e. establishing a connection between the learner between the word-team designating a particular subject and the tactile sensations of the learner.
Технический результат достигается тем, что робот-ассистент, содержащий, по крайней мере, один датчик и вычислительный блок, включающий блок управления и блок памяти, согласно полезной модели, снабжен речевым анализатором, выполненным с возможностью распознавания слов-команд, поступающих от обучаемого и перевода их в цифровой код с формированием визуального образа, соответствующего тому или иному слову-команде, выход которого связан с вычислительным блоком, узлом технического зрения с телекамерой и устройством обработки видеосигнала, а также рукой-манипулятором, управляемой вычислительным блоком и предназначенной для передачи обучаемому предмета, соответствующего слову-команде, при этом в качестве датчика использован датчик перемещения робота, а устройство обработки видеосигнала узла технического зрения выполнено в виде блока формирования контурного изображения, связанного с видеовыходом телекамеры, и блока расчета перемещения робота, вход которого связан с выходом датчика перемещения робота, причем узел технического зрения информационно связан с вычислительным блоком, выполненным в виде компьютера, размещенного в корпусе робота.The technical result is achieved by the fact that the robot assistant containing at least one sensor and a computing unit, including a control unit and a memory unit, according to a utility model, is equipped with a speech analyzer configured to recognize command words from the learner and translation them into a digital code with the formation of a visual image corresponding to a particular word-command, the output of which is associated with a computing unit, a technical vision unit with a television camera and a video signal processing device, and also with a manipulator arm controlled by a computing unit and intended for transmitting to the learner an object corresponding to the command word, the robot displacement sensor being used as a sensor, and the video signal processing device of the technical vision unit made in the form of a contour image forming unit associated with the video camera output, and a unit for calculating the movement of the robot, the input of which is connected to the output of the sensor for moving the robot, and the technical vision node is informationally connected with a unit made in the form of a computer located in the robot body.
Назначение обучающего робота-ассистента заключается в помощи лицу с ограниченными возможностями по установлению связи между словом, обозначающим тот или иной предмет и тактильными ощущениями обучаемого. Робот по команде, например, слепого человека передает последнему озвученный предмет. Слепой человек его ощупывает, у него создается некий тактильный образ данного предмета и появляется ассоциативная связь между названием предмета и его тактильным образом.The purpose of the training assistant robot is to help a person with disabilities to establish a connection between the word denoting a particular subject and the tactile sensations of the learner. A robot on command, for example, of a blind person transmits the last voiced item. A blind person feels it, he creates a kind of tactile image of the subject and an associative connection appears between the name of the subject and its tactile image.
Использование полезной модели обеспечивает эффективное обучение человека без участия обучающего.Using the utility model provides effective training for a person without the participation of a trainer.
Существо полезной модели будет понятно из последующего подробного пояснения на примере конкретной реализации со ссылкой на чертеж, где показана блок-схема обучающего робота-ассистента.The essence of the utility model will be clear from the following detailed explanation on the example of a specific implementation with reference to the drawing, which shows a block diagram of a training assistant robot.
Обучающий робот-ассистент содержит, по крайней мере, один датчик 1 и вычислительный блок 2, включающий блок управления и блок памяти (на чертеже не показаны), речевой анализатор 3, узел 4 технического зрения с телекамерой 5 и устройством 6 обработки видеосигнала. В качестве датчика 1 использован датчик перемещения, вычислительный блок 2 выполнен в виде компьютера, размещенного в корпусе робота (на чертеже не показан), а устройство 6 обработки видеосигнала выполнено в виде блока 7 формирования контурного изображения, связанного с видеовыходом телекамеры 5, и блока 8 расчета перемещения, вход которого связан с датчиком 1 перемещения. Выход речевого анализатора 3 связан с компьютером 2, который в свою очередь связан с узлом технического зрения.The training assistant robot contains at least one
Обучающий робот-ассистент снабжен рукой-манипулятором (на чертеже не показана). Конструктивное выполнение руки-манипулятора и технология управления ею известны из общего уровня техники и не являются предметом данной полезной модели.The training robot assistant is equipped with a manipulator arm (not shown in the drawing). The constructive implementation of the manipulator arm and its control technology are known from the general prior art and are not the subject of this utility model.
Компьютер 2 робота представляет собой обычную электронно-вычислительную машину, выполняющую заложенный в нее алгоритм действия и хранящий в памяти требуемую информацию. Алгоритм и объем необходимой информации будут понятны из последующих пояснений.The
Речевой анализатор 3 обеспечивает распознавание слов-команд и перевод их в цифровой код. Такие анализаторы известны из общего уровня техники. Анализатор обеспечивает также формирование визуального образа, соответствующего тому или иному слову или выражению, что также известно (см., например патент РФ №90251).
Блок 7 формирования контурного изображения представляет собой блок пространственного дифференцирования видеосигнала и сравнения результата дифференцирования с пороговым значением. Устройства, предназначенные для выделения контуров объектов на телевизионном изображении и работающие в реальном масштабе времени широко известны.
Известно также использование подобных устройств в системах технического зрения (см., например, патент РФ №2095756).The use of such devices in vision systems is also known (see, for example, RF patent No. 2095756).
В случае выполнения нижней части обучающего робота-ассистента (устройства перемещения) в виде тележки, датчик 6 перемещения может быть выполнен в виде счетчика числа оборотов колеса данной тележки. Блок 8 расчета перемещения в данном случае выполняется в виде простого вычислителя, определяющего перемещение (S) робота согласно формуле:In the case of the lower part of the training assistant robot (moving device) in the form of a trolley, the displacement sensor 6 can be made in the form of a counter of the number of revolutions of the wheel of the trolley.
S=N×πR,S = N × πR,
где N - число оборотов колеса тележки робота;where N is the number of revolutions of the wheel of the robot trolley;
R - радиус колеса тележки робота.R is the radius of the wheel of the robot cart.
В случае конструктивного исполнения обучающего робота-ассистента в виде робота шагающего типа, датчик 1 перемещения выполняется в виде счетчика шагов, а блок 8 выполняется в виде умножителя, производящего расчет перемещения робота умножением количество шагов на длину шага.In the case of the design of the training assistant robot in the form of a walking type robot, the
Обучающий робот-ассистент используется следующим образом.The training robot assistant is used as follows.
В начальной позиции робот располагается рядом с обучаемым. Около обучаемого находится предметный стол, координаты которого заложены в память робота. Обучаемый, например, лицо имеющее дефект зрения, произносит слово, обозначающее предмет, находящийся в комнате. В речевом анализаторе 3 робота-ассистента осуществляется обработка слова-команды и перевод его в цифровой код. Далее, в зависимости от вида информации, загруженной в память компьютера 2, осуществляется непосредственное сравнение полученного цифрового кода с цифровыми кодами, находящимися в библиотеке цифровых кодов предметов компьютера 2, либо полученный цифровой код переводится в визуальный образ и осуществляется сравнение с образами библиотеки загруженных визуальных образов предметов. После идентификации предмета робот осуществляет сканирование окружающего пространства и поиск «заказанного» предмета в комнате.In the initial position, the robot is located next to the trainee. Near the learner is an object table, the coordinates of which are embedded in the memory of the robot. The student, for example, a person with a visual impairment, pronounces a word denoting an object in the room. In the
Как уже указывалось, в блоке 7 формирования контурного изображения осуществляется выделение на изображении границ между объектами и фоном, формируется контурное изображение. Контурное изображение формируется путем пространственного дифференцирования видеосигнала и сравнения результата дифференцирования с порогом. Такой подход позволяет выделить граничные точки на изображении, т.е. точки, которые принадлежат границе между объектом и фоном.As already indicated, in the
Использование узла технического зрения, дополненного устройством обработки видеосигналов, которое выполнено в виде блока 7 формирования контурного изображения и блока 8 расчета перемещения обеспечивает автоматическое измерение расстояния до объектов, находящихся по ходу движения робота. Телекамера 5 закреплена впереди таким образом, что в поле зрения попадают объекты, возникающие по ходу движения. В каждый текущий момент времени (например, за каждый телевизионный кадр) на видеовыходе телекамеры 5 будет формироваться изображение, несущее информацию об объектах, находящихся по ходу движения. Телевизионный сигнал с видеовыхода поступает на вход блока 7 формирования контурного изображения. В блоке 7 осуществляется выделение на изображении границ между объектами и фоном, формируется контурное изображение. Контурное изображение формируется путем пространственного дифференцирования видеосигнала и сравнения результата дифференцирования с порогом.The use of a technical vision unit, supplemented by a video signal processing device, which is made in the form of a contour
Контурный рисунок с выхода блока 7 поступает на вход блока памяти компьютера 2 и записывается в него. Затем в блок памяти компьютера 2 поступает информация о длине пройденного пути с выхода блока 8 расчета перемещения. Контурное изображение из блока памяти считывается в процессор компьютера 2, в котором осуществляется анализ контурного изображения и измерение линейных размеров контурного рисунка объекта, находящегося в центре изображения. Затем через интервал времени t (кратный длительности телевизионного кадра) текущее телевизионное изображение с выхода телекамеры 5 при помощи блока 7 преобразуется в контурный рисунок и опять записывается в блок памяти компьютера 2. Затем туда же записываются показания о пройденном пути с выхода блока 8. Контурный рисунок с выхода блока 7 считывается в процессор компьютера 2, который осуществляет анализ изображений и измерение линейных размеров контурного изображения наблюдаемого объекта.The outline drawing from the output of
Вычисление расстояния до объекта в текущий момент времени осуществляется на основании известной формулы (см. например патент РФ №2095756:The calculation of the distance to the object at the current time is based on the well-known formula (see, for example, RF patent No. 2095756:
D(t)=S(t)×N0/(N(t)-N0),D (t) = S (t) × N 0 / (N (t) -N 0 ),
где D(t) - расстояние до объекта;where D (t) is the distance to the object;
S(t) - расстояние, на которое переместился робот;S (t) is the distance the robot has moved;
N0 - размер изображения объекта до перемещения робота;N 0 - image size of the object before moving the robot;
N(t) - размер изображения объекта после перемещения робота.N (t) - image size of the object after moving the robot.
Данное выражение описывает способ определения расстояния до неподвижного объекта при помощи одной телекамеры, на основании анализа размеров изображения объекта в плоскости изображения в моменты времени t0 и tThis expression describes a method for determining the distance to a stationary object using a single camera, based on an analysis of the image size of the object in the image plane at time t 0 and t
Обнаружив «заказанный» предмет и определив расстояние до него, робот выдает звуковой сигнал о готовности выполнить задание. Далее робот перемещается к предмету, захватывает его и возвращается назад. Предмет помещается на предметный стол рядом с обучаемым. Обучаемый может приступать к изучению «заказанного» предмета.Having discovered the “ordered” item and determining the distance to it, the robot gives an audio signal that it is ready to complete the task. Next, the robot moves to the object, captures it and returns. The subject is placed on the subject table next to the student. The student can begin to study the “ordered” subject.
При определении расстояния до объекта при помощи предложенного способа отпадает необходимость знать реальные линейные размеры и ориентацию объекта на наблюдаемой сцене.When determining the distance to the object using the proposed method, there is no need to know the actual linear dimensions and orientation of the object on the observed scene.
Аналогичным образом определяется расстояние до предметов, с которыми проводятся манипуляции. В этом случае вместо линейных координат используются угловые координаты руки-манипулятора. Расчет перемещения ведется в полярных координатах. В этом случае в качестве координат используются угол α, учитывающий поворот корпуса робота относительно его горизонтальной оси симметрии, угол β, учитывающий наклон корпуса робота по отношению к вертикали, угол γ, учитывающий угловую координату между плечевой частью манипулятора (руки) робота и его корпусом, угол δ, учитывающий угловую координату между плечевой и локтевой частями манипулятора.Similarly, the distance to the objects that are being manipulated is determined. In this case, instead of linear coordinates, the angular coordinates of the manipulator arm are used. Calculation of displacement is carried out in polar coordinates. In this case, the coordinates α are used, taking into account the rotation of the robot body relative to its horizontal axis of symmetry, angle β, taking into account the inclination of the robot body relative to the vertical, angle γ, taking into account the angular coordinate between the shoulder part of the robot arm (arm) and its body, angle δ, taking into account the angular coordinate between the shoulder and ulnar parts of the manipulator.
Использование узла технического зрения, дополненного устройством обработки видеосигналов, которое выполнено в виде блока 7 формирования контурного изображения и блока 8 расчета перемещения обеспечивает точное измерение расстояния до объектов, находящихся по ходу движения робота. Применение полярной системы координат (углы α, β, γ, δ) для определения пространственного положения манипулятора робота позволит также точно определять положение касания без предварительного обучения робота.The use of a technical vision unit, supplemented by a video signal processing device, which is made in the form of a contour
Claims (1)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014138896/12U RU152572U1 (en) | 2014-09-28 | 2014-09-28 | TRAINING ROBOT ASSISTANT |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014138896/12U RU152572U1 (en) | 2014-09-28 | 2014-09-28 | TRAINING ROBOT ASSISTANT |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU152572U1 true RU152572U1 (en) | 2015-06-10 |
Family
ID=53297920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2014138896/12U RU152572U1 (en) | 2014-09-28 | 2014-09-28 | TRAINING ROBOT ASSISTANT |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU152572U1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018056858A1 (en) * | 2016-09-22 | 2018-03-29 | Акционерное общество "Квантум Системс" | Robotic system and method of automatic self-maintenance of the robotic system |
| RU2708114C1 (en) * | 2019-07-10 | 2019-12-04 | Общество с ограниченной ответственностью «Комплект-ОМ» | System and method of monitoring and teaching children with autism spectrum disorders |
-
2014
- 2014-09-28 RU RU2014138896/12U patent/RU152572U1/en not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018056858A1 (en) * | 2016-09-22 | 2018-03-29 | Акционерное общество "Квантум Системс" | Robotic system and method of automatic self-maintenance of the robotic system |
| RU2708114C1 (en) * | 2019-07-10 | 2019-12-04 | Общество с ограниченной ответственностью «Комплект-ОМ» | System and method of monitoring and teaching children with autism spectrum disorders |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220331028A1 (en) | System for Capturing Movement Patterns and/or Vital Signs of a Person | |
| Mohammed et al. | Recognition of gait cycle phases using wearable sensors | |
| Ofli et al. | Design and evaluation of an interactive exercise coaching system for older adults: lessons learned | |
| US20220167896A1 (en) | Method for Objectively Tracking and Analyzing the Social and Emotional Activity of a Patient | |
| US20140184384A1 (en) | Wearable navigation assistance for the vision-impaired | |
| US20150004581A1 (en) | Interactive physical therapy | |
| CN112597967B (en) | Immersive virtual environment, emotion recognition method and device for multi-mode physiological signals | |
| CN109765991A (en) | Social interaction system is used to help system and non-transitory computer-readable storage media that user carries out social interaction | |
| KR20160083411A (en) | Augmented Reality System To Cognition Improvement For Prevention And Care Of Dementia | |
| WO2016083826A1 (en) | Facial exercise system | |
| Hu et al. | Stereopilot: A wearable target location system for blind and visually impaired using spatial audio rendering | |
| McColl et al. | Classifying a person’s degree of accessibility from natural body language during social human–robot interactions | |
| WO2021148880A1 (en) | Systems for dynamic assessment of upper extremity impairments in virtual/augmented reality | |
| Pissaloux et al. | Towards a cognitive model of human mobility: an investigation of tactile perception for use in mobility devices | |
| RU152572U1 (en) | TRAINING ROBOT ASSISTANT | |
| Isaksson et al. | Audomni: Super-scale sensory supplementation to increase the mobility of blind and low-vision individuals—A pilot study | |
| WO2023019376A1 (en) | Tactile sensing system and method for using same | |
| CN113257387B (en) | Wearable device for rehabilitation training, rehabilitation training method and system | |
| Ugulino et al. | Landmark identification with wearables for supporting spatial awareness by blind persons | |
| Manasrah | Human motion tracking for assisting balance training and control of a humanoid robot | |
| Brayda et al. | A refreshable tactile display effectively supports cognitive mapping followed by orientation and mobility tasks: A comparative multi-modal study involving blind and low-vision participants | |
| Rosales et al. | Computer vision for detection of body expressions of children with cerebral palsy | |
| Gandhi et al. | A CMUcam5 computer vision based arduino wearable navigation system for the visually impaired | |
| Batmaz et al. | Effects of image size and structural complexity on time and precision of hand movements in head mounted virtual reality | |
| Todd et al. | A haptic-audio simulator indoor navigation: To assist visually impaired environment exploration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM9K | Utility model has become invalid (non-payment of fees) |
Effective date: 20170929 |