RU2815498C2 - Method for generating gesture pattern for controlling mobile touch devices used by blind and visually impaired people - Google Patents

Abstract

FIELD: computer engineering.

SUBSTANCE: technical result is achieved due to the fact that a mock-up simulator is created, which is a mock-up of a mobile touch device, made on a 3D printer in the shape of a mobile touch device with grooves that repeats the control gestures of the screen access program, control gestures are performed on this mock-up simulator to form a pattern of gestures for controlling mobile touch devices used by blind and visually impaired people, then an overlay simulator is created, which is an overlay for a specific mobile touch device with grooves for gestures, made on a 3D printer, and the overlay simulator is combined with the screen of a mobile touch device, gestures are performed in accordance with the grooves of the pad simulator to form a pattern of gestures for controlling mobile touch devices used by blind and visually impaired people.

EFFECT: mastering a control gesture pattern on a touch device, regardless of the depth of the vision pathology and the time of its occurrence in blind and visually impaired people.

1 cl, 2 tbl

Description

Изобретение относится к медицине, может быть использовано в качестве метода обучения работе па сенсорных устройствах, позволяющий овладеть сенсорными устройствами слепым и слабовидящим людям.The invention relates to medicine and can be used as a method of teaching how to operate touch devices, allowing blind and visually impaired people to master touch devices.

Известно устройство « Тактильно-сенсорный монитор» (RU 157524 U1), которое представляет собой устройство, предназначенное для отображения визуальной информации и адаптировано для слабовидящих людей. Работа данного устройства организована путем наложения специальной тактильной накладки, на которой выполнены тактильные элементы, на сенсорный экран, позволяющие слабовидящим людям тактильно ощущать управляющие и информационные зоны. При работе с тактильно-сенсорным монитором слабовидящие люди на ощупь воспринимают тактильные элементы, расположенные па тактильно-сенсорном экране. Таким образом, они определяют расположение информационных зон и управляющих зон на тактильно-сенсорном экране.The device “Tactile-touch monitor” (RU 157524 U1) is known, which is a device designed to display visual information and is adapted for visually impaired people. The operation of this device is organized by applying a special tactile pad, on which tactile elements are made, onto the touch screen, allowing visually impaired people to tactilely feel control and information zones. When working with a tactile-touch monitor, visually impaired people perceive tactile elements located on the tactile-touch screen by touch. Thus, they determine the location of information zones and control zones on the tactile touch screen.

Недостатком данного устройства является 01раниченное пользование сенсорными устройствами, поскольку без специальной тактильной накладки слабовидящие не смогут управлять устройством. Также сложности могут возникнуть при распознавании элементов тактильно-сенсорного монитора.The disadvantage of this device is the limited use of touch devices, since without a special tactile pad, the visually impaired will not be able to control the device. Difficulties may also arise when recognizing elements of a tactile-touch monitor.

Также известно " Устройство и способ для ввода данных в шрифте Брайля" (RU 2589549 С2), взятое в качестве прототипа, которое заключаются в введении информации через сенсорную поверхность с использованием вибрационных данных, которые кодируются, как шрифт Брайля. В основе этого изобретения лежит двойное преобразование информации (формирование символа шрифта Брайля множественными нажатиями, а также распознавание вибрационных данных для получения ответа от устройства).Also known is “Device and method for entering data in Braille” (RU 2589549 C2), taken as a prototype, which consists of entering information through a touch surface using vibration data that is encoded as Braille. This invention is based on double conversion of information (formation of a Braille character by multiple clicks, as well as recognition of vibration data to obtain a response from the device).

К недостаткам этого способа и устройства можно отнести сложную техническую оснащенность (необходимость специально оснащенного сенсорного устройства), возможные ошибки при как при вводе информации в устройство, так и при распознавании результата действий. Для овладения сенсорными устройствами по данной методике, необходимо на отлично владеть шрифтом Брайля, что не позволит слепым и слабовидящим детского возраста пользоваться сенсорными устройствами. Также не смогут пользоваться сенсорными устройствами люди, у которых нарушена тактильная чувствительность.The disadvantages of this method and device include complex technical equipment (the need for a specially equipped sensor device), possible errors both when entering information into the device and when recognizing the result of actions. To master touch devices using this method, you must have excellent command of Braille, which will not allow blind and visually impaired children to use touch devices. Also, people who have impaired tactile sensitivity will not be able to use touch devices.

Задачей, на решение которой направлено наше изобретение, является создание доступного процесса обучения слепых и слабовидящих людей пользованию сенсорными устройствами.The task to which our invention is aimed is to create an accessible process for teaching blind and visually impaired people how to use touch devices.

Поставленная задача решается тем, что процесс обучения слепых и слабовидящих людей основывается на создании тренажеров, идентичных индивидуальному телефону, с использованием технологий 3Д-моделирования и ЗД-печати. При помощи этих тренажеров люди с ограниченными возможностями здоровья по зрению изучают жесты управления сенсорным устройством. Жест - это разнообразные касания и смахивания одним или несколькими пальцами по экрану сенсорного устройства для получения информации и передачи команд с помощью программы экранного доступа.The task is solved by the fact that the process of training blind and visually impaired people is based on the creation of simulators identical to an individual telephone, using 3D modeling and 3D printing technologies. With the help of these simulators, people with visual impairments learn gestures to control a touch device. A gesture is a variety of touches and swipes of one or more fingers on the screen of a touch device to obtain information and send commands using a screen reader.

Нами разработаны 2 вида -тренажеров. Первые представляют собой объемные макеты сенсорных устройств, изготовленные по форме мобильного устройства, с пазами, повторяющие жесты управления программой экранного доступа, вторые представлены в форме накладок на мобильное устройство с пазами, которые позволяют выполнять жесты непосредственно на экране сенсорного устройства. Все виды тренажеров изготавливаются по индивидуальным меркам сенсорного устройства обучающего. На первом этапе производится создание чертежей при помощи технологий 3Д-моделирования, на втором этапе созданные чертежи печатаются на 3Д-принтере.We have developed 2 types of simulators. The first are three-dimensional mock-ups of touch devices, made in the shape of a mobile device, with grooves that repeat gestures for controlling a screen access program; the second are presented in the form of overlays on a mobile device with grooves that allow you to perform gestures directly on the screen of a touch device. All types of simulators are made according to individual measurements of the sensory device of the training device. At the first stage, drawings are created using 3D modeling technologies; at the second stage, the created drawings are printed on a 3D printer.

Заявленный способ обладает широкими функциональными возможностями и может применяться в обучении как детей, так и взрослых. Применением тренажеров достигается ряд положительных результатов, каких как освоение правильного паттерна жеста управления на сенсорном устройстве, вне зависимости от глубины патологии зрения и временем ее возникновения. Освоение сенсорного устройства при данной методике будет полноценным, поскольку слепые и слабовидящие будут знать не только основные функции сенсорного устройства, но и понимать принципы работы, организации приложений (ячеек) сенсорного устройства. Каждый освоивший сенсорное устройство по предложенной методике, сможет в дальнейшем настроить параметры телефона так, как удобно ему. Еще одной положительной характеристикой этой методики является освоение паттерна жестового действия, не только повторениями на тренажере-макете, но и использование тренажеров-накладок, которые позволят слепому привыкнуть к поверхности сенсорного экрана собственного телефона.The claimed method has wide functionality and can be used in teaching both children and adults. The use of simulators achieves a number of positive results, such as mastering the correct control gesture pattern on a touch device, regardless of the depth of the vision pathology and the time of its occurrence. Mastering a touch device with this method will be complete, since the blind and visually impaired will know not only the basic functions of the touch device, but also understand the principles of operation and organization of applications (cells) of the touch device. Anyone who has mastered a touch device using the proposed method will be able to further configure the phone parameters in a way that is convenient for them. Another positive characteristic of this technique is the mastery of the pattern of gesture action, not only by repetitions on the mock-up simulator, but also the use of overlay simulators that will allow the blind person to get used to the surface of the touch screen of his own phone.

Способ обучения слепых и слабовидящих людей пользованию сенсорными устройствами осуществляется следующим образом. Обучающийся использует изготовленные по индивидуальным размерам сенсорного устройства тренажеры-макеты и накладки следующим образом. При первом этапе обучения используются тренажеры-макеты. В левую руку берется тренажер, все жесты выполняются правой рукой обучающегося. Палец или пальцы правой руки, в зависимости от разновидности жеста, укладываются па паз тренажера-макета. Далее движение пальца повторяет движение паза макета. Вторым этапом обучения используются накладки, которые совмещают с экраном сенсорного устройства, и выполняют пальцем правой руки жест, изображенный па накладке. Таким образом формируется правильный паттерн жеста.The method of teaching blind and visually impaired people to use touch devices is carried out as follows. The student uses mock-up simulators and overlays made to individual dimensions of the sensory device as follows. At the first stage of training, mock-up simulators are used. The simulator is taken in the left hand, all gestures are performed with the student’s right hand. The finger or fingers of the right hand, depending on the type of gesture, are placed in the groove of the mock-up simulator. Next, the movement of the finger repeats the movement of the layout groove. The second stage of training is to use overlays, which are combined with the screen of a touch device, and perform the gesture depicted on the overlay with the finger of your right hand. In this way, the correct gesture pattern is formed.

Пример 1.Example 1.

На базе ЛУК УР "Национальная библиотека УР " нами было обучено 7 детей с нарушениями зрения. Из них 6 девочек и 1 мальчик, в возрасте от 8 до 13 лет.В процессе освоения сенсорного устройства нами были классифицированы все жесты по сложности их выполнения.On the basis of the LUK UR "National Library of the UR" we trained 7 children with visual impairments. Of these, 6 girls and 1 boy, aged from 8 to 13 years. In the process of mastering the touch device, we classified all gestures according to the complexity of their implementation.

Ученик П. Возраст 12 лет. Навыков пользования сенсорным телефоном на момент начала занятий не имелось. Модель телефона: Xiaomi Redmi Note 9. Занятия проходили 1 раз в неделю, продолжительностью 1 час. На освоение сенсорного телефона потребовалось 5 месяцев.Student P. Age 12 years. There were no skills to use a touch phone at the start of classes. Phone model: Xiaomi Redmi Note 9. Classes were held once a week, lasting 1 hour. It took 5 months to master the touch phone.

Каждое занятие состояло из 3х частей. В первой части - обучение происходило при помощи тренажеров-макетов. Ученик П. брал тренажер-макет в левую руку, указательным пальцем правой руки повторял жест «Смахивание одним пальцем», изображенный пазом как линия. Для достижения правильного паттерна этого жеста потребовалось 7 повторений слева направо. Во второй части занятия использовались накладки. Ученик П. совмещал накладку для жеста «Смахивание одним пальцем» с экраном сенсорного устройства, далее указательным пальцем правой руки проводил жест. Количество повторений, потребовавшихся для освоения жеста на накладке- 5. На третьем этапе обучения использовался только экран сенсорного устройства. Все повторения вышеуказанного жеста на тренажере-макете и накладке сформировали правильный паттерн жеста и тактильную память, благодаря чему выполнения жеста на экране сенсорного устройства приводили к нужному результату (отклику программы экранного доступа).Each lesson consisted of 3 parts. In the first part, training took place using mock-up simulators. Student P. took the mock-up simulator in his left hand, and with the index finger of his right hand repeated the “Swipe with one finger” gesture, depicted by a groove like a line. It took 7 repetitions from left to right to achieve the correct pattern of this gesture. In the second part of the lesson, overlays were used. Student P. combined the one-finger swipe gesture pad with the screen of the touch device, then performed the gesture with the index finger of his right hand. The number of repetitions required to master the gesture on the pad was 5. At the third stage of training, only the screen of the touch device was used. All repetitions of the above gesture on the mock-up simulator and the overlay formed the correct gesture pattern and tactile memory, due to which the execution of the gesture on the screen of the touch device led to the desired result (the response of the screen reader).

Таким образом изучалось 30 основных жестов.In this way, 30 basic gestures were studied.

В таблице представлены данные по количеству повторений, которые потребовались ученику П. для установления точного паттерна жестов, необходимых для пользования сенсорным устройством.The table shows data on the number of repetitions that student P required to establish the exact pattern of gestures necessary to use the touch device.

Пример 2.Example 2.

Ученик М. Возраст 13 лет. Навыков пользования сенсорным телефоном на момент начала занятий не имелось. Модель телефона: Samsung Galaxy A3. Занятия проходили 1 раз в неделю, продолжительностью 1 час. На освоение телефона потребовалось 4,5 месяца.Student M. Age 13 years. There were no skills to use a touch phone at the start of classes. Phone model: Samsung Galaxy A3. Classes were held once a week, lasting 1 hour. It took 4.5 months to master the phone.

Каждое занятие состояло из 3х частей. В первой части - обучение происходило при помощи тренажеров-макетов. Ученик П. брал тренажер-макет в левую руку, указательным и средним пальцами правой руки повторял жест «Смахивание двумя пальцами», изображенный пазами, как две параллельные вертикальные линии. Для достижения правильного паттерна этого жеста потребовалось 8 повторений снизу вверх. Во второй части занятия использовались накладки. Ученик М. совмещал накладку для жеста «Смахивание двумя пальцами» с экраном сенсорного устройства, далее указательным и средним пальцами правой руки проводил жест. Количество повторений, потребовавшихся для освоения жеста па накладке- 7. На третьем этапе обучения использовался только экран сенсорного устройства. Все повторения вышеуказанного жеста на тренажере-макете и накладке сформировали правильный паттерн жеста и тактильную память, благодаря чему выполнения жеста па экране сенсорного устройства приводили к нужному результату (отклику про1раммы экранного доступа).Each lesson consisted of 3 parts. In the first part, training took place using mock-up simulators. Student P. took the mock-up simulator in his left hand, and with the index and middle fingers of his right hand repeated the “Two-finger swipe” gesture, depicted by grooves like two parallel vertical lines. It took 8 repetitions from bottom to top to achieve the correct pattern of this gesture. In the second part of the lesson, overlays were used. Student M. combined the two-finger swipe gesture pad with the screen of the touch device, then performed the gesture with the index and middle fingers of his right hand. The number of repetitions required to master the gesture on the pad was 7. At the third stage of training, only the screen of the touch device was used. All repetitions of the above gesture on the mock-up simulator and pad formed the correct gesture pattern and tactile memory, due to which execution of the gesture on the screen of a touch device led to the desired result (response from the screen access program).

Таким образом изучалось 30 основных жестов.In this way, 30 basic gestures were studied.

В таблице представлены данные по количеству повторений, которые потребовались ученику М. для установления точного паттерна жестов, необходимых для пользования сенсорным устройством.The table shows data on the number of repetitions that student M required to establish the exact pattern of gestures necessary to use the touch device.

Claims (5)

Способ формирования паттерна жестов для управления мобильными сенсорными устройствами, используемыми слепыми и слабовидящими людьми, отличающийся тем, что содержит следующие этапы:A method for generating a gesture pattern for controlling mobile touch devices used by blind and visually impaired people, characterized in that it contains the following steps: создают тренажер-макет, представляющий собой макет мобильного сенсорного устройства, изготовленный на 3D-принтере по форме мобильного сенсорного устройства с пазами, повторяющими жесты управления программой экранного доступа,create a mock-up simulator, which is a mock-up of a mobile touch device, made on a 3D printer in the shape of a mobile touch device with grooves that repeat the control gestures of the screen access program, выполняют жесты управления на данном тренажере-макете для формирования паттерна жестов управления мобильными сенсорными устройствами, используемыми слепыми и слабовидящими людьми,perform control gestures on this mock-up simulator to form a pattern of control gestures for mobile touch devices used by blind and visually impaired people, далее создают тренажер-накладку, представляющий собой накладку на конкретное мобильное сенсорное устройство с пазами для жестов, изготовленную на 3D-принтере, и совмещают тренажер-накладку с экраном мобильного сенсорного устройства,then they create an overlay simulator, which is an overlay for a specific mobile touch device with grooves for gestures, made on a 3D printer, and combine the overlay simulator with the screen of the mobile touch device, выполняют жесты в соответствии с пазами тренажера-накладки для формирования паттерна жестов управления мобильными сенсорными устройствами, используемыми слепыми и слабовидящими людьми.perform gestures in accordance with the grooves of the pad simulator to form a pattern of gestures for controlling mobile touch devices used by blind and visually impaired people.