RU2175143C1 - Способ дистанционного управления - Google Patents
Способ дистанционного управления Download PDFInfo
- Publication number
- RU2175143C1 RU2175143C1 RU2000108176A RU2000108176A RU2175143C1 RU 2175143 C1 RU2175143 C1 RU 2175143C1 RU 2000108176 A RU2000108176 A RU 2000108176A RU 2000108176 A RU2000108176 A RU 2000108176A RU 2175143 C1 RU2175143 C1 RU 2175143C1
- Authority
- RU
- Russia
- Prior art keywords
- control
- signs
- control element
- information
- hand
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Nitrogen And Oxygen Or Sulfur-Condensed Heterocyclic Ring Systems (AREA)
Abstract
Изобретение относится к области компьютерной техники, а более конкретно к вводу информации в компьютер, и может быть использовано для дистанционного управления различными объектами. Техническим результатом является повышение надежности и повышение точности ввода информации. Для этого в заявленном способе формирование управляющего воздействия осуществляют посредством положения и состояния в пространстве и времени, по крайней мере, одной части человеческого тела, передачу информации об управляющем воздействии от органа управления к устройству обработки осуществляют посредством оптического потока, создаваемого органом управления, идентификацию информации об управляющем воздействии производят путем выявления в световом потоке, по крайней мере, одного из структурных, геометрических, цветовых признаков органа управления и признаков движения, например направления. 4 з.п. ф-лы, 2 ил.
Description
Изобретение относится к области компьютерной техники, а более конкретно к вводу информации в компьютер, и может быть использовано для дистанционного управления различными объектами.
Известны способы ввода информации в компьютер, основанные на преобразовании механического движения в цифровые сигналы, управляющие работой компьютера. К ним относятся способы ввода данных о положении и перемещении курсора по экрану, основанные на преобразовании движения различных манипуляторов типа "мышь" и "джойстик" (см., например, ЕПВ, патент N 0085960, G 06 K 11/06, 1983).
Известны способы управления курсором, использующие движение пальца по поверхности емкостного датчика (см., например, FR, патент N 2702292, G 06 K 11/16, 1994).
Известны способы биоэлектрического управления механизмами и устройствами, предполагающие использование в качестве управляющих данных биопотенциалов руки (электромиограммы), отводимых, усиливаемых и преобразованных в цифровой входной формат компьютера (см., например, RU, патент N 2121706, G 06 F 3/00, A 61 F 4/00, 1996).
Известны также способы ввода информации в компьютер, использующие преобразование жестов рук в символы, вводимые в компьютер (см., например, PCT (WC), патент N 94/12925, G 06 F 3/00, 1994). Данный способ является наиболее близким к заявленному по технической сущности и выбирается в качестве прототипа. Известные способы-аналоги и способ-прототип имеют следующие недостатки: низкая надежность, определяемая надежностью механических устройств и датчиков, большая инерционность механических перемещений и сравнительно низкая точность.
В изобретении ставятся задачи устранения перечисленных выше недостатков и расширение области применения дистанционного управления.
Эти задачи решены в способе дистанционного управления, включающем операцию формирования управляющего сигнала органом управления, передачи с помощью оптического потока информации об управляющем воздействии от органа управления к входу устройства обработки информации, операцию идентификации и интерпретации информации об управляющем воздействии, выявляющей системные команды, управляющие работой объекта управления, в котором формирование управляющего воздействия осуществляют посредством положения и состояния в пространстве и времени, по крайней мере, одной части человеческого тела, передачу информации об управляющем воздействии от органа управления к устройству обработки осуществляют посредством оптического потока, создаваемого органом управления, идентификацию и интерпретацию информации об управляющем воздействии, которую несет оптический поток, производят путем выявления в световом потоке по крайней мере одного из структурных, геометрических, цветовых признаков органа управления и признаков движения, например, направления, сравнения управляющих признаков с параметрами модели органа управления, хранящихся в запоминающем устройстве устройства обработки и представляющими собой характерные структурные, геометрические, цветовые признаки и признаки движения, кодирующие системные команды, а системные команды, управляющие работой объекта управления, формируют по результатам упомянутого сравнения выявленных признаков с параметрами упомянутой модели.
Отличие предложенного способа заключается в том, что формирование управляющего воздействия осуществляют посредством положения и состояния в пространстве и времени, по крайней мере, одной части человеческого тела, передачу информации об управляющем воздействии от органа управления к устройству обработки осуществляют посредством оптического потока, создаваемого органом управления, идентификацию и интерпретацию информации о управляющем воздействии, которую несет оптический поток производят путем выявления в световом потоке, по крайней мере, одного из структурных, геометрических, цветовых признаков органа управления и признаков движения, например направления, сравнения управляющих признаков с параметрами модели органа управления, хранящихся в запоминающем устройстве устройства обработки и представляющими собой характерные структурные, геометрические, цветовые признаки и признаки движения, кодирующие системные команды, а системные команды, управляющие работой объекта управления, формируют по результатам упомянутого сравнения выявленных признаков с параметрами упомянутой модели.
Отличие первого варианта способа в том, что в качестве органа управления используют, по крайней мере, один палец кисти руки, а в световом потоке, создаваемом органом управления, выявляют структурные и цветовые признаки пальца и признаки его движения.
Отличие второго варианта способа заключается в том, что в качестве органа управления используют кисть руки, а в световом потоке, создаваемом кистью руки, выявляют регулярную структуру в виде, по крайней мере, трех параллельных линий, образованных прижатыми друг к другу пальцами раскрытой ладони кисти руки. Отличие третьего варианта способа заключается в том, что для реализации команд используют жесты кисти человека - оператора.
Отличие четвертого варианта способа заключается в том, что выявление признаков органа управления и признаков движения производят по всей области изображения с последующим сужением области поиска до размеров органа управления с окрестностями.
Предложенный способ иллюстрируется приведенными чертежами.
На фиг. 1 приведена общая блок-схема способа дистанционного управления.
На фиг. 2 приведен алгоритм выделения контурной информации.
Способ дистанционного управления включает:
1 - операцию формирования управляющего сигнала органом управления, по крайней мере, одной частью человеческого тела;
2 - передачу с помощью оптического потока информации об управляющем воздействии;
3 - преобразование оптического потока в двумерный цифровой электронный сигнал;
4 - задание области цифрового изображения, внутри которого находится орган управления;
5 - выявление структурных, геометрических, цветовых признаков органа управления и признаков движения;
6 - сравнение выявленных признаков управляющего органа с параметрами модели органа управления, хранящихся в запоминающем устройстве устройства обработки;
7 - расшифровку выявленных признаков органа управления и признаков движения;
8 - выработку управляющего воздействия;
9 - визуализацию положения и состояния объекта управления;
10 - переопределение параметров.
1 - операцию формирования управляющего сигнала органом управления, по крайней мере, одной частью человеческого тела;
2 - передачу с помощью оптического потока информации об управляющем воздействии;
3 - преобразование оптического потока в двумерный цифровой электронный сигнал;
4 - задание области цифрового изображения, внутри которого находится орган управления;
5 - выявление структурных, геометрических, цветовых признаков органа управления и признаков движения;
6 - сравнение выявленных признаков управляющего органа с параметрами модели органа управления, хранящихся в запоминающем устройстве устройства обработки;
7 - расшифровку выявленных признаков органа управления и признаков движения;
8 - выработку управляющего воздействия;
9 - визуализацию положения и состояния объекта управления;
10 - переопределение параметров.
На операции 4 вначале в качестве области цифрового изображения, внутри которой находится орган управления, задается полный экран. После нахождения органа управления размеры этой области ограничиваются размерами органа управления с окрестностями.
В качестве органа управления при реализации способа может быть использован палец руки, и в этом случае на операции 5 выявляют, его структурные и цветовые признаки и характерные для него признаки движения.
В качестве органа управления может быть использована также кисть руки. При этом на операции 5 выявляется регулярная структура в виде, по крайней мере, трех параллельных линий, образованных прижатыми друг к другу пальцами раскрытой ладони кисти руки. После первоначального определения объекта управления в данном случае (как и в предыдущем) на операциях переопределения 10 и задания области 4 производят ограничение области поиска до размеров несколько больших области ладони.
Алгоритм, приведенный на фиг. 2 детализирует операцию 5 выявления структурных, геометрических, цветовых признаков органа управления и признаков движения. Операция 5 включает:
11 - получение полутонового изображения заданной области цифрового изображения, внутри которой находится орган управления одним из известных методов, например, методом главных компонент;
12 - выделение точек и провязка их в линии, сбор их в список линий;
13 - сбор линий в тройки, выделение из собранных троек линий тройки с наибольшей длиной провязки;
14 - обнаружение краев руки одним из известных методов, например с использованием критерия разделимости по Otsu;
15 - определение точки привязки прижатого большого пальца;
16 - определение наличия признаков движения большого пальца для процедуры выработки управляющих команд;
В варианте способа для реализации команд, управляющих работой системы управления, могут быть использованы различные жесты человека-оператора, например, отклонение ладони от вертикального положения.
11 - получение полутонового изображения заданной области цифрового изображения, внутри которой находится орган управления одним из известных методов, например, методом главных компонент;
12 - выделение точек и провязка их в линии, сбор их в список линий;
13 - сбор линий в тройки, выделение из собранных троек линий тройки с наибольшей длиной провязки;
14 - обнаружение краев руки одним из известных методов, например с использованием критерия разделимости по Otsu;
15 - определение точки привязки прижатого большого пальца;
16 - определение наличия признаков движения большого пальца для процедуры выработки управляющих команд;
В варианте способа для реализации команд, управляющих работой системы управления, могут быть использованы различные жесты человека-оператора, например, отклонение ладони от вертикального положения.
В качестве конкретного примера предлагаемый способ может быть использован при дистанционном управлении курсором манипулятора "мышь" компьютера. При этом в качестве органа управления вместо традиционного электронно-механического или электронно-оптического устройства используют части человеческого тела, например, кисть руки. Для позиционирования курсора на экране дисплея используют положение одного, направленного вверх, пальца кисти рук (например, указательного), который может отклоняться от вертикального положения. Палец характеризуется как достаточно однородный по цвету вытянутый (возможно, немного изогнутый) объект, имеющий следующие признаки:
- примерно постоянную ширину,
- определенное отношение (сколько ширин укладывается в длину) средней ширины к длине,
- достаточно (перепад в 10-20 градаций яркости) четкие внешние верхние и боковые границы.
- примерно постоянную ширину,
- определенное отношение (сколько ширин укладывается в длину) средней ширины к длине,
- достаточно (перепад в 10-20 градаций яркости) четкие внешние верхние и боковые границы.
Объект управления - курсор занимает на экране компьютера положение, определяемое информацией, которая содержится в управляющем сигнале. Управляющий сигнал формируют органы управления. Передачу сигнала от органа управления входному устройству компьютера осуществляют посредством оптического потока, создаваемого пальцем руки. В качестве входного устройства используют сенсор, например ПЗС, преобразующий оптический поток в цифровой электрический сигнал. Далее электрический сигнал обрабатывают с помощью устройства обработки цифровой информации. В результате на вход устройства обработки цифровой информации подается двумерный байтовый массив, линейные размеры которого соответствуют формату входного изображения. При этом специальной программой производят нахождение некоторых структурных, геометрических, цветовых признаков и признаков движения органа управления, приведенных выше и соответствующих модели органа управления. Это производится по алгоритму, включающему два этапа, которые выполняют последовательно: первый - предобработка исходных изображений, содержащих орган управления - палец, представленных в виде цифрового электрического сигнала; второй - обработка и анализ предобработанных изображений.
В процессе предобработки производят выделение внешних и/или внутренних контуров движущихся объектов в исходных изображениях. Путем усреднения по цветам или методом главных компонент преобразуют цветные изображения в полутоновые. Одним из известных локальных методов, например сверткой с Лапласианом, выделяют контура. Сверткой с Гауссианом удаляют шумы сенсора. Пороговой бинаризацией, вычитанием последовательных кадров и логической фильтрацией устраняют разрывы контуров. В результате предобработки получают временной набор двумерных контурных изображений движущихся объектов. На втором этапе производят анализ контурных изображений для каждого момента времени. При этом находят и выделяют отрезки верхних границ движущихся контуров, например методом анализа второй производной от функции, описывающей контур по пути обхода контура. Производят провязку точек контура вниз от найденных отрезков верхних границ движущихся контуров. Составляют списки движущихся контуров. Производят расчет геометрических признаков, являющихся параметрами модели органа управления - пальца. В качестве примера модели органа управления можно использовать совокупность следующих признаков:
1 - наличие двух параллельных прямых в контуре, соединенных сверху выпуклой кривой;
2 - число, равное отношению длин параллельных линий к расстоянию между ними;
3 - средний уровень цветности внутри контура.
1 - наличие двух параллельных прямых в контуре, соединенных сверху выпуклой кривой;
2 - число, равное отношению длин параллельных линий к расстоянию между ними;
3 - средний уровень цветности внутри контура.
В результате обработки предобработанных изображений получают несколько наборов признаков, соответствующих части из обнаруженных контуров, удовлетворяющих модели органа управления. Далее производится их сравнение с эталонными параметрами модели органа управления, хранящимися в запоминающем устройстве устройства обработки. По результатам сравнения определяется контур, в наибольшей степени соответствующий эталону.
Для этого контура производят поиск верхней точки, координаты которой фиксируют в системе координат исходного изображения. Визуализация положения курсора на экране дисплея осуществляют с учетом режима экранного разрешения путем подсчета масштабных коэффициентов. В результате этой операции на экране появляется изображение курсора, соответствующее относительному положению органа управления-пальца в поле зрения оптического датчика.
Перемещение курсора по экрану осуществляют в режиме реального времени в зависимости от перемещения органа управления-пальца.
Для реализации команд, соответствующих нажатиям клавиш манипулятора "мышь" компьютера, используют определенные жесты, например, других пальцев той же ладони.
При этом распознавание жестов производят по алгоритму, описанному выше. В качестве примера подобных жестов можно использовать однократные и/или многократные отклонения большого пальца той же ладони, которые будут соответствовать одинарному или двойному нажатию клавиш манипулятора "мышь" компьютера.
Данный способ может быть использован для ввода команд и данных в компьютер в условиях, когда использование традиционного манипулятора "мышь" компьютера затруднено или нежелательно по гигиеническим соображениям и соображениям сохранности имущества. Способ может найти широкое применение при работе с компьютером и другими устройствами дистанционного управления: беспроводные и бесклавиатурные устройства ввода команд и данных для банкоматов, игровых автоматов, уличных электронных справочных систем.
Рассмотренными примерами не исчерпываются все возможные применения предложенного способа.
Кроме пальца, используемого в качестве органа управления, могут быть использованы и другие части человеческого тела: кисть руки, голова, туловище и т. д. При этом алгоритм распознавания сохраняется, меняется лишь модель органа управления.
Способ может найти широкое применение: для дистанционного управления вычислительными, справочно-информационными устройствами, манипуляторами, телекоммуникационными устройствами и другими, в которых в качестве сигналов управления можно использовать жесты человека.
Claims (5)
1. Способ дистанционного управления, включающий операции формирования управляющего сигнала органом управления, передачу с помощью оптического потока информации об управляющем сигнале от органа управления ко входу устройства обработки информации, операцию идентификации и интерпретации информации об управляющем сигнале, выявляющей системные команды, управляющие работой объекта управления, отличающийся тем, что формирование управляющего сигнала осуществляют посредством положения и состояния в пространстве и времени, по крайней мере, одной части человеческого тела, передачу информации о управляющем сигнале от органа управления к устройству обработки осуществляют посредством оптического потока, создаваемого органом управления, идентификацию и интерпретацию информации о управляющем сигнале, которую несет оптический поток, производят путем выявления в световом потоке, по крайней мере, одного из структурных, геометрических, цветовых признаков органа управления и признаков движения органа управления, сравнения выявленных признаков управляющего органа с параметрами модели органа управления, хранящимися в запоминающем устройстве устройства обработки и представляющими собой характерные структурные, геометрические, цветовые признаки и признаки движения, кодирующие системные команды, а системные команды, управляющие работой объекта управления, формируют по результатам упомянутого сравнения выявленных признаков с параметрами упомянутой модели.
2. Способ дистанционного управления по п.1, отличающийся тем, что в качестве органа управления используют, по крайней мере, один палец кисти руки, а в световом потоке, создаваемом органом управления, выявляют структурные и цветовые признаки пальца и признаки его движения.
3. Способ дистанционного управления по п.1, отличающийся тем, что в качестве органа управления используют кисть руки, а в световом потоке, создаваемом кистью руки, выявляют регулярную структуру в виде, по крайней мере, трех параллельных линий, образованных прижатыми друг к другу пальцами раскрытой ладони кисти руки.
4. Способ дистанционного управления по одному из пп.1-3, отличающийся тем, что для реализации системных команд используют жесты человека-оператора.
5. Способ дистанционного управления по одному из пп.1-4, отличающийся тем, что выявление признаков органа управления и признаков движения органа управления производят по всей области изображения с последующим сужением области поиска до размеров органа управления.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2000108176A RU2175143C1 (ru) | 2000-04-04 | 2000-04-04 | Способ дистанционного управления |
PCT/RU2000/000503 WO2001075578A1 (fr) | 2000-04-04 | 2000-12-13 | Procede de telecommande |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2000108176A RU2175143C1 (ru) | 2000-04-04 | 2000-04-04 | Способ дистанционного управления |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2175143C1 true RU2175143C1 (ru) | 2001-10-20 |
Family
ID=20232732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2000108176A RU2175143C1 (ru) | 2000-04-04 | 2000-04-04 | Способ дистанционного управления |
Country Status (2)
Country | Link |
---|---|
RU (1) | RU2175143C1 (ru) |
WO (1) | WO2001075578A1 (ru) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8049719B2 (en) | 2006-08-08 | 2011-11-01 | Microsoft Corporation | Virtual controller for visual displays |
RU2519286C2 (ru) * | 2007-07-19 | 2014-06-10 | Юрий Маркович Боянжу | Способ бесконтактного управления компьютером (варианты) |
RU2552192C2 (ru) * | 2010-09-17 | 2015-06-10 | Тенсент Текнолоджи (Шенжен) Компани Лимитед | Способ и система для взаимодействия человек-машина, основанного на жестах, и машиночитаемый носитель для этого |
RU2581013C2 (ru) * | 2010-11-01 | 2016-04-10 | Томсон Лайсенсинг | Способ и устройство для обнаружения вводов при помощи жестов |
RU2584459C2 (ru) * | 2010-12-17 | 2016-05-20 | Конинклейке Филипс Электроникс Н.В. | Жестовое управление для отслеживания показателей жизнедеятельности |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5335288A (en) * | 1992-02-10 | 1994-08-02 | Faulkner Keith W | Apparatus and method for biometric identification |
DE69430967T2 (de) * | 1993-04-30 | 2002-11-07 | Xerox Corp | Interaktives Kopiersystem |
US5686942A (en) * | 1994-12-01 | 1997-11-11 | National Semiconductor Corporation | Remote computer input system which detects point source on operator |
US5900863A (en) * | 1995-03-16 | 1999-05-04 | Kabushiki Kaisha Toshiba | Method and apparatus for controlling computer without touching input device |
RU2123718C1 (ru) * | 1996-09-27 | 1998-12-20 | Кузин Виктор Алексеевич | Способ ввода информации в компьютер |
-
2000
- 2000-04-04 RU RU2000108176A patent/RU2175143C1/ru not_active IP Right Cessation
- 2000-12-13 WO PCT/RU2000/000503 patent/WO2001075578A1/ru active Application Filing
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8049719B2 (en) | 2006-08-08 | 2011-11-01 | Microsoft Corporation | Virtual controller for visual displays |
US8115732B2 (en) | 2006-08-08 | 2012-02-14 | Microsoft Corporation | Virtual controller for visual displays |
US8552976B2 (en) | 2006-08-08 | 2013-10-08 | Microsoft Corporation | Virtual controller for visual displays |
RU2519286C2 (ru) * | 2007-07-19 | 2014-06-10 | Юрий Маркович Боянжу | Способ бесконтактного управления компьютером (варианты) |
RU2552192C2 (ru) * | 2010-09-17 | 2015-06-10 | Тенсент Текнолоджи (Шенжен) Компани Лимитед | Способ и система для взаимодействия человек-машина, основанного на жестах, и машиночитаемый носитель для этого |
RU2581013C2 (ru) * | 2010-11-01 | 2016-04-10 | Томсон Лайсенсинг | Способ и устройство для обнаружения вводов при помощи жестов |
RU2584459C2 (ru) * | 2010-12-17 | 2016-05-20 | Конинклейке Филипс Электроникс Н.В. | Жестовое управление для отслеживания показателей жизнедеятельности |
Also Published As
Publication number | Publication date |
---|---|
WO2001075578A1 (fr) | 2001-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Keskin et al. | Real time hand tracking and 3d gesture recognition for interactive interfaces using hmm | |
KR101514169B1 (ko) | 정보 처리 장치, 정보 처리 방법 및 기록 매체 | |
JP3863809B2 (ja) | 手の画像認識による入力システム | |
US9959463B2 (en) | Gesture recognition system using depth perceptive sensors | |
US10242255B2 (en) | Gesture recognition system using depth perceptive sensors | |
JP5403699B2 (ja) | 手指形状推定装置、手指形状の推定方法及びプログラム | |
Malassiotis et al. | A gesture recognition system using 3D data | |
KR100862349B1 (ko) | 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템 | |
JP6066093B2 (ja) | 手指形状推定装置、手指形状推定方法、及び手指形状推定プログラム | |
TWI471815B (zh) | 手勢辨識裝置及方法 | |
JPH10214346A (ja) | ハンドジェスチャ認識システムおよび方法 | |
WO2003071410A2 (en) | Gesture recognition system using depth perceptive sensors | |
CN103092334B (zh) | 虚拟鼠标驱动装置及虚拟鼠标仿真方法 | |
Kalsh et al. | Sign language recognition system | |
JP6651388B2 (ja) | ジェスチャモデリング装置、ジェスチャモデリング方法、ジェスチャモデリングシステム用のプログラム、およびジェスチャモデリングシステム | |
KR102052449B1 (ko) | 가상 마우스 시스템 및 그 제어 방법 | |
KR101281461B1 (ko) | 영상분석을 이용한 멀티 터치 입력 방법 및 시스템 | |
RU2175143C1 (ru) | Способ дистанционного управления | |
KR101404018B1 (ko) | 손동작 인식 장치 및 그 방법 | |
KR101967858B1 (ko) | 3d 깊이 이미지 기반 객체 분리 장치 및 그 방법 | |
US8232964B2 (en) | Apparatus for operating objects and a method for identifying markers from digital image frame data | |
JP5217917B2 (ja) | 物体検知追跡装置,物体検知追跡方法および物体検知追跡プログラム | |
Khan et al. | Computer vision based mouse control using object detection and marker motion tracking | |
KR20210003515A (ko) | 인터렉티브모드를지원하는증강현실구현장치 | |
Stark et al. | Video based gesture recognition for human computer interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20080405 |