RU2577467C1

RU2577467C1 - Мобильное устройство для организации сенсорной плоскости

Info

Publication number: RU2577467C1
Application number: RU2014137369/08A
Authority: RU
Inventors: Андрей Михайлович Литманович; Дмитрий Михайлович Литманович; Евгений Владимирович Грошихин; Евгений Сергеевич Пьянков
Original assignee: Дмитрий Михайлович Литманович
Priority date: 2014-09-15
Filing date: 2014-09-15
Publication date: 2016-03-20

Abstract

Устройство относится к технике интерактивных дисплеев, пользовательских интерфейсов и систем распознавания жестов. Технический результат заключается в обеспечении возможности взаимодействия с персональными вычислительными устройствами дистанционно, не используя встроенные в них сенсорные поверхности. Устройство содержит источник подсветки и оптически сопряженные с ним первую и вторую телевизионные камеры, направленные в сторону пальцев пользователя и подключенные к первому и второму входам специализированного вычислителя. Кроме того, предлагаемое устройство содержит браслет и фиксатор, механически связанный с браслетом, причем браслет размещается на запястье, а первая и вторая телевизионные камеры и источник подсветки размещены в фиксаторе. Входящие в состав устройства телевизионные камеры формируют плоскости обзора, проходящие через заданную заранее строку изображения на фотоприемной матрице и оптический центр объектива, каждой телевизионной камеры, создавая сенсорную плоскость. При этом вычислителем фиксируется пересечение пальцем этой плоскости и определяется пространственное положение этого пересечения. 1 з.п. ф-лы, 5 ил.

Description

Предлагаемое устройство относится к технике интерактивных дисплеев, пользовательских интерфейсов и систем распознавания жестов, применение которых постоянно растет.

Известен ряд устройств подобного назначения. Так, в [1] описывается система, осуществляющая проекцию изображения виртуальной клавиатуры на ладонь пользователя. Она включает в себя оптический проектор и телевизионную камеру, расположенные на дужках очков, и связанное с ними вычислительное устройство. Касание пальцем свободной руки изображения виртуальной клавиатуры в определенных точках фиксируется телевизионной камерой и передается в вычислительное устройство, которое определяет, с каким элементом виртуальной клавиатуры произошло касание пальца пользователя.

В [2] рассматривается мобильная носимая система, закрепляемая на предплечье, воспринимающая биопотенциалы соответствующих мышц, участвующих в выработке жестов, совершаемых пальцами кисти. Недостатком данной системы является сложная техническая реализация и низкая помехоустойчивость, необходимость ее индивидуальной калибровки.

В [3] предлагается устройство оцифровки движений конечностей на основе источника структурированной подсветки аналогично используемой в системе Kinect [4]. Однако устройства данного класса не предназначены для работы с малоразмерными объектами типа пальцев руки.

В [5] предложена интерактивная измерительная система, определяющая положения пальцев пользователя в области, ограниченной зонами обзора от двух до четырех и более телевизионных камер, отличающаяся возможностью 3D измерений, однако весьма громоздкая для мобильных приложений.

Известно устройство фирмы Canesta, Inc. [6], функциональная схема которого наиболее близка к предлагаемому изобретению и которое является его прототипом. Это устройство содержит инфракрасный (ИК) излучатель, создающий плоское поле излучения над контролируемой поверхностью, и матричный фотоприемник с объективом, расположенный консольно над поверхностью «виртуальной клавиатуры», поле зрения которого охватывает контролируемую поверхность. Приемная оптическая система связана с вычислительным устройством, в которое вводится оцифрованное изображение контролируемой поверхности. Касание пальцем либо каким-то указателем (стилусом), поверхности «виртуальной клавиатуры» вызывает отражение от пальца (стилуса) части ИК-излучения, формируемого излучателем, и его регистрацию приемной оптической системой. Определение координаты касания основано на решении системы уравнений, описывающей пространственное положение изображения подсвечиваемой части пальца на поверхности фотоприемника, входящего в состав приемной оптической системы, и поверхности, образуемой излучением, формируемым излучателем (триангуляционное уравнение). В результате определяются плоские координаты пальца (стилуса) на поверхности «виртуальной клавиатуры», и принимается решение о том, какая клавиша была «нажата».

Мобильное устройство для организации сенсорной плоскости, предлагаемое в данной заявке, отличается от известных расширенными функциональными возможностями, а именно тем, что оно позволяет организовать взаимодействие с персональным или планшетным компьютером, смартфоном и т.п. дистанционно, не пользуясь встроенными в них сенсорными поверхностями. Для этого оно выполнено в виде браслета, располагаемого на запястье, и позволяет пользователю в любой момент начать набор текста, рисование, редактирование, телефонные вызовы и пр. Кроме того, найдя в окружающей обстановке участок плоской поверхности (стол, окно, подоконник и т.п.), можно «превратить» эту поверхность в сенсорную. Оно содержит источник подсветки и оптически сопряженные с ним первую и вторую телевизионные камеры, направленные в сторону пальцев пользователя, подключенные к первому и второму входам специализированного вычислителя и размещаемые в фиксаторе. При этом телевизионные камеры формируют плоскости обзора, проходящие через определенную заранее строку изображения на фотоприемной матрице и оптический центр объектива каждой телевизионной камеры. Сенсорная плоскость создается пересечением плоскостей обзора первой и второй телевизионных камер и пересекает возможные положения пальцев кисти пользователя. Далее специализированным вычислителем фиксируется пересечение пальцем пользователя сенсорной плоскости и определяется пространственное положение этого пересечения. Кроме того, сторона фиксатора, противоположная той, которой он крепится к браслету, может иметь плоскую поверхность, параллельную сенсорной плоскости. Это позволяет, зафиксировав плоскую поверхность фиксатора с какой-либо плоскостью, получить тактильную обратную связь, возникающую при касании пальцем твердой поверхности, как и при работе с обычным сенсорным экраном или тачпэдом.

На фиг. 1 приведена функциональная схема предлагаемого устройства, где:

1, 2 - первая и вторая телевизионные камеры,

3 - инфракрасный излучатель,

4 - кисть пользователя,

5 - палец,

6 - браслет,

7 - фиксатор,

8 - специализированный вычислитель,

Ψ₁, Ψ₂ - телесные углы обзора первой (1) и второй (2) телевизионных камер,

Ω - поток, формируемый инфракрасным излучателем 3,

Φ₁ - плоскость обзора первой телевизионной камеры 1,

Φ₂ - плоскость обзора второй телевизионной камеры 2,

Θ - сенсорная плоскость.

На фиг. 2 иллюстрируется формирование сенсорной плоскости Θ, где:

M₁ - фотоприемная матрица первой телевизионной камеры 1,

М₂ - фотоприемная матрица второй телевизионной камеры 2,

O₁ - оптический центр объектива первой телевизионной камеры 1,

O₂ - оптический центр объектива второй телевизионной камеры 2,

C₁ - центр фотоприемной матрицы M₁,

C₂ - центр фотоприемной матрицы М₂,

П - точка, принадлежащая пальцу оператора,

O₁ C₁ - центральная оптическая ось первой телевизионной камеры 1,

O₂ C₂ - центральная оптическая ось второй телевизионной камеры 2,

f - фокусное расстояние объективов первой и второй телевизионных камер 1 и 2,

l - расстояние между оптическими центрами объективов O₁ и O₂,

S_M1(1) - 1-я строка фотоприемной матрицы M₁,

S_M2(1) - 1-я строка фотоприемной матрицы М₂.

S_M1(n) - n-я строка фотоприемной матрицы М₁,

S_M2(n) - n-я строка фотоприемной матрицы М₂,

S_M1(i) - i-я строка фотоприемной матрицы M₁,

S_M2(i) - i-я строка фотоприемной матрицы М₂,

x_{1}^{П}

- координата изображения точки П на матрице M₁,

x_{2}^{П}

- координата изображения точки П на матрице М₂.

На фиг. 3 приведен пример формирования изображений пальца 5, где:

5(t₁) - положение пальца 5 в момент времени t₁,

5(t₂) - положение пальца 5 в момент времени t₂,

I_M1(t₁) - изображение пальца 5 на фотоприемной матрице M₁ в момент времени t₁,

I_M1(t₂) - изображение пальца 5 на фотоприемной матрице M₁ в момент времени t₂,

I_M2(t₁) - изображение пальца 5 на фотоприемной матрице М₂ в момент времени t₁,

I_M2(t₂) - изображение пальца 5 на фотоприемной матрице М₂ в момент времени t₂.

На фиг. 4 приведена функциональная схема устройства, выполненного по второму пункту формулы изобретения, где:

9 - плоская поверхность фиксатора 7,

10 - рабочая поверхность.

На фиг. 5 приведен пример конструктивного исполнения устройства, где:

РСВ - печатная плата.

ξ - расстояние между сенсорной плоскостью и рабочей поверхностью.

Функционирование данного устройства иллюстрируется фиг. 1 и происходит следующим образом. Устройство охватывает запястье вблизи кисти пользователя 4 с помощью браслета 6. В фиксаторе 7, жестко связанном с браслетом 6, размещаются инфракрасный излучатель 3 и оптически сопряженные с ним две телевизионные камеры 1 и 2. Инфракрасный излучатель 3 создает подсветку, поток которой Ω, пересекает пальцы кисти 4, в том числе и палец 5.

На фиг. 2 показано, как на строке S_M1(n) формируется изображение окружающей сцены, находящейся в плоскости Φ₁, называемой далее плоскостью обзора первой телевизионной камеры 1.

Аналогично, на строке S_M2(n), формируется изображение окружающей сцены, находящейся в плоскости Φ₂, называемой далее плоскостью обзора второй телевизионной камеры 2.

Определим сенсорную плоскость

как пересечение плоскостей Φ₁ и Φ₂. Эта плоскость фактически является зоной стереообзора [7] телевизионных камер 1 и 2. При пересечении пальцем 5 сенсорной плоскости Θ в момент времени t₂ изображения I_M1(t₂) и I_M2(t₂) будут пересекать строки S_M1(n) и S_M2(n) соответственно. В случае если оптические оси O₁C₁ и O₂C₂ параллельны, изменение номера n в направлении, указанном стрелкой α, вызывает перемещение плоскости Θ в направлении, указанном стрелкой β. Это позволяет пользователю при необходимости отрегулировать положение сенсорной плоскости Θ относительно кисти 4.

Выражение для вычисления координат точки П, соответствующей положению пальца 9, находящегося на пересечении с сенсорной плоскостью Θ, получено из фиг. 2 и имеет вид:

Мощность инфракрасного потока Ω, формируемая излучателем 3, должна быть достаточной, чтобы превысить уровень паразитных составляющих в изображениях окружающей сцены в видеосигналах первой и второй телевизионных камер 1 и 2. Таким образом, специализированный вычислитель 8, обнаружив в видеосигналах i-й строки обеих телевизионных камер 1 и 2 уровни, превышающие пороговые значения (например U_ref1 и U_ref2), принимает решение о наличии I_M1(t₂) и I_M2(t₂). Далее, фиксируя координаты

x_{1}^{П}

и

x_{2}^{П}

пересечения I_M1(t₂) и I_M2(t₂) с S_M1(n) и S_M2(n) соответственно, специализированный вычислитель 8 рассчитывает координаты точки пересечения пальцем 5 сенсорной плоскости Θ по формуле 1. Координаты X_П и Y_П поступают далее в персональный компьютер, смартфон и т.п. для организации интерактивного взаимодействия с его программным обеспечением.

На фиг. 4 представлена модификация предлагаемого устройства, а именно фиксатор 7 на стороне, противоположной той, которой он скреплен с браслетом 6, дополнен плоскостью 9, оптически сопряженной с первой и второй телевизионными камерами, параллельной сенсорной плоскости Θ. Если в распоряжении пользователя есть участок плоской поверхности, например стола, работа с устройством может быть организованна следующим образом. Пользователь прижимает фиксатор 7 плоскостью 9 к рабочей поверхности 10. Далее он может прикоснуться к рабочей поверхности 10 и перемещать по ней палец 5, производя интерактивное взаимодействие с программным обеспечением. Для того чтобы это прикосновение происходило практически одновременно с пересечением сенсорной плоскости Θ, расстояние ξ между сенсорной плоскостью 0 и рабочей поверхностью 10 должно быть не больше нескольких миллиметров, благодаря чему кончик пальца проходит это расстояние практически мгновенно для пользователя.

На фиг. 5 иллюстрируется использование телевизионных камер типа OVM7675 фирмы Omni Vision [8], имеющих габариты 2.9×2.9×2.3 мм, что позволяет получить сенсорную плоскость Θ, находящуюся на расстоянии ξ от поверхности 10 не больше 1.5 мм. Конструктивно, телевизионные камеры и излучатель могут быть расположены на единой многослойной печатной плате 11, с обратной стороны которой размещается специализированный вычислитель 8.

Для передачи вычисленных значений координат в персональный компьютер, смартфон и т.п. устройство может быть снабжено средством беспроводной передачи данных, например Wi-Fi или Bluetooth.

Источники информации

1. Патент США №8228315 В1 от 24.01.2012 г.

2. Патент США №7333090 В2 от 19.02.2008 г.

3. Патент США №7259747 от 21.08.2007 г.

4. Патент США №7170492 В2 от 30.01.2007 г.

5. Публикация № US 2010/0199228 А1 от 05.08.2010 г.

6. Патент США №7006236 В2 от 28.02.2006 г.

7. В.В. Коротаев, А.В. Краснящих. Телевизионные измерительные системы. СПб.: СПбГУ ИТМО, 2008 г., стр. 43.

8. Материал фирмы Omni Vision. OV7695. VGA product brief. Verison 1.0, August 2012.

http://www.ovt.com/download_document.php?type=sensor&sensorid=124.

Claims

1. Мобильное устройство для организации сенсорной плоскости, содержащее источник подсветки и оптически сопряженную с ним телевизионную камеру, направленные в сторону пальцев пользователя, причем телевизионная камера подключена к входу вычислителя, отличающееся тем, что дополнительно содержит вторую телевизионную камеру, оптически сопряженную с первой и подключенную ко второму входу вычислителя, браслет и фиксатор, механически связанный с браслетом, причем браслет размещен на запястье, а первая и вторая телевизионные камеры и источник подсветки размещены в фиксаторе, причем сенсорная плоскость создается пересечением плоскостей обзора первой и второй телевизионных камер, в свою очередь, эти плоскости проходят через заданную строку изображения каждой телевизионной камеры и оптический центр ее объектива, в результате сенсорная плоскость пересекает возможное положение пальцев пользователя, а вычислитель фиксирует пересечение пальцами пользователя сенсорной плоскости и определяет пространственное положение этого пересечения.

2. Мобильное устройство для организации сенсорной плоскости по п. 1, отличающееся тем, что сторона фиксатора, противоположная той, которой он крепится к браслету, имеет плоскую поверхность, параллельную сенсорной плоскости.