WO2015002566A1 - Устройство интерфейса с компьютерной системой ("виртуальный планшет") - Google Patents

Устройство интерфейса с компьютерной системой ("виртуальный планшет") Download PDF

Info

Publication number
WO2015002566A1
WO2015002566A1 PCT/RU2013/000564 RU2013000564W WO2015002566A1 WO 2015002566 A1 WO2015002566 A1 WO 2015002566A1 RU 2013000564 W RU2013000564 W RU 2013000564W WO 2015002566 A1 WO2015002566 A1 WO 2015002566A1
Authority
WO
WIPO (PCT)
Prior art keywords
computer system
image
user
interface device
control
Prior art date
Application number
PCT/RU2013/000564
Other languages
English (en)
French (fr)
Inventor
Андрей Юрьевич ЩЕРБАКОВ
Олег Олегович ТИХОНЕНКО
Original Assignee
Sherbakov Andrei Yuryevich
Tikhonenko Oleg Olegovich
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sherbakov Andrei Yuryevich, Tikhonenko Oleg Olegovich filed Critical Sherbakov Andrei Yuryevich
Priority to RU2014142258A priority Critical patent/RU2014142258A/ru
Priority to PCT/RU2013/000564 priority patent/WO2015002566A1/ru
Publication of WO2015002566A1 publication Critical patent/WO2015002566A1/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Definitions

  • the invention relates to the field of control and input of information into computer systems, and more particularly to an interface device with a computer system.
  • the present invention can find application in the creation of control systems and maintenance of computer equipment, computer aided design tools, control of vehicles and household appliances, the organization of the interface with various computer systems in an arbitrary location, as well as for various technical systems.
  • a method for inputting information and controlling a device equipped with at least one means for inputting images and at least one means for displaying graphic information comprising using an image display means for creating symbols for input to the device and using the image input means record the actions for selecting a character by a person entering information into the device, after which the selected character is introduced into the device using the device’s means or the entered character is used to control the device.
  • This application describes a complete, fully functional device and extends the method of controlling a computer system in such a way that a user is provided with a natural and familiar view of the screen and controls of the computer system in any place convenient for the user.
  • the tasks are solved in an interface device with at least one user-controlled computer system and comprising means for displaying the results of calculations performed by the computer system and means for inputting information into the computer system, which contains at least one means for projecting images, at least one input means images, at least one device for two-way communication with a computer system, operating as follows: projection tool is shown th receives from the computer system using a communication device with the computer system an image similar to the image on the means for displaying the results of calculations performed by the computer system and projects it onto the surface or into the airspace, and the image input means captures the operations performed by the user to enter information into the computer system through actions with this image, including, but not limited to, simulating keystrokes on the keyboard image, moving fingers across the image NIJ on the screen, movement of a finger or object pointers "mouse" of the manipulator and / or the touch contact and sends information about these operations in two-way communication device with a computer system, which in turn converts them into signals perceptible by means of entering information into the computer
  • the interface device additionally has a connector for connecting an external medium or user memory device, so that the user can use his local data recorded, for example, on flash memory.
  • Figure 1 shows the structural diagram of a device consisting of computer systems 1 and 2, running the operating systems Android and Microsoft Windows, LED image projector
  • FIG. Figure 2 shows a photograph of the layout of a device connected to computer system 2 (a desktop computer running Microsoft Windows XP) via a USB interface and to tablet 1 (Android) via a Wi-Fi interface.
  • the image shows the working screen of the Android tablet, projected onto the surface of the table.
  • the device operates as follows: the image projection tool 3 receives from the selected computer system (1 or 2) by means of a communication device with the computer system 7 via a data medium 10 an image similar to the image on the means for displaying the results of calculations performed by the computer system and projects it onto the surface table 6, and the means of inputting images 4 and 5 record the operations performed by the user to enter information into the computer system through actions with this image imitates keystrokes on the image of the tablet keyboard or an additional image of the keyboard for Windows, the movement of fingers 8 on the screen image, the movement of the mouse pointer and / or touch contact by the finger or object, and sends information about these operations to the two-way communication device with the computer system 7 , which in turn converts them into signals perceived by the means of inputting information into a computer system, after which computer system 1 or 2 receives the user input deformations of and uses it in the calculations, displaying the changes on the screen, which are in turn transferred and displayed on the image 6.
  • this device Compared with other input and control methods and devices known to the authors, this device describes a complete, fully functional device and extends the way a computer system is controlled in such a way as to control a user provides a natural and familiar view of the screen and controls of the computer system in any place convenient for the user, and you can control several computer systems at the same time.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)

Abstract

Изобретение относится к области управления и ввода информации в компьютерные системы, а более конкретно - к устройству интерфейса с компьютерной системой. Настоящее изобретение может найти применение при создании систем управления и обслуживания компьютерной техники, средств автоматизированного проектирования, управления средствами транспорта и бытовыми приборами, организации интерфейса с различными компьютерными системами в произвольном месте расположения, а также для различных технических систем. По сравнению с другими способами и устройствами ввода и управления, известными авторам, данное устройство описывает законченное полнофункциональное устройство и расширяет способ управления компьютерной системой таким образом, что для управления пользователю предоставляется естественный и привычный вид экрана и органов управления компьютерной системы в любом удобном пользователю месте, причем управлять можно несколькими компьютерными системами одновременно.

Description

УСТРОЙСТВО ИНТЕРФЕЙСА С КОМПЬЮТЕРНОЙ СИСТЕМОЙ
(«ВИРТУАЛЬНЫЙ ПЛАНШЕТ»)
Описание
Изобретение относится к области управления и ввода информации в компьютерные системы, а более конкретно - к устройству интерфейса с компьютерной системой.
Настоящее изобретение может найти применение при создании систем управления и обслуживания компьютерной техники, средств автоматизированного проектирования, управления средствами транспорта и бытовыми приборами, организации интерфейса с различными компьютерными системами в произвольном месте расположения, а также для различных технических систем.
В настоящее время весьма актуальной является задача управления различными устройствами путем естественных человеческих жестов и бесконтактным путем в условиях, исключающих или затрудняющих возможность использования клавиатур или контактных экранов. При этом актуально также повысить скорость ввода команд и данных и скорость управления в целом, а предоставлять пользователю вычислительные ресурсы различных компьютерных систем в удобном ему месте.
Наиболее близкой к заявляемому устройству является способ ввода информации и управления устройством, заявка PCT/RU2013/000106 от 13.02.2013, которую можно принять за прототип.
Согласно данной заявке рассматривают способ ввода информации и управления устройством, снабженным по меньшей мере одним средством ввода изображений и по меньшей мере одним средством отображения графической информации, заключающийся в том, что при помощи средства отображения графической информации создают изображение символов для ввода в устройство и при помощи средства ввода изображений фиксируют действия по выбору символа человеком, вводящим информацию в устройство, после чего средствами устройства вводят в него выбранный символ или используют введенный символ для управления устройством.
Данная заявка описывает законченное полнофункциональное устройство и расширяет способ управления компьютерной системой таким образом, что для управления пользователю предоставляется естественный и привычный вид экрана и органов управления компьютерной системы в любом удобном пользователю месте.
Поставленные задачи решены в устройстве интерфейса по меньшей мере с одной компьютерной системой, управляемой пользователем и содержащей средства отображения результатов вычислений, выполненных компьютерной системой и средства ввода информации в компьютерную систему, которое содержит по меньшей мере одно средство проецирования изображений, по меньшей мере одно средство ввода изображений, по меньше мере одно устройство двухсторонней связи с компьютерной системой, функционирующее следующим образом: средство проецирование изображений получает от компьютерной системы при помощи устройства связи с компьютерной системой изображение, аналогичное изображению на средстве отображения результатов вычислений, выполненных компьютерной системой и проецирует его на поверхность или в воздушное пространство, а средство ввода изображений фиксирует операции, производимые пользователем по вводу информации в компьютерную систему путем действий с данным изображением, включая, но не ограничивая, имитацию нажатий клавиш на изображении клавиатуры, передвижение пальцев по изображению на экране, перемещению пальцем или предметом указателей манипулятора «мышь» и/или сенсорного контакта и направляет информацию об этих операциях в устройство двухсторонней связи с компьютерной системой, которое в свою очередь преобразует их в сигналы, воспринимаемые средствами ввода информации в компьютерную систему, после чего компьютерная система принимает вводимую пользователем информацию и использует ее в процессе вычислений.
Технически целесообразно рассматривать ситуацию, когда устройств ввода изображений два и они создают стереоскопический эффект при фиксации операции, производимых пользователем по вводу информации в компьютерную систему.
Не менее технически целесообразно с учетом миниатюризации электронных компонент рассматривать ситуацию, когда компьютерная система непосредственно встроена в устройство интерфейса.
Также не менее технически для удобства работы пользователя реализовать устройство в ситуации, когда компьютерных систем, взаимодействующих с устройством интерфейса, несколько и пользователь может выбрать для использования любую из них или сразу несколько.
Весьма удобно, когда устройство двухсторонней связи с компьютерной системой взаимодействует с ней по беспроводному интерфейсу.
Не менее удобно, когда устройство интерфейса дополнительно имеет разъем для подключения внешнего носителя или устройства памяти пользователя, чтобы пользователь мог использовать свои локальные данные, записанные, например, на флеш-памяти.
Для иллюстрации технической реализуемости предлагаемых способов предлагаются рассмотреть Фиг. 1 и 2.
На Фиг.1 рассмотрена структурная схема устройства, состоящего из компьютерных систем 1 и 2, работающих под управлением операционных систем Android и Microsoft Windows, светодиодного проектора изображений
3, видеокамер 4 и 5, соосных проектору 3, размещенных на корпусе устройства двухсторонней связи с компютерными системами 7 на подставке с основанием 9, проектор проецирует на поверхность стола изображение 6 экрана комьютерной системы 1 или 2 по выбору пользователя или одновременно, а видеокамеры фиксируют движения пальцев пользователя8 на изображении экрана 6, данные передаются к компьютерной системе (управляющие сигналы от блока 7) и от нее (изменение экрана) по телекоммуникационной среде (среде передачи данных) 10.
На Фиг. 2 изображена фотография макета устройства, соединенного с компьютерной системой 2 (настольный компьютер под управлением Microsoft Windows ХР) по USB-интерфейсу и с планшетом 1 (Android) по Wi- Fi интерфейсу. На изображении виден рабочий экран планшета Android, спроецированный на поверхность стола.
Устройство функционирует следующим образом: средство проецирование изображений 3 получает от выбранной компьютерной системы (1 или 2) при помощи устройства связи с компьютерной системой 7 по среде передачи данных 10 изображение, аналогичное изображению на средстве отображения результатов вычислений, выполненных компьютерной системой и проецирует его на поверхность стола 6, а средства ввода изображений 4 и 5 фиксируют операции, производимые пользователем по вводу информации в компьютерную систему путем действий с данным изображением имитацию нажатий клавиш на изображении клавиатуры планшета или дополнительном изображении клавиатуры для Windows, передвижение пальцев 8 по изображению на экране, перемещению пальцем или предметом указателей манипулятора «мышь» и/или сенсорного контакта и направляет информацию об этих операциях в устройство двухсторонней связи с компьютерной системой 7, которое в свою очередь преобразует их в сигналы, воспринимаемые средствами ввода информации в компьютерную систему, после чего компьютерная система 1 или 2 принимает вводимую пользователем информацию и использует ее в процессе вычислений, отображая изменения на экране, которые в свою очередь передаются и отображаются на изображении 6.
По сравнению с другими способами и устройствами ввода и управления, известными авторам, данное устройство описывает законченное полнофункциональное устройство и расширяет способ управления компьютерной системой таким образом, что для управления пользователю предоставляется естественный и привычный вид экрана и органов управления компьютерной системы в любом удобном пользователю месте, причем управлять можно несколькими компьютерными системами одновременно.

Claims

ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Устройство интерфейса по меньшей мере с одной компьютерной системой, управляемой пользователем и содержащей средства отображения результатов вычислений, выполненных компьютерной системой и средства ввода информации в компьютерную систему, которое содержит по меньшей мере одно средство проецирования изображений, по меньшей мере одно средство ввода изображений, по меньше мере одно устройство двухсторонней связи с компьютерной системой, функционирующее следующим образом: средство проецирование изображений получает от компьютерной системы при помощи устройства связи с компьютерной системой изображение, аналогичное изображению на средстве отображения результатов вычислений, выполненных компьютерной системой и проецирует его на поверхность или в воздушное пространство, а средство ввода изображений фиксирует операции, производимые пользователем по вводу информации в компьютерную систему путем действий с данным изображением, включая, но не ограничивая, имитацию нажатий клавиш на изображении клавиатуры, передвижение пальцев по изображению на экране, перемещению пальцем или предметом указателей манипулятора «мышь» и/или сенсорного контакта и направляет информацию об этих операциях в устройство двухсторонней связи с компьютерной системой, которое в свою очередь преобразует их в сигналы, воспринимаемые средствами ввода информации в компьютерную систему, после чего компьютерная система принимает вводимую пользователем информацию и использует ее в процессе вычислений.
2. Устройство интерфейса с компьютерной системой по п.1 , отличающееся тем, что устройств ввода изображений два и они создают стереоскопический эффект при фиксации операции, производимых пользователем по вводу информации в компьютерную систему.
3. Устройство интерфейса с компьютерной системой по п.1, отличающееся тем, что компьютерная система непосредственно встроена в устройство интерфейса.
4. Устройство интерфейса с компьютерной системой по п.1, отличающееся тем, что компьютерных систем, взаимодействующих с устройством интерфейса, несколько и пользователь может выбрать для использования любую из них или сразу несколько.
5. Устройство интерфейса с компьютерной системой по п.1, отличающееся тем, что устройство двухсторонней связи с компьютерной системой взаимодействует с ней по беспроводному интерфейсу.
6. Устройство интерфейса с компьютерной системой по п.1, отличающееся тем, что оно дополнительно имеет разъем для подключения внешнего носителя или устройства памяти пользователя.
PCT/RU2013/000564 2013-07-04 2013-07-04 Устройство интерфейса с компьютерной системой ("виртуальный планшет") WO2015002566A1 (ru)

Priority Applications (2)

Application Number Priority Date Filing Date Title
RU2014142258A RU2014142258A (ru) 2013-07-04 2013-07-04 Устройство интерфейса с компьютерной системой ("виртуальный планшет")
PCT/RU2013/000564 WO2015002566A1 (ru) 2013-07-04 2013-07-04 Устройство интерфейса с компьютерной системой ("виртуальный планшет")

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2013/000564 WO2015002566A1 (ru) 2013-07-04 2013-07-04 Устройство интерфейса с компьютерной системой ("виртуальный планшет")

Publications (1)

Publication Number Publication Date
WO2015002566A1 true WO2015002566A1 (ru) 2015-01-08

Family

ID=52144036

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2013/000564 WO2015002566A1 (ru) 2013-07-04 2013-07-04 Устройство интерфейса с компьютерной системой ("виртуальный планшет")

Country Status (2)

Country Link
RU (1) RU2014142258A (ru)
WO (1) WO2015002566A1 (ru)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110119638A1 (en) * 2009-11-17 2011-05-19 Babak Forutanpour User interface methods and systems for providing gesturing on projected images
US20110197147A1 (en) * 2010-02-11 2011-08-11 Apple Inc. Projected display shared workspaces
US20120038542A1 (en) * 2010-08-16 2012-02-16 Ken Miyashita Information Processing Apparatus, Information Processing Method and Program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110119638A1 (en) * 2009-11-17 2011-05-19 Babak Forutanpour User interface methods and systems for providing gesturing on projected images
US20110197147A1 (en) * 2010-02-11 2011-08-11 Apple Inc. Projected display shared workspaces
US20120038542A1 (en) * 2010-08-16 2012-02-16 Ken Miyashita Information Processing Apparatus, Information Processing Method and Program

Also Published As

Publication number Publication date
RU2014142258A (ru) 2016-05-10

Similar Documents

Publication Publication Date Title
US11112856B2 (en) Transition between virtual and augmented reality
US11221730B2 (en) Input device for VR/AR applications
US11366512B2 (en) Systems and methods for operating an input device in an augmented/virtual reality environment
US11487353B2 (en) Systems and methods for configuring a hub-centric virtual/augmented reality environment
EP3599532B1 (en) A system for importing user interface devices into virtual/augmented reality
EP2919104B1 (en) Information processing device, information processing method, and computer-readable recording medium
US20130307796A1 (en) Touchscreen Device Integrated Computing System And Method
Lee et al. Towards augmented reality driven human-city interaction: Current research on mobile headsets and future challenges
JP7382972B2 (ja) 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置
EP3549127A1 (en) A system for importing user interface devices into virtual/augmented reality
CN106846496A (zh) 基于混合现实技术的dicom影像查看***及操作方法
CN113396378A (zh) 针对用于二维和三维环境的多用途输入装置的***和方法
CN103336587B (zh) 一种九轴惯性定向输入装置的远端悬浮触控设备和方法
JP3211484U (ja) 触感型コントローラー
WO2015002566A1 (ru) Устройство интерфейса с компьютерной системой ("виртуальный планшет")
WO2019091840A1 (en) System and method for modulation of control interface feedback
Pietroszek 3D Pointing with Everyday Devices: Speed, Occlusion, Fatigue
WO2015119525A1 (ru) Система виртуального управления
CN117980870A (zh) 经由触控板的计算机生成的表示进行内容操纵
Rusnak Unobtrusive Multi-User Interaction in Group Collaborative Environments
Bauer Large Display Interaction Using Mobile Devices
Lee et al. A haptically-augmented interface for digital character animation
KR20140039395A (ko) 가상 장치를 제어하는 스마트폰

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2014142258

Country of ref document: RU

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13888846

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 20/05/2016)

122 Ep: pct application non-entry in european phase

Ref document number: 13888846

Country of ref document: EP

Kind code of ref document: A1