RU2662690C2 - Устройство и способ управления объектом пользовательского прибора - Google Patents

Устройство и способ управления объектом пользовательского прибора Download PDF

Info

Publication number
RU2662690C2
RU2662690C2 RU2014109966A RU2014109966A RU2662690C2 RU 2662690 C2 RU2662690 C2 RU 2662690C2 RU 2014109966 A RU2014109966 A RU 2014109966A RU 2014109966 A RU2014109966 A RU 2014109966A RU 2662690 C2 RU2662690 C2 RU 2662690C2
Authority
RU
Russia
Prior art keywords
terminal
hand
gesture
guidance
camera
Prior art date
Application number
RU2014109966A
Other languages
English (en)
Other versions
RU2014109966A (ru
Inventor
Дзинйоунг ДЗЕОН
Дзийоунг КАНГ
Даесунг КИМ
Дзинйонг КИМ
Бойоунг ЛИ
Сеунгкиунг ЛИ
Original Assignee
Самсунг Электроникс Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Самсунг Электроникс Ко., Лтд. filed Critical Самсунг Электроникс Ко., Лтд.
Publication of RU2014109966A publication Critical patent/RU2014109966A/ru
Application granted granted Critical
Publication of RU2662690C2 publication Critical patent/RU2662690C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Изобретение относится к средствам управления с использованием жестов наведения. Технический результат заключается в расширении арсенала средств того же назначения. Способ управления объектом включает отображение по меньшей мере одного объекта на экране отображения, обнаружение многопальцевого жеста наведения для выбора объекта на экране отображения, активизацию камеры после обнаружения многопальцевого жеста наведения, распознавание руки на картине, вводимой через камеру, и вход, когда рука исчезает из угла обзора камеры, в состояние ожидания пересылки файла для передачи выбранного объекта. 2 н. и 23 з.п. ф-лы, 9 ил.

Description

ОБЛАСТЬ ТЕХНИКИ
Настоящее изобретение относится, в общем, к устройству и способу управления объектом пользовательского прибора и, в частности, к устройству и способу управления объектом пользовательского прибора с использованием жестов наведения.
УРОВЕНЬ ТЕХНИКИ
По мере расширения применения таких мобильных устройств, как смартфоны, планшетные персональные компьютеры (ПК) и переносные ПК, непрерывно разрабатываются пользовательские устройства с поддержкой воспринимающего касание экрана. Устройство с поддержкой воспринимающего касание экрана позволяет пользователю управлять функциями при помощи устройства отображения и вводить информацию путем различных взаимодействий, например, жестов касанием, речи и движения.
Поскольку функциональность мобильного устройства усложняется, для исполнения некоторой функции требуются различные взаимодействия пользователя. Обычно, с помощью пользовательского интерфейса (Ul), обеспечиваемого на экране пользовательского устройства, пользователь должен выполнить ряд действий согласно принципам разработки устройства, чтобы выполнить некоторую функцию. Например, чтобы переслать некоторый контент в другое устройство, необходимо произвести последовательно ввод для установления соединения между устройствами, ввод для выбора контента, ввод для входа в меню пересылки и ввод для запроса на передачу. Приведенные действия пользователя лишены интуитивного понимания и, следовательно, функцией устройства трудно управлять, особенно, тем, кто не знаком с устройством. Соответственно, в настоящее время проводят многочисленные исследования по манипулированию пользователем с пользовательским устройством посредством интуитивных жестов.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Настоящее изобретение создано с целью устранения, по меньшей мере, вышеописанных проблем и недостатков и обеспечения, по меньшей мере, нижеописанных преимуществ.
Соответственно, один аспект настоящего изобретения заключается в создании устройства и способа управления объектом пользовательского устройства, которые допускают манипулирование функциями пользовательского устройства посредством интуитивно-понятных жестов.
Другой аспект настоящего изобретения заключается в создании устройства и способа управления объектом пользовательского устройства, которые допускают выполнение некоторой функции пользовательского устройства, например, функций пересылки файлов и удаления файлов, посредством интуитивно-понятных жестов.
В соответствии с аспектом настоящего раскрытия предлагается способ управления объектом терминала. Способ содержит отображение по меньшей мере одного объекта на экране отображения; обнаружение многопальцевого жеста наведения для выбора объекта на экране отображения; активизации камеры после обнаружения многопальцевого жеста наведения; распознавание руки на картине, вводимой камерой, и вход, когда рука исчезает из угла обзора камеры, в состояние ожидания пересылки файла для передачи выбранного объекта.
В соответствии с другим аспектом настоящего раскрытия предлагается терминал. Терминал содержит блок радиосвязи, который передает и принимает радиосигналы, блок отображения, который отображает по меньшей мере один объект; воспринимающий блок, который воспринимает жест пользователя по отношению к объекту; блок камеры, который получает изображение жеста пользователя; и блок управления, который управляет воспринимающим блоком для обнаружения многопальцевого жеста наведения для выбора объекта на экране отображения, активизирует камеру после обнаружения многопальцевого жеста наведения, распознает руку в изображении, вводимом через блок камеры, и управляет терминалом для входа, когда рука исчезает из угла обзора камеры, в состояние ожидания пересылки файла для передачи выбранного объекта.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Вышеприведенные и другие аспекты, признаки и преимущества некоторых вариантов осуществления настоящего изобретения будут понятны из нижеследующего подробного описания в связи с прилагаемыми чертежами, на которых:
Фиг. 1 - блок-схема, представляющая конфигурацию мобильного терминала согласно варианту осуществления настоящего изобретения;
Фиг. 2 - блок-схема последовательности операций, представляющая способ управления объектом терминала согласно варианту осуществления настоящего изобретения;
Фиг. 3 - представляет взаимодействие пользователя для пересылки объекта по способу управления объектом согласно варианту осуществления настоящего изобретения;
Фиг. 4 представляет взаимодействие пользователя для удаления объекта по способу управления объектом согласно варианту осуществления настоящего изобретения;
Фиг. 5 представляет эффект визуальной обратной связи в соответствии с жестом захвата по способу управления объектом согласно варианту осуществления настоящего изобретения;
Фиг. 6 - схема потока сигналов, представляющая процедуру пересылки файла способа управления объектом согласно варианту осуществления настоящего изобретения;
Фиг. 7 представляет процедуру пересылки объекта в способе управления объектом согласно варианту осуществления настоящего изобретения;
Фиг. 8 представляет визуальную обратную связь при приеме файла в способе управления объектом согласно варианту осуществления настоящего изобретения; и
Фиг. 9 представляет процедуру пересылки файла кинокартины в способе управления объектом согласно варианту осуществления настоящего изобретения.
ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ
Различные варианты осуществления настоящего изобретения подробно описаны со ссылкой на прилагаемые чертежи. Термины и формулировки, используемые в настоящем описании и прилагаемой формуле изобретения, не подлежат интерпретации в общем или лексикографическом смысле, а следует интерпретировать в смысле и по характеру соответственно технической идее настоящего изобретения. Таким образом, следует понимать, что могут существовать различные эквиваленты и видоизмененные примеры, которые могут заменить варианты осуществления, представленные в настоящем описании, и конфигурацию, показанную на чертежах, во время подачи настоящей заявки. На чертежах, некоторые элементы могут быть излишне увеличенными или пропущенными, или изображенными схематически для лучшего понимания изобретения, и фактические размеры элементов не показаны. Таким образом, настоящее изобретение не ограничено по относительным размерам элементам и расстояниям между ними.
В нижеследующем описании, пользовательское устройство способно обнаруживать жест пользовательского ввода, например, касание и наведение, который определяется на основании расстояния между воспринимающим касание (сенсорным) экраном и средством ввода касанием. Пользовательское устройство способно также обнаруживать единый ввод, содержащий один показатель ввода и множественные вводы, содержащие по меньшей мере два показателя ввода.
В последующем описании, термин «наведение» означает жест ввода, совершенный с помощью средства ввода касанием в пределах предварительно определенного диапазона расстояний от воспринимающего касание экрана. Например, жест наведения может быть совершен с помощью средства ввода касанием в диапазоне, в котором пользовательское устройство способно распознавать средство сенсорного ввода, чтобы генерировать входной сигнал.
В последующем описании, термин «жест» означает действие пользователя для выполнения ввода, и жест можно классифицировать как один из жеста мультинаведения и жеста рукой. В данном случае, жест мультинаведения означает действие пользователя, распознанное как наведение и переданное воспринимающему касание экрану, и может соответствовать основанному на наведении жесту пальцами. Жест рукой означает движение рукой, распознанное как ввод изображения посредством камеры, и может соответствовать поддерживаемому камерой жесту.
Устройство и способ управления объектом в соответствии с настоящим изобретением можно применить к мобильному терминалу. Мобильный терминал может представлять собой любое оборудование из мобильного телефона, смартфона, планшетного ПК, карманного ПК, портативного мультимедийного плейера (PMP), персонального цифрового секретаря (PDA) и т.п. Дальнейшее описание относится к устройству и способу управления объектом в соответствии с настоящим изобретением, примененным к мобильному терминалу.
На фиг. 1 представлена блок-схема, представляющая конфигурацию мобильного терминала согласно варианту осуществления настоящего изобретения.
Как показано на фиг. 1, терминал 100 согласно варианту осуществления настоящего изобретения содержит блок 110 отображения, блок 120 ввода, блок 130 радиосвязи, блок 140 обработки аудио, блок 150 камеры, воспринимающий блок 160, блок 170 приема системы глобального позиционирования (GPS), блок 180 хранения и блок 190 управления.
Блок 110 отображения отображает различные экраны, связанные с функциями терминала 100. Блок 110 отображения преобразует видеоданные, введенные из блока 190 управления, в аналоговый сигнал для отображения на экране под управлением блока 190 управления. Блок 110 отображения может отображать экраны, связанные с работой терминала, например, экран блокировки, начальный экран, экран выполнения приложения (или app), экран меню, экранную клавиатуру, экран создания сообщений и экран сети Internet.
Блок 110 отображения обрабатывает объект, представленный на экране различимой графикой, в соответствии с жестом мультинаведения пользователя. Например, если обнаруживается основанный на мультинаведении жест захвата, то блок отображения может отобразить экран или объект с графическим эффектом, в котором размер экрана или объекта уменьшается. В данном случае, графический эффект может выражать уменьшение или увеличение размера отображения объекта согласно расстоянию между рукой пользователя и экраном. Если обнаруживается основанный на мультинаведении жест отпускания, то графический эффект приводит к увеличению размера объекта на экране блока 110 отображения. В данном случае, объект, отображенный на экране блока 110 отображения, может быть файлом-объектом, принятым из другого терминала. Блок 110 отображения может также обеспечивать графический эффект, увеличивающий размер экрана постепенно согласно количеству данных, принятых из другого терминала.
Блок 110 отображения может быть реализован с помощью одной из технологий жидкокристаллического устройства отображения (ЖКД), органических светоизлучающих диодов (ОСИД), активной матрицы на ОСИД (АМОСИД), гибкого устройства отображения и прозрачного устройства отображения.
Блок 110 отображения может содержать панель отображения для отображения различных экранов, связанных с операциями терминала и воспринимающую касание панель, покрывающую поверхность панели отображения для обнаружения жеста касанием и генерации соответствующего входного сигнала. Например, воспринимающую касание панель размещают на панели отображения. Воспринимающая касание панель может быть реализована в виде панели накладного типа, реализованной на передней поверхности блока 110 отображения, или типа on-cell или типа in-cell, реализуемого в блоке 110 отображения. Воспринимающая касание панель может быть одной из панелей резистивного типа, емкостного типа и индукционного типа. Блок 110 отображения может динамически отображать информацию выполнения приложения согласно повороту (или ориентации) терминала 100 и поддерживать переключение между альбомным режимом и портретным режимом согласно изменению ориентации.
Блок 120 ввода генерирует различные входные сигналы в ответ на пользовательский ввод. Блок 120 ввода может принимать ввод числовой или буквенной информации и включать в себя множество буквенно-цифровых клавиш и функциональных клавиш, например, боковые клавиши, клавиши быстрого вызова и клавишу ”Домой”. Блок 120 ввода может генерировать сигнал клавиши, связанный с управлением функцией и пользовательской настройкой, для блока 190 управления. Когда воспринимающая касание панель реализована как полный воспринимающий касание экран, блок 120 ввода может быть обеспечен как виртуальный воспринимающий касание планшет.
Когда воспринимающая касание панель включена в состав, блок 110 отображения может работать как часть блока 120 ввода. В данном случае, входной сигнал для управления терминалом может генерироваться воспринимающей касание панелью. Воспринимающая касание панель может обнаруживать жест касанием, совершенный средством ввода касанием (например, рукой пользователя и стилусом), и генерирует соответствующий входной сигнал. В частности, применена воспринимающая касание панель емкостного типа, воспринимающая касание панель может обнаруживать емкость согласно расстоянию между средством ввода касанием и экраном и идентифицировать жест пользователя согласно значению емкости. Расстояние между средством ввода касанием и экраном может измеряться датчиком измерения расстояния, например, инфракрасным датчиком. Блок 120 ввода может генерировать входной сигнал в ответ на жест пользовательского ввода, например, касание, множественное касание (“мультитач”), сигнальное наведение и жест мультинаведения.
Блок 130 радиосвязи обеспечен для функций связи терминала. Блок 130 радиосвязи устанавливает канал связи с сетью мобильной связи для связи, например, речевой связи, видеоконференции и передачи данных. Блок 130 радиосвязи может содержать радиочастотный (РЧ) приемник для усиления с малым уровнем шума принятого сигнала и его преобразования с понижением частоты. Блок 130 радиосвязи может содержать модуль сотовой связи (например, модуль сотовой связи 3-го поколения, модуль сотовой связи поколения 3,5 и модуль сотовой связи 4-го поколения), модуль цифрового вещания (например, модуль DMB) и модуль связи ближнего действия. В данном случае, модуль связи ближнего действия может содержать по меньшей мере один из модуля Wi-Fi, модуля Bluetooth и модуля, использующего технологию Wi-Fi Direct. Модуль связи ближнего действия может устанавливать канал связи с другим терминалом для обмена некоторыми файлами или данными под управлением блока 190 управления.
Терминал 100 может поддерживать режим точки доступа (AP). В режиме точки доступа (AP), терминал 100 может обмениваться данными с устройством, которое подсоединяется к терминалу 100 в качестве точки доступа (AP). Когда терминал 100 подключается к некоторой точке доступа (AP) для связи с другим терминалом, подключенным к точке доступа (AP), обмен файлами возможен через точку доступа (AP).
Блок 140 обработки аудио может содержать громкоговоритель (SPK) для выдачи аудиосигнала, сгенерированного или декодированного в терминале 100, и микрофон (MIC) для приема аудиосигнала для поддержки речевой связи и видеоконференции и функции записи. Блок 140 обработки аудио выполняет цифроаналоговое (DA) преобразование в отношении аудиоданных, содержащих речь, для генерирования аналогового сигнала для громкоговорителя (SPK) и выполняет аналого-цифровое (AD) преобразование в отношении аудиоданных, содержащих речевой ввод посредством микрофона (MIC), для генерирования цифрового сигнала для блока 160 управления. Блок 140 обработки аудио может быть снабжен кодеком (кодером/декодером), который может содержать кодек данных для обработки пакетных данных, и аудиокодек для обработки аудиосигналов, содержащих речь. Блок 140 обработки аудио преобразует аналоговый аудиосигнал вводимый из микрофона в цифровой аудиосигнал, с использованием аудиокодека, и цифровой аудиосигнал пересылается в блок 190 управления.
Блок 150 камеры обеспечен для съемки картин. Блок 150 камеры содержит датчик камеры для преобразования света в электрические сигналы, процессор сигналов изображения для преобразования аналогового сигнала обзора, полученного датчиком камеры, в цифровые данные и цифровой сигнальный процессор (DSP) для обработки цифровых данных, выводимых процессором сигналов изображения, (например, масштабирования, подавления шумов, преобразования сигнала RCG и т.п.), чтобы сгенерировать видеосигнал, подходящий для воспринимающего касание экрана. В данном случае, датчик камеры может быть любым из прибора с зарядовой связью (CCD) и датчика на комплементарной структуре металл-оксид-полупроводник (КМОП-структуре).
Блок 150 камеры может быть снабжен функцией датчика для распознавания жеста пользователя. Блок 150 камеры может выполнять множественные функции под управлением блока 190 управления. Например, блок 150 камеры может переносить изображение, вводимое объективом, в блок 190 управления, когда предварительно определенное приложение выполняется под управлением блока 190 управления.
Воспринимающий блок 160 обнаруживает жест пользовательского ввода и изменение окружающей среды вокруг пользовательского устройства 100 и генерирует соответствующую информацию, которая будет отправлена в блок 190 управления. Воспринимающий блок 160 может содержать по меньшей мере один из датчика касания, способного обнаруживать жест касанием, датчика близости для обнаружения приближения средства ввода касанием, датчика измерения расстояния для измерения расстояния между средством ввода касанием и устройством, датчика изображения для сбора видеоизображения, датчика распознавания движения для распознавания движения и действия в 3-мерном пространстве, датчика ориентации для обнаружения ориентации и датчика ускорения для обнаружения скорости перемещения.
Блок 170 GPS принимает сигналы GPS от спутников GPS под управлением блока 190 управления. Блок 170 GPS подключается к спутнику GPS для приема сигналов GPS. Блок 170 GPS передает принятый сигнал GPS в блок 190 управления. Блок 190 управления вычисляет текущее местоположение мобильного терминала на основании сигналов GPS.
Блок 170 GPS можно использовать для установления соединения с другим терминалом. Например, если обнаруживается жест мультинаведения, то блок 190 управления может отправлять информацию GPS из пользовательского устройства в сервер GPS через блок 170 GPS. Если, в течение предварительно определенного времени, из сервера GPS принимается информация о координатах GPS другого терминала, то блок 190 управления может принять файл из соответствующего сервера.
Блок 180 хранения хранит операционную систему (OS) терминала 100 и различные приложения (или apps) и данные, сгенерированные в терминале 100. Данные могут содержать все типы данных, например, данные приложения, связанные с работой приложения, и данные, принимаемые извне (например, из внешнего сервера, другого мобильного терминала и персонального компьютера). Блок 180 хранения может хранить пользовательские интерфейсы, обеспечиваемые терминалом и различные установки, связанные с функциями терминала 100.
Блок 180 хранения может хранить программу распознавания жестов для распознавания жестов, совершаемых пользователем. Программа распознавания жестов распознает основанный на наведении жест мультинаведения и поддерживаемый камерой жест. Программа распознавания жестов способна выделять зону руки из картины, введенной блоком 150 камеры, и распознавать форму руки. Если рука пользователя изменяется по форме, и ее действие на картине изменяется, то программа распознавания жестов различает действие и жест, соответствующий действию.
Блок 180 хранения может хранить информацию о различных жестах рукой, которые могут совершаться рукой, например, схемах расположения пальцев, позициях пальцев, поведении руки и форме руки. Блок 180 хранения может также хранить предварительно определенные команды, соответствующие жестам пользователя. Команды, соответствующие жестам пользователя, могут быть установлены во время изготовления и переустановлены пользователем.
Блок 190 управления управляет общими операциями терминала и потоками сигналов между внутренними компонентами терминала и обрабатывает данные. Блок 190 управления управляет подачей питания от батареи во внутренние компоненты. Если включается питание терминала, то блок 190 управления управляет процессом загрузки терминала и выполняет прикладные программы терминала в соответствии с пользовательской конфигурацией.
Блок 190 управления принимает входной сигнал из воспринимающего касание экрана и распознает жест пользователя на основании входного сигнала. Блок 190 управления обнаруживает приближение ввода касанием и вычисляет расстояние между средством ввода касанием и воспринимающим касание экраном. В данном случае, средство ввода касанием может быть стилусом или рукой пользователя, и, в последующем описании предполагается, что средство ввода касанием является рукой пользователя.
Если расстояние между средством ввода касанием и воспринимающим касание экраном находится в пределах предварительно определенного диапазона, то блок 190 управления обнаруживает жест наведения. Блок 190 управления может различать между жестом единого наведения и жестом мультинаведения. Жест единого наведения содержит показатель единого наведения, совершенный средством ввода касанием. Жест мультинаведения содержит по меньшей мере два показателя наведения, совершенных вводом касанием.
Блок 190 управления вычисляет изменение зоны наведения на основании информации местоположения зон мультинаведения и определяет жест мультинаведения пользователя на основании изменения зоны наведения. В данном случае, информация местоположения может содержать координаты зон наведения. Например, блок 190 управления может вычислять центральные точки первоначальных зон наведения жеста мультинаведения и, если расстояние между центральными точками уменьшается, определять, что выполняется основанный на наведении жест захвата. В противном случае, если расстояние между центральными точками увеличивается, то блок 190 управления определяет, что выполняется основанный на наведении жест отпускания. Блок 190 управления может также выделять зону руки из картины, введенной блоком 150 камеры, с использованием программы распознавания жестов и вычислять форму руки на основании зоны руки. Если форма руки изменяется, то блок 190 управления может выполнять процесс сопоставления образов для определения поддерживаемого камерой жеста.
Если жест пользователя, например, жест мультинаведения или жест рукой, обнаруживается, то блок 190 управления выполняет функцию, соответствующую жесту, или предварительно определенную команду, соответствующую жесту, и отображает экран исполнения на блоке 110 отображения.
На фиг. 2 представлена блок-схема последовательности операций, представляющая способ управления объектом терминала согласно варианту осуществления настоящего изобретения.
Как показано на фиг. 2, терминал 100 отображает по меньшей мере один объект на экране блока отображения в соответствии с пользовательским вводом или предварительно заданным графиком на этапе 210. В данном случае, термин объект означает объект, представленный на экране для представления оцифрованной информации, обеспечиваемой терминалом. Объект может быть любым из пиктограмм и изображений-миниатюр, представляемых на экране блока 110 отображения. Объект представляет файл данных, например, текстовый файл, речевой файл, видеофайл, файл картин и файл информации URL.
В данном случае, терминал 100 может работать в режиме распознавания наведения. Режим распознавания наведения может быть активирован, когда выполняется некоторое приложение, поддерживающее функцию распознавания наведения, или исполняется функция наведения. Функция распознавания наведения способна распознавать жест наведения, осуществляемый, когда в полноэкранном режиме отображается некоторый контент, или пользователем выбирается множество объектов, но не ограничена данными примерами.
Терминал 100 обнаруживает жест мультинаведения в предварительно определенном диапазоне расстояний на этапе 220. Например, терминал 100 измеряет емкость, изменяющуюся согласно приближению части тела человека, например, руки пользователя. Терминал 100 может обнаруживать изменение емкости в двух или более зонах. Терминал 100 вычисляет расстояние между рукой пользователя и экраном на основании изменения емкости. Если расстояние между рукой пользователя и экраном уменьшается до попадания в предварительно определенный диапазон (например, 3 см), терминал 100 определяет возникновение жеста наведения. Если обнаружен жест наведения, то терминал 100 может проверить позицию жеста наведения.
Если жест наведения обнаружен в по меньшей мере двух зонах, то терминал 100 определяет, что жест наведения является жестом мультинаведения. То есть, если множество средств ввода (например, несколько пальцев) обнаруживаются в пределах предварительно определенного диапазона расстояний в соответствующих позициях, то терминал 100 может распознавать показатели наведения, обнаруженные в двух или более зонах, в качестве достоверных данных.
Терминал 100 определяет, является ли жест мультинаведения, совершаемый в предварительно определенное время, жестом захвата, на этапе 230. Терминал 100 определяет направление, расстояние и скорость наведения жеста пользователя на сновании соответствующих первоначальных зон наведения.
В более подробном изложении, терминал 100 вычисляет вектор положения с использованием направления перемещения и расстояния мультинаведения и определяет, возник ли жест захвата, на основании вычисленного вектора положения. Терминал 100 определяет центральные точки зон наведения и, если расстояние между центральными точками уменьшается, определяет, что произведен жест захвата. Блок 190 управления может также определять контур, включающий в себя две или более зоны наведения, и, если оконтуренная зона уменьшается в размере, определяет, что произведен жест захвата.
Если обнаруживается основанный на наведении жест захвата, то терминал 100 определяет объект, отображаемый на экране, в качестве выбранного объекта для исполнения конкретной функции на этапе 240. Хотя терминал 100 может определять один объект, отображаемый на блоке 110 отображения, существует возможность сохранения выбранного состояния объектов, уже выбранных пользовательским вводом.
Терминал 100 может выводить эффект визуальной обратной связи для объекта, выбранного жестом захвата. Например, терминал 100 может обеспечивать такой визуальный эффект, словно пользователь захватывает и поднимает физический объект в соответствии с жестом захвата.
Если объект выбран, то терминал 100 активизирует блок 150 камеры на этапе 250. В данном случае, блок 150 камеры может быть фронтальной камерой, смонтированной на передней стороне терминала 100. Камера 150 работает как датчик для распознавания руки пользователя и работает в фоновом режиме.
Терминал 100 распознает руку пользователя в изображении, вводимом через блок 150 камеры, на этапе 260. Например, терминал 100 проверяет фон на основании цветовой информации в изображении, вводимом через блок 150 камеры, для выделения зоны руки. Терминал 100 выделяет характерные точки руки из зоны руки и вычисляет контур руки. Терминал может распознавать форму и действие руки с использованием контура руки. Терминал 100 выполняет сопоставление образов на основании формы и действия руки, чтобы обнаружить жест рукой.
Терминал 100 определяет, исчезла ли рука пользователя из угла обзора блока 150 камеры, на этапе 270. Если зону руки невозможно выделить из изображения на основании цветовой информации, то терминал 100 определяет, что рука пользователя исчезла из угла обзора блока 150 камеры.
Если определено, что рука пользователя исчезла из угла обзора блока 150 камеры, то, на этапе 275, терминал 100 управляет выбранным объектом так, чтобы ввести состояние ожидания пересылки файла. Терминал 100 устанавливает канал связи с другим терминалом, чтобы отправить сигнал ожидания пересылки, и, если канал связи установлен, отправляет по нему сигнал ожидания пересылки. Подробное описание состояния ожидания пересылки файла приведено со ссылкой на фиг. 6.
Терминал 100 определяет, принят ли сигнал запроса пересылки из второго терминала, на этапе 290. Сигнал запроса пересылки может быть ответным сигналом, переданным вторым терминалом. Если сигнал запроса пересылки принят, то терминал 100 пересылает файл или данные, представляемые выбранным объектом, во второй терминал, который передал сигнал запроса пересылки, на этапе 295.
Если определено, что рука пользователя не исчезла из угла обзора блока 150 камеры, то, на этапе 280, терминал 100 может обнаруживать поддерживаемый камерой жест рукой. Например, пользователь может совершить жест протягивания, когда конкретный объект уже выбран в пределах угла обзора блока 150 камеры. Терминал 100 может проверить контур руки пользователя из изображения, вводимого через блок 150 камеры, и определить действие протягивание, производимое рукой пользователя, посредством алгоритма сопоставления образов.
Если обнаружен жест рукой, то терминал 100 выполняет функцию, соответствующую жесту рукой в связи с выбранным объектом, на этапе 285. Например, если в связи с действием протягивания задается команда удаления объекта, то терминал 100 выполняет команду удаления объекта в ответ на жест протягивания.
На фиг. 3 изображено взаимодействие пользователя для пересылки объекта по способу управления объектом согласно варианту осуществления настоящего изобретения.
Как показано на фиг. 3, блок 110 отображения может отображать по меньшей мере один объект на экране в соответствии с запросом пользователя или предварительно определенным графиком. Блок 110 отображения может отображать некоторый объект в полноэкранном режиме или множество объектов на экране.
Например, пользователь может выполнить функцию галереи, обеспечиваемую терминалом. Терминал может отобразить некоторую картину 310 в полноэкранном режиме, как показано на фиг. 3(a). Терминал может отобразить также список картин и представить картину, выбранную из списка на экране.
Пользователь может приблизить руку 320 к экрану, чтобы совершить жест для выполнения функции в отношении конкретной картины, отображенной на экране. В данном случае, терминал 100 может сконфигурировать предварительно определенное расстояние между экраном и средством ввода касанием для различения между жестами касанием и наведения. Предварительно определенное расстояние может быть порогом для обнаружения позиции средства ввода касанием.
Если рука 320 пользователя приближается к экрану до предварительно определенного диапазона расстояний, то терминал 100 может обнаруживать две или более зон 330 наведения, соответствующих пальцам. Терминал 100 может обнаруживать приближение пальцев и выделить четыре зоны 330 наведения, как показано на фиг. 3(a). В данном случае, хотя к экрану приближается пять пальцев до предварительно определенного диапазона расстояний, терминал может не обнаруживать все из пяти пальцев вследствие разных длин пальцев.
Пользователь может выполнить жест, подобный захвату некоторого физического объекта. Затем терминал 100 проверяет перемещение зон наведения до центральной точки и обнаруживает основанный на наведении жест захвата. Терминал выбирает объект, т.е. картину, отображаемую на экране, в ответ на жест захвата.
Терминал активизирует блок 150 камеры для съемки картины, как показано на фиг. 3(b). Терминал 100 получает картину, введенную блоком 150 камеры, выделяет зону руки из картины и распознает форму и контур руки. Терминал может определить исчезновение руки пользователя из угла обзора камеры 150, в зависимости от того, выделяется ли или нет зона руки из картины, введенной через блок 150 камеры.
Пользователь может вывести руку 320 из угла обзора блока 150 камеры, как показано на фиг. 3(c). Затем, блок управления определяет исчезновение руки 320 пользователя из угла обзора блока 150 камеры и входит в состояние ожидания пересылки файлов, подготавливающее пересылку выбранной картины. В данном случае, терминал может иметь канал связи, уже установленный со вторым терминалом. В состоянии ожидания пересылки файлов, терминал может отправлять сигнал ожидания пересылки файла во второй терминал.
На фиг. 4 поясняется взаимодействие пользователя для удаления объекта по способу управления объектом согласно варианту осуществления настоящего изобретения.
Как показано на фиг. 4, пользователь может выполнить функцию галереи, обеспечиваемую терминалом, и отобразить некоторую картину 410 в полноэкранном режиме. Если обнаруживается жест мультинаведения, например, жест захвата, для выбора картины 410, то терминал активизирует блок 150 камеры.
Пользователь может совершить жест рукой 420 в пределах угла обзора камеры 150, например, жест сброса, показанный на фиг. 4(a). Терминал выделяет зону руки из картины, введенной блоком 150 камеры и распознает движение и форму руки.
Если в процессе сопоставления образов определяется, что движение руки пользователя является движением сброса, то терминал может удалить картину, выбранную жестом захвата, как показано на фиг. 4(b).
На фиг. 5 изображен эффект визуальной обратной связи в соответствии с жестом захвата по способу управления объектом согласно варианту осуществления настоящего изобретения.
Как показано на фиг. 5, для выбора некоторого контента пользователь может совершить жест, подобный захвату физического объекта пальцами на терминале. Затем терминал обнаруживает жест пользователя в качестве основанного на наведении жеста захвата и выбирает контент 510, отображаемый на экране блока отображения.
Терминал может снабжать пользователя визуальной обратной связью, соответствующей выбору объекта. Терминал может уменьшать размер отображаемого контента 510. Если расстояние между рукой 520 пользователя и экраном изменяется, то терминал может увеличивать или уменьшать размер контента 510, графически обрабатываемого согласно изменению расстояния. Например, терминал может обеспечивать эффект визуальной обратной связи, как если бы пользователь захватывал и поднимал физический объект на воспринимающем касание экране. Соответственно, пользователь может воспринимать визуальный такой эффект, как если бы контент захватывался и приподнимался в реальном мире, подобно физическому объекту.
Если пользователь перемещает руку в вышеописанном состоянии, то терминал графически перемещает обрабатываемый контент 510 в направлении перемещения руки 520 пользователя, как показано на фиг. 5(b).
На фиг. 6 представлена схема потока сигналов, представляющая процедуру пересылки файла по способу управления объектом согласно варианту осуществления настоящего изобретения.
Как показано на фиг. 6, описание процедуры пересылки файлов дано, по отдельности, с точек зрения терминала-отправителя A и терминала-получателя B. Терминал может работать как терминал-отправитель A, так и как терминал-получатель B. Предполагается, что терминал-отправитель A и терминал-получатель В соединены каналом связи, например, спаренным каналом, каналом с использованием технологии Wi-Fi Direct channel и каналом Bluetooth.
Если на терминале-отправителе A выбран конкретный контент, и затем рука пользователя исчезает из угла обзора камеры, терминал-отправитель A входит в состояние ожидания пересылки файла для пересылки выбранного контента на этапе 610. Терминал-отправитель A определяет, существует ли какой-либо терминал, с которым был установлен канал связи, и, если существует, отправляет сигнал ожидания пересылки файла терминалу-получателю В на этапе 620. Терминал-получатель В может вывести информацию сигнализации ожидания пересылки файла (например, сообщение ожидания пересылки) на блоке отображения после приема сигнала ожидания пересылки, но без ограничения упомянутым выводом.
Затем терминал-получатель В принимает запрос ожидания пересылки файла из терминала-отправителя A, обнаруживает мультинаведение на этапе 630 и определяет жест отпускания на основании движения мультинаведения на этапе 640. В более подробном изложении, если расстояние двух зон наведения увеличивается, то терминал-получатель В определяет, что совершен жест отпускания. Терминал-получатель В также может определять внешнюю линию, содержащую упомянутые две или более зон наведения, и, если зоны наведения перемещаются за внешнюю линию, определяет, что совершен жест отпускания.
Если обнаруживается жест отпускания, то терминал-получатель В отправляет ответный сигнал в терминал-отправитель A в ответ на сигнал ожидания пересылки файла на этапе 650. После приема ответного сигнала, терминал-отправитель A начинает передачу файла выбранного объекта в терминал-получатель В на этапе 660. Терминал-получатель В может принять информацию объекта, передаваемую терминалом-отправителем A на этапе 670.
На фиг. 7 изображена процедура пересылки объекта в способе управления объектом согласно варианту осуществления настоящего изобретения.
Как показано на фиг. 7, после того, как был установлен канал связи между терминалом-отправителем A и терминалом-получателем B, пользователь может осуществлять взаимодействие для пересылки файла посредством совершения жеста захвата рукой в состоянии наведения, как показано на фиг. 3, и затем вывести руку из угла обзора камеры на терминале-отправителе A.
Затем терминал-отправитель A выбирает картину 710, отображаемую на блоке отображения в качестве объекта, подлежащего пересылке, и входит в режим ожидания пересылки файла. При этом, терминал-отправитель A отправляет во второй терминал, т.е. терминал-получатель B, сигнал ожидания пересылки файла, чтобы уведомить о существовании контента, который должен быть передан. В данном случае, терминалу-получателю В становится известно о существовании контента, который должен быть принят, на основании сигнала ожидания пересылки файла.
Пользователь может совершить жест, подобный отпусканию объекта, на расстоянии в пределах предварительно определенного диапазона на терминале-получателе В, без касания. Терминал-получатель В обнаруживает приближение пальцев и обнаруживает две или более зоны наведения, и, если зоны наведения отодвигаются друг от друга, определяет, что совершен жест отпускания.
Если обнаруживается жест отпускания, то терминал-получатель В отправляет ответный сигнал в терминал-отправитель A в ответ на сигнал ожидания пересылки файла. Затем терминал-отправитель A передает выбранную картину в терминал-получатель B. Терминал-получатель В может отобразить картину 730 после приема картины 730, как показано на фиг. 7(b).
Пересылка файла между терминалами может выполняться посредством одного из связи Bluetooth, связи Wi-Fi Direct, связи сервера и GPS UNIT и основанной на AP связи.
На фиг. 8 представлена визуальная обратная связь при приеме файла в способе управления объектом согласно варианту осуществления настоящего изобретения.
Как показано на фиг. 8, терминал может принять файл или данные, соответствующие конкретному контенту, из другого терминала по каналу связи. Если файл или данные принимаются, то терминал обеспечивает эффект визуальной обратной связи, отражающий состояние пересылки объекта. Например, терминал может представлять графический эффект, при котором размер принимаемого объекта увеличивается на экране согласно принимаемым данным объекта. Пользователь может проверять ход выполнения или завершения пересылки файла согласно размеру объекта, отображаемого на экране блока отображения.
На фиг. 9 представлена процедура пересылки файла кинокартины в способе управления объектом согласно варианту осуществления настоящего изобретения.
Как видно на фиг. 9, предполагается, что терминал-отправитель A воспроизводит кинокартину. Если в режиме воспроизведения кинокартины обнаруживается основанный на наведении жест захвата, то терминал-отправитель A входит в состояние ожидания пересылки кинокартины и отправляет сигнал ожидания пересылки в терминал-получатель B.
Впоследствии, если на терминале-получателе B обнаруживается основанный на наведении жест отпускания, то терминал-получатель В отправляет ответный сигнал в терминал-отправитель A в ответ на сигнал ожидания пересылки. После приема ответного сигнала, терминал-отправитель A передает кинокартину, воспроизводимую в данный момент, в терминал-получатель B. Терминал-отправитель A может передавать информацию воспроизведения, а также контент кинокартины.
Например, когда терминал-отправитель A передает контент кинокартины, воспроизводимой в данный момент, в терминал-получатель B, терминал-получатель В может воспроизводить кинокартину с момента, когда воспроизведение приостановилось на терминале-отправителе A.
Устройство и способ управления объектом терминала в соответствии с настоящим изобретением способны предоставлять пользователю возможность интуитивно-понятной манипуляции контентом, отображаемым на экране. Устройство и способ управления объектом в соответствии с настоящим изобретением способны предоставлять пользователю возможность пересылать контент в другой терминал или удалять контент такими же жестами, которые используют в реальных условиях. Устройство и способ управления объектом в соответствии с настоящим изобретением способны обеспечивать восприятие пользователем (UX) оперативных команд исполнения для исполнения некоторой функции терминала, без использования структуры иерархического меню.
Хотя способ управления объектом терминала и устройство в соответствии с настоящим изобретением описаны выше с применением специальных терминов, описание и чертежи следует считать иллюстративными, а не ограничивающими, предназначенными для более понятного изложения настоящего изобретения. Специалистам в данной области техники очевидно, что настоящее изобретение допускает создание различных модификаций и изменений, не выходящих за пределы сущности и объема изобретения.

Claims (53)

1. Способ управления объектом терминала, при этом способ содержит:
отображение по меньшей мере одного объекта на экране отображения;
определение многопальцевого жеста наведения для выбора объекта на экране отображения;
активизацию камеры после обнаружения многопальцевого жеста наведения;
распознавание руки на картинке, вводимой камерой; и
вход, когда рука исчезает из угла обзора камеры, в состояние ожидания пересылки файла для передачи выбранного объекта.
2. Способ по п. 1, дополнительно содержащий выполнение, когда рука совершает движение в пределах угла обзора камеры, предварительно определенной функции в связи с выбранным объектом согласно движению.
3. Способ по п. 1, в котором обнаружение многопальцевого жеста наведения содержит:
обнаружение по меньшей мере двух зон наведения на экране отображения; и
определение, когда расстояние между двумя зонами наведения уменьшается, что выполняется многопальцевый жест наведения.
4. Способ по п. 1, в котором выбранный объект изменяется в размере.
5. Способ по п. 4, в котором выбранный объект уменьшается или увеличивается в размере согласно расстоянию между экраном отображения и рукой.
6. Способ по п. 1, в котором отображение упомянутого по меньшей мере одного объекта содержит отображение выбранного объекта в полноэкранном режиме или множества объектов, выбранных согласно пользовательскому вводу.
7. Способ по п. 1, дополнительно содержащий:
распознавание руки пользователя;
получение изображения руки, вводимого камерой;
выделение зоны руки из зоны фона на основании цветовой информации изображения;
распознавание контура руки по зоне руки; и
распознавание движения и формы руки посредством выполнения сопоставления образов в отношении контура руки.
8. Способ по п. 1, в котором вход в состояние ожидания пересылки файла содержит перевод режима работы терминала в режим ожидания пересылки.
9. Способ по п. 8, в котором вход в состояние ожидания пересылки файла содержит:
определение, подсоединен ли второй терминал;
передачу, когда второй терминал подсоединен, сигнала ожидания пересылки; и
установление, когда второй терминал не подсоединен, канала связи со вторым терминалом для передачи сигнала ожидания пересылки.
10. Способ по п. 9, дополнительно содержащий:
прием, после передачи сигнала ожидания пересылки, ответного сигнала из второго терминала; и
передачу выбранного объекта во второй терминал после приема ответного сигнала.
11. Способ по п. 1, дополнительно содержащий:
обнаружение жеста мультинаведения при соединении со вторым терминалом в ответ на запрос пересылки файла;
передачу ответного сигнала во второй терминал в ответ на жест мультинаведения;
прием объекта, передаваемого вторым терминалом; и
отображение принятого объекта на экране отображения.
12. Способ по п. 11, в котором обнаружение жеста мультинаведения содержит:
обнаружение по меньшей мере двух зон наведения на экране отображения; и
определение, когда расстояние между упомянутыми по меньшей мере двумя зонами наведения увеличивается, что выполняется многопальцевый жест наведения в ответ на запрос пересылки файла.
13. Способ по п. 11, в котором отображение принятого объекта содержит отображение визуальной обратной связи об увеличении объекта в размере согласно принятым данным объекта.
14. Терминал, содержащий:
блок радиосвязи, сконфигурированный с возможностью передачи и приема радиосигналов;
блок отображения, сконфигурированный с возможностью отображения по меньшей мере одного объекта;
воспринимающий блок, сконфигурированный с возможностью восприятия жеста пользователя по отношению к объекту;
блок камеры, сконфигурированный с возможностью получения изображения жеста пользователя; и
блок управления, сконфигурированный с возможностью управления воспринимающим блоком, чтобы обнаруживать многопальцевый жест наведения для выбора объекта на экране отображения, активизации блока камеры после обнаружения многопальцевого жеста наведения, распознавания руки в изображении, вводимом через блок камеры, и управления терминалом, чтобы входить, когда рука исчезает из угла обзора блока камеры, в состояние ожидания пересылки файла для передачи выбранного объекта.
15. Терминал по п. 14, в котором блок управления управляет выполнением, когда рука совершает движение в пределах угла обзора блока камеры, предварительно определенной функции в связи с выбранным объектом согласно движению.
16. Терминал по п. 14, в котором воспринимающий блок генерирует информацию о по меньшей мере двух зонах наведения, обнаруженных на экране отображения, и отправляет ее в блок управления, и при этом блок управления определяет, когда расстояние между двумя зонами наведения уменьшается, что выполняется многопальцевый жест наведения.
17. Терминал по п. 14, в котором блок отображения изменяет размер выбранного объекта, выбранного многопальцевым жестом наведения.
18. Терминал по п. 14, в котором блок отображения уменьшает или увеличивает размер объекта согласно расстоянию между экраном отображения и рукой.
19. Терминал по п. 14, в котором блок отображения отображает выбранный объект в полноэкранном режиме или множество объектов, выбранных согласно пользовательскому вводу.
20. Терминал по п. 14, в котором блок управления получает изображение, вводимое блоком камеры, выделяет зону руки из зоны фона на основании цветовой информации изображения, распознает контур руки по зоне руки и распознает движение и форму руки посредством выполнения сопоставления образов по контуру руки.
21. Терминал по п. 14, в котором блок управления определяет, подсоединен ли второй терминал, передает, когда второй терминал подсоединен, сигнал ожидания пересылки и устанавливает, когда второй терминал не подсоединен, канал связи со вторым терминалом для передачи сигнала ожидания пересылки.
22. Терминал по п. 21, в котором блок управления управляет приемом, после передачи сигнала ожидания пересылки, ответного сигнала из второго терминала и передачей выбранного объекта во второй терминал после приема ответного сигнала.
23. Терминал по п. 14, в котором блок управления управляет передачей, когда обнаружен жест мультинаведения, при соединении со вторым терминалом в ответ на запрос пересылки файла, ответного сигнала во второй терминал в ответ на жест мультинаведения, приемом объекта, передаваемого вторым терминалом, и отображением принятого объекта на экране отображения.
24. Терминал по п. 23, в котором блок управления определяет, когда расстояние между по меньшей мере двумя зонами наведения, обнаруженными на экране отображения, увеличивается, что выполняется многопальцевый жест наведения в ответ на запрос пересылки файла.
25. Терминал по п. 23, в котором блок отображения отображает визуальную обратную связь об увеличении размера объекта согласно принятым данным объекта.
RU2014109966A 2013-03-14 2014-03-14 Устройство и способ управления объектом пользовательского прибора RU2662690C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130027600A KR102091028B1 (ko) 2013-03-14 2013-03-14 사용자 기기의 오브젝트 운용 방법 및 장치
KR10-2013-0027600 2013-03-14

Publications (2)

Publication Number Publication Date
RU2014109966A RU2014109966A (ru) 2015-09-20
RU2662690C2 true RU2662690C2 (ru) 2018-07-26

Family

ID=50478169

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014109966A RU2662690C2 (ru) 2013-03-14 2014-03-14 Устройство и способ управления объектом пользовательского прибора

Country Status (10)

Country Link
US (1) US9372617B2 (ru)
EP (1) EP2778853B1 (ru)
JP (1) JP6366309B2 (ru)
KR (1) KR102091028B1 (ru)
CN (1) CN104049737B (ru)
AU (1) AU2014201588B2 (ru)
BR (1) BR102014006152A2 (ru)
CA (1) CA2846531C (ru)
RU (1) RU2662690C2 (ru)
TW (1) TWI633460B (ru)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102140791B1 (ko) * 2013-10-11 2020-08-03 삼성전자주식회사 터치 컨트롤러, 터치 컨트롤러를 포함하는 디스플레이 장치 및 전자 장치, 및 터치 센싱 방법
US20150188988A1 (en) * 2013-12-27 2015-07-02 Htc Corporation Electronic devices, and file sharing methods thereof
US11809811B2 (en) * 2014-10-25 2023-11-07 Yieldmo, Inc. Methods for serving interactive content to a user
CN104407797B (zh) * 2014-10-27 2017-11-07 联想(北京)有限公司 一种信息处理方法及电子设备
US9971442B2 (en) * 2014-10-29 2018-05-15 Microchip Technology Germany Gmbh Human interface device and method
US10444977B2 (en) * 2014-12-05 2019-10-15 Verizon Patent And Licensing Inc. Cellphone manager
JP2016130925A (ja) 2015-01-14 2016-07-21 レノボ・シンガポール・プライベート・リミテッド 複数の電子機器が連携動作をする方法、電子機器およびコンピュータ・プログラム
CN104714642A (zh) * 2015-03-02 2015-06-17 惠州Tcl移动通信有限公司 一种移动终端及其手势识别处理方法和***
JP2018528551A (ja) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド ユーザー基準空間座標系上におけるジェスチャー検出方法および装置
CN105786388A (zh) * 2016-03-02 2016-07-20 惠州Tcl移动通信有限公司 一种基于近距离感应的应用控制方法、***及移动终端
CN105785376A (zh) * 2016-05-11 2016-07-20 滁州学院 一种标枪投掷电子测量仪
US20180032170A1 (en) * 2016-07-27 2018-02-01 Samsung Electronics Co., Ltd. System and method for estimating location of a touch object in a capacitive touch panel
US10416777B2 (en) * 2016-08-16 2019-09-17 Microsoft Technology Licensing, Llc Device manipulation using hover
US20210278904A1 (en) * 2016-11-08 2021-09-09 Sony Corporation Information processing device, information processing method, and program
US10795450B2 (en) * 2017-01-12 2020-10-06 Microsoft Technology Licensing, Llc Hover interaction using orientation sensing
KR102316024B1 (ko) * 2017-03-02 2021-10-26 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 사용자 인터페이스 표시 방법
US10627911B2 (en) 2017-04-25 2020-04-21 International Business Machines Corporation Remote interaction with content of a transparent display
DE112018005499T5 (de) * 2017-09-29 2020-07-09 Apple Inc. Venenscanvorrichtung zur automatischen Gesten- und Fingererkennung
US20190324621A1 (en) * 2018-04-23 2019-10-24 Qualcomm Incorporated System and Methods for Utilizing Multi-Finger Touch Capability to Efficiently Perform Content Editing on a Computing Device
US10579153B2 (en) * 2018-06-14 2020-03-03 Dell Products, L.P. One-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
US10698603B2 (en) * 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
JP2020177315A (ja) * 2019-04-16 2020-10-29 アルパイン株式会社 電子装置
CN110164440B (zh) * 2019-06-03 2022-08-09 交互未来(北京)科技有限公司 基于捂嘴动作识别的语音交互唤醒电子设备、方法和介质
CN110515468A (zh) * 2019-08-30 2019-11-29 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置和存储介质
CN111443802B (zh) * 2020-03-25 2023-01-17 维沃移动通信有限公司 测量方法及电子设备
CN112486363B (zh) * 2020-10-30 2023-12-19 华为技术有限公司 一种跨设备的内容分享方法、电子设备及***
WO2022226736A1 (zh) * 2021-04-26 2022-11-03 华为技术有限公司 一种多屏交互的方法、装置、终端设备和车辆
CN115480662A (zh) * 2021-05-28 2022-12-16 华为技术有限公司 悬浮操控时的感应区域分离方法、装置、悬浮操控遥控器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010098050A1 (ja) * 2009-02-25 2010-09-02 日本電気株式会社 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム
US20110291988A1 (en) * 2009-09-22 2011-12-01 Canesta, Inc. Method and system for recognition of user gesture interaction with passive surface video displays
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
WO2012166176A1 (en) * 2011-05-27 2012-12-06 Microsoft Corporation Edge gesture
US20130040737A1 (en) * 2011-08-11 2013-02-14 Sony Computer Entertainment Europe Limited Input device, system and method

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265689A (ja) * 1992-03-19 1993-10-15 Hitachi Ltd 情報処理装置
JP3480738B2 (ja) * 1992-06-23 2003-12-22 株式会社東芝 情報処理装置における表示方法及び情報処理装置
JP2004334590A (ja) * 2003-05-08 2004-11-25 Denso Corp 操作入力装置
US20100071965A1 (en) 2008-09-23 2010-03-25 Panasonic Corporation System and method for grab and drop gesture recognition
KR101503835B1 (ko) 2008-10-13 2015-03-18 삼성전자주식회사 멀티터치를 이용한 오브젝트 관리 방법 및 장치
US8581856B2 (en) * 2009-05-27 2013-11-12 Microsoft Corporation Touch sensitive display apparatus using sensor input
US20110088002A1 (en) 2009-10-13 2011-04-14 Carl Johan Freer Method and platform for gestural transfer of digital content for mobile devices
US8756532B2 (en) * 2010-01-21 2014-06-17 Cisco Technology, Inc. Using a gesture to transfer an object across multiple multi-touch devices
US8593398B2 (en) * 2010-06-25 2013-11-26 Nokia Corporation Apparatus and method for proximity based input
JP5360166B2 (ja) * 2010-09-22 2013-12-04 株式会社ニコン 画像表示装置
JP2012133729A (ja) * 2010-12-24 2012-07-12 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2012173980A (ja) * 2011-02-21 2012-09-10 Aisin Aw Co Ltd 表示装置、表示方法、及び表示プログラム
TWI471792B (zh) * 2011-03-30 2015-02-01 Edamak Corp 近接暨觸控面板之多物件偵測方法
KR101922283B1 (ko) * 2011-12-28 2019-02-13 노키아 테크놀로지스 오와이 애플리케이션의 오픈 인스턴스의 제공

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010098050A1 (ja) * 2009-02-25 2010-09-02 日本電気株式会社 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム
US20110291988A1 (en) * 2009-09-22 2011-12-01 Canesta, Inc. Method and system for recognition of user gesture interaction with passive surface video displays
WO2012166176A1 (en) * 2011-05-27 2012-12-06 Microsoft Corporation Edge gesture
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
US20130040737A1 (en) * 2011-08-11 2013-02-14 Sony Computer Entertainment Europe Limited Input device, system and method

Also Published As

Publication number Publication date
CA2846531A1 (en) 2014-09-14
EP2778853A3 (en) 2015-01-21
EP2778853A2 (en) 2014-09-17
JP6366309B2 (ja) 2018-08-01
TWI633460B (zh) 2018-08-21
BR102014006152A2 (pt) 2016-02-23
CN104049737B (zh) 2019-05-28
CN104049737A (zh) 2014-09-17
JP2014179099A (ja) 2014-09-25
EP2778853B1 (en) 2017-12-27
KR20140112920A (ko) 2014-09-24
AU2014201588B2 (en) 2019-03-21
US9372617B2 (en) 2016-06-21
US20140282070A1 (en) 2014-09-18
TW201447646A (zh) 2014-12-16
KR102091028B1 (ko) 2020-04-14
AU2014201588A1 (en) 2014-10-02
RU2014109966A (ru) 2015-09-20
CA2846531C (en) 2021-11-02

Similar Documents

Publication Publication Date Title
RU2662690C2 (ru) Устройство и способ управления объектом пользовательского прибора
US9635267B2 (en) Method and mobile terminal for implementing preview control
WO2020258929A1 (zh) 文件夹界面切换方法及终端设备
WO2018082269A1 (zh) 菜单显示方法及终端
WO2021083132A1 (zh) 图标移动方法及电子设备
US9880642B2 (en) Mouse function provision method and terminal implementing the same
WO2020134744A1 (zh) 图标移动方法及移动终端
EP2770423A2 (en) Method and apparatus for operating object in user device
KR20150026109A (ko) 다중 디스플레이 방법, 저장 매체 및 전자 장치
WO2021129536A1 (zh) 图标移动方法及电子设备
CN108920069B (zh) 一种触控操作方法、装置、移动终端和存储介质
US10095384B2 (en) Method of receiving user input by detecting movement of user and apparatus therefor
CN108170329B (zh) 一种显示控制方法及终端设备
WO2020238357A1 (zh) 图标显示方法及终端设备
CN111338521A (zh) 一种图标显示控制方法及电子设备
WO2017035740A9 (zh) 一种选择文本的方法
CN108008875B (zh) 一种控制光标移动的方法及终端设备
KR20110066545A (ko) 터치스크린을 이용하여 이미지를 표시하기 위한 방법 및 단말
CN110874141A (zh) 图标移动的方法及终端设备
WO2019042479A1 (zh) 基于陀螺仪的指纹操控方法、移动终端及存储介质
KR20150008958A (ko) 휴대 단말기에서 전자문서 작성 방법 및 장치
KR102157621B1 (ko) 휴대장치 및 그 컨텐츠 공유 방법
CN111104024B (zh) 一种发送媒体文件的方法及电子设备