RU2381544C2

RU2381544C2 - Способ и устройство пользовательского ввода в терминале мобильной связи

Info

Publication number: RU2381544C2
Application number: RU2008104856/09A
Authority: RU
Inventors: Ки-Донг ПАРК (KR); Ки-Донг ПАРК
Original assignee: Самсунг Электроникс Ко., Лтд.
Priority date: 2005-08-11
Filing date: 2006-08-11
Publication date: 2010-02-10
Also published as: CN1913545A; US20070064091A1; JP2007052780A; US7898563B2; RU2008104856A; KR100987248B1; WO2007018416A1; KR20070019849A; EP1752861A1

Abstract

Изобретение относится к технике связи. Технический результат заключается в повышении удобства пользовательского ввода в терминале мобильной связи. Технический результат достигается за счет того, что отображают экран с меню, содержащий изображения, связанные с функцией каждой клавиши и функцией меню, обнаруживают предустановленный указатель из видео, которое сфотографировано камерой, когда установлен режим ввода расширенной реальности, синтезируют в реальном времени обнаруженный указатель с экраном с меню и отображают синтезированный экран; в состоянии, в котором предопределенное одно из изображений и указатель накладываются друг на друга на синтезированном экране, при обнаружении предустановленного пользовательского действия, связанного с выбором из сфотографированного камерой видео, выполняют операцию на основании связанной с изображением функции. 4 н. и 15 з.п. ф-лы, 6 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Представленное изобретение, в целом, имеет отношение к терминалу мобильной связи, и, в частности, к способу и устройству для пользовательского ввода, такому как ввод с клавиатуры в терминале мобильной связи.

УРОВЕНЬ ТЕХНИКИ

Терминал мобильной связи оказывает различные дополнительные услуги помимо основной услуги - вызовов. Например, эти дополнительные услуги включают в себя следующее: услугу службы коротких сообщений, услугу службы сообщений мультимедиа, игровую услугу для ведения игры и услугу беспроводного интернета, но не ограничены этим.

Увеличение числа дополнительных услуг, предоставляемых через терминал мобильной связи, приводит к изменениям в пользовательском интерфейсе. На ранних стадиях технологии мобильной связи модуль ввода с клавиатуры включал в себя только числовые клавиши, в которых множество алфавитных символов было привязано к каждой числовой клавише от 0 до 9 и к основным функциональным клавишам начала вызова и окончания вызова. Однако, в настоящее время модуль ввода с клавиатуры может включать в себя множество алфавитных символов, назначенных одной числовой клавише, увеличивая, таким образом, ее сложность. Аналогично сложность функциональных клавиш, таких как управляющая клавиша, увеличилась подобным же образом, увеличивая, таким образом, и общее количество кнопок модуля ввода с клавиатуры, и функции, привязанные к каждой функциональной клавише. В терминале мобильной связи кнопки являются основными составляющими элементами, которые позволяют пользователю управлять работой терминала мобильной связи. Однако не каждая кнопка используется в каждом из различных режимов работы или в заданном управлении работой. Несмотря на то, что в зависимости от режима работы, установленного в настоящее время для терминала мобильной связи или для выполняемой операции, используются только несколько связанных с ним кнопок, большое количество предоставленных кнопок имеют тенденцию причинять пользователю неудобства и становиться причиной малой продуктивности.

Размер терминала мобильной связи все более и более сжимается, так же как и кнопки. Уменьшающийся размер кнопок неудобен для пользователя, так как требует в дальнейшем более тонких манипуляций. Размер экрана дисплея мобильного терминала увеличился, так же как и информация, предоставляемая пользователю. Однако минимально необходимая область модуля ввода с клавиатуры ограничивает размер, до которого может увеличиться экран дисплея. Это вызывает дальнейшую неудовлетворенность пользователя.

Расширенная реальность (AR) - это технология пользовательского интерфейса, предназначенная для приведения в соответствие виртуального видео, сгенерированного компьютером, и реального видео, просматриваемого пользователем. AR - это технология синтезирования в реальном времени виртуальной сгенерированной компьютером дополнительной информации, такой как символы и графика, с реальным видео, просматриваемым пользователем, и показом синтезированного результата, для того, чтобы еще больше расширить реальные ощущения и уровень понимания. Реальное время системы AR совмещает реальное видео, полученное через камеру, со сгенерированным компьютером виртуальным видео, прослеживает позиционирование камеры, используя устройство слежения, исправляет ошибки в устройстве слежения и в камере, и таким образом воспроизводит совмещенный результат в двух или трех измерениях. AR используется в различных областях, включая игры, широковещание, образование, медицину, дизайн и рекламу, но не ограничивается этим.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Техническая проблема

Как описано выше, AR может обнаружить изменение действия пользователя, а также камеру, устройство отображения и процессор для обработки видеоданных.

Соответственно способ пользовательского ввода с терминала мобильной связи, обладающего функциональными возможностями AR, будет более удобным вариантом воплощения.

Техническое решение

Поэтому задачей представленного изобретения является создание удобного способа и устройства пользовательского ввода в терминале мобильной связи.

Другой задачей представленного изобретения является создание способа и устройства пользовательского ввода в терминале мобильной связи, использующих расширенную реальность (AR).

Полезные результаты

Соответственно, чтобы решить вышеупомянутые, а также другие задачи представленного изобретения, создан способ пользовательского ввода в терминале мобильной связи. Способ включает в себя отображение экрана с меню, содержащего изображения, связанные с функцией каждой клавиши или функцией меню, необходимые для управления терминалом, в зависимости от установленного в настоящее время режима работы; обнаружение предустановленного указателя из реального сфотографированного камерой видео, когда режим ввода AR установлен, синтезирование в реальном времени обнаруженного предустановленного указателя с экраном с меню и отображение синтезированного экрана; при обнаружении предустановленного действия пользователя, связанного с выбором из сфотографированного камерой видео, выполнение операции (работы) на основании функции, связанной с предопределенным изображением.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Вышеупомянутые, а также другие задачи, признаки и преимущества представленного изобретения, станут более понятными из нижеследующего подробного описания при рассмотрении совместно с сопроводительными чертежами, на которых:

Фиг.1 - блок-схема, схематично иллюстрирующая терминал мобильной связи согласно представленному изобретению;

Фиг.2 - вид спереди, иллюстрирующий терминал мобильной связи согласно представленному изобретению;

Фиг.3 - блок-схема, схематично иллюстрирующая работу контроллера на основании процесса выбора меню в терминале мобильной связи согласно представленному изобретению;

Фиг.4 - блок-схема, схематично иллюстрирующая работу контроллера на основании процесса распознавания символов согласно представленному изобретению;

Фиг.5 - блок-схема, схематично иллюстрирующая работу контроллера на основании процесса отображения документа согласно представленному изобретению; и

Фиг.6 - блок-схема, схематично иллюстрирующая работу контроллера в видеовызове согласно представленному изобретению.

Лучший режим для осуществления изобретения

Предпочтительный вариант воплощения представленного изобретения будет теперь описан подробно со ссылкой на приложенные чертежи. В чертежах одни и те же или подобные элементы обозначены одними и теми же цифрами ссылок даже когда они изображены на различных чертежах. В нижеследующем описании детализированное описание известных функций и конфигураций, приведенных здесь, было для краткости опущено.

Фиг.1 - это блок-схема, схематично иллюстрирующая терминал мобильной связи согласно представленному изобретению. Как показано на Фиг.1, изобретенный терминал 100 мобильной связи включает в себя контроллер 11, память 13, видеопроцессор 15, камеру 17, устройство 19 отображения, процессор 25 основной полосы частот, модуль 21 радиочастоты (РЧ, RF) и речевой процессор 23.

Контроллер 11 управляет общей работой терминала мобильной связи 100. Модуль РЧ 21 передает и принимает беспроводной сигнал от базовой станции мобильной связи через антенну. Модуль РЧ 21 модулирует сигнал, принятый от контроллера 11, через процессор 25 основной полосы частот и передает беспроводной сигнал, такой как сигнал РЧ, через антенну. Модуль РЧ 21 демодулирует РЧ беспроводной сигнал, принятый через антенну и передает демодулированный РЧ беспроводной сигнал на контроллер 11 через процессор 25 основной полосы частот. Процессор 25 основной полосы частот обрабатывает сигнал основной полосы частот, передаваемый и принимаемый между модулем РЧ 21 и контроллером 11.

Речевой процессор 23, связанный с контроллером 11, совместно с микрофоном (MIC) и громкоговорителем (SPK), связанными с речевым процессором 23, используются для телефонных вызовов и записи речи.

Устройство 19 отображения отображает разнообразную графическую информацию, в том числе изображения, полученные от базовой станции или сохраненные в памяти 13, на экране дисплея под управлением контроллера 11.

Камера 17 выводит кадры изображения, полученные детектором изображения (не показан), на видеопроцессор 15. Под управлением контроллера 11 видеопроцессор 15 преобразует кадры изображения, полученные от камеры 17, в видеоданные и выводит преобразованные кадры изображения на устройство 19 отображения. Под управлением контроллера 11 видеопроцессор 15 совмещает в реальном времени реальное видео, полученное с использованием камеры 17, с виртуальным видео, сохраненным в памяти 13, или совмещает в реальном времени предустановленный указатель, обнаруженный из реального видео, с виртуальным видео, исправляет ошибку и отображает совмещенный результат реального видео и виртуального видео на устройстве 19 отображения в двух или трех измерениях.

Память 13 хранит программу для обработки и управления контроллером 11, эталонные данные и разнообразие обновляемых хранимых данных. Память 13 предусмотрена как рабочая память контроллера 11. Согласно представленному изобретению память 13 хранит данные программы для того, чтобы выполнять режим ввода расширенной реальности (AR), и хранит разнообразие изображений, необходимых для управления работой терминала 100 мобильной связи. Режим ввода AR относится к режиму, при котором предустановленный указатель обнаруживают из реального видео, сфотографированного с использованием камеры 17. В режиме ввода AR обнаруженный предустановленный указатель синтезируется с предопределенным виртуальным видео, составленным из предварительно сохраненных в памяти 13 изображений, синтезированное видео отображается, и в таком режиме отображения, когда предустановленный указатель указывает ввод для выбора изображений, включенных в предопределенное виртуальное видео, или указывает прямой ввод данных, используя указатель, работа терминала мобильной связи выполняется на основании указанного ввода. Разнообразие изображений, необходимых для управления работой, содержит изображения, связанные с клавишами, разнообразие меню и различных фоновых экранов.

Память 13 хранит разнообразие информации указателя и разнообразие действий пользователя, которые являются необходимыми для выполнения режима ввода AR согласно представленному изобретению. Информация указателя относится к информации, необходимой для того, чтобы отличить указатель, распознанный как элемент ввода терминала 100 мобильной связи, от видео, сфотографированного камерой 17, при выполнении режима ввода AR. Например, указатель может быть представлен в виде пальца пользователя, ручки, ручки с выводом через инфракрасный луч, зрачка или лица. Информация указателя - это информация, предназначенная, чтобы отличать и распознавать указатели. В представленном изобретении пользователь может указать один из указателей, сохраненных в памяти 13, и может зарегистрировать новый указатель. Дополнительная регистрация нового указателя предназначена, чтобы сохранить информацию указателя в памяти 13, а сохранение информации указателя предназначено, чтобы сфотографировать указатель.

Действие пользователя относится к предопределенным действиям пользователя, связанным с разнообразием команд, которые пользователь может ввести в терминал 100 мобильной связи в режиме ввода AR. Разнообразие команд может быть выбором, отменой выбора, а также началом и окончанием предопределенного действия. Действия пользователя, связанные с разнообразием команд, могут все быть помечены по-разному или могут быть составлены из одних и тех же самых действий согласно потребностям. Например, когда указатель представлен в виде пальца или ручки, действия пользователя, связанные с командами выбора и отмены выбора, могут быть определены как действие нажатия. Действия пользователя, связанные с командами начала и окончания, могут быть определены как действие движения по кругу. В другом примере, когда указатель - это зрачок, действие выбора и действие отмены выбора могут быть определены как действие моргания глазами один раз, и действие начала и действие окончания могут быть определены как действие моргания глазами дважды.

Согласно представленному изобретению память 13 хранит данные, необходимые для того, чтобы читать символы, а также хранит данные программы, относящиеся к меню виртуальных действий, а также множество кодов виртуальных действий. Меню виртуальных действий относится к меню для синтезирования предопределенного установленного виртуального изображения или динамического виртуального изображения с реальным видео, и для отображения синтезированного видео на экране с видеовызовом терминала мобильной связи другой вызываемой стороны. Каждое меню включает в себя код виртуального действия. Виртуальное изображение может быть пыльцой или фейерверком.

Работа терминала 100 мобильной связи согласно представленному изобретению следующая. В терминале 100 мобильной связи контроллер 11 отображает экран с меню, который включает в себя интерфейсы клавиш или меню, имеющий изображения, связанные с разнообразием клавиш, в зависимости от режима работы. При выполнении режима ввода AR контроллер 11 синтезирует в реальном времени указатель, обнаруженный из сфотографированного видео, с экраном с меню и отображает синтезированный экран на устройстве 19 отображения. Для того, чтобы выбрать, пользователь затем проверяет устройство 19 отображения и позиционирует указатель на изображении, связанном с клавишей или меню. Затем пользователь выполняет действие для выбора изображения, то есть действие выбора, контроллер 11 обнаруживает совмещение позиции указателя и позиции изображения, обнаруживает действие выбора, обнаруживает выбор клавиши или связанного с выбранным изображением меню и выполняет работу на основании этого. В представленном изобретении совмещение позиции указателя и позиции изображения означает, что существует перекрытие части двух изображений. Это не означает, что координаты центров двух изображений не совмещены друг с другом.

Согласно представленному изобретению терминал 100 мобильной связи отображает разнообразие клавиш, необходимых для управления его работой, на устройстве 19 отображения, выполняет режим ввода AR в ответ на запрос пользователя, получает ввод клавиши, используя функцию AR, и получает выбор меню. Таким образом, он, возможно, не включает в себя отдельный модуль ввода с клавиатуры. Соответственно терминал 100 мобильной связи может быть сконфигурирован как на Фиг.2. Фиг.2 - это вид спереди, иллюстрирующий терминал мобильной связи согласно представленному изобретению.

Как показано на Фиг.2, терминал 100 мобильной связи содержит устройство 19 отображения (вид спереди) и камеру 17 (вид сверху). Устройство 19 отображения может быть разделено на обычный экран 31 дисплея, предназначенный для отображения информации терминала мобильной связи, и входной экран 33 дисплея, предназначенный для отображения клавиш или разнообразия меню в зависимости от текущего режима работы. Из обычного экрана 31 дисплея и входного экрана 33 дисплея, разделенных как на Фиг.2, только входной экран 33 дисплея синтезируется с указателем.

На Фиг.2 все устройство 19 отображения может быть составлено из входного экрана 33 дисплея в зависимости от режима работы, однако обычный экран 31 дисплея и входной экран 33 дисплея показаны как разделенные.

В режиме ввода AR терминал 100 мобильной связи может получать весь пользовательский ввод, используя модуль ввода с клавиатуры обычного терминала мобильной связи. Несколько предпочтительных вариантов воплощений, основанные на этом, будут описаны со ссылкой на Фиг.3-6 ниже.

Процесс ввода клавиш согласно представленному изобретению будет описан со ссылкой на Фиг.3. Фиг.3 - это блок-схема, схематично иллюстрирующая работу контроллера на основании процесса выбора меню в терминале мобильной связи, согласно представленному изобретению. Как показано на Фиг.3, на этапе 101 контроллер 11 отображает экран с меню, в том числе изображение или значок, связанные с клавишей, необходимой для управления терминалом, в зависимости от установленного в настоящее время режима работы. Например, в текущем режиме ожидания контроллер 11 отображает основные функциональные клавиши, которые включают в себя клавишу отправки, клавишу меню, клавишу отмены, а также клавишу ОК и числовую клавишу. После этого при обнаружении запроса на ввод действия на этапе 103 контроллер 11 выполняет этап 105. Запрос на ввод действия относится к запросам, предназначенным, чтобы установить режим ввода AR. Такой запрос может быть выполнен отдельной клавишей ввода. Контроллер 11 начинает фотографирование камерой на этапе 105 и продолжает на этапе 107. На этапе 107 контроллер 11 обнаруживает предварительно указанный указатель из сфотографированного видео, в реальном времени синтезирует обнаруженный указатель с экраном с меню и отображает синтезированный экран. Например, если предварительно указанный указатель - это палец, то контроллер 11 обнаруживает изображение пальца как указатель из изображений пользователя, сфотографированных камерой, и синтезирует действие пальца в реальном времени с экраном с меню. Пользователь обнаруживает позицию пальца, рассматривая синтезированный экран и перемещая палец значком клавиши, чтобы сделать выбор. На этапе 109 контроллер 11 анализирует сфотографированное видео и проверяет, обнаружено ли пользовательское действие выбора значка в состоянии, когда позиция указателя совмещена с позицией предопределенного значка экрана с меню. При обнаружении выполняется либо этап 111, либо этап 113. Другими словами, в состоянии, если пользователь установил палец на предопределенный значок клавиши, когда пользователь выполняет действие нажатия, которое является действием пользователя, связанным с предварительно установленным выбором, на этапе 111 контроллер 11 выполняет функцию, которая назначена значку, устанавливает режим работы в зависимости от результата, продолжает на этапе 107 и выполняет этапы 109-115.

На этапе 113 контроллер 11 анализирует сфотографированное видео и экран с меню и проверяет, обнаружено ли пользовательское действие выбора значка в состоянии, когда позиция указателя совмещена с полосой прокрутки экрана с меню. При обнаружении пользовательского действия выбора значка контроллер 11 выполняет этап 115 и выполняет этап 109. Просто говоря, в состоянии, где пользователь перемещает палец в позицию на полосе прокрутки экрана с меню и делает позицию полосы прокрутки, совмещенной с позицией пальца, выполнением действия нажатия, которое является предустановленным пользовательским действием выбора, контроллер 11 обнаруживает выбор полосы прокрутки, прокручивает и отображает экран с меню в зависимости от действия указателя на этапе 115 и продолжает на этапе 109.

Процесс выбора и ввода клавиши описан выше в представленном изобретении. Процесс выбора меню также выполняется аналогичным образом. Другими словами, в состоянии, где контроллер 11 отображает экран, в том числе разнообразие списков меню, когда режим ввода AR устанавливается, контроллер 11 обнаруживает указатель из сфотографированного видео, синтезирует в реальном времени обнаруженный указатель с отображенным экраном и отображает синтезированный экран. Пользователь устанавливает указатель на желательном списке меню и выполняет пользовательское действие выбора, контроллер 11 определяет, что выбрано меню в той же самой позиции, что и текущая позиция указателя, и выполняет работу на основании выбранного меню. Список меню может быть отображен в различных форматах. Он может также быть отображен как значок или динамическое изображение, связанное с каждым меню.

В представленном изобретении процесс ввода символа c использованием действия указателя в режиме ввода AR будет описан со ссылкой на Фиг.4. Фиг.4 - это блок-схема, схематично иллюстрирующая работу контроллера 11 на основании процесса распознавания символов в соответствии с представленным изобретением. Согласно Фиг.4 при установке режима распознавания символов контроллер 11 отображает экран распознавания символов и начинает фотографирование камерой на этапе 201. В представленном изобретении режим распознавания символов относится к режимам, предназначенным для распознавания символов в связке с действием указателя на основании режима ввода AR. На этапе 203 контроллер 11 обнаруживает указатель из сфотографированного видео, синтезирует обнаруженный указатель с экраном распознавания символов, отображает синтезированный экран и продолжает на этапе 205. Когда указатель отображен как синтезированный с экраном распознавания символов, пользователь выполняет предустановленное действие начала пользовательского ввода, чтобы написать символ в подходящей позиции, и затем пишет символ. На этапе 205 контроллер 11 проверяет, обнаружено ли предустановленное действие начала пользовательского ввода символов из сфотографированного видео. При обнаружении предустановленного действия начала пользовательского ввода символов контроллер 11 выполняет этап 207. На этапе 207 контроллер 11 отображает геометрическое место точек (кривую) на основании действия указателя и продолжает на этапе 209. При завершении написания желательного символа пользователь выполняет предустановленное действие окончания пользовательского ввода. Другими словами, пользователь, желающий написать 3, выполняет действие начала пользовательского ввода и пишет 3. При завершении написания 3 пользователь выполняет действие окончания пользовательского ввода. При обнаружении действия окончания пользовательского ввода символов из сфотографированного видео на этапе 209 контроллер 11 продолжает на этапе 211. На этапе 211 контроллер 11 прекращает отображать геометрическое место точек на основании действия указателя, распознает отображенное геометрическое место точек как символ, продолжает на этапе 203 и многократно выполняет этапы 203-211. В вышеупомянутом примере, когда указатель - это ручка с инфракрасным лучом, действие начала пользовательского ввода и действие окончания пользовательского ввода могут также быть наличием и отсутствием света инфракрасного луча.

В вышеописанном процессе пользователь может ввести символ.

В представленном изобретении процесс проверки, возможно ли отобразить документ на одном экране целиком, используя функцию прокрутки, будет описан со ссылкой на Фиг.5. Фиг.5 - это блок-схема, схематично иллюстрирующая работу контроллера 11 на основании процесса отображения документа согласно представленному изобретению. Обращаясь к Фиг.5, по получении от пользователя запроса на отображение текстовых символов на этапе 401, контроллер 11 продолжает на этапе 403. На этапе 403 контроллер 11 определяет, может ли документ быть отображен на экране целиком. Если ответ утвердительный, контроллер 11 продолжает на этапе 415 и отображает весь документ на экране дисплея. Иначе, он продолжает на этапе 405. На этапе 405 контроллер 11 отображает некоторое максимальное отображаемое содержимое документа и продолжает на этапе 407. На этапе 407, при обнаружении запроса на ввод действия, контроллер 11 продолжает на этапе 409. На этапе 409 контроллер 11 запускает фотографирование камерой, обнаруживает указатель из сфотографированного видео, синтезирует в реальном времени обнаруженный указатель с экраном документа и отображает синтезированный экран. Пользователь, желающий просмотреть другие части отображенного документа, выполняет предустановленное действие прокрутки документа. При обнаружении действия прокрутки документа из сфотографированного видео на этапе 411 контроллер 11 продолжает на этапе 413. На этапе 413 контроллер 11 прокручивает и отображает содержимое документа в ответ на действие указателя и заканчивает процесс работы. Хотя это и не показано, если пользователь выполняет предустановленное действие отмены выбора прокрутки, контроллер 11 изменяет и отображает только действие указателя, а не прокручивает и не перемещает документ, даже если указатель передвигается по сфотографированному видео. Пользователь может также проверить Web-страницу, неотображаемую на одном экране или экране с меню.

Следующим будет описан (со ссылкой на Фиг.6) процесс выполнения меню виртуальных действий, использующий режим ввода AR в ходе видео вызова. Фиг.6 - это блок-схема, схематично иллюстрирующая операцию контроллера 11 во время видеовызова согласно представленному изобретению. Как показано на Фиг.6, в режиме видеовызова контроллер 11 отображает экран с видеовызовом, который содержит видео вызываемой стороны/пользовательское видео, а также меню виртуальных действий на этапе 501, и продолжает на этапе 503. На этапе 503 контроллер 11 синтезирует указатель, обнаруженный из сфотографированного видео, с экраном с видеовызовом, отображает синтезированный экран и продолжает на этапе 505. Пользователь, желающий выполнить меню виртуальных действий над вызываемой стороной в ходе видеовызова, проверяет экран, передвигая и устанавливая указатель на желаемое меню виртуальных действий и выполняя предустановленное пользовательское действие выбора. Примером меню виртуальных действий может быть отбор пыльцы и центрирование фейерверка. На этапе 505 в состоянии, где позиция указателя совмещена с позицией предопределенного меню виртуальных действий видеоэкрана, на основании обнаружения пользовательского действия выбора меню, контроллер 11 продолжает на этапе 507. На этапе 507 контроллер 11 передает код виртуального действия, связанный с выбранным меню виртуальных действий, на вызываемый терминал, синтезирует видео вызываемой стороны с видео выполнения выбранного меню виртуальных действий, то есть с виртуальным изображением, отображает синтезированное видео и продолжает на этапе 509. Другими словами, контроллер 11 передает только код виртуального действия, связанный с выбранным меню виртуального действия, косвенно передавая данные, имеющие отношение к выбору из меню виртуальных действий. Получив код виртуального действия, терминал мобильной связи обнаруживает связанные данные меню виртуального действия, синтезирует обнаруженные данные с видео пользователя и отображает синтезированное видео.

После этого и вплоть до обнаружения окончания вызова на этапе 509 контроллер 11 многократно выполняет этапы 501-507.

Меню виртуальных действий (не показано) может включать в себя проигрывание музыки. Однако пользователь вводит команду проигрывания музыки, используя режим ввода AR, в то время как контроллер 11 передает исходные звуковые данные, включенными в данные изображения. Пользователь может выбрать полосу прокрутки (не показана), представляющую из себя временную шкалу проигрывания музыки, во время проигрывания музыки, используя указатель режима ввода AR, так же как регулировать выбранную полосу прокрутки по желанию. Контроллер 11 проигрывает музыку в зависимости от регулировки пользователя.

Наряду с тем, как изобретение показано и описано со ссылкой на некоторые предпочтительные варианты воплощения выше, специалистам в данной области будет понятно, что там могут быть сделаны различные изменения по форме и в деталях, без отступления от сущности и объема данного изобретения, определенных в приложенной формуле изобретения.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

Как описано выше, в представленном изобретении предустановленный указатель обнаруживается из видео, сфотографированного камерой в режиме ввода AR, и синтезируется с виртуальным экраном, составленным из изображений, связанных с меню или клавишей, хранимых в терминале мобильной связи. Синтезированный экран отображается и в состоянии, когда позиция предустановленного указателя совмещена с позицией предопределенного изображения на синтезированном экране, при обнаружении предустановленного пользовательского действия на основании выбора, связанного с изображением, работа выполняется, тем самым, делая возможным пользовательский ввод, основанный на удобном и привлекательном способе в терминале мобильной связи.

Claims

1. Способ пользовательского ввода в терминале мобильной связи, содержащий этапы, на которых
отображают экран с меню, содержащий изображения, связанные с функцией каждой клавиши и функцией меню, необходимые для управления терминалом, в зависимости от установленного в настоящее время режима работы;
обнаруживают предустановленный указатель из видео, которое сфотографировано камерой, когда установлен режим ввода расширенной реальности (AR), синтезируют в реальном времени обнаруженный предустановленный указатель с экраном с меню и отображают синтезированный экран;
и в состоянии, в котором предопределенное одно из упомянутых изображений и указатель накладываются друг на друга на синтезированном экране, при обнаружении предустановленного пользовательского действия, связанного с выбором из сфотографированного камерой видео, выполняют операцию, на основании функции, связанной с упомянутым изображением, причем предустановленный указатель является объектом, распознанным как элемент ввода терминала мобильной связи, из сфотографированного камерой видео при выполнении режима ввода расширенной реальности.

2. Способ по п.1, в котором обнаружение указателя из видео выполняют на основании информации указателя, которую сохраняют в памяти терминала мобильной связи и получают посредством фотографирования указателя.

3. Способ по п.1, в котором этапы обнаружения, синтезирования и отображения содержат этапы, на которых
устанавливают режим ввода расширенной реальности в ответ на пользовательский запрос и активизируют камеру;
обнаруживают предустановленный указатель из сфотографированного камерой видео;
и синтезируют в реальном времени обнаруженный предустановленный указатель с экраном с меню и отображают синтезированный экран.

4. Способ по п.1, в котором указатель устанавливают как указатель, который выбран пользователем из множества предварительно сохраненных указателей.

5. Способ по п.4, в котором предварительно сохраненный указатель содержит одно из следующего: палец пользователя, ручку, ручку с выводом через инфракрасный луч, зрачок или лицо.

6. Способ по п.1, в котором действие пользователя предварительно определяют в связке с разнообразием команд, которые пользователь может вводить в терминал мобильной связи.

7. Способ по п.1, дополнительно содержащий этап, на котором в состоянии, в котором полоса прокрутки экрана дисплея и указатель накладываются друг на друга на синтезированном экране, при обнаружении предустановленного пользовательского действия, связанного с выбором из сфотографированного камерой видео, выполняют функцию прокрутки в зависимости от движения указателя.

8. Способ по п.1, дополнительно содержащий этап, на котором в состоянии, в котором экран с меню частично отображен, при обнаружении предустановленного пользовательского действия прокрутки из сфотографированного камерой видео прокручивают и отображают содержимое на экране с меню в ответ на движение указателя.

9. Способ пользовательского ввода в терминале мобильной связи, содержащий этапы, на которых отображают экран распознавания символов и запускают сфотографированное камерой видео, предоставленное в терминал мобильной связи;
обнаруживают предустановленный указатель из сфотографированного видео, синтезируют в реальном времени обнаруженный предустановленный указатель с экраном с меню и отображают синтезированный экран;
при обнаружении из сфотографированного видео предустановленного пользовательского действия начала ввода символов отображают линией геометрическое место точек на основании движения указателя на экране распознавания символов;
и при обнаружении из сфотографированного видео предустановленного пользовательского действия окончания ввода символов прекращают отображать геометрическое место точек на основании движения указателя и распознают отображенное геометрическое место точек как символ,
причем предустановленный указатель является объектом, распознанным как элемент ввода терминала мобильной связи, из сфотографированного камерой видео при выполнении режима ввода расширенной реальности.

10. Способ пользовательского ввода в терминале мобильной связи, содержащий этапы, на которых
во время вызова отображают экран с видеовызовом, содержащий видео вызываемой стороны, видео, сфотографированное пользователем, и множество меню виртуальных действий;
обнаруживают предустановленный указатель из сфотографированного видео, синтезируют в реальном времени обнаруженный предустановленный указатель с экраном с видеовызовом и отображают синтезированный экран с видеовызовом;
и в состоянии, в котором предопределенное меню виртуальных действий и указатель накладываются друг на друга на синтезированном экране с видеовызовом, при обнаружении пользовательского действия выбора передают код действия, связанный с предопределенным меню виртуальных действий, в терминал вызываемой стороны, синтезируют виртуальное изображение, связанное с предопределенным меню виртуальных действий, с видео вызываемой стороны и отображают синтезированное видео.

11. Способ по п.10, дополнительно содержащий этапы, на которых при приеме предопределенного кода действия от терминала вызываемой стороны осуществляют поиск меню виртуальных действий, связанных с принятым кодом действия, синтезируют виртуальное изображение, связанное с меню виртуальных действий, с пользовательским видео и отображают синтезированное видео.

12. Пользовательское устройство ввода терминала мобильной связи, содержащее
устройство отображения;
камеру;
видеопроцессор для совмещения в реальном времени указателя, обнаруженного из сфотографированного камерой видео, со сфотографированным видео и виртуальным видео, состоящим из предварительно сохраненного изображения, исправления ошибки, и отображения совмещенного результата на устройстве отображения в двух или трех измерениях;
и контроллер для управления видеопроцессором и устройством отображения для отображения экрана с меню, содержащего изображения, связанные с функцией каждой клавиши и функцией меню, необходимые для управления терминалом, на устройстве отображения в зависимости от установленного в настоящее время режима работы, управления видеопроцессором при установке режима ввода расширенной реальности для обнаружения предустановленного указателя из сфотографированного камерой видео, синтезирования в реальном времени обнаруженного указателя с экраном с меню и отображения синтезированного экрана, и в состоянии, в котором предопределенное одно из упомянутых изображений и указатель накладываются друг на друга на синтезированном экране, при обнаружении предустановленного пользовательского действия, связанного с выбором из сфотографированного видео, выполнения операции на основании функции, связанной с упомянутым изображением,
причем предустановленный указатель является объектом, распознанным как элемент ввода терминала мобильной связи, из сфотографированного камерой видео при выполнении режима ввода расширенной реальности.

13. Устройство по п.12, в котором обнаружение указателя из видео выполняется на основании информации указателя, которая сохранена в памяти терминала мобильной связи и получена посредством фотографирования указателя.

14. Устройство по п.12, в котором контроллер устанавливает режим ввода расширенной реальности в ответ на пользовательский запрос и активизирует камеру, а также управляет видеопроцессором для обнаружения предустановленного указателя из сфотографированного камерой видео, синтезирования в реальном времени обнаруженного предустановленного указателя с экраном с меню и отображения синтезированного экрана.

15. Устройство по п.12, в котором указатель установлен как указатель, который выбран пользователем из множества предварительно сохраненных указателей.

16. Устройство по п.15, в котором предварительно сохраненный указатель содержит одно из следующего: палец пользователя, ручку, ручку с выводом через инфракрасный луч, зрачок или лицо.

17. Устройство по п.12, в котором пользовательское действие предварительно определено в связке с разнообразием команд, которые пользователь может ввести в терминал мобильной связи.

18. Устройство по п.12, в котором в состоянии, в котором полоса прокрутки экрана дисплея и указатель накладываются друг на друга на синтезированном экране, при обнаружении предустановленного пользовательского действия, связанного с выбором из сфотографированного камерой видео, контроллер выполняет функцию прокрутки в зависимости от движения указателя.

19. Устройство по п.12, в котором, когда экран с меню частично отображен, при обнаружении предварительно определенного действия прокрутки из сфотографированного камерой видео контроллер прокручивает и отображает содержимое на экране с меню в ответ на движение указателя.