RU2647698C1

RU2647698C1 - Method and system of automatic setting of the user interface in the mobile device

Info

Publication number: RU2647698C1
Application number: RU2017104236A
Authority: RU
Inventors: Михаил Николаевич Рычагов; Алексей Михайлович Фартуков; Алексей Брониславович Данилевич; Иван Сергеевич САМОЙЛЕНКО; Сергей Юрьевич ЯКОВЛЕВ
Original assignee: Самсунг Электроникс Ко., Лтд.
Priority date: 2017-02-09
Filing date: 2017-02-09
Publication date: 2018-03-16

Abstract

FIELD: information technology.

SUBSTANCE: system and method for automatic selecting of the user interface are disclosed, depending on the preferred style of user interaction with the mobile device (MD). In the method, the fingerprint database of the particular user is generated by means of scanning the user's fingerprints for each of the styles of user interaction with the MD, the type of each finger and its belonging to the left or right hand is determined, the range of user finger displacement angles is determined relative to the fingerprint scanner for each of the styles of the user interaction with the MD. While the user is working with the MD, the fingerprint of the user is scanned, its type and the finger's belonging to the left or to the right hand, and also the angle of the user's finger relative to the scanner are determined. It is determined, into which range of displacement angles relative to the scanner the scanned fingerprint of the user falls, the style of user interaction with the MD is determined and the user interface of the mobile device is customized for the specific style of interaction.

EFFECT: technical result consists in expanding the arsenal of the user interface tools.

5 cl, 6 dwg

Description

Область техники, к которой относится изобретениеFIELD OF THE INVENTION

Изобретение относится к области взаимодействия пользователя с мобильным устройством. Более конкретно, изобретение относится к автоматическому выбору пользовательского интерфейса в зависимости от предпочтительного стиля взаимодействия пользователя с мобильным устройством.The invention relates to the field of user interaction with a mobile device. More specifically, the invention relates to the automatic selection of a user interface depending on the preferred style of user interaction with a mobile device.

Описание предшествующего уровня техникиDescription of the Related Art

Вопросы эффективного взаимодействия пользователя с мобильным устройством (смартфоном, планшетом, электронной книгой и т.п.) являются предметом исследований инженеров и дизайнеров, разрабатывающих эти устройства. Форм-фактор упомянутых устройств подразумевает их использование путем удержания и работы с ними посредством использования одной из двух рук. Эти исследования позволяют оптимально конструировать общую форму устройства, его органы управления и, в частности, программный пользовательский интерфейс для сенсорных экранов, с помощью которого пользователь взаимодействует с мобильным устройством (далее - «МУ»).Issues of effective user interaction with a mobile device (smartphone, tablet, e-book, etc.) are the subject of research by engineers and designers developing these devices. The form factor of the mentioned devices implies their use by holding and working with them through the use of one of two hands. These studies allow us to optimally design the general form of the device, its controls and, in particular, the software user interface for touch screens, with which the user interacts with a mobile device (hereinafter - “MU”).

Так, например, дизайнер Стивен Хубер (Steeven Hoober) провел ряд исследований в этой области с целью выяснить принципы конструирования наиболее удобного пользовательского интерфейса (см. [1], [2]). В своих исследованиях он, в частности, обратил внимание на основные сложившиеся стили взаимодействия человека с МУ: захват (удержание) устройства и работу пальцев при пользовании сенсорным экраном. Удержание может быть в том числе таким, когда пользователь способен удерживать МУ одной рукой и работать пальцем той же руки с сенсорным экраном. Хубер выделил три основных стиля взаимодействия пользователя с МУ (Фиг.1): а) захват левой рукой и работа большим пальцем левой руки; б) захват правой рукой и работа большим пальцем правой руки; в) работа двумя руками, когда одна рука используется для захвата, а пальцы другой (любые) - для взаимодействия с сенсорным экраном.For example, designer Steven Hoober conducted a number of studies in this area in order to find out the principles of designing the most convenient user interface (see [1], [2]). In his research, he, in particular, drew attention to the main prevailing styles of human interaction with MU: capture (hold) of the device and the work of fingers when using the touch screen. Holding can also be such when the user is able to hold the MU with one hand and work with the finger of the same hand with a touch screen. Huber identified three main styles of user interaction with MU (Figure 1): a) capture with the left hand and work with the thumb of the left hand; b) capture with the right hand and work with the thumb of the right hand; c) two-handed operation, when one hand is used for gripping, and the fingers of the other (any) are used to interact with the touch screen.

Стиль взаимодействия пользователя с МУ определяет зоны досягаемости для пальцев на сенсорном устройстве, иллюстрируемые на Фиг. 2. В связи с этим встает проблема конструирования различных разновидностей пользовательского интерфейса, ориентированных на стиль взаимодействия, предпочитаемый пользователем, с целью увеличить эффективность его взаимодействия с устройством. На Фиг. 3 изображены примеры расположения на экране типовых пользовательских программных интерфейсов, соответствующих трем вышеописанным стилям взаимодействия пользователя с МУ: «левосторонний» интерфейс (а), «правосторонний» интерфейс (б), «центральный» интерфейс (в). (Эргономические данные взяты из работ Стивена Хубера [1], [2]).The style of user interaction with the MU determines the reach for the fingers on the touch device, illustrated in FIG. 2. In this regard, the problem arises of designing various types of user interface oriented to the interaction style preferred by the user in order to increase the efficiency of his interaction with the device. In FIG. Figure 3 shows examples of the layout of typical user program interfaces on the screen corresponding to the three above-described styles of user interaction with MU: “left-side” interface (a), “right-side” interface (b), and “central” interface (c). (Ergonomic data taken from the work of Stephen Huber [one], [2]).

Следует подчеркнуть, что описанные выше стили взаимодействия пользователя с МУ, как правило, не связаны с физиологической леворукостью или праворукостью пользователя, а являются проявлением сложившейся привычки.It should be emphasized that the above-described styles of user interaction with MU, as a rule, are not associated with the physiological left-handedness or right-handedness of the user, but are a manifestation of a habit.

В настоящее время проблема настройки интерфейса под привычный пользователю стиль взаимодействия осознается многими компаниями-производителями мобильной техники и соответствующего программного обеспечения.Currently, the problem of customizing the interface to the style of interaction familiar to the user is recognized by many manufacturers of mobile equipment and related software.

Так, компания Google inc. в 2016 году подготовила виртуальную клавиатуру для сенсорного экрана (http://www.androidcentral.com/big-***-keyboard-update-brings-one-handed-mode-layout-tweaks-and-more), которая имеет «левосторонний», «правосторонний» и «центральный» варианты расположения на экране. Недостаток данного решения состоит в том, что настройка интерфейса осуществляется не автоматически, а вручную с помощью специального меню, что снижает эффективность такого подхода.So, Google inc. in 2016, she prepared a virtual keyboard for the touch screen (http://www.androidcentral.com/big-***-keyboard-update-brings-one-handed-mode-layout-tweaks-and-more), which has a “left-side” , “Right-handed” and “central” screen layout options. The disadvantage of this solution is that the interface is not configured automatically, but manually using a special menu, which reduces the effectiveness of this approach.

В документе US20100310136 A1 (Sony Ericsson Mobile communications Ab, publ. 2010) описано устройство с автоматическим выбором левостороннего и правостороннего интерфейса на основе анализа отпечатка работающего пальца на сенсорном экране. Главным недостатком описанного подхода является отсутствие детектирования ситуации, когда используется стиль взаимодействия двумя руками, поскольку распознавание только принадлежности работающего пальца той или иной руки не в состоянии дать ответа на вопрос, используется ли работа только одной рукой или двумя руками. Техническим недостатком описанного подхода является сложная реализация сканеров отпечатка пальца, выполняемая в различных областях сенсорного экрана.In US20100310136 A1 (Sony Ericsson Mobile communications Ab, publ. 2010) describes a device with automatic selection of left-side and right-hand interface based on the analysis of the working fingerprint on the touch screen. The main drawback of the described approach is the lack of detection of the situation when the style of interaction with two hands is used, since recognition of only the belonging of the working finger of one or another hand is not able to answer the question whether the work is used with only one hand or two hands. A technical drawback of the described approach is the complex implementation of fingerprint scanners performed in various areas of the touch screen.

Патент US20140068492A1 (Google inc, 2014) описывает автоматическое определение стиля взаимодействия пользователя с помощью датчиков касания подушечек ладони, удерживающей МУ (указанные тактильные датчики располагаются на тыльной стороне корпуса). Достоинством предлагаемого подхода является то, что он не только определяет, какой рукой выполнен захват, но позволяет также определить высоту расположения захвата на корпусе устройства, что, в свою очередь, позволяет дополнительно планировать расположение пользовательского интерфейса на разной высоте сенсорного экрана. Недостатком предложенного подхода является сложность реализации упомянутых тактильных датчиков; при этом для устройства сравнительно малого размера, допускающего захват и работу одной рукой, оценка высоты расположения интерфейса не является актуальной - его экран слишком мал для реализации таких дополнительных возможностей.Patent US20140068492A1 (Google inc, 2014) describes the automatic determination of the style of user interaction using touch sensors of the palm pads holding the MU (these tactile sensors are located on the back of the case). The advantage of the proposed approach is that it not only determines with which hand the grip is made, but also allows you to determine the height of the grip on the device body, which, in turn, allows you to further plan the location of the user interface at different heights of the touch screen. The disadvantage of the proposed approach is the difficulty of implementing the mentioned tactile sensors; at the same time, for a device of a relatively small size that allows capture and operation with one hand, estimating the height of the interface is not relevant - its screen is too small to implement such additional features.

Таким образом, существует необходимость в способе и системе автоматической оценки стиля взаимодействия пользователя с МУ, с последующей подачей соответствующего сигнала для программного обеспечения с целью выбора подходящего пользовательского интерфейса; при этом способ и система должны допускать достаточно простую реализацию для уменьшения сложности и стоимости МУ, а также для увеличения надежности МУ.Thus, there is a need for a method and system for automatically evaluating the style of user interaction with MU, followed by the supply of the appropriate signal for the software in order to select a suitable user interface; however, the method and system should allow a fairly simple implementation to reduce the complexity and cost of the MU, as well as to increase the reliability of the MU.

Сущность изобретенияSUMMARY OF THE INVENTION

Основной задачей, на решение которой направлено предлагаемое изобретение, является автоматическая настройка пользовательского программного интерфейса МУ под автоматически определяемый предпочтительный стиль взаимодействия пользователя с МУ, что в итоге повышает эффективность использования интерфейса МУ. Технический результат заявленного изобретения состоит в увеличении скорости взаимодействия пользователя с интерфейсом МУ за счет автоматической подстройки пользовательского интерфейса к стилю взаимодействия пользователя с МУ. Достижение технического результата и решение указанной задачи обеспечиваются тем, что предлагается способ и система автоматической настройки пользовательского программного интерфейса в МУ построены на основе определения стиля взаимодействия пользователя с МУ на основании анализа отсканированного отпечатка пальца пользователя, после чего установленное на МУ программное обеспечение автоматически настраивается на вариант пользовательского интерфейса, соответствующий определенному стилю взаимодействия. Контекст заявляемого изобретения описывает устройства, тип, размер и форма которых подразумевает смену стилей взаимодействия пользователя с МУ при захвате МУ посредством одной из рук. Под взаимодействием пользователя с МУ (как определил в своем исследовании Хубер) подразумевается захват пользователем МУ руками и взаимодействие пальца пользователя с экраном МУ.The main task to which the invention is directed is to automatically configure the user program interface of the MU for an automatically determined preferred style of user interaction with the MU, which ultimately increases the efficiency of using the MU interface. The technical result of the claimed invention consists in increasing the speed of user interaction with MU interface due to automatic tuning user interface to user interaction style with MU. The achievement of the technical result and the solution of this problem are ensured by the fact that the proposed method and system for automatically configuring the user program interface in the MU is based on determining the style of user interaction with the MU based on the analysis of the scanned user's fingerprint, after which the software installed on the MU is automatically configured for a user interface that matches a specific interaction style. The context of the claimed invention describes devices, the type, size and shape of which implies a change in the styles of user interaction with the MU when capturing the MU through one of the hands. By user interaction with MU (as Huber defined in his study), it is meant that the user grabs the MU with his hands and interacts with the user's finger with the MU screen.

Под стилем взаимодействия пользователя с МУ, применительно к заявленному изобретению, понимается регулярно совершаемое указанное взаимодействие на основании выработанных персональных привычек.Under the style of user interaction with MU, in relation to the claimed invention, refers to regularly performed the specified interaction based on the developed personal habits.

В предлагаемом изобретении определение стиля взаимодействия пользователя с МУ включает в себя этапы, на которых:In the present invention, the definition of the style of user interaction with the MU includes the steps in which:

* сканируется отпечаток пальца пользователя с помощью сканера, совмещенного с кнопкой разблокировки МУ, расположенной в нижней части корпуса МУ в плоскости экрана либо совмещенного с иной кнопкой или ее сенсорным аналогом, используемым для разблокировки МУ;* the user's fingerprint is scanned using a scanner combined with the MU unlock button located in the lower part of the MU housing in the plane of the screen or combined with another button or its touch analogue used to unlock the MU;

* на основании отсканированного отпечатка выполняется распознавание одного из пяти пальцев одной из рук пользователя, то есть типа пальца (большой, указательный и т.п.) и его принадлежность левой или правой руке, а также угол смещения пальца относительно сканера;* based on the scanned fingerprint, one of the five fingers of one of the user's hands is recognized, that is, the type of finger (thumb, index, etc.) and its belonging to the left or right hand, as well as the angle of the finger relative to the scanner;

* определяется стиль взаимодействия пользователя с МУ на основе распознанного отпечатка пальца и его угла смещения относительно сканера, причем определение вышеуказанного стиля на основе распознанного отпечатка и угла его смещения выполняется в зависимости от выполнения следующих условий:* the style of user interaction with the MU is determined based on the recognized fingerprint and its offset angle relative to the scanner, and the above style is determined based on the recognized fingerprint and its offset angle depending on the following conditions:

- если распознан большой палец левой руки, а угол смещения пальца относительно сканера находится в диапазоне, определенном на основании индивидуального теста пользователя МУ при заполнении пользователем базы данных отпечатков как диапазон при захвате МУ левой рукой и использовании большого пальца левой руки в качестве рабочего, то определяется стиль взаимодействия пользователя с захватом МУ левой рукой и использованием большого пальца левой руки в качестве рабочего, происходит настройка левостороннего пользовательского интерфейса;- if the thumb of the left hand is recognized, and the angle of offset of the finger relative to the scanner is in the range determined on the basis of the individual test of the MU user when the user fills the fingerprint database as the range when the MU is captured with the left hand and the left hand is used as the working thumb, then it is determined style of user interaction with the capture of the MU with the left hand and the use of the thumb of the left hand as a worker, the left-side user interface is set up;

- если распознан большой палец правой руки, а угол смещения пальца относительно сканера находится в диапазоне, определенном на основании индивидуального теста пользователя МУ при заполнении пользователем базы данных отпечатков как диапазон при захвате МУ правой рукой и использовании большого пальца правой руки в качестве рабочего, то определяется стиль взаимодействия пользователя с захватом МУ правой рукой и использованием большого пальца правой руки в качестве рабочего, происходит настройка правостороннего пользовательского интерфейса;- if the thumb of the right hand is recognized, and the angle of the finger’s relative to the scanner is in the range determined on the basis of the individual test of the user of the MU when the user fills the fingerprint database as the range when the MU is captured with the right hand and the thumb of the right hand is used as a worker, then it is determined style of user interaction with the capture of the MU with the right hand and the use of the thumb of the right hand as a worker, the right-hand user interface is set up Eisa;

- если распознан большой палец левой либо правой руки, а угол смещения пальца относительно сканера находится в диапазоне, определенном на основании индивидуального теста пользователя МУ при заполнении пользователем базы данных отпечатков как диапазон при захвате МУ одной рукой и использовании в качестве рабочего пальца другой руки, то определяется стиль взаимодействия пользователя с использованием двух рук, происходит настройка центрального пользовательского интерфейса;- if the thumb of the left or right hand is recognized, and the angle of the finger’s offset relative to the scanner is in the range determined on the basis of the individual test of the user of the MU when the user fills the fingerprint database as a range when the MU is captured with one hand and the other hand is used as the working finger, then the style of user interaction using two hands is determined, the central user interface is set up;

- если распознан любой палец, кроме большого, левой либо правой руки, то определяется стиль взаимодействия пользователя с МУ с использованием двух рук, происходит настройка центрального пользовательского интерфейса;- if any finger is recognized, except for the thumb, left or right hand, then the style of user interaction with the MU using two hands is determined, the central user interface is configured;

Необходимо отметить, что угол смещения пальца относительно МУ является углом смещения пальца относительно сканера (в случае расположения сканера в плоскости экрана). При этом подразумевается предварительный выбор координатных осей, привязанных к корпусу МУ, в соответствии с формфактором МУ, то есть координатные оси при использовании устройства соответствуют тому положению и захвату МУ, при котором пользователь сканировал отпечатки своих пальцев при занесении их в базу данных отпечатков. При этом неважно, какая именно из сторон МУ становится условной вертикалью, какая горизонталью. Безразлично также и положение нуля системы координат. Это гарантирует сравнимость сканированных отпечатков, а также сравнимость измеряемых углов смещения отпечатков относительно сканера (а, следовательно, и корпуса МУ) при любом изначальном выборе системы координат.It should be noted that the angle of the finger relative to the MU is the angle of the finger relative to the scanner (if the scanner is located in the plane of the screen). This implies a preliminary selection of the coordinate axes attached to the body of the MU, in accordance with the form factor of the MU, that is, the coordinate axes when using the device correspond to the position and capture of the MU, in which the user scanned his fingerprints when entering them into the fingerprint database. In this case, it does not matter which of the sides of the MU becomes a conditional vertical, which horizontal. The zero position of the coordinate system is also indifferent. This ensures the comparability of the scanned fingerprints, as well as the comparability of the measured offset angles of the fingerprints relative to the scanner (and, consequently, the MU housing) for any initial choice of the coordinate system.

В памяти МУ сохраняются эталонные отпечатки пальцев, которые сканируются пользователем при составлении базы данных. Причем способы сканирования отпечатков пальцев для составления базы данных отпечатков пальцев известны из уровня техники (например, Handbook of Fingerprint Recognition, Maltoni, D., Maio, D., Jain, A., Prabhakar, S., 2009). Угловое положение отсканированного отпечатка пальца (угол смещения пальца пользователя) определяется относительно сканера способами, известными из уровня техники (например, Handbook of Fingerprint Recognition, Maltoni, D., Maio, D., Jain, A., Prabhakar, S., 2009). При составлении базы данных пользователь сканирует отпечатки пальцев при каждом из трех стилей взаимодействия с МУ, описанных выше. Подробнее процесс создания базы данных отпечатков пальцев будет описан в разделе «подробное описание изобретения». При составлении базы данных сохраняются отпечатки предпочтительных для пользователя пальцев правой и левой рук пользователя, определяются диапазоны углов смещения отпечатка пальца пользователя относительно сканера, по которым будет определяться стиль взаимодействия пользователя с МУ и настройка интерфейса при работе пользователя с МУ.The MU memory stores reference fingerprints that are scanned by the user when compiling the database. Moreover, fingerprint scanning methods for compiling a fingerprint database are known from the prior art (for example, Handbook of Fingerprint Recognition, Maltoni, D., Maio, D., Jain, A., Prabhakar, S., 2009). The angular position of the scanned fingerprint (the angle of the user's finger) is determined relative to the scanner by methods known in the art (e.g., Handbook of Fingerprint Recognition, Maltoni, D., Maio, D., Jain, A., Prabhakar, S., 2009) . When compiling the database, the user scans the fingerprints for each of the three styles of interaction with the MU described above. The process of creating a fingerprint database will be described in more detail in the section “Detailed Description of the Invention”. When compiling the database, fingerprints of the user's right and left hands are preferable for the user, the ranges of the angle of the user's fingerprint relative to the scanner are determined, which will determine the style of user interaction with the MU and the user interface when working with the MU.

При работе пользователя с МУ угол смещения пальца пользователя, попадающий в один из диапазонов углов смещения пальца относительно сканера, а также тип пальца, которым пользуется пользователь для работы, его принадлежность левой или правой руке, используются для определения правостороннего режима, левостороннего режима и центрального режима пользовательского интерфейса.When the user is working with the MU, the user's finger offset angle, falling into one of the ranges of finger offset angles relative to the scanner, as well as the type of finger that the user uses to work, his belonging to the left or right hand, are used to determine the right-hand mode, left-hand mode and central mode user interface.

Причем изменение типа пальца, размера и формы отпечатка подразумевает смену стилей взаимодействия пользователя с МУ при захвате одной из рук. Для сканирования отпечатка пальца используется сканер, основанный на любом физическом принципе, например оптическом, полупроводниковом, ультразвуковом.Moreover, changing the type of finger, size and shape of the fingerprint implies a change in the styles of user interaction with the MU when grabbing one of the hands. A fingerprint scanner is used to scan a fingerprint, based on any physical principle, for example, optical, semiconductor, ultrasound.

Предложенная реализующая способ система осуществляет на МУ автоматическую настройку пользовательского программного интерфейса под автоматически определяемый стиль взаимодействия пользователя с МУ. Для достижения указанного технического результата предлагаемая система осуществляет определение стиля взаимодействия пользователя с МУ на основании сканирования и анализа отпечатка пальца пользователя, после чего программное обеспечение, установленное на МУ, автоматически настраивает вариант пользовательского интерфейса, соответствующий этому стилю взаимодействия.The proposed system implements the method on the MU automatically configures the user program interface for the automatically determined style of user interaction with the MU. To achieve the specified Of the technical result, the proposed system determines the style of user interaction with the MU based on scanning and analyzing the user's fingerprint, after which the software installed on the MU automatically configures the user interface variant corresponding to this style of interaction.

Для осуществления автоматической настройки стиля взаимодействия пользователя с МУ указанная система состоит из следующих блоков: сканера отпечатка пальца, совмещенного с кнопкой разблокировки МУ, расположенной в нижней части корпуса МУ в плоскости экрана либо совмещенного с иной кнопкой или ее сенсорным аналогом, используемыми для разблокировки МУ и конструктивно расположенными таким образом, чтобы обеспечить один из вариантов предпочтительного захвата МУ рукой пользователя (захват, относящийся к одному из вышеперечисленных стилей взаимодействия пользователя с МУ) при прикосновении большого пальца любой руки к указанной кнопке или ее сенсорному аналогу, блока сбора и хранения эталонных отпечатков пальцев пользователя, блока определения одного из пяти пальцев одной из рук пользователя, его принадлежности левой или правой руке, а также угла смещения пальца относительно сканера; при этом данные из блока сбора и хранения эталонных отпечатков пальцев и данные с указанного сканера подаются в блок определения типа пальца, его принадлежности левой или правой руке и угла смещения отпечатка относительно сканера, при этом блок определения одного из пяти пальцев одной из рук пользователя, его принадлежности левой или правой руке, а также угла смещения пальца относительно сканера реализует способы определения, в какой из диапазонов углов смещения пальца относительно сканера попадает отсканированный отпечаток пальца, определяет один из пяти пальцев одной из рук пользователя и его принадлежность левой или правой руке, причем эти способы широко известны в дактилоскопии и криминалистике (например, Handbook of Fingerprint Recognition, Maltoni, D., Maio, D., Jain, A., Prabhakar, S., 2009) и подает эти данные на блок определения стиля взаимодействия пользователя с МУ; при этом указанный блок определения стиля взаимодействия на основании распознанного одного из пяти пальцев одной из рук пользователя, его принадлежности левой или правой руке, а также угла смещения пальца относительно сканера выполняет логические операции по определению стиля взаимодействия пользователя с МУ и вырабатывает сигнал для настройки пользовательского интерфейса. Под настройкой пользовательского интерфейса понимается выбор одного из трех предопределенных вариантов интерфейса для соответствующего стиля взаимодействия пользователя с МУ (левосторонний, правосторонний, центральный). При этом указанный блок определения стиля взаимодействия пользователя с МУ задействует в своих операциях в качестве параметров диапазоны углов смещения пальца относительно сканера, определенные для описанных выше типов захвата МУ, на основании обращения к базе данных отпечатков пальцев пользователя МУ (заполненной при предварительном заполнении пользователем базы данных отпечатков) либо на основе групповых экспериментов (сбора данных), проведенных с пользователями. Важную роль в практической реализации предлагаемого изобретения играет и удачное конструктивное решение компании Samsung при выборе места расположения кнопки ʺHomeʺ со сканером отпечатка пальца, в центре нижней части МУ в плоскости экрана. Именно такое расположение сканера на МУ позволяет определить тип захвата устройства рукой и используемый для работы палец, поскольку наиболее удобными для работы с МУ являются основные сложившиеся стили взаимодействия пользователя с МУ, как описал Хубер. Т.е. при указанном расположении сканера обеспечивается распознавание используемого стиля взаимодействия пользователя с МУ.To automatically adjust the style of user interaction with the MU, this system consists of the following units: a fingerprint scanner combined with the MU unlock button located in the lower part of the MU body in the plane of the screen or combined with another button or its touch counterpart used to unlock the MU and structurally positioned in such a way as to provide one of the options for the preferred capture of the MU by the user's hand (capture related to one of the above styles user interaction with MU) when the thumb of any hand touches the specified button or its touch analogue, the user fingerprint collection and storage unit, one of the five fingers of one of the user's hands, its belonging to the left or right hand, and the angle of offset finger relative to the scanner; the data from the unit for collecting and storing reference fingerprints and data from the specified scanner are supplied to the unit for determining the type of finger, its belonging to the left or right hand and the angle of the offset of the fingerprint relative to the scanner, while the unit for determining one of the five fingers of one of the user's hands, accessories of the left or right hand, as well as the angle of the finger relative to the scanner implements methods for determining which of the ranges of angles of the finger relative to the scanner the scanned fingerprint falls into, determines one of the five fingers of one of the user's hands and its belonging to the left or right hand, and these methods are widely known in fingerprinting and forensics (for example, Handbook of Fingerprint Recognition, Maltoni, D., Maio, D., Jain, A., Prabhakar, S., 2009) and feeds this data to the unit for determining the style of user interaction with MU; at the same time, the indicated unit for determining the interaction style based on the recognition of one of the five fingers of one of the user's hands, its belonging to the left or right hand, as well as the angle of the finger relative to the scanner performs logical operations to determine the style of interaction of the user with the MU and generates a signal to configure the user interface . By setting the user interface we mean the choice of one of three predefined interface options for the corresponding style of user interaction with the MU (left-side, right-side, central). At the same time, the indicated unit for determining the style of interaction between the user and the MU uses in its operations, as parameters, the ranges of the angles of finger offset relative to the scanner, defined for the types of MU capture described above, based on access to the user’s fingerprint database of the MU (filled in when the user first filled in the fingerprint database) or on the basis of group experiments (data collection) conducted with users. An important role in the practical implementation of the invention is played by a successful Samsung constructive solution when choosing the location of the ʺHomeʺ button with a fingerprint scanner, in the center of the bottom of the MU in the plane of the screen. It is this arrangement of the scanner on the MU that allows you to determine the type of capture of the device by hand and the finger used to work, since the most common styles of user interaction with the MU are the most convenient for working with the MU, as Huber described. Those. at the specified location of the scanner, recognition of the used style of user interaction with the MU is provided.

Сказанное выше не исключает возможности совмещения сканера с иной кнопкой или ее сенсорным аналогом, используемыми для разблокировки МУ и конструктивно расположенным таким образом, чтобы обеспечить предпочтительный захват устройства рукой пользователя при прикосновении большого пальца любой руки к указанной кнопке или ее сенсорному аналогу. Например, МУ может конструктивно не содержать кнопки со сканером, а формировать на экране сенсорный аналог этой кнопки, совмещенный со сканером (под сенсорным аналогом понимается, например, виртуальная экранная кнопка, пиктограмма, изображение, предназначенное для нажатия пальцем). Но именно описанное выше конструктивное решение в МУ Samsung (в виде кнопки ʺHomeʺ) используется в настоящем изобретении, поскольку оно является промышленно освоенным на сегодняшний день.The foregoing does not exclude the possibility of combining the scanner with another button or its touch counterpart, used to unlock the MU and structurally positioned in such a way as to provide a preferred grip of the device by the user's hand when the thumb of any hand touches the specified button or its touch counterpart. For example, a MU may not constructively contain a button with a scanner, but form on the screen a touch analog of this button combined with a scanner (a touch analog means, for example, a virtual on-screen button, icon, image intended for finger pressing). But it is precisely the design solution described above in Samsung MU (in the form of a ʺHomeʺ button) that is used in the present invention, since it is industrially mastered today.

Сканирование отпечатка пальца и последующее определение стиля взаимодействия пользователя с МУ осуществляется в момент прикладывания пальца пользователя к кнопке, совмещенной со сканером, или к сенсорному аналогу кнопки, совмещенному со сканером аналогичным образом, что происходит всякий раз при включении устройства или при выведении его из «спящего» («энергосберегающего») режима, то есть довольно часто для оперативной смены предпочтительного стиля взаимодействия с устройством.Fingerprint scanning and subsequent determination of the user's interaction style with the MU is carried out at the moment the user finger is applied to the button combined with the scanner, or to the touch analogue of the button combined with the scanner in the same way, which happens every time the device is turned on or when it is removed from the “sleeping” "(" Energy-saving ") mode, that is, quite often to quickly change the preferred style of interaction with the device.

Краткое описание чертежейBrief Description of the Drawings

Фиг.1. Основные (типичные) стили взаимодействия пользователя с сенсорным экраном МУ.Figure 1. The main (typical) styles of user interaction with the touch screen of the MU.

Фиг.2. Расположение зон досягаемости сенсорного экрана для основных стилей взаимодействия пользователя с МУ, известные из уровня техники.Figure 2. The location of the reach areas of the touch screen for the main styles of user interaction with MU, known from the prior art.

Фиг.3. Примеры расположения разных видов пользовательского программного интерфейса, типичных для трех стилей взаимодействия пользователя с МУ: а) левосторонний интерфейс, б) правосторонний интерфейс, в) центральный интерфейс.Figure 3. Examples of the location of different types of user interface that are typical of the three styles of user interaction with the MU: a) left-handed interface, b) right-handed interface, c) central interface.

Фиг. 4. Блок-схема этапов работы способа определения стиля взаимодействия пользователя с МУ и соответствующей автоматической настройки пользовательского программного интерфейса.FIG. 4. The flowchart of the stages of the method for determining the style of user interaction with the MU and the corresponding automatic configuration of the user program interface.

Фиг.5. Иллюстрирует угловое положение пальца (и распознанного отпечатка пальца) относительно сканера, а также определение угловых диапазонов при захвате МУ левой рукой и использовании большого пальца левой руки в качестве рабочего, при захвате МУ правой рукой, и использовании большого пальца правой руки в качестве рабочего или при одновременном использовании двух рук.Figure 5. Illustrates the angular position of the finger (and the recognized fingerprint) relative to the scanner, as well as the determination of the angular ranges when capturing the MU with the left hand and using the thumb of the left hand as a worker, when capturing the MU with the right hand, and using the thumb of the right hand as the worker or simultaneous use of two hands.

Фиг.6. Функциональная схема системы определения стиля взаимодействия пользователя с МУ и соответствующей автоматической настройки пользовательского программного интерфейса.6. Functional diagram of a system for determining the style of user interaction with MU and the corresponding automatic configuration of the user program interface.

Подробное описание изобретенияDETAILED DESCRIPTION OF THE INVENTION

Ниже описаны способ и система, реализующие изобретение, целью которого является автоматическая настройка пользовательского программного интерфейса МУ под предпочтительный стиль взаимодействия пользователя с МУ.The following describes a method and system that implements the invention, the purpose of which is to automatically configure the user program interface of the MU for the preferred style of user interaction with the MU.

Блок-схема осуществления способа иллюстрируется Фиг. 4.A flowchart of the method is illustrated in FIG. four.

Перед началом работы с МУ пользователь создает свою базу данных отпечатков пальцев или выбирает базу данных отпечатков пальцев, предоставленную поставщиком МУ или доступную из других источников.Before working with the MU, the user creates his own fingerprint database or selects the fingerprint database provided by the MU provider or accessible from other sources.

При первоначальном составлении базы данных пользователь сканирует отпечатки пальцев при том комфортном стиле взаимодействия с МУ, который позволяет пользователю, используя правую, левую или обе руки, удобно и привычно для себя взаимодействовать с МУ. Далее в память МУ последовательно заносятся отпечатки каждого из пальцев пользователя при каждом из стилей взаимодействия пользователя с МУ, при этом сканирование каждого отпечатка для базы данных повторяют несколько раз для статистического определения диапазонов углов смещения пальца пользователя относительно сканера, каждый из которых ассоциируется с определенным стилем взаимодействия пользователя с МУ.During the initial compilation of the database, the user scans fingerprints with the comfortable style of interaction with the MU, which allows the user, using the right, left or both hands, to conveniently and habitually interact with the MU. Further, the fingerprints of each of the user's fingers are sequentially stored in the memory of the MU for each of the styles of user interaction with the MU, while the scan of each fingerprint for the database is repeated several times to statistically determine the ranges of angles of the user's finger relative to the scanner, each of which is associated with a certain interaction style user with MU.

Итак, при составлении базы данных пользователь проводит индивидуальный тест. Пользователь берет МУ одним из трех стилей взаимодействия с МУ, описанных выше, в том комфортном стиле взаимодействия пользователя с МУ, который позволяет пользователю, используя правую, левую или обе руки, удобно и привычно для себя взаимодействовать с МУ. Далее пользователь несколько раз прикладывает палец к сканеру привычным для себя образом. При составлении базы данных такие действия необходимо произвести во всех трех стилях взаимодействия с МУ, то есть при захвате правой рукой и использовании большого пальца правой руки в качестве рабочего, при захвате левой рукой и использовании большого пальца левой руки в качестве рабочего, при захвате двумя руками и использовании в качестве рабочего каждого из пальцев правой и левой руки или предпочтительных для пользователя пальцев правой или левой руки. Происходит сканирование отпечатков пальца и распознавание типа пальца. Далее (как показано на фиг. 5) в ходе составления базы данных используются известные из уровня техники способы (например, ʺHandbook of Fingerprint Recognitionʺ by Maio, Maltoni et al.), а именно, информация о положениях отпечатков пальца обрабатывается процессором, и в память МУ вводится информация об ассоциированной с отпечатком пальца прямой этого отпечатка, направленной под углом его приложения к сканеру, а также, соответственно, сам рисунок отпечатка, дающий основание определить какой из 5 пальцев одной из рук был приложен. При этом упомянутая прямая предпочтительно совпадает с направлением длины пальца или его отпечатка. Повторение процедуры прикладывания пальца к сканеру несколько раз может давать статистику разброса углов смещения отпечатков пальца относительно сканера. На основании этого процессор МУ задает систему координат, связанную со сканером, и объединяет статистику разброса углов смещения отпечатков пальца относительно заданной системы координат в следующие диапазоны углов смещения отпечатков пальца α1 (по существу вертикальный, вариант (б) на фиг.5), α2 (по существу горизональный, вариант (а) на фиг. 5). Т.е. эти углы устанавливают границы, за которые палец пользователя при одном из упомянутых стилей взаимодействия пользователя с МУ по статистике не выходит. Принадлежность же отпечатка правой или левой руке может определить сам пользователь при составлении базы данных, то есть пользователь может однократно сам задать, какой из интерфейсов ему предпочтителен. Или, в общем случае, принадлежность отпечатка пальца правой или левой руке определяется по рисунку отпечатка пальца автоматически.So, when compiling the database, the user conducts an individual test. The user takes MU one of the three styles of interaction with MU described above, in that comfortable style of user interaction with MU, which allows the user, using the right, left or both hands, to conveniently and habitually interact with MU. Next, the user several times puts his finger on the scanner in a familiar way. When compiling a database, such actions must be performed in all three styles of interaction with MU, that is, when grabbing with the right hand and using the thumb of the right hand as a worker, when grabbing with the left hand and using the thumb of the left hand as a worker, when grabbing with two hands and use as a worker of each of the fingers of the right and left hand or user-preferred fingers of the right or left hand. There is a fingerprint scan and recognition of the type of finger. Further (as shown in Fig. 5), during the compilation of the database, methods known from the prior art are used (for example, book Handbook of Fingerprint Recognition ʺ by Maio, Maltoni et al.), Namely, information about the positions of fingerprints is processed by the processor, and in memory The MU introduces information about the straight line of the fingerprint associated with the fingerprint, directed at the angle of its application to the scanner, as well as, accordingly, the print pattern itself, which gives the basis to determine which of the 5 fingers of one of the hands was attached. Moreover, said straight line preferably coincides with the direction of the length of the finger or its fingerprint. Repeating the procedure of applying a finger to the scanner several times can give statistics on the spread of the angles of offset of the fingerprints relative to the scanner. Based on this, the MU processor sets the coordinate system associated with the scanner and combines the statistics of the spread of the fingerprint offset angles relative to the given coordinate system in the following ranges of fingerprint offset angles α1 (essentially vertical, option (b) in FIG. 5), α2 ( essentially horizontal, option (a) in Fig. 5). Those. these angles set the boundaries beyond which the user's finger does not go beyond one of the mentioned styles of user interaction with the MU. The ownership of the fingerprint to the right or left hand can be determined by the user himself when compiling the database, that is, the user can once set himself which of the interfaces is preferable to him. Or, in the general case, the fingerprint belonging to the right or left hand is determined automatically from the fingerprint pattern.

Таким образом, если пользователь при работе с МУ берет МУ правой рукой и прикладывает к сканеру МУ большой палец правой руки, то полученный отпечаток попадает в «комфортный» для этого пользователя диапазон α2 (который был определен в процессе формирования базы данных). Поскольку α2 может быть задан как для пальца правой руки, так и для пальца левой руки, то либо ранее сделанное назначение пользователя о принадлежности угла правой руке дает основание применить именно правосторонний интерфейс, либо при сканировании происходит распознавание типа пальца и его принадлежности левой или правой руке, и выбор интерфейса происходит на основании этой информации.Thus, if the user takes the MU with his right hand while working with the MU and puts the thumb of the right hand on the MU scanner, the resulting fingerprint falls into the α2 range “comfortable” for this user (which was determined during the formation of the database). Since α2 can be set for both the finger of the right hand and the finger of the left hand, either the user’s previously assigned assignment of the angle of the right hand gives the basis to use the right-hand interface, or when scanning, the type of the finger and its belonging to the left or right hand are recognized. , and the choice of interface is based on this information.

Индивидуальный тест пользователя подразумевает ввод в базу данных отпечатков в угловых диапазонах, типичных для одного из трех вышеописанных стилей взаимодействия пользователя с МУ, позволяющих различать ассоциированные с этими стилями взаимодействия угловые диапазоны. Следует отметить, что немаловажную роль в решении вышеописанной задачи играет тот факт, что уже существуют (и выпускаются фирмой Samsung) МУ, оснащенные сканером для отпечатка пальца, совмещенным с кнопкой ʺHomeʺ, расположенной в центре нижней части МУ в плоскости экрана. При таком варианте реализации изобретения снимаются проблемы со сложностью и реализуемостью датчиков, которые могут возникнуть в технических решениях-аналогах, описанных в разделе «описание предшествующего уровня техники».An individual user test implies entering into the database fingerprints in angular ranges typical of one of the three styles of user interaction with MU described above, which makes it possible to distinguish between angular ranges associated with these interaction styles. It should be noted that an important role in solving the above problem is played by the fact that MUs already exist (and are manufactured by Samsung) equipped with a fingerprint scanner combined with the ʺHomeʺ button located in the center of the bottom of the MU in the plane of the screen. With this embodiment of the invention, the problems with the complexity and feasibility of sensors that can occur in technical solutions-analogues described in the "description of the prior art" are removed.

Задание левостороннего интерфейса при захвате МУ правой рукой не имеет практического смысла, хотя вполне осуществимо при захвате МУ правой рукой приложить большой палец левой руки так, чтобы его отпечаток попал в диапазон, ассоциированный с левым интерфейсом, но суть изобретения именно в том, что при захвате МУ правой рукой мы используем палец правой же руки, т.е. при использовании правой руки исключается использование левой (и наоборот), при использовании же обеих рук угол приложения любого пальца исключает какой-либо иной диапазон приложения, предусмотренный как диапазон для центрального интерфейса. Аналогично, при захвате двумя руками пользователю как правило нет смысла прикладывать палец (указательный, например) под углом, лежащим в диапазоне α2, поскольку это не привычный стиль взаимодействия пользователя с МУ при захвате MУ двумя руками.Setting the left-side interface when capturing the MU with the right hand does not make sense, although it is feasible when capturing the MU with the right hand to put the thumb of the left hand so that its fingerprint falls into the range associated with the left interface, but the essence of the invention is that when capturing MU with the right hand, we use the finger of the right hand, i.e. when using the right hand, the use of the left is excluded (and vice versa), while using both hands, the angle of application of any finger excludes any other application range provided as a range for the central interface. Similarly, when capturing with both hands, the user usually does not make sense to put a finger (index, for example) at an angle lying in the range α2, since this is not the usual style of user interaction with MU when capturing MU with two hands.

Процесс взаимодействия пользователя с МУ на этапе использования МУ начинается с захвата МУ рукой пользователя и прикосновения пальца к сканеру (401, Фиг.4). В описываемой реализации сканер отпечатка пальца совмещен с кнопкой разблокировки МУ, расположенной в нижней части корпуса МУ в плоскости экрана либо совмещенной с иной кнопкой или ее сенсорным аналогом, используемым для разблокировки МУ. Сканер также может быть совмещен с кнопкой ʺHomeʺ, что является удачным конструктивным решением с точки зрения реализации описываемого изобретения. Указанный пример реализации не сужает изобретение до конкретной конструкции.The process of user interaction with the MU at the stage of using the MU begins with the capture of the MU by the user's hand and touching a finger on the scanner (401, Figure 4). In the described implementation, the fingerprint scanner is combined with the MU unlock button located in the lower part of the MU housing in the plane of the screen or combined with another button or its touch counterpart used to unlock the MU. The scanner can also be combined with the ʺHomeʺ button, which is a successful constructive solution from the point of view of implementing the described invention. The specified example implementation does not limit the invention to a specific design.

Выполняется сканирование отпечатка пальца пользователя (402, Фиг.4) и перевод отсканированного отпечатка пальца в цифровую форму (цифровое изображение).Scanning of the user's fingerprint (402, FIG. 4) and digitization of the scanned fingerprint are performed (digital image).

Далее по отсканированному отпечатку пальца пользователя проводится определение одного из пяти пальцев одной из рук пользователя, его принадлежности левой или правой руке, а также угла смещения пальца (403, Фиг.4). Предпочтительно этот этап совмещается с идентификацией пользователя. Для этого выполняется сравнение отсканированного отпечатка пальца пользователя с предварительно собранным набором эталонных отпечатков пальцев пользователя в базе данных по любой из методик, используемых в практике дактилоскопии и криминалистики. Эти методики известны и не являются предметом настоящего изобретения.Next, according to the scanned fingerprint of the user, one of the five fingers of one of the user's hands is determined, its belonging to the left or right hand, as well as the angle of the finger (403, Figure 4). Preferably, this step is combined with user identification. To do this, a comparison of the scanned user’s fingerprint with a pre-assembled set of user’s reference fingerprints is performed in a database using any of the techniques used in fingerprinting and forensic science. These techniques are known and are not the subject of the present invention.

Одним из вариантов определения диапазонов углов смещения пальца относительно сканера является проведение групповых экспериментов, когда группа пользователей прикладывает пальцы при использовании МУ одним из трех стилей взаимодействия, описанных выше. Далее процессор, как описано выше, определяет диапазоны углов α1 и/или α2, далее задается - какому диапазону углов какой тип интерфейса соответствует, и эта информация заносится в память МУ. Кроме того, на этапе формирования базы данных пользователь может выбрать - воспользоваться ли статистикой, введенной в память МУ (которая может быть предоставлена поставщиком устройства), или самому создать свою базу данных. При работе пользователя с МУ угол смещения пальца пользователя, попадающий в один из диапазонов углов смещения пальца относительно сканера, описанных выше, используется для определения правостороннего режима, левостороннего режима и центрального режима пользовательского интерфейса. Очевидно, что при сканировании отпечатков пальцев при составлении базы данных, то есть для определения диапазонов углов смещения пальца относительно сканера, соответствующих одному из трех стилей взаимодействия пользователя с МУ, и при непосредственном снятии отпечатка пальца при приложении его к сканеру при использовании МУ (путем использования пользователем одного из трех стилей работы с МУ, упомянутых выше) один и тот же пользователь будет прикладывать палец в комфортном для себя режиме в пределах одних и тех же диапазонов, как раз и определяемых процессором МУ при составлении пользователем базы данных, не выходя за них, поскольку комфортный и типичный для пользователя хват посредством одной из рук или двумя руками исключает приложение пальца в каком-либо ином диапазоне для конкретного пользователя. Если же пользователь приложит палец под некомфортным для использования МУ углом, то цель настоящего изобретения не достигается, т.е. пользовательский интерфейс подстраивается не под стиль взаимодействия конкретного пользователя с МУ. При привычном использовании МУ пользователь, беря, например, в одну руку МУ и прикладывая палец к сканеру, попадает в те же диапазоны, которые были определены процессором при составлении базы данных соответствующих отпечатков. Это гарантирует сравнимость сканированных отпечатков, а также сравнимость измеряемых углов смещения отпечатков одного и того же пользователя относительно сканера при работе пользователя с МУ, их попадание в заранее определенные диапазоны углов смещения пальца относительно сканера.One of the options for determining the ranges of angles of finger offset relative to the scanner is to conduct group experiments, when a group of users puts their fingers when using MU using one of the three interaction styles described above. Next, the processor, as described above, determines the ranges of angles α1 and / or α2, then sets what angle range what type of interface corresponds to, and this information is stored in the memory of the MU. In addition, at the stage of creating the database, the user can choose whether to use the statistics entered in the memory of the MU (which can be provided by the supplier of the device), or to create his own database. At the user’s work with the MU, the user's finger offset angle, falling into one of the ranges of finger offset angles relative to the scanner described above, is used to determine the right-side mode, left-side mode and central mode of the user interface.Obviously, when scanning fingerprints when compiling a database, that is, to determine the ranges of finger angle relative to the scanner, corresponding to one of the three styles of user interaction with MU, and when taking a fingerprint directly when applying it to the scanner when using MU (by using by the user of one of the three styles of working with MU mentioned above) the same user will apply his finger in a comfortable mode for himself within the same ranges, just determined by the MU processor when compiling a database by the user, without going beyond them, since a comfortable and typical user grip by means of one of the hands or with two hands excludes the application of a finger in any other range for a specific user. If the user puts his finger at an angle that is uncomfortable for using the MU, the goal of the present invention is not achieved, i.e. the user interface does not adapt to the style of interaction of a particular user with the MU. With the usual use of MU, the user, taking, for example, MU with one hand and putting his finger on the scanner, falls into the same ranges that were determined by the processor when compiling the database of the corresponding fingerprints. This ensures the comparability of the scanned fingerprints, as well as the comparability of the measured offset angles of the prints of the same user relative to the scanner when the user is working with the MU, their falling into the predetermined ranges of the angle of the finger offset relative to the scanner.

Существующие методики сравнения и идентификации отпечатков пальцев позволяют не только идентифицировать один из пяти пальцев одной из рук пользователя, но и определить угловое смещение пальца относительно сканера (см. [3]).Existing fingerprint comparison and identification methods allow not only to identify one of the five fingers of one of the user's hands, but also to determine the angular displacement of the finger relative to the scanner (see [3]).

Далее данные об угловом смещении отсканированного пальца относительно сканера используются на этапе определения стиля взаимодействия пользователя с МУ, а именно, определяется в какой диапазон углов смещения пальца относительно сканера попадает текущий угол смещения пальца относительно сканера.Further, the data on the angular displacement of the scanned finger relative to the scanner is used at the stage of determining the style of user interaction with the MU, namely, it is determined in what range of angles of displacement of the finger relative to the scanner the current angle of displacement of the finger relative to the scanner falls.

Если полученный отпечаток не идентифицирован как принадлежащий пользователю (т.е. имеет место попытка использовать МУ посторонним человеком), МУ блокируется или функционирует в ограниченном режиме, при котором постороннему человеку доступен вызов служб экстренной помощи.If the fingerprint is not identified as belonging to the user (i.e., an attempt is made to use the MU by an outsider), the MU is blocked or operates in a restricted mode in which an emergency call is available to the outsider.

Если полученный отпечаток пальца идентифицирован (определен один из пяти пальцев одной из рук пользователя, принадлежность пальца правой или левой руке пользователя, а также угол его смещения относительно сканера), полученные данные используются далее на этапе определения стиля взаимодействия пользователя с МУ (404, Фиг.4). Определение стиля взаимодействия пользователя с МУ проводится с помощью проверки нижеследующих логических условий:If the obtained fingerprint is identified (one of the five fingers of one of the user's hands is determined, the finger belongs to the user's right or left hand, as well as the angle of its offset relative to the scanner), the obtained data are used later in the determination of the style of user interaction with the MU (404, FIG. four). Determining the style of user interaction with MU is carried out by checking the following logical conditions:

- если распознан большой палец левой руки, а угол смещения пальца относительно сканера находится в диапазоне α2, определенном на основании индивидуального теста пользователя МУ при заполнении пользователем базы данных отпечатков, то определяется стиль взаимодействия пользователя с захватом МУ левой рукой и использованием большого пальца левой руки в качестве рабочего и настраивается левосторонний пользовательский интерфейс;- if the thumb of the left hand is recognized, and the angle of offset of the finger relative to the scanner is in the range α2 determined based on the individual test of the user of the MU when the user implements the fingerprint database, then the style of user interaction with the capture of the MU with the left hand and using the thumb of the left hand in quality of the worker and the left-side user interface is configured;

- если распознан большой палец правой руки, а угол смещения пальца относительно сканера находится в диапазоне α2, определенном на основании индивидуального теста пользователя МУ при заполнении пользователем базы данных отпечатков, то определяется стиль взаимодействия пользователя с захватом МУ правой рукой и использованием большого пальца правой руки в качестве рабочего и настраивается правосторонний пользовательский интерфейс;- if the thumb of the right hand is recognized, and the angle of the finger’s relative to the scanner is in the range α2, determined on the basis of the individual test of the user of the MU when the user implements the fingerprint database, then the style of user interaction with the capture of the MU with the right hand and using the thumb of the right hand in quality of the worker and the right-hand user interface is configured;

- если распознан большой палец левой либо правой руки, а угол смещения пальца относительно сканера находится в диапазоне α1, определенном на основании индивидуального теста пользователя МУ при заполнении пользователем базы данных отпечатков, то определяется стиль взаимодействия пользователя с использованием двух рук и настраивается центральный пользовательский интерфейс;- if the thumb of the left or right hand is recognized, and the angle of the finger’s offset relative to the scanner is in the range α1, determined on the basis of the individual test of the user of the MU when the user fills the fingerprint database, it determines the style of user interaction using two hands and sets up a central user interface;

- если распознан любой палец, кроме большого, левой либо правой руки, то определяется стиль взаимодействия пользователя с МУ с использованием двух рук и настраивается центральный пользовательский интерфейс;- if any finger is recognized, except for the thumb, left or right hand, then the style of user interaction with the MU using two hands is determined and the central user interface is configured;

После определения стиля взаимодействия пользователя с МУ и, соответственно, оптимального для пользователя типа пользовательского интерфейса, осуществляется настройка МУ на соответствующий тип интерфейса и разблокировка МУ (405, Фиг. 4). В описываемом осуществлении изобретения конструктивное расположение сканера в МУ таково, что упомянутые 3 стиля взаимодействия подразумевают варианты возможного захвата МУ и соответствующего положения прикладываемого пальца, что и позволяет использовать один из пяти пальцев одной из рук пользователя и угол смещения пальца относительно сканера (при задании диапазонов углов смещения пальца относительно сканера на этапе формирования базы данных) для определения стиля взаимодействия пользователя с МУ с достаточной для бытового использования точностью.After determining the style of user interaction with the MU and, accordingly, the optimal type of user interface for the user, the MU is configured for the appropriate type of interface and the MU is unlocked (405, Fig. 4). In the described embodiment of the invention, the structural arrangement of the scanner in the MU is such that the mentioned 3 interaction styles imply options for the possible capture of the MU and the corresponding position of the applied finger, which allows one of the five fingers of one of the user's hands and the angle of offset of the finger relative to the scanner (when setting angle ranges finger offset relative to the scanner at the stage of database formation) to determine the style of user interaction with the MU with sufficient for domestic use accuracy.

При этом, в случае, если пользователь все же сумеет нарочно приложить палец к сканеру в угловом положении, отличном от описанных выше трех стилей взаимодействия пользователя с МУ, то определение стиля взаимодействия закономерно будет неверным. Предлагаемое изобретение предполагает использование типового стиля расположения рук и пальцев пользователя для взаимодействия с МУ, т.е. один из трех вышеописанных основных (типовых) стилей взаимодействия пользователя с МУ, в том числе обеспечивающий пользователю при взаимодействии с интерфейсом МУ его основные функции - набор текста, звонки, серфинг, пролистывание страниц, вызов приложений и т.п. Определение стиля взаимодействия пользователя с МУ при желании возможно «обмануть», однако это не имеет никакого практического смысла.In this case, if the user is still able to deliberately put his finger on the scanner in an angular position different from the three styles of interaction between the user and the MU described above, then the definition of the interaction style will naturally be incorrect. The present invention involves the use of a typical style of arrangement of the hands and fingers of the user to interact with MU, i.e. one of the three basic (typical) styles of user interaction with the MU described above, including providing the user with the MU interface when interacting with its main functions - typing, calling, surfing, scrolling pages, calling applications, etc. It is possible to “deceive” the determination of the style of interaction between the user and the MU, but this does not make any practical sense.

Решение поставленной задачи осуществляется также с помощью системы, реализующей способ, описанный выше. Функциональная схема указанной системы изображена на фиг.6. Система состоит из сканера отпечатка пальца (601, Фиг.6), блока сбора и хранения эталонных отпечатков (базы данных отпечатков пальцев) (602, Фиг.6), блока определения типа пальца, его принадлежности левой или правой руке, а также угла смещения отпечатка пальца относительно сканера (603, Фиг.6), блока определения стиля взаимодействия пользователя с МУ (604, Фиг.6). Блок определения стиля взаимодействия пользователя с МУ содержит подблоки проверки захвата МУ левой рукой и использования большого пальца левой руки в качестве рабочего, 604.1, проверки захвата МУ правой рукой и использования большого пальца правой руки в качестве рабочего, 604.2, проверки одновременного захвата МУ правой и левой рукой, 604.3, проверки распознанного отпечатка как пальца любой руки, любого типа (604.4 на Фиг.6), определения - в какой диапазон углов смещения пальца относительно сканера попадает угол смещения отпечатка пальца. Направления передачи данных указаны стрелками на функциональной схеме.The solution of the problem is also carried out using a system that implements the method described above. Functional diagram of this system is shown in Fig.6. The system consists of a fingerprint scanner (601, Fig.6), a unit for collecting and storing reference fingerprints (database of fingerprints) (602, Fig.6), a unit for determining the type of finger, its belonging to the left or right hand, and also the offset angle fingerprint relative to the scanner (603, Fig.6), the unit for determining the style of user interaction with MU (604, Fig.6). The unit for determining the style of interaction between the user and the MU contains subblocks for checking the capture of MU with the left hand and using the thumb of the left hand as a worker, 604.1, checking the capture of MU with the right hand and using the thumb of the right hand as a worker, 604.2, checking for the simultaneous capture of MU with the left and left by hand, 604.3, checking the recognized fingerprint as a finger of any hand, of any type (604.4 in FIG. 6), determining what range of angles of finger offset relative to the scanner falls in the angle of the fingerprint offset. The directions of data transfer are indicated by arrows on the functional diagram.

Сканер отпечатка пальца (601, Фиг.6) сканирует отпечаток пальца пользователя и передает его в виде цифрового изображения в блок определения типа пальца, его принадлежности левой или правой руке, а также угла смещения пальца относительно сканера (603, Фиг.6). Одновременно с этим в указанный блок определения типа пальца, его принадлежности левой или правой руке, а также угла смещения пальца относительно сканера подаются сохраненные в базе данных отсканированные эталонные отпечатки пальцев пользователя, а также диапазоны углов смещения пальца относительно сканера, определенные на этапе создания пользователем базы данных, сохраненные в блоке сбора и хранения эталонных отпечатков (602, Фиг.6). Указанный блок определения типа пальца, его принадлежности левой или правой руке, а также угла смещения пальца относительно сканера (603, Фиг.6) выполняет сравнение отпечатка пальца, полученного при работе пользователя с МУ с данными из базы данных, отсканированными эталонными отпечатками пальцев пользователя, а также определяет, в какой из диапазонов углов смещения пальца относительно сканера попадает отпечаток пальца, полученный при работе пользователя с МУ. Результатом работы блока определения типа пальца, его принадлежности левой или правой руке, а также угла смещения пальца относительно сканера является идентифицированный один из пяти пальцев одной из рук пользователя, установленная принадлежность пальца левой или правой руке, а также установленный диапазон углов смещения пальца относительно сканера, в который попадает угол смещения пальца относительно сканера, полученный при работе пользователя. На основании этих результатов производится выбор стиля взаимодействия пользователя с МУ. Другими словами, блок 604 является селектором (выбирающим один из вариантов на основании данных из блока 603) одного из четырех (604.1-604.4) подблоков.The fingerprint scanner (601, FIG. 6) scans the user's fingerprint and transmits it in the form of a digital image to the unit for determining the type of finger, its belonging to the left or right hand, and also the angle of the finger relative to the scanner (603, FIG. 6). At the same time, the scanned reference fingerprints of the user stored in the database, as well as the ranges of the angle of the finger offset relative to the scanner, determined at the stage of creating the base by the user, are fed to the indicated block for determining the type of finger, its belonging to the left or right hand, and also the angle of the finger’s relative to the scanner data stored in the block of collection and storage of reference prints (602, Fig.6). The specified unit for determining the type of finger, its belonging to the left or right hand, and also the angle of the finger relative to the scanner (603, Fig. 6) compares the fingerprint obtained when the user is working with the MU with data from the database scanned by the user's fingerprints, and also determines in which of the ranges of the angles of the finger relative to the scanner the fingerprint obtained when the user is working with MU. The result of the operation of the unit for determining the type of finger, its belonging to the left or right hand, as well as the angle of the finger relative to the scanner is an identified one of the five fingers of one of the user’s hands, the installed finger belonging to the left or right hand, as well as the established range of the angle of the finger’s offset relative to the scanner, into which the angle of the finger’s offset relative to the scanner obtained during the user’s work falls. Based on these results, the style of user interaction with the MU is selected. In other words, block 604 is a selector (selecting one of the options based on data from block 603) of one of four (604.1-604.4) subunits.

Здесь не описывается возможная ситуация, при которой блок определения типа пальца, его принадлежности левой или правой руке, а также угла смещения пальца относительно сканера не идентифицировал отпечаток пальца пользователя (т.е. палец принадлежит постороннему человеку), поскольку действия системы в этом случае очевидны и не представляют интереса с точки зрения описания предлагаемого изобретения.This does not describe a possible situation in which the unit for determining the type of finger, its belonging to the left or right hand, and the angle of the finger’s offset relative to the scanner did not identify the user's fingerprint (i.e. the finger belongs to an outsider), since the system’s actions are obvious in this case and are not of interest in terms of describing the invention.

Блок определения стиля взаимодействия пользователя с МУ (604, Фиг.6), получив данные от блока определения типа пальца, его принадлежности левой или правой руке, а также угла смещения пальца относительно сканера, выполняет анализ этих данных в соответствии с логическими условиями, изложенными подробно ранее при описании способа. Проверка этих условий выполняется с помощью четырех подблоков, входящих в блок определения (604.1, 604.2, 604.3, 604.4 на Фиг.6). Результатом работы указанного блока определения стиля взаимодействия пользователя с МУ (604, Фиг.6) является определенный стиль взаимодействия пользователя с МУ, который, в соответствии с изложенной ранее классификацией таких стилей, однозначно определяет нужный тип пользовательского интерфейса («левосторонний», «правосторонний», «центральный»), в результате чего выполняется настройка программного пользовательского интерфейса под стиль взаимодействия пользователя с МУ (путем вызова соответствующих ветвей программных приложений).The unit for determining the style of user interaction with the MU (604, Fig.6), having received data from the unit for determining the type of finger, its belonging to the left or right hand, and also the angle of the finger’s offset relative to the scanner, analyzes this data in accordance with the logical conditions described in detail earlier in the description of the method. Verification of these conditions is carried out using four subunits included in the determination unit (604.1, 604.2, 604.3, 604.4 in FIG. 6). The result of the operation of the specified block for determining the style of user interaction with the MU (604, Fig.6) is a certain style of user interaction with the MU, which, in accordance with the classification of such styles set forth above, uniquely determines the desired type of user interface ("left-side", "right-side" , “Central”), as a result of which the software user interface is configured to the style of user interaction with the MU (by calling the corresponding branches of software applications).

Перечисленные блоки системы представляют собой аппаратные и программные компоненты, выполняющие операции, описанные ранее при описании способа. Конкретная аппаратная и программная реализация может быть выполнена в различных вариантах, известных специалистам из уровня развития современной электронной и цифровой техники.The listed blocks of the system are hardware and software components that perform the operations described previously in the description of the method. A specific hardware and software implementation can be performed in various versions known to specialists from the level of development of modern electronic and digital technology.

Так, например, блоки предлагаемой системы могут быть реализованы автономно и иметь свои собственные процессоры и модули памяти, а могут использовать память и процессор (процессоры) самого МУ, реализуя свои программные компоненты в той же программной среде, в которой выполняются другие программные приложения МУ. Так, например, информация об определенном стиле взаимодействия пользователя с МУ (и, следовательно, о требуемом типе интерфейса) может передаваться с блока определения (604, Фиг.6) на процессор МУ в виде сигналов прерывания, которые в итоге управляют работой программных приложений МУ, может быть получена опросом регистров контроллера сканирующего устройства, а может быть передана в виде программных переменных в указанные приложения, если блок определения стиля взаимодействия использует ту же программную среду, что и настраиваемые приложения, и периодически проверяет заранее оговоренную область памяти, куда указанные данные выкладываются с помощью драйвера, обслуживающего сканер.For example, the blocks of the proposed system can be implemented autonomously and have their own processors and memory modules, or they can use the memory and processor (s) of the MU itself, realizing its software components in the same software environment in which other MU software applications are executed. So, for example, information about a certain style of user interaction with MU (and, therefore, about the required type of interface) can be transmitted from the definition unit (604, Fig.6) to the MU processor in the form of interrupt signals, which ultimately control the operation of MU software applications , can be obtained by polling the registers of the controller of the scanning device, and can be transferred in the form of program variables to the specified applications, if the interaction style determination unit uses the same software environment as the custom applications I, and periodically checks the pre-agreed area of memory where these data are laid out with the help of the driver, the operating the scanner.

Как видим, многообразие вариантов аппаратно-программной реализации очень велико. Также следует понимать, что разбиение системы на блоки условно и выполнено по функциональному признаку, а не означает их физическое разбиение при конструировании аппаратуры. Таким образом, не имеет смысла при описании осуществления изобретения ограничивать его конкретными деталями аппаратной и программной реализации.As you can see, the variety of options for hardware and software implementation is very large. It should also be understood that the division of the system into blocks is conditional and performed according to a functional basis, and does not mean their physical partition during the design of the equipment. Thus, it makes no sense when describing the implementation of the invention to limit it to the specific details of the hardware and software implementation.

Хотя изобретение описано в отношении примерных вариантов осуществления, специалисты в данной области техники могут применять различные модификации описанных вариантов осуществления без отступления от сущности и объема изобретения. Термины и описания, используемые в данном документе, изложены только в качестве иллюстрации и не означают ограничений. Специалисты в данной области техники должны понимать, какие изменения возможны в рамках сущности и объема изобретения, заданных в прилагаемой формуле изобретения или ее эквивалентах.Although the invention has been described with reference to exemplary embodiments, those skilled in the art may apply various modifications to the described embodiments without departing from the spirit and scope of the invention. The terms and descriptions used in this document are set forth by way of illustration only and are not meant to be limiting. Specialists in the art should understand what changes are possible within the essence and scope of the invention defined in the attached claims or their equivalents.

Промышленная применимостьIndustrial applicability

Указанное изобретение не предполагает использования каких-либо гипотетических аппаратных и программных средств, реализуемость которых может быть поставлена под сомнение либо является делом неопределенного будущего. Напротив, предложенный способ использует средства, уже имеющиеся в современных МУ: например, имеются модели МУ Samsung, уже оснащенные сканером отпечатка пальца (совмещенным под кнопкой ʺHomeʺ в нижней части устройства); в таких устройствах реализованы программные приложения, разблокирующие устройство на основании распознавания отпечатка пальца пользователя (владельца устройства). Использование идентификации отпечатка пальца для автоматической настройки пользовательского интерфейса, предлагаемое в настоящем изобретении, является шагом, хорошо вписывающимся в стратегию развития МУ и их пользовательских интерфейсов. Вышеназванный пример промышленной применимости предлагаемого изобретения не ограничивает другие возможные варианты реализации, опирающиеся на другие конструкции МУ (например, вместо кнопки ʺHomeʺ возможно использование сенсорных аналогов этой кнопки, расположенных в зоне экрана МУ).The specified invention does not involve the use of any hypothetical hardware and software, the feasibility of which can be called into question or is a matter of an uncertain future. On the contrary, the proposed method uses the tools already available in modern MUs: for example, there are Samsung MU models already equipped with a fingerprint scanner (combined under the ʺHomeʺ button at the bottom of the device); such devices implement software applications that unlock the device based on the recognition of the fingerprint of the user (device owner). The use of fingerprint identification to automatically configure the user interface proposed in the present invention is a step that fits well with the development strategy of the MU and their user interfaces. The above example of the industrial applicability of the present invention does not limit other possible implementations based on other MU designs (for example, instead of the ʺHomeʺ button, it is possible to use touch analogues of this button located in the MU screen area).

ЛитератураLiterature

1. Steven Hoober. Designing mobile interfaces. 2011, ISBN 144394639.1. Steven Hoober. Designing mobile interfaces. 2011, ISBN 144394639.

2. Hoober, Steven. How do users really hold mobile devices. In UXmatters, http://www.uxmatters.com/mt/archives/2013/02/how-do-users-really-hold-mobile-devices.php2. Hoober, Steven. How do users really hold mobile devices. In UXmatters, http://www.uxmatters.com/mt/archives/2013/02/how-do-users-really-hold-mobile-devices.php

3. Handbook of fingerprint recognition. D.Maltoni at al. Springer-Verlag London Limited, 20093. Handbook of fingerprint recognition. D. Maltoni at al. Springer-Verlag London Limited, 2009

Claims

1. Способ настройки пользовательского интерфейса мобильного устройства (МУ) под стиль взаимодействия пользователя с МУ, содержащий этапы, на которых:1. The way to configure the user interface of a mobile device (MU) under the style of user interaction with MU, containing stages in which:

однократно формируют базу данных отпечатков пальцев конкретного пользователя, при этом:once form a database of fingerprints of a specific user, while:

сканируют отпечатки пальцев пользователя при каждом из стилей взаимодействия пользователя с МУ,scan user fingerprints with each of the styles of user interaction with the MU,

определяют тип каждого из пальцев и его принадлежность левой или правой руке,determine the type of each of the fingers and its belonging to the left or right hand,

определяют диапазон углов смещения пальца пользователя относительно сканера отпечатков пальцев для каждого из стилей взаимодействия пользователя с МУ;determine the range of angles of the user's finger relative to the fingerprint scanner for each of the styles of user interaction with the MU;

во время работы пользователя с МУ:while the user is working with MU:

сканируют отпечаток пальца пользователя,scan a user's fingerprint,

определяют тип пальца пользователя, принадлежность пальца пользователя левой или правой руке, угол смещения пальца пользователя относительно сканера,determine the type of user's finger, membership of the user's finger to the left or right hand, the angle of offset of the user's finger relative to the scanner,

определяют, в какой диапазон углов смещения пальца пользователя относительно упомянутого сканера, взятый из базы данных, попадает отсканированный отпечаток пальца пользователя;determine in which range of angles of offset of the user's finger relative to the scanner, taken from the database, the scanned fingerprint of the user falls;

определяют стиль взаимодействия пользователя с МУ по полученным данным;determine the style of user interaction with the MU from the received data;

настраивают пользовательский интерфейс мобильного устройства под определенный стиль взаимодействия пользователя с МУ, причемcustomize the user interface of the mobile device for a certain style of user interaction with the MU, and

если во время работы пользователя с МУ распознан большой палец левой руки, а угол смещения пальца относительно сканера находится в по существу горизонтальном диапазоне углов смещения (α2) отпечатков пальца, то if during the user's work with the MU the thumb of the left hand is recognized, and the angle of the finger relative to the scanner is in the essentially horizontal range of the angle of the shift (α2) of the fingerprints, then

определяют стиль взаимодействия пользователя с захватом МУ левой рукой и работой большого пальца левой руки и determine the style of user interaction with the capture of MU with the left hand and the work of the thumb of the left hand and

настраивают левосторонний пользовательский интерфейс МУ;configure the left-side user interface of the MU;

если во время работы пользователя с МУ распознан большой палец правой руки, а угол смещения пальца относительно сканера находится в по существу горизонтальном диапазоне углов смещения (α2) отпечатков пальца, то if during operation of the user with the MU the thumb of the right hand is recognized, and the angle of the finger relative to the scanner is in the essentially horizontal range of the angle of the offset (α2) of the fingerprints, then

определяют стиль взаимодействия пользователя с захватом МУ правой рукой и работой большого пальца правой руки иdetermine the style of user interaction with the capture of MU with the right hand and the work of the thumb of the right hand and

настраивают правосторонний пользовательский интерфейс МУ; configure the right-hand user interface of the MU;

если во время работы пользователя с МУ распознан любой из пальцев левой или правой руки, а угол смещения пальца относительно сканера находится в по существу вертикальном диапазоне углов смещения (α1) отпечатков пальца, то if during the user’s work with MU any of the fingers of the left or right hand is recognized, and the angle of the finger relative to the scanner is in the essentially vertical range of the angle of the offset (α1) of the fingerprints, then

определяют стиль взаимодействия пользователя с захватом МУ с работой двумя руками, когда одна рука используется для захвата МУ, а пальцы другой руки используются для взаимодействия с пользовательским интерфейсом, и determine the style of interaction of the user with the capture of the MU with the work with two hands, when one hand is used to capture the MU, and the fingers of the other hand are used to interact with the user interface, and

настраивают центральный пользовательский интерфейс.set up a central user interface.

2. Способ по п. 1, при котором при формировании базы данных на этапе определения диапазона углов смещения пальца пользователя относительно сканера в базу данных МУ вводится информация об ассоциированной с отпечатком пальца прямой этого отпечатка, направленной под углом его приложения к сканеру, причем повторение этапа сканирования отпечатка пальца несколько раз дает статистику разброса углов смещения отпечатков пальца относительно сканера, на основании чего процессор МУ задает систему координат, связанную со сканером, и объединяет статистику разброса углов смещения отпечатков пальца относительно заданной системы координат в по существу вертикальный (α1) или по существу горизонтальный (α2) диапазоны углов смещения отпечатков пальца.2. The method according to p. 1, in which when forming the database at the stage of determining the range of angles of offset of the user's finger relative to the scanner, information about the straight line associated with the fingerprint of this fingerprint, directed at the angle of its application to the scanner, is entered into the MU database, and repeating the step Fingerprint scanning several times gives statistics on the spread of fingerprint offset angles relative to the scanner, on the basis of which the MU processor sets the coordinate system associated with the scanner and combines the statistics the spread of the fingerprint offset angles relative to a given coordinate system in the essentially vertical (α1) or essentially horizontal (α2) fingerprint offset angles.

3. Способ по п. 2, при котором углы α1 и α2 устанавливают границы, за которые палец пользователя при одном из стилей взаимодействия пользователя с МУ по статистике не выходит.3. The method according to p. 2, in which the angles α1 and α2 set the boundaries beyond which the user's finger does not go out according to statistics in one of the styles of user interaction with the MU.

4. Система настройки пользовательского интерфейса мобильного устройства (МУ) под автоматически определяемый стиль взаимодействия пользователя с МУ, осуществляющая способ по п. 1, состоящая из:4. The system for configuring the user interface of a mobile device (MU) for an automatically determined style of user interaction with MU, implementing the method according to claim 1, consisting of:

сканера отпечатка пальца;fingerprint scanner;

блока формирования базы данных отпечатков пальцев пользователя;user fingerprint database generation unit;

блока определения типа пальца, его принадлежности левой или правой руке, угла смещения пальца относительно сканера;a unit for determining the type of finger, its affiliation with the left or right hand, the angle of the finger offset relative to the scanner;

блока определения стиля взаимодействия пользователя с мобильным устройством,unit for determining the style of user interaction with the mobile device,

блока настройки пользовательского интерфейса мобильного устройства под определенный стиль взаимодействия пользователя с МУ.block settings of the user interface of the mobile device for a specific style of user interaction with the MU.

5. Система по п.4, в которой сканер отпечатка пальца совмещен с кнопкой разблокировки МУ, расположенной в нижней части корпуса МУ в плоскости экрана.5. The system according to claim 4, in which the fingerprint scanner is combined with the MU unlock button located at the bottom of the MU housing in the plane of the screen.