CN104126161B - 使用状态确定的交互绘图识别 - Google Patents

使用状态确定的交互绘图识别 Download PDF

Info

Publication number
CN104126161B
CN104126161B CN201180076419.XA CN201180076419A CN104126161B CN 104126161 B CN104126161 B CN 104126161B CN 201180076419 A CN201180076419 A CN 201180076419A CN 104126161 B CN104126161 B CN 104126161B
Authority
CN
China
Prior art keywords
user
template
state
computer system
library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180076419.XA
Other languages
English (en)
Other versions
CN104126161A (zh
Inventor
G·J·安德森
C·J·布思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104126161A publication Critical patent/CN104126161A/zh
Application granted granted Critical
Publication of CN104126161B publication Critical patent/CN104126161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

描述了使用状态确定来进行交互绘图识别。在一个示例中，计算机***状态被确定，然后被用于确定绘图的类型。观察用户绘图，并访问与确定的绘图类型关联的绘图模板的库。观察的绘图与绘图模板比较，以识别观察的绘图，并且属性被分配给识别的绘图。

Description

使用状态确定的交互绘图识别
背景技术
计算***经常依赖鼠标和键盘输入来确定用户创建的数字对象的外形。键盘、鼠标、和游戏控制器输入经常确定数字对象的行为。人们可以绘出对象并将其扫描至计算机，虽然允许一些手绘输入，但是扫描的绘图然后成为一个单个对象。对于如何与对象交互，例如重新测量和改变颜色，用户具有有限的机会。更自然的输入视觉信息的方法允许与计算设备更丰富的图形交互。
平板已被用作输入设备。典型地，平板在特殊的表面上感测触笔的压力，并在屏幕上再现绘出的形状。平板还可以被用于修改照片和绘图，并作为类似于鼠标的指向设备。在一些版本中，笔而非绘图表面对绘出的输入进行数字地记录。这些笔使用光学传感器、有时是特殊的标记的纸，以感测并存储绘图。
一些现有的计算***将绘出的对象识别作为简单的命令、作为字母数字字符、或者作为***中的匹配对象。这些***对绘图进行扫描以对其进行识别。然而，这些交互的本质是受限的。
一些现有的计算***将“空气姿态”识别为简单的命令，或者更通常地作为向计算机游戏的输入。空气姿态可以通过由摄像头观察或者由用户持有包含惯性传感器的设备并移动该设备来识别。
附图说明
以示例的方式而非以限制的方式示出了本发明的实施例，在附图中，相似的参考标记指代类似的元件。
图1是根据本发明的实施例，用户正在绘出用于计算机***的小键盘的图。
图2是根据本发明的实施例，用户正在绘出用于计算机***的操纵杆的图。
图3是根据本发明的另一个实施例，用户正在绘出用于计算机***的小键盘的图。
图4是根据本发明的实施例，用户正在绘出用于计算机***的媒体播放器控件的图。
图5A是根据本发明的实施例，用户正在绘出虚拟对象以虚拟地朝计算机***中描绘的场景发射的图。
图5B是根据本发明的实施例，用户正在绘出虚拟对象并虚拟地将其拾起以用于计算机***中描绘的场景的图。
图5C是根据本发明的实施例，用户绘出的虚拟对象放置在计算机***中描绘的场景的图。
图6是根据本发明的实施例，用户绘出的游戏表面和物理命令的图。
图7是根据本发明的另一个实施例，解释用户绘图的计算机***的处理流程图。
图8是根据本发明的实施例，适于实现本公开的处理的计算机***的框图。
图9是根据本发明的实施例，适于实现本公开的处理的图8的计算机***的另一视角的框图。
具体实施方式
本发明的实施例提供一种***，用于以新的方式识别绘出的输入。绘出的输入例如可以包含：绘出的用作小键盘的数字小键盘；绘出的用作指向和单击设备的鼠标或者鼠标移动区域；以及绘出的游戏“骑线人(line rider)”，其中线由手绘绘出，并且计算机产生人物以骑在绘出的线上；等等。
图1示出适于用于本发明的实施例的计算机***的示例。计算机***100具有摄像头102和麦克风104，典型地用于声音和视频呼叫。摄像头可以是用于三维视频呼叫的立体摄像头，或者允许解释三维空气姿态。示出了笔记本式计算机，但平板触摸计算机和平板计算机典型地具有类似的硬件特征。或者可以使用智能手机、智能电视、媒体播放器、或者便携游戏设备。当根据需要配备有下述各种实施例需要的摄像头和麦克风时，还可以使用桌面计算机。
在实施例中，本发明可以合并到个人计算机(PC)、膝上型计算机、超膝上型计算机、平板、触摸板、便携计算机、手持型计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、蜂窝电话与PDA的组合、电视、智能设备(例如智能手机、智能平板或者智能电视)、移动互联网设备(MID)、消息收发设备、数据通信设备等。
一张纸106放置在摄像头102的视野内。该纸可以如图所示在同一桌子上，或者在附近的表面上。代替一张纸，可以使用任何书写表面，诸如白板、黑板、或者电子表面，诸如检测绘图输入并在显示器上示出结果的显示器表面。使用纸或者类似的物品，用户112能够绘出并书写任何期望的字词和形状。在图1中，用户已绘出小键盘110的图画。
计算机***观察该纸，并检测在纸上绘出的小键盘。根据特定实施例，这可以使用任何各种手写、符号识别、和匹配模板实用程序来完成。***然后尝试识别绘图。
识别出已做出绘图可以唤起计算***来尝试限制绘图所表现的不同可能的项目的数量。在图1中，***可以使用1个或者2个不同的方法来使识别绘图更简单。计算***的显示器示出计算器程序108的活动前景窗口。由于计算器程序是活动的，因此计算***可以将可能的绘图的范围限制到与计算器程序相关的那些。针对计算器程序的一个相关类型的绘图是用户已绘出的数字小键盘110。尽管出于说明的目的绘出的小键盘非常简单，但用户可以绘出适于科学或者金融计算的非常复杂的小键盘。此外，用户可以绘出表明不同风格的数据条目的小键盘。计算器程序或者分离的I/O程序可以具有模板，以匹配范围广泛的不同类型的小键盘和可以关于计算器程序的其他绘图。
替代地或者进一步地，计算***可以评估其安装的硬件。示出的计算机不具有数字小键盘。虽然诸如示出的笔记本计算机可以在键盘的字母部分侧包含数字小键盘，或者其可以支持外部***小键盘，但示出的示例计算***都不具有。相应地，由于计算***看到用户已绘出***设备，其可以仅访问针对没有安装诸如数字小键盘的***设备的绘图模板。
使用活动的程序、或者***硬件状态、或者这两者，允许***将一组模板或者形状识别模式限制为可能对应于小键盘的那些。这增加了可靠性和绘图识别的速度。识别绘图为小键盘后，用户可以对于小键盘的绘图表现姿态，就好像是小键盘那样键入数字和字符。示出了计算器程序，但可以使用任何其他程序。其他应用程序，诸如电子表格、报税程序、和费用追踪程序都受益于专用的数字小键盘。对于其他类型的程序而言，可以识别其他类型的***设备。例如，视频编辑程序可以具有针对滑块和滚轮的模板。
图2示出计算机***的类似用途。在图2的示例中，相同的计算机在运行飞行模拟器或者飞机空中格斗游戏应用程序，如屏幕上的飞机128所示。计算***然后观察到用户122已在一张纸126上绘出对象120。计算机***基于对于飞行模拟器程序的可能的绘图，能够识别绘出的对象最像操纵杆。根据游戏，还可以允许其他绘图。根据飞机的类型，飞行模拟器游戏还可以支持无线电、定位仪器、以及各种杆和开关，包含开火和诱饵***。确定飞行模拟器游戏是活动的程序允许计算机***对于绘图应用仅对相关设备的模板，使得即使该绘图不很像操纵杆也可以被解释为操纵杆。在示出的示例中，例如把手可以被视为具有推面和开火按钮。然后用户可以触摸把手及其边框，以在计算机***上具有操纵杆命令的效果。
图3示出另一个替代实施例，其中用户132应用不同的方法来表明绘出的对象的本质。用户132已在一张纸136上绘出了小键盘130，然而，并非计算机确定哪个程序是活动的，而是用户选择绘图应用至的程序。应用程序选择窗口132具有用于2个应用程序的图块(tile)，出于示出的目的，名为“游戏”的游戏133和名为“计算器”的计算器应用程序134。用户选择2个程序中的一个来帮助计算机识别绘图。计算机接收选择并将其应用至模板选择***，来识别应用于一张纸136上的绘图130的一组模板。虽然仅示出了2个应用程序，但***典型地能够呈现更多选择。根据实施例，应用程序可以使用轨迹板105或者键盘103来选择，或者以任何各种其他方式。
选择的程序向计算机***提供关于绘出的对象的本质的指示。计算机***可以用其来选择与计算器应用程序关联的一组模板，进而识别对与计算器的适当的***设备的特征对应的绘图的特征，诸如小键盘。该程序选择可以与上述硬件状态技术组合的技术。
图4示出协助计算机识别绘图的另一个示例。在图4中，在屏幕上显示有2个打开的程序。计算器143是活动的并在前景中。媒体播放器应用程序141在背景中运行。在计算***的前面的一张纸146上，用户已绘出用于***体播放器的一组按键140。按键是：上一首、倒回、播放、快进和下一首的特定的常见模式，具有音量向上和向下，然而替代地可以绘出各种其他常规按钮布局。在该示例中，计算机可能首先尝试将绘图与针对前景计算器程序的模板匹配。失败之后，然后计算机可以尝试针对其他运行程序诸如媒体播放器应用程序的模板。一旦计算机已观察到该绘图，并在纸146上对其进行识别，那么计算机可以向该绘图分配性质，并且用户可以使用该绘图来***体播放器。
用户可能希望通过在一张纸上的绘图或者外部***设备使用计算器，然后绘出媒体播放器控件来根据期望调节背景音乐。然后当用户绘出7个图块140时，计算机***访问与运行程序关联的模板库。这导致将绘出的控制面板与媒体播放器关联。
模板的匹配可以通过用户表明绘图应用至的运行中的应用程序来更快速地做出。用户还可以设定偏好来尝试首先匹配背景应用程序模板，而非用于在前景中运行的应用程序的模板。
图5A示出不同方案，其中用户155涉及在计算机***屏幕上呈现场景的应用程序。在这种情况下，场景在俯瞰海洋的山坡上具有城堡。用户绘出箭150和大炮152，其在前景应用程序的背景下被解释为箭和大炮的虚拟对象。用户能够用他的手155虚拟地将箭和大炮从页156举出，进而朝显示器上的场景虚拟地发射这些对象。这可以以攻击城堡或者保卫城堡免受外部攻击(未示出)的方式完成。
该使用模型呈现纸和摄像头***102的若干用途。首先，计算机***识别交互的背景。该示例中的***状态是正在运行涉及正在保卫或者攻打城堡的特定游戏。相同的方法可以应用至很多不同的应用程序。例如，该背景中的用户在纸上绘出***摄像头102观察并使用上述方法识别的对象。在这个和如上所示的其他背景中，对象的识别可以由计算***为用户确认，例如通过示出绘图中识别的对象的说明，诸如匹配的模板。在混淆的情况下，***可以替代地要求用户确认选择。
在识别箭和大炮之后，用户提供空气姿态152、诸如拾起作为虚拟对象的绘出的对象的手势。该手势被摄像头102观察，并可以使用姿态的库来识别。识别的姿态然后可以被用作向场景154中的城堡或者一些其他对象发射箭、炮弹、以及任何其他支持的武器的命令。
作为另一个替代，手152，而不是扔出抛射物的姿势，可以使用键盘103或者轨迹板105来向计算机***表明命令。该命令可以以与拾起并扔出的手势命令相同的方式使用。特定的键盘或者轨迹板命令可以基于背景或者特殊的工具或者可以使用应用程序来做出选择。对于具有附加的或者不同的输入设备，诸如鼠标、滚轮、游戏手柄或者其他设备的计算***而言，这些输入设备可以被用于替代或者附加于示出的键盘和轨迹板。在计算机***显示器上显示的菜单***可以被用来确定用于匹配绘出的对象的类别。例如，用户可以选择游戏模式。这将允许即使当绘图不是很像操纵杆时，也将识别出绘出的操纵杆。
绘图或者补充绘图、键盘、声音或者写入的命令还可以被用来给绘出的对象赋予特定的物理性质。声音命令、绘图、姿态、或者触摸输入可以被用于与绘出的箭结合，以表明箭具有火热的头部，或者表明该箭从复合弓或者常规弓射出，或者该箭的尺寸与长弓匹配等。作为另一个示例，在导弹的背景中，可能难以精确绘出特定的导弹。然而，用户可以绘出一般化的导弹，进而使用附加的命令来表明是否以及如何给它提供动力，其速度和范围，其如何发现其目标，例如热跟踪、无线电波跟踪、位置引导、远程瞄准等，其携带的弹头的类型，以及由应用程序支持的任何其他期望的参数。所有的这些特征然后可以被用来确定箭、或者炮弹、或者导弹在其发射期间和在发射之后的物理性质。
在图5B中，用户可以绘出并非在场景发射而是放置在场景中的不同类型的对象。在这个示例中，用户155在一张纸上绘出船158。用户然后可以拾起船，并将其放置在由显示器呈现的场景中。如图5C所示，用户将船放置在场景的水上。这是通过摄像头102观察的，并因此***已将船增加至场景，并且场景现在包含船。一旦放置在场景内，船可以根据应用程序的本质，以任何各种不同的方式被控制。类似的方法可以应用到游戏中，其中组成有对象，诸如建筑、街道、或者机械。相同的方法还可以应用到照片、或者视频编辑、以及各种类型的计划应用程序中。
当与用于船绘图的模板匹配时，作为绘出的对象的船被应用程序识别为船的绘图。例如，应用程序可以确认识别为船，并提供一些方式来确认其物理和其他特征包括人员、供给、原动力、和武器库。用户然后由姿态表明其希望将船从纸拾出，并将其放置在场景中。根据特定实施方式，船可以表现为或不表现为从纸到显示器的它的旅程的虚拟对象。然而，当放置在屏幕上的地点时，其变成场景主题中渲染的对象，与渲染的场景和周围显示或者游戏空间中的其他对象服从相同的规则。
图6示出另一个示例，其中用户在计算***上游玩骑线人游戏。用户已在一张纸166上绘出曲线160。该曲线已被摄像头102观察，并渲染在显示器上。由于活动的前景应用程序是骑线人游戏，因此绘出的对象将线160识别为骑手将骑上的线。用户可以顺序绘出很多线供骑线人骑，直至做出错误且骑手掉落。用户还已绘出在行进的方向的右手箭头162，表明向前加速；以及指向行进的相反方向的左手箭头164，表明相反加速或者制动。这些箭头可以被用来表明应用至骑手的加速力。类似的方法可以被用来绘出代表其他虚拟或者渲染对象(诸如上面提及的船、箭或者炮弹)的物理性质的符号。
计算机状态还允许用户对于其绘图采用速记的形式。在图4和图5A的示例中，绘图看起来不完全像实际项目。然而，通过已知的硬件或者软件状态或者两者的协助，计算机***仍然能够识别绘图。该原理可以延伸至其他类型的绘图。相应地，用户可以绘出部分键盘并说“键盘”，然后***可以将绘图解释为全键盘。替代地，用户可以为了类似的结果绘出部分鼠标并说“鼠标”。绘出在纸的键盘或者鼠标然后可以成为虚拟3D对象，随着用户做出姿态朝着或者实际上物理地移动该绘图，所述虚拟3D对象可以在计算机***显示器上被虚拟地“移动”或者操纵。虚拟输入设备可以被配置为适应用户的手和其他位置的改变。
上述处理可以重述并简化如下。计算机确定其状态，并使用该状态作为用户打算做出的绘图的类型的指示。响应于该识别的绘图类型，计算机***访问模板库。基于绘图类型来选择模板，以便计算机***具有供使用的有限组的模板。
计算机***然后观察用户的绘图。绘图可以通过摄像头或者触敏表面或者以另一个方式观察。绘图可以针对绘图中反射率的变化、针对梯形失真、针对由于使用了低劣或故障的笔导致的不一致的线厚、并针对其他失真而进行校正。使用摄像头允许用户使用任何期望的绘图表面，同时使用已知的书写表面和笔减小了图像中的失真，以及可能与识别并观察绘图的摄像头关联的错误。绘图与选择的模板进行比较。如果发现了匹配，那么绘图已被识别。
在上述示例中，绘图被识别为小键盘、操纵杆、武器或者游戏道具，然而，可以绘出任何多种多样的其他项目。识别绘图后，计算机***向识别的绘图分配属性。这些属性可以是可访问的功能、用户输入能力等。属性可以使用与模板关联的信息来确定。因此，如果绘图与小键盘模板匹配，那么模板可以包含触摸绘图的特定部分被分配给“9”数字键按下的信息。模板可以包含“9”键的绘出的边界作为模板的一部分。
图7是在上述使用示例中执行的过程的过程流程图。在710，计算机***启动并载入任何用于匹配的期望的模板。这些模板可以是用于匹配书写的字词、说出的发声、以及空气姿态的模板，还有用于绘图的模板。模板可以由操作***、分离的绘图识别应用程序供应，供应模板的用户、或者模板可以是游戏或者生产力应用程序的一部分。
在712，用户绘出符号或者对象，诸如如上所示的小键盘或者操纵杆。绘图不需要精确匹配用于该对象的任何特定的模板或者规定形式。
在714，计算机***确定其状态。如上所述，状态可以是硬件配置，诸如存在或者不存在安装的***设备；或者软件状态，诸如是否在运行的前景或者背景应用程序。确定的状态向***表明绘图的类型，***可以用其来减少可能的选择或者甚至对***加以选择。在712绘出对象并在714确定对象的类型这2个操作可以以任何顺序执行。计算机***接收两个输入，进而相应地动作。
在718，***使用确定的状态来访问可以应用至绘图的绘图模板的库。绘图可以通过使用耦合至计算机***的摄像头来捕捉绘图的图像而捕捉。以捕捉的图像或者其他数字文件形式的绘图然后被转换为可以匹配其他数字文件的数字形式。该形式可以是位图或者其他图像文件，或者其可以是用户的绘图的主要特征的抽象数学代表。
在722，计算机***将观察到的绘图与在718已访问的那组绘图模板进行比较。这是基于在714确定的绘图类型的有限组的模板。比较可以更快速完成，因为可能的模板的数量大幅减小。在724，***选择模板并且如果其匹配观察到的绘图，那么在728，***向绘图的绘出的元件分配属性。***循环过所有的模板，如果没有识别到匹配，那么***采取一些其他动作。它可以简单地忽略绘图。稍后，在用户已返回至绘图之后，***可以尝试做出另一个匹配，以提供更多细节或者对绘图做出校正。***还可以通过：示出一些模板给用户来选择，或者通过要求用户书写、说出、或者键入对象是什么，来要求用户辅助。例如，***可以通过向绘图示出两个或更多的可能的匹配来询问用户，进而允许用户选择一个模板作为正确的匹配。
或者，***可以做出其最佳猜测，并使用用户已绘出的东西的近似。因为在714基于状态确定的绘图类型，因此近似是可能的。作为结果，用户可以使用飞行模拟器程序，进而绘出不完全看起来像操纵杆的某物。计算机***知道该绘图涉及该程序，寻找操纵杆或者其他航空仪器，然后可以将操纵杆设计施加到绘图上，而非仅接受非常好地完成的绘图。计算机可以向与操纵杆属性对应的5个图块的每个分配属性。根据匹配的模板，图块可以分配为按钮、或者表面。以相同的方式，对于小键盘绘出的方形可以被分配各种数字键盘键的属性。例如，右边的更大的方形可以分配为“+”键，而底边的方形可以分配“0”键。5个图块的广义模糊的绘图可以被视为操纵杆按钮或者表面，而不用看起来非常像它们。
过程然后返回到712，用于下个用户绘图。过程流可以以完全不相关的绘图而重新开始。例如，用户可能在纸上的一个地点绘出操纵杆，进而在纸上的另一个地点绘出WASD按键组合或者箭头键组合。用户然后可以用一只手操作按键，并用另一只手操作操纵杆。
过程返回还允许用户增强绘图。在操纵杆示例中，用户可能向操纵杆键入操纵杆命令并增加附加的触发控制。计算机***将接收该命令或者作为替代，可以识别了用户向操纵杆绘图进行增加，进而寻找不同的模板来匹配增强的操纵杆绘图。用键盘，用户可以仅以WASD开始，进而之后增加空格键、shift键或者可以期望更多功能的其他按键。
图8是能够支持上面讨论的操作的计算环境的框图。模块和***可以以各种不同硬件架构和形状因子实现，包含图9所示的。
命令执行模块801包含中央处理单元来缓存并执行命令，并在其他模块与示出的***之间分配任务。其可以包含指令堆栈、存储中间和最终结果的缓存存储器、以及存储应用程序和操作***的大容量存储器。命令执行模块还可以用作***的中心协调和任务分配单元。
屏幕渲染模块821在一个或多个多屏幕上绘出对象以供用户看到。其可以适于从下述绘图追踪模块806接收数据，并在屏幕上渲染绘图的代表。屏幕渲染模块还将用户与绘图之间的渲染交互，作为用于用户正在操作的应用程序的命令。
姿态识别模块822可以适于识别并追踪用户的手和臂的姿态。该模块可以被用于识别手、手指、手指姿态、手移动、以及手相对于绘图的地点。例如，姿态识别***可以例如确定用户做出体部姿态来按下键盘上的虚拟按钮，或者用户做出体部姿态来移动绘图的虚拟控制表面。姿态识别***可以耦合至摄像头或者摄像头阵列、麦克风或者麦克风阵列、触摸屏或者触摸表面、或者指向设备、或者这些项目的一些组合，来从用户检测姿态和命令。
可以使用用于姿态识别的任何各种技术。***可以被用于识别手、手指、手指姿态、手移动、以及手相对于绘图表面的地点。如果以若干预定义的方式，姿态与之前绘出并识别的对象交叉，那么该模块将该姿态与匹配的对象的属性组合，来确定该计算***将采取的动作。如果否，那么姿态作为纯姿态命令。然后姿态可以转换为向计算机***的命令，用于由命令执行模块801执行。
绘图检测模块823可以配备有摄像头或者其他传感器，来追踪用户的手或者笔的位置或者朝向。替代地，绘图检测模块的触摸屏或者触摸表面可以包含触摸屏传感器。来自传感器的数据可以馈送至硬件、软件、固件或者其组合，以在屏幕或者表面上映射用户的手的触摸姿态至对应的绘图或者图像。当用户暂停或者当用户采取诸如姿态或者声音命令的明确动作时，绘出的输入可以假定完成。
绘图识别模块825识别绘出并书写的输入。其通过将绘图的部分与存储在计算设备中的模板对象匹配，来解释绘出的输入。可以启动该模块来匹配模板的整个库，或者其可以使用其他视觉输入或者用户命令来匹配库的子集。绘图识别模块还可以包含梯形校正。当图像以角度被捕捉时，在匹配该模板库之前，针对因为角视图导致的失真，它们必须进行校正。梯形校正可以由与摄像头和书写表面的位置有关的知识来协助。对于示出的笔记本计算机示例而言，计算机可以配置有如下值：从放在桌子上的壳体的底部起的在屏幕边框的顶部的摄像头的近似高度。该值由壳体的设计确定，对于具有相同壳体的每个计算机相同。
绘图对象模板模块804存储输入设备，诸如小键盘、触摸板和命令按钮的模板。当用户绘出具有匹配特征的输入设备时，模板的属性将确定绘图的行为以及用户交互是否将会影响它。
绘图追踪模块806追踪以阶段和层形式的复杂的绘图的发展。当用户分阶段增加复杂对象的元件时，该模块将确定当前与之前绘出的输入之间的增量。如果绘图已相对于计算设备移动，那么尽管移动了绘图，该模块将确定新的取向以允许连续输入。
对象和速率和方向模块803可以适于通过从绘图追踪模块806接收输入，来估计作为虚拟对象而被移动的绘图的动态，诸如其轨道、速率(是线性速率还是角速率)、动量(是线性动量还是角动量)等。对象和速率和方向模块例如还可以适于通过估计用户姿态的加速度、偏转等，来估计任何物理力的动态。对象和速率和方向模块还可以使用图像运动、尺寸和角改变来估计对象的速率，诸如手和手指的速率。
动量和惯性模块802基于用户输入，允许各种“物理”行为。例如，快速或者慢速滚动或者扫动可以具有动量属性。该模块将具有匹配用户姿态和绘图的物理模板，以增加行为，诸如对象在屏幕上的加速度。其可以使用绘图片的平面中的或者三维空间中的绘图运动和用户运动，来估计与绘图相关的虚拟对象的速率和方向。动量和惯性模块耦合至对象和姿态识别***822，来估计由手、手指和其他体部执行的姿态的速率，进而应用这些估计来确定要由姿态影响的虚拟对象的动量和速率。
3D图像交互和效果模块805追踪用户与好像从一个或多个屏幕延伸出的3D图像的交互。z轴中的对象的影响(朝向并远离屏幕的平面)可以与这些对象对彼此的相对影响一起计算。例如，在该虚拟对象到达屏幕的平面之前，由用户姿态扔出的对象可以被前景中的3D对象影响。这些对象可以改变抛射物的方向或者速率或者将其完全毁坏。对象可以在一个或多个显示器的前景中被3D图像交互和效果模块渲染。
与图7关联地更详细地进行描述，图8的计算***用绘图检测模块823的启动来操作。其通过启用应用程序或者通过诸如声音命令的其他用户输入而启动。用户创建绘图，进而表明(如上所述)绘出的输入完成。绘图识别模块825将绘图与模板库匹配。当到达可以随应用程序变化的一定水平的肯定的匹配时，绘图追踪模块806将绘图与一组属性关联。如果用户接下来在匹配的绘图上发出姿态，那么***根据匹配的属性组运行命令。
图9是计算***，诸如个人计算机、游戏主机、智能电话或者便携游戏设备的框图。计算机***900包含用于对信息进行通信的总线或者其他通信单元901；以及用于处理信息的与总线901耦合的处理单元，诸如微处理器902。计算机***可以增强有：图形处理器903，具体用于通过并行管道渲染图形；以及物理处理器905，用于如上所述计算物理交互。这些处理器可以整合到中央处理器902或者提供为一个或多个分离的处理器。
计算机***900还包含耦合至总线901的主存储器904，诸如随机存取存储器(RAM)或者其他动态数据存储设备，用于存储将由处理器902执行的信息和指令。主存储器还可以用于在通过处理器执行指令期间，存储临时变量或者其他中间信息。计算机***还可以包含非易失性存储器906，诸如耦合至总线的只读存储器(ROM)或者其他静态存储设备，存储用于处理器的静态信息和指令。
诸如磁盘、光盘、或者固态阵列的大容量存储器907及其对应的驱动器还可以耦合至计算机***的总线，用于存储信息和指令。计算机***还可以经由总线耦合至显示器设备或者监控器921，诸如液晶显示器(LCD)、或者有机发光二极管(OLED)阵列，用于对用户显示信息。例如，除了上述各种视图和用户交互外，安装状态、操作状态和其他信息的图形和文本指示也可以在显示器设备上被呈现给用户。
典型地，用户输入设备，诸如具有字母数字、功能和其他按键的键盘可以耦合至总线，用于向处理器通信信息和命令选择。附加的用户输入设备可以包含光标控制输入设备，诸如鼠标、轨迹球、触控板、或者光标方向键，可以耦合至总线，用于向处理器通信方向信息和命令选择，并控制在显示器921上的光标移动。
摄像头和麦克风阵列923耦合至总线来观察姿态、记录音频和视频、以及接收如上所述的视觉和音频命令。
通信接口925也耦合至总线901。例如，通信接口可以包含调制解调器、网络接口卡、或者其他周知的接口设备，诸如用于耦合至以太网、令牌环、或者其他类型的物理有线或者无线连接的接口设备，出于提供通信链路的目的，以支持局域或者广域网(LAN或者WAN)。以该方式，例如，计算机***还可以经由包含内部网或者互联网的常规网络基础设施，耦合至若干***设备、其他客户端或者控制表面或者主机、或者服务器。
要理解的是对于某些实施方式，比上述示例配备得更少或更多的***可以是优选的。因此，根据大量因素，诸如价格限制、性能要求、技术改进、或者其他境况，示例性***800和900的配置从实施方式到实施方式会有变化。
实施例可以以如下任何或者组合实现：使用母板互相连接的一个或多个微芯片或者集成电路；硬连线逻辑；由存储器设备存储并由微处理器执行的软件；固件；特定用途集成电路(ASIC)、和/或现场可编程门阵列(FPGA)。以示例的方式，术语“逻辑”可以包含软件或者硬件和/或软件和硬件的组合。
例如，可以提供实施例作为计算机程序产品，其可以包含一个或多个机器可读介质，在其上已存储了机器可执行指令，当由一个或多个机器，诸如计算机、计算机的网络、或者其他电子设备执行时，可以使得一个或多个机器依据本发明的实施例进行操作。机器可读介质可以包含但是不限于软盘、光盘、CDROM(光盘只读存储器)、以及光磁盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁或者光卡、闪存、或者其他类型的适于存储机器可执行指令的介质/机器可读介质。
此外，实施例可以下载作为计算机程序产品，其中程序可以经由通信链路(例如调制解调器和/或网络连接)，以体现为载波或者其他传播介质和/或由载波或者其他传播介质调制的一个或多个数据信号的方式，从远程计算机(例如服务器)传送至请求计算机(例如客户端)。相应地，如本文所使用的，机器可读介质可以是但是不要求包括该载波。
对于“一个实施例”、“实施例”、“示例实施例”、“各种实施例”等的参考表明了这样描述的本发明的实施例可以包含特定的特征、构造、或者特性，但是并非每个实施例一定包含该特定的特征、构造、或者特性。此外，一些实施例可以具有一些、所有、或者不具有对于其他实施例描述的特征。
在下面的描述和权利要求中，可以使用术语“耦合”以及其衍生词。“耦合的”被用于表明两个或更多的元件互相操作或互相彼此交互，但是在其间其可能或者可能不具有介入的物理或者电部件。
如被用于权利要求的那样，除非明确指明，否则使用序数形容词“第一”、“第二”、“第三”等来描述常见元件仅仅表明指代相似元件的不同实例，并非意图暗指这样描述的元件无论在时间上、空间上、排名上、或者以任何其他方式必须具有给定的顺序。
附图和前面的描述给出了实施例的示例。本领域的技术人员可以理解一个或多个描述的元件可以合成为单个的功能元件。或者，某些元件可以被分离为多个功能元件。来自一个实施例的元件可以增加至另一个实施例。例如，本文描述的过程的顺序可以改变，而不限于本文描述的方式。此外，任何流程图需要的动作不必以示出的顺序实现；也并非所有的动作一定需要被执行。同样，那些不依赖于其他动作的动作可以与其他动作平行执行。实施例的范围绝不被这些具体示例所限制。无论是否明确在说明书中给出的大量变化，诸如构造、尺寸、以及使用材料的差异是可能的。实施例的范围至少与通过下面的权利要求给出的一样宽。

Claims (18)

1.一种用于交互绘图识别的方法，包括：
在输入设备上绘制绘图；
在与所述输入设备独立的计算机***处确定表明所述绘图的类型的所述计算机***的状态；
访问与所述绘图的类型相关联的绘图模板的库；
在所述计算机***处观察由用户绘制的所述绘图；
比较所观察的绘图与所述库中的绘图模板；
如果所述绘图模板中的一个绘图模板与所观察的绘图相匹配，则向所述绘图分配属性；
识别朝向所述绘图的用户姿态；以及
根据被分配给所述绘图的属性来执行与所识别的用户姿态相关联的命令，以在所确定的所述计算机***的状态下与在所述计算机***的屏幕上显示的内容进行交互。
2.如权利要求1所述的方法，其中确定状态包括确定以下中的一个：安装的硬件状态、活动的程序状态、以及背景程序状态。
3.如权利要求1所述的方法，其中所述绘图的类型是用户输入设备的类型。
4.如权利要求3所述的方法，其中所述设备是小键盘。
5.如权利要求1所述的方法，还包括载入多个绘图模板，以与载入的应用程序一起使用，其中确定状态包括确定所述载入的应用程序是活动的，并且其中访问库包括访问载入的针对活动的应用程序的多个绘图模板。
6.如权利要求5所述的方法，其中所述库中的绘图模板对应于用户输入设备的不同配置和类型。
7.如权利要求1所述的方法，其中所述绘图模板的库由在所述计算机***上运行的应用程序提供。
8.如权利要求1所述的方法，其中访问所述库包括基于所述绘图的类型，从绘图模板的多个不同库中选择一个。
9.如权利要求1所述的方法，其中观察用户绘图包括使用耦合至所述计算机***的摄像头来捕捉绘图的图像。
10.如权利要求9所述的方法，还包括针对由所述摄像头与所述绘图的相对位置导致的失真来校正所捕捉的图像。
11.如权利要求1所述的方法，其中分配属性包括向所述绘图分配控制表面。
12.如权利要求1所述的方法，其中分配属性包括向所述绘图的部分分配按键。
13.一种用于交互绘图识别的装置，包括：
用于在输入设备上绘制绘图的单元；
用于在与所述输入设备独立的计算机***处确定表明所述绘图的类型的所述计算机***的状态的单元；
用于访问与所述绘图的类型相关联的绘图模板的库的单元；
用于在所述计算机***处观察由用户绘制的所述绘图的单元；
用于比较所观察的绘图与所述库中的绘图模板的单元；
用于如果所述绘图模板中的一个绘图模板与所观察的绘图相匹配，则向所述绘图分配属性的单元；
用于识别朝向所述绘图的用户姿态的单元；以及
用于根据被分配给所述绘图的属性来执行与所识别的用户姿态相关联的命令，以在所确定的所述计算机***的状态下与在所述计算机***的屏幕上显示的内容进行交互的单元。
14.如权利要求13所述的装置，其中确定状态包括确定以下中的一个：安装的硬件状态、活动的程序状态、以及背景程序状态。
15.如权利要求13所述的装置，其中访问所述库包括基于所述绘图的类型，从绘图模板的多个不同库中选择一个。
16.一种用于交互绘图识别的***，包括：
绘图输入模块，用于在输入设备上绘制绘图；
命令执行模块，用于在与所述输入设备独立的计算机***处确定表明所述绘图的类型的所述计算机***的状态；
绘图检测模块，用于观察由用户绘制的所述绘图；
绘图对象模板模块，用于：访问与所述绘图的类型相关联的绘图模板的库；比较所观察的绘图与所述库中的绘图模板；如果所述绘图模板中的一个绘图模板与所观察的绘图相匹配，则向所述绘图分配属性；识别朝向所述绘图的用户姿态；以及根据被分配给所述绘图的属性来执行与所识别的用户姿态相关联的命令，以在所确定的所述计算机***的状态下与在所述计算机***的屏幕上显示的内容进行交互。
17.如权利要求16所述的***，还包括摄像头，用于捕捉由所述绘图检测模块使用的所述绘图的图像。
18.如权利要求16所述的***，还包括姿态识别模块，用于将与所识别的绘图相关联的用户姿态识别为命令，并将所述命令发送至所述命令执行模块用于执行。
CN201180076419.XA 2011-12-30 2011-12-30 使用状态确定的交互绘图识别 Active CN104126161B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/068222 WO2013101221A1 (en) 2011-12-30 2011-12-30 Interactive drawing recognition using status determination

Publications (2)

Publication Number Publication Date
CN104126161A CN104126161A (zh) 2014-10-29
CN104126161B true CN104126161B (zh) 2018-07-10

Family

ID=48698453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180076419.XA Active CN104126161B (zh) 2011-12-30 2011-12-30 使用状态确定的交互绘图识别

Country Status (6)

Country Link
US (1) US20150131913A1 (zh)
EP (1) EP2798442B1 (zh)
JP (1) JP2015503794A (zh)
KR (1) KR101625419B1 (zh)
CN (1) CN104126161B (zh)
WO (1) WO2013101221A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2976681B1 (fr) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme
US9225810B2 (en) * 2012-07-03 2015-12-29 Sony Corporation Terminal device, information processing method, program, and storage medium
US9690400B2 (en) 2015-04-21 2017-06-27 Dell Products L.P. Information handling system interactive totems
US9921644B2 (en) 2015-04-21 2018-03-20 Dell Products L.P. Information handling system non-linear user interface
US11106314B2 (en) 2015-04-21 2021-08-31 Dell Products L.P. Continuous calibration of an information handling system projected user interface
US9983717B2 (en) 2015-04-21 2018-05-29 Dell Products L.P. Disambiguation of false touch inputs at an information handling system projected user interface
US11243640B2 (en) 2015-04-21 2022-02-08 Dell Products L.P. Information handling system modular capacitive mat with extension coupling devices
US9804733B2 (en) * 2015-04-21 2017-10-31 Dell Products L.P. Dynamic cursor focus in a multi-display information handling system environment
US10139854B2 (en) 2015-04-21 2018-11-27 Dell Products L.P. Dynamic display resolution management for an immersed information handling system environment
US10976819B2 (en) 2015-12-28 2021-04-13 Microsoft Technology Licensing, Llc Haptic feedback for non-touch surface interaction
US11188143B2 (en) * 2016-01-04 2021-11-30 Microsoft Technology Licensing, Llc Three-dimensional object tracking to augment display area
EP3510475A4 (en) * 2016-10-11 2020-04-22 Hewlett-Packard Development Company, L.P. VISUAL NOTICE SYSTEM
US10146366B2 (en) 2016-11-09 2018-12-04 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10139930B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system capacitive touch totem management
US10139973B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system totem tracking management
US10139951B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system variable capacitance totem input management
US10496216B2 (en) 2016-11-09 2019-12-03 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10459528B2 (en) 2018-02-28 2019-10-29 Dell Products L.P. Information handling system enhanced gesture management, control and detection
US10970937B2 (en) * 2018-05-04 2021-04-06 Intel Corporation Technologies for virtual attribute assignment referencing real objects
US10635199B2 (en) 2018-06-28 2020-04-28 Dell Products L.P. Information handling system dynamic friction touch device for touchscreen interactions
US10852853B2 (en) 2018-06-28 2020-12-01 Dell Products L.P. Information handling system touch device with visually interactive region
US10761618B2 (en) 2018-06-28 2020-09-01 Dell Products L.P. Information handling system touch device with automatically orienting visual display
US10664101B2 (en) 2018-06-28 2020-05-26 Dell Products L.P. Information handling system touch device false touch detection and mitigation
US10817077B2 (en) 2018-06-28 2020-10-27 Dell Products, L.P. Information handling system touch device context aware input tracking
US10795502B2 (en) 2018-06-28 2020-10-06 Dell Products L.P. Information handling system touch device with adaptive haptic response
US11335084B2 (en) * 2019-09-18 2022-05-17 International Business Machines Corporation Image object anomaly detection
EP4016167B1 (en) * 2020-12-17 2024-07-03 Roche Diagnostics GmbH A laboratory analyzer

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000187551A (ja) * 1998-12-21 2000-07-04 Tadaaki Rikihisa 入力装置
CN1928851A (zh) * 2005-09-08 2007-03-14 佳能株式会社 信息处理装置和对原稿数据进行显示操作的方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5987173A (en) * 1995-03-27 1999-11-16 Nippon Steel Corporation Interactive drawing recognition processing method and apparatus thereof
TW430774B (en) * 1996-11-26 2001-04-21 Sony Corp Information input method and apparatus
JPH11305895A (ja) * 1998-04-21 1999-11-05 Toshiba Corp 情報処理装置
US20030174125A1 (en) * 1999-11-04 2003-09-18 Ilhami Torunoglu Multiple input modes in overlapping physical space
US7289110B2 (en) * 2000-07-17 2007-10-30 Human Messaging Ab Method and arrangement for identifying and processing commands in digital images, where the user marks the command, for example by encircling it
SE519405C2 (sv) * 2000-07-19 2003-02-25 Jacob Weitman Tillämpningar för en avancerad digitalkamera som tolkar den tagna bilden utifrån dess informationsinnehåll, såsom att överföra bilden, beordra en tjänst, styra ett flöde mm
JP2005004543A (ja) * 2003-06-12 2005-01-06 Sony Corp ユーザインターフェース方法および装置、ならびにコンピュータ・プログラム
KR20040107245A (ko) * 2003-06-13 2004-12-20 이성무 문자 인식 장치를 이용하여 사용자로부터의 입력 데이터를처리하는 방법 및 이를 이용한 인터랙티브 원격 교육 방법
US7372993B2 (en) * 2004-07-21 2008-05-13 Hewlett-Packard Development Company, L.P. Gesture recognition
JP2007109118A (ja) * 2005-10-17 2007-04-26 Hitachi Ltd 入力指示処理装置および入力指示処理プログラム
US8370383B2 (en) * 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US8106903B2 (en) * 2006-05-04 2012-01-31 Bentley Systems, Incorporated System and method for visually representing a project using graphic elements
JP5526400B2 (ja) * 2009-03-03 2014-06-18 シャープ株式会社 電子機器、情報処理システム、電子機器の制御方法および電子機器の制御プログラム
CN102197358A (zh) * 2008-10-28 2011-09-21 夏普株式会社 具有2个显示装置的电子设备、其控制方法以及记录介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000187551A (ja) * 1998-12-21 2000-07-04 Tadaaki Rikihisa 入力装置
CN1928851A (zh) * 2005-09-08 2007-03-14 佳能株式会社 信息处理装置和对原稿数据进行显示操作的方法

Also Published As

Publication number Publication date
KR101625419B1 (ko) 2016-06-13
US20150131913A1 (en) 2015-05-14
EP2798442A4 (en) 2015-11-18
CN104126161A (zh) 2014-10-29
EP2798442A1 (en) 2014-11-05
WO2013101221A1 (en) 2013-07-04
JP2015503794A (ja) 2015-02-02
KR20140100545A (ko) 2014-08-14
EP2798442B1 (en) 2018-08-08

Similar Documents

Publication Publication Date Title
CN104126161B (zh) 使用状态确定的交互绘图识别
EP3109785B1 (en) Portable apparatus and method for changing screen of the same
CN101189049B (zh) 在移动设备中执行应用程序的方法
Akaoka et al. DisplayObjects: prototyping functional physical interfaces on 3d styrofoam, paper or cardboard models
Wigdor et al. Brave NUI world: designing natural user interfaces for touch and gesture
US9330478B2 (en) Augmented reality creation using a real scene
US20180095653A1 (en) Device, method and graphical user interface for handwritten interaction
KR101481880B1 (ko) 휴대용 실감형 상호작용을 위한 시스템
CN102089738B (zh) 用于用户界面控制的相机姿态
CN108139778A (zh) 便携式设备和便携式设备的屏幕显示方法
CN108416825A (zh) 动态图的生成装置、方法及计算机可读存储介质
US20130290876A1 (en) Augmented reality representations across multiple devices
US11132498B2 (en) Portable device and method for controlling cursor of portable device
CN104205034A (zh) 使用手势创建三维图形
CN103314343A (zh) 使用手势控制键盘应用，例如移动设备上的键盘应用
US20140329593A1 (en) Text entry using game controller
US9870139B2 (en) Portable apparatus and method for sharing content with remote device thereof
CN104081307A (zh) 图像处理装置、图像处理方法和程序
JP2014215752A (ja) 電子機器および手書きデータ処理方法
WO2022267760A1 (zh) 按键功能执行方法、装置、设备及存储介质
US9430035B2 (en) Interactive drawing recognition
Schreiber et al. New interaction concepts by using the wii remote
Siltanen et al. User interaction for mobile devices
Xiao Bridging the Gap Between People, Mobile Devices, and the Physical World
CN118259894A (zh) 编程积木的查找方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant