CN103390011A - 电子装置和手写文档检索方法 - Google Patents
电子装置和手写文档检索方法 Download PDFInfo
- Publication number
- CN103390011A CN103390011A CN2012103377049A CN201210337704A CN103390011A CN 103390011 A CN103390011 A CN 103390011A CN 2012103377049 A CN2012103377049 A CN 2012103377049A CN 201210337704 A CN201210337704 A CN 201210337704A CN 103390011 A CN103390011 A CN 103390011A
- Authority
- CN
- China
- Prior art keywords
- hand
- written
- handwriting information
- retrieval
- handwriting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/333—Preprocessing; Feature extraction
- G06V30/347—Sampling; Contour coding; Stroke extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
- G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Character Discrimination (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
根据一个实施例,装置包括检索模块(309),被配置为从存储在存储介质中的笔迹信息中检索第一笔迹信息部分,所述第一笔迹信息部分与被指定作为检索关键字的特定笔迹信息部分的相似度大于或等于基准值,所述笔迹信息包含与多个笔划相对应的多个笔划数据;和显示处理模块(306),被配置为在所述触摸屏显示器上显示与包含所述第一笔迹信息部分的笔迹信息相对应的一个以上的缩略图以及用于改变所述基准值的第一用户界面。
Description
相关申请的交叉引用
这个申请基于并要求2012年5月11日提交的第2012-109833号日本专利申请的优先权的权益,通过引用将其全部内容结合在这里。
技术领域
此处描述的实施例大体涉及能够检索手写文档中的笔迹的电子装置以及该电子装置中使用的手写文档检索方法。
背景技术
近年来,已经开发了包含写字板、PDA和智能手机的各种电子装置。大部分这个类型的电子装置包含触摸屏显示器,以便于用户输入操作。
用户利用手指等等来触摸显示在触摸屏显示器上的菜单或对象,从而可以指示便携式电子装置执行与该菜单或对象有关的功能。
然而,许多带有触摸屏显示器的现有的电子装置是追求图像数据、音乐数据及其他媒体数据的操作性的消费产品,因此不可能必然地适合于包含会议、商务会议和产品开发的商业情形。因此,在商业情形中仍然广泛地使用纸质笔记簿。
已经考虑到一种存储笔迹信息的方法,该笔迹信息包含分别与在代替纸质笔记簿的触摸屏显示器上手写的多个笔划相对应的多个笔划数据项。
此外,已经建议一种从存储的笔迹信息检索笔迹信息部分的笔迹检索处理,该笔迹信息部分具有笔划的轨迹,该笔划的轨迹和与指定为检索关键字的特殊的笔迹信息部分相对应的笔划的轨迹的相似度大于或等于基准值。
然而,在笔迹检索处理中,想要的笔迹信息部分有时没有被检索到,或者不想要的笔迹信息部分偶尔被检索到。
发明内容
因此,这个发明的目的是提供一种电子装置和手写文档检索方法,可以从笔迹信息检索想要的笔迹信息部分,并且可以不从笔迹信息检索不想要的笔迹信息部分。
通常,根据一个实施例,电子装置包含触摸屏显示器、检索模块和显示处理模块。该检索模块被配置为从存储在存储介质中的笔迹信息中检索第一笔迹信息部分,第一笔迹信息部分与被指定作为检索关键字的特定的笔迹信息部分的相似度大于或等于基准值。该笔迹信息包含与多个笔划相对应的多个笔划数据。显示处理模块被配置为在所述触摸屏显示器上显示与包含第一笔迹信息部分的笔迹信息相对应的一个以上的缩略图以及用于改变基准值的第一用户界面。
根据该电子装置,可以检索到想要的笔迹信息部分,并且可以不检索到不想要的笔迹信息部分。
附图说明
现在将参考附图描述实现实施例的各种特征的大体的结构。提供附图和相关的描述是为了说明本发明的实施例,而不是为了限制本发明的范围。
图1是显示根据本发明的实施例的电子装置的外观的示范性立体图。
图2是显示该实施例的电子装置和外部装置之间的合作的示范性的图。
图3是显示手写在该实施例的电子装置的触摸屏显示器上的文档的示范性的图。
图4是说明该实施例的时间序列信息的示范性的附图。
图5是显示该实施例的电子装置的***结构的示范性的方框图。
图6是显示该实施例的数字笔记本应用程序的功能结构的示范性的方框图。
图7是说明用于该实施例的手写文档生成处理的过程的示范性的流程图。
图8是显示检索屏幕的示范性的图。
图9是显示检索结果的示范性的图。
图10是显示检索结果的示范性的图。
图11是显示检索结果的示范性的图。
图12是显示做出从图8的检索屏幕到某个页面的跳转(jump)的方式的示范性的图。
图13是显示在图12的状态中已经改变基准值的方式的示范性的图。
图14是显示在图12的状态中已经改变基准值的方式的示范性的图。
图15是说明用于该实施例的检索处理的过程的示范性的流程图。
图16是显示数字笔记本应用程序202的功能结构的变形的示范性的图。
图17是显示数字笔记本应用程序202的功能结构的变形的示范性的图。
图18是显示检索屏幕的示范性的图。
具体实施方式
以下将参考附图说明各种实施例。
图1是显示根据本发明的实施例的电子装置的外观的立体图。该电子装置例如是能够利用笔或者手指来手写输入的基于笔的便携式电子装置。该电子装置可以以平板电脑、笔记本式个人计算机、智能手机、PDA等等的形式被实现。在下文中,将假设该电子装置以平板电脑10的形式被实现来给出说明。该平板电脑10包含主体11和触摸屏显示器17,该平板电脑10是被称为平板的或者直板的电脑的便携式电子装置。该触摸屏显示器17被安装在主体11上,以便被放置在主体11的上表面上。
该主体11是薄的盒状底架。在触摸屏显示器17中,结合了平板显示器和配置为感测平板显示器的屏幕上的笔或者手指的接触位置的传感器。平板显示器例如可以是液晶显示器(LCD)。作为传感器,例如,可以使用电容式触摸板或者电磁感应式数字转换器。在下文中,假设两种类型的传感器,数字转换器和触摸板,已经被结合在触摸屏显示器17中。
设置数字转换器和触摸板中的每一个,以便覆盖平板显示器的屏幕。触摸屏显示器17不仅可以感测利用手指在屏幕上的触摸操作而且可以感测利用笔100在屏幕上的触摸操作。笔100例如可以是电磁感应笔。用户可以使用外部对象(笔100或者手指)来执行触摸屏显示器17上的手写输入操作。在手写输入操作中,外部对象(笔100或者手指)在屏幕上的移动的轨迹,也就是说,在手写输入操作中手写的笔划的轨迹(笔迹),实时地被画出,因而每个笔划的轨迹被显示在屏幕上。在外部对象接触屏幕期间的外部对象的移动的轨迹对应于一个笔划。与手写字符或者图形相对应的笔划的集合,也就是说,许多轨迹(笔迹)的集合构成手写文档。
在该实施例中,这个手写文档不是以图像数据的形式,而是以单独的笔划的轨迹的坐标列以及代表笔划之间的顺序关系的时间序列的形式被存储在存储介质中。稍后将参考图4详细地说明时间序列信息。时间序列信息通常意味着与单独的笔划相对应的时间序列笔划数据项的集合。每个笔划数据项对应于一个笔划,并且包含与笔划的轨迹上的单独的点相对应的坐标数据序列(时间序列坐标)。笔划数据项的次序对应于单独的笔划已经被手写的顺序,亦即笔划顺序。
平板电脑10可以从存储介质中读取任意一条现有的时间序列信息,并且在屏幕上显示与时间序列信息相对应的手写文档,亦即,分别与时间序列信息所示的多个笔划相对应的轨迹。平板电脑10进一步具有编辑功能。根据由用户使用“擦除”工具、范围指定工具及其他各种工具的编辑操作,该编辑功能可以删除或者移动当前显示的手写文档中的任意的笔划、任意的手写字符等等。该编辑功能还包含取消一些笔迹操作的历史的功能。
在该实施例中,时间序列信息(手写文档)可以作为一个或者多个页面被管理。在这种情况下,时间序列信息(手写文档)可以以装进屏幕的面积单位被划界,使得装进屏幕的多条时间序列信息的集合能够被记录作为一个页面。另外地,页面的尺寸是可变的。在这种情况下,可以使得页面的尺寸大于一个屏幕的尺寸,因此,面积大于屏幕的尺寸的手写文档可以被视为一个页面。当整体页面不能显示在显示器上时,该页面可以被缩小。另外地,通过垂直地或者水平地滚动该页面来移动该页面的显示的部分。
图2显示了平板电脑10和外部装置之间的合作。该平板电脑10可以与个人计算机1或者云合作。具体地,包含诸如无线局域网的无线通信装置的平板电脑10可以与个人计算机1执行无线通信。此外,平板电脑10还可以与因特网上的服务器2通信。该服务器2可以是提供在线存储服务或者其他各种云计算服务的服务器。
个人计算机1包含诸如硬盘驱动器(HDD)的存储装置。平板电脑10可以经由网络将时间序列信息(手写文档)发送个人计算机1,并且在个人计算机1的HDD中记录该时间序列信息(以上传操作)。为了确保平板电脑10和个人计算机1之间的安全通信,个人计算机1可以在通信开始时验证该平板电脑10。在这种情况下,提示用户输入ID或者密码的对话框可以被显示在平板电脑10的屏幕上。另外地,平板电脑10的ID等等可以自动地从平板电脑10被发送到个人计算机1。
即使在平板电脑10中的存储的容量少的时候,这也使得平板电脑1能够操作大量的多条时间序列信息(手写文档)或者大量的时间序列信息(手写文档)。
此外,平板电脑10可以读取(或者下载)记录在个人计算机1的HDD上的任意一条以上的时间序列信息,并且在平板电脑10的显示器17的屏幕上显示由读取的时间序列信息所示的每个笔划的轨迹。在这种情况下,通过缩小多条时间序列信息(手写文档)的每个页面而获得的一列缩略图可以被显示在显示器17的屏幕上。另外地,从缩略图选择的一个页面可以以正常尺寸被显示在显示器17的屏幕上。
只要是与一条时间序列信息(手写文档)相对应的显示屏幕(图像),缩略图可以采用任何形式。缩略图可以是如此以致一条时间序列信息(手写文档)被任意放大或者缩小,或者根据放大倍率被处理成为便于看见的形式。
此外,平板电脑10与其通信的目的地可以是提供存储服务的云上的服务器2,而不是个人计算机1。平板电脑10可以经由网络将时间序列信息(手写文档)发送到服务器2,并且在服务器2的存储装置2A中记录(上传)时间序列信息。而且,平板电脑10可以读取(下载)记录在服务器2的存储装置2A中的任意一条时间序列信息,并且在平板电脑10的显示器17上显示在那个时候由每条时间序列信息所示的每个笔划的轨迹。
如上所述,在该实施例中,存储时间序列信息的存储介质可以是平板电脑10中的存储装置、个人计算机1中的存储装置、以及服务器2的存储装置中的任何一个。
接下来,将参考图3和4说明由用户手写的笔划(字符、标记或者图形)和时间序列信息之间的关系。图3显示利用笔100等等在触摸屏显示器17上手写的手写文档(或者手写字符串)的实例。
在手写文档中,在已经手写的字符或者图形上常常手写另一个字符或者图形。在图3中,假设手写字符串“ABC”以这个顺序:“A”、“B”、“C”被手写。此后,假定手写箭头非常靠近手写的字母“A”地被手写。
手写字符“A”通过利用笔100等等手写的两个笔划(“∧”形状的轨迹和“-”形状的轨迹),亦即,通过两个轨迹被表现。首先利用笔100手写的“∧”形状的轨迹以等时间间隔被实时采样,产生“∧”形状的笔划的时间序列坐标SD11、SD12、...、SD1n。类似地,接下来利用笔100手写的-形状的轨迹同样被采样,产生“-”形状的笔划的时间序列坐标SD21、SD22、...、SD2n。
手写字符“B”通过利用笔100等等手写的两个笔划,亦即通过两个轨迹被表现。手写字符“C”通过利用笔100等等手写的一个笔划,亦即通过一个轨迹被表现。手写箭头通过利用笔100等等手写的两个笔划,亦即通过两个轨迹被表现。
图4显示了与图3的手写文档相对应的时间序列信息200。该时间序列信息包含多个笔划数据项SD1、SD2、...、SD7。在时间序列信息200中,这些笔划数据项SD1、SD2、...、SD7以笔划顺序排列,也就是说,以已经手写多个笔划的顺序按照时间顺序地排列。
在时间序列信息200中,最初两个笔划数据项SD1、SD2分别代表手写字符“A”的两个笔划。第三和第四笔划数据项SD3、SD4分别代表组成手写字符“B”的两个笔划。第五笔划数据项SD5代表组成手写字符“C”的一个笔划。第六和第七笔划数据项SD6,SD7分别代表组成手写箭头的两个笔划。
每个笔划数据项包含与一个笔划相对应的坐标数据序列(时间序列坐标),也就是说,分别与笔划的轨迹上的多个点相对应的多个坐标。在每个笔划数据项中,以已经写的笔划的顺序按照时间顺序地排列多个坐标。例如,关于手写字符“A”,笔划数据项SD1包含与手写字符“A”中的“∧”形状的笔划的轨迹上的点相对应的坐标数据序列(时间序列坐标),也就是说,包含n个坐标数据项SD11、SD12、...、SD1n。笔划数据项SD2包含与手写字符“A”中的-形状的笔划的轨迹上的点相对应的坐标数据序列,亦即,包含n个坐标数据项SD21、SD22、...、SD2n。对于坐标数据项的数目,笔划数据项可以与另一个笔划数据项不同。
每个坐标数据项代表与相应的轨迹中的点相对应的x坐标和y坐标。例如,坐标数据项SD11代表“∧”形状的笔划的起点的x坐标(X11)和y坐标(Y11)。SD1n代表“∧”形状的笔划的终点的x坐标(X1n)和y坐标(Y1n)。
此外,每个坐标数据项可以包含与已经手写与该坐标相对应的点的时间点相对应的时间戳信息T。已经手写该点的时间点可以是绝对时间(例如年、月、日、小时、分钟、秒)或者使用某个时间点作为基准的相对时间。例如,开始写笔划的绝对时间(例如年、月、日、小时、分钟、秒)可以作为时间戳信息被添加到每个笔划数据项,并且代表与绝对时间的差异的进一步的相对时间可以作为时间戳信息T被添加到笔划数据项中的每个坐标数据项。
如上所述,其中时间戳信息T已经被添加到每个坐标数据项的时间序列信息的使用使得笔划之间的时间关系能够被准确地表示。
此外,表示笔压力的信息(Z)可以被添加到每个坐标数据项。
具有图4中说明的结构的时间序列信息200不仅可以表示每个笔划的笔压力,而且还可以表示笔划之间的时间关系。因此,即使已经写了手写箭头的尖端部分,以致如图3所示与手写字符“A”重叠或者靠近手写字符“A”,时间序列信息200的使用也使得手写字符“A”和该箭头的手写尖端部分能够被视为不同的字母或者图形。
现在,假设该用户已经在如图3中的虚线方块所示在屏幕上指定某个范围。由虚线方块所示的指定范围包含手写字符“A”的两个笔划以及与手写箭头的尖端部分相对应的一个笔划。在通常的情况中,很可能是不仅手写字符“A”的两个笔划而且与手写箭头的尖端部分相对应的一个笔划将被选为要被处理的时间序列信息部分。
然而,在该实施例中,时间序列信息200的使用使得手写箭头的尖端部分能够从要被处理的时间序列信息部分被排除。具体地,在该实施例中,分析该时间序列信息200。作为分析的结果,已经判定手写字符“A”的两个笔划(笔划数据项SD1,SD2)已经被连续地手写。此外,已经判定手写该手写箭头的尖端部分(笔划数据项SD7)的时刻与手写该手写字符“A”的时刻是不连续的。因此,可以从要被处理的时间序列信息中排除该手写箭头的尖端部分(笔划数据项SD7)。在这种情况下,可以基于时间序列信息中的笔划数据项的排列来判定手写该手写箭头的尖端部分(笔划数据项SD7)的时刻与手写该手写字符“A”的时刻是否是不连续的。另外地,可以使用上述时间戳信息T来进行这个判定。时间戳信息T的使用能够实现较高准确度的判定。此外,可以基于时间序列信息中的笔划数据项的排列以及时间戳信息T两者来进行上述判定。例如,如果在笔划数据项SD2和笔划数据项SD7之间包含特定数量以上的笔划数据项,那么可以判定写笔划数据项SD7的时刻与写笔划数据项SD2的时刻是不连续的。如果在笔划数据项SD2和笔划数据项SD7之间的笔划数据项的数量小于该特定数量,那么可以基于笔划数据项SD2中的时间戳信息和笔划数据项SD7中的时间戳信息,判定写笔划数据项SD7的时刻与写笔划数据项SD2的时刻是否是不连续的。在这种情况下,可以将添加到笔划数据项SD2中的最后的坐标数据项的时间戳信息T2n与添加到笔划数据项SD7中的第一坐标数据项的时间戳信息T71进行比较。
此外,在该实施例的时间序列信息200中,笔划数据项SD1、SD2、...、SD7的排列代表手写字符的笔划顺序。例如,笔划数据项SD1和SD2的排列表明“∧”形状的笔划已经被手写,然后“-”形状的笔划已经被手写。因此,即使当两个手写字符彼此笔迹类似,如果它们的笔划顺序彼此不同,那么它们可以被识别为两个不同的手写字符。
而且,在该实施例中,因为手写文档是以由时间序列笔划数据项的集合组成的时间序列信息200的形式被存储,而不是以图像或者符号识别结果的形式被存储,所以可以独立于手写字符的语言来操作手写字符。因此,在该实施例中的时间序列信息200的结构能够以同样的方式在全世界语言不同的各个国家中被使用。
图5显示平板电脑10的***结构。
如图5所示,平板电脑10包含CPU 101、***控制器102、主存储器103、图形控制器104、BIOS-ROM 105、非易失性存储器106、无线通信装置107和嵌入式控制器(EC)108。
CPU 101是控制平板电脑10中的各个模块的操作的处理器。CPU 101执行从非易失性存储器106、存储装置装载到主存储器103的各种软件程序。这些软件程序包含操作***(OS)201和各种应用程序。应用程序包含数字笔记本应用程序202。数字笔记本应用程序202具有生成和显示手写文档的功能、编辑手写文档的功能、检索笔迹的功能、识别字符和图的功能等等。
此外,CPU 101执行存储在BIOS-ROM 105中的基本输入/输出***(BIOS)。BIOS是用于硬件控制的程序。
***控制器102是连接CPU 101的局部总线与各个部件的装置。***控制器102结合了执行主存储器103的访问控制的存储控制器。此外,***控制器102同样具有经由符合PCI EXPRESS标准的串行总线与图形控制器104通信的功能。
图形控制器104是控制用作平板电脑10的显示监视器的LCD 17A的显示控制器。由图形控制器104产生的显示信号被发送到LCD 17A。LCD 17A基于该显示信号显示屏幕图像。在LCD 17A上,布置了触摸板17B和数字转换器17C。触摸板17B是用于在LCD 17A的屏幕上输入的电容式指向装置。触摸板17B检测屏幕上手指触摸的接触位置以及接触位置的移动。数字转换器17C是用于在LCD 17A的屏幕上输入的电磁指向装置。数字转换器17C检测屏幕上笔100触摸的接触位置以及接触位置的移动。
无线通信装置107是配置为执行诸如无线局域网或者3G移动通信的无线通信的装置。EC 108是包含用于电源管理的嵌入式控制器的单芯片微型机。EC108具有根据通过用户对电源按钮的操作来接通或者断开平板电脑10的电源的功能。
接下来,将参考图6说明数字笔记本应用程序202的功能结构。
数字笔记本应用程序202包含笔轨迹显示模块301、时间序列信息生成模块302、页面存储模块304、页面获取模块305、手写文档显示模块306、基准值通知模块307和处理模块308。
数字笔记本应用程序202通过触摸屏显示器17的使用来使用笔划数据输入,从而生成、显示或者编辑手写文档。触摸屏显示器17被配置为检测事件的出现,事件诸如是“触摸”、“移动(滑动)”或者“释放”。“触摸”是表明外部对象已经与屏幕接触的事件。“移动(滑动)”是表明在外部对象与屏幕接触的同时已经移动该接触位置的事件。“释放”是表明外部对象已经与屏幕分离的事件。
笔轨迹显示模块301和时间序列信息生成模块302接收由触摸屏显示器17产生的“触摸”或者“移动(滑动)”,从而检测手写输入操作。“触摸”事件包含接触位置的坐标。“移动(滑动)”事件同样包含在移动目的地的接触位置的坐标。因此,笔轨迹显示模块301和时间序列信息生成模块302可以从触摸屏显示器17接收与该接触位置的移动的轨迹相对应的坐标串。
笔轨迹显示模块301从触摸屏显示器17接收坐标串,并且基于该坐标串,在触摸屏显示器17的LCD 17A的屏幕上显示通过利用笔100等等的手写输入操作所手写的每个笔划的轨迹。在笔100与屏幕接触期间,笔轨迹显示模块301在LCD 17A的屏幕上画出笔100的轨迹,亦即每个笔划的轨迹。
时间序列信息生成模块302接收从触摸屏显示器17输出的坐标串,并且生成具有如图4中详细描述的结构的时间序列信息。在这种情况下,时间序列信息,亦即与笔划中的单独的点相对应的坐标和时间戳信息,可以临时被存储在工作存储器401中。
页面存储模块304以手写文档(手写页面)的形式将生成的时间序列信息存储在存储介质402中。如上所述,存储介质402可以是平板电脑10中的存储装置、个人计算机1中的存储装置、以及服务器2的存储装置中的任何一个。
页面获取模块305从存储介质402中读取已经存储的任意一条时间序列信息。读取的一条时间序列信息被发送到手写文档显示模块306。手写文档显示模块306分析时间序列信息,并且基于该分析结果,在该屏幕上显示由时间序列信息所示的每个笔划的轨迹作为手写页面。
基准值通知模块307根据输入通知稍后描述的检索模块309笔迹检索处理中的基准值。
处理模块308可以使要被处理的时间序列信息经受各种处理,例如笔迹检索处理。处理模块308包含检索模块309。
检索模块309从多条时间序列信息中的特定的时间序列信息部分(特定手写字符等等)中,检索已经存储在存储介质402中的多条时间序列信息(多个手写页面)。检索模块309包含指定模块,该指定模块被配置为将该特定的时间序列信息部分指定作为检索关键字或者检索查询。检索模块309从多条时间序列信息中的每条时间序列信息中检索时间序列信息部分,该时间序列信息部分具有笔划的轨迹,该笔划的轨迹和与特定的时间序列信息部分相对应的笔划的轨迹的相似度大于或等于基准值。然后,检索模块309在LCD 17A的屏幕上可视地显示与检索的时间序列信息部分相对应的轨迹。
例如,作为被指定作为检索查询的特定的时间序列信息部分,可以使用特定的手写字符、特定的手写字符串、特定的手写符号、特定的手写图形等等。在下文中,假设了特定的手写字符串被指定作为检索查询的情形。
检索模块309是以该模块309从已经记录的手写页面中检索手写字符串的这种方式来检索笔迹的,该手写字符串具有与用作检索查询的特定的手写字符串类似的笔迹。此外,该检索模块309可以仅仅从一个当前显示的手写页面中检索笔迹。
可以使用各种方法作为计算手写字符之间的相似度的方法。例如,每个笔划的坐标串可以被视为矢量。在这种情况下,为了计算要彼此进行比较的矢量之间的相似度,要彼此进行比较的矢量的内积可以被用作要彼此进行比较的矢量之间的相似度。作为另一个实例,每个笔划的轨迹可以被视为图像,并且要彼此进行比较的轨迹的图像彼此重叠变得最多的部分的面积的大小可以被用作相似度。可以想出减少计算量的装置。此外,动态规划匹配可以被用作计算手写字符之间的相似度的方法。
检索模块309的指定模块可以在屏幕上显示要被检索的字符串或者用于手写图形的检索关键字输入区域。在检索关键字输入区域中由用户手写的字符串等等被用作检索查询。
例如,用户可以通过利用手写的圆圈包围当前显示页面的一部分来指定一个范围。另外地,用户可以使用预备菜单在“选择”模式中设置数字笔记本应用程序202,然后利用笔100来描绘当前显示页面的一部分。
如上所述,当在当前显示的时间序列信息(手写页面)中的时间序列信息部分(手写字符串)已经被选择作为检索查询时,检索模块309从检索对象排除被选择作为检索查询的时间序列信息部分。具体地,检索模块309不是从整个当前显示的时间序列信息,而是从排除了选择的时间序列信息部分的当前显示的时间序列信息中检索具有笔划轨迹的时间序列信息部分,该笔划的轨迹和与选择的时间序列信息部分相对应的笔划的轨迹的相似度大于或等于基准值。
如上所述,从检索对象排除选择作为检索查询的时间序列信息部分防止了选择的时间序列信息部分(要被检索的字符串)本身被显示作为检索结果。
因此,用户可以通过在当前显示的页面上手写被用作检索查询的新的字符串并且选择该字符串来输入检索查询。在这种情况下,因为新的手写字符串(检索查询)本身从检索对象被排除,所以新的手写字符串本身并没有被显示作为检索结果。因此,可以容易地使用当前显示的手写页面的一部分作为检索查询,而不在屏幕上显示检索关键字输入区域。
如上所述,利用该实施例,可以从已经写的多个手写页面中检索与选择作为检索查询的手写字符的特征类似的手写字符。因此,可以从过去生成和存储的许多手写页面中容易地检索满足用户目的的手写页面。
与文本检索不同,该实施例的笔迹检索不需要字符识别。因为笔迹检索不依赖于语言,所以可以检索任何语言的手写页面。此外,图形等等可以被用作用于笔迹检索的检索查询。此外,除了语言之外的符号、标记等等可以被用作用于笔迹检索的检索查询。
接下来,将参考图7中的流程图来说明由数字笔记本应用程序202执行的手写页面生成处理的过程。
当用户利用笔100执行手写输入操作时(方框S11),产生“触摸”或者“移动”事件。基于这些事件,数字笔记本应用程序202检测笔100的移动的轨迹(方框S12)。如果已经检测到笔100的移动的轨迹(方框S12中的是),那么数字笔记本应用程序202显示检测的笔100的移动的轨迹(方框S13)。此外,数字笔记本应用程序202基于与检测的笔100的移动的轨迹相对应的坐标串生成时间序列信息,并且在工作存储器401中临时地存储时间序列信息(方框S14)。
图8显示了通过数字笔记本应用程序202为用户显示的笔迹检索屏幕500的实例。
笔迹检索屏幕500显示检索关键字输入区域501、检索按钮501A、清除按钮501B和滑动条502。检索关键字输入区域501是用于手写要被检索的字符串或者图形的输入区域。检索按钮501A是用于指定笔迹检索处理的执行的按钮。清除按钮501B是用于指定在检索关键字输入区域501中手写的字符串或者图形的删除(或者清除)的按钮。可以通过在滑动条502中左右滑动按钮502A来调整笔迹检索处理中的基准值。
笔迹检索屏幕500进一步显示一个以上的手写缩略图601。在图8的实例中,显示了分别与九个手写页面相对应的九个手写缩略图601。
如图9所示,当在手写字符串“TABLET”被输入到检索关键字输入区域501的状态下按压检索按钮501A时,开始从九个手写页面中的每一个页面中检索手写字符串“TABLET”的笔迹检索处理。然后,在笔迹检索屏幕500上,显示与包含该手写字符串“TABLET”的一些手写页面相对应的手写页面缩略图。图9显示了九个手写页面中的五个手写页面已经被检索作为包含手写字符串“TABLET”的手写页面的情形。命中的字(hitword),亦即,五个手写页面缩略图中的手写字符串“TABLET”被突出显示以便区别于剩余的手写部分。
在图9中所示的状态中,例如,当按钮502A已经被滑动以降低基准值时,显示图10中所示的检索结果显示屏幕。作为降低基准值的结果,九个手写页面中的六个手写页面被检索作为包含手写字符串“TABLET”的手写页面。
在图9中所示的状态中,例如,当按钮502A已经被滑动以增加基准值时,显示图11中所示的检索结果显示屏幕。作为增加基准值的结果,九个手写页面中的五个手写页面被检索作为包含手写字符串“TABLET”的手写页面。
已经由用户选择的五个检索到的手写页面缩略图中的一个,与选择的手写页面缩略图601A相对应的手写页面601B以正常尺寸被显示在如图12所示的屏幕上。在手写页面601B上,显示检索按钮700。当用户已经按压检索按钮700时,显示屏幕的内容返回到图11的左侧上所示的检索屏幕。在手写页面601B上,滑动条被进一步显示作为用于调整笔迹检索处理中的基准值的用户界面。可以通过横向地滑动滑动条701中的按钮701A,在设置的范围中调整笔迹检索处理中的基准值。
在图12的手写页面601B中,手写字符串“TABLET”711、712被突出显示。在图12中所示的状态中,例如,当按钮502A已经被滑动以降低基准值时,显示图13中所示的检索结果显示屏幕。作为降低基准值的结果,显示手写页面601B。在手写页面601B中,手写字符串“TABLET”711到713被突出显示。在图12中所示的状态中,例如,当按钮502A已经被滑动以增加基准值时,显示图14中所示的检索结果显示屏幕。作为增加基准值的结果,显示手写页面601C。在手写页面601C中,手写字符串“TABLET”711被突出显示。
接下来,将参考图15中的流程图说明用于笔迹检索处理的过程。根据用户操作,数字笔记本应用程序202将手写方框(时间序列信息部分),亦即,手写字符串、手写图形等等,指定作为检索关键字(检索查询(方框S31)。然后数字笔记本应用程序202从多个手写文档(手写页面)中检索手写方框,该手写方框具有笔划的轨迹,该笔划的轨迹和被指定为检索关键字的手写方框中的笔划的轨迹的相似度大于或等于基准值(方框S32)。检索的手写方框被突出显示(方框S33)。
图16显示数字笔记本应用程序202的功能结构的变形。
根据在笔迹检索屏幕500的检索关键字输入区域501中手写的字符串或者图形的笔划数,基准值设置模块310在检索模块309中设置基准值。例如,每当笔划数增加时,可以减少该基准值。随着笔划数增加,要被检索的字符串或者图形的数量减少。每当笔划数增加而基准值减少时,这抑制了要被检索的字符串或者图形的数量的减少。
图17显示数字笔记本应用程序202的功能结构的变形。
识别模块311使得当前显示的时间序列信息(手写页面)和在检索关键字输入区域501中手写的字符串或者图形经受诸如手写字符识别、手写图形识别或者手写表识别的识别处理。
基于在识别模块311识别当前显示的时间序列信息(手写页面)的结果以及识别在检索关键字输入区域501中手写的字符串或者图形的结果,基准值设置模块312从时间序列信息(手写页面)中对检索关键字进行检索。基准值设置模块312基于使用该识别结果的检索结果以及在检索模块309处的笔迹检索结果,在检索模块309中设置适合的基准值。基准值设置模块312设置基准值,以致使用该识别结果的检索结果可以符合在检索模块309处的笔迹检索结果。例如,当在检索模块309处的笔迹检索结果已经证明比使用该识别结果的检索结果检索到更多部分时,基准值被设置为比当前的设置值高。例如,在检索模块309处的笔迹检索结果已经证明比使用该识别结果的检索结果检索到更少的部分,基准值被设置为比当前的设置值低。
通过识别模块311和基准值设置模块312执行的处理不需要每次都被进行。当由另一个用户输入的时间序列信息(手写页面)经受笔迹检索处理时,这是有效的。
图18显示了由电子装置显示的检索屏幕。
当由另一个人输入的时间序列信息(手写页面)受到笔迹检索时,因为笔迹不同,所以除非基准值被减少,否则难以检索笔迹。因此,作为用于改变基准值的用户界面,如图18所示,可以显示自己按钮801和他人按钮802。当他人按钮802已经***作时的基准值被设置为比当自己按钮801已经***作时的基准值低。
此外,当获取存储在服务器2中的时间序列信息(手写页面)并且获取的手写页面经受笔迹检索处理时,可以自动地设置当他人按钮802已经***作时的基准值。存储在服务器2中的手写页面是由另一个用户生成的手写页面的可能性很高。因此,当他人按钮802已经***作时的基准值的使用使得可以检索想要的笔迹信息部分。
如上所述,利用该实施例,用于改变笔迹检索处理中的基准值的用户界面被显示在触摸屏显示器17的显示屏幕上。这使得用户能够使用该用户界面来改变基准值。因此,不仅可以从手写页面检索想要的笔迹信息部分,而且可以防止在笔迹检索处理中从手写页面检索不想要的笔迹信息部分。
笔迹检索处理和识别处理(字符识别处理,图形识别处理,表识别处理)可以通过与平板电脑10合作的个人计算机1或者因特网上的服务器2被执行。
因为在该实施例中在手写文档上执行的各种处理可以通过计算机程序被实现,所以可以仅仅通过经由已经存储了计算机程序的计算机可读存储介质将计算机程序安装到具有触摸屏显示器的常规计算机中来容易地实现和本实施例相同的效果。
这里说明的***的各种模块可作为应用程序软件、硬件和/或软件模块、或者在一个或多个如服务器的计算机上的组件来实现。当各种模块被分别说明时,它们可能共享部分或完全相同的基础逻辑或编码。
虽然已经描述了某些实施例,但是这些实施例仅仅是通过举例而给出的,并不是想要限定本发明的范围。实际上,在此描述的新的实施例可以包含在各种其他形态之中;此外,在没有违背本发明的精神的情况下,能够以在此描述的实施例的形式,作出各种省略、替换和变化。附带的如权利要求书和它们的等效物意欲覆盖这种属于本发明的范围和精神的形式或变形。
Claims (8)
1.一种电子装置,其特征在于,包括:
触摸屏显示器;
检索模块,被配置为从存储在存储介质中的笔迹信息中检索第一笔迹信息部分,所述第一笔迹信息部分与被指定作为检索关键字的特定的笔迹信息部分的相似度大于或等于基准值,所述笔迹信息包含与多个笔划相对应的多个笔划数据;和
显示处理模块,被配置为在所述触摸屏显示器上显示与包含所述第一笔迹信息部分的笔迹信息相对应的一个以上的缩略图以及用于改变所述基准值的第一用户界面。
2.如权利要求1所述的装置,其特征在于,
如果通过所述第一用户界面改变所述基准值,那么所述检索模块被配置为检索第二笔迹信息部分,所述第二笔迹信息部分与所述特定的笔迹信息部分的所述相似度大于或等于改变的基准值。
3.如权利要求2所述的装置,其特征在于,所述显示处理模块被配置为基于与从所述一个以上的缩略图中选择的缩略图相对应的第一笔迹信息,在所述触摸屏显示器上显示笔划。
4.如权利要求3所述的装置,其特征在于,所述显示处理模块被配置为显示所述第一笔迹信息部分和另一个笔迹信息部分,以使彼此能够区分。
5.如权利要求4所述的装置,其特征在于,所述显示处理模块被配置为在所述触摸屏显示器上进一步显示用于改变基准值的第二用户界面,
如果通过所述第二用户界面改变所述基准值,那么所述检索模块被配置为从所述第一笔迹信息中检索第三笔迹信息部分,所述第三笔迹信息部分与所述特定的笔迹信息部分的所述相似度大于或等于改变的基准值,以及
所述第二显示处理模块被配置为显示再次检索的所述第三笔迹信息部分和另一个笔迹信息部分,以使彼此能够区分。
6.如权利要求1所述的装置,其特征在于,所述显示处理模块被配置为在所述触摸屏显示器上显示检索关键字输入区域,在所述检索关键字输入区域中手写要被检索的字符串或者图形,以及
所述检索模块被配置为使用在所述检索关键字输入区域中手写的字符串或者图形作为所述检索关键字。
7.如权利要求6所述的装置,其特征在于,进一步包括,设置模块,被配置为检测在所述检索关键字输入区域中手写的字符串或者图形的笔划数,并且基于所述笔划数在所述检索模块中设置基准值。
8.一种手写文档检索方法,其特征在于,包括:
从存储在存储介质中的笔迹信息中检索笔迹信息部分,所述笔迹信息部分与被指定作为检索关键字的特定的笔迹信息部分的相似度大于或等于基准值,所述笔迹信息包含与多个笔划相对应的多个笔划数据;和
在所述触摸屏显示器上显示与包含所述笔迹信息部分的笔迹信息相对应的一个以上的缩略图以及用于改变所述基准值的用户界面。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-109833 | 2012-05-11 | ||
JP2012109833A JP5395927B2 (ja) | 2012-05-11 | 2012-05-11 | 電子機器および手書き文書検索方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103390011A true CN103390011A (zh) | 2013-11-13 |
Family
ID=49534287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012103377049A Pending CN103390011A (zh) | 2012-05-11 | 2012-09-13 | 电子装置和手写文档检索方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8938123B2 (zh) |
JP (1) | JP5395927B2 (zh) |
CN (1) | CN103390011A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112463008A (zh) * | 2019-09-09 | 2021-03-09 | 西安诺瓦星云科技股份有限公司 | 电子白板的控制方法、装置及***和计算机可读存储介质 |
CN112639700A (zh) * | 2018-11-19 | 2021-04-09 | 深圳市柔宇科技股份有限公司 | 手写笔迹处理方法、手写输入设备及计算机可读存储介质 |
CN113010741A (zh) * | 2021-03-30 | 2021-06-22 | 南京大学 | 基于草图的移动应用模型查询方法 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5751228B2 (ja) * | 2012-09-05 | 2015-07-22 | コニカミノルタ株式会社 | 会議支援システム及び制御装置並びに入力端末 |
WO2014174665A1 (ja) * | 2013-04-26 | 2014-10-30 | 株式会社 東芝 | システムおよび筆跡検索方法 |
US10528249B2 (en) * | 2014-05-23 | 2020-01-07 | Samsung Electronics Co., Ltd. | Method and device for reproducing partial handwritten content |
US10228775B2 (en) * | 2016-01-22 | 2019-03-12 | Microsoft Technology Licensing, Llc | Cross application digital ink repository |
JP6764124B1 (ja) * | 2020-04-21 | 2020-09-30 | 富士通クライアントコンピューティング株式会社 | 情報処理装置、情報処理システム、および情報処理プログラム |
KR20230118429A (ko) * | 2022-02-04 | 2023-08-11 | 삼성전자주식회사 | 사용자 입력에 대한 인식 성능 개선 방법 및 전자 장치 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0785097A (ja) * | 1993-09-17 | 1995-03-31 | Hamamatsu Photonics Kk | 情報検索装置 |
CN1151053A (zh) * | 1995-09-21 | 1997-06-04 | 佳能株式会社 | 数据存储设备及所述设备中的数据检索方法 |
CN1625741A (zh) * | 2002-01-31 | 2005-06-08 | 西尔弗布鲁克研究有限公司 | 可以通过手写检索查询来检索的电子文件管理*** |
US20070274590A1 (en) * | 2006-05-26 | 2007-11-29 | Tsunekazu Arai | Handwriting processing apparatus and method |
JP2010154089A (ja) * | 2008-12-24 | 2010-07-08 | Fuji Xerox Co Ltd | 会議システム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5530235A (en) * | 1995-02-16 | 1996-06-25 | Xerox Corporation | Interactive contents revealing storage device |
US7450114B2 (en) * | 2000-04-14 | 2008-11-11 | Picsel (Research) Limited | User interface systems and methods for manipulating and viewing digital documents |
JP2003099713A (ja) | 2001-09-25 | 2003-04-04 | Ricoh Co Ltd | 手書き情報処理装置、手書き情報処理方法、手書き情報処理プログラム、そのプログラムが記録された記録媒体、及び電子黒板 |
JP2007527039A (ja) * | 2003-06-26 | 2007-09-20 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 物理文書から電子文書を構成するためのシステムおよび方法 |
JP2005216139A (ja) | 2004-01-30 | 2005-08-11 | Toshiba Corp | 文書検索システム、文書検索方法及びプログラム |
JP2005250674A (ja) | 2004-03-02 | 2005-09-15 | Mitsubishi Electric Corp | 情報検索装置および情報検索のためのプログラム |
US8145997B2 (en) * | 2005-06-30 | 2012-03-27 | Canon Kabushiki Kaisha | Method for simultaneously performing a plurality of handwritten searches |
JP4728860B2 (ja) * | 2006-03-29 | 2011-07-20 | 株式会社東芝 | 情報検索装置 |
JP4873138B2 (ja) | 2006-06-21 | 2012-02-08 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
KR100929236B1 (ko) * | 2007-09-18 | 2009-12-01 | 엘지전자 주식회사 | 터치스크린을 구비하는 휴대 단말기 및 그 동작 제어방법 |
JP5194776B2 (ja) * | 2007-12-21 | 2013-05-08 | 株式会社リコー | 情報表示システム、情報表示方法およびプログラム |
JP5644247B2 (ja) | 2010-08-11 | 2014-12-24 | 富士通株式会社 | 文字認識装置、文字認識方法及び文字認識プログラム |
-
2012
- 2012-05-11 JP JP2012109833A patent/JP5395927B2/ja active Active
- 2012-08-31 US US13/601,009 patent/US8938123B2/en active Active
- 2012-09-13 CN CN2012103377049A patent/CN103390011A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0785097A (ja) * | 1993-09-17 | 1995-03-31 | Hamamatsu Photonics Kk | 情報検索装置 |
CN1151053A (zh) * | 1995-09-21 | 1997-06-04 | 佳能株式会社 | 数据存储设备及所述设备中的数据检索方法 |
US6373473B1 (en) * | 1995-09-21 | 2002-04-16 | Canon Kabushiki Kaisha | Data storage apparatus and data retrieval method in said apparatus |
CN1625741A (zh) * | 2002-01-31 | 2005-06-08 | 西尔弗布鲁克研究有限公司 | 可以通过手写检索查询来检索的电子文件管理*** |
US20070274590A1 (en) * | 2006-05-26 | 2007-11-29 | Tsunekazu Arai | Handwriting processing apparatus and method |
JP2010154089A (ja) * | 2008-12-24 | 2010-07-08 | Fuji Xerox Co Ltd | 会議システム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112639700A (zh) * | 2018-11-19 | 2021-04-09 | 深圳市柔宇科技股份有限公司 | 手写笔迹处理方法、手写输入设备及计算机可读存储介质 |
CN112463008A (zh) * | 2019-09-09 | 2021-03-09 | 西安诺瓦星云科技股份有限公司 | 电子白板的控制方法、装置及***和计算机可读存储介质 |
CN113010741A (zh) * | 2021-03-30 | 2021-06-22 | 南京大学 | 基于草图的移动应用模型查询方法 |
CN113010741B (zh) * | 2021-03-30 | 2023-09-05 | 南京大学 | 基于草图的移动应用模型查询方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5395927B2 (ja) | 2014-01-22 |
US20130301921A1 (en) | 2013-11-14 |
JP2013238919A (ja) | 2013-11-28 |
US8938123B2 (en) | 2015-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103390011A (zh) | 电子装置和手写文档检索方法 | |
CN103390013A (zh) | 电子装置和手写文档处理方法 | |
JP5248696B1 (ja) | 電子機器、手書き文書作成方法、及び手書き文書作成プログラム | |
JP5355769B1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US9134833B2 (en) | Electronic apparatus, method, and non-transitory computer-readable storage medium | |
JP5728592B1 (ja) | 電子機器および手書き入力方法 | |
CN103389873A (zh) | 电子装置和手写文档显示方法 | |
JP6092418B2 (ja) | 電子機器、方法及びプログラム | |
JP5925957B2 (ja) | 電子機器および手書きデータ処理方法 | |
JP5869179B2 (ja) | 電子機器および手書き文書処理方法 | |
US20160154580A1 (en) | Electronic apparatus and method | |
JP5634617B1 (ja) | 電子機器および処理方法 | |
JP2016085512A (ja) | 電子機器、方法及びプログラム | |
US9183276B2 (en) | Electronic device and method for searching handwritten document | |
JP5284523B1 (ja) | 情報処理システム、プログラムおよび情報処理システムの処理方法 | |
JP6223687B2 (ja) | 電子機器および手書き文書検索方法 | |
JP5735126B2 (ja) | システムおよび筆跡検索方法 | |
JP5330576B1 (ja) | 情報処理装置および筆跡検索方法 | |
JP6039066B2 (ja) | 電子機器、手書き文書検索方法およびプログラム | |
US8971631B2 (en) | Data processing system, data processing method, and storage medium | |
JP6202997B2 (ja) | 電子機器、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20131113 |