CN103902098A - 整形装置和整形方法 - Google Patents

整形装置和整形方法 Download PDF

Info

Publication number
CN103902098A
CN103902098A CN201310727918.1A CN201310727918A CN103902098A CN 103902098 A CN103902098 A CN 103902098A CN 201310727918 A CN201310727918 A CN 201310727918A CN 103902098 A CN103902098 A CN 103902098A
Authority
CN
China
Prior art keywords
shaping
stroke
result
plastic model
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310727918.1A
Other languages
English (en)
Inventor
柴田智行
山内康晋
井本和范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN103902098A publication Critical patent/CN103902098A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)
  • Document Processing Apparatus (AREA)

Abstract

根据实施例,整形装置包括一个以上的处理器和显示器。一个以上的处理器被配置为获取用户手写的数据。一个以上的处理器被配置为将数据分割成为多个构造。一个以上的处理器被配置为确定用于多个构造中的每个构造的整形模式。一个以上的处理器被配置为以对于多个构造中的每个构造所确定的整形模式对多个构造进行整形。显示器,所述显示器被配置为显示整形所述多个构造中的每个构造的结果。还公开一种整形方法。

Description

整形装置和整形方法
相关申请的交叉引用
这个申请是基于2012年12月27日提交的第2012-286048号日本专利申请,并要求其优先权的权益,其全部内容通过引用被结合在此。
技术领域
在此描述的实施例大体涉及整形装置和整形方法。
背景技术
有用于判定用户输入的手写数据是否是字符数据或者图形数据、并且根据该判定结果来切换用于编辑该手写数据的方法的技术。
然而,利用上述相关技术,如果用户输入包含诸如字符和图形的多个类型数据的组合的手写数据,那么手写数据不能被正确地整形。本发明要实现的目的是提供能够正确地对包含多个类型的数据的组合的手写数据进行整形的整形装置、方法和程序。
发明内容
实施例的目的是提供一种能够正确地对包含多个类型的数据的组合的手写数据进行整形的整形装置。
根据实施例,整形装置包括一个以上的处理器和显示器。一个以上的处理器被配置为获取用户手写的数据。一个以上的处理器被配置为将数据分割成为多个构造。一个以上的处理器被配置为确定用于多个构造中的每个构造的整形模式。一个以上的处理器被配置为以对于多个构造中的每个构造所确定的整形模式对多个构造进行整形。显示器,该显示器被配置为显示整形多个构造中的每个构造的结果。
根据如上所述的整形装置,即使包含多个类型数据的组合的手写数据也可以被正确地整形。
附图说明
图1是图解根据实施例的整形装置的实例的构成图;
图2是图解根据实施例的手写数据的实例的图;
图3是图解根据实施例的分割手写数据的结果的实例的图;
图4是图解根据实施例的图形整形模式中的整形结果的实例的图;
图5是图解根据实施例的数学表达式整形模式中的整形结果的实例的图;
图6是图解根据实施例的构成手写字符的笔划群的构造的实例的图;
图7是图解根据实施例的字符整形模式中的整形结果的实例的图;
图8是图解根据实施例的格线(rule)笔划的分类实例的图表;
图9是图解根据实施例的格线笔划的分类实例的图;
图10是图解根据实施例的构成手写表格的笔划群的分类结果的实例的图;
图11是图解根据实施例的识别手写表格中的区域的结果的实例的图;
图12是图解根据实施例的判定格线笔划的结果的实例的图;
图13是图解根据实施例的表格整形模式中的整形结果的实例的图;
图14是图解根据实施例的整形结果的显示实例的图;
图15是图解根据实施例的整形处理的实例的流程图;
图16是图解根据实施例的再整形与输出处理的实例的流程图;
图17是图解根据变形例1的一部分的选择实例的图;以及
图18是图解根据实施例和变形例的整形装置的示范性的硬件构造的图。
具体实施方式
以下将参照附图详细地描述实施例。
图1是图解根据实施例的整形装置10的实例的构成图。如图1图解的,该整形装置10包括输入单元11、获取单元13、接收单元15、分割单元17、确定单元19、整形单元21、显示控制器23、显示单元25、和输出单元27。
输入单元11可以利用诸如触摸面板、触摸板、鼠标和电子笔的允许手写输入的输入装置被实现。举例来说,获取单元13、接收单元15、分割单元17、确定单元19、整形单元21、显示控制器23和输出单元27可以通过使得诸如中央处理单元(CPU)的处理器执行程序来实现,即通过软件来实现,可以通过诸如集成电路(IC)的硬件来实现,或者可以通过软件和硬件的组合来实现。举例来说,显示单元25可以利用诸如触摸面板显示器或者液晶显示器的显示装置来实现。
输入单元11将手写数据输入到整形装置10,该手写数据是由用户手写的字符、图形、表格、数学表达式等等的数据。在该实施例中,假设输入单元11是触摸面板,并且用户通过利用触控笔(stylus pen)或者手指在触摸面板上手写字符、图形、表格、数学表达式等等来输入手写数据,但是该输入单元11并不局限于此。例如,输入单元11可以利用触摸板、鼠标或者电子笔来实现。
手写数据由笔划的集合组成。笔划是表示用户手写的字符、图形、表格、数学表达式等等的一个单元的数据,即,表示触控笔或者手指的从笔或者手指触摸该触摸面板的输入面到笔或者手指从那里离开(从下笔到提笔)的轨迹的数据。笔划被表示为触控笔或者手指与输入面的接触点的时间序列坐标值诸如{(x1,y1),(x2,y2),....,(xn,yn)}。
输入单元11同样输入各种指令,诸如对输入的手写数据进行整形的指令、再整形手写数据的指令、输出由整形的或者再整形的手写数据产生的整形数据的文件的指令、取消整形数据的文件的输出的指令、以及将手写数据的文件输出到整形装置10的指令。
尽管在本实施例中假定输入单元11同样输入这些各种指令,但是输入各种指令的方式并不局限于此。例如,整形装置10可以进一步包含诸如是不同于输入单元11的操作器的输入单元,并且这个输入单元可以输入上述的各种指令。
该获取单元13获取由输入单元11输入的手写数据。具体地,该获取单元13通过依序地获取由输入单元11输入的笔划来获取手写数据。
图2是图解根据实施例的手写数据的实例的图。在图2图解的实例中,手写数据41包含手写图形和手写数学表达式,该手写图形是用户手写的流程图,该手写数学表达式是用户手写的表达式。尽管将不进行详细说明,但是在该实施例中假定,一旦获取单元13获取从输入单元11输入的手写数据,笔划的坐标值就被线性地补偿,并且在显示单元25上显示产生的手写数据。在图2图解的实例中,利用整形按钮42图解显示在显示单元25上的手写数据41。注意,诸如整形按钮42的菜单屏幕被显示的形式并不局限于此,而是可以采用诸如图标或者本文的各种显示形式。
尽管在以下的描述中假定包含手写图形和手写数学表达式的手写数据,但是该手写数据并不局限于此,并且可以是包含手写字符、手写图形、手写表格、手写数学表达式等等中的至少两个的任何数据。
接收单元15(第一接收部分和第二接收部分的实例)接收由输入单元11输入的各种指令。例如,在图2图解的实例中,当触摸整形按钮42时,输入单元11输入对手写数据41进行整形的指令,并且接收单元15接收该整形指令。
分割单元17将由获取单元13获取的手写数据分割成为多个构造。具体地,当接收单元15接收对手写数据进行整形的指令时,该分割单元17根据构成获取单元13获取的手写数据的各个笔划的相对位置将该手写数据(笔划的集合)构造成为多个笔划群。
更具体地,该分割单元17计算构成获取的手写数据的每个笔划的可能性,在马尔可夫随机场(MRF)中表现该可能性,以便增加坐标平面上的空间接近度和连续性,并且推测多个分割区域,呈现该手写数据的区域被分割成为该多个分割区域,并且该多个分割区域可以被最容易地分离(例如,参照Xiang-Dong Zhou,Cheng-Lin Liu,“基于马尔可夫随机场在日文笔迹中的文本/非本文墨水笔划分类(Text/Non-text Ink StrokeClassification in Japanese Handwriting Based on Markov Random Fields)”,文献分析和识别(Document Analysis and Recognition),2007,ICDAR2007,在2007年9月23-26日的第九国际会议(Ninth International Conference))。然后分割单元17将呈现在从分割产生的每个区域中的一个以上的笔划构造成为笔划群。如此,分割单元17将该手写数据(笔划的集合)分割成为多个构造(笔划群)。
图3是图解根据实施例的分割手写数据的结果的实例的图。在图3图解的实例中,该手写数据41被分割成为构造41A和结构41B,从构造构成手写图形的笔划群而产生该构造41A,从构造构成手写数学表达式的笔划群而产生结构41B。
确定单元19确定对于通过分割单元17的分割而获得的多个构造中的每个构造的整形模式。具体地,确定单元19从构成构造的每个笔划提取特征量,通过为各个整形模式提供的多个鉴别器中的每个鉴别器来识别提取的特征,并且计算对于每个整形模式的每个笔划的可能性。然后确定单元19添加对于每个整形模式的计算出的笔划的可能性,并且将具有最大可能性的总和的整形模式确定为对于该构造的整形模式。多个鉴别器中的每个鉴别器已经预先学习了与该整形模式相关联的典型的形式。
在该实施例中,假设整形模式的实例包括手写字符被整形的字符整形模式、手写图形被整形的图形整形模式、手写表格被整形的表格整形模式、以及手写数学字符被整形的数学表达式整形模式,但是整形模式不是局限于此。注意,手写图形无须仅仅包含手写图形,而是可以包含手写图形和手写字符。类似地,手写表格无须仅仅包含手写表格,而是可以包含手写表格和手写字符。
注意,当手写数据由手写汉字字符组成时,倾向于高比例的短的和线性的笔划,当手写数据由手写假名或者字母字符组成时,倾向于高比例的曲线笔划,而且当手写数据由手写图形组成时,倾向于高比例的线性笔划。
因此,通过如上所述用于确定整形模式的方法,确定按照该构造(结构中的笔划群组成手写字符、手写图形、手写表格和手写数学表达式)的整形模式。
确定单元19较佳地以通过分割单元17分割获得的多个构造的面积的递减顺序确定整形模式。如果对于具有最大总和的整形模式的可能性的总和小于阀值,那么确定单元19可以再次进行如上所述的整形模式的确定。在这种情况下,确定单元19无须再次对所有的构造进行整形模式的确定,而是可以再次对构造之中的下一个最大的构造进行整形模式的确定。如果可能性的最大总和达到该阀值,那么确定单元19确定具有该可能性的最大总和的整形模式,或者如果可能性的最大总和小于该阀值,那么确定单元19可以重复相同的处理。
该整形单元21以通过确定单元19确定的整形模式对通过分割单元17的分割获得的每个构造进行整形。具体地,整形单元21以通过确定单元19确定的整形模式,对构成通过分割单元17分割获得的每个构造的笔划群进行识别,以将对应于笔划群的字符代码、矢量数据、图像数据等等分配给在笔划群中构成字符的字符笔划、构成图形的图形笔划等等。然后整形单元21将笔划群中的字符笔划或者图形笔划转换成为分配的字符代码或者矢量数据。例如,整形单元21通过对通过分割单元17分割获得的每个构造进行如上所述的整形,来对手写数据进行整形。
当构造(构成手写图形的笔划群)要以图形整形模式被整形时,例如,通过使用词典数据,整形单元21对在笔划群中的每个图形笔划和笔划的标准图案之间进行图形识别的图案匹配,在词典数据中,图形的矢量数据或者图像数据以及对应于该数据的笔划的标准图案互被相关联地限定。然后整形单元21将与相匹配的标准图案相关联的矢量数据或者图像数据分配给笔划群中的每个图形笔划,并且将笔划群中的每个字符笔划转换成为被分配的矢量数据或者图像数据。
注意,因为在用于图形识别的图案匹配中没有被匹配的笔划很有可能是字符笔划而不是图形笔划,所以整形单元21对这些笔划进行用于字符识别的图案匹配。
例如,通过使用词典数据,整形单元21在笔划群的每个字符笔划和笔划的标准图案之间进行用于字符识别的图案匹配,在词典数据中,字符代码以及对应于该字符代码的笔划的标准图案被彼此关联地限定。然后整形单元21将与相匹配的标准图案相关联的字符代码分配给笔划群中的每个图形笔划,并且将笔划群中的每个字符笔划转换成为被分配的字符代码。
为了增加图案匹配的识别准确度,可以是提供与一个字符代码相关联的多个标准图案,并且整形单元21可以计算包含在标准图案的笔划中的笔划端点之间的距离以及包含在字符笔划中的笔划端点之间的距离并且将计算出的距离用于图案匹配。
图4是图解根据实施例的图形整形模式中的整形结果的实例的图。在图4图解的实例中,构造41A被整形成为由矢量数据和字符代码表达的流程图51A,该构造41A产生自构造构成手写图形(用户手写的流程图)的笔划群。
另外地,当构造(构成手写数学表达式的笔划群)要以数学表达式整形模式被整形时,例如,基于笔划可能性和构造可能性(例如,笔划可能性和构造可能性的乘积的最大值),整形单元21将用于数学表达式的字符代码分配给笔划群中的用于数学表达式的每个字符笔划。通过如上所述的用于字符识别的图案匹配获得笔划可能性,并且笔划可能性指的是用于数学表达式的字符笔划对应于被匹配的标准图案的概率。构造可能性指的是构造对应于由笔划群表现的构造的概率,诸如构造“-|”是“-1”的概率或者构造“-|”是“+”的概率。例如可以通过随机上下文无关语法(SCFG)来模拟构造可能性。然后整形单元21将笔划群中的用于数学表达式的每个字符笔划转换成为用于数学表达式的分配的字符代码。
图5是图解根据实施例的数学表达式整形模式中的整形结果的实例的图。在图5图解的实例中,构造41B(参见图3)被整形成为由用于数学表达式的字符代码表现的流程图51B,从构造构成手写数学表达式的笔划群产生该构造41B。
另外地,当构造(构成手写字符的笔划群)要以字符整形模式被整形时,例如,通过如上所述用于字符识别的图案匹配,整形单元21将与匹配的标准图案相关联的字符代码分配给笔划群中的每个字符笔划,并且将笔划群中的每个字符笔划转换为被分配的字符代码。
图6是图解根据实施例的通过构造构成手写字符的笔划群获得的构造的实例的图,以及图7是图解根据实施例的以字符整形模式的整形结果的实例的图。在图7图解的实例中,产生自构造构成手写字符的笔划群的构造(参见图6)被整形成为由字符代码表达的字符(文档)。
另外地,当构造(构成手写表格的笔划群)要以表格整形模式被整形时,例如,整形单元21首先分析该笔划群中的笔划,以将笔划分类成为格线笔划(rule strokes)和其他笔划。
注意,表格的格线倾向于具有相对大的笔划长度,并且由笔划的起始端点和结束端点所确定的极其大或者小的垂直与水平长度的纵横比。因此,例如,在如图8图解的笔划长度的直方图L中,整形单元21将具有大于阈值Th的笔划长度的笔划分类为格线笔划。例如,如图9图解的,整形单元21同样将具有极其大的垂直与水平长度的纵横比的笔划(具有起始端点S1和结束端点E1的笔划)和具有极其小的垂直与水平长度的纵横比的笔划(具有起始端点S2和结束端点E2的笔划)分类为格线笔划。
图10是图解根据实施例的构成手写表格的笔划群的分类结果的实例的图。在图10图解的实例中,构成手写表格的笔划群被分类为格线笔划RL和其他笔划(图10图解的实例中的字符笔划)HW。
随后,整形单元21分析被分类的格线笔划以识别诸如行数和列数的表格构造以及识别由四个交叉点所包围的区域(以下同样可以称为“单元格区域”)和没有被四个交叉点所包围的区域(以下同样可以称为“非单元格区域”)。注意,整形单元21可以包含至少一个端点的区域识别为非单元格区域,并且将其他区域识别为单元格区域。
图11是图解根据实施例的识别手写表格中的区域的结果的实例的图。在图11图解的实例中,识别单元格区域RA1到RA4并且非单元格区域RB1到RB9
随后,整形单元21判定呈现在非单元格区域中的规则笔划是否具有从交叉点突出的“小的延伸”或者是否被另一个格线笔划补充以便形成表格。例如,该整形单元21基于从呈现在非单元格区域中的多个格线笔划计算出的统计量,判定呈现在非单元格区域之中的格线笔划的长度是否达到阈值,并且如果达到该阈值,那么判定该格线笔划是要被另一个格线笔划补充的格线笔划,或者如果没有到达该阈值,那么判定该格线笔划是具有小的延伸的格线笔划。为了判定呈现在非单元格区域之中的格线笔划,较佳的是,整形单元21提供用于垂直格线笔划的阈值和用于水平格线笔划的阈值,并且分别地判定垂直格线笔划和水平格线笔划。
图12是图解根据实施例的判定呈现在非单元格区域之中的规则笔划的结果的实例的图。在图12图解的实例中,格线笔划RAL2到RAL7是要被新的格线笔划补充的那些格线笔划,而格线笔划RBL1到RBL3是具有小的延长的那些格线笔划。
随后,整形单元21利用新的格线笔划对要被新的格线笔划补充的格线笔划进行补充。例如,在图12图解的实例中,整形单元21利用连接格线笔划RAL4到RAL6的端点的垂直格线笔划以及利用连接格线笔划RAL2、RAL3、和RAL7的端点的水平格线笔划来补充格线笔划。
随后,通过使用词典数据,在笔划群中的格线笔划(包括补充的格线笔划)和笔划的标准图案之间进行用于表格识别的图案匹配,在该词典数据中,构成表格的格线数据和对应于该格线数据的笔划的标准图案被互相关联地限定。然后整形单元21将与相匹配的标准图案相关联的格线数据分配给笔划群中的格线笔划,并且将笔划群中的格线笔划转换成为被分配的格线数据。
因为除了笔划群中的格线笔划之外的笔划非常有可能是字符笔划,所以整形单元21对于这些笔划进行如上所述的用于字符识别的图案匹配,将与被匹配的标准图案相关联的字符代码分配到笔划群中的每个字符笔划,并且将笔划群中的每个字符笔划转换成为被分配的字符代码。
图13是图解根据实施例的表格整形模式中的整形结果的实例的图。在图13图解的实例中,产生自构造构成手写表格的笔划群的构造(参见图10)被整形成为由格线数据和字符代码所表达的表格。
注意,整形单元21可以在整形时改变手写数据的布局和大小。例如,对于通过转换成为字符代码来整形手写数据(手写字符),整形单元21可以使用相同的字体大小并且可以在预定的位置(例如,左面排列)排列字符。另外地,例如,对于通过转换成为矢量数据和图像数据来整形手写数据(手写图形),整形单元21可以使用相同的图形对象(矢量数据和图像数据)大小并且可以在预定的位置(例如,中心)排列该数据。
整形单元21同样可以将线的组合分配到没有在图案匹配中被匹配的笔划,并且将该笔划转换成为被分配的线的组合。
另外地,整形单元21可以将笔划的采样点(坐标值)减少到笔划的整形没有改变的这种程度,并且在其上进行图案匹配。另外地,通过使用诸如贝济埃曲线(Bezier Curve)以及可以使用一些控制点近似曲线的n维(N≥1)样条的技术,整形单元21可以通过使得笔划接近曲线来进行图案匹配。
显示控制器23在显示单元25上显示整形手写数据的结果被分割成为的多个分割的整形结果,或者在显示单元25上显示将稍后描述的其整形模式被接收单元15接收的多个分割整形结果中的一些,作为接收的整形模式中的整形结果。具体地,显示控制器23在显示单元25上显示通过分割单元17的分割而获得的多个构造中的每个构造通过整形单元21的整形的结果或者将稍后描述的再整形的结果,或者在显示单元25上显示由获取单元13获取的并且利用手写数据的笔划的坐标值被线性补充的手写数据。尽管在该实施例中假定显示单元25利用相同的触摸板被实现为输入单元11,但是显示单元25并不局限于此,并且可以利用不同于输入单元11的触摸板或者液晶显示器等等被实现。
图14是图解根据实施例的整形结果的显示实例的图。在图14图解的实例中,作为整形构造41A(参见图3)的结果的流程图51A(参见图4)和字符再整形按钮52A、数学表达式再整形按钮53A、表格再整形按钮54A、输出按钮55A、笔迹输出按钮56A、以及取消按钮57A一起被显示,并且作为整形构造41B(参见图3)的结果的数学表达式51B(参见图5)和字符再整形按钮52B、图形再整形按钮53B、表格再整形按钮54B、输出按钮55B笔迹输出按钮56B以及取消按钮57B一起被显示。注意,显示诸如字符再整形按钮52A的菜单屏幕的形式并不局限于此,而是可以采用诸如图标或者本文的各种显示形式。
这里,接收单元15接收对于显示在显示单元25上的多个分割整形结果中的至少一个的整形模式的输入。具体地,接收单元15接收通过分割单元17的分割获得的多个构造中的至少一个构造的整形模式的输入。
例如,如果在图14图解的实例中触摸字符再整形按钮52A,那么输入单元11输入指令,以便以字符整形模式对构造41A进行再整形,而且接收单元15接收该再整形指令。另外地,例如,如果在图14图解的实例中触摸数学表达式再整形按钮53A,那么输入单元11输入指令,以便以数学表达式整形模式对构造41A进行再整形,而且接收单元15接收该再整形指令。另外地,例如,如果在图14图解的实例中触摸表格再整形按钮54A,那么输入单元11输入指令,以便以表格整形模式对构造41A进行再整形,而且接收单元15接收该再整形指令。
另外地,例如,如果在图14图解的实例中触摸字符再整形按钮52B,那么输入单元11输入指令,以便以字符整形模式对构造41B进行再整形,而且接收单元15接收该再整形指令。另外地,例如,如果在图14图解的实例中触摸图形再整形按钮53B,那么输入单元11输入指令,以便以图形整形模式对构造41B进行再整形,而且接收单元15接收该再整形指令。另外地,例如,如果在图14图解的实例中触摸表格再整形按钮54B,那么输入单元11输入指令,以便以表格整形模式对构造41B进行再整形,而且接收单元15接收该再整形指令。
在这些情况下,整形单元21以接收的整形模式对接收单元15接收的构造进行再整形,而且显示控制器23在显示单元25上显示通过整形单元21再整形的结果。因为通过使用如上参考整形单元21所述的整形技术进行再整形,所以将不重复它们的详细说明。尽管在该描述中假定以不同于先前的整形模式的整形模式进行再整形,但是可以以与先前的整形模式相同的整形模式进行再整形。在这种情况下,可以显示诸如“再做”的按钮,并且接收单元15可以接收与先前的整形模式相同的整形模式的输入。对于与先前的整形模式相同的整形模式的再整形按钮,诸如用于流程图51A的图形再整形按钮和对于数学表达式51B的数学表达式再整形按钮,可以进一步被显示,而且接收单元15可以接收与先前的整形模式相同的整形模式的输入。
结果,有可能错误地校正由确定单元19确定的整形模式,或者应对由确定单元19确定的整形模式是正确的但是用户有意希望以不同的整形模式来整形的情况。
例如,假定对于构造41B(参见图3)的整形模式被确定单元19确定为字符整形模式,而不是数学表达式整形模式,但是即使在这种情况下,也可以通过在数学整形模式中输入再整形指令来校正不正确的整形模式。
另外地,例如,因为构造41A(参见图3)是手写图形,所以可能有由确定单元19确定的图形整形模式通常是正确的整形模式的情况,但是根据用户的意图需要流程图中的字符。即使在这种情况下,通过在字符整形模式中输入再整形指令,该整形模式也可以被改变为用户想要的整形模式。
接收单元15同样接收输出通过分割单元17分割获得的多个构造中的每个构造通过整形单元21的整形结果和再整形结果中的至少一个的指令。
例如,如果在图14图解的实例中触摸输出按钮55A,那么输入单元11输入输出作为整形结果的流程图51A(参见图4)的指令,并且接收单元15接收该输出指令。另外地,例如,如果在图14图解的实例中触摸输出按钮55B,那么输入单元11输入输出作为整形结果的数学表达式51B(参见图5)的指令,并且接收单元15接收该输出指令。如果在再整形结果被显示在显示单元25上的状态下触摸输出按钮55A或者输出按钮55B,那么接收单元15接收输出再整形结果的指令。
响应于接收单元15接收的输出指令,输出单元27以文件的形式输出相应的整形结果或者再整形结果,并且在未图解的存储单元或者外部装置中存储整形结果或者再整形结果的文件。注意,整形结果或者再整形结果可以通过整形单元21或者通过输出单元27被放入文件的形式。
接收单元15同样接收手写输出指令,该笔迹输出指令是输出通过分割单元17分割获得的多个构造中的至少一个的指令。
例如,如果在图14图解的实例中触摸手写输出按钮56A,那么输入单元11输入用于构造41A(参见图3)的手写输出指令,而且接收单元15接收该手写输出指令。另外地,例如,如果在图14图解的实例中触摸手写输出按钮56B,那么输入单元11输入用于构造41B(参见图3)的手写输出指令,而且接收单元15接收该手写输出指令。
响应于接收单元15接收的手写输出指令,输出单元27以文件的形式输出相应的构造,并且在未图解的存储单元或者外部装置(诸如云)中存储构造的文件。注意,该构造可以通过整形单元21或者通过输出单元27被放入文件的形式。
接收单元15同样接收取消输出通过分割单元17分割获得的多个构造中的每个构造通过整形单元21的整形结果和再整形结果的指令。
例如,如果在图14图解的实例中触摸取消按钮57A,那么输入单元11输入取消作为整形结果的流程图51A(参见图4)的指令,并且接收单元15接收该取消指令。另外地,例如,如果在图14图解的实例中触摸取消按钮57B,那么输入单元11输入取消作为整形结果的数学表达式51B(参见图5)的指令,并且接收单元15接收该取消指令。如果在再整形结果被显示在显示单元25上的状态下触摸取消按钮57A或者取消按钮57B,那么接收单元15接收取消再整形结果的指令。
响应于接收单元15接收的取消指令,如果整形结果或者再整形结果已经被放入文件的形式,那么输出单元27取消输出整形结果或者再整形结果的文件,或者可以删除该文件。
图15是图解根据实施例在整形装置10中进行的整形处理的过程的流程的实例的流程图。
首先,获取单元13获取由输入单元11输入的手写数据(步骤S101)。
随后,分割单元17将由获取单元13获取的手写数据分割成为多个构造(步骤S103)。
随后,确定单元19确定对于通过分割单元17的分割而获得的多个构造中的每个构造的整形模式(步骤S107)。
该整形单元21在确定单元19所确定的整形模式中对通过分割单元17的分割获得的每个构造进行整形(步骤S109)。
然后重复步骤S107到S109,直到通过分割单元17的分割获得的所有构造被处理(整形)为止(步骤S111中的“否”)。
随后,当通过分割单元17分割获得的所有构造已经被处理时(步骤S111中的“是”),显示控制器23在显示单元25上显示通过分割单元17分割获得的多个构造通过整形单元21的整形结果(步骤S113)。
图16是图解根据实施例在整形装置10中进行的再整形和输出处理的过程的流程的实例的流程图。
首先,当接收单元15接收再整形指令时(步骤S201中的“是”),该再整形指令指示对于通过分割单元17分割获得的多个构造中的至少一个构造进行再整形的整形模式,整形单元21在所指示的整形模式中对所指示的构造进行再整形(步骤S203),并且显示控制器23在显示单元25上显示由整形单元21再整形的结果(步骤S205)。
随后,当接收单元15接收输出由整形单元21对通过分割单元17分割获得的多个构造进行整形和再整形的结果中的至少一个时(步骤S201中的“否”以及步骤S207中的“是”),输出单元27输出相应的整形结果或者再整形结果的文件(步骤S209)。
随后,当接收单元15接收用于通过分割单元17分割获得的多个构造中的至少一个的手写输出指令时(步骤S207中的“否”以及步骤S211中的“是”),输出单元27输出相应构造的文件(步骤S213)。
随后,当接收单元15接收取消输出由整形单元21对通过分割单元17分割获得的多个构造进行整形和再整形的结果时(步骤S211中的“否”以及步骤S215中的“是”),输出单元27取消输出相应的整形结果或者再整形结果的文件并且终止该处理。
如果接收单元15没有接收取消指令(步骤S215中的“否”),那么处理返回到步骤S201。
如上所述,根据该实施例,手写数据被分割成为多个构造,并且对通过分割获得的每个构造进行整形。因此,根据该实施例,即使包含多个类型数据的组合的手写数据也可以被正确地整形。
变形例1
在如上所述的实施例中,整形结果或者再整形结果的一部分可以被指定并且以文件的形式被输出。在这种情况下,接收单元15可以进一步接收整形结果或者再整形结果的至少一部分的选择以及输出指令(例如,图17中图解的矩形61的选择)。当接收单元15接收输出指令和选择时,然后输出单元27可以以文件的形式输出整形结果或者再整形结果的对应部分。如此,有可能输出用户需要的部分的文件。
变形例2
在如上所述的实施例中,构造的一部分可以被指定并且被整形或者再整形。在这种情况下,接收单元15可以进一步接收构造的至少一部分的选择以及整形指令或者可以进一步接收整形结果的至少一部分的选择以及再整形指令。当接收单元15接收到整形指令时,整形单元21可以对构造的对应部分进行整形,或者当接收单元15接收到再整形指令时,整形单元21可以对整形结果的对应部分进行再整形。如此,有可能对用户需要的部分进行整形。
变形例3
虽然在实施例的描述中假定包含手写字符、手写图形、手写表格以及手写数学表达式中的至少两个的手写数据,但是手写数据的内容并不局限于此,而且通过进行合适的整形(识别),即使包含手写日历、手写要做的列表等等,也可以对手写数据进行整形。
变形例4
在如上所述的实施例中,字符整形模式可以按照语言类型被细分(例如,日文整形模式、英语整形模式等等)。
变形例5
虽然在如上所述的实施例中描述了对每个构造进行再识别和输出的实例,但是可以同时对所有的构造进行再识别和输出。
硬件配置
图18是图解根据实施例和变形例的整形装置10的硬件配置的实例的图。按照如上所述的实施例以及变形例的整形装置10包括诸如CPU的控制装置901、诸如ROM和RAM的存储装置902、诸如HDD的外储存器装置903、诸如触摸板的显示装置904、诸如触摸板的输入装置905、以及诸如通信接口的通信装置906,该整形装置10是利用通用计算机***的硬件配置。
要由按照如上所述的实施例以及变形例的整形装置10执行的程序以可以被安装或者执行的文件的形式被记录在计算机可读的记录介质上,计算机可读的记录介质诸如是CD-ROM、CD-R存储卡、数字通用光盘(DVD和柔性磁盘(FD),并从那里被提供。
另外地,要由按照如上所述的实施例和变形例的整形装置10执行的程序可以被存储在连接到诸如因特网的网络的计算机***上,并且通过经由该网络被下载而被提供。仍然另外地,按照如上所述的实施例和变形例的整形装置10可以通过诸如因特网的网络被提供或者分配。仍然另外地,要由按照如上所述的实施例和变形例的整形装置10执行的程序可以被预先内置在ROM等等中,并且从那里被提供。
要由按照如上所述的实施例和变形例的整形装置10执行的程序具有用于在计算机***上实现如上所述的部件的模块构造。在实际的硬件配置中,CPU从HDD读取程序并且在RAM上执行该程序,借此,在计算机***上实现如上所述的各个部件。
例如,在如上所述的实施例中的流程图的步骤的顺序可以被改变,多个步骤可以被同时进行,或者每当进行步骤时,进行步骤的顺序可以被改变为该改变没有不符合它们的本质的程度。
根据至少一个如上所述的实施例的整形装置,整形装置包括获取单元、分割单元、确定单元、整形单元和显示单元。获取单元被配置为获取由用户手写的手写数据。分割单元被配置为将手写数据分割成为多个结构。确定单元被配置为确定用于每个构造的整形模式。整形单元被配置为在对于该构造确定的整形模式中对每个构造进行整形。显示单元被配置为显示整形每个构造的结果。因此,包含多个类型的数据的组合的手写数据可以被正确地整形。
虽然已经描述了某些实施例,但是这些实施例仅仅是通过举例而给出的,并不是想要限定本发明的范围。实际上,在此描述的新的实施例可以包含在各种其他形态之中;此外,在没有违背本发明的精神的情况下,能够以在此描述的实施例的形式,作出各种省略、替换和变化。附带的如权利要求书和它们的等效物意欲覆盖这种属于本发明的范围和精神的形式或变形。

Claims (9)

1.一种整形装置,其特征在于,包括:
一个以上的处理器,所述一个以上的处理器被配置为:
获取由用户手写的数据;
将所述数据分割成为多个构造;
确定用于所述多个构造中的每个构造的整形模式;
以对于所述多个构造中的每个构造所确定的所述整形模式对所述多个构造进行整形;以及
显示器,所述显示器被配置为显示对所述多个构造中的每个构造进行整形的结果。
2.如权利要求1所述的装置,其特征在于,进一步包含第一接收单元,所述第一接收单元被配置为接收用于所述多个构造中的至少一个构造的整形模式,其中
所述一个以上的处理器被进一步配置为以接收到的整形模式对所述多个构造中的至少一个构造进行再整形,以及
所述显示器被配置为显示对所述构造进行再整形的结果。
3.如权利要求2所述的装置,其特征在于,
所述第一接收单元被进一步配置为接收所述构造的至少一部分的选择,以及
所述一个以上的处理器被进一步配置为以所述接收到的整形模式对所述构造的选择的一部分进行再整形。
4.如权利要求1到3中任一项所述的装置,其特征在于,进一步包含输出单元,所述输出单元被配置为以文件的形式输出对所述多个构造进行整形的结果中的至少一个。
5.如权利要求4所述的装置,其特征在于,进一步包含第二接收单元,所述第二接收单元被配置为接收输出所述整形结果的指令,其中
所述输出单元被配置为响应于接收到的所述指令,以文件的形式输出对所述多个构造进行整形的所述结果。
6.如权利要求5所述的装置,其特征在于,
所述第二接收单元被进一步配置为接收所述整形结果的至少一部分的选择,以及
所述输出单元被配置为响应于接收到的所述输出指令,输出所述整形结果的选择的一部分。
7.如权利要求5所述的装置,其特征在于,
所述第二接收单元被进一步配置为接收取消所述整形结果的输出的指令,以及
所述输出单元被配置为响应于接收到的所述取消指令,取消所述整形结果以文件形式的输出。
8.一种整形方法,其特征在于,包括:
获取由用户手写的数据;
将所述数据分割成为多个构造;
确定用于所述多个构造中的每个构造的整形模式;
以对于所述多个构造中的每个构造所确定的所述整形模式对所述多个构造进行整形;以及
显示对所述多个构造中的每个构造进行整形的结果。
9.一种整形装置,其特征在于,包括:
获取单元,所述获取单元被配置为获取由用户手写的手写数据;
显示控制器,所述显示控制器被配置为在显示器上显示多个整形结果,对所述数据进行整形的结果被分割成为所述多个整形结果;以及
第一接收单元,所述第一接收单元被配置为接收用于所述多个整形结果中的至少一个整形结果的整形模式,其中
所述显示控制器被配置为在所述显示器上显示以接收到的整形模式进行整形的结果。
CN201310727918.1A 2012-12-27 2013-12-25 整形装置和整形方法 Pending CN103902098A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012286048A JP2014127188A (ja) 2012-12-27 2012-12-27 整形装置及び方法
JP2012-286048 2012-12-27

Publications (1)

Publication Number Publication Date
CN103902098A true CN103902098A (zh) 2014-07-02

Family

ID=50993458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310727918.1A Pending CN103902098A (zh) 2012-12-27 2013-12-25 整形装置和整形方法

Country Status (3)

Country Link
US (1) US20140184610A1 (zh)
JP (1) JP2014127188A (zh)
CN (1) CN103902098A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016192664A1 (zh) * 2015-06-05 2016-12-08 夏普株式会社 手写表识别方法和设备
CN106774879A (zh) * 2016-12-12 2017-05-31 大连文森特软件科技有限公司 一种基于ar虚拟现实技术的整形手术体验***

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6430197B2 (ja) * 2014-09-30 2018-11-28 株式会社東芝 電子機器および方法
US20160162175A1 (en) * 2014-12-05 2016-06-09 Kabushiki Kaisha Toshiba Electronic apparatus
JP6451316B2 (ja) * 2014-12-26 2019-01-16 富士通株式会社 文字認識プログラム、文字認識方法及び文字認識装置
CN107209862B (zh) * 2015-01-21 2021-03-09 国立大学法人东京农工大学 识别装置和信息存储介质
US10346510B2 (en) 2015-09-29 2019-07-09 Apple Inc. Device, method, and graphical user interface for providing handwriting support in document editing
CN105260751B (zh) * 2015-11-02 2019-02-26 冯清亮 一种文字识别方法及其***
JP6872123B2 (ja) * 2017-03-24 2021-05-19 富士フイルムビジネスイノベーション株式会社 画像処理装置、及びプログラム
JP2019168935A (ja) * 2018-03-23 2019-10-03 カシオ計算機株式会社 入力装置、入力方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1162795A (zh) * 1996-01-09 1997-10-22 富士通株式会社 模式识别设备与方法
CN101533317A (zh) * 2008-03-13 2009-09-16 三星电子株式会社 具备手写识别功能的快速记录装置和方法
CN101673408A (zh) * 2008-09-10 2010-03-17 汉王科技股份有限公司 一种在形状识别结果中嵌入文字信息的方法及装置
CN101685497A (zh) * 2008-09-28 2010-03-31 汉王科技股份有限公司 手写信息处理方法和装置
EP2325804A2 (en) * 2009-11-20 2011-05-25 Ricoh Company, Ltd. Image-drawing processing system, server, user terminal, image-drawing processing method, program, and storage medium

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0636182B2 (ja) * 1988-02-06 1994-05-11 大日本スクリーン製造株式会社 画像ファイリング・検索方法および装置
EP0505621A3 (en) * 1991-03-28 1993-06-02 International Business Machines Corporation Improved message recognition employing integrated speech and handwriting information
US6111985A (en) * 1997-06-06 2000-08-29 Microsoft Corporation Method and mechanism for providing partial results in full context handwriting recognition
JP3974359B2 (ja) * 2000-10-31 2007-09-12 株式会社東芝 オンライン文字認識装置及び方法並びにコンピュータ読み取り可能な記憶媒体及びオンライン文字認識プログラム
JP4181310B2 (ja) * 2001-03-07 2008-11-12 昌和 鈴木 数式認識装置および数式認識方法
US20020149630A1 (en) * 2001-04-16 2002-10-17 Parascript Llc Providing hand-written and hand-drawn electronic mail service
US20120158776A1 (en) * 2001-09-20 2012-06-21 Rockwell Software Inc. System and method for capturing, processing and replaying content
AUPR824401A0 (en) * 2001-10-15 2001-11-08 Silverbrook Research Pty. Ltd. Methods and systems (npw002)
US7137076B2 (en) * 2002-07-30 2006-11-14 Microsoft Corporation Correcting recognition results associated with user input
WO2005048188A2 (en) * 2003-11-11 2005-05-26 Sri International Method and apparatus for capturing paper-based information on a mobile computing device
JP4095558B2 (ja) * 2004-01-30 2008-06-04 キヤノン株式会社 文書処理装置及び文書処理方法及びコンピュータプログラム
US20060001667A1 (en) * 2004-07-02 2006-01-05 Brown University Mathematical sketching
US7729538B2 (en) * 2004-08-26 2010-06-01 Microsoft Corporation Spatial recognition and grouping of text and graphics
US7561739B2 (en) * 2004-09-22 2009-07-14 Microsoft Corporation Analyzing scripts and determining characters in expression recognition
JP4611116B2 (ja) * 2005-05-26 2011-01-12 富士通株式会社 プレゼンテーションに用いられる情報処理装置およびプログラム
US7885456B2 (en) * 2007-03-29 2011-02-08 Microsoft Corporation Symbol graph generation in handwritten mathematical expression recognition
US8073258B2 (en) * 2007-08-22 2011-12-06 Microsoft Corporation Using handwriting recognition in computer algebra
JP2009169456A (ja) * 2008-01-10 2009-07-30 Nec Corp 電子機器、該電子機器に用いられる情報入力方法及び情報入力制御プログラム、並びに携帯端末装置
JP4775462B2 (ja) * 2009-03-12 2011-09-21 カシオ計算機株式会社 計算機及びプログラム
US9092129B2 (en) * 2010-03-17 2015-07-28 Logitech Europe S.A. System and method for capturing hand annotations
US8310461B2 (en) * 2010-05-13 2012-11-13 Nuance Communications Inc. Method and apparatus for on-top writing
US8675981B2 (en) * 2010-06-11 2014-03-18 Microsoft Corporation Multi-modal gender recognition including depth data
JP5716328B2 (ja) * 2010-09-14 2015-05-13 株式会社リコー 情報処理装置、情報処理方法、および情報処理プログラム
US8768062B2 (en) * 2010-11-09 2014-07-01 Tata Consulting Services Limited Online script independent recognition of handwritten sub-word units and words
US8094941B1 (en) * 2011-06-13 2012-01-10 Google Inc. Character recognition for overlapping textual user input
JP5786495B2 (ja) * 2011-06-30 2015-09-30 富士通株式会社 画像認識装置、画像認識方法及び画像認識用コンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1162795A (zh) * 1996-01-09 1997-10-22 富士通株式会社 模式识别设备与方法
CN101533317A (zh) * 2008-03-13 2009-09-16 三星电子株式会社 具备手写识别功能的快速记录装置和方法
CN101673408A (zh) * 2008-09-10 2010-03-17 汉王科技股份有限公司 一种在形状识别结果中嵌入文字信息的方法及装置
CN101685497A (zh) * 2008-09-28 2010-03-31 汉王科技股份有限公司 手写信息处理方法和装置
EP2325804A2 (en) * 2009-11-20 2011-05-25 Ricoh Company, Ltd. Image-drawing processing system, server, user terminal, image-drawing processing method, program, and storage medium

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016192664A1 (zh) * 2015-06-05 2016-12-08 夏普株式会社 手写表识别方法和设备
CN106774879A (zh) * 2016-12-12 2017-05-31 大连文森特软件科技有限公司 一种基于ar虚拟现实技术的整形手术体验***
CN106774879B (zh) * 2016-12-12 2019-09-03 快创科技(大连)有限公司 一种基于ar虚拟现实技术的整形手术体验***

Also Published As

Publication number Publication date
JP2014127188A (ja) 2014-07-07
US20140184610A1 (en) 2014-07-03

Similar Documents

Publication Publication Date Title
CN103902098A (zh) 整形装置和整形方法
KR102326395B1 (ko) 다수의 객체 입력을 인식하기 위한 시스템 및 그 방법 및 제품
CN102449640B (zh) 识别手写单词
CN102855082A (zh) 用于重叠文本用户输入的字符识别
KR102347554B1 (ko) 디지털 잉크를 뷰티파잉하기 위한 시스템 및 방법
CN102750552B (zh) 一种手写识别方法、***及手写识别终端
CN108701215B (zh) 用于识别多对象结构的***和方法
CN102063620A (zh) 一种手写识别方法、***及手写识别终端
CN114730241B (zh) 触摸式用户界面输入中的手势笔画识别
CN113673432A (zh) 手写识别方法、触摸显示设备、计算机设备及存储介质
CN114341954B (zh) 文本行提取
CN104077268B (zh) 整形装置
CN115311674A (zh) 手写处理方法、装置、电子设备和可读存储介质
CN114265509A (zh) 输入方式识别方法、相关设备及可读存储介质
US11631263B1 (en) Gradient boosting tree-based spatial line grouping on digital ink strokes
EP4086744A1 (en) Gesture stroke recognition in touch-based user interface input
CN113778281B (zh) 辅助信息生成方法、装置及电子设备和存储介质
KR20220142901A (ko) 반정형 문서로부터 정보를 추출하는 방법 및 시스템
JP6154627B2 (ja) 特徴点集合間の対応付け方法、対応付け装置ならびに対応付けプログラム
WO2024110354A1 (en) Setting font size in an unconstrained canvas
Ülkü MathLet v3: recognizing handwritten mathematical expressions
JP2020013460A (ja) 情報処理装置、文字認識方法、および文字認識プログラム
Vanhatalo Online Sketch Recognition: Geometric Shapes
JPH0896082A (ja) 文字認識装置及び文字認識方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140702