CN103455529A - 文件检索装置、方法以及记录介质 - Google Patents

Abstract

本发明的实施形态关于文件检索装置、方法以及记录介质。可根据查询对象种类所适合的检索方法进行准确检索。实施形态的文件检索装置，提供具备有获取笔迹数据的获取部、判定查询对象种类的判定部、检索文件的检索部、显示检索结果的显示部的文件检索装置。判定部通过根据笔迹的坐标数据而判定笔迹的形状以判定查询对象种类。检索部通过按照所述查询对象的种类所适合的检索方法来检索文件。显示部显示检索结果。

Description

文件检索装置、方法以及记录介质

本申请以日本专利申请2012-121306（申请日：5/28/2012）为基础，从该申请享受优先利益。本申请通过参照该申请，包含该申请的全部内容。

技术领域

本发明的实施形态关于文件检索装置、方法以及记录介质。

背景技术

已知有从数据库检索与用户输入或指定的手写查询对象（query）相似或匹配的手写文件的文件检索装置。

发明内容

本发明要解决的课题，是提供可通过查询对象种类所适合的检索方法进行准确检索的文件检索装置、方法以及记录介质。

实施形态的文件检索装置中，提供一种具备有获取笔迹数据的获取部、判定查询对象种类的判定部、检索文件的检索部、显示检索结果的显示部的文件检索装置。获取部获取包含坐标数据在内的笔迹数据。判定部通过基于所述坐标数据判定所述笔迹的形状而判定查询对象种类。检索部按照所述查询对象种类所适合的检索方法检索文件而得到检索结果。显示部将所述检索结果以所述查询对象种类所适合的显示方法显示。

根据上述构成的文件检索装置，可通过查询对象种类所适合的检索方法进行准确检索。

附图说明

图1是实施形态涉及的文件检索装置的框图。

图2是显示查询对象种类的图。

图3是用于说明查询对象的输入方法的图。

图4是用于说明根据笔迹的方向区分的图。

图5是显示查询对象判定处理的流程图。

图6是显示形状判定处理的流程图。

图7是显示闭环判定处理的流程图。

图8是显示墨迹数据构造的图。

图9是显示检索结果的显示例的图。

图10是实施形态涉及的文件检索装置的硬件构成图。

图11是显示通过网络共享手写文件数据的***一例的图。

图12是用于说明判定闭环内侧是否有笔迹的处理的图。

图13是用于说明判定横线附近上方是否有笔迹的处理的图。

具体实施方式

以下参照附图说明实施形态。

本实施形态关于检索对象以及查询对象为手写数据时的检索***。即本***的主要对象，是检索对象为“手写文件”、检索所用的查询对象是使用了手写的文字等的查询对象（以下称为“手写查询对象”）的非语言依存的检索***。手写查询对象不仅限于文字，也包含标记、线等用户所描绘的图形。

但是，检索对象也可以是文本文件。此时，将手写查询对象变换为文本查询对象进行检索。此外，可以使检索对象为手写文件，使检索所用的查询对象为文本查询对象。此时，将文本查询对象变换为手写查询对象进行检索。任意***例中，根据以下说明的实施形态判定手写查询对象的种类，通过手写查询对象种类所适合的检索方法执行检索，以与其适合的恰当的显示方法显示检索结果。

本实施形态中，手写查询对象的种类内容例如为“字符串”、“1笔标记”、“下划线”、“边框线”。根据手写查询对象的种类，相似或匹配的手写文件内的检索对象不同。例如，手写查询对象的种类为字符串时，字符串自身为检索对象。为1笔标记时，并非只想检索1笔标记自身。1笔标记时，检索对象为该一笔标记前后的字符串。手写查询对象的种类为下划线和边框线时，想要检索的是下方有下划线的字符串和被边框线包围的字符串。

另外，作为手写查询对象的种类，不限定于上述的。本领域技术人员可根据本申请，放大手写查询对象的种类或相反削减手写查询对象的种类等，对实施形态进行变更。

如图1所示，实施形态涉及的文件检索装置，具备有获取笔迹数据的获取部1、判定查询对象种类的查询对象判定部2、检索文件的检索部3、手写文件数据库（DB）4、显示检索结果的检索结果显示部5。

获取部1获取包含坐标数据在内的笔迹数据。

获取部1所获取的笔迹数据，具有每1笔（笔画）的分离的坐标的时间序列数据，例如表示如下。

笔画1：(x(1,1),y(1,1)),(x(1,2),y(1,2)),…,(x(1,N(1)),y(1,N(1)))

笔画2：(x(2,1),y(2,1)),(x(2,2),y(2,2)),…,(x(2,N(2)),y(2,N(2)))

N(i)为笔画i抽样时的点数。

另外，对于手写文件DB4储存的手写文件，也具有上述的笔迹数据。

图2显示的是查询对象种类的一般例。如上所述，本实施形态中查询对象的种类为字符串、1笔标记、下划线、边框线中的任意一个。它们根据笔迹的形状而分类。图2中，参照数字20所示的是字符串的查询对象。例如，它是手写输入（或从手写文件中选择）“アイデア”字符串。当然，字符串的内容不仅只有“アイデア”，可以为任意。另外，此处的字符串与一连串的文字代码构成的文本不同，指的是笔迹的形状为字符串。参照数字21所示的是1笔标记的查询对象。例如，它是手写输入（或从手写文件中选择）星号。例如，1笔标记用于区分用户的注目度与其他部分不同的部分。此外，有时也用于手写文件中的分条书写而写于行首。参照数字22所示的是下划线的查询对象。下划线多用于强调手写文件中的字符串而书写。参照数字23所示的是边框线的查询对象。边框线多书写用于与下划线相同地强调手写文件中的字符串，或区分特定的字符串和其他的字符串。

查询对象判定部2，通过使用获取部1获取的笔迹的坐标数据判定该笔迹的形状，从而判定上述查询对象种类。判定查询对象种类的具体处理后述。

参照图3说明查询对象的输入方法。作为查询对象的输入方法，有（i）直接手写、（ii）直接手写选择、（iii）间接手写选择。

（i）直接手写，是在检索输入中，用户使用输入设备（手写笔等）手写输入作为查询对象的笔迹的方法。图3中，直接手写的查询对象的实例30为字符串“アイデア”，查询对象的实例31为星号的1笔标记，查询对象的实例32为下划线，查询对象的实例33为边框线。主要通过呈示检索输入区域、用户向检索输入区域直接输入执行。

（ii）直接手写选择，并非像上述那样手写输入查询对象自身，而是从显示的手写文件中直接选择应作为查询对象的笔迹的方法。例如，用户操作输入设备描绘对角线34，直接选择对角线34规定的矩形内的笔迹35（此例为“アイデア”）。或用输入设备和手指轻叩来直接选择笔迹36。

（iii）间接手写选择，是从显示的手写文件中间接选择应作为查询对象的笔迹的方法。例如，用户操作输入设备描绘下划线37，间接选择与下划线37相邻的上方的笔迹38（此例为“アイデア”）。或通过操作输入设备描绘边框线39间接选择边框线39内侧的笔迹40（此例为“アイデア”）。

上述（iii）间接手写选择中，显示了为输入查询对象而用户操作输入设备描绘下划线37的例子。查询对象判定部2判定描绘下划线37时的笔迹方向，可根据其结果而采取不同的下划线37的处理。笔迹的方向可根据上述笔迹数据的时间序列中坐标值的大小关系判断。例如，如图4（a）所示，下划线37由纸面自左向右方向书写时，并不将其作为查询对象输入，而是作为通常的下划线的笔迹（非查询对象的笔迹）。另一方面，如图4（b）所示，下划线37由纸面自右向左方向书写时，将其作为查询对象输入进行处理。具体的，如参照图3所说明的，间接选择与下划线37相邻的上方的笔迹42（此例为“アイデア”）。另外，对于边框线等的其他笔迹也可同样判定笔迹的方向。例如，顺时针书写的边框线为通常的笔迹、逆时针书写边框线时，如参照图3所说明的，可判定为间接手写选择。通过如此根据笔迹方向判定而采取不同的处理，可恰当地构成手写检索的用户界面。

对于判定查询对象种类的具体处理，参照图5的流程图进行说明。

步骤S1中进行输入笔迹的形状判定。查询对象判定部2，是使用获取部1获取的查询对象输入的笔迹数据所含的坐标数据，通过判定该笔迹的形状，判定查询对象种类为字符串、一笔标记、下划线、边框线中的任意一个。

图6是显示形状判定处理的流程图。该形状判定的处理，是基于获取部1获取的笔迹的坐标数据而进行的。

图6的步骤S11中，判定输入查询对象（输入笔迹）为1笔还是多笔。“1笔”时，步骤S12中，判定该1笔的笔迹是否构成闭环。参照图7说明闭环判定的处理。判定折线P₁，P₂，..P_ｎ-1，P_ｎ是否为闭曲线。折线的各线以L_i=P_iP_i+1表示。此时，调查L_i与L_j（i＜j）是否交叉，交叉时，判定P[i]，．．．P[j+1]构成闭曲线。例如，图7的例中，线L[2]与L[7]交叉，P[2]，．．，P[8]构成闭曲线。又，计算笔画（1笔的笔迹数据）的始点P[0]至终点P[N]的距离。计算的距离小于笔画全长的话，判定为闭环。图6的步骤S12中判定为闭环时，步骤15中，判定闭环的内侧是否有笔迹。

参照图12说明判定闭环内侧是否有笔迹的处理。作为判定对象的笔迹各点Q[1]，Q[2]，…，Q[M]均在闭环曲线内时，判定闭环内有笔迹。闭环内是否含有点Q可如下判定。闭环曲线设为P[1]（X[1]，Y[1]），P[2]（X[2]，Y[2]），…，P[N-1]（X[N-1]，Y[N-1]），判定对象的点设为Q（X，Y）。

（1）通过2点P[i]、P[i+1]的直线f[i]（x，y）=0计算为

f（x，y）=（Y[i+1]-Y[i]）*（x-X[i]）-（X[i+1]-X[i]）*（y-Y[i]）=0。

但是，i=N时，通过2点P[N]、P[0]直线为f[N]（x，y）=0。

（2）判定Q（X，Y）对于直线的行进方向属于哪一侧。计算f[i]（X，Y）。此值为正的话对于直线的行进方向为右侧，为负的话在左侧。

（3）对所有i重复上述（1）（2），Q（X，Y）在所有直线f[i]（X，Y）为相同符号的话，判定Q在闭环的内侧。

步骤S15中判定为闭环时，查询对象的种类判定为“边框线”。

步骤S12或步骤S15中未判定为闭环时，步骤S13中，判定该1笔的笔迹是否为横线。例如，解答公知的直线回归问题、折线套用为直线。该处理求得的回归误差在阈值以内的话判定为直线。可判定为直线时，直线的倾斜度的绝对值在一定值以下的话判定为横向。步骤S13中，判定为横线时，步骤16中，判定横线的附近上方是否有笔迹。

参照图13说明判定横线的附近上方是否有笔迹的处理。

当作为判定对象的笔迹的各点Q[1]，Q[2]，…，Q[M]均在线的上方附近时，判定线的上方附近有笔迹。可如下判定线的上方附近是否有点Q。将线设定为P[1]（X[1]，Y[1]），P[2]（X[2]，Y[2]），只是，设定X[1]＜X[2]，判定对象的点设定为Q（X，Y）。同时满足以下4式时，可判定线的上方附近有点Q。

X[1]＜X

X＜X[2]

Y＞（Y[1]+Y[2]）/2

Y＜（Y[1]+Y[2]）/2+C

但是，C为预先设定的阈值。

步骤S16中判定横线的附近上方有笔迹时，最终判定查询对象种类为“下划线”。

步骤S13或步骤S16中未判定为横线时，步骤S14中，判定该1笔的笔迹是否为标记。此时，算出该1笔的笔迹与预先设定的标记（例：“〇”、“△”、“☆”、“□”）的相似度。与各标记的相似度在一定值以下的话，判定为“1笔标记”。另外，对于算出与预先设定的标记的相似度的具体处理，可使用例如专利第3537949号说明书记载的方法。

图6的步骤S14中未判定为标记时，以及步骤S11中判定为“多笔”时，查询对象种类判定为“字符串”。

图5的步骤S2中，判定查询对象输入的方法是“直接书写”还是“选择”（关于查询对象输入的方法可参照图3）。“直接书写”时，判定的查询对象种类与输入的笔迹数据直接作为查询对象输出。“选择”时，通过从显示的手写文件选择应作为查询对象的区域，提取笔迹数据，与判定的查询对象种类共同输出。

如上判定的查询对象种类以及笔迹数据，被从查询对象判定部2送至检索部3以及检索结果显示部5。

接着，说明检索处理起动的时点。本实施形态涉及的检索处理，可在（i）直接手写书写、（ii）直接手写选择、（iii）间接手写选择的各情况下执行检索。（i）直接手写书写时，书写输入后，用笔选择检索键时执行检索处理。这与文本检索时在文本输入后用鼠标点击检索键的一连串操作相似。也可呈示检索输入区域时，或者笔提起（ペンアップ）时、规定时间无输入时，将输入的笔迹作为应检索的笔迹。

（ii）直接手写选择时，在判定为选择了查询对象笔迹的时点执行以下处理。

（1）笔提起时执行检索处理（主要为检索模式时）。

或（2）笔提起时显示上下文菜单或对话框，向用户确认是否进行检索。

（iii）间接手写选择时，在判定为选择了查询对象笔迹的时点，进行与上述（ii）同样的动作。

检索部3根据查询对象判定部2判定的查询对象种类所适合的检索方法，从手写文件DB4检索文件从而得到检索结果。具体的，如下根据查询对象种类所适合的检索方法进行检索。

（a）字符串：检索手写文件DB4中与该字符串的查询对象相似的笔迹。或检索与该字符串的查询对象匹配的笔迹。

（b）1笔标记：检索手写文件DB4中与该1笔标记的查询对象相似的笔迹。或检索匹配的笔迹。但是，该1笔标记从行首选择时，检索对象也可仅限定为行首。同样，也可提高行首的标记的优选顺序等。

（c）下划线：检索手写文件DB4中，上方有笔迹相邻的横线。

（d）边框线：检索手写文件DB4中，内侧有笔迹的闭曲线。

此处，说明从手写文件DB4检索与字符串的查询对象相似的笔迹或匹配的笔迹的处理的具体例子。检索部3，将笔画列（连续的笔画的列）作为查询对象，从多个笔画列中检索相似的笔画列。例如通过特征向量的匹配进行检索。参照图8说明笔画数据（笔迹数据）的更具体的构造例。

“笔画”指的是手写输入的笔画。具体的，表示笔等从接触输入面到离开为止的轨迹。通常，在规定的时点（例如一定周期），笔画轨迹上的点会被抽样。因此，笔画表现为抽样点的系列。

图8（b）的例中，1个笔画（即，1笔）的笔画构造表现为笔移动的平面上的坐标值的集合（点构造），具体的，是含有：显示形成该笔画的点的个数的“点总数”、“开始时刻”、“外接图形”、与点总数相当的个数的“点构造”的排列的构造体。此处，开始时刻表示的是该笔画中笔接触到输入面开始书写的时刻。外接图形表示的是文件平面上该笔画轨迹的外接图形（优选为文件平面上内包该笔画的最小面积的矩形）。

点的构造可依存于输入设备。图8（c）的例中，1点的构造是具有4个值的构造体。4个值是该抽样点的坐标值x、y、笔压以及初期点起的时间差。例如上述的“开始时刻”为初期点。

另外，坐标为文件平面的坐标系。例如，可表现为左上角作为原点，越往右下角值越大的正值。

此外，输入设备无法获取笔压或者即使可以获取笔压但之后的处理不使用笔压时，可以省去图8（c）的笔压。或在笔压处标记显示无效的数据。

另外，图8（b）、（c）的例中，可在笔画构造的各个点构造区域记载坐标值x，y等的实际数据。或者也可将笔画构造的数据与点构造的数据分别管理。此时，可在笔画构造中各个点构造的区域记载对于对应的点构造的链接信息。

作为检索与表示查询对象笔迹的笔画列相似的笔画列时的特征向量匹配的具体例子，例如，可利用DP匹配（DP；Dynamic Programming、动态规划法）。另外，用户指定的笔画列的笔画数与用户期望的笔画列的笔画数可能并不一定相同。这是因为，即使是具有相同意思的字符串，根据书写者不同可能会书写为不同的笔画数。例如根据书写者不同，有时会将相同文字的2笔书写为1笔等。通常，笔画相关的DP匹配，是仅处理1个笔画对1个笔画的对应，允许2个笔画列间的伸缩的最佳对应的方法。此处，通过例如使用也考虑了1个笔画对N个笔画的对应的DP匹配，可以实现对于笔画变动的稳健匹配（例如，参照“増田,内田,迫江,ォンラィン文字認識におけるDPマッチングの実験的最適化,電気関係学会九州支部連合大会,H.17.http://human.ait.kyushu-u.ac.jp/~uchida/Papers/masuda-shibu2005.pdf”）。

例如，将匹配对象的笔画列所含的全部笔画作为始点，与用户指定的查询对象的笔画列建立对应后，算出笔画列间的相似度。然后，算出各始点起的相似度后，按降序排序。由于将全部笔画作为始点，因此可以得到重叠的结果。然后进行峰检测，合并重叠的笔画的范围。

另外，除了上述的之外，还有各种匹配方法。

检索结果显示部5是将检索部3得到的检索结果以查询对象种类所适合的显示方法显示。作为每个查询对象种类的结果显示方法，可考虑到以下2种显示方法

（1）显示检索到的笔迹和与检索笔迹接近的笔迹。

（2）显示包含检索到的笔迹在内的1页笔迹。

但均优选根据查询对象的种类而如下改变强调显示方法。

（a）字符串：显示包含与检索笔迹接近的笔迹。但是，改变检索到的笔迹自身的颜色等，强调显示。

（b）1笔标记：显示包含与检索笔迹接近的笔迹。但是，改变检索到的笔迹自身和之后连续的1行笔迹的颜色等，强调显示。

（c）下划线：显示包含与检索笔迹接近的笔迹。但是，改变检索到的笔迹自身和其上方的接近的笔迹的颜色等，强调显示。

（d）边框线：显示包含与检索笔迹接近的笔迹。但是，改变检索到的笔迹自身和其内部所含的笔迹的颜色等，强调显示。

图9显示了检索结果的显示例。图9（a）显示的是，在显示检索结果的窗口80中，显示包含与检索笔迹（字符串）81接近的笔迹在内的检索结果82的例子。图9（b）显示的是，在含有检索到的笔迹的页83中，同时显示1笔标记85和含有该1笔标记85后续笔迹的1行笔迹86的例子。

根据以下说明的实施形态，可判定手写查询对象的种类、根据手写查询对象种类所适合的检索方法执行检索、以与其适合的恰当的显示方法显示检索结果。因此，可根据查询对象种类所适合的检索方法进行准确检索。

以下说明本实施形态的变形。

本实施形态的检索部3，可以将文件检索装置的内部手写文件DB4所存储的手写文件组作为检索对象，当文件检索装置可与内网以及/或互联网等网络连接时，可以将能通过网络访问的手写文件组作为检索对象，也可将与文件检索装置连接的移动存储器内存储的手写文件组作为检索对象，也可以是它们的任意组合。

本实施形态的文件检索装置，可由独立式的装置构成，也可以由分散于可通过网络通信的多个节点的形式构成。

此外，本实施形态的文件检索装置，可通过台式或笔记本型的通用计算机、便携式通用计算机、其他的便携式信息机器、具有触摸屏的信息机器、智能手机、其他的信息处理装置等各种设备实现。

图10显示的是实现本实施形态的文件检索装置的硬件构成例。图中，201为CPU，202为规定的输入设备，203为规定的输出设备，204为RAM，205为ROM，206为外部存储器接口，207为通信接口。例如，使用触摸屏时，可利用例如液晶面板、笔和设置在液晶面板上的笔画检测装置等（图中，参照208）。

此外，例如，也可将图1的构成的一部分设置于客户端上，图1的构成的剩余部分设置在服务器上。

例如，图11例示的是，内网以及/或互联网等网络300上存在有服务器303，各客户端301、302通过网络300各自与服务器303通信，由此实现本实施形态的文件检索装置的情况。

另外，例示有客户端301通过无线通信与网络300连接，客户端302通过有线通信与网络302连接的情况。

客户端301、302通常是用户装置。服务器303也可例如设置在企业内LAN等的LAN上，也可由互联网服务供应商等运营。此外，服务器303也可以是用户装置，由某用户向其他用户提供功能。

作为将图1的构成分散为客户端和服务器的方法，可有各种方法。

此外，上述实施形态中显示的处理顺序所示的指令，可根据作为软件的程序执行。通用计算机***可通过预先记录该程序、读取该程序而获得与上述实施形态的文件检索装置同样的效果。上述实施形态所记述的指令，作为可在计算机执行的程序，记录于磁盘（软盘、硬盘等）、光盘（CD-ROM、CD-R、CD-RW、DVD-ROM、DVD±R、DVD±RW等）、半导体存储器或类似的记录介质。只要是计算机或嵌入式***可读取的记录介质，则其记录形式可为任意形态。计算机只要从该记录介质读取程序，根据该程序，由CPU执行程序记述的指令的话，即可实现与上述实施形态的文件检索装置同样的动作。当然，计算机在获取或读取程序时可通过网络进行获取或读取。

此外，根据从记录介质安装到计算机和嵌入式***的程序指令而在计算机上工作的OS（操作***）、数据库管理软件、网络等的MW（中间件）等也可执行用于实现本实施形态的各处理的一部分。

另外，本实施形态中的记录介质，不限于独立于计算机或嵌入式***的介质，也包含记录或临时记录从LAN和互联网等下载的程序的记录介质。

此外，记录介质不限于1个，由多个介质执行本实施形态中的处理的情况也包含于本实施形态中的记录介质，介质构成可以为任意构成。

另外，本实施形态中的计算机或嵌入式***，是根据记录介质所记录的程序执行本实施形态中的各处理，其构成可以是电脑、微型计算机等之一的装置、多个装置经网络连接的***等的任意构成。

此外，本实施形态中的计算机指的不限于电脑，也包含信息处理机器所含的运算处理装置、微型计算机等，是通过程序可实现本实施形态中的功能的机器、装置的总称。

以上说明了本发明的若干个实施形态，但这些实施形态仅作为例子呈示，并不限定发明范围。这些新实施形态可通过其他各种形态实施，在不脱离发明主旨的范围内可进行各种省略、替换、变更。这些实施形态和其变形包含于发明的范围和主旨的同时，也包含于专利申请范围所记载的发明和其同等范围内。

Claims (6)

1.一种文件检索装置，其特征在于，包括：

获取包含坐标数据在内的笔迹数据的获取部；

通过根据所述坐标数据判定所述笔迹的形状，以判定查询对象的种类的判定部；

通过按照所述查询对象的种类所适合的检索方法检索文件，来得到检索结果的检索部；以及

将所述检索结果以所述查询对象的种类所适合的显示方法来显示的显示部。

2.根据权利要求1所述的装置，其特征在于，

所述判定部根据所述坐标数据判定所述笔迹的形状并判定所述笔迹的方向，根据该方向判定所述笔迹是查询对象输入还是非查询对象笔迹。

3.根据权利要求1所述的装置，其特征在于，

所述查询对象的种类包含字符串、一笔标记、下划线、边框线。

4.根据权利要求3所述的装置，其特征在于，

所述查询对象的种类为所述字符串时，检索与所述笔迹相似的所述手写文件内的笔迹，

所述查询对象的种类为一笔标记时，以高优先度检索与所述笔迹相似的所述手写文件内的行首的笔迹，

所述查询对象的种类为下划线时，检索上方有笔迹相邻的所述手写文件内的横线，

所述查询对象的种类为边框线时，检索内包笔迹的所述手写文件内的闭曲线。

5.一种文件检索方法，其特征在于，包含：

获取包含坐标数据在内的笔迹数据的步骤；

通过根据所述坐标数据判定所述笔迹的形状，以判定查询对象的种类的步骤；

通过按照所述查询对象的种类所适合的检索方法检索文件，来得到检索结果的步骤；以及

将所述检索结果以所述查询对象的种类所适合的显示方法来显示的步骤。

6.一种记录介质，其特征在于，记录有令计算机发挥以下部件的功能的程序：

获取包含坐标数据在内的笔迹数据的获取部；

通过根据所述坐标数据判定所述笔迹的形状，以判定查询对象种类的判定部；

通过按照所述查询对象的种类所适合的检索方法检索文件，来得到检索结果的检索部；以及

将所述检索结果以所述查询对象的种类所适合的显示方法来显示的显示部。

Images