CN104951749A - 图像内容识别装置和方法 - Google Patents

Abstract

本申请公开了一种图像内容识别装置和方法，包括：获取自定义符号，根据用户指令设置所述自定义符号对应的处理要素；从自定义符号中提取自定义符号特征；获取具有自定义符号的图像；将所述自定义符号特征与所获取的图像进行匹配，从该图像中匹配出所述自定义符号特征及其在图像中的位置；从所述图像中，选取所述自定义符号特征位置处的与所述自定义符号特征对应的图片内容；按照所述自定义符号对应的处理要素，对所获取的图片内容进行识别和对应的编辑处理；展示编辑处理结果。本发明可提高对图像中局部内容识别的处理效率，扩大局部内容识别的应用范围和应用场景。

Description

图像内容识别装置和方法

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像内容识别装置和方法。

背景技术

在日常生活中，用户经常需要摘录图像中的局部内容，例如一段文字，一幅画，而对图像中的其它元素并不关心。

当用户通过目前的相机进行拍摄时，所拍摄记录的是完整的画面，用户如果只需要局部的内容，则需要在拍摄完成之后，通过第三方制图软件对所拍摄的图像进行编辑，修改，使用非常繁琐。

现有技术中还出现了一种光学字符识别(OCR，Optical CharacterRecognition)技术，所述OCR是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程。

但是，现有的图像识别技术普遍存在以下缺点：

1)拍摄相片时，显示的是完整的相片，当用户需要对图像中的局部内容进行识别处理时，需要通过使用第三方软件进行编辑，操作麻烦，效率低下。

2)使用自动OCR识别技术，例如名片识别软件，可以按照一定的模板，自动识别添加内容，但是其模板固定，无法自定义识别范围，因此其应用范围和应用场景太小，仅仅局限于某种特定范式的文件(如名片)，而且其对于用户手写内容的识别不足。

发明内容

有鉴于此，本发明的主要目的是提供一种图像内容识别装置和方法，以提高对图像中局部内容识别的处理效率，扩大局部内容识别的应用范围和应用场景。

本发明的技术方案是这样实现的：

一种图像内容识别装置，包括：

符号自定义模块，用于获取自定义符号，根据用户指令设置所述自定义符号对应的处理要素；

特征提取模块，用于从自定义符号中提取自定义符号特征；

图像获取模块，用于获取具有自定义符号的图像；

特征匹配模块，用于将所述自定义符号特征与所获取的图像进行匹配，从该图像中匹配出所述自定义符号特征及其在图像中的位置；

内容选取模块，用于从所述图像中，选取所述自定义符号特征位置处的与所述自定义符号特征对应的图片内容；

内容识别编辑模块，用于按照所述自定义符号对应的处理要素，对所获取的图片内容进行识别和对应的编辑处理；

展示模块，用于展示编辑处理结果。

在一种优选实施例中，所述符号自定义模块包括以下模块中的任意项：

用于获取智能设备的输入设备所输入的手写自定义符号的模块；

用于展示默认的形状，根据用户输入的选择指令，从默认的形状中选择一个作为获取到的自定义符号的模块；

用于调用拍摄装置拍摄含有自定义符号的图片，从该图片中识别出所述自定义符号的模块。

在一种优选实施例中，所述自定义符号对应的处理要素包括编辑动作和目标内容形式；所述内容识别编辑模块包括：用于根据所述自定义符号对应的编辑动作对所获取的图片内容进行对应的编辑操作的模块；用于将所述编辑操作后的图片内容转化为所述目标内容形式的模块。

在一种优选实施例中，所述图像获取模块包括以下模块中的任意项：

用于调用拍摄装置拍摄具有自定义符号的图像，将拍摄的图像发送至特征匹配模块的模块；

用于获取智能设备文件***中的图像文件，将该图像文件发送至所述特征匹配模块的模块；

用于截取智能设备屏幕显示的图像，将该图像发送给所述特征匹配模块的模块；

用于调用屏幕接口获取用户对屏幕上显示图像的标记操作，将加标记后的屏幕图像发送给所述特征匹配模块的模块。

在一种优选实施例中，所述内容选取模块包括以下模块中的任意项：

用于在所述自定义符号特征为封闭的图形时，自动选取该封闭图形内的图片内容的模块；

用于在所述自定义符号特征为线形时，根据设定的行高和间距，获取该线性之上的符合所述行高和间距要求的图片内容的模块；

用于在所述自定义符号特征为线形时，获取该横线到横线上方空白区域之间区域的图片内容的模块。

一种图像内容识别方法，包括：

获取自定义符号，根据用户指令设置所述自定义符号对应的处理要素；

从自定义符号中提取自定义符号特征；

获取具有自定义符号的图像；

将所述自定义符号特征与所获取的图像进行匹配，从该图像中匹配出所述自定义符号特征及其在图像中的位置；

从所述图像中，选取所述自定义符号特征位置处的与所述自定义符号特征对应的图片内容；

按照所述自定义符号对应的处理要素，对所获取的图片内容进行识别和对应的编辑处理；

展示编辑处理结果。

在一种优选实施例中，所述获取自定义符号包括以下方式中的任意项：

获取智能设备的输入设备所输入的手写自定义符号；

展示默认的形状，根据用户输入的选择指令，从默认的形状中选择一个作为获取到的自定义符号；

调用拍摄装置拍摄含有自定义符号的图片，从该图片中识别出所述自定义符号。

在一种优选实施例中，所述自定义符号对应的处理要素包括编辑动作和目标内容形式；所述按照所述自定义符号对应的处理要素，对所获取的图片内容进行识别和对应的编辑处理，具体包括：根据所述自定义符号对应的编辑动作对所获取的图片内容进行对应的编辑操作；将所述编辑操作后的图片内容转化为所述目标内容形式。

在一种优选实施例中，所述获取具有自定义符号的图像，具体包括以下方式中的任意项：

调用拍摄装置拍摄具有自定义符号的图像，将拍摄的图像作为获取到的图像；

获取智能设备文件***中的图像文件，将该图像文件作为获取到的图像；

截取智能设备屏幕显示的图像，将该图像作为获取到的图像；

调用屏幕接口获取用户对屏幕上显示图像的标记操作，将加标记后的屏幕图像作为获取到的图像。

在一种优选实施例中，所述从所述图像中，选取所述自定义符号特征位置处的与所述自定义符号特征对应的图片内容，具体包括以下方式中的任意项：

在所述自定义符号特征为封闭的图形时，自动选取该封闭图形内的图片内容；

在所述自定义符号特征为线形时，根据设定的行高和间距，获取该线性之上的符合所述行高和间距要求的图片内容；

在所述自定义符号特征为线形时，获取该横线到横线上方空白区域之间区域的图片内容。

与现有技术相比，本发明的图像内容识别装置和方法可以获取自定义符号并设置对应的处理要素，只要图像中具有自定义符号，最通常的场景是用户在图像上手写了所述自定义符号，以标出局部内容，则会自动识别出该自定义符号及其位置，选取所述自定义符号特征位置处的与所述自定义符号特征对应的图片内容即局部内容，并按照所述自定义符号对应的处理要素，对所获取的图片内容进行识别和对应的编辑处理，展示编辑处理结果。因此用户不必在利用繁杂的第三方软件对图像进行编辑处理来选取局部内容，提高了对图像中局部内容识别的处理效率。同时，本发明采用的是自定义符号，而且是对这种自定义符号对应的图片内容进行识别处理，因此不局限于某一种特定范式模板，只要设置好对应的处理要素，可以随意适用在对应的图像局部内容识别领域，因此扩大了局部内容识别的应用范围和应用场景。

附图说明

图1为本发明所述图像内容识别装置的一种组成示意图；

图2a为本发明所述一种自定义符号及其对应处理要素的界面示意图；

图2b为在原始图像上画出图2a所述自定义符号以标记出局部内容的一种示意图；

图2c为利用智能手机摄像装置获取所述图2b所述具有自定义符号的图像的一种示意图；

图2d为图2c所述图像经过内容选取模块、内容识别编辑模块处理由展示模块展示出的处理结果的一种示意图；

图3a为本发明所述又一种自定义符号及其对应处理要素的界面示意图；

图3b为在智能手机显示的原始图像上用手写笔方式画出图3a所述自定义符号以标记出局部内容的一种示意图；

图3c为图3b所述图像经过内容选取模块、内容识别编辑模块处理由展示模块展示出的处理结果的一种示意图；

图4为本发明所述图像内容识别方法的一种流程示意图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

图1为本发明所述图像内容识别装置的一种组成示意图，参见图1，该装置主要包括：符号自定义模块101、特征提取模块102、图像获取模块103、特征匹配模块104、内容选取模块105、内容识别编辑模块106、展示模块107。

所述符号自定义模块101，用于获取自定义符号，根据用户指令设置所述自定义符号对应的处理要素。

具体的，所述符号自定义模块101获取自定义符号的方式可以有多种，并分别对应相应的获取模块，例如可以包括以下(11)～(13)模块中的任意项：

(11)用于获取智能设备的输入设备所输入的手写自定义符号的模块。所述自定义符号例如可以是自定义的形状：如三角形，方形，圆形，椭圆形；也可以是自定义的线形：如波浪线，折线，直线，双直线，双波浪线；也可以是不同的符号：如括号，中括号，大括号等。所述智能设备的输入设备例如可以是手机的手写键盘、手写屏幕等。用户可以通过手机等智能设备端输入手写符号：例如在手机等智能设备进行手写符号输入，例如绘制线条，形状和颜色等手写符号，如图2a所示的封闭曲线200，以及图3a所示的横线300。

(12)用于展示默认的形状，例如三角形，波浪线，双折线等，根据用户输入的选择指令，从默认的形状中选择一个作为获取到的自定义符号的模块。

(13)用于调用拍摄装置拍摄含有自定义符号的图片，从该图片中识别出所述自定义符号的模块。这种方式是一种典型的手写符号定义，例如：用户在所需要拍照内容上，通过手写笔绘制手写自定义符号，然后利用手机的拍摄装置拍摄含有手写自定义符号的相片，对该相片中的自定义符号进行识别，获取该自定义符号。

所述自定义符号对应的处理要素包括编辑动作和目标内容形式；不同的自定义符合可以对应设置不同的处理要素。如图2a和图3a所示，例如所述编辑动作可以是诸如剪切、保存、翻译等编辑动作；所述目标内容形式是指将图片内容转化成何种内容形式，例如可以是诸如文字、图片、填空题目、选择题目、判断题目、计算题等。

所述特征提取模块102用于从自定义符号中提取自定义符号特征。例如，对于获取到的自定义符号，进行特征提取，所述的特征为例如线条的形状、颜色、粗细，长度，形状规则，幅度，数量等。对于不同的自定义符号，可以预先设置存储不同的特征提取方式，针对每一种自定义符号的具体的特征提取技术可以采用现有的特征提取技术方案。

所述图像获取模块103用于获取具有自定义符号的图像。所述图像获取模块103获取自定义符号的图像的获取方式也可以有多种，也可以分别对应不同的模块，例如可以包括以下(31)～(34)模块中的任意项：

(31)用于调用拍摄装置(如智能手机的摄像头)拍摄具有自定义符号的图像，将拍摄的图像发送至特征匹配模块的模块。

在此之前，需要用户在所需要拍照的内容上绘制与自定义符号相同或类似的图案，如图2b所示，用户在一份试卷上用闭合的曲折线圈出一个选择题，之后本发明可以用手机摄像头拍照来获取具有该闭合曲折线的试卷图像；或者，对于所需要拍照的内容上的内容，如果之前已经通过打印机等形式打印了包含该自定义符号的内容，则无需再由用户人工画出。

(32)用于获取智能设备文件***中的图像文件，将该图像文件发送至所述特征匹配模块的模块。例如假如智能设备的文件***中保存有图2b所示的含有自定义符号的图像文件，则直接读取该图像文件即可，可以不必进行拍摄。

(33)用于截取智能设备屏幕显示的图像，将该图像发送给所述特征匹配模块的模块。本模块是指也可以不必按拍摄按钮，只要在用户手机屏幕上显示出了具有诸如图2b所示自定义符号的图像，则可以不拍摄，而是截取该屏幕图像，传给所述特征匹配模块。

(34)用于调用屏幕接口获取用户对屏幕上显示图像的标记操作，将加标记后的屏幕图像发送给所述特征匹配模块的模块。这种场景是指，用户手机上已经拍摄了一张图片，如一张试卷，但是试卷上没有标记自定义符号，则用户也可以直接在手机上打开该图片，利用手写笔等输入设备在该图片上标记出自定义符号，之后本发明就可以将加标记后的屏幕图像(如图2b所示图像)发送给所述特征匹配模块的模块。

所述特征匹配模块104用于将所述自定义符号特征与所获取的图像进行匹配，从该图像中匹配出所述自定义符号特征及其在图像中的位置。也就是要找到后续操作的操作区域，其中具体可以采用模糊匹配技术，智能模糊匹配对应的内容。

所述内容选取模块105用于从所述图像中，选取所述自定义符号特征位置处的与所述自定义符号特征对应的图片内容。具体的选取方式也对应自定义符号，也对应相应的模块，例如所述内容选取模块105包括以下模块(51)～(53)中的任意项：

(51)用于在所述自定义符号特征为封闭的图形时，例如如图2所示的封闭曲线，自动选取该封闭图形内的图片内容的模块。

(52)用于在所述自定义符号特征为线形时，例如如图3所示的横线，根据设定的行高和间距，获取该线性之上的符合所述行高和间距要求的图片内容的模块。此处用户可以手动或者自动设置默认的行高和间距大小。

(53)用于在所述自定义符号特征为线形时，获取该横线到横线上方空白区域之间区域的图片内容的模块。

更为具体的，在内容选取模块进行内容选取之前，还可以将操作区域进行缩放以使所述自定义符号区域占据屏幕的指定百分比(例如90％)之上，从而使后续的选取操作更加精确。

更为具体的，如果所述自定义符号特征为线性时，则还可以进一步对图像进行模糊、二值化等图像处理后，再获取该横线到横线上方空白区域之间区域的图片内容。

所述内容识别编辑模块106用于按照所述自定义符号对应的处理要素，对所获取的图片内容进行识别和对应的编辑处理。

所述展示模块107用于展示编辑处理结果。对于编辑处理结果，还可以根据用户指令进行进一步的操作和管理，例如排版等操作。

所述内容识别编辑模块106的具体处理操作与所述自定义符号对应的处理要素相关。所述自定义符号对应的处理要素包括编辑动作和目标内容形式；不同的自定义符合可以对应设置不同的处理要素。如图2a和图3a所示，例如所述编辑动作可以是诸如剪切、保存、翻译等编辑动作；所述目标内容形式是指将图片内容转化成何种内容形式，例如可以是诸如文字、图片、填空题目、选择题目、判断题目、计算题等。

所述内容识别编辑模块106具体可以包括：(61)用于根据所述自定义符号对应的编辑动作对所获取的图片内容进行对应的编辑操作的模块；(62)用于将所述编辑操作后的图片内容转化为所述目标内容形式的模块。

例如：如图2a所示，用户设置的处理要素中的编辑动作为“保存”，目标内容形式为“选择题”，并且所述内容识别编辑模块中需要保存“选择题”对应的处理逻辑。这个处理逻辑是差异化的，不同的处理要素对应相应的处理逻辑，该处理逻辑可以预先设置存储好。根据这个处理逻辑，所述内容识别编辑模块对获取的图片内容进行二次编辑时，识别该“选择题”对应的具体特征，该“选择题”的具体特征参数可以预先设置在程序中，此处可以直接调用这些特征参数，特征参数例如是否有选项a、b、c等，或选项1、2、3等。例如图2所示，可以识别出有选项A、B、C这些特征值，提取这些特征值之上的图片内容作为题干，提取这些特征值之后的图片内容作为对应的选项，然后进行相应的排版处理，即将选项上方的题干部分201放在第一行，将选项A、B、C的内容分别作为选项202放置在下面三行，从而组成一个选择题。并按照编辑动作“保存”的要求，显示出“保存”按钮，用户点击“保存”按钮则可以将图2d所示的选择题保存为一个文件。

再例如，如图3a所示，用户设置的处理要素中的编辑动作为“保存”，目标内容形式为“填空题”，并且所述内容识别编辑模块中需要保存“填空题”对应的处理逻辑。这个处理逻辑是差异化的，不同的处理要素对应相应的处理逻辑，该处理逻辑可以预先设置存储好。根据这个处理逻辑，所述内容识别编辑模块对获取的图片内容进行二次编辑时，识别该“填空题”对应的具体特征，该“填空题”的具体特征参数可以预先设置在程序中，此处可以直接调用这些特征参数，特征参数例如是否有横线、括号等，例如图3b所示，可以识别出有横线这个特征值，则显示对应的填空题，并将选项对应的内容进行编辑排版，即提取横线前面的图片内容301放在前面，将横线部分之上的图片内容302放置在后面，从而组成一个填空题。并按照编辑动作“保存”的要求，显示出“保存”按钮，用户点击“保存”按钮则可以将图3c所示的填空题保存为一个文件。此处的实施例中，还可进一步将填空中的内容进行文字识别，转化成可编辑的计算机字符放置到内容302中。

同样的道理，再例如，如图2a所示，如果用户设置的处理要素中的编辑动作为“剪切”，目标内容形式为“文字”，则所述内容识别编辑模块需要对获取的图片内容进行二次编辑，将图片内容转化为计算机可编码的文字，放入智能设备的剪切板中，用户在后续可以直接利用智能设备的“粘帖”操作，将这段文字粘帖到任何文档中。如果用户设置的处理要素中的编辑动作为“翻译”，目标内容形式为“文字”，则所述内容识别编辑模块需要将获取的图片内容翻译成目标语言如英语，然后将该段英语放入智能设备的剪切板中，用户在后续可以直接利用智能设备的“粘帖”操作，将这段英语文字粘帖到任何文档中。如果用户设置的处理要素中的目标内容形式为“图片”，则所述内容识别编辑模块需要直接提取所述图片内容，保留该图片内容的图片格式。

与上述图像内容识别装置对应，本发明还公开了一种图像内容识别方法。图4为本发明所述图像内容识别方法的一种流程图。参见图4，该方法包括：

步骤401：获取自定义符号特征，根据用户指令设置所述自定义符号对应的处理要素。具体可以通过以下3种方式的任意种，获取自定义符号特征：

411)获取智能设备的输入设备所输入的手写自定义符号。例如在手机等智能设备进行手写符号输入，例如绘制线条，形状和颜色等手写符号，如图2a所示的封闭曲线200，以及图3a所示的横线300。

412)展示默认的形状，例如三角形，波浪线，双折线等，根据用户输入的选择指令，从默认的形状中选择一个作为获取到的自定义符号。例如***可以展示默认的形状，例如三角形，波浪线，双折线等，用户可以从***默认的形状中进行选择。

413)调用拍摄装置拍摄含有自定义符号的图片，从该图片中识别出所述自定义符号。例如：a)用户在所需要拍照内容上，通过手写笔绘制手写符号，b)拍摄含有手写符号的相片，从中识别出所述自定义符号，具体的识别方式可以参考现有技术。

所述根据用户指令设置所述自定义符号对应的处理要素，具体可以参考图2a和图3a所示，对不同的自定义符号特征可以自定义不同的操作处理要素。所述自定义符号对应的处理要素包括编辑动作和目标内容形式，其中：1)对于识别出的自定义符号，用户可以设定不同的编辑动作，例如：剪切，保存，翻译等。2)选择对应的目标内容形式，例如：文字，图片，填空题目，选择题目，判断题目，计算题等。

步骤402：自从自定义符号中提取自定义符号特征。例如，对于获取到的自定义符号，进行特征提取，所述的特征为例如线条的形状、颜色、粗细，长度，形状规则，幅度，数量等。对于不同的自定义符号，可以预先设置存储不同的特征提取方式，针对每一种自定义符号的具体的特征提取技术可以采用现有的特征提取技术方案。

步骤403：获取具有自定义符号的图像。具体的获取方式也可以有多种，例如可以包括以下(431)～(434)中的任意种：

(431)调用拍摄装置(如智能手机的摄像头)拍摄具有自定义符号的图像，作为获取的图像。

在此之前，需要用户在所需要拍照的内容上绘制与自定义符号相同或类似的图案，如图2b所示，用户在一份试卷上用闭合的曲折线圈出一个选择题，之后本发明可以用手机摄像头拍照来获取具有该闭合曲折线的试卷图像；或者，对于所需要拍照的内容上的内容，如果之前已经通过打印机等形式打印了包含该自定义符号的内容，则无需再由用户人工画出。

(432)获取智能设备文件***中的图像文件，作为获取的图像。例如假如智能设备的文件***中保存有图2b所示的含有自定义符号的图像文件，则直接读取该图像文件即可，可以不必进行拍摄。

(433)截取智能设备屏幕显示的图像，作为获取的图像。本方式是指也可以不必按拍摄按钮，只要在用户手机屏幕上显示出了具有诸如图2b所示自定义符号的图像，则可以不拍摄，而是截取该屏幕图像，传给所述特征匹配模块。

(434)调用屏幕接口获取用户对屏幕上显示图像的标记操作，将加标记后的屏幕图像作为获取的图像。这种场景是指，用户手机上已经拍摄了一张图片，如一张试卷，但是试卷上没有标记自定义符号，则用户也可以直接在手机上打开该图片，利用手写笔等输入设备在该图片上标记出自定义符号，之后本发明就可以将加标记后的屏幕图像(如图2b所示图像)发送给所述特征匹配模块的模块。

步骤404：将所述自定义符号特征与所获取的图像进行匹配，从该图像中匹配出所述自定义符号特征及其在图像中的位置。也就是要找到后续操作的操作区域，其中具体可以采用模糊匹配技术，智能模糊匹配对应的内容。

步骤405：从所述图像中，选取所述自定义符号特征位置处的与所述自定义符号特征对应的图片内容。具体的选取方式也对应自定义符号，例如包括以下几种方式中的任意种：

(451)在所述自定义符号特征为封闭的图形时，例如如图2所示的封闭曲线，自动选取该封闭图形内的图片内容。

(452)在所述自定义符号特征为线形时，例如如图3所示的横线，根据设定的行高和间距，获取该线性之上的符合所述行高和间距要求的图片内容。此处用户可以手动或者自动设置默认的行高和间距大小。

(453)在所述自定义符号特征为线形时，获取该横线到横线上方空白区域之间区域的图片内容的模块。

更为具体的，在内容选取模块进行内容选取之前，还可以将操作区域进行缩放以使所述自定义符号区域占据屏幕的指定百分比(例如90％)之上，从而使后续的选取操作更加精确。

更为具体的，如果所述自定义符号特征为线性时，则还可以进一步对图像进行模糊、二值化等图像处理后，再获取该横线到横线上方空白区域之间区域的图片内容。

步骤406：按照所述自定义符号对应的处理要素，对所获取的图片内容进行识别和对应的编辑处理，即二次编辑。

步骤407：展示编辑处理结果。对于编辑处理结果，还可以根据用户指令进行进一步的操作和管理，例如排版等操作。

所述步骤406的具体处理操作与所述自定义符号对应的处理要素相关。所述自定义符号对应的处理要素包括编辑动作和目标内容形式；不同的自定义符合可以对应设置不同的处理要素。如图2a和图3a所示，例如所述编辑动作可以是诸如剪切、保存、翻译等编辑动作；所述目标内容形式是指将图片内容转化成何种内容形式，例如可以是诸如文字、图片、填空题目、选择题目、判断题目、计算题等。所述406具体可以包括：(461)根据所述自定义符号对应的编辑动作对所获取的图片内容进行对应的编辑操作；例如剪切、保存，翻译；转换成特定的题型，例如，选择题目时，自动将内容剪裁成几块内容，并生成选项，对于填空题目，可以生成输入框，直接输入内容。

(462)将所述编辑操作后的图片内容转化为所述目标内容形式，例如转化为文字、图片、或对应的题型。

下面以用户保存纸张上的选择题的场景为例，对本发明做进一步说明，可参见图2a～2d。包括：

步骤a1：用户自定义符号，即用户通过手写笔，在屏幕上绘制红色波浪线的封闭图形，如图2a所示。

步骤a2：用户选择该图形对应的处理要素，如图2a所示，用户选择对应编辑操作为“剪切”，对应的目标内容形式为“选择题”。

步骤a3：在拍摄对象(如纸张等)上对应的位置绘制图形。例如图2b所示，用户在试题纸张上需要保存的局部区域，用红色笔绘制封闭的波浪线，如图2b的区域203。

步骤a4：拍摄相片，例如用户拍摄图2b所示带有红色波浪线笔迹的纸张上的内容。

步骤a5：经过本发明的所述装置的处理，将用户用封闭的波浪形所标出的区域203转化成选择题的形式，显示出来。如图2d所示，仅显示所述红色波浪线所标出的对应的纸张上的内容，按照选择题的形式，对内容进行存储编辑等，用户下次可以直接使用。

下面再以用户保存纸张上的填空题的场景为例，对本发明做进一步说明，可参见图3a～3c。包括：：

步骤b1：用户自定义符号。即用户通过手写笔，在屏幕上绘制红色横线，如图3a所示。

步骤b2：选择该图形对应的处理要素，其中包括选择对应的编辑操作为“剪切”；选择对应目标内容形式为“填空题”。

步骤b3：拍摄图像或者打开图像文件进行标记。例如用户用像机拍摄图像或者打开图像文件在屏幕上用户红色笔刷在填空题下面绘制横线。

步骤b4：经过本发明的所述装置的处理，将用户用红色横线标出的区域转化成填空题的形式，显示出来。如图3c所示，仅显示所述红色横线所标出的对应的纸张上的内容，按照填空题的形式，对内容进行存储编辑等，用户下次可以直接使用。

利用本发明，还可以产生以下有益效果：

(1)用户可以自定义符号内容，所述内容包括，线条，图案，色彩，符号。以及不同自定义符号所对应的处理要素，例如：剪裁，保存，翻译，转换成选择题，填空题，判断题，字体的特效等。可扩展性强，使用的领域很宽，不必局限于某种固定的范式图像。

(2)本发明可以自动选取局部的区域内容，可以定向拍摄识别出相片中的局部内容，而不是全部内容。可以对相片中的图片内容进行局部的摘录和裁剪。

(3)本发明可以对选取的局部的内容，进行二次编辑，按照自定义的符号内容，执行对应的处理要素，生成相应的目标内容形式，非常方便操作。

置于具体的应用场景，本发明尤其提供了一种新型的拍摄记录方式，当用户在拍摄时，在拍摄对象或者屏幕上直接绘制特定的手写符号，本发明的装置识别到这些特定符号后，可以自动处理并记录该符号对应的内容。例如画特定颜色波浪线，***可以识别出此波浪线上一定范围内的内容，并可以对内容进行分类管理。通过这种方式，可以有效的记录笔记内容。使得拍摄的内容更加的精准，并可以对内容进行预处理。

另外，在本发明所述装置的各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。所述各实施例的功能模块可以位于一个终端或网络节点，或者也可以分布到多个终端或网络节点上。

另外，本发明的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。

因此本发明还公开了一种存储介质，其中存储有数据处理程序，该数据处理程序用于执行本发明上述方法的任何一种实施例。

另外，本发明所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌入微控制器等来实现。因此这种可以实现本发明所述方法的硬件也可以构成本发明。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种图像内容识别装置，其特征在于，包括：

符号自定义模块，用于获取自定义符号，根据用户指令设置所述自定义符号对应的处理要素；

特征提取模块，用于从自定义符号中提取自定义符号特征；

图像获取模块，用于获取具有自定义符号的图像；

特征匹配模块，用于将所述自定义符号特征与所获取的图像进行匹配，从该图像中匹配出所述自定义符号特征及其在图像中的位置；

内容选取模块，用于从所述图像中，选取所述自定义符号特征位置处的与所述自定义符号特征对应的图片内容；

内容识别编辑模块，用于按照所述自定义符号对应的处理要素，对所获取的图片内容进行识别和对应的编辑处理；

展示模块，用于展示编辑处理结果。

2.根据权利要求1所述的装置，其特征在于，所述符号自定义模块包括以下模块中的任意项：

用于获取智能设备的输入设备所输入的手写自定义符号的模块；

用于展示默认的形状，根据用户输入的选择指令，从默认的形状中选择一个作为获取到的自定义符号的模块；

用于调用拍摄装置拍摄含有自定义符号的图片，从该图片中识别出所述自定义符号的模块。

3.根据权利要求1所述的装置，其特征在于，

所述自定义符号对应的处理要素包括编辑动作和目标内容形式；

所述内容识别编辑模块包括：

用于根据所述自定义符号对应的编辑动作对所获取的图片内容进行对应的编辑操作的模块；

用于将所述编辑操作后的图片内容转化为所述目标内容形式的模块。

4.根据权利要求1所述的装置，其特征在于，所述图像获取模块包括以下模块中的任意项：

用于调用拍摄装置拍摄具有自定义符号的图像，将拍摄的图像发送至特征匹配模块的模块；

用于获取智能设备文件***中的图像文件，将该图像文件发送至所述特征匹配模块的模块；

用于截取智能设备屏幕显示的图像，将该图像发送给所述特征匹配模块的模块；

用于调用屏幕接口获取用户对屏幕上显示图像的标记操作，将加标记后的屏幕图像发送给所述特征匹配模块的模块。

5.根据权利要求1所述的装置，其特征在于，所述内容选取模块包括以下模块中的任意项：

用于在所述自定义符号特征为封闭的图形时，自动选取该封闭图形内的图片内容的模块；

用于在所述自定义符号特征为线形时，根据设定的行高和间距，获取该线性之上的符合所述行高和间距要求的图片内容的模块；

用于在所述自定义符号特征为线形时，获取该横线到横线上方空白区域之间区域的图片内容的模块。

6.一种图像内容识别方法，其特征在于，包括：

获取自定义符号，根据用户指令设置所述自定义符号对应的处理要素；

从自定义符号中提取自定义符号特征；

获取具有自定义符号的图像；

将所述自定义符号特征与所获取的图像进行匹配，从该图像中匹配出所述自定义符号特征及其在图像中的位置；

从所述图像中，选取所述自定义符号特征位置处的与所述自定义符号特征对应的图片内容；

按照所述自定义符号对应的处理要素，对所获取的图片内容进行识别和对应的编辑处理；

展示编辑处理结果。

7.根据权利要求6所述的方法，其特征在于，所述获取自定义符号包括以下方式中的任意项：

获取智能设备的输入设备所输入的手写自定义符号；

展示默认的形状，根据用户输入的选择指令，从默认的形状中选择一个作为获取到的自定义符号；

调用拍摄装置拍摄含有自定义符号的图片，从该图片中识别出所述自定义符号。

8.根据权利要求6所述的方法，其特征在于，

所述自定义符号对应的处理要素包括编辑动作和目标内容形式；

所述按照所述自定义符号对应的处理要素，对所获取的图片内容进行识别和对应的编辑处理，具体包括：根据所述自定义符号对应的编辑动作对所获取的图片内容进行对应的编辑操作；将所述编辑操作后的图片内容转化为所述目标内容形式。

9.根据权利要求6所述的方法，其特征在于，所述获取具有自定义符号的图像，具体包括以下方式中的任意项：

调用拍摄装置拍摄具有自定义符号的图像，将拍摄的图像作为获取到的图像；

获取智能设备文件***中的图像文件，将该图像文件作为获取到的图像；

截取智能设备屏幕显示的图像，将该图像作为获取到的图像；

调用屏幕接口获取用户对屏幕上显示图像的标记操作，将加标记后的屏幕图像作为获取到的图像。

10.根据权利要求6所述的方法，其特征在于，所述从所述图像中，选取所述自定义符号特征位置处的与所述自定义符号特征对应的图片内容，具体包括以下方式中的任意项：

在所述自定义符号特征为封闭的图形时，自动选取该封闭图形内的图片内容；

在所述自定义符号特征为线形时，根据设定的行高和间距，获取该线性之上的符合所述行高和间距要求的图片内容；

在所述自定义符号特征为线形时，获取该横线到横线上方空白区域之间区域的图片内容。