CN109842733A - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN109842733A
CN109842733A CN201811412884.6A CN201811412884A CN109842733A CN 109842733 A CN109842733 A CN 109842733A CN 201811412884 A CN201811412884 A CN 201811412884A CN 109842733 A CN109842733 A CN 109842733A
Authority
CN
China
Prior art keywords
region
image
original copy
processor
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811412884.6A
Other languages
English (en)
Inventor
佐土原哲也
田中宏昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Publication of CN109842733A publication Critical patent/CN109842733A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6094—Colour correction or control depending on characteristics of the input medium, e.g. film type, newspaper

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Character Input (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种能够容易地对原稿中标记的多种区域进行分类的图像处理装置。根据实施方式，图像处理装置具有扫描仪、存储器以及处理器。扫描仪获取原稿的读取图像。存储器存储通过所述扫描仪获取的原稿的读取图像。处理器在所述存储器存储的原稿的读取图像中检测包含利用彩色涂抹而成的区域的涂抹区域和包含利用所述彩色围成的区域的包围区域，并将所述涂抹区域分类为第一处理用的区域，将所述包围区域分类为第二处理用的区域。

Description

图像处理装置
技术领域
本发明的实施方式涉及一种图像处理装置。
背景技术
在数码复合机等的图像处理装置中，存在具有检测原稿中利用记号笔标记的区域(标记区域)，并对检测出的区域执行OCR处理等处理的功能的装置。在现有的数码复合机中，还存在具有对固定形式的***等固定格式的原稿指定坐标，并将多个标记区域分类为多个类别的功能的数码复合机。但是，为了将格式不固定的原稿中的多个标记区域分类为多个类别，需要按照原稿指定定义类别的坐标。
另外，存在下述技术：用户在标记区域记入符号字符，图像处理装置通过识别标记区域中的符号字符来对标记区域进行分类。但是，在上述现有技术中，用户需要花费时间在每个标记区域记入符号字符。另外，存在图像处理装置有可能误识别记入标记区域中的符号字符这一问题。
发明内容
本发明是为了解决上述问题而完成的，其目的在于，提供一种能够容易地对原稿中标记的多种区域进行分类的图像处理装置。
根据实施方式，图像处理装置具有扫描仪、存储器以及处理器。扫描仪获取原稿的读取图像。存储器存储通过所述扫描仪获取的原稿的读取图像。处理器在所述存储器存储的原稿的读取图像中检测包含利用彩色涂抹而成的区域的涂抹区域和包含利用所述彩色围成的区域的包围区域，并将所述涂抹区域分类为第一处理用的区域，将所述包围区域分类为第二处理用的区域。
附图说明
图1是表示实施方式涉及的图像处理装置的构成例的框图。
图2是表示实施方式涉及的图像处理装置所扫描的原稿的例子的图。
图3是用于说明实施方式涉及的图像处理装置的动作例的流程图。
图4是用于说明实施方式涉及的图像读取装置中的区域检测处理的动作例的流程图。
图5是表示作为实施方式涉及的图像处理装置的处理对象的原稿的读取图像中包含的噪音的例子的图。
图6是表示实施方式涉及的图像处理装置通过去噪处理除去噪音后的图像的例子的图。
图7是表示作为实施方式涉及的图像处理装置的处理对象的原稿的读取图像中包含的噪音的例子的图。
图8是表示实施方式涉及的图像处理装置通过去噪处理除去噪音后的图像的例子的图。
图9是表示相对于实施方式涉及的图像处理装置提取出的彩色的区域的轮廓线的例子的图。
图10是表示相对于实施方式涉及的图像处理装置提取出的彩色的区域的轮廓线的例子的图。
图11是表示作为实施方式涉及的图像处理装置的区域检测处理的结果而切出的涂抹区域的例子和包围区域的例子的图。
图12是用于说明应用实施方式涉及的图像处理装置的标记区域的分类处理的第一应用例的图。
图13是用于说明应用实施方式涉及的图像处理装置的标记区域的分类处理的第二应用例的图。
附图文字说明：
1…图像处理装置、11…***处理部、12…扫描仪、14…操作面板、21…处理器、22…主存储器、23…页存储器、24…HDD、25…外部IF(接口)、26…扫描仪IF(接口)、27…图像处理部。
具体实施方式
以下，参照附图对实施方式进行说明。
实施方式涉及的图像处理装置具有读取原稿的图像读取装置、和对图像读取装置所读取的图像进行处理的处理部。例如，本实施方式涉及的图像处理装置，通过具有作为图像读取装置的扫描仪等的数码复合机等实现。另外，本实施方式涉及的图像处理装置，也可以构成为包含作为图像读取装置的扫描仪和与扫描仪连接的计算机的***。
图1是表示实施方式涉及的图像处理装置1的构成例的框图。
如图1所示，图像处理装置1具有***处理部11、扫描仪12、打印机13以及操作面板14。例如，图1所示的图像处理装置1表示假设为数码复合机的构成例。
扫描仪12扫描配置在原稿台(例如透射的玻璃板)上的原稿，获取原稿的图像。例如，扫描仪12具有发光体和光电转换装置。发光体朝向配置在原稿台上的原稿面发光。光电转换装置具有接收来自原稿面的光并转换为电子数据的受光元件(CCD图像传感器等)等。另外，扫描仪12也可以读取自动供纸装置(ADF)供给的原稿的图像。
例如，扫描仪12根据来自***处理部11的指示扫描放置在原稿台上的原稿面的图像。扫描仪12根据扫描到的图像生成利用R(红)、G(绿)以及B(蓝)的各值表示各像素的图像信号(RGB图像数据)。扫描仪12将所生成的RGB图像数据作为原稿的读取图像的图像数据输出至***处理部11。
打印机13是在作为记录介质的片材上形成图像的图像形成装置。打印机13根据从***处理部11供给的印刷处理用的图像数据在片材上形成图像。打印机13的图像形成方式并不限定于特定的方式。例如，打印机13可以是电子照相方式的图像形成装置，也可以是喷墨方式或热转印方式的图像形成装置。
操作面板14具有显示部14a和操作部14b。例如，操作面板14具有作为操作部14b的触摸面板，该操作部14b的触摸面板设置于作为显示部14a的平板型显示器上。另外，作为操作部14b，也可以设置开始键和数字键等的硬键。显示部14a显示图像处理装置1的状态和作业的进展情况等。
***处理部11统一控制图像处理装置1的各硬件。***处理部11包括处理器21、主存储器22、页存储器23、HDD(硬盘驱动器)24、外部IF(接口)25、扫描仪IF26、图像处理部27以及打印机IF28。处理器21例如为CPU(Central Processing Unit、中央处理器)、MPU(Micro Processing Unit、微处理器)等。主存储器22具有ROM和RAM等各种存储器。
页存储器23临时存储作为处理对象的图像数据。例如，页存储器23存储图像处理部28处理后的图像数据。处理器21对页面存储器23所存储的图像数据执行后述的各种处理。
HDD24是可重写的非易失性存储器。HDD24存储数据和程序。处理器21通过执行主存储器22的ROM或HDD24所存储的程序而实现各种处理。例如，处理器21通过将程序在主存储器22的RAM上展开并执行，从而作为控制部或数据处理部发挥作用。
外部IF25是用于与外部装置进行通信的接口。例如，处理器21也可以经由外部IF25将通过后述处理得到的图像数据输出至外部装置。
扫描仪IF26是用于连接扫描仪12的接口。打印机IF28是用于连接打印机13的接口。
图像处理部27对图像数据执行预先设定的图像处理。例如，图像处理部27通过ASIC(Application Specific Integrated Circuit、专用集成电路)实现。图像处理部27也可以构成为：具有对输入的图像进行处理的输入处理部、和对输出的图像进行处理的输出处理部。例如，图像处理部27的输入处理部对扫描仪12读取的图像数据、或者从外部装置供给的图像数据执行规定的图像处理。另外，输出处理部执行用于将图像数据转换为向打印机13输出的印刷处理用的图像数据的图像处理。
例如，图像处理部27对于来自扫描仪12的RGB图像数据(原稿的读取图像)，实施作为输入处理的颜色转换和滤波处理等规定的图像处理。图像处理部27将实施了输入处理的图像数据存储在***处理部11内的存储器中。另外，图像处理部27也可以对输入处理后的图像数据执行规定的图像压缩等，并作为规定形式的图像文件保存到***处理部11内的存储器中。
接着，对实施方式涉及的图像处理装置1中的标记区域的分类处理进行说明。
图像处理装置1具有在原稿的读取图像中检测利用彩色的记号笔(以下简称为“记号笔”)标记的多种标记区域的功能。另外，图像处理装置1具有对于从原稿的读取图像检测出的标记区域进行分类的功能、和根据各分类对各区域执行各种处理的功能。在本实施方式中，将包含针对原稿的读取图像的标记区域的检测和分类在内的一系列处理作为标记区域的分类处理进行说明。
另外，在本实施方式中，图像处理装置1检测涂抹区域(第一区域)和包围区域(第二区域)作为标记区域的例子。涂抹区域根据在原稿上利用记号笔涂抹而成的区域被检测到。例如，涂抹区域假设为下述区域，即为了指定原稿中的特定的字符串，由用户利用记号笔在该字符串上描绘而标记的区域。另外，包围区域根据在原稿上利用记号笔表示的线包围的区域被检测到。例如，包围区域假设为下述区域，即用户在原稿中利用记号笔以将包含想要指定的字符组或图等的区域包围的方式进行标记从而指定的区域。
进而，本实施方式涉及的图像处理装置1具有将检测出的各种标记区域分类为多个类别等的功能。在后述的处理例中，图像处理装置1将涂抹区域分类为第一处理用的区域，将包围区域分类为第二处理用的区域。即，第一处理是对涂抹区域实施的处理，第二处理是对包围区域实施的处理。例如，第一处理和第二处理使用涂抹区域或包围区域中的任一区域执行作为作业或工作流中的一个步骤所需的处理。作为工作流所需的处理，也可以对各区域执行OCR处理，并将通过OCR提取出的各文本存入预先与涂抹区域或包围区域建立关联的处理过程中。另外，第一处理和第二处理可以是以不同的算法执行的OCR处理，也可以是使用不同的词典识别字符的OCR处理。另外，第一处理和第二处理也可以是OCR处理以外的其他处理。
接着，对于作为实施方式涉及的图像处理装置1的处理对象的原稿和在原稿中利用记号笔标记的区域(标记区域)进行说明。
在本实施方式中，用户在作为后述处理(标记区域的分类处理)的对象的原稿中利用记号笔标记各种区域。例如，用户在原稿中以将实施第一处理的区域(例如字符串)涂抹、将实施第二处理的区域(例如包含多个字符或图等的区域)包围的方式进行标记。记号笔是利用在后述处理中检测为彩色的颜色在原稿上进行标记的笔。记号笔可以是预先准备的专用笔，也可以是普通流通的笔中能够检测为彩色的颜色的笔。
图2是表示利用记号笔以涂抹和包围的方式指定了区域的原稿的例子的图。
图2所示的原稿具有利用规定的彩色的记号笔记入的标记M1和标记M2。标记M1表示在原稿中通过涂抹指定区域的例子。标记M2表示在原稿中通过包围指定区域的例子。在图2所示的例子中，标记M1以在原稿中将一行排列的8个字符构成的字符串涂抹的方式形成。标记M2以将包含由两行多个字符构成的字符组的区域包围的方式形成。
作为通过涂抹指定区域，用户利用记号笔描绘作为指定对象的字符或字符串等进行标记。因此，可以想到的是，指定对象的全部并未完全被涂抹的情况较多。在图2所示的具体例中，标记M1将8个字符的字符串中的各字符的至少一部分涂抹，但并未将全部字符完全涂抹。
另外，作为通过包围指定区域，用户以将包含作为指定对象的全部字符或图等的区域包围的方式进行标记。因此，可以想到的是，作为指定对象的全部字符或图等完全包含在标记的范围内的情况较多。在图2所示的具体例中，标记M2表示以将两行中排列的19个字符的全部字符完全包含的方式围成的区域。
接着，对实施方式涉及的图像处理装置1的动作例进行说明。
图3是用于大概说明图像处理装置1中的标记区域的分类处理的流程的流程图。
首先，用户使用操作面板14的操作部14b指示原稿中的标记区域的分类处理。进而，用户将分别利用记号笔标记了作为分类对象的区域的原稿放置在扫描仪12的原稿台上，并在操作面板14中指示开始处理。
图像处理装置1的处理器21检测在操作面板14中指定了标记区域的分类处理的情况。当指定了标记区域的分类处理时，处理器21将动作模式设定为执行标记区域的分类处理的模式(ACT11)。当设定了标记区域的分类处理时，处理器21等待操作面板14中的扫描开始的指示。当指示开始扫描时，处理器21执行通过扫描仪12读取原稿台上的原稿的处理(ACT12)。
扫描仪12根据来自处理器21的指示扫描放置在原稿台上的原稿面的图像，并生成作为原稿的读取图像的RGB图像数据。扫描仪12将作为原稿的读取图像的RGB图像数据输出至图像处理部27。图像处理部27对来自扫描仪12的RGB图像数据实施颜色转换和滤波处理等输入处理并存储在存储器中(ACT13)。例如，图像处理部27将实施了输入处理的作为原稿的读取图像的RGB图像数据存储在页存储器23中。另外，图像处理部27也可以对输入处理后的RGB图像数据实施压缩处理等数据转换，并作为规定形式的图像文件保存到HDD24中。
在将作为原稿的读取图像的图像数据存储在存储器中之后，处理器21对原稿的读取图像执行检测标记区域的区域检测处理(ACT14)。作为区域检测处理，处理器21检测原稿的读取图像中的各种标记区域，并对检测出的各标记区域进行分类。
例如，处理器21在原稿的读取图像中检测以彩色区域的形式表现的标记。处理器21判定检测出的标记所表示的区域(标记方法)。处理器21根据判定出的标记方法对各标记所表示的标记区域进行分类，并切出分类后的标记区域的图像。
在本实施方式中，处理器21检测涂抹区域和包围区域作为原稿的读取图像中的多种标记区域。处理器21检测原稿的读取图像中的涂抹区域和包围区域，并切出涂抹区域的图像和包围区域的图像。在本实施方式中，处理器21将涂抹区域分类为第一处理用的区域，将包围区域分类为第二处理用的区域。
另外，关于ACT14的区域检测处理，之后详细进行说明。
在对原稿的读取图像中的各标记区域进行分类后，处理器21对分类后的各标记区域执行针对每个分类设定的处理(ACT15)。在本实施方式中，处理器21对涂抹区域的图像执行第一处理，对包围区域的图像执行第二处理。
根据以上所述的标记区域的分类处理，图像处理装置根据相对于各区域的标记的状态对原稿中的多个标记区域进行分类。在本实施方式中，图像处理装置判别用户使用记号笔以涂抹的方式指定的涂抹区域和以包围的方式指定的包围区域。由此，用户无需使用多个记号笔，可以使用一个记号笔进行以涂抹或包围的方式标记的每个区域的分类和处理。
接着，对检测原稿中的标记区域的区域检测处理进行说明。
图4是用于说明实施方式涉及的图像处理装置1的区域检测处理的流程图。
***处理部11的处理器21对原稿的读取图像实施检测标记区域的区域检测处理。例如，在将原稿的读取图像制成文件并保存到HDD24中的情况下，处理器21将该文件还原为RGB图像数据并在页面存储器23中展开。在此，假设为在单色(黑白)的书面中利用彩色记号笔标记各区域的原稿。另外，作为处理器21的处理对象的原稿的读取图像假设为RGB图像数据。
在区域检测处理中，处理器21判定作为在原稿的读取图像(RGB图像数据)中利用记号笔标记的颜色的彩色的像素(ACT21)。例如，处理器21通过判定各像素的|R-G|或|G-B|的值是否在阈值以上，从而判定原稿的读取图像中的彩色。另外，处理器21也可以转换为L*a*b*的空间，将包含在预先设定的无彩色区域中的情况判定为无彩色。
在判定原稿的读取图像中的彩色像素之后，处理器21执行除去原稿的读取图像中的噪音的去噪处理(ACT22)。去噪处理是除去(去噪)利用扫描仪12读取的偏差、附着在原稿台或光学***等上的灰尘等引起的噪音成分的处理。另外，去噪处理还包括为了检测用户(标记者)所意图的标记部位而对标记的模糊和中断等进行校正的处理(标记校正)。
例如，作为去噪，处理器21针对判定为彩色的像素及其周围的像素，除去因为读取的偏差或灰尘等的影响而产生的噪音成分。作为具体例，处理器21可以通过对原稿的读取图像实施收缩以及膨胀处理而除去微小的彩色像素(噪音成分)。
另外，作为标记校正，处理器21将标记模糊的部位或者中断的部位校正为彩色。即，标记校正是将本来应结合的彩色像素组中断的部位(区域)或者彩色像素组的区域中混有的无彩色转换为彩色的处理。作为具体例，处理器21可以通过对原稿的读取图像实施收缩以及膨胀处理而实现将模糊或中断转换为彩色的标记校正。
图5是标记的区域(被判定为彩色的像素组)在微小的范围中断的图像的例子。另外，图6是表示对图5所示的图像实施标记校正后的图像的例子的图。
图5所示的图像通过实施作为去噪处理所包含的标记校正的处理的膨胀以及收缩处理，而被校正为图6所示的图像。即，图5所示的图像通过去噪处理而使标记中断的部位连接，从而转换为图6所示的图像。
图7是在标记的区域(被判定为彩色的像素组)中混有无彩色像素的图像的例子。另外，图8是表示对图7所示的图像实施标记校正后的图像的例子的图。
例如，图7所示的图像因为用户在原稿上利用记号笔标记时产生模糊而出现。图7所示的图像通过作为去噪处理中包含的标记的校正处理的膨胀以及收缩处理而被校正为图8所示的图像。即，由于通过去噪处理而将模糊等引起的白色像素部分转换为彩色像素，因而图7所示的图像被转换为图8所示的图像。
在执行去噪处理之后，处理器21对去噪处理后的图像数据执行白色像素的判定处理(ACT23)。白色像素的判定处理是判定彩色的像素组所围成的区域(彩色的区域)内存在的白色像素的处理。处理器21提取相对于去噪处理后的图像数据中的彩色区域的轮廓(最外轮廓)。例如，处理器21针对连接的彩色像素组而提取最外侧的轮廓线。在提取出相对于彩色区域的轮廓线之后，处理器21对相对于彩色区域的轮廓内所包含的白色像素的比率进行计数。在此，白色像素的比率是轮廓内包含的全部像素中的白色像素比率。例如，处理器21根据轮廓内的全部像素数和白色像素数对白色像素的比率进行计数。
图9是表示针对在图2所示的原稿中利用记号笔以涂抹的方式指定区域的标记M1检测出的轮廓线r1的图。表示涂抹区域的标记M1的标记本身(彩色的像素组)的最外侧作为轮廓线r1被提取出。轮廓线r1是利用记号笔涂抹而成的区域的轮廓。因此，轮廓线r1的内部除了噪音等的像素以外被彩色的像素占据。
图10是表示针对在图2所示的原稿中利用记号笔以包围的方式指定区域的标记M2检测出的轮廓线r2的图。由于标记M2被形成为将所要指定的区域包围，因而最外侧的轮廓作为轮廓线r2被提取出。即，轮廓线r2是被形成为将所要指定的区域包围的标记的外侧轮廓，轮廓线r2的内侧并未利用记号笔进行涂抹。因此，在轮廓线r2的内侧存在多个与彩色不同的颜色的像素(原稿中的背景色的像素)。例如，在原稿的背景色为白色的情况下，轮廓线r2的内部存在多个白色像素。在此，假设原稿的背景色为白色，处理器21执行白色像素的判定处理，其中，检测作为原稿背景色的白色的像素。
在执行白色像素的判定处理之后，处理器21执行标记方法的判定处理(ACT24)。在标记方法的判定处理中，判定原稿中的标记所指定的标记区域的种类。在本实施方式中，作为标记方法的判定处理，处理器21判定从原稿的读取图像检测出的各标记所表示的区域是涂抹区域还是包围区域。
在上述白色像素的判定处理中，处理器21对被标记的各区域的轮廓线的内部存在的白色像素(与彩色不同的颜色的像素)的比率进行计数。以涂抹的方式指定区域的标记的轮廓线的内部的白色像素少，以包围的方式指定区域的标记的轮廓线的内部的白色像素多。因此，处理器21根据标记的轮廓线内部中的白色像素的比率来判定标记所表示的区域是涂抹区域还是包围区域。该判定使用阈值，并以超过阈值时为包围区域、在阈值以下时为涂抹区域的方式择一进行。
例如，处理器21判定轮廓线的内部存在的白色像素的比率是否在阈值以上。当轮廓线的内部存在的白色像素的比率小于阈值时，处理器21判定该轮廓线的标记(标记方法)为涂抹。另外，当轮廓线的内部存在的白色像素的比率在阈值以上时，处理器21判定该轮廓线的标记(标记方法)为包围。
在标记方法的判定处理结束之后，处理器21根据标记方法的判定结果执行切出各标记区域的切出处理(ACT25)。在此，处理器21执行与标记方法对应的标记区域的切出处理。即，处理器21对标记方法被判定为涂抹的标记执行涂抹区域的切出处理。另外，处理器21对标记方法被判定为包围的标记执行包围区域的切出处理。
例如，对于判定为涂抹的标记，处理器21检测包含形成该标记的彩色像素组(彩色区域)的矩形(外接矩形)区域。处理器21根据图9所示的标记的轮廓线来确定表示矩形区域的坐标值。处理器21根据所确定的坐标值切出矩形区域，并将切出的矩形区域作为涂抹区域。通过切出包含彩色区域(标记的轮廓线)的矩形区域，以涂抹的方式指定的区域切出也包含未完全涂抹的字符的区域。
另外，对于判定为包围的标记，处理器21检测基于该标记的最外侧的轮廓的区域(最外轮廓的区域)。例如，处理器21沿着图10所示的标记的轮廓线切出区域，并将切出的区域作为包围区域。
需要说明的是，在上述例子中，根据相对于彩色区域的轮廓线内的白色像素的比率来判定是涂抹区域还是包围区域，但也可以根据轮廓线内的彩色像素的比率来判定是涂抹区域还是包围区域。在此，彩色像素的比率是轮廓内包含的全部像素中的彩色像素的比率。例如，处理器根据轮廓内的全部像素数和彩色的像素数对彩色像素的比率进行计数。
在根据轮廓内的彩色像素的比率判定标记方法的情况下，在ACT23中，处理器取代白色像素的比率而判定相对于彩色区域的轮廓内包含的彩色像素的比率。在判定彩色像素的比率之后，在ACT24中，当彩色像素的比率在阈值以上时，处理器判定该彩色的区域为表示涂抹区域的标记，当彩色像素的比率小于阈值时，处理器判定所述彩色的区域为表示包围区域的标记。根据上述处理，处理器能够根据轮廓内的彩色像素的比率来判定标记方法。
根据以上的处理，图像处理装置从原稿的读取图像检测标记区域，并根据标记的方法对检测出的各标记区域进行分类。本实施方式的图像处理装置判定标记是以涂抹的方式指定区域的标记，还是以包围的方式指定区域的标记。图像处理装置根据标记方法的判定结果分别切出涂抹区域和包围区域。
另外，在判定为以涂抹的方式指定区域的标记的情况下，图像处理装置将该标记的外接矩形区域作为涂抹区域切出图像。由此，即使存在并未完全涂抹的字符，图像处理装置也能够检测出包含以涂抹的方式指定的字符或字符串的区域。因此，图像处理装置能够切出通过涂抹标记字符或字符串的符合用户意图的涂抹区域的图像。
另外，在判定为以包围的方式指定区域的标记的情况下，图像处理装置将该标记所示的区域的最外轮廓作为包围区域切出图像。由此，图像处理装置能够恰当地检测出用户以包围的方式标记的区域，从而能够切出符合用户意图的包围区域的图像。
以下，对本实施方式涉及的图像处理装置1的标记区域的分类处理的应用例进行说明。
如上所述，本实施方式涉及的图像处理装置1分别检测用户利用记号笔以涂抹和包围的方式指定的原稿上的区域(标记区域)。涂抹区域和包围区域可以设定为实施不同的处理，也可以将两者作为OCR处理的对象区域。例如，即使在将涂抹区域和包围区域两者作为OCR处理的对象区域的情况下，也能够按区域对处理结果进行分类。
即，本实施方式涉及的图像处理装置1，能够分别对利用涂抹和包围这两种方法标记的区域进行分类，从而实现特有的效果。例如，能够对涂抹区域和包围区域实施分别设定的不同的处理。另外，相对于涂抹区域的处理结果和相对于包围区域的处理结果，也可以相互关联地分别进行分类管理。
接着，对第一应用例进行说明。
作为第一应用例，对于将一张***或票据等中记载的编号信息和文本信息分别以涂抹和包围的方式进行标记的例子进行说明。
图12表示在记载有邮政编码和住址的***或票据中，以涂抹的方式标记邮政编码、以包围的方式标记住址的原稿的例子。在图12所示的例子中，表示两个标记M11和M12以及与这些标记对应的标记区域R11和R12。
标记M11是使用记号笔以涂抹的方式指定原稿中的邮政编码的例子。标记区域R11表示根据判定为涂抹的标记M11作为涂抹区域切出的区域。即，标记区域R11是包含标记M11的轮廓的矩形(外接矩形)的区域。
标记M12是使用该记号笔以包围的方式指定原稿中的住址的记载区域的例子。标记区域R12是根据判定为包围的标记M12作为包围区域切出的区域。即，标记区域R12是由标记M12的最外侧的轮廓(最外轮廓)形成的区域。
如图12所示，通过对利用不同方法标记的邮政编码和住址进行分类，能够执行适于各个信息的处理。在图12所示的例子中，能够在涂抹区域中执行适于识别邮政编码的OCR处理，在包围区域中执行适于识别住址的OCR处理。另外，涂抹区域中的邮政编码的识别结果和包围区域中的住址的识别结果，以将各个信息相互关联的状态存入数据库或工作流中。
接着，对第二应用例进行说明。
作为第二应用例，对于在标记了涂抹和包围的原稿中进一步追加了利用包围的标记时的例子进行说明。
图13表示在记载有出席者和讨论事项的原稿(会议记录)中以涂抹的方式标记出席者、以包围的方式标记讨论事项的主要部分(必要部分)的例子。在图13所示的例子中，表示四个标记M21、M22、M23、M24以及与这些标记对应的标记区域R21、R22、R23、R24。
标记M21、M22分别是使用记号笔以涂抹的方式指定出席者的例子。标记区域R21、R22表示根据判定为涂抹的标记M21、M22作为涂抹区域切出的区域。即，标记区域R21、R22是包含标记M21、M22的轮廓的矩形(外接矩形)的区域。
标记M23是使用记号笔以包围的方式指定原稿中的讨论事项的一部分的例子。另外，标记M24是使用记号笔以包围的方式指定与标记M23不同部分的讨论事项的例子。例如，由于是在记入标记M23之后指定其他部分，因而追加记入标记M24。
在图13所示的例子中，标记M23和标记M24以连接的状态记入。因此，标记区域R23作为彩色将标记M23和标记M24连接的成分而被检测出。由于在轮廓线的内部白色像素多，因而标记M23和标记M24连接而成的成分被判定为包围。因此，标记区域R23根据判定为包围的标记M23和M24作为包围区域而切出。即，标记区域R23成为由连接的标记M23和标记M24所形成的区域的最外侧的轮廓(最外轮廓)形成的区域。
实施方式涉及的图像处理装置能够与涂抹不同地对作为连接的彩色区域的最外轮廓切出的包围区域执行处理。因此，如上述的第二应用例那样，图像处理装置1能够将通过包围的标记追加指定的区域与之前以包围的方式指定的区域一同切出。由此，实施方式涉及的图像处理装置1能够将原稿中追加的备注等信息包含在内执行处理。
实施方式涉及的图像处理装置，即使在同一页中存在多个涂抹区域或包围区域的情况下，也能够根据白像素在作为最外轮廓切出的区域的全部像素中所占的比率是否超过阈值，而择一地确定是包围区域还是涂抹区域。因此，本实施例的图像处理装置，即使在一页中混合存在包围区域和涂抹区域的情况下，也能够可靠地判别是哪个区域。另外，本实施例还具有视觉上也容易区别文字的涂抹区域和文字的包围区域这一优点。此外，优选涂抹区域和包围区域以一方不包含在另一方内的方式存在于同一页中。
涂抹区域也可以包括如下情况：
例如，(1)在由指定框包围字符串的情况下，在将指定框内的部分字符串涂抹时，将包括在该框内记载的未被涂抹的字符的所有字符串作为识别对象。这也属于涂抹区域。(2)未直接涂抹字符，而涂抹字符的下部(下划线)，将其上部的字符串作为识别对象。这也属于涂抹区域。或者涂抹上部(上划线)，将其下部的字符串作为识别对象。这也属于涂抹区域。可以考虑各种像这样的涂抹区域的指定方法。
虽然说明了本发明的几个实施方式，但这些实施方式只是作为示例而提出的，并非旨在限定发明的范围。这些实施方式能够以其他各种方式进行实施，能够在不脱离发明的宗旨的范围内进行各种省略、替换、变更。这些实施方式及其变形被包括在发明的范围和宗旨中，同样地被包括在权利要求书所记载的发明及其等同的范围内。

Claims (6)

1.一种图像处理装置，其特征在于，具有：
扫描仪，获取原稿的读取图像；
存储器，存储通过所述扫描仪获取的原稿的读取图像；以及
处理器，在所述存储器存储的原稿的读取图像中检测包含利用彩色涂抹而成的区域的涂抹区域和包含利用所述彩色围成的区域的包围区域，并将所述涂抹区域分类为第一处理用的区域，将所述包围区域分类为第二处理用的区域。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述处理器将包含利用所述彩色涂抹而成的区域的矩形区域作为涂抹区域而切出。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述处理器将相对于彩色区域的轮廓作为包围区域切出,所述彩色区域形成为包围所述原稿中的一部分区域。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述处理器针对作为所述涂抹区域而切出的区域执行第一处理，针对作为所述包围区域而切出的区域执行第二处理。
5.根据权利要求1至4中任一项所述的图像处理装置，其特征在于，
所述处理器提取相对于所述原稿的读取图像中的所述彩色的区域的轮廓线，若所述轮廓线内的白色像素的比率小于阈值则判定为所述彩色的区域是表示涂抹区域的标记，在所述轮廓线内的白色像素的比率为阈值以上时判定为所述彩色的区域是表示包围区域的标记。
6.根据权利要求1至4中任一项所述的图像处理装置，其特征在于，
所述处理器提取相对于所述原稿的读取图像中的所述彩色的区域的轮廓线，若所述轮廓线内的彩色像素的比率为阈值以上则判定为所述彩色的区域是表示涂抹区域的标记，在所述轮廓线内的彩色像素的比率小于阈值时判定为所述彩色的区域是表示包围区域的标记。
CN201811412884.6A 2017-11-27 2018-11-23 图像处理装置 Pending CN109842733A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-226572 2017-11-27
JP2017226572A JP7048275B2 (ja) 2017-11-27 2017-11-27 画像処理装置

Publications (1)

Publication Number Publication Date
CN109842733A true CN109842733A (zh) 2019-06-04

Family

ID=64500230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811412884.6A Pending CN109842733A (zh) 2017-11-27 2018-11-23 图像处理装置

Country Status (4)

Country Link
US (2) US10523848B2 (zh)
EP (1) EP3489859B1 (zh)
JP (1) JP7048275B2 (zh)
CN (1) CN109842733A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11212397B1 (en) * 2020-06-30 2021-12-28 Kyocera Document Solutions Inc. Image reading system, image forming system, and image reading method for dividing each area into blockchains
US20240161451A1 (en) 2021-03-12 2024-05-16 Kohji KAMBARA Information processing system, processing method, and recording medium

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07234917A (ja) * 1994-02-24 1995-09-05 Canon Inc 画像処理装置
JP2000078389A (ja) * 1998-08-27 2000-03-14 Ricoh Co Ltd 画像処理装置
JP2001358925A (ja) * 2000-06-09 2001-12-26 Minolta Co Ltd 画像処理のための装置、方法及び記録媒体
US7042594B1 (en) * 2000-03-07 2006-05-09 Hewlett-Packard Development Company, L.P. System and method for saving handwriting as an annotation in a scanned document
JP2009010690A (ja) * 2007-06-28 2009-01-15 Ricoh Co Ltd 画像読取装置および画像形成装置
US20100027851A1 (en) * 2006-10-26 2010-02-04 Man Roland Druckmaschinen Ag Apparatus, method and process for the stochastic marking and tracking of printed products
CN102611815A (zh) * 2011-01-20 2012-07-25 村田机械株式会社 图像处理装置、图像处理***以及图像处理方法
CN103209279A (zh) * 2012-01-17 2013-07-17 富士施乐株式会社 图像读取装置、移动终端设备和图像读取方法
JP2013161143A (ja) * 2012-02-01 2013-08-19 O-Rid Co Ltd 文字テキスト化システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5272764A (en) * 1989-12-08 1993-12-21 Xerox Corporation Detection of highlighted regions
US5048109A (en) * 1989-12-08 1991-09-10 Xerox Corporation Detection of highlighted regions
JP2896919B2 (ja) * 1990-04-12 1999-05-31 沖電気工業株式会社 画像処理装置
JP3294973B2 (ja) 1995-09-21 2002-06-24 旭光学工業株式会社 カメラのバリヤ移動制限機構
JP4028323B2 (ja) * 2002-08-13 2007-12-26 富士通株式会社 上書きマーク認識装置
JP2005217599A (ja) 2004-01-28 2005-08-11 Oki Electric Ind Co Ltd 画像表示装置および画像表示方法
US8494280B2 (en) 2006-04-27 2013-07-23 Xerox Corporation Automated method for extracting highlighted regions in scanned source
JP5347698B2 (ja) 2009-05-08 2013-11-20 マツダ株式会社 パワートレインシステムの制御方法及びパワートレインシステム
JP6142701B2 (ja) * 2013-07-03 2017-06-07 富士ゼロックス株式会社 画像処理装置及びプログラム

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07234917A (ja) * 1994-02-24 1995-09-05 Canon Inc 画像処理装置
JP2000078389A (ja) * 1998-08-27 2000-03-14 Ricoh Co Ltd 画像処理装置
US7042594B1 (en) * 2000-03-07 2006-05-09 Hewlett-Packard Development Company, L.P. System and method for saving handwriting as an annotation in a scanned document
JP4189506B2 (ja) * 2000-06-09 2008-12-03 コニカミノルタビジネステクノロジーズ株式会社 画像処理のための装置、方法及び記録媒体
US20020015525A1 (en) * 2000-06-09 2002-02-07 Yoko Fujiwara Image processor for character recognition
US20070237394A1 (en) * 2000-06-09 2007-10-11 Minolta Co., Ltd. Image processor for character recognition
US7321688B2 (en) * 2000-06-09 2008-01-22 Minolta Co., Ltd. Image processor for character recognition
US7454060B2 (en) * 2000-06-09 2008-11-18 Minolta Co., Ltd. Image processor for character recognition
JP2001358925A (ja) * 2000-06-09 2001-12-26 Minolta Co Ltd 画像処理のための装置、方法及び記録媒体
US20100027851A1 (en) * 2006-10-26 2010-02-04 Man Roland Druckmaschinen Ag Apparatus, method and process for the stochastic marking and tracking of printed products
JP2009010690A (ja) * 2007-06-28 2009-01-15 Ricoh Co Ltd 画像読取装置および画像形成装置
CN102611815A (zh) * 2011-01-20 2012-07-25 村田机械株式会社 图像处理装置、图像处理***以及图像处理方法
JP2012151722A (ja) * 2011-01-20 2012-08-09 Murata Mach Ltd 画像処理装置、画像処理システム、画像処理方法、および、プログラム
CN103209279A (zh) * 2012-01-17 2013-07-17 富士施乐株式会社 图像读取装置、移动终端设备和图像读取方法
US20130182293A1 (en) * 2012-01-17 2013-07-18 Fuji Xerox Co., Ltd. Image reader, mobile terminal apparatus, and non-transitory computer readable medium
JP2013161143A (ja) * 2012-02-01 2013-08-19 O-Rid Co Ltd 文字テキスト化システム

Also Published As

Publication number Publication date
JP2019096178A (ja) 2019-06-20
US20190166284A1 (en) 2019-05-30
US20190356820A1 (en) 2019-11-21
US10887491B2 (en) 2021-01-05
JP7048275B2 (ja) 2022-04-05
EP3489859A1 (en) 2019-05-29
EP3489859B1 (en) 2023-02-08
US10523848B2 (en) 2019-12-31

Similar Documents

Publication Publication Date Title
CN102360419B (zh) 计算机扫描阅读管理方法及***
US8306325B2 (en) Text character identification system and method thereof
CN101753764B (zh) 图像处理装置及方法、图像读取装置、图像发送装置
JP4857173B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US8818018B2 (en) System and method for enhancing security printing
US20150304521A1 (en) Dynamically generating table of contents for printable or scanned content
JP5830338B2 (ja) 帳票認識方法および帳票認識装置
CN104321804B (zh) 物体识别***
CN104754160A (zh) 图像处理装置
CN109842733A (zh) 图像处理装置
JP3018949B2 (ja) 文字読取装置およびその方法
CN103907339B (zh) 文档文件输出装置以及文档文件输出方法
US20180032809A1 (en) Information extraction device, image forming apparatus including information extraction device and method of controlling information extraction device
JP2007072642A (ja) 画像処理装置および画像処理装置の制御方法
US7920742B2 (en) Image processing apparatus, program and recording medium for document registration
US9152885B2 (en) Image processing apparatus that groups objects within image
JP3955467B2 (ja) 画像処理プログラム及び画像処理装置
JP4798296B1 (ja) 帳票
US7346214B2 (en) Method for capturing a complete data set of forms provided with graphic characters
CN108734167B (zh) 一种被污染的胶片文字识别方法
JP5368141B2 (ja) データ生成装置およびデータ生成方法
JP2908548B2 (ja) 認識方式
JPH09274643A (ja) 画像処理装置及び画像出力装置
JP2016128990A (ja) 画像補正装置、画像補正システム、画像補正方法、及び画像補正プログラム
CN114638739A (zh) 一种机器人扫描识别物品信息存储***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190604