CN102918828A - 上置型扫描仪装置及图像处理方法及程序 - Google Patents

上置型扫描仪装置及图像处理方法及程序 Download PDF

Info

Publication number
CN102918828A
CN102918828A CN2011800264856A CN201180026485A CN102918828A CN 102918828 A CN102918828 A CN 102918828A CN 2011800264856 A CN2011800264856 A CN 2011800264856A CN 201180026485 A CN201180026485 A CN 201180026485A CN 102918828 A CN102918828 A CN 102918828A
Authority
CN
China
Prior art keywords
image
mark
specified point
image acquisition
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800264856A
Other languages
English (en)
Other versions
CN102918828B (zh
Inventor
笠原雄毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PFU Ltd
Original Assignee
PFU Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PFU Ltd filed Critical PFU Ltd
Publication of CN102918828A publication Critical patent/CN102918828A/zh
Application granted granted Critical
Publication of CN102918828B publication Critical patent/CN102918828B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/002Special television systems not provided for by H04N7/007 - H04N7/18
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872Repositioning or masking
    • H04N1/3873Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/22Cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Input (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)

Abstract

根据本发明的上置型扫描仪装置及图像处理方法,对图像拍摄部件进行控制,获取包含了由使用者提示的至少1个标志物的原稿图像,再从获取的图像中检测基于从标志物的重心至端部的距离所决定的2个指定点,并使用以检测出的2点为对角的矩形剪切出图像。

Description

上置型扫描仪装置及图像处理方法及程序
技术领域
本发明涉及一种上置型扫描仪装置及图像处理方法及程序。
背景技术
以往,开发出一种上置型扫描仪装置,将原稿朝上设置并从上方对原稿进行拍摄。
例如,专利文献1中所公开的上置型扫描仪,由于因按压原稿而手被拍摄进去的问题,而根据像素输出来判别肤色,进行将肤色区域置换为白色等的校正。
另外,专利文献2中所公开的上置型扫描仪,用手压住原稿中希望读取区域的对角位置来进行读取动作,并基于该读取出的图像信息,检测原稿与压住该原稿的手之间的边界,将以左右手最内侧2个坐标为对角线的矩形的外侧区域遮挡。
另外,专利文献3中所公开的上置型扫描仪,接受由操作者用坐标指示笔指示的坐标位置,将连接各输入坐标而形成的区域作为剪切区域来识别,对剪切区域等有选择地进行光照射。
另外,专利文献4中所公开的作为平台型扫描仪的原稿读取装置,根据由区域传感器预扫描后的图像来识别读取范围和原稿尺寸,再由线传感器读取原稿。
专利文献
专利文献1:日本专利特开平6-105091号公报
专利文献2:日本专利特开平7-162667号公报
专利文献3:日本专利特开平10-327312号公报
专利文献4:日本专利特开2005-167934号公报
发明内容
然而,在以往的扫描仪装置中,在要从读取出的图像中剪切部分区域时,必须要在扫描前预先在控制台上指定剪切的范围,或扫描后在图像编辑器上指定剪切的区域等操作,因此存在操作烦杂的问题。
例如,在专利文献1记载的上置型扫描仪中,虽然通过检测肤色对将手拍摄进去的图像进行校正,但由于只指定副扫描方向(左右方向)上的原稿范围,所以存在要从读取出的图像中指定部分剪切区域时无法应用的问题。
另外,在专利文献2记载的上置型扫描仪中,由于检测肤色并将左右手边缘最内侧的坐标作为剪切矩形的对角点,所以存在会错误地检测出并非使用者指示的指尖坐标的点的问题。
另外,在专利文献3记载的上置型扫描仪中,虽然能够用坐标指示笔来指定图像的剪切区域,但是必须使用专用的坐标指示笔,而其操作性存在问题。
另外,在专利文献4记载的平台型扫描仪中,虽然能够通过区域传感器的预扫描来识别原稿尺寸和偏差量等,但是,为指定剪切范围,而需要在编辑软件上使用指定笔等工具来指定读取出的图像,所以仍然存在操作烦杂的问题。
本发明鉴于上述问题而完成,其目的在于提供一种上置型扫描仪装置,图像处理方法及程序,不需要在显示画面上操作光标移动按钮的控制台或专用笔等特殊工具,而指定范围时的操作性良好。
为了达到上述目的,本发明的上置型扫描仪装置,其特征在于具有:图像拍摄部件和控制部件,其中,所述控制部件包括:图像获取单元,对所述图像拍摄部件进行控制,获取包含了由使用者提示的至少1个标志物的原稿图像;指定点检测单元,从由所述图像获取单元获取的所述图像中,检测基于从所述标志物的重心至端部的距离所决定的2个指定点;以及图像剪切单元,使用以由所述指定点检测单元检测出的所述2点为对角的矩形,剪切出由所述图像获取单元获取的所述图像。
另外,本发明涉及的上置型扫描仪装置,其特征在于:所述图像获取单元对所述图像拍摄部件进行控制,按照预先确定的获取时机,获取2张包含了由使用者提示的1个标志物的原稿图像,所述指定点检测单元从由所述图像获取单元获取的2张所述图像中,检测由所述标志物指定的所述2点。
另外,本发明涉及的上置型扫描仪装置,其特征在于:所述控制部件还包括:删除图像获取单元,在以由所述指定点检测单元检测出的所述2点为对角的所述矩形内部,获取包含了由所述使用者提示的所述标志物的所述原稿图像;删除区域检测单元,从由所述删除图像获取单元获取的所述图像中,检测由所述标志物指定的区域;以及区域删除单元,将由所述删除区域检测单元检测出的所述区域,从由所述图像剪切单元剪切出的所述图像中删除。
另外,本发明涉及的上置型扫描仪装置,其特征在于:所述标志物为使用者的指尖,所述指定点检测单元从由所述图像获取单元获取的所述图像中,检测肤色部分区域再检测作为所述标志物的所述指尖,并检测出由该标志物指定的2点。
另外,本发明涉及的上置型扫描仪装置,其特征在于:所述指定点检测单元从所述手的重心朝向周围生成多个手指方向矢量,当所述肤色部分区域与所述手指方向矢量的法线矢量相重合的宽度最接近预定宽度时,将该手指方向矢量的尖端作为所述指尖。
另外,本发明涉及的上置型扫描仪装置,其特征在于:所述标志物为便签条,所述指定点检测单元从由所述图像获取单元获取的所述图像中,检测由作为所述标志物的2片所述便签条指定的2点。
另外,本发明涉及的上置型扫描仪装置,其特征在于:所述标志物为笔,所述指定点检测单元从由所述图像获取单元获取的所述图像中,检测由作为所述标志物的2支所述笔指定的2点。
另外,本发明涉及的上置型扫描仪装置,其特征在于还具备存储部件,其中,所述控制部件还包括标志物存储单元,将由使用者提示的所述标志物的颜色及/或形状存储于所述存储部件,所述指定点检测单元基于由所述标志物存储单元存储于所述存储部件中的所述颜色及/或所述形状,从由所述图像获取单元获取的所述图像中,检测该图像上的所述标志物,并检测由该标志物指定的2点。
另外,本发明涉及的上置型扫描仪装置,其特征在于所述控制部件还包括:倾斜检测单元,从由所述图像获取单元获取的所述图像中,检测所述原稿的倾斜;以及倾斜校正单元使用由所述倾斜检测单元检测出的所述倾斜度,对由所述图像剪切单元剪切出的所述图像进行倾斜校正。
另外,本发明还涉及一种上置型扫描仪装置的图像处理方法,其特征在于所述上置型扫描仪装置具备图像拍摄部件和控制部件,通过所述控制部件执行以下步骤:图像获取步骤,对所述图像拍摄部件进行控制,获取包含了由使用者提示的至少1个标志物的原稿图像;指定点检测步骤,从通过所述图像获取步骤获取的所述图像中,检测基于从所述标志物的重心至端部的距离所决定的2个指定点;以及图像剪切步骤,使用以通过所述指定点检测步骤检测出的所述2点为对角的矩形,剪切出通过所述图像获取步骤获取的所述图像。
另外,本发明还涉及一种程序,其特征在于所述上置型扫描仪装置具备图像拍摄部件和控制部件,在所述控制部件上执行以下步骤:图像获取步骤,对所述图像拍摄部件进行控制,获取包含了由使用者提示的至少1个标志物的原稿图像;指定点检测步骤,从通过所述图像获取步骤获取的所述图像中,检测基于从所述标志物的重心至端部的距离所决定的2个指定点;以及图像剪切步骤,使用以通过所述指定点检测步骤检测出的所述2点为对角的矩形,剪切出通过所述图像获取步骤获取的所述图像。
根据本发明,控制部件对图像拍摄部件进行控制,获取由使用者提示的至少包含了1个标志物的原稿图像,从获取的图像中检测出根据从标志物的重心至端部的距离所决定的2个指定点,并以检测出的2点为对角的矩形剪切所获取的图像。由此,具有不需要在显示画面上操作光标移动按钮的控制台和专用笔等特殊工具,而能够提高指定剪切范围的操作性的效果。例如,以往会因为使用者从原稿和扫描仪装置暂且移开视线来观察显示画面的控制台而作业被中断,导致生产效率下降,而本发明无需从原稿和扫描仪装置移开视线,而且不会因专用笔等工具污染原稿,就能够指定剪切范围。另外,由于根据从标志物的重心至端部的矢量所表示的距离来决定指定点,所以能够准确地检测出使用者指示的指定点。
另外,根据本发明,通过控制图像拍摄部件,按照预先确定的获取时机,获取2张包含了使用者提示的1个标志物的原稿图像,从获取的2张图像中检测出由标志物指定的2点。由此,具有使用者能够用单一标志物来指定剪切范围,特别是将指尖用作标志物时,具有使用者能够仅以单手操作来指定剪切范围的效果。
另外,根据本发明,在以检测出的2点为对角的矩形内部,获取包含了使用者提示的标志物的原稿图像,从获取的图像中检测由标志物指定的区域,将检测出的区域从所剪切的图像中删除。由此,具有即使使用者要剪切的范围不是矩形时,也能够以多个矩形组合而成的块形状等形状、即复杂的多边形来指定剪切范围的效果。
另外,根据本发明,标志物是使用者的指尖,通过从获取的图像中检测肤色部分区域来检测标志物、即指尖,从而检测出由该标志物指定的2点。由此,具有能够根据肤色准确地检测出图像上的手指区域,从而精确地检测出指定的剪切范围的效果。
另外,根据本发明,从手重心向周围生成多个手指方向矢量,在肤色部分区域与手指方向矢量的法线矢量相重合的宽度最接近预定宽度时,将该手指方向矢量的尖端作为指尖。由此,具有能够基于手指从手的重心向手外周突出的假定,准确地检测出指尖的效果。
另外,根据本发明,标志物为便签条,从获取的图像中检测出由标志物、即2片便签条指定的2点。由此,具有能够检测出以由2片便签条指定的2点为对角的矩形作为剪切范围的效果。
另外,根据本发明,标志物是笔,从获取的图像中检测出由标志物、即2支笔指定的2点。由此,具有能够检测出以由2支笔指定的2点为对角的矩形作为剪切范围的效果。
另外,根据本发明,控制部件将使用者提示的标志物的颜色及/或形状存储于存储部件,从获取的图像中,根据所存储的颜色及/或形状检测出该图像上的标志物,从而检测出由该标志物指定的2点。由此,具有即使标志物(例如:指尖)的颜色或形状因使用者而异时,也能够通过存储该标志物的颜色和形状,精确地检测出图像上的标志物区域,从而检测出剪切范围的效果。
另外,根据本发明,控制部件从获取的图像中检测原稿的倾斜度,使用检测出的倾斜度对剪切的图像进行倾斜校正。由此,在倾斜状态下剪切之后进行倾斜校正,具有能够提高处理速度,节省对资源的浪费的效果。
附图说明
图1是表示上置型扫描仪装置100的结构示例的框图。
图2是表示设有原稿的图像拍摄部件110外观的示例,并表示主扫描方向、副扫描方向和基于马达12的旋转方向之间的关系的图。
图3是表示在本实施方式的上置型扫描仪装置100中的主处理示例的流程图。
图4是表示在图像上检测出的2个指定点和基于该2个指定点的剪切范围示例的图。
图5是示意性地表示基于指定点检测部件102b的处理、即根据图像上从标志物的重心至端部的距离检测出指定点的方法的图。
图6是示意性地表示基于指定点检测部件102b的处理、即根据图像上从标志物的重心至端部的距离检测出指定点的方法的图。
图7是表示在本实施方式的上置型扫描仪装置100中具体处理示例的流程图。
图8是示意性地表示通过指定点检测部件102b检测出指尖的方法示例的图。
图9是示意性地表示根据法线矢量和图像及加权系数求取指尖吻合度的方法的图。
图10是表示在图像数据上检测出的、左右手重心和指尖指定点及剪切范围的图。
图11是示意性地表示区域删除处理的图。
图12是表示由便签条指定删除区域的示例的图。
图13是表示由便签条指定删除区域的示例的图。
图14是表示在本实施方式的上置型扫描仪装置100中单手操作时的处理示例的流程图。
图15是表示检测出第1及第2指定点时的图。
图16是表示检测出第3及第4指定点时的图。
[符号的说明]
100      上置型扫描仪装置
102      控制部件
102a     图像获取部件
102b     指定点检测部件
102c     图像剪切部件
102d     倾斜检测部件
102e     倾斜校正部件
102f     标志物存储部件
102g     删除图像获取部件
102h     删除区域检测部件
102j     区域删除部件
106      存储部件
106a     图像数据临时文件
106b     加工图像数据文件
106c     标志物文件
108      输入输出接口部件
112      输入装置
114      输出装置
具体实施方式
下面参照附图,对本发明涉及的上置型扫描仪装置,图像处理方法及程序的实施方式进行详细说明。另外,本发明不限于这些实施方式。
[1.本实施方式的结构]
下面参照图1,对本实施方式涉及的上置型扫描仪装置100的结构进行说明。图1是表示上置型扫描仪装置100的结构示例的框图。
如图1所示,上置型扫描仪装置100至少具备对朝上设置的原稿从上方扫描的图像拍摄部件110、以及控制部件102,在本实施方式中,还具备存储部件106和输入输出接口部件108。另外,上述各部件经由任意的通信路径被连接为能够通信的状态。
存储部件106存储各种数据库、表格和文件等。存储部件106是存储单元,例如可采用RAM、ROM等存储装置、硬盘等固定磁盘装置、软盘及光盘等。在存储部件106中记录有用于向CPU(Central ProcessingUnit)发出命令,进行各种处理的计算机程序。如图所示,存储部件106包括图像数据临时文件106a、加工图像数据文件106b及标志物文件106c。
其中,图像数据临时文件106a临时存储图像拍摄部件110所读取的图像数据。
另外,加工图像数据文件106b将图像拍摄部件110所读取的图像数据,通过后述的图像剪切部件102c和倾斜校正部件102e等加工处理后的图像数据进行存储。
输入输出接口部件108将图像拍摄部件110、输入装置112及输出装置114与上置型扫描仪装置100相连接。在此,输出装置114除了能够采用显示器(含家用电视)之外,亦可采用扬声器和打印机(另外,以下有时将“输出装置114”称为“显示器114”)。输入装置112除了能够采用键盘、鼠标和麦克风之外,亦可采用与鼠标协同工作来实现指示器功能的显示器。另外,作为输入装置112,亦可采用能够用脚操作的脚踏开关。
另外,图像拍摄部件110对朝上设置的原稿从上方扫描来读取原稿的图像。在此,如图1所示,本实施方式中的图像拍摄部件110包括控制器11、马达12、成像传感器13(例如:区域传感器和线传感器)、A/D转换器14。控制器11根据从控制部件102经由输入输出接口部件108发出的指令,对马达12、成像传感器13及A/D转换器14进行控制。将一维的线传感器用作成像传感器13时,成像传感器13将从原稿主扫描方向的线上收到的光,按线上的每个像素光电转换为模拟电荷量。而且,A/D转换器14将从成像传感器13输出的模拟电荷量转换为数字信号,输出一维图像数据。当马达12进行旋转驱动时,成像传感器13的读入对象的原稿线就向副扫描方向移动。由此,按每条线从A/D转换器14输出一维图像数据,控制部件102通过将这些合成而生成二维图像数据。在此,图2表示了设有原稿的图像拍摄部件110的外观的一个示例,并表示了窗体顶端主扫描方向、副扫描方向和马达12旋转方向之间的关系。
如图2所示,将原稿朝上设置,通过图像拍摄部件110从上方拍摄原稿时,图示的主扫描方向的线的一维图像数据通过成像传感器13被读取。并且,当成像传感器13基于马达12的驱动而向图示的旋转方向旋转时,成像传感器13的读取线随之向图示的副扫描方向移动。由此,二维原稿的图像数据通过图像拍摄部件110被读取。
再次返回图1,标志物文件106c是存储由使用者提示的标志物的颜色和形状等的标志物存储单元。在此,标志物文件106c亦可根据各个使用者,存储使用者的手或手指的颜色(肤色)、以及指尖等指示应指定点的凸出端部的形状等。此外,标志物文件106c亦可存储便签条、笔等工具的颜色和形状。另外,标志物文件106c亦可分别存储以下信息,即指定剪切范围所使用的便签条和笔等标志物的特征(颜色和形状等)、以及指定从剪切范围删除的区域所使用的便签条和笔等标志物的特征(颜色和形状等)。
控制部件102由综合控制上置型扫描仪装置100的CPU等构成。控制部件102具有用于存储控制程序、规定各种处理步骤等的程序及所需数据的内部存储器,并进行信息处理以基于这些程序执行各种处理。如图所示,控制部件102大致具有:图像获取部件102a;指定点检测部件102b;图像剪切部件102c;倾斜检测部件102d;倾斜校正部件102e;标志物存储部件102f;删除图像获取部件102g;删除区域检测部件102h;以及区域删除部件102j。
图像获取部件102a对图像拍摄部件110进行控制,获取包含了由使用者提示的至少1个标志物的原稿图像。例如,如上所述,图像获取部件102a对图像拍摄部件110的控制器11进行控制来使马达12旋转驱动,将通过由成像传感器13光电转换且由A/D转换器14模/数转换后的每条线的一维图像数据进行合成,从而生成二维图像数据,并存储于图像数据临时文件106a。此外,不限于此,图像获取部件102a亦可对图像拍摄部件110进行控制,并从区域传感器、即成像传感器13以预定时间间隔连续获取二维图像。在此,图像获取部件102a对图像拍摄部件110进行控制,按照预先决定的获取时机(例如:手指静止时、声音输入输出时、脚踏开关踩下时),按时间顺序获取2张包含了由使用者提示的1个标志物的原稿图像。例如:在标志物为指尖时,如果使用者一边以单手指示原稿上的指定点一边发声,则图像获取部件102a在从麦克风输入装置112输入声音的时机获取1张图像。另外,将区域传感器和线传感器用作成像传感器13时,若使用者以单手静止来指示原稿上的指定点,则图像获取部件102a亦可基于由区域传感器连续获取的图像群,在手指静止的时机,通过线传感器获取1张高清晰的图像。
指定点检测部件102b从由图像获取部件102a获取的图像中,检测基于从标志物的重心到端部的距离来决定的2个指定点。具体而言,指定点检测部件102b基于通过图像获取部件102a存储于图像数据临时文件106a中的图像数据,并根据图像上从至少1个标志物的重心至端部的距离来检测指定点。更详细而言,指定点检测部件102b亦可将矢量的端部(终点)侧作为指定点来检测,该矢量以标志物的重心为起点、端部为终点、其长度为预定值以上。此外,指定点检测部件102b不限于从包含了2个标志物的1张图像中检测2个指定点,亦可从包含了1个标志物的2张图像中,分别检测1个指定点来检测出2个指定点。在此,标志物例如可以是具有指示应指定点的凸出端部的标志物,作为示例,是指由使用者提示的指尖、便签条、笔等物体。例如,指定点检测部件102b从基于由图像获取部件102a获取的图像数据的图像中,检测出肤色部分区域来检测指尖等标志物。在此,指定点检测部件102b亦可从基于由图像获取部件102a获取的图像数据的图像中,基于由标志物存储部件102f存储于标志物文件106c中的颜色及/或形状,通过已知的图形识别算法等检测出该图像上的标志物。另外,指定点检测部件102b亦可从基于由图像获取部件102a获取的图像数据的图像中,检测出由标志物即左右各指尖指定的2点。此时,指定点检测部件102b可从作为肤色部分区域检测出的标志物即手的重心向周围生成多个手指方向矢量,当肤色部分区域与手指方向矢量的法线矢量相重合的宽度最接近预定宽度时,将该手指方向矢量的尖端作为指尖来检测指定点。另外,指定点检测部件102b亦可从基于由图像获取部件102a获取的图像数据的图像中检测出由标志物即2片便签条指定的2点。另外,指定点检测部件102b亦可从基于由图像获取部件102a获取的图像数据的图像中检测出由标志物即2支笔指定的2点。
图像剪切部件102c使用以由指定点检测部件102b检测出的2点为对角的矩形,将由图像获取部件102a获取的图像剪切。具体而言,图像剪切部件102c将由指定点检测部件102b检测出的2点为对角的矩形作为剪切范围,从由图像获取部件102a存储于图像数据临时文件106a中的图像数据获取剪切范围的图像数据,并将剪切加工后的图像数据存储于加工图像数据文件106b。在此,图像剪切部件102c亦可根据由倾斜检测部件102d检测出的原稿倾斜度,将以检测出的2点为对角、且与原稿边缘平行的线所形成的矩形作为剪切范围。也就是说,因为在原稿倾斜时,考虑到原稿中记载的文字和图形也会倾斜,所以图像剪切部件102c亦可将对应于由倾斜检测部件102d检测出的原稿倾斜度而倾斜的矩形作为剪切范围。
倾斜检测部件102d从由图像获取部件102a获取的图像中,检测原稿的倾斜度。具体而言,倾斜检测部件102d基于由图像获取部件102a存储于图像数据临时文件106a中的图像数据,检测出原稿边缘等来检测原稿的倾斜度。
倾斜校正部件102e使用由倾斜检测部件102d检测出的倾斜度,对由图像剪切部件102c剪切出的图像进行倾斜校正。具体而言,倾斜校正部件102e使由图像剪切部件102c剪切出的对应于倾斜检测部件102d检测出的倾斜度的图像旋转,直到倾斜度消失。例如,在由倾斜检测部件102d检测出的倾斜度为θ°时,使由图像剪切部件102c剪切出的图像旋转-θ°,由此生成倾斜校正后的图像数据,并将其存储于加工图像数据文件106b。
标志物存储部件102f将由使用者提示的标志物的颜色及/或形状存储于标志物文件106c。例如,标志物存储部件102f可根据由图像获取部件102a获取的不包含原稿的标志物图像,通过已知的学习算法,来学习标志物的颜色及/或形状,并将学习结果的颜色和形状存储于标志物文件106c。
删除图像获取部件102g是在以由指定点检测部件102b检测出的2个指定点为对角的矩形内部,获取包含了由使用者提示的标志物的原稿图像的删除图像获取单元。与上述图像获取部件102a相同,删除图像获取部件102g亦可控制图像拍摄部件110来获取原稿图像。特别是删除图像获取部件102g可控制图像拍摄部件110,按照预先决定的获取时机(例如:手指静止时、声音输入输出时、脚踏开关踩下时)来获取图像。
删除区域检测部件102h是从由删除图像获取部件102g获取的图像中检测用标志物指定的区域的删除区域检测单元。例如,删除区域检测部件102h亦可检测由使用者用标志物指定的区域(以2点为对角的矩形等)来作为“由标志物指定的区域”。另外,删除区域检测部件102h亦可在以2个指定点为对角的矩形内部中,以由使用者指定的1点来决定将矩形分割成4个区域的2条线交差的点,进一步以由使用者指定的1点检测4分割区域中的1个区域来作为“由标志物指定的区域”。另外,与上述指定点检测部件102b检测指定点的处理相同,删除区域检测部件102h亦可检测由标志物指定的点。
区域删除部件102j是将由删除区域检测部件102h检测出的区域从由图像剪切部件102c剪切出的图像中删除的区域删除单元。例如,区域删除部件102j既可以在由图像剪切部件102c剪切之前,从剪切范围中将区域删除,亦可以在由图像剪切部件102c剪切之后,从剪切图像中将区域删除。
[2.本实施方式的处理]
下面参照图3~图16,对由上述结构的上置型扫描仪装置100所执行的处理的一个示例进行说明。
[2-1.主处理]
下面参照图3~图6,对在本实施方式的上置型扫描仪装置100中主处理的一个示例进行说明。图3是表示在本实施方式的上置型扫描仪装置100中主处理的一个示例的流程图。
如图3所示,首先,图像获取部件102a对图像拍摄部件110进行控制,来获取包含了由使用者提示的至少1个标志物的原稿图像,并将该图像的图像数据存储于图像数据临时文件106a(步骤SA1)。在此,图像获取部件102a可控制图像拍摄部件110,按照预先决定的获取时机(例如:手指静止时、声音输入输出时、脚踏开关踩下时),获取2张包含了由使用者提示的1个标志物的原稿图像。另外,例如标志物可以是具有指示应指定点的凸出端部,作为示例,可以是由使用者提示的指尖、便签条、笔等物体。
而且,指定点检测部件102b基于由图像获取部件102a存储于图像数据临时文件106a中的图像数据,检测基于从图像上标志物的重心至端部的距离所决定的2个指定点(步骤SA2)。更具体而言就是,指定点检测部件102b亦可将矢量的端部(终点)侧作为指定点来检测,该矢量以标志物的重心为起点、端部为终点、其长度为预定值以上。另外,指定点检测部件102b不限于从包含了2个标志物的1张图像中检测2个指定点,亦可从包含了1个标志物的2张图像中,分别检测每一个指定点来检测出2个指定点。另外,指定点检测部件102b亦可从基于该图像数据的图像中,根据颜色和形状等特征来识别图像上的标志物的范围,检测由识别出的标志物表示的2个指定点。在此,图4表示在图像上检测出的2个指定点和基于该2个指定点决定的剪切范围的示例。
如图4所示,在报纸等原稿上,当使用者将手指用作标志物,指定了使用者希望剪切范围的对角上的2个点时,指定点检测部件102b可从基于图像数据的图像中检测出肤色部分区域来检测标志物即指尖等,从而检测由左右指尖分别指定的2个指定点。在此,图5及图6示意性地表示了基于指定点检测部件102b的处理、即根据从图像上标志物的重心至端部的距离来检测指定点的方法。
如图5所示,指定点检测部件102b亦可基于标志物文件106c中所存储的标志物特征来检测图像上的标志物,并将矢量的端部(终点)侧作为指定点来检测,该矢量以检测出的标志物的重心为起点、端部为终点、其长度为预定值以上。也就是说,将从重心朝向端部的线段作为指尖方向上的矢量,基于距离检测指定点。由此,由于将手指指示的方向和指尖作为矢量来识别,所以能够按照使用者的指示来检测指定点,而与指尖的角度无关。另外,因为基于从重心至端部的距离检测出指定点,所以,如图4及图5所示,指定点亦可不必位于各标志物的内侧。也就是说,如图6所示,即使是使用者指示的点未处于手范围的最左端、指尖朝向正上方的情况下,指定点检测部件102b也能够基于从重心至端部的距离(例如:对是否有预定值以上的长度进行判定),准确地检测出指定点。另外,因为上置型扫描仪装置100与使用者相向配置,在它们之间配置原稿,所以在配置关系上,使用者用手指指示原稿的角度受到限制。利用这种情况,指定点检测部件102b亦可将预定方向的矢量(例如:不自然的向下方向的矢量)作为错误检测而不检测指定点,以期提高检测精度。另外,虽然图4~图6表示了用双手同时指定2个指定点的示例,但是当图像获取部件102a获取2张包含了1个标志物的原稿图像时,指定点检测部件102b亦可从获取的2张图像中检测出由各自的标志物指定的2个指定点。另外,虽然对于以1个标志物检测1个指定点进行了说明,但是,不限定于此,亦可根据1个标志物检测出2个或2个以上的指定点。例如:标志物为指尖时,使用者可使用拇指和食指等2个手指同时指示作为剪切区域的对角的2个指定点。另外,指定点检测部件102b亦可将1个标志物中包含的预定数(例如:3个)以上的矢量认为不合理,而删除检测出的预定数以上的矢量的标志物,从而提高检测精度。
另外,标志物不限于指尖,指定点检测部件102b亦可从基于图像数据的图像中,检测作为标志物的2片便签条所指定的2个指定点。另外,指定点检测部件102b亦可从基于图像数据的图像中,检测作为标志物的2支笔所指定的2个指定点。
再次返回图3,图像剪切部件102c生成剪切范围(步骤SA3)作为以由指定点检测部件102b检测出的2个指定点为对角的矩形。作为示例如图4所示,以2个指定点为对角的矩形可是与图像拍摄部件110的读取区域或原稿边缘等平行的线所构成的长方形和正方形等四边形。
而且,图像剪切部件102c从由图像获取部件102a存储于图像数据临时文件106a中的图像数据中,提取剪切范围的图像数据,并将其存储于加工图像数据文件106b(步骤SA4)中。另外,图像剪切部件102c亦可将剪切出的图像数据输出到显示器等输出装置114。
以上就是在本实施方式的上置型扫描仪装置100中的主处理示例。
[2-2.具体化处理]
继而,下面参照图7~图11,对上述主处理中还包含了标志物学习处理和倾斜校正处理等具体化处理的示例进行说明。图7是表示在本实施方式的上置型扫描仪装置100中的具体化处理示例的流程图。
如图7所示,首先,标志物存储部件102f学习由使用者提示的标志物的颜色及/或形状(步骤SB1)。例如,标志物存储部件102f对由图像获取部件102a获取的不含原稿的标志物的图像,通过已知的学习算法,学习标志物的颜色及/或形状,并将学习结果、即颜色和形状存储于标志物文件106c中。作为示例,图像获取部件102a亦可预先(后述步骤SB2~SB5之前)仅将标志物(不含原稿)通过图像拍摄部件110扫描来获取图像,标志物存储部件102f基于由图像获取部件102a获取的图像,将该标志物的属性(颜色和形状等)存储于标志物文件106c。例如,标志物为手指或便签条时,标志物存储部件102f亦可从包含了该标志物的图像中,读取手指的颜色(肤色)或便签条的颜色,并将其存储于标志物文件106c。不过,标志物存储部件102f不限于基于由图像获取部件102a获取的图像来读取标志物的颜色,亦可让使用者经由输入装置112指定颜色。另外,标志物为笔时,标志物存储部件102f亦可从由图像获取部件102a获取的图像中提取该笔的形状,并将其存储于标志物文件106c。此外,存储于此标志物文件106c中的形状等,用于指定点检测部件102b对标志物进行搜索(图形匹配)。
而且,当使用者将原稿设置在图像拍摄部件110的读取区域(步骤SB2)时,图像获取部件102a就发出由图像拍摄部件110开始读取的触发信号(步骤SB3)。例如:图像获取部件102a亦可通过采用控制部件102内部时钟的间隔定时器,在经过预定时间后开始读取。如此,在本具体化处理中,由使用者用双手指定剪切范围,所以图像获取部件102a不是在由使用者经由输入装置112刚输入开始读取后由图像拍摄部件110开始读取,而是发出采用了间隔定时器等的触发信号。此外,开始读取的触发信号亦可按照手指静止时、声音输入输出时、脚踏开关踩下时等预定获取时机来发出。
接着,当使用者用双手指尖指定剪切范围(步骤SB4)时,图像获取部件102a就以与发出的触发信号相对应的定时来控制图像拍摄部件110,将包含了由使用者提示的双手指尖的原稿图像扫描,并将图像数据存储于图像数据临时文件106a(步骤SB5)。
接着,倾斜检测部件102d从基于由图像获取部件102a存储于图像数据临时文件106a中的图像数据的图像,检测原稿边缘等来检测原稿的倾斜度(步骤SB6)。
接着,指定点检测部件102b从基于由图像获取部件102a存储于图像数据临时文件106a中的图像数据的图像,根据由标志物存储部件102f存储于标志物文件106c中的学习结果即颜色(肤色)和形状等,通过已知的图形识别算法等来检测指尖等标志物,而检测出由双手指尖指定的2个指定点(步骤SB7)。更具体而言,指定点检测部件102b亦可从作为肤色部分区域而检测出的标志物即手的重心朝向周围生成多个手指方向矢量,在肤色部分区域与手指方向矢量的法线矢量相重合的宽度最接近预定宽度时,将该手指方向矢量的尖端作为指尖来检测指定点。下面参照图8~图10对该示例进行详细说明。在此,图8示意性地表示了由指定点检测部件102b检测指尖的方法示例。
如图8所示,指定点检测部件102b从由图像获取部件102a存储于图像数据临时文件106a中的彩色图像数据中,通过颜色空间转换仅提取肤色的色相。在图8中,白色区域表示彩色图像中的肤色部分区域,黑色区域表示彩色图像中的肤色以外区域。
接着,指定点检测部件102b求取已提取的肤色部分区域的重心,分别判定右手和左手的范围。在图8中,作为“手范围”所表示的范围,表示右手的部分区域。
接着,指定点检测部件102b在与判定的手范围上方相隔一定距离(偏差量)的线上设定搜索点。也就是说,因为从指尖朝向手重心的一定范围内有可能存在不是肤色的指甲,所以为了避免因该指甲而降低检测精度,指定点检测部件102b通过设定偏差量来检测指尖。
接着,指定点检测部件102b求取从重心至搜索点的方向的手指方向矢量。也就是说,因为手指从手重心开始延伸向手的外周突出,所以首先为了搜索手指而求取手指方向矢量。另外,图8的虚线表示了通过左端1个搜索点的手指方向矢量,但是指定点检测部件102b按各搜索点求取每个手指方向矢量。
接着,指定点检测部件102b求取手指方向矢量的法线矢量。在图8中,通过各搜索点的多条线段表示了每个搜索点的法线矢量。在此,图9示意性地表示了通过法线矢量和图像及加权系数求取指尖吻合度的方法。
接着,指定点检测部件102b将法线矢量与肤色二值化图像(例如,图8中将肤色部分区域设为白色的图像)相重合,计算出AND图像。如图9左上图MA1所示,AND图像表示法线矢量的线段与肤色部分区域相重合的区域(重合宽度),该区域表示手指的粗细。
接着,指定点检测部件102b将加权系数乘以AND图像,计算出指尖的吻合度。图9左下图MA2示意性地表示了加权系数。如此,加权系数是越接近中心越大的系数,被设定为在捕捉到指尖的中心时吻合度增高。图9右图MA3是AND图像与加权系数图像的AND图像,越接近线段中心吻合度就越高。如此,通过采用加权系数,捕捉到的候选越接近指尖中心,计算出的吻合度就越高。
接着,指定点检测部件102b对于各搜索点的法线矢量求取吻合度,找出指尖吻合度最高的位置作为指定点。在此,图10表示了在图像数据上检测出的左右手重心(图中记载“左”及“右”的2点)和指尖指定点(图中指尖处的2个黑色圆形符号)及剪切范围(图中的矩形)。
如上所述,指定点检测部件102b根据左右手的重心求取由指尖指定的2个指定点。
再次返回图7,当由指定点检测部件102b检测出左右指尖的2个指定点(步骤SB8:“是”)时,图像剪切部件102c以检测出的2个指定点为对角,将反映了由倾斜检测部件102d检测出的倾斜度的矩形作为剪切区域来生成(步骤SB9)。例如,在由倾斜检测部件102d检测出的倾斜度为θ°时,图像剪切部件102c将以检测出的2个指定点为对角、且倾斜了θ°的矩形作为剪切区域。
接着,图像剪切部件102c从由图像获取部件102a存储于图像数据临时文件106a中的图像数据中,剪切出生成的剪切范围的图像(步骤SB10)。在此,上置型扫描仪装置100的控制部件102亦可进行从剪切范围将区域删除的区域删除处理。在此,图11示意性地表示了区域删除处理。
如图11上图所示,由指定点检测部件102b检测出左右指尖的2个指定点之后,如图11下图所示,删除图像获取部件102g在以由指定点检测部件102b检测出的2个指定点为对角的矩形内部,获取包含了由使用者提示的标志物的原稿图像。接着,删除区域检测部件102h从由删除图像获取部件102g获取的图像中,检测出由标志物指定的区域(以图中斜线所示2点为对角的矩形区域)。最后,区域删除部件102j从由图像剪切部件102c剪切出的图像中,删除由删除区域检测部件102h检测出的区域。不过,这些区域删除处理既可在由图像剪切部件102c剪切之前进行,也可在由图像剪切部件102c剪切之后进行。另外,采用同一标志物时,需要判别使用者是在指定剪切范围,还是在指定从剪切范围删除的区域。作为示例,如图11所示,在指定剪切范围时,指定左上方和右下方2点,另一方面,在指定从剪切范围删除的区域时,指定右上方和左下方2点,从而能够识别两者。此外,亦可根据标志物的状态(颜色、形状等)来识别,例如:亦可以如下方法来识别两者:在指定剪切范围时,用食指指定,另一方面,在指定从剪切范围删除的区域时,用拇指指定。
再次返回图7,倾斜校正部件102e使用由倾斜检测部件102d检测出的倾斜度,对由图像剪切部件102c剪切出的图像进行倾斜校正(步骤SB11)。例如:如上所述,当由倾斜检测部件102d检测出的倾斜度为θ°时,倾斜校正部件102e使由图像剪切部件102c剪切出的图像旋转-θ°直到倾斜度消失,由此来进行倾斜校正。
接着,倾斜校正部件102e将倾斜校正加工后的图像数据存储于加工图像数据文件106b(步骤SB12)。另外,在上述步骤SB8中,当指定点检测部件102b没有检测出左右指尖的2个指定点(步骤SB8:“否”)时,图像获取部件102a则将存储于图像数据临时文件106a的图像数据直接存储至加工图像数据文件106b(步骤SB13)。
以上就是在本实施方式的上置型扫描仪装置100中具体化处理的示例。
[2-3.由便签条指定的实施例]
在上述具体化处理中,对于指定点由使用者用双手指尖指定的示例进行了说明,但是不限于此,指定点亦可由便签条或笔来指定。另外,与指尖相同,便签条和笔也能够根据方向矢量决定指定点,但是因为便签条和笔的颜色、形状不同,所以如下所示,亦可采用与指尖不同的算法进行指定点检测。
首先,作为第1步骤,学习标志物的特征。例如,标志物存储部件102f基于图像获取部件102a的处理,预先对作为标志物的便签条或笔进行扫描来学习标志物的颜色和形状。标志物存储部件102f将学习到的标志物特征存储于标志物文件106c。另外,标志物存储部件102f亦可将两种信息分别能够识别地学习并存储,这两种信息是:指定剪切范围所使用的便签条和笔等标志物的特征(颜色和形状等);指定从剪切范围删除的区域所使用的便签条和笔等标志物的特征。
接着,作为第2步骤,获取图像。例如,当使用者在要剪切原稿的区域的对角,将便签条或笔的指定点相向配置时,图像获取部件102a控制图像拍摄部件110来获取包含了标志物的原稿图像。
接着,作为第3步骤,搜索标志物的位置。例如,指定点检测部件102b基于存储于标志物文件106c中的标志物特征(颜色或形状等),从获取的图像中检测出标志物。如此,基于学习到的特征搜索便签条或笔的位置。
接着,作为第4步骤,检测指定点。例如,指定点检测部件102b检测基于从检测出的标志物的重心至端部的距离所决定的2个指定点。另外,便签条和笔相对于重心的端点有时出现在两端。因此,指定点检测部件102b亦可将从一方标志物两端获取的2个矢量中,向另一方标志物重心方向的矢量及/或与另一方标志物重心接近的矢量,作为标志物的检测对象。
如此,能够通过便签条或笔决定指定点来准确地求取剪切范围。在此,进而为了指定从剪切范围删除的区域,亦可采用便签条或笔。在此,当采用便签条或笔等同一种标志物时,因为需要判别是在指定剪切范围,还是在指定从剪切范围删除的区域,所以亦可根据预先学习的标志物特征(颜色、形状等)来识别。图12及图13表示了由便签条指定删除区域的示例。
如图12所示,在此例中采用了便签条标志物,亦可通过在指定剪切范围时,用白色便签条指定2点,另一方面,在指定从剪切范围删除的区域时,用黑色便签条指定2点来识别两者。另外,不限于根据颜色的差异进行识别,也可根据标志物的形状等特征进行识别。也就是说,如图13所示,亦可通过在指定剪切范围时,用矩形便签条指定2点,另一方面,在指定从剪切范围删除的区域时,用三角形便签条指定2点来识别两者。另外,如上所述,由标志物存储部件102f、删除图像获取部件102g和删除区域检测部件102h执行区域删除处理。
[2-4.单手操作]
在上述示例2-1至2-3中,对于同时用双手和2片以上便签条等2个标志物来指定剪切范围或删除区域的示例进行了说明,但是如下所示,亦可用单手等1个标志物来指定剪切范围或删除区域。在此,图14是表示在本实施方式的上置型扫描仪装置100中单手操作时的处理示例的流程图。
如图14所示,首先,与上述步骤SB1相同,标志物存储部件102f学习由使用者提示的标志物的颜色及/或形状(步骤SC1)。
接着,图像获取部件102a控制图像拍摄部件110,从区域传感器的成像传感器13以预定时间间隔连续获取二维图像,开始标志物即指尖的监视(步骤SC2)。
接着,当使用者将原稿设置在图像拍摄部件110的读取区域(步骤SC3)时,图像获取部件102a便从通过传感器获取的图像中检测出标志物即使用者的指尖(步骤SC4)。
接着,图像获取部件102a对于是否是获取图像的预定获取时机进行判定。例如,预定获取时机为手指静止时、声音输入输出时、脚踏开关踩下时等。作为一个示例,在预定获取时机为手指静止时,图像获取部件102a亦可基于从区域传感器连续获取的图像群,对指尖是否已停止进行判定。另外,在预定获取时机为确认声音的输出时,图像获取部件102a亦可通过从检测出指尖时(步骤SC4)起按内部时钟经过了预定时间,对是否从扬声器的输出装置114输出了确认声音进行判定。另外,在预定获取时机为脚踏开关踩下时,图像获取部件102a亦可对是否从脚踏开关的输入装置112获取了按压信号进行判定。
当图像获取部件102a判定不是预定获取时机(步骤SC5:“否”)时,则返回到步骤SC4的处理,继续指尖的监视。
另一方面,当图像获取部件102a判定是预定获取时机(步骤SC5:“是”)时,则控制线传感器等图像拍摄部件110,将包含了由使用者提示的单手指尖的原稿图像进行扫描,并将包含由指尖指定的指定点的图像数据存储于图像数据临时文件106a(步骤SC6)。另外,不限于存储图像数据,指定点检测部件102b或删除区域检测部件102h亦可仅存储由检测出的标志物来指定的指定点(例如,以重心为起点的矢量端部侧的指定点)。
接着,图像获取部件102a对是否已检测出预定N点进行判定(步骤SC7)。例如,在指定矩形的剪切范围时,亦可为N=2,而在从剪切范围中指定1个删除区域时,亦可为N=4。此外,有x个删除区域时,亦可为N=2x+2。当图像获取部件102a判定未检测出预定N点(步骤SC7:“否”)时,则返回到步骤SC4的处理,重复上述处理。在此,图15表示了检测出第1及第2指定点时的情况。
如图15上图所示,在按照规定获取时机拍摄的第1张图像中,通过指定点检测部件102b的处理,检测出剪切范围的左上端即第1指定点。其次,如图15下图所示,在重复处理中拍摄的第2张图像中,通过指定点检测部件102b的处理,检测出剪切范围的右下端即第2指定点。如上所述,仅指定矩形的剪切范围时,N=2,至此重复处理结束,而在指定1个删除区域时,因为N=4,所以再继续重复处理。在此,图16表示了检测出第3及第4指定点时的情况。
如图16上图所示,在重复处理中拍摄的第3张图像中,通过删除区域检测部件102h的处理,在上述的以2个指定点为对角的矩形的剪切范围内部,检测出第3指定点。另外,此时能够基于检测出的指定点,将剪切范围按照图示那样分割为4个区域,不过为了选择该4个区域中的某个区域为删除区域而让使用者再用指尖指示4个区域的内部。也就是说,如图16下图所示,在重复处理中拍摄的第4张图像中,通过删除区域检测部件102h的处理来检测出第4指定点。由此,区域删除部件102j能够决定4个区域中从剪切范围删除的区域(图中用斜线表示的区域)。
当由图像获取部件102a判定已检测出预定N点(步骤SC7:“是”)时,倾斜检测部件102d从基于由图像获取部件102a存储于图像数据临时文件106a中的图像数据的图像中,检测出原稿边缘等来检测原稿的倾斜度,图像剪切部件102c将以检测出的2个指定点为对角且反映了由倾斜检测部件102d检测出的倾斜度的矩形,作为剪切区域来生成(步骤SC8)。另外,有删除区域时,亦可由图像剪切部件102c来生成由区域删除部件102j删除区域后的剪切范围,或者,亦可由区域删除部件102j从通过以下的图像剪切部件102c的处理而剪切出的图像中,将删除区域的图像进行删除。
接着,图像剪切部件102c从由图像获取部件102a存储于图像数据临时文件106a中的图像数据中,将生成的剪切范围的图像进行剪切(步骤SC9)。另外,如图15及图16所示,有时原稿的要剪切范围由标志物所遮盖,但是如图15下图所示,因为也有时剪切范围的全部范围被拍摄,所以图像剪切部件102c对于剪切范围内未包含标志物的图像数据进行判定,对其图像数据进行剪切处理。如此,因为使用者配置标志物时无需特意避让原稿,所以能够提供更自然的操作性。另外,当在各图像中剪切范围的全部范围未被拍摄时,图像剪切部件102c亦可通过合成多张图像来获取剪切范围的图像,或者亦可等待由使用者从原稿中删除标志物后,使图像获取部件102a获取不含标志物的原稿图像。
接着,与上述步骤SB11相同,倾斜校正部件102e根据由倾斜检测部件102d检测出的倾斜度,对由图像剪切部件102c剪切出的图像进行倾斜校正(步骤SC10)。例如,如上所述,由倾斜检测部件102d检测出的倾斜度为θ°时,倾斜校正部件102e使由图像剪切部件102c剪切出的图像旋转-θ°直到倾斜度消失,由此来进行倾斜校正。
接着,倾斜校正部件102e将倾斜校正加工后的图像数据存储至加工图像数据文件106b(步骤SC11)。
以上就是在本实施方式的上置型扫描仪装置100中单手操作时处理的示例。另外,在上述内容中,将基于删除图像获取部件102g的图像获取也作为基于图像获取部件102a的图像获取,没有区分地进行了说明,但是在第3次以后的重复处理中,作为图像获取部件102a的处理而说明的部分,严密而言是作为删除图像获取部件102g的处理而执行。
[3.本实施方式的总结及其他实施方式]
以上,根据本实施方式,上置型扫描仪装置100通过控制图像拍摄部件110来获取包含了由使用者提示的至少1个标志物的原稿图像,从获取的图像中检测基于从标志物的重心至端部的距离所决定的2个指定点,通过以检测出的2个指定点为对角的矩形对获取的图像进行剪切。由此,无需在显示画面上操作光标移动按钮的控制台和专用笔等特别工具,能够提高指定剪切范围的操作性。例如,以往因使用者从原稿和扫描仪装置临时移开视线观察显示画面的控制台,所以作业被中断而导致生产效率下降,但是本发明无需从原稿和扫描仪装置移开视线,而且不会由专用笔等工具污染原稿而能够指定剪切范围。另外,因为基于从标志物的重心至端部的矢量所表示的距离来检测指定点,所以能够准确地检测出使用者指示的指定点。
另外,在以往的上置型扫描仪装置中,手指其实是作为不希望拍摄到的物体而在如何删除手指图像这一方向上进行开发,然而根据本实施方式,通过积极地将手指等检测对象与原稿一起拍摄,而将其运用于扫描的控制或图像的控制中。也就是说,这种手指等检测对象在平台式扫描仪装置和ADF(Auto Document Feeder)式扫描仪中无法读取,但是根据本实施方式,通过采用上置式扫描仪能够积极地将检测对象的图像运用于剪切范围的检测中。
另外,根据本实施方式,上置型扫描仪装置100通过控制图像拍摄部件110,按照预先确定的获取时机,获取2张包含了由使用者提示的1个标志物的原稿图像,从获取的2张图像中检测由标志物指定的2点。由此,使用者能够仅以单一的标志物来指定剪切范围,特别是将指尖用作标志物时,使用者能够仅以单手操作来指定剪切范围。
另外,根据本实施方式,上置型扫描仪装置100在以检测出的2点为对角的矩形内部,获取包含了由使用者提示的标志物的原稿图像,并从获取的图像中检测由标志物指定的区域,将检测出的区域从剪切出的图像中删除。由此,即使使用者要剪切的范围不是矩形时,也能够使用多个矩形组合而成的块形等形状那样复杂的多边形来指定剪切范围。
另外,根据本实施方式,上置型扫描仪装置100从获取的图像中检测出肤色部分区域来检测标志物即指尖,从而检测出由该指尖指定的2个指定点。由此,能够根据肤色准确地检测出图像上的手指区域,由此精确地检测出指定的剪切范围。
另外,根据本实施方式,上置型扫描仪装置100从手的重心向周围生成多个手指方向矢量,在肤色部分区域与手指方向矢量的法线矢量相重合的宽度所表示的吻合度最高时,将该手指方向矢量的尖端作为指尖。由此,能够基于手指从手重心向手外周突出这种假定准确地检测出指尖。
另外,根据本实施方式,上置型扫描仪装置100从获取的图像中检测出由标志物即2片便签条所指定的2个指定点。由此,能够检测出以由2片便签条所指定的2个指定点为对角的矩形作为剪切范围。
另外,根据本实施方式,上置型扫描仪装置100从获取的图像中检测出由标志物即2支笔指定的2个指定点。由此,能够检测出以由2支笔所指定的2个指定点为对角的矩形作为剪切范围。
另外,根据本实施方式,上置型扫描仪装置100将由使用者提示的标志物的颜色及/或形状存储于存储部件中,基于所存储的颜色及/或形状从获取的图像中检测出该图像上的标志物,从而检测出由该标志物指定的2个指定点。由此,即使标志物(例如:指尖)的颜色或形状因使用者而异时,也能够通过学习该标志物的颜色及形状等方式,精确地检测出图像上的标志物区域来检测出剪切范围。
另外,根据本实施方式,上置型扫描仪装置100从获取的图像中检测出原稿的倾斜度,用反映了倾斜度的剪切范围剪切图像,使剪切出的图像旋转直到倾斜度消失,由此来进行倾斜校正。由此,通过以保持倾斜状态剪切之后再进行倾斜校正,能够提高处理速度,节省对资源的浪费。
进而,本发明除了上述实施方式之外,亦可在权利要求书中所记载的技术思想的范围内,通过各种不同的实施方式来实施。例如:在上述实施方式中,对于采用同一种标志物的示例进行了说明,但是标志物亦可由使用者的指尖、笔、便签条等之中的2种以上组合来构成。
另外,对以上置型扫描仪装置100独立的方式来进行处理时为例进行了说明,但是亦可根据来自上置型扫描仪装置100之外其他单元的客户终端的要求进行处理,并将其处理结果返还到该客户终端。另外,可将在实施方式说明过的各处理中,作为自动进行而说明的全部或部分处理以手动进行,或作为手动进行而说明的全部或部分处理以已知的方法自动进行。此外,对于上述文献中和附图中所示的处理步骤、控制步骤、具体名称、包含各处理注册数据的信息、画面示例和数据库结构,除有特别注示外,皆可任意变更。
另外,关于上置型扫描仪装置100,图示的各结构要素具有功能概念性,不一定要在实体上如图示那样构成。例如,对于上置型扫描仪装置100的各装置所具备的处理功能、特别是控制部件102执行的各处理功能,亦可将其全部或任意部分通过CPU以及在该CPU以解释执行的程序来实现,另外,亦可作为线逻辑的硬件来实现。另外,程序已记录在后述的记录介质中,根据需要,可机械性地读取到上置型扫描仪装置100中。也就是说,在ROM或HD等存储部件106等中,记录有用于进行各种处理的计算机程序。此计算机程序通过加载到RAM中来执行,与CPU协同工作构成控制部件。另外,此计算机程序亦可存储在经任意网络连接于上置型扫描仪装置100的应用程序服务器中,根据需要,亦能够将其全部或部分进行下载。
另外,既能够将本发明涉及的程序存储于计算机可读取的记录介质中,又能够作为程序产品而构成。在此,所谓“记录介质”包括存储卡、USB存储器、SD卡、软盘、磁盘、DOM、EPROM、EEPROM、CD-ROM、MO、DVD及Blu-ray Disc等任意“可携带的物理介质”。另外,所谓“程序”就是以任意语言和记述方法记述的数据处理方法,包括源代码、二进制代码等任意形式。另外,“程序”不限于单一构成的程序,还包括作为多个程序模块和程序库而分散构成的程序、以及与以OS(OperatingSystem)为代表的个别程序协同工作来发挥其功能的程序等。另外,在实施方式所表示的各装置中,对于用来读取记录介质的具体结构、读取步骤或读取后的安装步骤等,能够采用已知的结构或步骤。
存储于存储部件106中的各种数据库(图像数据临时文件106a、加工图像数据文件106b及标志物文件106c)等的载体是RAM、DOM等存储装置、硬盘等固定磁盘装置、软盘及光盘等存储单元,存储各种处理中所采用的各种程序、表格及数据库等。
另外,上置型扫描仪装置100亦可作为已知的个人电脑、工作站等信息处理装置来构成,另外,亦可在该信息处理装置中连接任意***装置来构成。另外,上置型扫描仪装置100亦可通过在该信息处理装置中安装实现本发明方法的软件(含程序、数据等)来实现。进一步,将装置分散、统合的具体方式不限于图示的方式,亦可将其全部或部分根据各种附加等、或根据各种功能负荷,以任意单位进行功能性或物理性的分散、统合来构成。也就是说,既可将上述实施方式任意组合地实施,又可将上述实施方式有选择地实施。
[工业实用性]
如上所述,本发明涉及的上置型扫描仪装置,图像处理方法及程序能够在产业上的许多领域中实施,特别是能够在图像处理领域即将由扫描仪读取的图像进行处理的领域中实施,且极为有用。

Claims (11)

1.一种上置型扫描仪装置,其特征在于具有:
图像拍摄部件和控制部件,其中
所述控制部件包括:
图像获取单元,对所述图像拍摄部件进行控制,获取包含了由使用者提示的至少1个标志物的原稿图像;
指定点检测单元,从由所述图像获取单元获取的所述图像中,检测基于从所述标志物的重心至端部的距离所决定的2个指定点;以及
图像剪切单元,使用以由所述指定点检测单元检测出的所述2点为对角的矩形,剪切出由所述图像获取单元获取的所述图像。
2.如权利要求1所述的上置型扫描仪装置,其特征在于:
所述图像获取单元对所述图像拍摄部件进行控制,按照预先确定的获取时机,获取2张包含了由使用者提示的1个标志物的原稿图像,
所述指定点检测单元从由所述图像获取单元获取的2张所述图像中,检测由所述标志物指定的所述2点。
3.如权利要求1或2所述的上置型扫描仪装置,其特征在于所述控制部件还包括:
删除图像获取单元,在以由所述指定点检测单元检测出的所述2点为对角的所述矩形内部,获取包含了由所述使用者提示的所述标志物的所述原稿图像;
删除区域检测单元,从由所述删除图像获取单元获取的所述图像中,检测由所述标志物指定的区域;以及
区域删除单元,将由所述删除区域检测单元检测出的所述区域,从由所述图像剪切单元剪切出的所述图像中删除。
4.如权利要求1至3中任意一项所述的上置型扫描仪装置,其特征在于:
所述标志物为使用者的指尖,
所述指定点检测单元从由所述图像获取单元获取的所述图像中,检测肤色部分区域再检测作为所述标志物的所述指尖,并检测出由该标志物指定的2点。
5.如权利要求4所述的上置型扫描仪装置,其特征在于:
所述指定点检测单元从所述手的重心朝向周围生成多个手指方向矢量,当所述肤色部分区域与所述手指方向矢量的法线矢量相重合的宽度最接近预定宽度时,将该手指方向矢量的尖端作为所述指尖。
6.如权利要求1至3中任意一项所述的上置型扫描仪装置,其特征在于:
所述标志物为便签条,
所述指定点检测单元从由所述图像获取单元获取的所述图像中,检测由作为所述标志物的2片所述便签条指定的2点。
7.如权利要求1至3中任意一项所述的上置型扫描仪装置,其特征在于:
所述标志物为笔,
所述指定点检测单元从由所述图像获取单元获取的所述图像中,检测由作为所述标志物的2支所述笔指定的2点。
8.如权利要求1所述的上置型扫描仪装置,其特征在于还具备存储部件,其中
所述控制部件还包括标志物存储单元,将由使用者提示的所述标志物的颜色及/或形状存储于所述存储部件,
所述指定点检测单元基于由所述标志物存储单元存储于所述存储部件中的所述颜色及/或所述形状,从由所述图像获取单元获取的所述图像中,检测该图像上的所述标志物,并检测由该标志物指定的2点。
9.如权利要求1所述的上置型扫描仪装置,其特征在于所述控制部件还包括:
倾斜检测单元,从由所述图像获取单元获取的所述图像中,检测所述原稿的倾斜度;以及
倾斜校正单元,使用由所述倾斜检测单元检测出的所述倾斜度,对由所述图像剪切单元剪切出的所述图像进行倾斜校正。
10.一种图像处理方法,其特征在于具备图像拍摄部件和控制部件的上置型扫描仪装置,通过所述控制部件执行以下步骤:
图像获取步骤,对所述图像拍摄部件进行控制,获取包含了由使用者提示的至少1个标志物的原稿图像;
指定点检测步骤,从通过所述图像获取步骤获取的所述图像中,检测基于从所述标志物的重心至端部的距离所决定的2个指定点;以及
图像剪切步骤,使用以通过所述指定点检测步骤检测出的所述2点为对角的矩形,剪切出通过所述图像获取步骤获取的所述图像。
11.一种程序,其特征在于具备图像拍摄部件和控制部件的上置型扫描仪装置,在所述控制部件上执行以下步骤:
图像获取步骤,对所述图像拍摄部件进行控制,获取包含了由使用者提示的至少1个标志物的原稿图像;
指定点检测步骤,从通过所述图像获取步骤获取的所述图像中,检测基于从所述标志物的重心至端部的距离所决定的2个指定点;以及
图像剪切步骤,使用以通过所述指定点检测步骤检测出的所述2点为对角的矩形,剪切出通过所述图像获取步骤获取的所述图像。
CN201180026485.6A 2010-05-31 2011-04-28 上置型扫描仪装置及图像处理方法 Expired - Fee Related CN102918828B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-125150 2010-05-31
JP2010125150 2010-05-31
PCT/JP2011/060484 WO2011152166A1 (ja) 2010-05-31 2011-04-28 オーバーヘッドスキャナ装置、画像処理方法、および、プログラム

Publications (2)

Publication Number Publication Date
CN102918828A true CN102918828A (zh) 2013-02-06
CN102918828B CN102918828B (zh) 2015-11-25

Family

ID=45066548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180026485.6A Expired - Fee Related CN102918828B (zh) 2010-05-31 2011-04-28 上置型扫描仪装置及图像处理方法

Country Status (4)

Country Link
US (1) US20130083176A1 (zh)
JP (1) JP5364845B2 (zh)
CN (1) CN102918828B (zh)
WO (1) WO2011152166A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754160A (zh) * 2013-12-27 2015-07-01 京瓷办公信息***株式会社 图像处理装置
CN105827894A (zh) * 2015-01-28 2016-08-03 佳能株式会社 信息处理装置及信息处理方法
CN105956555A (zh) * 2016-04-29 2016-09-21 广东小天才科技有限公司 拍照搜题的方法及装置
CN106303255A (zh) * 2016-08-30 2017-01-04 广东小天才科技有限公司 快速获取目标区域图像的方法和装置
CN106408560A (zh) * 2016-09-05 2017-02-15 广东小天才科技有限公司 一种快速获取有效图像的方法和装置
CN106464793A (zh) * 2013-11-18 2017-02-22 奥林巴斯株式会社 摄像装置、摄像辅助方法和记录了摄像辅助程序的记录介质
CN106454068A (zh) * 2016-08-30 2017-02-22 广东小天才科技有限公司 一种快捷获取有效图像的方法和装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5912065B2 (ja) 2012-06-01 2016-04-27 株式会社Pfu 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム
JP5894506B2 (ja) 2012-06-08 2016-03-30 株式会社Pfu 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム
USD740826S1 (en) * 2012-06-14 2015-10-13 Pfu Limited Scanner
USD709890S1 (en) * 2012-06-14 2014-07-29 Pfu Limited Scanner
JP6155786B2 (ja) * 2013-04-15 2017-07-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体
JP2014228945A (ja) * 2013-05-20 2014-12-08 コニカミノルタ株式会社 領域指定装置
GB201400035D0 (en) * 2014-01-02 2014-02-19 Samsung Electronics Uk Ltd Image Capturing Apparatus
JP6354298B2 (ja) * 2014-04-30 2018-07-11 株式会社リコー 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム
JP5948366B2 (ja) * 2014-05-29 2016-07-06 京セラドキュメントソリューションズ株式会社 原稿読取装置及び画像形成装置
KR20170088064A (ko) 2016-01-22 2017-08-01 에스프린팅솔루션 주식회사 화상 취득 장치 및 화상 형성 장치
JP6607214B2 (ja) * 2017-02-24 2019-11-20 京セラドキュメントソリューションズ株式会社 画像処理装置、画像読取装置及び画像形成装置
JP7214967B2 (ja) * 2018-03-22 2023-01-31 日本電気株式会社 商品情報取得装置、商品情報取得方法、およびプログラム
JP6833110B2 (ja) * 2018-05-21 2021-02-24 富士フイルム株式会社 画像補正装置、画像補正方法、及び画像補正プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07162667A (ja) * 1993-12-07 1995-06-23 Minolta Co Ltd 画像読取装置
JP2002290702A (ja) * 2001-03-23 2002-10-04 Matsushita Graphic Communication Systems Inc 画像読取装置及び画像通信装置
CN1799252A (zh) * 2003-06-02 2006-07-05 卡西欧计算机株式会社 采集图像投影装置以及采集图像校正方法
JP2008152622A (ja) * 2006-12-19 2008-07-03 Mitsubishi Electric Corp ポインティング装置
WO2009119026A1 (ja) * 2008-03-27 2009-10-01 日本写真印刷株式会社 プレゼンテーションシステム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3475849B2 (ja) * 1999-04-16 2003-12-10 日本電気株式会社 文書画像取得装置および文書画像取得方法
US7743348B2 (en) * 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
US20100153168A1 (en) * 2008-12-15 2010-06-17 Jeffrey York System and method for carrying out an inspection or maintenance operation with compliance tracking using a handheld device
US20110191719A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Cut, Punch-Out, and Rip Gestures

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07162667A (ja) * 1993-12-07 1995-06-23 Minolta Co Ltd 画像読取装置
JP2002290702A (ja) * 2001-03-23 2002-10-04 Matsushita Graphic Communication Systems Inc 画像読取装置及び画像通信装置
CN1799252A (zh) * 2003-06-02 2006-07-05 卡西欧计算机株式会社 采集图像投影装置以及采集图像校正方法
JP2008152622A (ja) * 2006-12-19 2008-07-03 Mitsubishi Electric Corp ポインティング装置
WO2009119026A1 (ja) * 2008-03-27 2009-10-01 日本写真印刷株式会社 プレゼンテーションシステム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464793B (zh) * 2013-11-18 2019-08-02 奥林巴斯株式会社 摄像装置和摄像辅助方法
CN106464793A (zh) * 2013-11-18 2017-02-22 奥林巴斯株式会社 摄像装置、摄像辅助方法和记录了摄像辅助程序的记录介质
CN104754160A (zh) * 2013-12-27 2015-07-01 京瓷办公信息***株式会社 图像处理装置
CN105827894B (zh) * 2015-01-28 2019-03-22 佳能株式会社 信息处理装置及信息处理方法
CN105827894A (zh) * 2015-01-28 2016-08-03 佳能株式会社 信息处理装置及信息处理方法
US10354162B2 (en) 2015-01-28 2019-07-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
US20170316275A1 (en) 2015-01-28 2017-11-02 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN105956555A (zh) * 2016-04-29 2016-09-21 广东小天才科技有限公司 拍照搜题的方法及装置
CN106303255A (zh) * 2016-08-30 2017-01-04 广东小天才科技有限公司 快速获取目标区域图像的方法和装置
CN106454068A (zh) * 2016-08-30 2017-02-22 广东小天才科技有限公司 一种快捷获取有效图像的方法和装置
CN106303255B (zh) * 2016-08-30 2019-08-02 广东小天才科技有限公司 快速获取目标区域图像的方法和装置
CN106454068B (zh) * 2016-08-30 2019-08-16 广东小天才科技有限公司 一种快捷获取有效图像的方法和装置
CN106408560A (zh) * 2016-09-05 2017-02-15 广东小天才科技有限公司 一种快速获取有效图像的方法和装置

Also Published As

Publication number Publication date
WO2011152166A1 (ja) 2011-12-08
US20130083176A1 (en) 2013-04-04
JP5364845B2 (ja) 2013-12-11
CN102918828B (zh) 2015-11-25
JPWO2011152166A1 (ja) 2013-07-25

Similar Documents

Publication Publication Date Title
CN102918828B (zh) 上置型扫描仪装置及图像处理方法
JP4405831B2 (ja) 画像処理装置及びその制御方法、プログラム
JP4533273B2 (ja) 画像処理装置及び画像処理方法、プログラム
JP2011254366A (ja) オーバーヘッドスキャナ装置、画像取得方法、および、プログラム
US20060114522A1 (en) Desk top scanning with hand operation
US8675260B2 (en) Image processing method and apparatus, and document management server, performing character recognition on a difference image
CN104023160A (zh) 上置型扫描仪装置和图像获取方法
CN100430957C (zh) 图像处理装置、方法
JP2008113075A (ja) 画像処理装置およびその制御方法
JP4574503B2 (ja) 画像処理装置、画像処理方法およびプログラム
US10049264B2 (en) Overhead image-reading apparatus, image-processing method, and computer program product
JPWO2006070476A1 (ja) 画像内の処理対象の位置を特定する画像処理装置
JP5094682B2 (ja) 画像処理装置、画像処理方法およびプログラム
US7042594B1 (en) System and method for saving handwriting as an annotation in a scanned document
JP2008108114A (ja) 文書処理装置および文書処理方法
EP1662362A1 (en) Desk top scanning with hand gestures recognition
JP2008092451A (ja) スキャナシステム
JP5147640B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6700705B2 (ja) 振り分けシステム、情報処理方法、及びプログラム
EP0975146A1 (en) Locating the position and orientation of multiple objects with a smart platen
JP5706556B2 (ja) オーバーヘッドスキャナ装置、画像取得方法、および、プログラム
JP7516170B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6639257B2 (ja) 情報処理装置及びその制御方法
JP2013250927A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6795770B2 (ja) 情報処理装置と、その処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20200428