CN105590298A - 从图像提取并校正对象的图像数据 - Google Patents

Abstract

提供一种用于处理图像的方法和设备。处理器被配置为：从图像检测至少一个对象的区域；基于一数量的分布点定义逼近至少一个对象的所检测到的区域的边界的多条直线，其中所述多条直线的每一个在所述梳理的分布点处符合边界；提取多边形区域的第一图像数据。所述多边形区域在多个第一交叉点处具有顶点，其中在该多个第一交叉点处，所述多个直线彼此交叉。可以通过校正第一图像数据的畸变来生成第二图像数据。存储单元存储第二图像数据，其还可以被显示或传送。

Description

从图像提取并校正对象的图像数据

优先权要求

本申请要求于2014年11月7日向韩国知识产权局提交的韩国专利申请第10-2014-0154728号的权益，其公开通过引用方式整体合并于此。

技术领域

本公开一般涉及从图像提取对象的图像数据以及校正所提取的图像数据的图像处理方法，以及用于执行该方法的设备。

背景技术

根据图像捕获技术的发展，用于捕获对象的图像以及存储所捕获图像的文件在存储介质中的技术已经普及。一种技术具有校正图像内对象的倾斜的效果。这允许所提取的图像被显示在显示器上，仿佛所提取的图像在对象之上垂直地从一点看过去。该方法通过将从透视图像提取的对象的图像转换为非透视平面的图像而再现该图像。

文档还可以通过使用扫描仪转换为数字数据，并且可以存储所转换的数字数据，但是扫描仪是大型、通常非便携式的设备。因此，在不使用扫描仪的情况下，可以通过使用可以捕获图像的移动装置捕获文档的图像并处理所捕获的图像来生成与由扫描仪扫描的数据类似的数字数据。然而，在从图像的背景仅分离对象和提取该分离的对象的处理中，不精确性上升。即，在对象的形状偏离矩形的情况下，精确地提取对象的边界是一个挑战。例如，如果形状大体是矩形但是对象的一部分损坏或对象的一个或多个顶点未处于两个主要边的交点处(诸如角被切除的时候)，精确的对象分离变得困难。

发明内容

一个或多个示例性实施例包括如下设备和方法：用于即使对象具有不完整四边形的形状也精确地从包括该对象的图像提取对象，将所提取对象的形状转换为对应于矩形的图像，并存储所述图像以用于后续显示/传输。

其它方面将在随后描述中阐述。根据一个或多个示例性实施例，用于处理包括至少一个对象的图像的设备包括：处理器，被配置为：从所述图像检测至少一个对象的区域；基于一数量的分布点定义逼近所检测到的区域的边界的多条直线，其中多条直线的每一个在所述数量的分布点处与所检测到的区域的边界相符；提取由所述多条直线中的至少一些封闭并且在所述多条直线中的至少一些在其上彼此交叉的多个交叉点处具有顶点的多边形区域的第一图像数据；通过校正所述第一图像数据的畸变来生成第二图像数据；和存储单元，被配置为存储所述第二图像数据。

所述第二图像数据可以在被输出用于显示和存储之前被畸变校正。所述多条直线中的至少一些对应于所述多边形区域的边缘，并且所述处理器将所述多条直线中的至少一些的每一个选择为在所述对象的一个侧边界上具有最大数量的分布点的线。

所述处理器可以在多个第一交叉点的每一个周围设置第一区域，量化所述第一区域的图像数据的像素值，并且关于基于所述至少一个对象的中心确定的最外侧顶点在第一区域的量化图像数据上校正所述第一区域的第一交叉点。

所述处理器可以提取与具有多个校正的第一交叉点作为顶点的多边形对应的区域的第一图像数据，并且通过校正所提取的第一图像数据的畸变生成第二图像数据。

所述处理器可以在多个对象处于图像中时检测多个对象的每一个的区域，基于一数量的点定义逼近所述多个对象的每一个的区域的边界的多条直线，其中所述多条直线的每一个在所述数量的点与所述多个对象的每一个的区域的边界相符，提取具有多条直线在其上彼此交叉的多个第一交叉点作为顶点的多边形区域的多个第一图像数据，并且通过校正被提取为对应于所述多个对象的每一个的区域的多个第一图像数据的畸变来生成多个第二图像数据。

所述处理器可以生成相应地包括所生成的多个第二图像数据的单独文件，并存储该单独文件到存储单元中。

所述处理器可以生成包括与所生成的多个第二图像数据对应的图像数据的单个文件，并且存储该单个文件在存储单元中。

所述处理器可以通过在多个第一图像数据当中提取与最大的多边形区域对应的第一图像数据来生成第二图像数据，校正所提取的第一图像数据的畸变，并且存储第二图像数据到存储单元中。

所述处理器可以确定所检测到的多个对象的类型，可以在所确定类型相同时通过校正与相同类型的多个对象对应的多个第一图像数据的畸变来生成多个第二图像数据，可以将多个第二图像数据转换为具有相同分辨率的多个第二图像数据，并且可以存储具有相同分辨率的多个第二图像数据到存储单元中。

所述设备可以进一步包括显示第二图像数据的显示单元以及被配置为接收输入信号的接收器，其中，所述处理器基于通过接收器接收的输入信号选择多个第二图像数据中的至少一个，并存储所选择的多个第二图像数据中的至少一个到存储单元中。

根据一个或多个示例性实施例，用于处理包括多个对象的图像的设备包括：显示单元；处理器，被配置为从图像检测多个对象的相应区域，基于一数量的分布点定义逼近每一个区域的边界的多条直线，其中所述多条直线的每一个在所述数量的分布点处与所述区域的边界相符，在显示单元上显示多个第一多边形，其每一个都具有多条直线在其上彼此交叉的多个第一交叉点作为顶点，选择作为所述多个第一多边形中的至少一个的第二多边形，并且基于选择提取第一图像数据，并且通过校正第一图像数据的畸变来生成第二图像数据；以及存储单元，被配置为存储第二图像数据。

所述处理器可以基于从由多个第一多边形的尺寸、畸变度、距屏幕的中心的距离和从用于处理图像的设备到多个对象的距离构成的组中选择的至少一个选择第二多边形，控制所述显示单元以使得以与在所述第一多边形当中的、除第二多边形之外的第一多边形不同的方式显示第二多边形，并且关于第二多边形提取第一图像数据。

所述设备还可以包括：接收器，被配置为接收外部输入，其中，所述处理器基于所述外部输入选择第二多边形。

所述处理器可以控制显示器单元以使得仅与多个第一多边形当中的除第二多边形之外的第一多边形对应的第三多边形被显示，并且可以提取第三多边形的第一图像数据。

所述处理器可以控制显示单元以使得所述第二多边形以不同于除第二多边形之外的第一多边形的方式显示。

所述处理器可以控制显示单元以使得与第二图像数据对应的缩略图被显示。

根据一个或多个示例性实施例，处理包括至少一个对象的图像的方法包括：从图像检测至少一个对象的区域；基于一数量的分布点定义逼近所述至少一个对象的所检测到的区域的边界的多条第一直线，其中所述多条第一直线的每一个在所述数量的分布点处与所检测到的区域的边界相符；提取由所述直线中的至少一些封闭并且在所述多条直线中的至少一些在其上彼此交叉的交叉点处具有顶点的多边形区域的第一图像数据；通过校正第一图像数据的畸变来生成第二图像数据；并且存储第二图像数据。

根据一个或多个示例性实施例，处理包括多个对象的图像的方法包括：从图像检测多个对象的区域，基于一数量的分布点定义逼近所检测到的区域的每一个的边界的多条直线，其中多条直线的每一个在所述数量的分布点与区域的每一个的边界相符；显示多个第一多边形，其每一个都具有多条直线在其上彼此交叉的多个第一交叉点作为顶点；选择为多个第一多边形的至少一个的第二多边形；根据所述选择提取第一图像数据；通过校正第一图像数据的畸变来生成第二图像数据；以存储第二图像数据。

所述方法可以进一步包括基于从由所述多个第一多边形的尺寸、畸变度、距屏幕的中心的距离和距用于处理图像的设备的距离构成的组中选择的至少一个选择第二多边形，其中，显示多个第一多边形包括以使得以与除第二多边形之外的第一多边形不同的方式显示第二多边形，并且提取第一图像数据可以包括关于第二多边形提取第一图像数据。

该方法可以进一步包括接收外部输入，其中选择第二多边形包括基于外部输入选择第二多边形。

该方法可以进一步包括仅显示与多个第一多边形当中的除第二多边形之外的第一多边形对应的第三多边形，其中，提取第一图像数据包括提取第三多边形的第一图像数据。

显示第二多边形可以包括以与除第二多边形之外的第一多边形不同的方式显示第二多边形。

该方法可以进一步包括显示与第二图像数据对应的缩略图。

根据一个或多个示例性实施例，在其上记录用于执行该方法的程序的非临时计算机可读记录介质。

附图说明

结合附图，从下面结合附图进行的对示例性实施例的描述，这些和/或其它方面将变得清楚并更容易理解，在附图中：

图1是根据一示例性实施例的图像处理设备的框图；

图2是图示根据一示例性实施例的图像处理设备的单元之间的关系的框图；

图3是根据一示例性实施例的处理包括对象的图像的方法的流程图；

图4图示根据一示例性实施例的定义对象的区域以生成图像数据的处理；

图5图示根据一示例性实施例的定义用于形成所检测到的对象的区域的多条直线以生成图像数据并且检测所述直线的交叉点的处理；

图6A和6B图示在检测对象的处理中可能出现的问题；

图7图示根据一示例性实施例的基于多条直线在其上彼此交叉的顶点生成对象的区域的图像数据的处理；

图8图示根据一示例性实施例的形成对象的区域的边界的点；

图9图示根据一示例性实施例的逼近对象的区域的边界的第一直线；

图10是根据一示例性实施例的校正逼近对象的区域的边界的第一直线的交叉点的方法的流程图；

图11图示根据一示例性实施例的校正逼近对象的区域的边界的第一直线的交叉点的处理；

图12是根据一示例性实施例的生成多个对象的图像数据的方法的流程图；

图13图示根据一示例性实施例的当图像包括多个对象时检测逼近多个对象的每一个的区域的边界的多条第一直线的交叉点的处理；

图14图示根据一示例性实施例的当图像包括多个对象时对多个对象的每一个的区域生成作为单独文件的图像数据的处理；

图15图示据一示例性实施例的当图像包括多个对象时对多个对象的区域生成包括多个图像数据的一个图像数据的处理；

图16图示根据一示例性实施例的当图像包括多个对象时仅生成多个对象的区域的多个图像数据中的最大的一个的处理；

图17是根据一示例性实施例的当图像包括多个对象时确定多个对象的每一个的类型并且将相同类型的对象的区域的多个图像数据转换为具有相同分辨率的多个图像数据的方法的流程图；

图18图示根据一示例性实施例的当图像包括多个对象时确定多个对象的每一个的类型，将相同类型的对象的区域的多个图像数据转换为具有相同分辨率的多个图像数据，并且将所述具有相同分辨率的多个图像数据存储为单独文件的处理；

图19图示根据一示例性实施例的当图像包括多个对象时确定多个对象的每一个的类型，将相同类型的对象的区域的多个图像数据转换为具有相同分辨率的多个图像数据，并且将所述具有相同分辨率的多个图像数据存储为单个文件的处理；

图20图示根据一示例性实施例的当图像包括多个对象时确定多个对象的每一个的类型，将相同类型的对象的区域的多个第二图像数据转换为具有相同分辨率的多个图像数据，并且基于对象的类型存储具有相同分辨率的多个第二图像数据到单独文件中的处理；

图21图示根据一示例性实施例的仅存储当图像包括多个对象时从多个对象的多个图像数据中选择的图像数据的处理；

图22是根据一示例性实施例的可以检测在图像中包括的多个对象的区域并且校正在所述多个对象的所检测到的区域的畸变的图像处理设备的框图；

图23是根据一示例性实施例的选择在图像中包括的多个对象中的一些并基于选择结果生成图像数据的方法的流程图；

图24图示根据一示例性实施例的当图像包括多个对象时检测与多个对象的区域的轮廓线对应的多边形的处理；

图25是根据一示例性实施例的通过基于由接收器接收的外部信号选择第二多边形来生成第二图像数据的图像处理设备的框图；

图26是根据一示例性实施例的基于由图25的图像处理设备接收的外部信号选择第二多边形并基于选择结果校正图像数据的畸变的图像处理方法的流程图；

图27图示根据一示例性实施例的图像处理设备选择为多个第一多边形中的一些的第二多边形以便不基于外部输入提取所选择第二多边形的图像数据的处理；

图28图示根据一示例性实施例的图像处理设备选择为多个第一多边形中的一些的第二多边形以基于外部输入提取所选择第二多边形的图像数据的处理；

图29是根据以示例性实施例的包括选择为多个第一多边形的一个的第二多边形以基于预定标准提取所选择第二多边形的图像数据的处理的图像处理方法的流程图；

图30图示根据一示例性实施例的其中图像处理设备的处理器选择为多个第一多边形的一个的第二多边形以基于预定标准提取所选择第二多边形的图像数据的处理；

图31是其中与由图像处理设备的处理器提取的第一多边形对应的第二图像数据的缩略图被显示在显示单元上的图；

图32是根据一示例性实施例的基于由图像处理设备的处理器接收的外部输入而生成第二图像数据并且在显示单元上显示所生成第二图像数据的缩略图的图；和

图33是根据一示例性实施例的基于由图像处理设备的处理器接收的外部输入而生成第二图像数据并且在显示单元上显示所生成第二图像数据的缩略图的图。

具体实施方式

现在将对示例性实施例详细地做出参考，其示例在附图中图示，其中相同附图标记在全文中指代相同单元。关于此，本示例性实施例可以具有不同形式并且不应当被理解为限于在此阐述的描述。因此，所述示例性实施例仅在以下通过参考附图描述以说明本描述的各方面。如在此使用的，术语“和/或”包括一个或多个关联列出项的任一个和全部组合。诸如“……的至少一个”的表达在位于单元列表之前时修饰单元的整个列表并且不修饰列表的单个单元。

考虑关于示例性实施例的功能，在本说明书中使用的要素是在本领域中目前广泛使用的通用术语，但是术语可以根据本领域普通技术人员的意图、本领域的先例或新技术而改变。同样，申请人可以选择具体项，并且在该情况下，其详细含义将在示例性实施例的详细描述中描述。因此，在说明书中使用的术语不应当被理解为简单名称而是基于术语的含义和示例性实施例的整体描述。

当某物“包括”或“包含”一组件时，可以进一步包括其它组件，除非以其它方式指定。此外，诸如“...单元”、“...模块”等之类的术语指代执行至少一种功能或操作的单元，并且该单元可以被实现为硬件或软件或实现为硬件和软件的组合。如在此使用的，单数形式“一”、“一个”和“该”意图还包括多数形式，除非上下文以其它方式明确指示。

图1是根据一示例性实施例的图像处理设备100的框图。图像处理设备100可以包括显示单元110、处理器170、存储单元120、全球定位***(GPS)芯片125、通信器130、视频处理器135、音频处理器140、用户输入单元145、麦克风单元150、图像捕获单元155、扬声器160和动作检测器165。显示单元110可以包括显示面板111和用于控制显示面板111的控制器(未示出)。可以利用各种类型的显示器(诸如液晶显示器(LCD)、有机发光二极管(OLED)、有源矩阵有机发光二极管(AMOLED)和等离子显示面板(PDP)之类)中的一中来实现显示面板111。显示面板111可以被实现为柔性的、透明的或可佩戴的。显示单元110可以与用户输入单元145的触摸面板147组合以形成触摸屏(未示出)。例如，触摸屏(未示出)可以包括其中显示面板111和触摸面板147被集成为堆叠结构的集成模块。

存储单元120可以包括内部存储器(未示出)和/或外部存储器(未示出)。

当被包括时，内部存储器可以包括易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)或同步动态RAM(SDRAM))、非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM或快闪ROM)、硬盘驱动器(HDD)和/或固态驱动器(SSD)。根据示例性实施例，处理器170可以加载由从非易失性存储器和其它单元中选择的至少一个接收的命令或数据到易失性存储器中。此外，处理器170可以存储从非易失性存储器中的其它单元接收或生成的数据。

当被包括时，外部存储器可以包括紧凑式闪存(CF)、安全数字(SD)、微型安全数字(微型SD)、迷你安全数字(迷你SD)、极数字(XD)和/或记忆棒。

存储单元120可以存储用于图像处理设备100的操作的各种程序和数据。例如，存储单元120可以暂时或半永久性地存储将在锁屏上显示的至少一些内容。

处理器170可以控制显示单元110以便在存储单元120中存储的一些内容显示在显示单元110上。换言之，处理器170可以在显示单元110上显示在存储单元120中存储的一些内容。处理器170可以执行以下描述的提取和校正操作的图像处理。

处理器170可以包括从RAM171、ROM172、中央处理单元(CPU)173、图形处理单元(GPU)174以及总线175中选择的至少一个。RAM171、ROM172、CPU173和GPU174可以经由总线175彼此连接。

CPU173访问存储单元120，并通过使用存储在存储单元120中的操作***(OS)执行引导操作。此外，CPU173通过使用存储在存储单元120中的各种程序、内容和数据执行各种操作。

用于引导***的命令集存储在ROM172中。当输入接通命令并且因此向图像处理设备100提供电源电压时，CPU173可以根据存储在ROM172中的命令复制存储在存储单元120中的OS到RAM171中，并且可以执行该OS来引导该***。当引导完成时，CPU173复制存储在存储单元120中的各种程序到RAM171中，并执行程序拷贝到RAM171中来执行各种操作。当图像处理设备100的引导完成时，GPU174在显示单元110的区域上显示用户界面(UI)。具体地，GPU174可以生成在其上显示电子文档(包括诸如内容、图标和菜单之类的各种对象)的屏幕。GPU174根据屏幕布局计算诸如将在其上显示每个对象的坐标以及每一对象的形状、尺寸和颜色之类的属性值。此外，GPU174可以基于所计算的属性值生成具有各种布局(包括对象)的屏幕。由GPU174生成的屏幕可以被提供给显示单元110，并分别显示在显示单元110的区域上。

GPS芯片125可以从GPS卫星接收GPS信号，并计算图像处理设备100的当前位置。当使用导航程序时或当需要用户的当前位置时，处理器170可以通过使用GPS芯片125计算用户位置。

通信器130可以根据各种类型的通信方法与各种类型的外部设备执行通信。通信器130可以包括从WiFi芯片131、蓝牙芯片132、无线通信芯片133和近场通信(NFC)芯片134中选择的至少一个。处理器170可以通过使用通信器130执行与各种外部装置的通信。

WiFi芯片131可以通过使用WiFi方法执行通信，而蓝牙芯片132可以通过使用蓝牙方法执行通信。在使用WiFi芯片131或蓝牙芯片132的情况下，可以首先发送和接收各种连接信息(诸如***标识(SSID)和会话密钥)，并且然后在通过使用该连接信息执行通信连接之后，可以发送和接收各种信息。无线通信芯片133是如下芯片：根据各种通信标准(诸如电气和电子工程师协会(IEEE)、Zigbee、第三代(3G)、第三代合作伙伴计划(3GPP)以及长期演进(LTE)标准)执行通信。NFC芯片134是使用从各种射频识别(RFID)频带(诸如135kHz、13.56MHz、433MHz、860MHz至960MHz和2.45GHz之类)中选择的13.56MHz的频带以NFC方法操作的芯片。

视频处理器135可以处理包括在通过通信器130接收的内容或存储在存储单元120中的内容中的视频数据。视频处理器135可以对视频数据执行诸如解码、缩放、噪声过滤、帧速率转换以及分辨率转换之类的图像处理。

音频处理器140可以处理在通过通信器130接收的内容或存储在存储单元120中的内容中的音频数据。音频处理器140可以对音频数据执行诸如解码、放大和噪声过滤之类的音频处理。

当执行用于多媒体内容的再现程序时，处理器170可以驱动视频处理器135和音频处理器140以再现多媒体内容。扬声器160可以输出由音频处理器140产生的音频数据。

用户输入单元145可以从用户接收各种命令。用户输入单元145可以包括从键146、触摸面板147和笔识别面板148中选择的至少一个。

键146可以包括形成在各区域(诸如图像处理设备100的机壳的前部分、侧部分和后部分)中的各种类型的键，诸如机械按钮和滚轮。

触摸面板147可以感测用户的触摸输入并且输出对应于所感测到的触摸输入的触摸事件值。当通过触摸面板147和显示单元110的组合形成触摸屏(未示出)时，可以利用各种类型的触摸传感器(诸如使用电容法的触摸传感器、使用电阻方法的触摸传感器以及使用压电方法的触摸传感器)来实现触摸屏。电容方法是通过使用涂覆在触摸屏的表面上的电介质感测非常少量的电来进行感测并且基于所感测到的少量电计算触摸坐标的方法，其中该非常少量的电在用户的身体的一部分触摸到触摸屏的表面上时被感应到用户的身体中。使用内置于触摸屏的两个电极板的电阻方法是感测电流并且基于所感测到的电流计算触摸坐标的方法，其中该电流在用户触摸触摸屏时在所触摸的点处在两个电极板之间由于接触而出现。在触摸屏上出现的触摸事件可以主要由用户的手指生成，但也可以由导电材料形成的对象生成，其中该导电材料可以向触摸屏施加电容变化。

笔识别面板148可根据触摸笔的操作感测触摸笔(例如，指示笔或数字笔)的接近输入或触摸输入，并且可以基于所感测到的接近输入或触摸输入输出笔接近事件或笔触摸事件。笔识别面板148可以通过使用电-磁共振(EMR)效果来实现，并且可以根据在电磁场的强度中的改变而感测触摸或接近输入。详细地，笔识别面板148可以包括具有栅格结构的电磁感应线圈传感器(未示出)和向该电磁感应线圈传感器的环路线圈提供具有预定频率的交流电流(AC)信号的电信号处理器(未示出)。当嵌入有谐振电路的笔放置在笔识别面板148的环路线圈周围时，由于从环路线圈传送的磁场而在笔的谐振电路中产生基于互电磁感应的电流。基于该电流，在笔的谐振电路的线圈中出现感应场，并且笔识别面板148从处于信号接收状态的环路线圈检测感应场以感测笔的接近位置或触摸位置。笔识别面板148可以在显示面板111下具有特定区域，例如，可以覆盖显示面板111的显示区域的区域。

麦克风单元150可以接收用户的语音和其它声音，并将所接收的用户的语音和声音转换为音频数据。处理器170可以在电话呼叫操作中使用通过麦克风单元150输入的用户的语音，或可以将用户的语音转换成音频数据并将该音频数据存储到存储单元120中。

图像捕获单元155可以根据用户的控制拍摄静止图像或动作图像。可以利用诸如前相机和后相机之类的多个相机来实现图像捕获单元155。由图像捕获单元155捕获的图像可以包括一个或多个对象，针对其，可以由处理器170执行在以下参考图3-33描述的的提取和校正处理。

当配置了图像捕获单元155和麦克风单元150时，处理器170可根据通过麦克风单元150输入的用户的语音或由图像捕获单元155识别的用户的动作来执行控制操作。例如，图像处理设备100可以操作动作控制模式或语音控制模式。当图像处理设备100在动作控制模式下操作时，处理器170可以激活图像捕获单元155以捕获用户图像，并且可以跟踪用户的动作中的改变，并执行对应于所跟踪到的改变的控制操作。当图像处理设备100工作在语音控制模式下时，处理器170可以分析通过麦克风单元150输入的用户的语音并且工作在语音识别模式以用于根据所分析得到的用户语音执行控制操作。

动作检测器165可以检测图像处理设备100的动作。图像处理设备100可以在各个方向上被旋转或倾斜。在这种情况下，动作检测器165可以通过使用诸如地磁传感器、陀螺仪传感器和加速度传感器之类的各种传感器中的至少一个检测动作特性(诸如旋转方向、角度和倾斜)。

图2是图解根据一示例性实施例的图像处理设备200的单元之间的关系的框图。

图像处理设备200可以对应于在图1中图示的图像处理设备100。

图像处理设备200的处理器210可以执行结合图3-33描述的操作。为此，处理器210可以提取在捕获图像中的对象的区域，检测被定义为逼近所提取区域的边界的多条直线的交叉点，并基于所述交叉点提取对应于对象的区域的第一图像数据。所捕获图像可以是通过图像捕获单元150输入的图像、通过通信器130从外部源接收的图像或者存储在存储单元120中的图像。然而本发明构思不限于此。处理器210可对应于图1所示的处理器170。处理器210可以通过校正第一图像数据的畸变生成具有矩形形状的第二图像数据，并且该第二图像数据可以存储在存储单元220中并被显示。在下面更详细地描述该处理。

图3是根据一示例性实施例的处理包括对象的图像的方法的流程图。

在操作S310中，图像处理设备200从图像检测对象的区域。例如，当通过使用图像处理设备200拍摄名片时，图像处理设备200从所捕获图像检测对应于名片的区域。分割技术可以被用作检测对象区域的方法，具体而言，基于色彩的分割技术可以被用作检测对象的区域的方法。然而，本发明构思不限于此。图4图示在操作S310中执行的(通过检测其在整个图像内的边界)来检测对象区域的示例处理。通过检测图像(例如，所提供图像文件的图像的拍摄图像)的更大矩形或正方形区域(未示出)内的对象的边界来检测对象的区域。在该示例中，图像处理设备200可以从更大的图像中分割出对象400以检测对象400(操作420)(数据区域410也可以存在于对象400中)。分割对象400的技术可以是基于色彩的分割技术，但不限于此。可以通过对对象400这些基于色彩的分割来检测对象400的区域402。

在操作S320中，图像处理设备200定义逼近在操作S310检测到的对象的区域的边界的多条直线，以下称为“第一”直线。基于对沿边界的点的分析确定所述直线(在稍后描述和图示)。例如，当对象的检测区域具有四边形的一般形状时，所述多条第一直线可以被定义为对应于四边形的四条边的多条直线(四条直线)。

图5图示定义逼近在操作S320中检测到的区域的边界的多条第一直线的处理。如图5所示，当在操作S310中通过基于色彩的分割技术检测到的对象400的区域402具有与四边形的形状类似的形状时，多条第一直线520、522、524和526可被定义为逼近类似于对象400的区域402的四边形形状的边(操作530)。

在操作S330中，图像处理设备200可以通过找到在其处多条第一直线彼此交叉的点来确定多个第一交叉点。所确定的多个第一交叉点可被认为对应于要提取的图像数据的顶点的点。参照图5，可以确定作为在其处在操作S320中定义的多条直线520、522、524和526彼此交叉的点的多个第一交叉点510、512、514和516。基于多个第一交叉点510、512、514和516的位置，可以生成多边形，并且可使用所生成的多边形作为第一图像数据的轮廓线来提取第一图像数据。因为第一交叉点510、512、514和516的数量为4，所以可以生成具有第一交叉点510、512、514和516作为其顶点的四边形，并且可以使用所生成的作为第一图像数据的轮廓线的四边形提取第一图像数据。

如图5所示，关于操作S330，逼近对象400的区域402的边界的多条第一直线520、522、524和526在其处彼此交叉的多个第一交叉点510、512、514和516可以被确定为在区域402的边界之外并且在符合区域402的边界的轮廓线上(即，沿着轮廓线)。例如，当由于对象的圆形顶点部分或对象的部分的损坏而造成对象区域具有非四边形形状时，以及当对象区域具有顶点清晰的A4页面的形状时，如果基于在轮廓线上确定的多个点而生成对应于多边形区域的图像数据，则难以利用传统技术来生成用户期望的图像。在当前的示例性实施例中，由于通过使用多条第一直线的交叉点来定义图像数据的区域，所以对应于矩形形状的图像数据的顶点的多个第一交叉点510、512、514和516也可以被确定为在对象区域之外。参照关于本示例的图6A，所检测到的对象可以是具有类似于矩形的形状但其对应于顶点的部分不具有直角形状而是圆形或切割形状的名片600。或者，如图6B的示例中所示，名片610可能具有矩形但其部分被损坏的形状。在这些情况下，如果使用确定与名片对应的区域的轮廓线并生成具有在轮廓线上被确定为顶点的多个点的多边形区域的图像数据的技术，则因为多边形区域的顶点形成在轮廓线上所以难以提取与名片相关的区域的图像数据。例如，即使该名片600的形状整体是矩形，但是在名片600的轮廓上有五个或更多个顶点。然而，在通过使用基于边缘的分割检测到名片600并且确定关于该名片600提取的图像数据中，在名片600的轮廓线上确定顶点。因此，在生成具有以此方式确定的四个顶点620、622、624和626的矩形的图像数据的情况下，对应于矩形图像数据的边的多条直线630、632、634和636不平行于或不垂直于名片600的主边(例如，长边)。在此情况下，提取到其中名片600倾斜且不包含名片600的部分的图像数据。因此，传统技术在该情况下产生不期望的图像提取(即，粗边界内的区域)。

参考作为另一示例的图6B，可以存在其中通过使用基于边缘的分割来检测具有矩形形状但其部分被损坏的名片610而确定要提取的图像数据的情况。在这种情况下，在名片610的轮廓线上确定顶点，并且因此在生成以此方式确定的具有四个顶点640、642、644和646的矩形的图像数据的情况下，对应于矩形图像数据的边的多条直线650、652、654和656被确定为不平行于或不垂直于名片600的主边(例如，长边)。在这种情况下，按常规提取其中名片610倾斜和不包含名片610的部分的图像数据。根据该示例，用户难以使用图像处理设备来产生期望图像。然而，在当前示例性实施例中，因为在其处在操作S320中定义的多条第一直线520、522、524和526彼此交叉的多个第一交叉点510、512、514和516也可能被确定为超出该对象的区域402的***，所以可以防止这样的结果，如图5所示。

继续参考图3，在操作S340中，图像处理设备200可以通过校正在操作S330中提取的第一图像数据的畸变而产生第二图像数据。这里，“校正畸变”可包括校正被成像对象的不规则边界，使得图像显示具有对称边界，诸如矩形。即，可以通过将第一图像数据校正为具有矩形形状的处理来生成第二图像数据，其中所述第一图像数据具有多边形形状(例如非矩形的四方形状)。可以通过在从第一图像数据计算矩阵之后使用翘曲(warping)技术来执行这样的校正。然而，本发明构思不限于此，因为可以采用其它校正技术。参考关于操作S340的图7，在操作S330中提取的第一图像数据可以是与由交叉点710、712、714和716界定的四方区域对应的图像数据，其中所述交叉点是四方区域的顶点。在这种情况下，提取四方区域的第一图像数据720(其包括与对象400对应的图像数据)，并且当通过使用翘曲技术校正第一图像数据720的畸变时，生成与矩形对应的第二图像数据404(操作730)。

可以最终由处理器170输出从第一图像数据如此得到的第二图像数据，用于在显示单元110上的显示和/或作为一个或多个图像文件经由通信器130被传送到另一位置以用于在其它处的最终显示。

图8图示根据一示例性实施例的、形成对象800的区域的边界的点。具体地，要检测的对象800的区域的边界可以由多个分布点(均匀间隔)逼近。正方形区域820环绕对象800的角部分。该对象800的区域的边界可以包括较大数量的示例点，包括多个点820a、820b、820c和820d。

图9图示根据一示例性实施例的逼近对象800的区域的边界的第一直线的计算机实现的生成。例如，考虑环绕对象800的角部分的示例区域820内的一部分，对象800的区域的边界可以包括大数量的分布的示例点，包括多个点920a、920b、920c、920d、920e和920f。该技术的目标是校正大体矩形但是不完美的对象800的图像(表示为第一数据)，并且由此实现矩形图像930(表示为第二图像)(该矩形图像930还被宽泛地在此称为四边形930)。均穿过大数量的分布点的多个点的多条直线910a、910b、910c和910d可以被定义，其中该大数量的分布点逼近对象800的边界。如果可以确定对象800的所检测区域的示意形状大体对应于四边形，则可以基于所确定的四边形800定义多条第一直线。确定与对象800的所检测区域的示意形状对应的四边形800的方法可以是确定几乎覆盖所检测区域的四边形的方法。然而，本发明构思不限于此。逼近四边形930的边之一的第一直线可以被定义为多条直线中的以最大数量的点符合(沿着)对象800的边界的一条。同样，因为要形成的四边形930可以具有比对象800的对应边稍微长或短一些的边，所以四边形930的每一边可以与对象800的对应边相邻，但是不重叠。

例如，与四边形930的左边931对应的第一直线可以被定义为在符合对象800的左边的直线中以最大数量的点沿着(符合)对象800的边界的直线910。例如，直线910a沿着比符合对象800的左边界的不同部分的直线911a多的数量的点。以相同方式，与四边形930的上边932对应的第一直线可以被定义为在与四边形930的上侧932对应的对象800的上边界上的直线(例如910c、910d等)当中以最大数量的点沿着对象800的边界的直线910b。通过对四边形930的右侧和下侧执行相同处理，可以定义总计四条第一直线。

图10是根据一示例性实施例的校正逼近对象的区域的边界的第一直线的交叉点的方法的流程图。图10的示例方法在下面参考图11来解释，并且具体地可应用于其中在对象的边界周围存在渐变效应的情况，而该情况使得边界检测更具挑战性。

在操作S1010中，图像处理设备200从图像中检测对象的区域。例如，当通过使用图像处理设备200拍摄名片时，图像处理设备200从所捕获图像中检测与名片对应的区域。分割技术可以被用作检测对象的区域的方法，并且具体地，基于色彩的分割技术可以被用作检测对象的区域的方法。然而，本发明构思并不限于此。参考关于操作S1010的图11，根据示例性实施例可以从图像中检测对象的区域1100。在缩小(zoomed-out)的角落部分1104中还看到，渐变区域GA存在于图像中，在对象的其它正常边界之外。渐变区域GA产生渐变效应(有时称为梯度效应)。

在操作S1020中，图像处理设备200定义逼近在操作S1010中检测到的对象的区域的边界的多条第一直线。例如，当对象的所检测区域具有四边形的大体形状时，多条第一直线可以被定义为逼近该四边形的四边的多条直线。关于操作S1020参考图11，可以理解，根据一示例性实施例，定义逼近在操作S1010中检测到的对象的区域1100的边界的多条第一直线1110、1112、1114和1116。该操作的详细描述与参考图9所提供的详细描述相同，因此为了简洁而在此省略。

在操作S1030中，图像处理设备200可以针对多个第一交叉点的每一个设置“第一区域”(例如，围绕每一个交叉点的区域)，其中在该多个第一交叉点的每一个处，多条第一直线彼此交叉。多个第一交叉点可以被认为是与要提取的图像数据的顶点对应的点。第一区域可以具有利用在相应交叉点周围的四个第一区域1102、1104、1106和1108来看的矩形形状，或具有作为该第一区域的中心的第一交叉点的圆形形状(例如，区域1126或1136)。

在操作S1040，图像处理设备200可以量化在操作S1030中设置的第一区域的图像数据中的像素值。具体地，图像数据是数字信息并且每一个像素包括任意信息。例如，每一个像素可以包括信息，诸如色调、饱和度和亮度之类。包括这样的信息的像素之间的信息差异可以是量化的预定差异。例如，当每一个像素的色彩信息被色彩量化时，图像数据中彼此不同的色彩的类型的数目可以减少，因此，像素的色彩信息可以被简化。当难以将对象的边界与邻近边界的背景图像数据区分时，或当渐变效应被施加到邻近边界的部分的图像数据时，第一直线和第一交叉点的精确确定变得更为具有挑战性。因此，在该情况下，可以通过使用色彩量化来简化像素之间的差异而找到更精确的点。

在操作S1050中，图像处理设备200可以基于从第一区域中的顶点到对象的中心点的距离，校正第一交叉点的位置。参考图11说明该处理。

图11图示根据一示例性实施例的校正逼近对象的区域的边界的第一直线的交叉点的方法。在该示例中，渐变区域GA存在于对象1100的边界之外，其中对象的边界将以其它方式具有诸如V1之类的顶点，因此渐变区域可以扩展到所成像对象的整个尺寸。在已被施加对象的渐变效应的图像数据的中心确定上述第一区域1102的第一交叉点1121，而非不具有渐变效应的对象的顶点V1。在该情况下，对象的区域1100可能不能被精确地检测到。然而，当第一区域1102的图像数据被色彩量化时，更容易彼此区分色彩，这是因为已被施加渐变效应的一些图像数据的像素之间的差异被简化。在以此方式色彩量化的第一区域1102的图像数据中，基于距与对象的中心方向对应的顶点的距离，关于预定为要以第一交叉点1121为中心的区域中放置的多个顶点之一可以校正第一交叉点1121。例如，可以关于顶点1123而校正第一交叉点1121，该顶点1123是在以第一交叉点1121为中心的、预定半径1125内的区域1126中包括的多个顶点中最远离与对象的中心方向对应的第一区域1102的顶点1120的顶点。即，因为从第一区域1102的顶点1120到距顶点1120最远的顶点1123的距离1124大于在当前第一交叉点1121和与对象的中心方向对应的第一区域1102的顶点1120之间的距离1122，所以可以关于距第一区域1102的顶点1120最远的顶点1123而校正第一交叉点1121。因此，取代使用位于渐变区域GA中心的顶点1121逼近四边形，可以使用最外面的顶点1123，由此对象1100的逼近的四边形变得稍微大一些。

现在考虑图11的右上示图中放大的第一区域1108，在放置对象的表面上形成的对象的阴影可以包括在图像中，并且在该情况下，将对象的边界部分与阴影区分开呈现出处理上的挑战。当通过使用色彩量化简化第一区域1108中的像素之间的差异时，可以关于在被错误地确定为图像数据的中心的第一交叉点1131当中的顶点1135来校正第一交叉点，其中所述顶点1135距与该对象的中心方向对应的第一区域1108的顶点1130最远并且是所述对象的顶点1133的阴影部分，所述第一区域1108被施加渐变效应，并且多个顶点包含在具有第一交叉点1131作为其中心的预定半径1137之内的区域中。也就是说，由于从第一区域1108的顶点1130到与第一区域1108的顶点1130最远的顶点1135的距离长于在当前第一交叉点1131和与所述对象的中心方向对应的第一区域1108的顶点1130之间的距离1132，所以可以关于距离第一区域1108的顶点1130最远的顶点1135来校正第一交叉点1131。因此，最外侧的顶点1135可以用于逼近该四边形，而不是顶点1133或1131。

图12是根据一示例性实施例的生成多个对象的图像数据的方法的流程图。

当图像包括多个对象时，图像处理设备200检测该多个对象的每一个的区域(操作S1210)。图13图示根据一示例性实施例的、检测当公共图像包括多个对象1310时检测逼近多个对象1310、1320、1330和1340的每一个的区域的边界的多条第一直线的交叉点的处理。当要检测多个对象时，可能检测每一个对象的区域。例如使用色彩分割等检测每一个对象的区域的处理可以与针对单个对象的图3的操作S310中描述的处理相同，因此为了简洁在此省略。

在操作S1220，图像处理设备200定义逼近在操作S1210中检测到的每一个对象的区域的边界的多条第一直线。如图13所示，多条第一直线被定义为逼近每一个对象的区域的边界。具体地，可以针对作为检测到的对象1310、1320、1330和1340之一的对象1310定义四条第一直线1311、1313、1315和1317，并且作为另一示例，可以针对对象1340定义四条第一直线1342、1344、1346和1348。(注意，在图3中，为了简洁，以透视图考虑整个图像)。

在操作S1230，图像处理设备200可以对于各个多边形区域提取多个第一图像数据，每一个多边形区域均具有多个第一交叉点作为顶点，其中在该顶点处，在操作S1220中检测的与多个对象的每一个的区域对应的多条第一直线彼此交叉。如图13所示，可以对于每一个对象来定义逼近每一个对象的边界的四条直线。此外，可以提取具有在其处对象1310的第一直线1311、1313、1315和1317彼此交叉的多个第一交叉点1312、1314、1316和1318作为顶点的四边形区域的第一图像数据，并且可以提取具有在其处对象1340的第一直线1342、1344、1346和1348彼此交叉的多个第一交叉点1341、1343、1345和1347作为顶点的四边形区域的第一图像数据。以相同方式，对于对象1320和1330的每一个，可以提取相应四边形区域的第一图像数据，其中，通过直线来封闭每一四边形区域。

在操作S1240，图像处理设备200可以通过“校正”在操作S1230中提取的多个第一图像数据的畸变(例如，提供对称边界，如上所述)生成多个第二图像数据。图14图示根据一示例性实施例的当图像包括多个对象时对多个对象的每一个的相应区域生成为单独文件的图像数据的处理。在示例中，通过校正畸变可以生成四个第二图像数据1410、1420、1430和1440，具有大体四边形并且在操作S1230中提取的每一个现在具有矩形形状。校正四个第一图像数据的每一个的畸变的处理与图3的操作S340中描述的处理相同，因此省略。(例如，尽管在图13中不显而易见，但是每一个“卡型“对象可以已经经由对具有大体四边形形状的不完美边界的真实世界对象的图像捕获而获得，其中经由上述技术校正边界为矩形边界)。

在操作S1250中，图像处理设备200可以存储在此的操作S1240中生成的多个第二图像数据(即，四个第二图像数据1410、1420、1430和1440)。

通过校正畸变以使得在图13中提取的四个第一图像数据的每一个具有矩形形状而生成的四个第二图像数据1410、1420、1430和1440可以存储在四个单独文件1412、1422、1432和1442中。

图15图示根据一示例性实施例的当图像包括多个对象时对多个对象的区域生成包括多个图像数据的一个图像数据的处理。包括通过校正畸变以使得在图13中提取的四个第一图像数据的每一个具有矩形形状而生成的四个第二图像数据1510、1520、1530和1540的一组图像数据1550可以被生成并存储在单个文件1560中。

图16图示根据一示例性实施例的当图像包括多个对象时仅生成多个对象的区域的多个图像数据中的最大的一个的处理。在示例中，通过校正畸变以使得在图13中提取的均具有大体四边形形状的四个第一图像数据的每一个被校正为矩形形状，可以生成四个第二图像数据1610、1620、1630和1640。在该情况中，所生成的四个第二图像数据1610、1620、1630和1640的尺寸可以被彼此比较，并且仅具有最大尺寸的第二图像数据1640可以存储到文件1660中。

图17是根据一示例性实施例的当图像包括多个对象时确定多个对象的每一个的类型并且将相同类型的对象的区域的多个图像数据转换为具有相同分辨率的多个图像数据的方法的流程图。

当图像包括多个对象时，图像处理设备200检测多个对象的每一个的相应区域(操作S1710)。操作S1710的详细描述与图12的操作S1210的描述相同，并且因此省略。

在操作S1720中，图像处理设备200定义逼近在操作S1710中检测到的每一个对象的区域的边界的多条第一直线。操作S1720的详细描述与图12的操作S1220的描述相同，并且因此省略。

在操作S1730中，图像处理设备200可以针对具有多个第一交叉点作为顶点的多边形区域(其中，四个交叉的第一直线包围多个对象的每一个的区域)提取多个第一图像数据。操作S1730的详细描述与图12的操作S1230的描述相同，因此省略。

在操作S1740，图像处理设备200可以通过校正在操作S1730中提取的多个第一图像数据的畸变来生成多个第二图像数据。操作S1740的详细描述与图12的操作S1240的描述相同，因此省略。

在操作S1750中，图像处理设备200分析在操作S1740中生成的多个第二图像数据，并且基于该分析确定所检测到的对象的类型。对象的类型可以通过使用光学字符识别(OCR)方法分析在对象中包括的字母或通过分析在图像数据的类似范围内的其它图像数据(例如，从因特网获得的)来确定。注意，确定对象类型的其它方式也是可以的，并且在本发明构思的范围内。再次参考图14，可以基于对第二图像数据1410、1420、1430和1440的分析，确定四个第二图像数据1410、1420、1430和1440的一些(即，两个第二图像数据1410和1420)对应于“扑克牌”。因此，可以确定四个第二图像数据1410、1420、1430和1440的一些(即，两个第二图像数据1410和1420)对应于相同类型的对象。此外，通过分析第二图像数据1410、1420、1430和1440的字母信息，可以关于第二图像数据1430检测到“ABC”和“123”，并且可以关于第二图像数据1440检测到“DEF”和“567”。通过例如在因特网或其它信息源上搜索以此方式检测到的字母信息，可以确定包括“ABC”的对象是标题为“ABC”的书本，而包括“DEF”的对象是标题为“DEF”的书本。因此，可以确定四个第二图像数据1410、1420、1430和1440的一些(即，两个第二图像数据1430和1440)对应于相同类型的对象，即，“书本”。

在操作S1760，如果确定与多个第二图像数据对应的对象的类型是相同的，则图像处理设备200可以相同地改变通过校正与该相同类型的对象对应的多个第一图像数据的畸变而获得的多个第二图像数据的分辨率(操作S1760)。例如，如果确定四个第二图像数据1410、1420、1430和1440的一些(即，两个第二图像数据1410和1420)对应于相同类型的对象“扑克牌”，并且四个第二图像数据1410、1420、1430和1440的一些(即，两个第二图像数据1430和1440)对应于相同类型的对象“书本”，如上刚参考图14所述的，则与相同类型的对象“扑克牌”对应的两个第二图像数据1410和1420可以被转换为具有相同尺寸的两个图像数据1810和1820(参考图18)。此外，与相同类型的对象“书本”对应的两个第二图像数据1430和1440可以被转换为具有相同尺寸的两个图像数据1830和1840(参考图18)。在此情况下，可以考虑所检测到的对象的形状(例如，长宽比)以及所提取以对应于其类型被确定为与所检测到的对象的类型相同的第二图像数据的多个第一图像数据的平均分辨率来确定转换尺寸或转换率。然而，应当注意，本发明构思不限于此，可以提供转换图像数据的其它方式。

在操作S1770中，图像处理设备200可以存储在操作S1760中获得的多个第二图像数据。

如上所述，图18图示根据一示例性实施例当图像包括多个对象时确定多个对象的每一个的类型，将相同类型的对象的区域的多个图像数据转换为具有相同分辨率的多个图像数据，并且将具有相同分辨率的多个图像数据存储为单独文件的处理。如上所述，与相同类型的对象“扑克牌”对应的图14的两个第二图像数据1410和1420可以被转换为具有相同尺寸的两个图像数据1810和1820，并且与相同类型的对象“书本”对应的两个第二图像数据1430和1440也可以被转换为具有相同尺寸的两个图像数据1830和1840。四个图像数据1810、1820、1830和1840可以被分开存储在不同文件1812、1822、1832和1842中。

图19图示根据一示例性实施例当图像包括多个对象时确定多个对象的每一个的类型，将相同类型的对象的区域的多个图像数据转换为具有相同分辨率的多个图像数据，并且将具有相同分辨率的多个图像数据存储为单个文件的处理。与图18的情况类似，与相同类型的对象“扑克牌”对应的图14的两个第二图像数据1410和1420可以转换为具有相同尺寸的两个图像数据1910和1920，并且与相同类型的对象“书本”对应的两个第二图像数据1430和1440可以转换为具有相同尺寸的两个图像数据1930和1940。此外，可以产生包括四个图像数据1910、1920、1930和1940的图像数据集合1950，并且随后存储在单个文件1960中。

图20图示根据一示例性实施例当图像包括多个对象时确定多个对象的每一个的类型，将相同类型的对象的区域的多个第二图像数据转换为具有相同分辨率的多个图像数据，并且基于对象的类型存储具有相同分辨率的多个第二图像数据到单独文件中的处理。

具体地，图像数据2050的一个集合可以被生成为包括对应于“扑克牌”并且可以具有相同分辨率的多个第二图像数据2010和2020，而图像数据2060的一个集合可以被生成为包括对应于“书本”并且可以具有相同分辨率的多个第二图像数据2030和2040。包括与“扑克牌”对应的多个第二图像数据2010和2020的图像数据2050可以被存储在单个文件2070中，而包括与“书本”对应的多个第二图像数据2030和2040的图像数据2060可以被存储在单个文件2080。

图21图示根据一示例性实施例的仅存储当图像包括多个对象时从多个对象的多个图像数据中选择的图像数据的处理。如所示，可以生成多个对象的多个第二图像数据2120、2120、2130和2140。在一示例性实施例中，图像处理设备200可以进一步包括接收器或用户输入部件，其可以接收表示用户输入命令的输入信号，并且可以在其中存储基于通过接收器接收的输入信号选择的至少一个第二图像数据。接收器可以对应于图1所示的用户输入单元145。用户可以通过用户输入单元145在存储单元120中存储在图像处理设备中生成的多个第二图像数据中的至少一个。例如，当在显示单元110上显示第二图像数据并且基于通过接收器输入的输入信号2150选择所生成的多个第二图像数据2110、2120、2130和2140的一些(例如图像数据2120和2140)，所选择的第二图像数据2120和2140可以被存储到存储单元120中。

图22是根据一示例性实施例的可以检测在图像中包括的多个对象的区域并且校正在多个对象的所检测到的区域的畸变的图像处理设备的框图。参考图23的图像处理方法的流程图来描述图像处理设备2200的详细特性。

图23是根据一示例性实施例的选择在图像中包括的多个对象的一些并基于选择结果生成图像数据的方法的流程图。具体地，图像处理设备2200可以从在图像中包括的多个对象中选择其畸变要求被校正的对象(例如，依据用户输入命令)并且可以仅校正与所选择对象对应的图像数据的畸变。

在操作2310中，图像处理设备2200的处理器2210可以从图像检测多个对象的区域。操作S2310的详细描述可以对应于图12的操作S1210的描述，并且因此省略。

在操作S2320中，图像处理设备2200的处理器2210可以基于在其上多条第一直线的每一个符合所检测到的区域的每一个的边界的点的数量，定义逼近在操作S2310中检测到的多个区域的每一个的边界的多条第一直线。操作S2320的详细描述可以对应于图12的操作S1220的描述，并且因此省略。

在操作S2330中，处理器2210可以控制显示单元2220以显示具有在其上在操作S2320中定义的多条第一直线彼此交叉的多个第一交叉点作为顶点的多个第一多边形。图24图示其中图像处理设备2400对于在图像中包括的多个对象显示多个第一多边形的处理。图像处理设备2400可以对应于图22的图像处理设备2200。在图24的处理中，图像处理设备2400的处理器(即，处理器(2210))可以控制显示单元(即，显示单元2210)以对于在图像2410中包括的多个对象2412、2414、2416和2418显示多个第一多边形2422、2424、2426和2428。根据示例性实施例，图像处理设备2400的处理器2210可以控制显示单元2220以显示与第一多边形2422、2424、2426和2428的顶点对应的第一交叉点。(在该示例中，顶点是经图像校正的对象2422、2424、2426和2428的四个尖角)。

在操作S2340中，图像处理设备2200的处理器2210可以选择(例如，依据用户命令或预定标准)为第一多边形的至少一个的第二多边形。根据示例性实施例，图像处理设备2400的处理器2210可以选择全部第一多边形作为第二多边形。因此，图像处理设备2200的处理器2210可以对于从图像检测到的对象校正与全部第一多边形对应的图像数据的畸变。

在操作S2350，图像处理设备2200的处理器2210可以基于在操作S2340中的选择提取第一图像数据。根据示例性实施例，可以仅关于被选择作为第二多边形的第一多边形提取第一图像数据。在另一实施例或另一用户选择选项中，可以仅关于未被选择作为第二多边形的第一多边形提取第一图像数据。即，图像处理设备2200可以选择期望被提取的第一多边形或可以选择期望不被提取的第一多边形。

在操作S2360，图像处理设备2200的处理器2210可以通过校正在操作S2350中提取的第一图像数据的畸变来生成第二图像数据。操作S2360的详细描述可以对应于图12的操作S1240的描述，因此省略。

图25是根据一示例性实施例的通过基于通过接收器2530接收的外部信号选择第二多边形来生成第二图像数据的图像处理设备2500的框图。图26是基于由图25的图像处理设备2500接收的外部信号选择第二多边形并基于所述选择校正图像数据的畸变的图像处理方法的流程图。

在操作S2610，图像处理设备2500的处理器2510可以从图像检测多个对象的区域。操作S2610的详细描述可以对应于图23的操作S2310的描述，并且因此省略。

在操作S2620，图像处理设备2500的处理器2510可以基于在其上多条第一直线的每一个符合所检测到的区域的每一个的边界的点的数量，定义逼近在操作S2610中检测到的多个区域的每一个的边界的多条第一直线。操作S2620的详细描述可以对应于图23的操作S2320的描述，并且因此省略。

在操作S2630，图像处理设备2500的处理器2510可以控制显示单元2520以显示具有在其上在操作S2620中定义的多条第一直线彼此交叉的多个第一交叉点作为顶点的多个第一多边形。操作S2630的详细描述可以对应于图23的操作S2330的描述，并且因此省略。

在操作S2640，图像处理设备2500可以通过接收器2530接收外部输入。图25的接收器2530可以对应于图1的用户输入单元145。

在操作S2650，图像处理设备2500的处理器2510可以基于在操作S2640中接收的外部输入，选择为第一多边形中的至少一个的第二多边形。根据示例性实施例，图像处理设备2500的处理器2510可以在接收外部信号之前选择在操作S2630中显示的第一多边形作为第二多边形(这样的初始选择可以是由于合适用户选择一个或多个多边形)。在该情况下，处理器2510可以基于外部信号，去选择先前选择的第二多边形。

图27图示根据一示例性实施例的图像处理设备2700基于外部输入选择为多个第一多边形中的一些的第二多边形，不提取所选择第二多边形的图像数据的处理。图27的图像处理设备2700可以对应于图25的图像处理设备2500。如图27所示，图像处理设备2700可以在操作S2630中在显示单元2520上显示第一多边形2712、2714、2716和2718。处理器2510可以在接收外部输入2731和2737(其示例为对触摸屏的用户触摸选择)之前，选择在操作S2630中显示的第一多边形2712、2714、2716和2718作为第二多边形。因此，当接收到外部输入2731和2737时，与外部输入2731和2737对应的第一多边形2712和2718可以从第一多边形2712和2718已经被选择为第二多边形的状态释放。其选择被释放的第一多边形2712和2718可以不被显示在显示单元2520上。即，仅与其选择未被释放的第一多边形2714和2716对应的第二多边形2734和2736可以被显示在显示单元2520上。

图28图示根据一示例性实施例的图像处理设备选择为多个第一多边形中的一些的第二多边形以基于外部输入提取所选择第二多边形的图像数据的处理。图28的图像处理设备2800可以对应于图25的图像处理设备2500。如图28所示，图像处理设备2800可以在操作S2630中在显示单元2520上显示第一多边形2812、2814、2816和2818。图像处理设备2510可以在接收外部输入2831和2837(例如，触摸输入命令)之前不选择在操作S2630中显示的第一多边形2812、2814、2816和2818作为第二多边形。因此，当接收外部输入2831和2837时，与外部输入2831和2837对应的第一多边形2812和2818可以被选择作为第二多边形2832和2838。当响应于外部输入2831和2837选择第一多边形2812和2818作为第二多边形2832和2838时，图像处理设备2800的处理器2510可以以不同于第二多边形2832和2838的方式，显示第三多边形2834和2836，其对应于除了被选择作为第二多边形2832和2838的第一多边形2812和2818之外的第一多边形2814和2816。例如，在图28中，图像处理设备2800的处理器2510可以通过阴影化第二多边形以不同于第二多边形2834和2836(未阴影化)的方式显示第二多边形2832和2838。

在操作S2660，图像处理设备2500的处理器2510可以基于操作S2650中的选择提取第一图像数据。如图27所示，图像处理设备2500的处理器2510可以基于外部输入2731和2737提取在被选择作为第二多边形的第一多边形2712和2718之外的第一多边形2714和2716的第一图像数据。此外，如图28所示，图像处理设备2500的处理器2510可以提取基于外部输入2831和2837选择的第二多边形2832和2838的第一图像数据。提取第一图像数据的处理可以对应于图23的操作S2350，并且因此，其详细描述被省略。

在操作S2670，图像处理设备2500的处理器2510可以通过校正在操作S2660中提取的第一图像数据的畸变来生成第二图像数据。操作S2670的详细描述可以对应于图23的操作S2360，并且因此省略。

根据一示例性实施例，图像处理设备2500的处理器2510可以基于第一多边形的特性选择第二多边形。具体地，图像处理设备2500的处理器2510可以确定第一多边形是否满足预定标准，例如，在显示单元2520上显示的第一多边形的尺寸、畸变的程度、距离显示单元2520的屏幕的中心的距离以及距离图像处理设备2500的距离或这些标准的任何合适的组合。图像处理设备2500的处理器2510可以选择满足预定标准的第一多边形作为第二多边形。

图29是根据一示例性实施例的包括选择为多个第一多边形的一个的第二多边形以基于预定标准提取所选择第二多边形的图像数据的处理的图像处理方法的流程图。该方法可以参考图30理解。

在操作S2910中，图像处理设备2500的处理器2510可以从图像检测多个对象的区域。操作S2910的详细描述可以对应于图23的操作S2310，并且因此省略。

在操作S2920，图像处理设备2500的处理器2510可以基于在其上多条第一直线的每一个符合所检测到的区域的每一个的边界的点的数量，定义逼近在操作S2910中检测到的区域的每一个的边界的多条第一直线。操作S2920的详细描述可以对应于图23的操作S2320的描述，并且因此省略。

在操作S2930，图像处理设备2500的处理器2510可以控制显示单元2520以显示具有在其处在操作S2920中定义的多条第一直线彼此交叉的多个第一交叉点作为顶点的多个第一多边形。操作S2930的详细描述可以对应于图23的操作S2330的描述，并且因此省略。

在操作S2940，图像处理设备2500的处理器2510可以基于预定标准选择第二多边形。根据示例性实施例，预定标准可以是第一多边形的尺寸、畸变的程度、距离显示单元2520的屏幕的中心的距离、或距离图像处理设备2500的距离。其它标准也可用。图30图示根据一示例性实施例的图像处理设备3000的处理器2510选择为多个第一多边形的一个的第二多边形以基于预定标准提取所选择第二多边形的图像数据的处理。图30的图像处理设备3000可以对应于图25的图像处理设备2500。如图30所示，图像处理设备3000可以在操作S2930中在显示单元2520上显示第一多边形3012、3014、3016和3018。处理器2510可以在接收外部输入之前，不选择在操作S2930中显示的第一多边形3012、3014、3016和3018作为第二多边形。根据示例性实施例，图像处理设备3000的处理器2510可以基于预定标准选择第二多边形。如图30所示，图像处理设备3000的处理器2510可以从在显示单元2520上显示的第一多边形3012、3014、3016和3018中选择最大的多边形3018作为第二多边形3038。该第二多边形3038可以与在图像处理设备3000的显示单元2520中未选择的第一多边形3032、3034和3036不同地显示。例如，该第二多边形3038可以以虚线显示，而非实线，或可以以另一颜色显示。因此，第二多边形3038可以被观看显示器的用户可视地与未选择的多边形3032、3034和3036区分开。

在操作S2950，图像处理设备3000的处理器2510可以基于在操作S2940中的选择提取第一图像数据。操作S2950的详细描述可以对应于图23的操作S2350的描述，并且因此省略。

在操作S2960，图像处理设备3000的处理器2510可以通过校正在操作S2950中提取的第一图像数据的畸变，生成第二图像数据。操作S2960的详细描述可以对应于图23的操作S2360的描述，并且因此省略。

图31是与由图像处理设备3100的处理器2510提取的第一多边形对应的第二图像数据的缩略图被显示在显示单元2520上的示图。图31的图像处理设备3100可以对应于图22的图像处理设备2200。如图31所示，图像处理设备3100的处理器2210(在本申请的下文，“处理器”)可以通过使用图23的图像处理方法，控制显示单元2220以显示第一多边形3112、3114、3116和3118。处理器可以提取与第一多边形3112、3114、3116和3118对应的第一图像。处理器可以通过校正所提取的第一图像数据的畸变，生成第二图像数据。根据示例性实施例，处理器可以控制显示单元2229，在显示单元2220上显示所生成的第二图像数据的缩略图3122、3124、3126和3128。根据示例性实施例，处理器可以基于外部输入选择第二多边形，并且基于该选择提取第一图像数据。处理器可以通过校正所提取的第一图像数据的畸变生成第二图像数据，并且可以控制显示单元2520来在显示单元2520上显示所生成的第二图像数据的缩略图。

图32是根据一示例性实施例的基于由图像处理设备3200的处理器2510接收的外部输入而生成第二图像数据并且在显示单元2520上显示所生成第二图像数据的缩略图的示图。图32的图像处理设备3200可以对应于图25的图像处理设备2500。如图32所示，处理器2510可以控制显示单元2520根据参考图26和27提供的描述，显示第一多边形3212、3214、3216和3218。此外，图像处理设备3200可以基于从接收器2530接收的外部输入3211和3217，选择第一多边形3212、3214、3216和3218的全部或一些作为第二多边形。在图32中，第一多边形3212和3218基于外部输入3211和3217被选择作为第二多边形。被选择作为第二多边形的第一多边形3212和3218可以与未被选择作为第二多边形的第一多边形3214和3216不同地被显示在显示单元2520上。根据示例性实施例，处理器2510可以控制显示单元2520，以使得被选择作为第二多边形的第一多边形3212和3218不显示在显示单元2520。处理器2510可以提取与第一多边形3214和3216对应的第一图像数据。即，可以仅关于未基于外部输入3211和3217而被选择的第一多边形3214和3216来提取第一图像数据。此外，处理器2510可以通过校正所提取第一图像数据的畸变来生成第二图像数据，并且可以控制显示单元2520在显示单元2520上显示所生成第二图像数据的缩略图3222和3224。参考图32，与图31相比，图像处理设备3200可以基于外部输入3211和3217，不在显示单元2520上显示缩略图像3122和3128。

图33是根据一示例性实施例的基于由图像处理设备3300的处理器2510(在本讨论以下，“处理器”)接收的外部输入而生成第二图像数据并且在显示单元2520上显示所生成第二图像数据的缩略图的示图。图33的图像处理器设备3300可以对应于图25的图像处理器设备2500。如图33所示，处理器可以根据参考图26和28提供的描述，控制显示单元2520来显示第一多边形3312、3314、3316和3318。此外，图像处理设备3200可以基于从接收器2530接收的外部输入3311和3317，选择第一多边形3312、3314、3316和3318的全部或一些作为第二多边形。参考图33，第一多边形3312和3318基于外部输入3311和3317而被选择作为第二多边形。被选择作为第二多边形的第一多边形3312和3318可以与未被选择作为第二多边形的第一多边形3314和3316不同地被显示在显示单元2520上。根据示例性实施例，图像处理设备3300可以阴影化第一多边形3312和3318，以使得被选择作为第二多边形的第一多边形3312和3318与未被选择作为第二多边形的第一多边形3314和3316区分开。另外，图像处理设备3300的处理器2510可以生成与第一多边形3312和3318对应的第一图像数据。此外，处理器可以通过校正所提取第一图像数据的畸变来生成第二图像数据，并且可以控制显示单元2520在显示单元2520上显示所生成的第二图像数据的缩略图3322和3324。参考图33，与图31相比，图像处理设备3300可以基于外部输入3311和3317，不在显示单元2520上显示缩略图像3124和3126。

要注意，在以上示例屏幕的一些中，诸如在图30-34中，对象被显示为好像它们被从偏置角度拍摄(透视型拍摄)的，但是，这些屏幕仅仅是一显示选择的示例性图示。在其它示例中，对象可以被一致地显示仿佛从平面看过来。

另外，在以上示例中，矩形形状用作所校正对象的期望形式的示例。然而，在其他示例中，所校正的形式可以是其他期望的多边形形状。因此，本发明原理不限于矩形对象。此外，多边形形状可以多于或少于4条边。

如上所述，根据以上示例性实施例的一个或多个，矩形类型的图像的顶点可以形成在除了对象的区域的边界的区域中以及对象的区域中的区域中。因此，即使对象的图像是大体四边形但是具有不完整的四边形形状，对象的图像也可以被精确地提取，所提取的对象的图像可以被转换为与矩形对应的图像，并且与矩形对应的图像可以被存储并显示和/或传输。

另外，其他示例性实施例也可以通过介质(例如，计算机可读介质)中/上的计算机可读代码/指令来实现，以控制至少一个处理元件实现任何上述示例性实施例。介质可以对应于允许存储和/或传输计算机可读代码的任意介质/媒介。

计算机可读代码可以以各种方式在介质上记录/传输，其中介质的示例包括记录介质，诸如磁存储介质(例如，ROM、软盘、硬盘等)以及光记录介质(例如，CD-ROM或DVD)，以及诸如因特网传输介质之类的传输介质。因此，根据一个或多个示例性实施例，介质可以是这样定义并且可测量的结构，包括或携带信号或信息，诸如携带位流的装置。媒介还可以是分布式网络，以使得以分布式方式存储/传输并且执行所述计算机可读代码。此外，处理元件可以包括处理器或计算机处理器，并且处理元件可以是分布式的和/或被包括在单个装置中。

应当理解，在此描述的示例性实施例应当仅被理解为描述意义而非出于限制的目的。对在每一个示例性实施例中的特征或方面的描述应当典型地被认为对于在其他示例性实施例中的其他类似特征或方面可用。

尽管参考附图已经描述了一个或多个示例性实施例，但是本领域技术人员将理解，可以在此进行形式和细节上的各种改变而不会背离由以下权利要求限定的精神和范围。

Claims (15)

1.一种用于处理包括至少一个对象的图像的设备，所述设备包括：

处理器，被配置成：

从所述图像检测所述至少一个对象的区域；

基于一数量的分布点定义逼近所检测到的区域的边界的多条直线，其中所述多条直线的每一个在所述数量的分布点上与所检测到的区域的边界相符；

提取由所述多条直线中的至少一些封闭的并且在所述多条直线中的至少一些在其上彼此交叉的交叉点上具有顶点的多边形区域的第一图像数据；并且

通过校正所述第一图像数据的畸变来生成第二图像数据；和

存储单元，被配置成存储所述第二图像数据。

2.如权利要求1所述的设备，其中：

所述多条直线中的至少一些对应于所述多边形区域的边缘，并且所述处理器将所述多条直线中的所述至少一些的每一条选择为在所述对象的一侧边界上具有最大数量的分布点的线。

3.如权利要求1所述的设备，其中，所述处理器在第一交叉点的每一个周围设置第一区域，量化所述第一区域的图像数据的像素值，并且对于基于所述至少一个对象的中心确定的最外侧顶点校正在所述第一区域的量化图像数据上的所述第一区域的第一交叉点。

4.如权利要求3所述的设备，其中，所述处理器提取与具有多个校正的第一交叉点作为顶点的多边形对应的区域的第一图像数据，并且通过校正所提取的第一图像数据的畸变生成所述第二图像数据。

5.如权利要求1所述的设备，其中，所述处理器在多个对象处于所述图像中时检测所述多个对象的每一个的区域，基于一数量的点定义逼近所检测到的区域的边界的多条直线，其中所述多条直线的每一个在所述数量的点处与所述多个对象的每一个的区域的边界相符，提取具有所述多条直线在其上彼此交叉的多个第一交叉点作为顶点的多边形区域的多个第一图像数据，并且通过校正被提取为与所述多个对象的每一个的区域对应的所述多个第一图像数据的畸变来生成多个第二图像数据。

6.一种用于处理包括多个对象的图像的设备，所述设备包括：

显示单元；

处理器，被配置为从所述图像检测所述多个对象的相应区域，基于一数量的分布点定义逼近所述多个区域的每一个的边界的多条直线，其中所述多条直线的每一个在所述数量的分布点处与所述多个区域的每一个的边界相符，在所述显示单元上显示多个第一多边形，其中所述多个第一多边形的每一个具有多条直线在其上彼此交叉的多个第一交叉点作为顶点，选择作为在所述多个第一多边形中的至少一个的第二多边形，并且根据所述选择提取第一图像数据，并且通过校正所述第一图像数据的畸变来生成第二图像数据；和

存储单元，被配置为存储所述第二图像数据。

7.如权利要求6所述的设备，其中，所述处理器基于从由所述多个第一多边形的尺寸、畸变度、距屏幕的中心的距离和从用于处理所述图像的设备到所述多个对象的距离构成的组中选择的至少一个选择所述第二多边形，控制所述显示单元以使得以与在所述多个第一多边形当中的、除第二多边形之外的第一多边形不同的方式显示所述第二多边形，并且关于所述第二多边形提取所述第一图像数据。

8.如权利要求6所述的设备，还包括：接收器，被配置为接收外部输入，

其中，所述处理器基于所述外部输入选择所述第二多边形。

9.一种处理包括至少一个对象的图像的方法，所述方法包括：

从所述图像检测所述至少一个对象的区域；

基于一数量的分布点定义逼近所述至少一个对象的所检测到的区域的边界的多条第一直线，其中所述多条第一直线的每一个在所述数量的分布点与所检测到的区域的边界相符；

提取由所述多条直线中的至少一些闭合的并且具有在交叉点处的顶点的多边形区域的第一图像数据，其中所述多条直线中的至少一些在所述交叉点处彼此交叉；

通过校正所述第一图像数据的畸变，生成第二图像数据；并且

存储所述第二图像数据。

10.如权利要求9所述的方法，其中，所述多条直线中的所述至少一些对应于所述多边形区域的边缘，并且每一个被选择为在所述对象的一个侧边界上具有最大数量的分布点的线。

11.如权利要求9所述的方法，其中，提取所述第一图像数据包括：

设置在所述交叉点的每一个周围的第一区域；

量化所述第一区域的图像数据的像素值；并且

关于基于所述至少一个对象的中心确定的最外侧顶点，校正所述第一区域的量化图像数据上的第一区域的第一交叉点。

12.如权利要求9所述的方法，其中，提取所述第一图像数据包括：提取与具有多个经校正的第一交叉点作为顶点的多边形对应的区域的第一图像数据。

13.如权利要求9所述的方法，其中，检测所述至少一个对象的区域包括：当所述多个对象处于所述图像中时检测多个对象的每一个的区域，定义所述多条直线包括：基于一数量的点定义逼近所述多个对象的每一个的区域的边界的多条直线，其中所述多条直线的每一个在所述数量的点处与所述多个对象的每一个的区域的边界相符，提取所述第一图像数据包括：提取具有多个第一交叉点作为顶点的多边形区域的多个第一图像数据，其中所述多条直线在所述多个第一交叉点处彼此交叉，并且生成所述第二图像数据包括：通过校正被提取为与所述多个对象的每一个的区域对应的多个第一图像数据的畸变来生成多个第二图像数据。

14.一种处理包括多个对象的图像的方法，所述方法包括：

从所述图像检测所述多个对象的区域；

基于一数量的分布点定义逼近多个区域的每一个的边界的多条直线，其中，所述多条直线的每一个在所述数量的分布点上与所述多个区域的每一个的边界相符；

显示多个第一多边形，所述多个第一多边形的每一个具有多个第一交叉点作为顶点，其中所述多条直线在所述多个第一交叉点处彼此交叉；

选择作为所述多个第一多边形的至少一个的第二多边形；

基于所述选择提取第一图像数据；

通过校正所述第一图像数据的畸变来生成第二图像数据；并且

存储所述第二图像数据。

15.如权利要求14所述的方法，还包括：基于从由所述多个第一多边形的尺寸、畸变度以及距屏幕的中心的距离和距用于处理所述图像的设备的距离构成的组中选择的至少一个选择所述第二多边形，

其中，显示所述多个第一多边形包括：以与除所述第二多边形之外的所述第一多边形不同的方式显示所述第二多边形，并且提取所述第一图像数据包括：关于所述第二多边形提取所述第一图像数据。