CN103996190B - 区域特定方法、区域特定装置及***、服务器及记录介质 - Google Patents
区域特定方法、区域特定装置及***、服务器及记录介质 Download PDFInfo
- Publication number
- CN103996190B CN103996190B CN201410188426.4A CN201410188426A CN103996190B CN 103996190 B CN103996190 B CN 103996190B CN 201410188426 A CN201410188426 A CN 201410188426A CN 103996190 B CN103996190 B CN 103996190B
- Authority
- CN
- China
- Prior art keywords
- image
- subject
- pixel
- region
- specific
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
一种区域特定方法从被摄体存在图像中对含有被摄体的被摄体区域进行特定,包括:第一特定步骤,基于被摄体存在图像与背景用图像的对应的各像素的差分信息,特定被摄体存在图像中的与被摄体区域对应的像素集合;第二特定步骤,对多个图像边界中的被显示在规定的显示区域的状态下的与下侧的图像边界对应的下侧图像边界进行特定;和变更步骤,将构成通过由第一特定步骤所特定的像素集合与由第二特定步骤所特定的下侧图像边界包围全部周围的与背景对应的区域的各像素、及构成特定的像素集合包围全部周围并且相对于由第一特定步骤特定的像素集合的像素数具有规定比例以下的像素数的与背景对应的区域的各像素,按照使其与被摄体区域对应的方式进行变更。
Description
本申请是申请日为2011年11月17日、申请号为201110365020.5、发明名称为“区域特定方法、区域特定装置、服务器及***”的发明专利申请的分案申请。
技术领域
本发明涉及区域特定方法、区域特定装置、服务器及区域特定***。
背景技术
已知基于在图像上所依次输入的座标数据来描绘轮廓线并从该图像中提取出被轮廓线所包围的对象物的区域特定装置(参照日本国特开2000-48213号公报)。另外已知针对由摄像得到的图像而生成的二值图像进行标记处理并将面积最大的像素集合作为被摄体区域的区域特定装置(参照日本国特开2005-275447号公报)。
但是,在上述专利文献1中,当轮廓线未以完全闭合的曲线来形成的状态下,则存在这样的问题,即,通过图像中的轮廓线所分割的多个区域当中,必需指定要提取哪个区域这样的问题。
另外,在上述专利文献2中,在面积最大的像素集合内,其构成像素数为规定的比例以下的构成像素数,且存在有像素值与该最大面积的像素集合不同的其他像素集合时,也进行将该其他像素集合的各像素的像素值变更为面积最大的像素集合的像素值的处理。但是,其他像素集合的构成像素数相对于面积最大的像素集合的构成像素数而成为比规定的比例要大的情况下等,则存在这样的问题,即,不进行该其他像素集合的各像素的像素值的变更,由此出现不能恰当特定被摄体区域这样的问题。
发明内容
在此,本发明的课题是恰当进行对规定的区域的特定。
根据本发明的一实施方式,提供一种区域特定方法,其是从存在有背景与被摄体的被摄体存在图像中对含有所述被摄体的被摄体区域进行特定的区域特定方法,其特征在于包括:第一特定步骤,基于所述被摄体存在图像与背景用图像的对应的各像素的差分信息,对所述被摄体存在图像中的与所述被摄体区域对应的像素集合进行特定;第二特定步骤,对所述被摄体存在图像的多个图像边界中的、被显示在规定的显示区域的状态下的与下侧的图像边界对应的下侧图像边界进行特定;以及变更步骤,将构成通过由所述第一特定步骤所特定的像素集合与由所述第二特定步骤所特定的所述下侧图像边界包围全部周围的与背景对应的区域的各像素、以及构成通过由所述第一特定步骤所特定的像素集合包围全部周围并且相对于由所述第一特定步骤所特定的像素集合的像素数具有规定比例以下的像素数的与所述背景对应的区域的各像素,按照使其与所述被摄体区域对应的方式进行变更。
根据本发明的另一实施方式,提供一种区域特定装置,其从存在有背景与被摄体的被摄体存在图像中对含有所述被摄体的被摄体区域进行特定,其特征在于具备:第一特定机构,其基于所述被摄体存在图像与背景用图像的对应的各像素的差分信息,对所述被摄体存在图像中的与所述被摄体区域对应的像素集合进行特定;第二特定机构,其对所述被摄体存在图像的多个图像边界中的、被显示在规定的显示区域的状态下的与下侧的图像边界对应的下侧图像边界进行特定;以及变更机构,其将构成通过由所述第一特定机构所特定的像素集合与由所述第二特定机构所特定的所述下侧图像边界包围全部周围的与背景对应的区域的各像素、以及构成通过由所述第一特定机构所特定的像素集合包围全部周围并且相对于由所述第一特定机构所特定的像素集合的像素数具有规定比例以下的像素数的与所述背景对应的区域的各像素,按照使其与所述被摄体区域对应的方式进行变更。
根据本发明的另一实施方式,提供一种服务器,经由网络与终端装置进行连接,其特征在于具备:接收机构,其从所述终端装置接收被摄体存在图像的图像数据;第一特定机构,其基于所述被摄体存在图像与背景用图像的对应的各像素的差分信息,对接收到的所述被摄体存在图像中的与含有被摄体的被摄体区域对应的像素集合进行特定;第二特定机构,其对所述被摄体存在图像的多个图像边界中的、被显示在规定的显示区域的状态下的与下侧的图像边界对应的下侧图像边界进行特定;以及变更机构,其将构成通过由所述第一特定机构所特定的像素集合与由所述第二特定机构所特定的所述下侧图像边界包围全部周围的与背景对应的区域的各像素、以及构成通过由所述第一特定机构所特定的像素集合包围全部周围并且相对于由所述第一特定机构所特定的像素集合的像素数具有规定比例以下的像素数的与所述背景对应的区域的各像素,按照使其与所述被摄体区域对应的方式进行变更。
根据本发明的另一实施方式,提供一种区域特定***,具备终端装置和与该终端装置经由网络进行连接的服务器,其特征在于,所述终端装置具有用于发送被摄体存在图像的图像数据的发送机构,所述服务器具有:接收机构,其接收从所述终端装置发送来的所述被摄体存在图像的所述图像数据;第一特定机构,其基于所述被摄体存在图像与背景用图像的对应的各像素的差分信息,对接收到的所述被摄体存在图像中的与含有被摄体的被摄体区域对应的像素集合进行特定;第二特定机构,其对所述被摄体存在图像中的多个图像边界中的、被显示在规定的显示区域的状态下的与下侧的图像边界对应的下侧图像边界进行特定;变更机构,其将构成通过由所述第一特定机构所特定的像素集合与由所述第二特定机构所特定的所述下侧图像边界包围全部周围的与背景对应的区域的各像素、以及构成通过由所述第一特定机构所特定的像素集合包围全部周围并且相对于由所述第一特定机构所特定的像素集合的像素数具有规定比例以下的像素数的与所述背景对应的区域的各像素,按照使其与所述被摄体区域对应的方式进行变更。
附图说明
图1是表示适用本发明的一实施方式的被摄体裁剪***的简要构成的框图。
图2是表示用于构成被摄体裁剪***的摄像装置的简要构成的框图。
图3是表示用于构成被摄体裁剪***的用户终端的简要构成的框图。
图4是表示用于构成被摄体裁剪***的服务器的简要构成的框图。
图5是表示被摄体裁剪***所进行的与被摄体裁剪处理有关的一个示例动作的流程图。
图6是表示图5的被摄体裁剪处理的接续的流程图。
图7A是示意地表示与图5的被摄体裁剪处理有关的一个示例图像的图。
图7B是示意地表示与图5的被摄体裁剪处理有关的一个示例图像的图。
图7C是示意地表示与图5的被摄体裁剪处理有关的一个示例图像的图。
图8是表示被摄体裁剪处理的变形例的流程图。
图9是表示第二实施方式的用于构成被摄体裁剪***的服务器的简要构成的框图。
图10是表示第二实施方式的被摄体裁剪处理的流程图。
图11是表示与图10的被摄体裁剪处理中的被摄体提取处理有关的一个示例动作的流程图。
图12A是示意地表示与图10的被摄体裁剪处理有关的一个示例图像的图。
图12B是示意地表示与图10的被摄体裁剪处理有关的一个示例图像的图。
图12C是示意地表示与图10的被摄体裁剪处理有关的一个示例图像的图。
图13A是示意地表示与图10的被摄体裁剪处理有关的一个示例图像的图。
图13B是示意地表示与图10的被摄体裁剪处理有关的一个示例图像的图。
图13C是示意地表示与图10的被摄体裁剪处理有关的一个示例图像的图。
图14A是示意地表示与图10的被摄体裁剪处理有关的一个示例图像的图。
图14B是示意地表示与图10的被摄体裁剪处理有关的一个示例图像的图。
图14C是示意地表示与图10的被摄体裁剪处理有关的一个示例图像的图。
具体实施方式
以下,关于本发明,利用附图对具体方式进行说明。但是,发明的范围并不限于图示例。
图1是表示适用了本发明的一实施方式的被摄体裁剪***100的简要构成的框图。
本实施方式的被摄体裁剪***100中,服务器3从被摄体存在图像P1中的通过边界线L所分割的多个分割区域A、…中,对用于构成各分割区域A的外缘部的、被摄体存在图像P1的图像边界B的像素数相对于该外缘部的全部像素数为规定的比例以上的区域Ac进行特定。接下来,服务器3将特定的区域Ac作为基准,从被摄体存在图像P1中的多个分割区域A、…中特定被摄体区域As。
具体而言,如图1所示那样,被摄体裁剪***100具备摄像装置1、用户终端2以及服务器3,用户终端2与服务器3按照经由规定的通信网络N可进行各种信息的收发的方式进行连接。
首先,参照图2,对摄像装置1进行说明。
在此,图2是表示摄像装置1的简要构成的框图。
如图2所示那样,摄像装置1具备透镜部101、电子摄像部102、单元电路部103、摄像控制部104、图像处理部105、显示部106、记录介质控制部107、缓冲存储器108、程序存储器109、操作输入部110、中央控制部111。
透镜部101虽省略图示,其例如具有变焦透镜、聚焦透镜、光圈等,并使通过这些透镜的被摄体的光学像成像。
电子摄像部102例如由CCD(Charge Coupled Device)或CMOS(ComplementaryMetal-oxide Semiconductor)等的图像传感器等构成。另外,电子摄像部102将通过了透镜部101的各种透镜的光学像由该电子摄像部102转换为二维的图像信号(RGB图像数据),并向单元电路部103输出。
单元电路部103虽然省略图示,其例如具备CDS(Correlated Double Sampling:相关二重取样电路)、AGC(Auto Gain Control:增益调整放大器)、ADC(Analog to DigitalConverter:模拟/数字转换器)等。接下来,单元电路部103通过CDS来保持从电子摄像部102所输出而被输入的与被摄体的光学像相应的模拟图像信号,并通过AGC对该图像信号进行放大,之后,通过ADC将放大后的图像信号转换为数字图像信号。
摄像控制部104基于来自中央控制部111的指令,在被摄体的摄像时对透镜部101、电子摄像部102、单元电路部103等的动作进行控制。具体而言,摄像控制部104控制用于使透镜部101的变焦透镜或聚焦透镜等在光轴上进行移动的透镜电动机(省略图示)的驱动,控制用于对电子摄像部102进行扫描驱动的定时,并基于电子摄像部102的驱动定时来控制单元电路部103的驱动定时。
图像处理部105针对A/D转换后的图像信号进行如下处理,即,生成每一像素的R、G、B的色成分数据(RGB数据)的RGB插值处理、基于RGB数据并按照每一像素来生成由亮度信号(Y)与色差信号(U,V)构成的YUV数据的YUV转换处理、以及用于提高自动白平衡或轮廓强调等的画品质的数字信号处理。接下来,图像处理部105将转换后的各图像帧的YUV数据,依次输出给缓冲存储器108,并存储在该缓冲存储器108。
显示部106将在缓冲存储器108中存储的1帧的YUV数据转换为视频信号后,作为实时取景图像而显示于显示画面上。具体而言,显示部106基于通过被摄体的摄像所生成的多个图像帧,以规定的显示帧速率进行实时取景图像的显示,或进行作为摄像图像而摄像得到的录制图像的显示。
记录介质控制部107的记录介质M为可自由装卸的构成。接下来,记录介质控制部107控制从安装的记录介质M中进行的数据读出或对记录介质M进行的数据写入。即,记录介质控制部107使通过图像处理部105的JPEG压缩部(省略图示)所编码的摄像图像的记录用的图像数据记录于记录介质M中。具体而言,记录介质控制部107使存在有背景与被摄体的被摄体存在图像P1(参照图7A)的记录用的图像数据记录于记录介质M中。
另外,记录介质M例如由非易失性存储器(闪存)等所构成,但这也仅仅是一个示例,本发明并不限于此,能够适宜地任意变更。
缓冲存储器108是对图像数据等进行暂时性记录的缓冲器,并且也用作中央控制部111等的工作存储器等。
在程序存储器109中,存储有与该摄像装置1的功能有关的各种程序、数据。另外,在程序存储器109中,例如存储有程序AE数据或EV值表(均省略图示),程序AE数据或EV值构成表示与静态画像摄像时、连续摄像时、实时取景图像摄像时等的各种摄像时的恰当曝光值(EV)对应的光圈值(F)与快门速度的组合的程序线图。
操作输入部110用于进行该摄像装置1的规定操作。具体而言,操作输入部110例如具备与被摄体的摄影指示有关的快门按钮、与摄像模式或功能等的选择指示有关的选择决定用按钮、与变焦量的调整指示有关的变焦按钮等(均省略图示),将与这些按钮的用户操作对应的规定的操作信号输出给中央控制部111。
中央控制部111例如由具备对摄像装置1的各部进行控制的CPU的单芯片微机等构成。
另外,中央控制部111基于从操作输入部110输出而被输入的操作信号,对摄像装置1的各部进行控制。具体而言,中央控制部111执行下述的处理,即,在输入根据操作输入部110的快门按钮的规定操作而输出的记录指示信号后,根据程序存储器109中所存储的规定的程序,通过摄像控制部104来控制电子摄像部102以及单元电路部103的驱动定时,以对静止图像进行摄影的处理。通过该静止图像的摄影而存储在缓冲存储器108的1帧的YUV数据将在图像处理部105中通过JPEG方式等而进行压缩并编码,作为静止图像数据而记录于记录介质M中。
其次,参照图3对用户终端2进行说明。
用户终端2例如通过个人计算机等来构成。另外,用户终端2对通过服务器3所开设的Web页面(例如,被摄体提取用页面)进行访问,在该Web页面上输入被摄体存在图像P1中的边界线L的指定指示。
图3是表示用户终端2的简要构成的框图。
如图3所示那样,具体而言,用户终端2具备中央控制部201、通信控制部202、显示部203、记录介质控制部204、操作输入部205等。
中央控制部201控制用户终端2的各部。具体而言,中央控制部201具备CPU、RAM、ROM(均省略图示),根据ROM中所存储的用户终端2用的各种处理程序(省略图示)来进行各种的控制动作。该时,CPU使各种处理结果存储于RAM内的存储区域内,根据必要而将处理结果显示于显示部203。
RAM例如具有用于展开CPU所要执行的处理程序等的程序存储区域;用于存储输入数据、上述处理程序被执行时所产生的处理结果等的数据存储区域等。
ROM存储计算机可读取的以程序码方式所存储的程序,具体而言,存储用户终端2可执行的***程序、以及以该***程序可执行的各种处理程序、执行这些各种处理程序时所使用的数据等。
通信控制部202例如由调制解调器(MODEM:Modulater/DEModulater)、终端适配器(Terminal Adapter)等所构成。另外,通信控制部202进行通信控制,控制经由规定的通信网络N在与服务器3等的外部设备之间的信息的通信。
另外,通信网络N例如是利用了专用线或既存的一般公共线路而构筑的通信网络N,可适用LAN(Local Area Network)或WAN(Wide Area Network)等的各种线路方式。另外,对于通信网络N,例如包含电话线路网、ISDN线路网、专用线、移动体通信网、通信卫星线路、CATV线路网等的各种通信线路网以及用于连接其的因特网服务提供商等。
显示部203例如由LCD、CRT(Cathode Ray Tube)等的显示器构成。另外,显示部203在中央控制部201的CPU的控制下将各种信息显示于显示画面。
具体而言,显示部203例如基于从服务器3发送来的并通过通信控制部202所接收的Web页面(例如,被摄体提取用页面)的页面数据,将对应的Web页面显示在显示画面上。
记录介质控制部204的记录介质M为可自由装卸的构成。接下来,记录介质控制部204控制从所安装的记录介质M中进行的数据读出或对记录介质M进行的数据写入。即,记录介质控制部204从摄像装置1上取下的所安装的记录介质M中读出与被摄体裁剪处理(后述)有关的被摄体存在图像P1的图像数据并输出给通信控制部202。
接下来,通信控制部202将输入的被摄体存在图像P1的图像数据经由规定的通信网络N发送给服务器3。
操作输入部205例如具备:由用于输入数值、字符等的数据输入键、用于进行数据的选择、前送操作等的上下左右移动键、各种功能键等所构成的键盘、鼠标等。接下来,操作输入部205将用户所按压的键的按压信号或鼠标的操作信号输出给中央控制部201的CPU。
具体而言,操作输入部205基于用户所进行的规定操作,在被摄体裁剪处理(后述)时显示于显示部203的显示画面的被摄体存在图像P1上输入用于构成边界线L的多个点座标(x,y)的设定指示。例如,操作输入部205基于用户所进行的鼠标的规定操作,来输入用于构成在被摄体存在图像P1上所描绘的边界线L的多个点座标的设定指示。接下来,操作输入部205将与该操作对应的规定的设定信号输出给中央控制部201的CPU。
CPU将从操作输入部205输出而被输入的设定信号通过通信控制部202并经由规定的通信网络N而发送给服务器3。
另外,作为操作输入部205,也可以构成为:将触屏(省略图示)配设于显示部203的显示画面,并根据触屏的接触位置来输入用于构成边界线L的多个点座标(x,y)的设定指示。
其次,参照图4对服务器3进行说明。
服务器3作为Web(World Wide Web)服务器3,具备在因特网上开设Web页面(例如,被摄体提取用页面)的功能。另外,服务器3根据来自用户终端2的访问,将Web页面的页面数据发送给该用户终端2。另外,服务器3基于从用户终端2输出的边界线L的多个点座标(x,y)的设定指示的输入,来指定边界线L,从通过被摄体存在图像P1中的边界线L所分割后的多个分割区域A、…中,来特定其中含有被摄体的被摄体区域As。
图4是表示服务器3的简要构成的框图。
如图4所示那样,具体而言,服务器3的构成具备:中央控制部301、存储部302、显示部303、通信控制部304、边界线指定部305、脸检测部306、图像边界特定部309、区域特定部308、被摄体提取部307等。
中央控制部301控制服务器3的各部。具体而言,中央控制部301具备CPU、RAM、ROM(均省略图示),CPU根据在ROM中所存储的服务器3用的各种处理程序(省略图示)来进行各种的控制动作。此时,CPU使各种处理结果存储于RAM内的存储区域内,并根据必要将处理结果显示于显示部303。
RAM例如具备用于展开由CPU执行的处理程序等的程序存储区域、用于存储输入数据、上述处理程序被执行时所产生的处理结果等的数据存储区域等。
ROM存储以计算机可读取的程序码方式所存储的程序,具体而言,存储有在服务器3可执行的***程序、以该***程序可执行的各种处理程序、以及在执行这些各种处理程序时所使用的数据等。
存储部302例如由半导体的非易失性存储器或HDD(Hard Disc Drive)等构成。另外,存储部302存储对用户终端2发送的Web页面的页面数据等。
显示部303例如由LCD、CRT等的显示器来构成。另外,显示部303在中央控制部301的CPU的控制下将各种信息显示于显示画面上。
通信控制部304例如由调制解调器、终端适配器等来构成。另外,通信控制部304经由规定的通信网络N在与用户终端2等的外部设备之间进行信息的通信控制。
具体而言,通信控制部304例如在被摄体裁剪处理(后述)中,从用户终端2接收经由规定的通信网络N而发送来的被摄体存在图像P1中的用于构成边界线L的多个点座标的设定信号,并将该设定信号输出给中央控制部301的CPU。
边界线指定部305对成为被摄体存在图像P1中的边界的边界线L进行指定。
即,在被摄体裁剪处理中,边界线指定部305基于从用户终端2经由规定的通信网络N发送来、通信控制部304所接收的被摄体存在图像P1的图像数据以及用于构成在该被摄体存在图像P1上所描绘的边界线L的多个点的座标的设定信号,在该被摄体存在图像P1上对多个点的座标进行指定,并连结这些多个点,由此指定边界线L。
另外,边界线L的形态可以是将某区域完全包围而封闭的方式,也可以是在与该被摄体存在图像P1的图像边界B的不同位置存在有边界线L的始点以及终点的方式(参照图7B)。
脸检测部306从被摄体存在图像P1中检测含有被摄体的脸的脸区域。
即,脸检测部306取得从用户终端2起经由规定的通信网络N发送来的、通过通信控制部304接收的被摄体存在图像P1的图像数据,并对该图像数据进行规定的脸检测处理来检测脸区域。
另外,在脸检测处理中,作为被摄体的除人以外的脸,例如,也可检测动物的脸等的脸区域。另外,脸检测处理为公知的技术,在此,省略其详细说明。
图像边界特定部309从被摄体存在图像P1的多个图像边界B、…中特定下侧图像边界Bd。
即,图像边界特定部309取得从用户终端2经由规定的通信网络N发送来、通过通信控制部304接收的被摄体存在图像P1的图像数据。接下来,图像边界特定部309在该图像数据的上下左右的4个图像边界Bt、Bd、Bl、Br中,在用户终端2的显示部203等的规定的显示区域所显示的状态下的该被摄体存在图像P1中,对成为下侧的下侧图像边界Bd进行特定。具体而言,图像边界特定部309从被摄体存在图像P1的多个图像边界B,…中,将相对于脸检测部306检测出的被摄体的脸区域的脸的方向而成为下侧的图像边界B特定为下侧图像边界Bd。
换而言之,被摄体存在图像P1例如是对成为被摄体的人的胸部起之上的胸像(bust shot)进行拍摄所得到的图像的情况下,图像边界特定部309将被摄体存在图像P1的上下左右4个图像边界Bt、Bd、Bl、Br中的相比人脸处于下侧的图像区域所重叠的图像边界B特定为下侧图像边界Bd。
另外,图像边界特定部309例如也可以取得作为Exif标签信息的与对被摄体存在图像P1所付加的该被摄体存在图像P1的摄像时的图像的方向有关的信息,来特定该被摄体存在图像P1的下侧图像边界Bd。
区域特定部308从通过被摄体存在图像P1中的边界线L所分割的多个分割区域A、…中,对成为被摄体区域As的特定基准的区域Ac进行特定。
即,区域特定部308对通过被摄体存在图像P1的多个图像边界B、…与边界线L所分割的多个分割区域A、…进行特定,并对构成各分割区域A的外缘部的像素数进行计算。例如,如图7B所示那样,区域特定部308作为通过被摄体存在图像P1的上下左右4个图像边界Bt、Bd、Bl、Br与边界线L所分割的分割区域A,对左分割区域Al、右分割区域Ar以及中间分割区域Am进行特定。另外,区域特定部308计算出全部像素数,该全部像素数是对沿着所特定的多个分割区域A、…各自的外缘部的多个像素进行合计而得到的。
接下来,区域特定部308从多个分割区域A、…,即,左分割区域Al、右分割区域Ar以及中间分割区域Am中,对构成各分割区域A的外缘部的图像边界B的像素数相对于该外缘部的全部像素数为规定的比例(例如,40%等)以上的区域Ac进行特定。例如,在左分割区域Al的情况下,左侧图像边界B1、上侧图像边界Bt的左侧的一部分、下侧图像边界Bd的左侧的一部分、面向被摄体而沿着左半身所描绘的边界线L的一部分各自的像素数进行加法运算而得到的值成为全部像素数。接下来,区域特定部308判定左侧图像边界Bl、上侧图像边界Bt的左侧的一部分以及下侧图像边界Bd的左侧的一部分各自的像素数进行加法运算而得到的值是否相对于全部像素数成为规定的比例以上。相同地,区域特定部308对右分割区域Ar、中间分割区域Am也进行判定。
此时,区域特定部308也可对区域Ac进行特定。即,区域特定部308也可以从被摄体存在图像P1的多个分割区域A、…中,对构成各分割区域A的外缘部的除下侧图像边界Bd以外的图像边界B的像素数成为相对于该外缘部的全部像素数(可对也可不对下侧图像边界Bd的像素数进行加法运算)为规定的比例以上的区域Ac进行特定。
在此,例如,如图7B所示那样,关于左分割区域Al以及右分割区域Ar,区域特定部308判定出构成各分割区域A的外缘部的图像边界B的像素数相对于外缘部的全部像素数为规定的比例以上。接下来,区域特定部308将该左分割区域Al以及右分割区域Ar特定为区域Ac。
被摄体提取部307从被摄体存在图像P1的多个分割区域A、…中,对被摄体区域As进行特定并提取。
即,被摄体提取部307将通过区域特定部308所特定的区域Ac作为基准,从被摄体存在图像P1的多个分割区域A、…中特定被摄体区域As。具体而言,被摄体提取部307从被摄体存在图像P1的多个分割区域A、…中,从被摄体区域As的候补区域中排除通过区域特定部308所特定的区域Ac(例如,左分割区域Al、右分割区域Ar等),来特定被摄体区域As。
此时,被摄体提取部307也可以将脸检测部306的检测结果作为基准,从被摄体存在图像P1的多个分割区域A、…中特定被摄体区域As。具体而言,被摄体提取部307在被摄体存在图像P1的多个分割区域A、…中,将分割区域A(例如,中间分割区域Am等)特定为被摄体区域As,该分割区域A(例如,中间分割区域Am等)是含有构成图像边界Bd的像素为最多的区域,该图像边界Bd是相对于脸检测部306所检测的被摄体的脸的方向处于下侧的图像边界。
例如,如图7B所示那样,被摄体提取部307从被摄体存在图像P1的多个分割区域A、…中,将作为区域Ac的左分割区域Al以及右分割区域Ar从被摄体区域As的候补中排除。并且,被摄体提取部307将包含最多的下侧图像边界Bd的构成像素的中间分割区域Am特定为被摄体区域As。接下来,被摄体提取部307根据后述的规定的提取方法来提取被摄体区域As,生成被摄体图像。
在此,对被摄体区域As的提取方法的一个示例进行详细说明。
被摄体提取部307,首先,推定为被摄体存在图像P1的左分割区域Al以及右分割区域Ar是背景。接下来,被摄体提取部307基于该左分割区域Al以及右分割区域Ar的各像素的像素值进行规定的运算,将被摄体的背景色推定为规定的单一色。接下来,被摄体提取部307在规定的单一色的背景用图像与被摄体存在图像P1之间生成对应的各像素的差分信息(例如,差异度图等)。
其后,被摄体提取部307将生成的差分信息的各像素的像素值与规定的阈值比较并进行二值化后,进行用于除去细小的噪声或因手抖动所引起的差异所存在的区域的收缩处理,排除比规定值小的像素集合、因手抖动所引起的细线像素集合。接下来,被摄体提取部307进行对构成相同连结成分的像素集合赋予相同的编号的标记(labeling)处理,并将面积最大的像素集合作为被摄体部分。其后,被摄体提取部307在对收缩部分进行修正的膨胀处理后,通过仅进行被摄体部分内的标记处理,将相对于被摄体部分标记为规定的比例以下的标记的像素集合置换为被摄体部分,由此进行填补。
另外,被摄体提取部307示出被摄体存在图像P1中的被摄体区域As的位置,并生成用于提取该被摄体区域As的提取用图像。在此,作为提取用图像,例如,可例举阿尔法图,即:对于被摄体存在图像P1的各像素,将被摄体图像相对于规定的背景进行阿尔法混合时的权重作为阿尔法值(0≤α≤1)来表现的阿尔法图。例如,被摄体提取部307进行将上述面积最大的像素集合设为1,将其他的部分设为0的二值化,并对二值化后的差分信息施以低通滤波,从而在边界部分产生中间值来作成阿尔法值。在该情况下,被摄体区域As的阿尔法值成为1,相对于被摄体存在图像P1的规定背景的透过度成为0%。另一方面,被摄体的背景部分的阿尔法值成为0,相对于该被摄体存在图像P1的规定背景的透过度成为100%。
其后,被摄体提取部307基于所生成的提取用图像(阿尔法图),在被摄体存在图像P1的各像素中,按照使阿尔法值为1的像素相对于规定的单一色图像P3不透过,并且,使阿尔法值为0的像素透过的方式,将被摄体图像与规定的单一色图像P3进行合成后,生成被摄体裁剪图像P2的图像数据。
另外,被摄体提取部307在特定了被摄体区域As后,提取该被摄体区域As,但是,并不必需进行被摄体区域As的提取。即,也可以分别设置用于独立进行被摄体区域As的特定与提取的专用逻辑电路。
其次,关于利用了用户终端2以及服务器3的被摄体裁剪处理,参照图5~图7进行说明。
在此,图5以及图6是表示与被摄体裁剪处理有关的一个示例动作的流程图。另外,图7A~图7C是示意地表示与被摄体裁剪处理有关的一个示例图像的图。
另外,在以下的说明中,将用于记录摄像装置1所生成的被摄体存在图像P1的图像数据的记录介质M,假设为安装于用户终端2的记录介质控制部204的记录介质。
如图5所示那样,用户终端2的中央控制部201在基于用户进行的操作输入部205的规定操作而被输入了对服务器3所开设的被摄体提取用页面的访问指示后,中央控制部201的CPU将该访问指示通过通信控制部202经由规定的通信网络N发送给服务器3(步骤S1)。
在通过服务器3的通信控制部304接收到用户终端2发送来的访问指示后,中央控制部301的CPU将被摄体提取用页面的页面数据通过通信控制部304经由规定的通信网络N发送给用户终端2(步骤S2)。
接下来,在通过用户终端2的通信控制部202接收到被摄体提取用页面的页面数据后,显示部203基于该被摄体提取用页面的页面数据,将规定的被摄体提取用页面显示于显示画面上。
其次,用户终端2的记录介质控制部204从记录介质M中读出与该被摄体裁剪处理有关的被摄体存在图像P1的图像数据后,显示部203将该被摄体存在图像P1的图像数据显示于显示画面上(步骤S3)。
另外,通信控制部202将所读出的被摄体存在图像P1的图像数据经由规定的通信网络N发送给服务器3(步骤S4)。
在此,“基于用户进行的操作输入部205的规定操作,在用户终端2对服务器3所开设的被摄体提取用页面进行访问的状态下,将被摄体存在图像P1的图像数据发送给服务器3”相当于用户要使用该被摄体裁剪***100的意思明示。即,将被摄体存在图像P1的图像数据的发送作为起因,通过构成该被摄体裁剪***100的服务器3,从被摄体存在图像P1的图像数据中提取被摄体区域As(后面详述),由此,可认为相对于用户将该被摄体裁剪***100作为整体而提供了服务。
接下来,服务器3的通信控制部304接收从用户终端2发送来的被摄体存在图像P1的图像数据(步骤S5)。
其后,用户终端2的中央控制部201基于用户进行的操作输入部205的规定操作,判定在显示部203的显示画面所显示的被摄体存在图像P1上是否输入了边界线L的始点的座标(第一座标)(步骤S6)。即,中央控制部201将基于用户进行的鼠标的规定操作而在用于构成被摄体存在图像P1上连续描绘的边界线L的多个点座标中最初描绘的点作为始点,判定该始点的第一座标是否已输入。
直到判定为输入了边界线L的始点的第一座标为止(步骤S6;是),反复执行步骤S6的判定处理。
接下来,在步骤S6中,判定为输入了边界线L的始点的第一座标时(步骤S6;是),中央控制部201的CPU将操作输入部205所输出而被输入的第一座标的设定指示信号通过通信控制部202经由规定的通信网络N发送给服务器3(步骤S7)。
在通过服务器3的通信控制部304接收到从用户终端2发送来的第一座标的设定指示信号后,边界线指定部305基于第一座标的设定指示信号以及被摄体存在图像P1的图像数据,在该被摄体存在图像P1中指定边界线L的始点座标(步骤S8)。
其次,用户终端2的中央控制部201基于用户进行的操作输入部205的规定操作,判定在显示部203的显示画面所显示的被摄体存在图像P1上是否输入了边界线L的终点的座标(第二座标)(步骤S9)。即,中央控制部201将基于用户进行的鼠标的规定操作而在被摄体存在图像P1上连续描绘的用于构成边界线L的多个点的座标中最后描绘的点作为终点,判定该终点的第二座标是否已输入。
步骤S9的判定处理直到判定为输入了边界线L的终点的第二座标为止(步骤S9;是)反复被执行,基于用户进行的鼠标的规定操作,依次从用户终端2向服务器3发送在被摄体存在图像P1上连续描绘的用于构成边界线L的多个点的座标。
接下来,在步骤S9中,判定为输入了边界线L的终点的第二座标后(步骤S9;是),中央控制部201的CPU将从操作输入部205输出而被输入的第二座标的设定指示信号通过通信控制部202经由规定的通信网络N发送给服务器3(步骤S10)。
在通过服务器3的通信控制部304接收到用户终端2发送来的第二座标的设定指示信号后,边界线指定部305基于第二座标的设定指示信号以及被摄体存在图像P1的图像数据,在该被摄体存在图像P1中指定边界线L的终点的座标(步骤S11)。
接下来,边界线指定部305将在被摄体存在图像P1上连续描绘的用于构成边界线L的多个点座标进行连结,指定从始点至终点的连续的边界线L(步骤S12)。
其次,脸检测部306取得被摄体存在图像P1的图像数据,对该图像数据进行规定的脸检测处理并检测脸区域(步骤S13)。
接下来,图像边界特定部309从被摄体存在图像P1的多个图像边界B,…中,特定下侧图像边界Bd(步骤S14)。具体而言,图像边界特定部309取得被摄体存在图像P1的图像数据,在该图像数据中的上下左右的4个图像边界Bt、Bd、B1、Br中,将相对于脸检测部306所检测出的被摄体的脸区域的脸的方向而成为下侧的图像边界B特定为下侧图像边界Bd。另外,在步骤S13中,如有未检测出脸区域的情况,则可以单纯地将用户终端2的显示部203所显示的被摄体存在图像P1的下侧的图像边界作为下侧图像边界Bd。
其后,作为由被摄体存在图像P1的上下左右4个图像边界Bt、Bd、Bl、Br与边界线L所分割的多个分割区域A、…,区域特定部308特定左分割区域Al、右分割区域Ar以及中间分割区域Am(步骤S15)。另外,区域特定部308分别计算全部像素数,该全部像素数是对沿着所特定的多个分割区域A、…各自的外缘部的多个像素进行合计后得到的像素数。
接下来,区域特定部308从所特定的多个分割区域A、…,即,左分割区域Al、右分割区域Ar以及中间分割区域Am中,对构成各分割区域A的外缘部的图像边界B的像素数相对于该外缘部的全部像素数而成为规定的比例(例如,40%等)以上的区域Ac进行特定(步骤S16)。例如,区域特定部308判定出构成左分割区域Al以及右分割区域Ar各自的外缘部的图像边界B的像素数相对于各外缘部的全部像素数为规定的比例以上,从而将该左分割区域Al以及右分割区域Ar特定为区域Ac。
其次,被摄体提取部307从被摄体存在图像P1的多个分割区域A、…中特定被摄体区域As(步骤S17)。具体而言,被摄体提取部307从被摄体存在图像P1的多个分割区域A、…中,从被摄体区域As的候补中排除作为区域Ac的左分割区域Al以及右分割区域Ar,并且,将含有下侧图像边界Bd的构成像素最多的中间分割区域Am特定为被摄体区域As。
接下来,被摄体提取部307基于规定的提取方法进行从被摄体存在图像P1中来提取被摄体区域As的处理,作为表示被摄体存在图像P1中的被摄体区域As的位置的提取用图像,来生成阿尔法图(步骤S18)。
其后,被摄体提取部307利用所生成的阿尔法图从被摄体存在图像P1中切出被摄体区域As,并与规定的单一色图像P3进行合成后生成被摄体裁剪图像P2(参照图7C)的图像数据(步骤S19)。具体而言,对被摄体存在图像P1的所有像素,被摄体提取部307对阿尔法值为0的像素使其透过,对阿尔法值为0<α<1的像素使其与规定的单一色进行混合,对于阿尔法值为1的像素,不进行任何处理,相对于规定的单一色而不透过。另外,对于阿尔法图的外缘部分,赋予合成灰阶,由此,切出的被摄体区域As与单一色图像P3(背景)之间的边界部分成为不明显清晰的自然感觉。
另外,所生成的被摄体裁剪图像P2的图像数据与提取用图像的阿尔法图建立对应地存储于存储部302。
中央控制部301的CPU将生成的被摄体裁剪图像P2的图像数据通过通信控制部304经由规定的通信网络N发送给用户终端2(步骤S20)。
接下来,在通过用户终端2的通信控制部202接收到被摄体裁剪图像P2的图像数据后(步骤S21),显示部203基于该被摄体裁剪图像P2的图像数据将被摄体图像显示于显示画面上(步骤S22)。
由此,被摄体裁剪处理结束。
如上所述,根据本实施方式的被摄体裁剪***100,从被摄体存在图像P1的通过边界线L所分割的多个分割区域A、…中,对成为被摄体区域As的特定基准的区域Ac进行特定,并以该区域Ac作为基准,从被摄体存在图像P1的多个分割区域A、…中特定被摄体区域As,由此,不必以完全封闭的形态来形成边界线L,并且,也不必在通过该边界线L所分割的多个分割区域A、…中对某一分割区域A进行指定。尤其是,由于从被摄体存在图像P1的多个分割区域A、…中排除区域Ac,所以能够恰当地进行被摄体区域As的特定。
如此,能够简便且恰当地进行被摄体区域As的特定。
另外,从被摄体存在图像P1的多个分割区域A、…中,不对构成该被摄体存在图像P1中的下侧图像边界Bd的像素数进行计数来进行规定的运算,来特定区域Ac,所以,例如,作为被摄体存在图像P1,从对人的胸部之上的胸像进行拍摄得到的被摄体存在图像P1中特定被摄体区域As的情况等,能够恰当地进行对成为被摄体区域As的特定基准的区域Ac的特定。
即,例如,在边界线L以未完全封闭的形态而形成的情况下,即使将通过该边界线L与被摄体存在图像P1的下侧图像边界Bd所包围的区域作为被摄体区域,也将产生下述的问题,即,在被摄体较图像中心而偏向左右的某一侧,涉及到左右的某一侧的图像边界时,不能将边界线L设为完全封闭的形态,从而不能恰当地进行被摄体区域的特定。另外,在边界线L以未完全封闭的形态形成的情况下,即使将通过该边界线L与被摄体存在图像P1的图像边界B所包围的区域作为被摄体存在区域来进行特定,在这样的区域存在有多个的情况下,则会出现不能恰当进行被摄体区域的特定这样的问题。
相对于此,在被摄体存在图像P1的多个分割区域A、…中,通过不对该被摄体存在图像P1中的构成下侧图像边界Bd的像素数进行计数而进行规定的运算来特定区域Ac,并以该区域Ac作为基准,从被摄体存在图像P1的多个分割区域A、…中特定被摄体区域As,由此,即使以不完全封闭的形态形成边界线L,也可恰当地进行被摄体区域As的特定。
并且,从被摄体存在图像P1的多个图像边界B、…中,将相对于脸检测处理所检测出的被摄体的脸的方向而成为下侧的图像边界B特定为被摄体存在图像P1中的下侧图像边界Bd,能够恰当地进行下侧图像边界Bd的特定,从而能够从被摄体存在图像P1的多个分割区域A、…中恰当地进行区域Ac以及被摄体区域As的特定。
并且,将脸检测处理的检测结果作为基准,从被摄体存在图像P1的多个分割区域A、…中特定被摄体区域As。更具体而言,在被摄体存在图像P1的多个分割区域A、…中,将含有相对于检测出的被摄体的脸的方向成为下侧的图像边界B最多的分割区域A,特定为被摄体区域As,例如,作为被摄体存在图像P1,从对人的胸部之上的胸像进行拍摄所得到的被摄体存在图像P1中特定被摄体区域As的情况等,从被摄体存在图像P1的多个分割区域A、…中,能够恰当特定被摄体区域As。
另外,由于从被摄体存在图像P1中提取所特定的被摄体区域As,因此能够恰当生成被摄体裁剪图像P2。
另外,本发明并不仅限于上述实施方式,在未脱离本发明的宗旨的范围内,可进行各种改良以及设计的变更。
例如,在上述实施方式中,对被摄体存在图像P1进行脸检测处理,并以检测出的脸作为基准,来进行被摄体存在图像P1的下侧图像边界Bd的特定以及被摄体区域As的特定,但是,从对人的胸部之上的胸像进行拍摄所得到的被摄体存在图像P1中特定被摄体区域As的情况下,并不是必需进行脸检测部306的脸检测处理。
以下,参照图8对被摄体裁剪处理的变形例进行说明。
在此,如图8所示的被摄体裁剪处理是接续在图5的被摄体裁剪处理的各处理后进行的处理,省略对图5的被摄体裁剪处理的各处理的详细说明。
即,如图8所示那样,用户终端2在步骤S10(参照图5)中,在通信控制部202将第二座标的设定指示信号经由规定的通信网络N发送给服务器3后,中央控制部201基于用户进行的操作输入部205的规定操作,判定是否输入了胸像提取模式的设定指示,该胸像提取模式为:从对人的胸部之上的胸像进行拍摄所得到的被摄体存在图像P1中提取被摄体区域As的模式(步骤S31)。
在此,判定为已输入胸像提取模式的设定指示时(步骤S31;是),中央控制部201的CPU将从操作输入部205输出而被输入的设定指示信号通过通信控制部202经由规定的通信网络N发送给服务器3(步骤S32)。
另一方面,在步骤S31中,判定为未输入胸像提取模式的设定指示时(步骤S31;否),中央控制部201的CPU跳过步骤S32的处理。
在通过服务器3的通信控制部304接收到用户终端2发送来的胸像提取模式的设定指示信号后,中央控制部301的CPU设定为:在胸像提取模式下进行被摄体裁剪处理(步骤S33)。
其后,中央控制部301的CPU判定胸像提取模式是否设定完成(步骤S34),在判定为胸像提取模式已设定完成时(步骤S34;是),中央控制部301的CPU跳过步骤S13的处理,而将处理转移至步骤S14。
在该步骤S14中,图像边界特定部309取得被摄体存在图像P1的图像数据,基于针对该被摄体存在图像P1而作为Exif标签信息所付加的与图像的方向有关的信息,来特定该图像数据中的下侧图像边界Bd。
另一方面,在步骤S34中,在判定为胸像提取模式未设定完成时(步骤S34;否),中央控制部301的CPU与上述实施方式相同地,将处理移转至步骤S13。
另外,在步骤S14以后的处理(步骤S15~S22)是与上述实施方式相同,省略其详细说明。
由此,在设定为胸像提取模式的情况下,能够不进行脸检测处理,自动地进行通过区域特定部308来特定成为被摄体区域As的提取基准的区域Ac的处理与通过被摄体提取部307来特定被摄体区域As的处理,从而能够降低涉及脸检测处理的处理负担,进而能够更高速地进行被摄体区域As的特定。
<第二实施例>
在上述第一实施例中,也可以以后再对裁剪了被摄体后的图像进行修正。如图9所示那样,第二实施例的服务器3具有不同构成的被摄体提取部307以及判定部310这一点与第一实施例的服务器3不同。其他构成是与实施例1的被摄体裁剪***100相同的构成。
被摄体提取部307具备图像二值化部307a、像素集合特定部307b、图像边界特定部307c、图像生成部307d、图像修正部307e。
图像二值化部307a生成被摄体存在图像P1的二值图像P4。
即,图像二值化部307a取得从用户终端2经由规定的通信网络N而发送来、通过通信控制部304所接收的被摄体存在图像P1的图像数据,将该图像数据的各像素的像素值与规定的阈值进行比较来生成该被摄体存在图像P1的二值图像P4。
具体而言,如图12所示那样,图像二值化部307a从通过被摄体存在图像P1的多个图像边界B、…以及边界线L所分割的多个分割区域A、…中推定用于构成背景区域Ab的分割区域(例如,左分割区域Al以及右分割区域Ar等)。接下来,图像二值化部307a基于该分割区域的各像素的像素值进行规定的运算,将被摄体的背景色推定为规定的单一色。接下来,图像二值化部307a生成在规定的单一色的背景用图像与被摄体存在图像P1之间对应的各像素的差分信息(例如,差异度图等),之后,将差分信息的各像素的像素值与规定的阈值进行比较并进行二值化,由此,生成该被摄体存在图像P1的二值图像P4。
在该二值图像P4中,例如,与被摄体区域As对应的像素值为“1”,与背景区域Ab对应的像素值成为“0”。
另外,该图像二值化部307a还具有与第一实施方式的区域特定部308相同的功能。
像素集合特定部307b特定在被摄体存在图像P1的二值图像P4中的与被摄体区域As对应的像素集合Ga。
即,像素集合特定部307b对二值图像P4中的具有与被摄体区域As对应的像素值的像素所连续形成的像素集合Ga进行特定。具体而言,像素集合特定部307b针对二值图像P4,进行用于除去细小的噪声或因手抖动产生的差异存在的区域的收缩处理,将比规定值小的像素集合以及因手抖动产生的细线像素集合排除。接下来,像素集合特定部307b进行针对相同连结成分构成的像素集合赋予相同编号的标记处理,其后,对收缩部分进行修正的膨胀处理。接下来,像素集合特定部307b在所标记的多个像素集合,即,二值图像P4中的具有与被摄体区域As对应的像素值(例如,“1”)的像素所连续形成的多个像素集合中,将面积最大的像素集合Ga特定为被摄体部分。
另外,像素集合特定部307b将在二值图像P4中的具有与被摄体区域As对应的像素值的像素集合Ga内的并且相对于该像素集合Ga的构成像素数具有规定的比例(例如,40%等)以下的构成像素数的与背景区域Ab对应的背景像素集合的各像素的像素值变更为与被摄体区域As对应的像素值。即,像素集合特定部307b在作为被摄体部分而特定的最大面积的像素集合Ga内进行标记处理,将与相对于该被摄体部分的构成像素的标记数为规定的比例以下的标记数的背景区域Ab对应的像素集合的各像素的像素值,变更成与被摄体部分对应的像素值,进行置换成被摄体部分的填补处理。
图像边界特定部307c在二值图像P4的多个图像边界中特定下侧图像边界Bd。
即,图像边界特定部307c在通过图像二值化部307a所生成的二值图像P4的图像数据的上下左右4个图像边界Ct、Cd、Cl、Cr中,特定在用户终端2的显示部203等的规定的显示区域所显示的状态下的该被摄体存在图像P1中、与成为下侧的图像边界B对应的该二值图像P4的下侧图像边界Cd。具体而言,图像边界特定部307c在二值图像P4的多个图像边界Ct、Cd、Cl、Cr中,将与相对于脸检测部306从被摄体存在图像P1中检测出的被摄体的脸区域的脸的方向而成为下侧的图像边界B对应的图像边界,特定为下侧图像边界Cd。
换而言之,被摄体存在图像P1例如是对成为被摄体的人的胸部之上的胸像进行拍摄得到的图像的情况下,图像边界特定部307c从与该被摄体存在图像P1对应的二值图像P4的上下左右4个图像边界Ct、Cd、Cl、Cr中,将与被摄体存在图像P1中相比人的脸处于下侧的图像区域所重叠的图像边界对应的图像边界,特定为下侧图像边界Cd。
另外,图像边界特定部307c例如也可以取得针对被摄体存在图像P1而作为Exif标签信息所付加的与该被摄体存在图像P1的摄像时的图像的方向有关的信息,来特定与该被摄体存在图像P1的下侧的图像边界对应的二值图像P4的下侧图像边界Cd。
另外,图像边界特定部307c从二值图像P4的多个图像边界中,特定与在规定的显示区域所显示的状态下的被摄体存在图像P1的下侧的图像边界以外的图像边界对应的该二值图像P4的其他图像边界。即,图像边界特定部307c从二值图像P4的多个图像边界中,特定下侧图像边界Cd以外的上侧图像边界Ct、左侧图像边界Cl以及右侧图像边界Cr等。
图像生成部307d生成用于提取该被摄体区域As的提取用图像,其示出被摄体存在图像P1中的被摄体区域As的位置。
在此,作为提取用图像,例如关于被摄体存在图像P1的各像素,可例举有将被摄体图像相对于规定的背景进行阿尔法混合时的加权作为阿尔法值(0≤α≤1)而表现的阿尔法图M。
具体而言,图像生成部307d将通过由像素集合特定部307b特定为被摄体部分的最大面积的像素集合Ga与由图像边界特定部307c所特定的二值图像P4的下侧图像边界Cd包围、具有与背景区域Ab对应的像素值(例如,“0”)的区域Gb的各像素的像素值变更为与被摄体区域As对应的像素值(例如,“1”)后,生成提取用图像(阿尔法图M)。
换而言之,被摄体存在图像P1例如是对成为被摄体的人的胸部之上的胸像进行拍摄所得到的图像的情况下,图像生成部307d推定通过最大面积的像素集合Ga与下侧图像边界Cd所包围的区域Gb是在被摄体存在图像P1中相比人的脸处于下侧的图像区域所重叠的区域,即,被摄体区域As。接下来,图像生成部307d将该区域Gb的与背景区域Ab对应的像素值变更为与被摄体区域As对应的像素值(例如,“1”)。
另外,图像生成部307d针对通过由像素集合特定部307b特定为被摄体部分的最大面积的像素集合Ga与由图像边界特定部307c特定的二值图像P4的其他的图像边界即上侧图像边界Ct、左侧图像边界Cl以及右侧图像边界Cr所包围、具有与背景区域Ab对应的像素值的各像素的像素值,也可以不将其变更为与被摄体区域As对应的像素值。
接下来,图像生成部307d通过针对与上述被摄体部分对应的最大面积的像素集合Ga的像素值为“1”、与背景区域Ab对应的其他部分的像素值为“0”的二值图像P4施以低通滤波,使得在边界部分生成中间值,由此,针对各区域生成规定的阿尔法值。由此,被摄体区域As的阿尔法值为“1”,相对于被摄体存在图像P1的规定背景的透过度为0%。另一方面,被摄体的背景部分的阿尔法值为“0”,相对于该被摄体存在图像P1的规定背景的透过度为100%。
其后,被摄体提取部307基于由图像生成部307d所生成的提取用图像(阿尔法图M),在被摄体存在图像P1的各像素中,按照使阿尔法值为1的像素相对于规定的单一色图像P3不透过,且使阿尔法值为0的像素透过的方式,将被摄体图像与规定的单一色图像P3进行合成来生成被摄体裁剪图像P2(参照图13B)的图像数据。
另外,图像生成部307d也可以基于被摄体存在图像P1的二值图像P4生成三值图像P5。
即,图像生成部307d将与二值图像P4的边界线指定部305所指定的边界线L重叠的区域设为像素值的未确定区域Ac。接下来,图像生成部307d将该未确定区域Ac的像素值设定成分别与被摄体区域As以及背景区域Ab各自的像素值为不同的第三像素值(例如,“0.5”等),由此,生成三值图像P5。具体而言,图像生成部307d在将通过最大面积的像素集合Ga与下侧图像边界Cd所包围的与背景区域Ab对应的各像素的像素值变更为与被摄体区域As对应的像素值(例如,“1”)后的二值图像P4中,将与边界线指定部305所指定的边界线L进行重叠的区域(未确定区域Ac)的像素值设定为第三像素值,生成三值图像P5(参照图13C)。
另外,图像生成部307d也可以在基于二值图像P4来生成三值图像P5后,利用该三值图像P5来生成提取用图像(阿尔法图M)。
图像修正部307e基于用户进行的用户终端2的操作输入部205的规定操作,对提取用图像(阿尔法图M)进行修正。
即,在通过判定部310判定出输入了将像素集合特定部307b的填补处理中像素值进行了变更的提取用图像中的变更完成区域Ad的各像素的像素值恢复原样的指示时,图像修正部307e将提取用图像中的变更完成区域Ad的各像素的像素值变更为背景像素集合的像素值,来对提取用图像进行修正。具体而言,图像修正部307e在通过判定部310判定出输入了将与提取用图像中的由边界线指定部305指定的边界线L对应的区域,即,具有三值图像P5中的第三像素值的区域(未确定区域Ac)变更为背景像素集合的像素值的指示后,将提取用图像中的变更完成区域Ad的各像素的像素值变更为背景像素集合的像素值,来对提取用图像进行修正。
例如,在图12A所示的被摄体存在图像P1中,关于由作为被摄体的人的脖颈与头发所包围的区域,通过像素集合特定部307b进行的填补处理,生成其像素值自动地被变更后的提取用图像(阿尔法图M;参照图13A),如图13B所示的被摄体裁剪图像P2中,由作为被摄体的人的脖颈与头发所包围的区域将出现不成为背景区域的情况。该情况下,在通过判定部310判定出输入了将由作为被摄体的人的脖颈与头发所包围的区域(变更完成区域Ad)的像素值恢复至背景像素集合的像素值的指示时,图像修正部307e将提取用图像中的变更完成区域Ad的各像素的像素值变更为背景像素集合的像素值,来对提取用图像(阿尔法图M;参照图14B)进行修正。
另外,也可以为:基于用户进行的用户终端2的操作输入部205的规定操作,将未确定区域Ac或者背景用像素集合的像素值变更为与被摄体区域As对应的像素值。
判定部310判定是否输入了对被摄体裁剪图像P2进行修正的指示。
即,判定部310基于从用户终端2经由规定的通信网络N发送来、通过通信控制部304所接收的用于构成在被摄体裁剪图像P2上所描绘的修正标识R的多个点的座标的设定信号,判定是否输入了对被摄体裁剪图像P2进行修正的指示。具体而言,在用户终端2的显示部203所显示的被摄体裁剪图像P2上,基于用户进行的用户终端2的操作输入部205的规定操作,描绘了将在像素集合特定部307b进行的填补处理中与像素值被变更后的背景像素集合对应的变更完成区域Ad的各像素的像素值进行恢复原样的修正标识R,且在从用户终端2发送来的用于构成修正标识R的多个点的座标的设定信号被通信控制部304所接收后,判定部310判定为输入了对被摄体裁剪图像P2进行修正的指示。
此时,判定部310也可以基于通过图像生成部307d所生成的三值图像P5,针对通过图像生成部307d所生成的提取用图像(阿尔法图M)中的与边界线L对应的区域,即,具有三值图像P5中的第三像素值的区域(未确定区域Ac),来判定是否输入了将变更完成区域Ad的各像素的像素值恢复原样的指示。换而言之,三值图像P5中的具有第三像素值的区域(未确定区域Ac)是对成为被摄体区域As还是成为背景区域Ab尚不清楚的像素值未确定的区域,通过仅对具有该第三像素值的区域的像素值是否修正进行判定,即能够谋求涉及处理的负担降低。
其次,关于利用了用户终端2以及服务器3的被摄体裁剪处理,参照图10~图14进行说明。
在此,图10~图11是表示与被摄体裁剪处理有关的一个示例动作的流程图。另外,图12A~图14C是示意地表示与被摄体裁剪处理有关的一个示例图像的图。
另外,在以下的说明中,假设记录摄像装置1所生成的被摄体存在图像P1的图像数据的记录介质M安装于用户终端2的记录介质控制部204中。
至被摄体提取处理为止的流程是与第一实施方式的图5的流程相同的。
如图10所示那样,脸检测部306取得被摄体存在图像P1的图像数据,针对该图像数据进行规定的脸检测处理,检测脸区域(步骤S13)。
接下来,被摄体提取部307从通过被摄体存在图像P1的多个图像边界B、…,即,上下左右4个图像边界B、…与边界线L所分割的多个分割区域A、…中,基于规定的特定方法来特定被摄体区域As(步骤S17)。
在此,由于是与第一实施方式中的步骤S17相同的处理,省略其详细说明。
接下来,被摄体提取部307基于规定的提取方法进行从被摄体存在图像P1中提取被摄体区域As的处理,进行生成作为表示被摄体存在图像P1中的被摄体区域As的位置的提取用图像的阿尔法图M的被摄体提取处理(步骤S18)。
以下,关于被摄体提取处理,参照图11进行说明。
如图11所示那样,首先,被摄体提取部307的图像二值化部307a取得被摄体存在图像P1的图像数据,将该图像数据的各像素的像素值与规定的阈值进行比较,并生成该被摄体存在图像P1的二值图像P4(步骤S41)。
接下来,像素集合特定部307b对被摄体存在图像P1的二值图像P4中的具有与被摄体区域As对应的像素值的像素所连续形成的像素集合Ga进行特定(步骤S42)。
具体而言,像素集合特定部307b针对二值图像P4进行除去细小的噪声或因手抖动所引起的差异所存在的区域的收缩处理,来排除比规定值小的像素集合或因手抖动所引起的细线像素集合。接下来,像素集合特定部307b进行对构成相同连结成分的像素集合赋予相同编号的标记处理,其后,进行对收缩部分进行修正的膨胀处理。接下来,像素集合特定部307b在所标记的多个像素集合,即,二值图像P4中的具有与被摄体区域As对应的像素值(例如,“1”)的像素所连续形成的多个像素集合中,将面积最大的像素集合Ga特定为被摄体部分。
另外,像素集合特定部307b在作为被摄体部分而特定的最大面积的像素集合Ga内进行标记处理,将具有相对于该被摄体部分的构成像素的标记数为规定的比例以下的标记数,且与背景区域Ab对应的像素集合Ga的各像素的像素值变更为与被摄体部分对应的像素值,进行置换成被摄体部分的填补处理。
其次,图像边界特定部307c从二值图像P4的多个图像边界中特定下侧图像边界Cd(步骤S43)。具体而言,图像边界特定部307c从二值图像P4的多个图像边界Ct、Cd、Cl、Cr中,将与相对于脸检测部306从被摄体存在图像P1中检测出的被摄体的脸区域的脸的方向而成为下侧的图像边界B对应的图像边界,特定为下侧图像边界Cd。
接下来,图像生成部307d将通过由像素集合特定部307b特定为被摄体部分的最大面积的像素集合Ga与由图像边界特定部307c特定的二值图像P4的下侧图像边界Cd所包围的具有与背景区域Ab对应的像素值(例如,“0”)的区域Gb的各像素的像素值,变更为与被摄体区域As对应的像素值(例如,“1”)(步骤S44)。其后,图像生成部307d基于二值图像P4生成作为提取用图像的阿尔法图M(步骤S45)。具体而言,图像生成部307d通过针对与上述被摄体部分对应的最大面积的像素集合Ga的像素值为“1”、与背景区域Ab对应的其他部分的像素值为“0”的二值图像P4施以低通滤波而在边界部分生成中间值,由此关于各区域生成规定的阿尔法值,进而生成阿尔法图M。
由此,结束被摄体提取处理。
返回至图10,其后,被摄体提取部307利用所生成的阿尔法图M从被摄体存在图像P1中切出被摄体区域As,并将其与规定的单一色图像P3进行合成来生成被摄体裁剪图像P2(参照图13B)的图像数据(步骤S19)。
另外,生成被摄体裁剪图像P2的图像数据的处理是与第一实施方中的步骤S19相同的处理,在此省略其详细说明。
另外,所生成的被摄体裁剪图像P2的图像数据与作为提取用图像的阿尔法图M建立对应地存储于存储部302。
中央控制部301的CPU将所生成的被摄体裁剪图像P2的图像数据通过通信控制部304经由规定的通信网络N而发送给用户终端2(步骤S20)。
接下来,在通过用户终端2的通信控制部202接收到被摄体裁剪图像P2的图像数据后(步骤S21),显示部203基于该被摄体裁剪图像P2的图像数据,将被摄体图像显示于显示画面上(步骤S22)。
其后,用户终端2的中央控制部201基于用户进行的操作输入部205的规定操作,来判定在显示部203的显示画面所显示的被摄体裁剪图像P2上是否输入了构成修正标识R(参照图14A)的多个点座标(步骤S23)。
在此,判定为输入了构成修正标识R的多个点座标时(步骤S23;是),中央控制部201的CPU将从操作输入部205输出而被输入的与修正标识R有关的修正指示信号,通过通信控制部202经由规定的通信网络N发送给服务器3(步骤S24)。
在通过服务器3的通信控制部304接收到从用户终端2发送来的与修正标识R有关的修正指示信号后,判定部310判定为输入了对被摄体裁剪图像P2进行修正的指示,即,将在像素集合特定部307b进行的填补处理中其像素值被变更后的提取用图像中的变更完成区域Ad的各像素的像素值恢复原样的指示,图像修正部307e将作为提取用图像的阿尔法图M中的变更完成区域Ad的各像素的像素值变更为背景像素集合的像素值,对阿尔法图M(参照图14B)进行修正(步骤S25)。
其后,中央控制部307将处理移转至步骤S19,执行其以后的处理。即,被摄体提取部307利用被修正后的阿尔法图M从被摄体存在图像P1中切出被摄体区域As,并与规定的单一色图像P3进行合成来生成被摄体裁剪图像P2(参照图14C)的图像数据(步骤S19)。
另一方面,在步骤S23中,判定为未输入用于构成修正标识R的多个点座标时(步骤S23;否),中央控制部201的CPU基于用户进行的操作输入部205的规定操作,判定是否输入了被摄体裁剪处理的结束指示(步骤S26)。
在此,在判定为未输入被摄体裁剪处理的结束指示时(步骤S26;否),中央控制部201的CPU将处理移转至步骤S23,判定是否输入了用于构成修正标识R的多个点的座标。另一方面,在判定为输入了被摄体裁剪处理的结束指示时(步骤S26;是),中央控制部201的CPU使被摄体裁剪处理结束。
如上所述,根据第二实施方式的被摄体裁剪***100,对被摄体存在图像P1的二值图像P4中的具有与被摄体区域As对应的像素值的像素所连续形成的像素集合Ga进行特定,尤其是,从二值图像P4中的具有与被摄体区域As对应的像素值的像素所连续形成的多个像素集合中,特定面积最大的像素集合Ga,将二值图像P4中的通过所特定的像素集合Ga与下侧图像边界Cd所包围的具有与背景对应的像素值的区域Gb的各像素的像素值变更为与被摄体区域As对应的像素值,来生成提取用图像(阿尔法图M),所以,能够从被摄体存在图像P1中恰当地生成用于提取含有被摄体的被摄体区域As的提取用图像。尤其是,在被摄体存在图像P1是对成为被摄体的人的胸部之上的胸像进行拍摄得到的图像的情况下,二值图像P4中的通过特定的像素集合Ga与下侧图像边界Cd所包围的区域是被摄体存在图像P1中相比人的脸处于下侧的图像区域进行重叠的区域,即,推定为是被摄体区域As,将二值图像P4中的通过所特定的像素集合Ga与下侧图像边界Cd所包围的区域Gb的与背景区域Ab对应的像素值,变更为与被摄体区域As对应的像素值,由此,能够基于二值图像P4恰当地生成提取用图像。
此时,关于二值图像P4中的通过所特定的像素集合Ga与被摄体存在图像P1中的下侧的图像边界B以外的图像边界B对应的该二值图像P4的其他图像边界,即,上侧图像边界Ct、左侧图像边界Cl以及右侧图像边界Cr所包围的与背景对应的区域,不将其各像素的像素值变更为与被摄体区域As对应的像素值,因此,在被摄体存在图像P1例如是对成为被摄体的人的胸部之上的胸像进行拍摄得到的图像的情况下,二值图像P4中的通过所特定的像素集合Ga与下侧图像边界Cd以外的其他图像边界所包围的区域被推定为是被摄体区域As以外的背景区域Ab,能够恰当进行提取用图像的生成。
另外,在被摄体提取处理中,在对二值图像P4中的具有与被摄体区域As对应的像素值的像素集合Ga进行特定时,进行将相对于该像素集合Ga的构成像素数为规定的比例以下的构成像素数的与背景区域Ab对应的背景像素集合的各像素的像素值,变更为与被摄体区域As对应的像素值的填补处理,但在提取用图像的生成后,基于用户进行的用户终端2的操作输入部205的规定操作,在输入了将生成完成的提取用图像中的变更完成区域Ad的各像素的像素值恢复原样的指示的情况下,将变更完成区域Ad的各像素的像素值变更为背景像素集合的像素值,来对提取用图像进行修正,因此,即使是针对二值图像P4自动地进行填补处理的构成,也能够考虑用户的意图,对提取用图像进行修正,能够生成用户所希望的提取用图像。
尤其是,仅针对提取用图像(阿尔法图M)中的与边界线L对应的区域,即,三值图像P5中的是成为被摄体区域As还是成为背景区域Ab的像素值尚未确定的区域Ac,来判定是否对变更完成区域Ad的各像素的像素值进行修正,由此,能够谋求涉及该判定处理的负担的降低,高速地进行提取用图像的修正。
另外,本发明并不仅限于上述实施方式,在不脱离本发明的宗旨的范围中,能够进行各种改良以及设计的变更。
例如,在上述第一实施方式中,用户终端2的中央控制部201从用户终端2依次对服务器3发送基于用户进行的鼠标的规定操作而在被摄体存在图像P1上连续描绘的用于构成边界线L的多个点的座标,但其仅仅是一个示例,本发明并不限于此,也可以是:在基于用户进行的鼠标的规定操作而在被摄体存在图像P1上描绘包含始点以及终点在内的边界线L后,将构成该边界线L的多个点座标发送给服务器3。
并且,在上述第一实施方式中,基于用户进行的用户终端2的规定操作,通过作为Web服务器而发挥功能的服务器(区域特定装置)3来提取被摄体区域As,但其仅仅是一个示例,本发明并不限于此,也可以是:能够适宜地任意变更区域特定装置的构成。即,通过将由软件来实现作为与被摄体区域As的提取有关的边界线指定部305、区域特定部308、被摄体提取部307的功能的构成安装于用户终端2,则无需通信网络N,也可单独通过该用户终端2单体来进行被摄体裁剪处理。
换而言之,也可以是:用户终端2通过在显示部203显示的被摄体存在图像P1中指定成为边界的边界线L,由此从被摄体存在图像P1的通过边界线L所分割的多个分割区域A、…中,对成为被摄体区域As的提取基准的区域Ac进行特定,将特定的区域Ac作为基准,从被摄体存在图像P1的多个分割区域A、…中特定被摄体区域As并提取。
另外,在上述实施第二方式中,从被摄体存在图像P1中的通过边界线L所分割的多个分割区域A、…中,对成为被摄体区域As的提取基准的区域Ac进行特定,并将该区域Ac作为基准,由被摄体提取部307从被摄体存在图像P1的多个分割区域A、…中特定被摄体区域As并提取,但也可以不特定区域Ac,而是特定被摄体区域As。即,也可以是:被摄体提取部307从构成各分割区域A的外缘部的像素中,不将构成与下侧图像边界Cd对应的图像边界B的像素作为图像边界B的像素进行计数,将图像边界B的像素的数量最少的分割区域A(例如,中间分割区域Am等)作为被摄体区域As进行提取。
另外,例如,在上述第二实施方式中,被摄体提取部307从被摄体存在图像P1的多个分割区域A、…中,将作为区域Ac的左分割区域Al以及右分割区域Ar从被摄体区域As的候补中排除,并且,将含有下侧图像边界Cd的构成像素最多的中间分割区域Am作为被摄体区域As进行特定,但也可以将含有下侧图像边界Cd的构成像素最多的区域特定为被摄体区域As。即,也可以是:单纯地从被摄体存在图像P1的多个分割区域A、…中,将作为区域Ac的左分割区域Al以及右分割区域Ar从被摄体区域As的候补中排除,并将排除后而留下的区域特定为被摄体区域As。
另外,例如,在上述第二实施方式中,基于用户进行的用户终端2的规定操作,通过作为Web服务器而发挥功能的服务器(区域特定装置)3来生成提取用图像(阿尔法图M),但其仅仅是一个示例,本发明并不限于此,能够适宜地任意变更区域特定装置的构成。即,将由软件来实现与被摄体区域的特定有关的被摄体提取部307的功能的构成安装于用户终端2,由此无需通信网络N,也可单独通过该用户终端2单体来进行被摄体裁剪处理。
换而言之,用户终端2对被摄体存在图像P1的二值图像P4中的具有与被摄体区域As对应的像素值的像素所连续形成的像素集合Ga进行特定,在二值图像P4的多个图像边界中,对在规定的显示区域所显示的状态下的被摄体存在图像P1中的与下侧的图像边界对应的该二值图像P4的下侧图像边界Cd进行特定,将通过二值图像P4中的像素集合Ga与下侧图像边界Cd所包围的具有与背景对应的像素值的各像素的像素值变更为与被摄体区域As对应的像素值。
另外,在上述第一以及第二实施方式中,作为用户终端2例示了个人计算机,但这仅仅是一个示例,本发明并不限于此,可任意适宜地变更,例如,也可以适用于便携式电话机等。
并且,在上述第一以及第二实施方式中,也可以是:被摄体裁剪***100具备打印装置,通过该打印装置,将服务器3所生成的被摄体裁剪图像P2的被摄体图像以规定的印刷方式印刷于规定的打印用基材,来制作被摄体图像的打印件。另外,服务器3也可以利用阿尔法图将生成的被摄体裁剪图像P2与规定的背景图像进行合成来生成被摄体合成图像(省略图示),在该情况下,打印装置也可以制作该被摄体合成图像的打印件。
另外,也可以在被摄体裁剪图像P2或被摄体合成图像的图像数据中埋入用于禁止用户进行的规定改变的控制信息。
并且,在上述第一实施方式中,构成为:将指定机构、基准区域特定机构、被摄体区域特定机构的功能,在中央控制部301的控制下通过驱动边界线指定部305、区域特定部308、被摄体提取部307来实现,但并不限于此,也可以为通过中央控制部301的CPU执行规定的程序等来实现的构成。
即,在存储程序的程序存储器(省略图示)中预先存储包含指定处理例程、基准区域特定处理例程、被摄体区域特定处理例程在内的程序。接下来,也可以为:通过指定处理例程使中央控制部301的CPU作为指定机构而发挥功能,该指定机构在规定的显示区域所显示的被摄体存在图像P1中任意地指定边界线L。另外,也可以为:通过基准区域特定处理例程使中央控制部301的CPU作为基准区域特定机构而发挥功能,该基准区域特定机构从被摄体存在图像P1中的通过边界线L所分割的多个分割区域A、…中,对构成各分割区域A的外缘部的、被摄体存在图像P1的图像边界B的像素数相对于该外缘部的全部像素数为规定的比例以上的基准区域进行特定。另外,也可以为:通过被摄体区域特定处理例程使中央控制部301的CPU作为被摄体区域特定机构而发挥功能,该被摄体区域特定机构将通过基准区域特定机构所特定的基准区域作为基准,从被摄体存在图像P1的多个分割区域A、…中特定被摄体区域As。
相同地,在上述第一实施方式中,关于边界特定机构、检测机构,也可以为通过服务器3的中央控制部301的CPU执行规定的程序等来实现的构成。
另外,在第二实施方式中,将作为第一特定机构、第二特定机构、变更机构的功能,在中央控制部301的控制下,通过驱动被摄体提取部307的像素集合特定部307b、图像边界特定部307c、图像生成部307d来实现,但本发明并不限于此,也可以为通过中央控制部301的CPU执行规定的程序等来实现的构成。
即,在存储程序的程序存储器(省略图示)中预先存储包含第一特定处理例程、第二特定处理例程、变更处理例程在内的程序。接下来,也可以为:通过第一特定处理例程使中央控制部301的CPU作为第一特定机构而发挥功能,该第一特定机构对被摄体存在图像P1中的具有与被摄体区域对应的像素值的像素所连续形成的像素集合进行特定。另外,也可以为:通过第二特定处理例程使中央控制部301的CPU作为第二特定机构而发挥功能,该第二特定机构从被摄体存在图像P1的多个图像边界中,对在规定的显示区域显示的状态下的与下侧的图像边界对应的下侧图像边界进行特定。另外,也可以为:通过变更处理例程使中央控制部301的CPU作为变更机构而发挥功能,该变更机构将通过第一特定机构特定的像素集合与通过第二特定机构特定的下侧图像边界所包围的用于构成与背景对应的区域的各像素按照与被摄体区域对应的方式进行变更。
在上述第二实施方式中,关于检测机构、判定机构、修正机构、指定机构,相同地也可以为:通过服务器3的中央控制部301的CPU执行规定的程序等来实现的构成。
并且,作为存储用于执行上述各处理的程序的计算机可读取的介质,除ROM、硬盘等之外,也可适用闪存等的非易失性存储器、CD-ROM等的可移动型记录介质。另外,作为将程序的数据经由规定的通信线路来提供的介质,还适用载波(搬送波)。
Claims (12)
1.一种区域特定方法,是从存在有背景与被摄体的被摄体存在图像中对含有所述被摄体的被摄体区域进行特定的区域特定方法,其特征在于包括:
第一特定步骤,基于所述被摄体存在图像与背景用图像的对应的各像素的差分信息,对所述被摄体存在图像中的与所述被摄体区域对应的像素集合进行特定;
第二特定步骤,对所述被摄体存在图像的多个图像边界中的、被显示在规定的显示区域的状态下的与下侧的图像边界对应的下侧图像边界进行特定;以及
变更步骤,将构成通过由所述第一特定步骤所特定的像素集合与由所述第二特定步骤所特定的所述下侧图像边界包围全部周围的与背景对应的区域的各像素、以及构成通过由所述第一特定步骤所特定的像素集合包围全部周围并且相对于由所述第一特定步骤所特定的像素集合的像素数具有规定比例以下的像素数的与所述背景对应的区域的各像素,按照使其与所述被摄体区域对应的方式进行变更。
2.根据权利要求1所述的区域特定方法,其特征在于:
在所述第一特定步骤中,
从所述被摄体存在图像中的与所述被摄体区域对应的像素所连续形成的多个像素集合中,特定面积最大的像素集合。
3.根据权利要求1所述的区域特定方法,其特征在于:
所述区域特定方法还包括检测步骤,从所述被摄体存在图像中检测所述被摄体的脸,
在所述第二特定步骤中,
将所述被摄体存在图像的多个图像边界之中的、相对于在所述检测步骤从所述被摄体存在图像中检测出的所述被摄体的所述脸的方向成为下侧的图像边界,特定为所述下侧图像边界。
4.根据权利要求1所述的区域特定方法,其特征在于:
在所述变更步骤中,
还使通过由所述第一特定步骤所特定的像素集合与由所述第二特定步骤所特定的所述下侧图像边界以外的图像边界所包围的各像素不与所述被摄体区域对应,来生成用于提取所述被摄体区域的提取用图像。
5.根据权利要求4所述的区域特定方法,其特征在于,
所述区域特定方法还包括:
判定步骤,基于用户进行的操作输入部的规定操作,判定是否输入了对任意区域的各像素的对应区域进行变更的指示;以及
修正步骤,在通过所述判定步骤判定为输入了所述指示时,变更所述提取用图像中的各像素的对应区域,来对所述提取用图像进行修正。
6.根据权利要求5所述的区域特定方法,其特征在于,
所述区域特定方法还包括指定步骤,在被显示于所述规定的显示区域的所述被摄体存在图像中,对任意的边界线进行指定,
在所述判定步骤中,进一步地,
判定是否输入了对通过所述变更步骤所生成的所述提取用图像中的与所述边界线对应的区域的各像素的对应区域进行变更的所述指示,
在所述修正步骤中,进一步地,
在通过所述判定步骤判定出输入了针对所述提取用图像中的与所述边界线对应的区域变更各像素的所述对应区域的指示时,使所述提取用图像中的像素与背景像素集合对应,由此修正所述提取用图像。
7.根据权利要求1所述的区域特定方法,其特征在于:
所述被摄体存在图像是对成为所述被摄体的人的胸部之上进行摄像得到的图像。
8.根据权利要求1所述的区域特定方法,其特征在于:
在所述第一特定步骤中,基于所述被摄体存在图像的包含多个图像边界的任意一个的图像区域的像素的像素值,将所述被摄体的背景色推定为规定色,基于在所述规定色的所述背景用图像与所述被摄体存在图像之间对应的各像素的所述差分信息,来特定与所述被摄体区域对应的像素集合。
9.一种区域特定装置,从存在有背景与被摄体的被摄体存在图像中对含有被摄体的被摄体区域进行特定,其特征在于包括:
第一特定单元,其基于所述被摄体存在图像与背景用图像的对应的各像素的差分信息,对所述被摄体存在图像中的与所述被摄体区域对应的像素集合进行特定;
第二特定单元,其对所述被摄体存在图像的多个图像边界中的、被显示在规定的显示区域的状态下的与下侧的图像边界对应的下侧图像边界进行特定;以及
变更单元,其将构成通过由所述第一特定单元所特定的像素集合与由所述第二特定单元所特定的所述下侧图像边界包围全部周围的与背景对应的区域的各像素、以及构成通过由所述第一特定单元所特定的像素集合包围全部周围并且相对于由所述第一特定单元所特定的像素集合的像素数具有规定比例以下的像素数的与所述背景对应的区域的各像素,按照使其与所述被摄体区域对应的方式进行变更。
10.一种服务器,经由网络与终端装置进行连接,其特征在于,
接收单元,其从所述终端装置接收被摄体存在图像的图像数据;
第一特定单元,其基于所述被摄体存在图像与背景用图像的对应的各像素的差分信息,对接收到的所述被摄体存在图像中的与含有被摄体的被摄体区域对应的像素集合进行特定;
第二特定单元,其对所述被摄体存在图像的多个图像边界中的、被显示在规定的显示区域的状态下的与下侧的图像边界对应的下侧图像边界进行特定;以及
变更单元,其将构成通过由所述第一特定单元所特定的像素集合与由所述第二特定单元所特定的所述下侧图像边界包围全部周围的与背景对应的区域的各像素、以及构成通过由所述第一特定单元所特定的像素集合包围全部周围并且相对于由所述第一特定单元所特定的像素集合的像素数具有规定比例以下的像素数的与所述背景对应的区域的各像素,按照使其与所述被摄体区域对应的方式进行变更。
11.一种区域特定***,其具有终端装置、以及经由网络与所述终端装置连接的服务器,其特征在于,
所述终端装置具有用于发送被摄体存在图像的图像数据的发送单元,
所述服务器具有:
接收单元,其接收从所述终端装置发送来的所述被摄体存在图像的所述图像数据;
第一特定单元,其基于所述被摄体存在图像与背景用图像的对应的各像素的差分信息,对接收到的所述被摄体存在图像中的与含有被摄体的被摄体区域对应的像素集合进行特定;
第二特定单元,其对所述被摄体存在图像中的多个图像边界中的、被显示在规定的显示区域的状态下的与下侧的图像边界对应的下侧图像边界进行特定;
变更单元,其将构成通过由所述第一特定单元所特定的像素集合与由所述第二特定单元所特定的所述下侧图像边界包围全部周围的与背景对应的区域的各像素、以及构成通过由所述第一特定单元所特定的像素集合包围全部周围并且相对于由所述第一特定单元所特定的像素集合的像素数具有规定比例以下的像素数的与所述背景对应的区域的各像素,按照使其与所述被摄体区域对应的方式进行变更。
12.一种计算机可读取的记录介质,其记录有程序,该程序在从存在有背景与被摄体的被摄体存在图像中对含有所述被摄体的被摄体区域进行特定时用于使计算机执行如下步骤:
第一特定步骤,基于所述被摄体存在图像与背景用图像的对应的各像素的差分信息,对所述被摄体存在图像中的与所述被摄体区域对应的像素集合进行特定;
第二特定步骤,对所述被摄体存在图像的多个图像边界中的、被显示在规定的显示区域的状态下的与下侧的图像边界对应的下侧图像边界进行特定;以及
变更步骤,将构成通过由所述第一特定步骤所特定的像素集合与由所述第二特定步骤所特定的所述下侧图像边界包围全部周围的与背景对应的区域的各像素、以及构成通过由所述第一特定步骤所特定的像素集合包围全部周围并且相对于由所述第一特定步骤所特定的像素集合的像素数具有规定比例以下的像素数的与所述背景对应的区域的各像素,按照使其与所述被摄体区域对应的方式进行变更。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010257389A JP5234086B2 (ja) | 2010-11-18 | 2010-11-18 | 領域特定方法、領域特定装置、プログラム、サーバ及びシステム |
JP2010-257389 | 2010-11-18 | ||
JP2010265865A JP5212451B2 (ja) | 2010-11-30 | 2010-11-30 | 領域特定方法、領域特定装置、プログラム、サーバ及びシステム |
JP2010-265865 | 2010-11-30 | ||
CN201110365020.5A CN102567729B (zh) | 2010-11-18 | 2011-11-17 | 区域特定方法、区域特定装置、服务器及*** |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110365020.5A Division CN102567729B (zh) | 2010-11-18 | 2011-11-17 | 区域特定方法、区域特定装置、服务器及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103996190A CN103996190A (zh) | 2014-08-20 |
CN103996190B true CN103996190B (zh) | 2017-11-24 |
Family
ID=46064434
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410188426.4A Active CN103996190B (zh) | 2010-11-18 | 2011-11-17 | 区域特定方法、区域特定装置及***、服务器及记录介质 |
CN201110365020.5A Active CN102567729B (zh) | 2010-11-18 | 2011-11-17 | 区域特定方法、区域特定装置、服务器及*** |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110365020.5A Active CN102567729B (zh) | 2010-11-18 | 2011-11-17 | 区域特定方法、区域特定装置、服务器及*** |
Country Status (2)
Country | Link |
---|---|
US (2) | US8687888B2 (zh) |
CN (2) | CN103996190B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150089446A1 (en) * | 2013-09-24 | 2015-03-26 | Google Inc. | Providing control points in images |
US10114532B2 (en) * | 2013-12-06 | 2018-10-30 | Google Llc | Editing options for image regions |
JP6377392B2 (ja) * | 2014-04-08 | 2018-08-22 | ローランドディー.ジー.株式会社 | 画像投影システムおよび画像投影方法 |
US10915998B2 (en) | 2016-12-21 | 2021-02-09 | Huawei Technologies Co., Ltd. | Image processing method and device |
CN109272526B (zh) * | 2017-07-17 | 2021-11-02 | 北京京东尚科信息技术有限公司 | 图像处理方法、***及电子设备 |
CN107833238B (zh) * | 2017-11-14 | 2020-05-01 | 京东方科技集团股份有限公司 | 最大连通域标记方法、目标跟踪方法、增强现实/虚拟现实装置 |
US10459670B2 (en) * | 2018-01-15 | 2019-10-29 | Lucid Dream Software, Inc. | Methods, systems, apparatuses and devices for facilitating printing of a digital image based on image splitting |
JP7241598B2 (ja) * | 2019-04-26 | 2023-03-17 | 株式会社日立ハイテク | 画像処理方法、画像処理装置及び画像処理システム |
US11076111B1 (en) * | 2019-11-13 | 2021-07-27 | Twitch Interactive, Inc. | Smart color-based background replacement |
US11800056B2 (en) | 2021-02-11 | 2023-10-24 | Logitech Europe S.A. | Smart webcam system |
US11800048B2 (en) | 2021-02-24 | 2023-10-24 | Logitech Europe S.A. | Image generating system with background replacement or modification capabilities |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101443791A (zh) * | 2006-05-03 | 2009-05-27 | 快图影像有限公司 | 在数字图像中实现改进的前景/背景分离 |
CN101587586A (zh) * | 2008-05-20 | 2009-11-25 | 株式会社理光 | 一种图像处理装置及图像处理方法 |
CN101783019A (zh) * | 2008-12-26 | 2010-07-21 | 佳能株式会社 | 被摄体跟踪设备及其控制方法、摄像设备以及显示设备 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2133825C (en) | 1992-04-13 | 2002-12-31 | Alan Benn | Image analysis for meat |
JP2000048213A (ja) | 1998-07-31 | 2000-02-18 | Canon Inc | 画像処理装置及び方法、記録媒体 |
JP3411971B2 (ja) | 2001-02-14 | 2003-06-03 | 三菱電機株式会社 | 人物像抽出装置 |
JP2002300373A (ja) * | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | 画像処理方法、画像処理装置、記録媒体及びプログラム |
US7035461B2 (en) * | 2002-08-22 | 2006-04-25 | Eastman Kodak Company | Method for detecting objects in digital images |
JP4344925B2 (ja) * | 2003-12-15 | 2009-10-14 | 富士フイルム株式会社 | 画像処理装置、画像処理方法およびプリントシステム |
JP2005275447A (ja) | 2004-03-22 | 2005-10-06 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
KR100698845B1 (ko) * | 2005-12-28 | 2007-03-22 | 삼성전자주식회사 | 인물 외형 추출 알고리즘을 이용한 영상 편집 방법 및 그장치 |
EP1969562B1 (en) * | 2005-12-30 | 2016-11-09 | Telecom Italia S.p.A. | Edge-guided morphological closing in segmentation of video sequences |
US20080019575A1 (en) * | 2006-07-20 | 2008-01-24 | Anthony Scalise | Digital image cropping using a blended map |
JP4848965B2 (ja) * | 2007-01-26 | 2011-12-28 | 株式会社ニコン | 撮像装置 |
JP5294343B2 (ja) * | 2008-06-10 | 2013-09-18 | 国立大学法人東京工業大学 | 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置 |
US8150191B2 (en) | 2008-10-14 | 2012-04-03 | Interra Systems Inc. | Method and system for calculating blur artifacts in videos using user perception threshold |
US8320666B2 (en) | 2009-08-14 | 2012-11-27 | Genesis Group Inc. | Real-time image and video matting |
JP5371685B2 (ja) | 2009-10-20 | 2013-12-18 | キヤノン株式会社 | 情報処理装置及び制御方法、プログラム |
JP5421727B2 (ja) | 2009-10-20 | 2014-02-19 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
US8693769B2 (en) | 2009-12-28 | 2014-04-08 | Industrial Technology Research Institute | Image classification methods and systems |
JP2011176748A (ja) * | 2010-02-25 | 2011-09-08 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP5871571B2 (ja) | 2011-11-11 | 2016-03-01 | 株式会社Pfu | 画像処理装置、矩形検出方法及びコンピュータプログラム |
-
2011
- 2011-11-14 US US13/295,403 patent/US8687888B2/en active Active
- 2011-11-17 CN CN201410188426.4A patent/CN103996190B/zh active Active
- 2011-11-17 CN CN201110365020.5A patent/CN102567729B/zh active Active
-
2013
- 2013-06-03 US US13/908,370 patent/US8670616B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101443791A (zh) * | 2006-05-03 | 2009-05-27 | 快图影像有限公司 | 在数字图像中实现改进的前景/背景分离 |
CN101587586A (zh) * | 2008-05-20 | 2009-11-25 | 株式会社理光 | 一种图像处理装置及图像处理方法 |
CN101783019A (zh) * | 2008-12-26 | 2010-07-21 | 佳能株式会社 | 被摄体跟踪设备及其控制方法、摄像设备以及显示设备 |
Also Published As
Publication number | Publication date |
---|---|
CN102567729B (zh) | 2014-11-19 |
US20130266224A1 (en) | 2013-10-10 |
CN102567729A (zh) | 2012-07-11 |
CN103996190A (zh) | 2014-08-20 |
US8687888B2 (en) | 2014-04-01 |
US20120128248A1 (en) | 2012-05-24 |
US8670616B2 (en) | 2014-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103996190B (zh) | 区域特定方法、区域特定装置及***、服务器及记录介质 | |
JP4321287B2 (ja) | 撮影装置および撮影方法、並びに、プログラム | |
CN101843092B (zh) | 成像设备和方法 | |
KR101643122B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 기록 매체 | |
EP2193656B1 (en) | Multi-exposure pattern for enhancing dynamic range of images | |
CN101652798B (zh) | 使用全色像素的边缘映射 | |
US7868927B2 (en) | Image data generating apparatus, method and program | |
CN105609035B (zh) | 图像显示装置及方法 | |
US20040123131A1 (en) | Image metadata processing system and method | |
CN102170527B (zh) | 图像处理装置 | |
US8269850B2 (en) | Signal processing method and signal processing system | |
JP2010011441A (ja) | 撮像装置及び画像再生装置 | |
CN102542568A (zh) | 图像处理装置及图像处理方法 | |
CN101848303A (zh) | 图像处理装置、图像形成装置以及图像处理方法 | |
CN107948455A (zh) | 图像形成装置及图像形成装置的控制方法 | |
CN105939456A (zh) | 图像处理装置及图像评价方法 | |
US20100245598A1 (en) | Image composing apparatus and computer readable recording medium | |
US8830359B2 (en) | Image processing apparatus, imaging apparatus, and computer readable medium | |
JPWO2005013622A1 (ja) | 色成分の混在配列された画像を処理する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法 | |
Kapah et al. | Demosaicking using artificial neural networks | |
CN104519227B (zh) | 图像判定装置以及图像处理*** | |
JP2009118434A (ja) | ぶれ補正装置及び撮像装置 | |
JP5212451B2 (ja) | 領域特定方法、領域特定装置、プログラム、サーバ及びシステム | |
JP2013149285A (ja) | 撮像装置および方法、並びにプログラム | |
CN113840080A (zh) | 摄像设备、摄像设备的控制方法和计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |