CN104822016A - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置及图像处理方法。本发明对基于多个输入图像而决定的修正对象图像进行修正，而产生优质的图像。在图像处理装置(3)中，图像修正部(160)感测使用者对触摸面板(250)的点击操作，当所述点击位置包含在由前景候补区域检测部(140)所检测出的前景候补区域内时，对由基准图像设定部(120)所设定的基准图像中的对应于所述前景候补区域的图像区域进行修正。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及一种图像处理装置及图像处理方法。

背景技术

以往，例如在景点，在想要拍摄纪念照片的情况等时，即便想要进行拍摄，除了设为拍摄对象物的人物以外，其他人或车辆等移动被摄物也会进入画面内，从而难以在适当的状况下、即只有想要拍摄的对象物存在于画面内的状态下进行拍摄。针对所述课题，有通过如下方式来尝试解决的如专利文献1、专利文献2般的现有技术：进行多次同一场景(scene)的拍摄，在所述多张拍摄图像中抽出认为是最适的部分并加以组合而进行合成。

[现有技术文献]

[专利文献]

[专利文献1]美国专利申请公开第2012/0320237号说明书

[专利文献2]欧洲专利第2360644号说明书

发明内容

[发明所欲解决的问题]

在将如上所述般的拍摄图像作为输入图像而输入，且想要由所述输入图像产生仅呈现出对象物的图像的情况下，需要适当地检测出移动被摄物并从图像中将其删除。作为用以实现所述技术的方法，例如考虑如下方法：使多个输入图像加权而进行加权平均，由此产生对象物作为背景而呈现出的背景图像。

然而，在所述方法中，因为难以完全将多个输入图像的位置对准，且因手震等而会在多个输入图像中产生微妙的位置偏移，或因存在随风摇动的树叶等，而在所产生的背景图像中所述区域会模糊，从而有无法获得优质的图像的问题。另外，人群等物体一直在移动的区域中无法对背景及前景进行区分，因此，有该物体会移动的区域未被完全地校正而产生重影(ghost)的问题。

本发明是鉴于所述课题而成，其目的在于提出一种用以对基于多个输入图像而决定的修正对象图像进行修正，而产生优质的图像的新方法。

[解决问题的技术手段]

为了解决所述课题，而采取以下的方案。此外，为了进行参考而以括号来附注具体的实施方式的说明及附图中使用的符号，但本发明的构成要素并不限定于所述附注的内容。

第1发明为一种图像处理装置(图像处理装置3)，其包括：

图像修正部件(图像修正部160)，使用多个输入图像中的任一输入图像作为修正用图像而对基于所述多个输入图像(利用拍摄而输入的图像)而决定的修正对象图像(输入图像中的一图像，例如基准图像)的修正对象区域(前景候补区域)进行修正。

另外，作为第28发明，也可构成为一种图像处理方法，其包括：

使用多个输入图像中的任一输入图像作为修正用图像而对基于所述多个输入图像(利用拍摄而输入的图像)而决定的修正对象图像(输入图像中的一图像，例如基准图像)的修正对象区域(前景候补区域)进行修正。

根据所述第1发明等，使用多个输入图像中的任一输入图像作为修正用图像而对基于多个输入图像而决定的修正对象图像的修正对象区域进行修正，从而可产生优质的图像。

另外，第2发明也可构成为一种图像处理装置，其根据第1发明的图像处理装置，其中

在所述图像修正部件中，与所述修正对象区域对应的区域的图像数据将与所述多个输入图像有关联的参照图像(将多个输入图像加权平均而成的背景图像)、和满足规定关系(图像数据类似)的输入图像设为所述修正用图像，并使用所述修正用图像的与所述修正对象区域对应的区域的图像数据对所述修正对象图像的所述修正对象区域进行修正。

根据所述第2发明，将与修正对象区域对应的区域的图像数据和与多个输入图像有关联的参照图像满足规定关系的输入图像设为修正用图像，并使用所述修正用图像的与修正对象区域对应的区域的图像数据，从而可适当地对修正对象图像的修正对象区域进行修正。由此，即便在多个输入图像中产生微妙的位置偏移，或存在随风摇动的树叶等的情况下，对于所述区域的图像数据也可使用修正用图像的对应于所述区域的图像数据来进行修正，从而产生优质的图像。

另外，作为第3发明，也可构成为一种图像处理装置，其根据第1发明或第2发明的图像处理装置，还包括：

可靠度判定部件(处理部100)，判定所述修正对象区域的作为前景的可靠度，

所述图像修正部件基于由所述可靠度判定部件判定的可靠度而判定所述修正对象区域的适合修正与否。

根据所述第3发明，在判定修正对象区域的作为前景的可靠度之后，可适当地判定是否应对修正对象区域进行修正。

另外，作为第4发明，也可构成为一种图像处理装置，其根据第3发明的图像处理装置，还包括：

外观变化区域检测部件(处理部100)，检测外观变化区域，所述外观变化区域即在所述多个输入图像间被摄物的外观发生变化的区域，

所述可靠度判定部件将由所述外观变化区域检测部件检测出的外观变化区域作为所述修正对象区域而判定所述可靠度，

所述图像修正部件基于由所述可靠度判定部件判定的可靠度而判定所述外观变化区域的适合修正与否。

外观变化区域是被摄物的移动发生变化的区域、或因拍摄时的光的变化等而使被摄物的外观发生变化的区域。

根据第4发明，可检测在所述多个输入图像间被摄物的外观发生变化的区域，且基于可靠度而判定检测出的外观变化区域的适合修正与否。由此，即便在存在人群等被摄物一直产生移动的区域、或受光的影响而被摄物的外观发生变化的区域等的情况下，也可将所述区域作为外观变化区域检测出而进行修正。

另外，作为第5发明，也可构成为一种图像处理装置，其根据第3发明或第4发明的图像处理装置，其中

所述可靠度判定部件对所述修正对象图像中的每一规定的处理像素单元(1像素单元、多个像素单元)判定所述可靠度，

所述图像修正部件将对所述可靠度满足规定条件(可靠度“高”)的所述处理像素单元进行连结而成的一群区域作为所述修正对象区域而进行修正。

根据所述第5发明，可对修正对象图像中的每一规定的处理像素单元判定作为前景的可靠度，且将判定的可靠度满足规定条件的处理像素单元连结而成的一群区域作为修正对象区域而进行修正。此处，处理像素单元是指由1像素以上构成的区域。

另外，作为第6发明，也可构成为一种图像处理装置，其根据第3发明至第5发明的任一发明的图像处理装置，其还包括：

相对值计算部件(差分值计算部11、差分值计算部111)，针对所述多个输入图像的每一个，对每一规定的处理像素单元(1像素单元、多个像素单元)算出相对值，所述相对值表示所述输入图像和与所述多个输入图像有关联的参照图像(将多个输入图像加权平均而成的背景图像)的相对关系(像素值的差分值)，

输入图像判定部件(最小差分输入图像判定部17、非基准最小差分输入图像判定部117)，针对每一所述处理像素单元，判定所述多个输入图像中的由所述相对值计算部件算出的相对值满足特定条件(差分值最小)的输入图像，

图像处理用数据产生部件(最小差分映射数据产生部19、非基准最小差分映射数据产生部119)，产生图像处理用数据(最小差分映射数据27、非基准最小差分映射数据873)，所述图像处理用数据针对每一所述处理像素单元将用以识别由所述输入图像判定部件判定的输入图像的识别信息(图像编号)予以存储，

所述图像修正部件使用所述修正用图像与由所述图像处理用数据产生部件产生的图像处理用数据进行修正。

另外，作为第29发明，也可构成为一种图像处理方法，

其根据第28发明的图像处理方法，还包括：

针对多个输入图像的每一个，对每一规定的处理像素单元算出表示所述输入图像和与所述多个输入图像有关联的参照图像(将多个输入图像加权平均而成的背景图像)的相对关系的相对值(像素值的差分值)，

对每一所述处理像素单元，判定所述多个输入图像中的所述算出的相对值满足特定条件的输入图像(差分值最小)，

产生图像处理用数据(最小差分映射数据27、非基准最小差分映射数据873)，所述图像处理用数据针对每一所述处理像素单元将用以识别所述经判定的输入图像的识别信息(图像编号)予以存储，

所述修正包含使用所述修正用图像与所述产生的图像处理用数据进行修正。

根据所述第6发明，可针对多个输入图像的每一个，基于表示所述输入图像和与多个输入图像有关联的参照图像的相对关系的相对值，按处理像素单元产生将用以识别满足特定条件的输入图像的识别信息予以存储的图像处理用数据。此处，相对值是表示输入图像与参照图像的相对关系的值，例如所述值含有输入图像与参照图像的像素值的差分值。另外，特定条件是预先决定的条件，例如可将相对值成为最大或最小、相对值成为中间值、相对值成为平均值等各种条件设为特定条件。通过使用如上述般产生的图像处理用数据与修正用图像，可适当地对修正对象图像进行修正。

另外，作为第7发明，也可构成为一种图像处理装置，其根据第6发明的图像处理装置，其中所述图像处理用数据产生部件针对每一所述处理像素单元将所述满足特定条件的相对值(最小差分值)与所述识别信息(图像编号)建立对应地存储于所述图像处理用数据中。

根据所述第7发明，通过针对每一处理像素单元将满足特定条件的相对值与输入图像的识别信息建立对应地存储于图像处理用数据中，可利用1个数据对满足特定条件的相对值与对应于所述相对值的输入图像进行管理。

另外，作为第8发明，也可构成为一种图像处理装置，其根据第6发明或第7发明的图像处理装置，还包括：

缩小部件(分析用图像产生部130)，对所述多个输入图像分别进行缩小，

所述相对值计算部件针对由所述缩小部件缩小的所述多个输入图像的每一个，对每一所述处理像素单元算出表示所述输入图像和与所述输入图像为相同大小的参照图像的相对关系的相对值，

所述图像处理用数据产生部件产生与所述输入图像为相同大小的所述图像处理用数据。

根据所述第8发明，可产生与对多个输入图像分别进行缩小而成的图像为相同大小的图像处理用数据。在输入图像的尺寸大的情况下，后段的图像修正中的处理负荷增大，因此对多个输入图像分别进行缩小。而且，通过产生与缩小的输入图像为相同大小的图像处理用数据，可使用图像处理用数据减轻图像修正的处理负荷。

另外，作为第9发明，也可以构成为一种图像处理装置，其根据第6发明至第8发明的任一发明的图像处理装置，还包括：

前景候补区域检测部件(前景候补区域检测部140)，使用所述多个输入图像、与由所述图像处理用数据产生部件产生的图像处理用数据，检测相对于所述参照图像成为前景的候补的区域即前景候补区域，

所述可靠度判定部件将由所述前景候补区域检测部件检测出的前景候补区域作为所述修正对象区域而判定所述可靠度，

所述图像修正部件将由所述前景候补区域检测部件检测出的前景候补区域作为所述修正对象区域而进行修正。

根据所述第9发明，通过使用多个输入图像、与产生的图像处理用数据，可检测相对于参照图像成为前景的候补的区域即前景候补区域。而且，在将检测出的前景候补区域作为修正对象区域而判定可靠度之后，可将检测出的前景候补区域作为修正对象区域而进行修正。

另外，第10发明也可构成为一种图像处理装置，其根据第9发明的图像处理装置，还包括：

基准图像设定部件(基准图像设定部120)，从所述多个输入图像中设定基准图像，

所述输入图像判定部件具有非基准图像判定部件(非基准最小差分输入图像判定部117)，所述非基准图像判定部件针对每一所述处理像素单元判定从所述多个输入图像中将所述基准图像除外的输入图像即非基准图像中的所述相对值满足所述特定条件的非基准图像，

所述图像处理用数据产生部件具有非基准图像处理用数据产生部件(非基准最小差分映射数据产生部119)，产生非基准图像处理用数据，所述非基准图像处理用数据针对每一所述处理像素单元将用以识别由所述非基准图像判定部件判定的非基准图像的识别信息予以存储，

所述前景候补区域检测部件使用所述基准图像与由所述非基准图像处理用数据产生部件产生的非基准图像处理用数据对所述前景候补区域进行检测，

所述图像修正部件将由所述基准图像设定部件设定的基准图像作为所述修正对象图像而进行修正。

根据所述第10发明，针对每一处理像素单元判定从多个输入图像中将设定的基准图像除外的输入图像即非基准图像中的相对值满足特定条件的非基准图像，产生针对每一处理像素单元将用以识别判定的非基准图像的识别信息予以存储的非基准图像处理用数据。例如可将使用者从多个输入图像中选择的输入图像设定为基准图像，也可如最初输入的输入图像或最后输入的输入图像般依照规定的规则(rule)而设定基准图像。通过使用如上所述般设定的基准图像、与基于非基准图像而产生的非基准图像处理用数据，可适当地检测出前景候补区域。而且，通过将基准图像作为修正对象图像而进行修正，可获得优质的图像。

另外，作为第11发明，也可构成为一种图像处理装置，其根据第9发明或第10发明的图像处理装置，其中

所述图像修正部件将对应于所述图像处理用数据中存储的识别信息的输入图像作为所述修正用图像而对所述修正对象图像的所述前景候补区域进行修正。

根据所述第11发明，通过将对应于图像处理用数据中存储的识别信息的输入图像作为修正用图像，可适当地对修正对象图像的前景候补区域进行修正。

另外，作为第12发明，也可构成为一种图像处理装置，其根据第9发明至第11发明的任一发明的图像处理装置，其中所述图像修正部件使用所述修正用图像的与所述前景候补区域对应的区域的图像数据对所述修正对象图像的所述前景候补区域的图像数据进行修正。

根据所述第12发明，通过使用修正用图像的与所述前景候补区域对应的区域的图像数据对修正对象图像的前景候补区域的图像数据进行修正，可适当地对修正对象图像的前景候补区域进行修正。

另外，作为第13发明，也可构成为一种图像处理装置，其根据第9发明至第12发明的任一发明的图像处理装置，其中所述图像修正部件根据所述前景候补区域的可靠度而切换执行的图像修正处理(置换处理、粘贴处理)，对所述修正对象图像的所述前景候补区域进行修正。

根据所述第13发明，通过根据所述前景候补区域的可靠度而切换执行的图像修正处理，可对各前景候补区域的每一个实现根据可靠度进行的适当的图像修正。

另外，作为第14发明，也可构成为一种图像处理装置，其根据第13发明的图像处理装置，其中所述图像修正部件对于所述可靠度满足规定的高可靠度条件(可靠度“高”)的前景候补区域，作为所述图像修正处理而执行以所述修正用图像的与所述前景候补区域对应的区域的图像数据对所述修正对象图像的所述前景候补区域的图像数据进行置换的处理。

根据所述第14发明，通过对于可靠度满足规定的高可靠度条件的前景候补区域，作为图像修正处理而执行以修正用图像的与所述前景候补区域对应的区域的图像数据对修正对象图像的所述前景候补区域的图像数据进行置换的处理，可适当地对作为前景的可靠度高的前景候补区域进行修正。

另外，作为第15发明，也可构成为一种图像处理装置，其根据第13发明或第14发明的图像处理装置，其中所述图像修正部件对于所述可靠度满足规定的低可靠度条件的前景候补区域，作为所述图像修正处理而执行从所述修正用图像中抽出与所述前景候补区域的图像数据满足规定关系的图像数据而粘贴于所述修正对象图像的所述前景候补区域的处理。

根据所述第15发明，通过对于可靠度满足规定的低可靠度条件的前景候补区域，作为图像修正处理而执行从修正用图像中抽出与所述前景候补区域的图像数据满足规定关系的图像数据而粘贴于修正对象图像的所述前景候补区域的处理，可适当地对作为前景的可靠度低的前景候补区域进行修正。

另外，作为第16发明，也可构成为一种图像处理装置，其根据第9发明至第15发明的任一发明的图像处理装置，其包括：

显示部件(显示部300)，

显示控制部件(显示控制部170)，将所述前景候补区域的可靠度控制显示于所述显示部件。

根据所述第16发明，使用者可在显示画面中确认前景候补区域的可靠度。

另外，作为第17发明，也可构成为一种图像处理装置，其根据第16发明的图像处理装置，其中所述显示控制部件以使用者能够区别的显示方式(例如，根据可靠度而对前景候补区域或其轮廓线进行颜色区分的显示方式、根据可靠度而对前景候补区域赋予不同的标记的显示方式、根据可靠度而对前景候补区域施加不同的纹样或影线的显示方式)将各前景候补区域的可靠度控制显示于所述显示部件。

根据所述第17发明，通过以使用者可区别的显示方式将各前景候补区域的可靠度显示于显示部件，使用者一看便可掌握各前景候补区域的可靠度。

另外，作为第18发明，也可构成为一种图像处理装置，其根据第9发明至第17发明的任一发明的图像处理装置，包括：

物体检测部件(处理部100)，从所述修正对象图像中检测物体，

优先修正区域决定部件(处理部100)，基于由所述物体检测部件而得的物体的检测区域与所述前景候补区域的位置关系以及所述可靠度，决定所述修正对象图像中应优先修正的区域即优先修正区域。

根据所述第18发明，通过以物体的检测区域与前景候补区域的位置关系以及前景候补区域的可靠度的判定结果为基准，可自动决定修正对象图像中的应优先修正的区域即优先修正区域。

另外，作为第19发明，也可构成为一种图像处理装置，其根据第9发明至第18发明的任一发明的图像处理装置，其中所述可靠度判定部件基于所述前景候补区域的面积、与针对所述前景候补区域中所含的像素而存储于所述图像处理用数据中的相对值中的至少任一个，判定所述前景候补区域的所述可靠度。

根据所述第19发明，基于前景候补区域的面积、与针对前景候补区域中所含的像素而存储于图像处理用数据中的相对值中的至少任一个，可判定所述前景候补区域的所述可靠度。面积小的前景候补区域为因噪声(noise)等而偶发地检测出的区域的可能性高，因此宜判定此种前景候补区域的可靠度低。另外，虽取决于特定条件，但关于因物体一直移动等理由而难以对前景区域进行正确修正的区域，存储于图像处理用数据中的相对值有示出特定倾向的倾向。因此，根据针对前景候补区域中所含的像素而存储于图像处理用数据中的相对值可推定所述前景候补区域的修正难易度。若对修正难易度高的区域进行图像修正，则有产生课题栏中所述般的重影的担忧，因此此种区域的可靠度降低。

另外，作为第20发明，也可构成为一种图像处理装置，其根据第9发明至第19发明的任一发明的图像处理装置，还包括：

操作部件(操作部200、触摸面板250)，

显示部件(显示部300)，

显示控制部件(显示控制部170)，将从所述多个输入图像中选择的基准图像控制显示于所述显示部件，

感测部件(处理部100)，感测对所述显示部件中显示的图像上的位置进行指定的使用者操作(点击(tap)操作)，

指定位置判定部件(处理部100)，根据所述感测部件的感测，判定由所述使用者操作而指定的位置是否含有于所述前景候补区域，

所述图像修正部件在所述指定位置判定部件的判定结果为肯定判定的情况下，对所述修正对象图像的所述前景候补区域进行修正，

所述显示控制部件将由所述图像修正部件修正的图像控制显示于所述显示部件。

根据所述第20发明，可在以显示有从多个输入图像中选择的基准图像的状态完成对图像上的位置进行指定的使用者操作且由所述使用者操作而指定的位置含有于前景候补区域时，对与所述前景候补区域对应的图像区域进行修正。即，以使用者操作为契机，对与前景候补区域对应的图像区域进行修正。而且，通过将经修正的图像控制显示于显示部件，使用者可确认经修正的图像。

另外，作为第21发明，也可构成为一种图像处理装置，其根据第20发明的图像处理装置，还包括：

图像修正需要与否数据产生部件(处理部100)，基于所述指定位置判定部件的判定结果产生图像修正需要与否数据(前景候补区域数据877)，所述图像修正需要与否数据对是否需要根据所述使用者操作而对各前景候补区域进行所述图像修正予以存储，

所述图像修正部件基于由所述图像修正需要与否数据产生部件产生的图像修正需要与否数据，判定是否需要对各前景候补区域进行修正。

根据所述第21的发明，通过产生根据使用者操作的图像修正需要与否数据，可判断是否需要对各前景候补区域进行图像修正，因此即便在如使用者指定多个前景候补区域般的情况下，也可无遗漏地将指定的前景候补区域作为修正图像而进行图像的修正。

另外，作为第22发明，也可构成为一种图像处理装置，其根据第18发明的图像处理装置，其中

所述图像修正部件对所述修正对象图像的所述优先修正区域进行修正，且所述图像处理装置还包括：

显示部件(显示部300)，

显示控制部件(显示控制部170)，将由所述图像修正部件修正的图像控制显示于所述显示部件。

根据所述第22的发明，通过修正优先修正区域且对所述修正的图像进行显示，使用者可确认自动对优先修正区域进行优先修正的图像。

另外，作为第23发明，也可构成为一种图像处理装置，其根据第22发明的图像处理装置，其中所述显示控制部件以与所述前景候补区域不同的显示方式将所述优先修正区域控制显示于所述显示部件。

根据所述第23发明，通过以与前景候补区域不同的显示方式将优先修正区域控制显示于显示部件，使用者一看便可掌握应优先进行修正的区域。

第24发明为一种图像处理装置，其包括：

图像存储部件(存储部800)，存储多个输入图像，

计算部件(处理部100)，基于所述存储的多个输入图像，算出图像中的替换候补区域及与其有关联的替换可靠度，

显示部件(显示部300)，显示所述多个输入图像中的最新输入的输入图像即基准图像、以及在所述基准图像上重叠显示或轮廓显示所述替换候补区域而成的图像，

所述计算部件在所述基准图像因新图像输入而被更新时，重新算出所述替换候补区域及所述替换可靠度，

所述显示部件基于所述重新算出的结果而更新所述显示部件的显示。

另外，作为第30发明，也可构成为一种图像处理方法，其包括：

存储多个输入图像，

基于所述存储的多个输入图像，算出图像中的替换候补区域及与其有关联的替换可靠度，

将所述多个输入图像中的最新输入的输入图像即基准图像以及在所述基准图像上重叠显示或轮廓显示所述替换候补区域而成的图像显示于规定的显示部件，

所述算出包含在所述基准图像因新图像输入而被更新时，重新算出所述替换候补区域及所述替换可靠度，

所述显示包含基于所述重新算出的结果而更新所述显示部件的显示。

根据所述第24发明等，存储多个输入图像且基于存储的多个输入图像而算出图像中的替换候补区域及与其有关联的替换可靠度。而且，通过对多个输入图像中的最新输入的输入图像即基准图像以及在所述基准图像上重叠显示或轮廓显示替换候补区域而成的图像进行显示，使用者一看便可掌握替换候补区域。而且，通过在基准图像因新图像输入而被更新时重新算出替换候补区域及替换可靠度，可根据新图像的输入而随时更新替换候补区域及替换可靠度。而且，通过基于重新算出的结果而更新显示部件的显示，使用者可实时掌握最新的替换候补区域。

另外，作为第25发明，也可构成为一种图像处理装置，其根据第24发明的图像处理装置，其中所述显示部件在对所述替换候补区域进行重叠显示或轮廓显示时，反映相关联的替换可靠度而进行显示。

根据所述第25的发明，通过在对替换候补区域进行重叠显示或轮廓显示时，反映相关联的替换可靠度而进行显示，使用者一看便可掌握替换候补区域的可靠度。

另外，作为第26发明，也可构成为一种图像处理装置，其根据第24发明或第25发明的图像处理装置，还包括：

区域指定部件(操作部200、触摸面板250)，可指定任意区域，

通知部件(显示部300)，在由所述区域指定部件指定的区域含有于由所述计算部件算出的所述替换候补区域的情况下，在有关联的替换可靠度满足规定条件时，将其内容通知给使用者。

根据所述第26发明，在指定的区域含有于替换候补区域的情况下，且有关联的替换可靠度满足规定条件时，将其内容通知给使用者。例如，通过在替换可靠度为一定以上的可靠度时，将其内容通知给使用者，使用者可掌握可靠度高的替换候补区域。

另外，作为第27发明，也可构成为一种图像处理装置，其根据第24发明至第26发明的任一发明的图像处理装置，还包括：

区域指定部件(操作部200、触摸面板250)，可指定任意区域，

图像修正部件(图像修正部160)，在由所述区域指定部件指定的区域含有于由所述计算部件算出的所述替换候补区域的情况下，在有关联的替换可靠度满足规定条件的情况下，对与所述替换候补区域对应的图像区域进行修正，

所述显示部件对由所述图像修正部件修正的图像进行显示。

根据所述第27发明，在指定的区域含有于替换候补区域的情况下，在有关联的替换可靠度满足规定条件的情况下，对与所述替换候补区域对应的图像区域进行修正。例如，在替换可靠度为一定以上的可靠度时，对与所述替换候补区域对应的图像区域进行修正，由此可仅对替换可靠度高的对应于替换候补区域的图像部分进行修正。另外，因对经修正的图像进行显示，使用者可在显示画面中确认经修正的图像。

附图说明

图1是表示图像处理用数据产生装置的功能构成的一例的框图(block diagram)。

图2是表示输入图像数据的数据构成的一例的图。

图3是表示最小差分映射数据(map data)产生的顺序的一例的原理图。

图4是表示最小差分映射数据产生处理的流程的一例的流程图(flow chart)。

图5是表示图像处理装置的功能构成的一例的框图。

图6是表示图像数据的数据构成的一例的图。

图7是表示非基准最小差分映射数据的产生的顺序的一例的原理图。

图8(a)是表示拍摄图像的一例的图。

图8(b)是表示背景图像的一例的图。

图8(c)是表示背景差分图像的一例的图。

图9是用于说明前景候补区域检测及前景候补区域可靠度判定的原理图。

图10是表示图像处理的流程的一例的流程图。

图11是图10的图像处理的流程图的后续。

图12是表示背景图像产生处理的流程的一例的流程图。

图13是表示前景候补区域检测处理的流程的一例的流程图。

图14是表示前景候补区域可靠度判定处理的流程的一例的流程图。

图15是表示图像修正处理的流程的一例的流程图。

图16(a)是表示拍摄图像的一例的图。

图16(b)是表示替换候补区域显示图像的一例的图。

图16(c)是表示替换候补区域覆盖显示图像的一例的图。

图16(d)是表示修正图像的一例的图。

图17(a)是表示拍摄图像的一例的图。

图17(b)是表示非基准最小差分图像的一例的图。

图17(c)是表示前景候补区域的检测结果的一例的图。

图17(d)是表示替换候补区域显示图像的一例的图。

图18(a)是表示带状的优先修正区域图案(pattern)的一例的图。图18(b)是表示框状的优先修正区域图案的一例的图。

图18(c)是表示三角形状的优先修正区域图案的一例的图。

图19是表示记录媒体的一例的图。

[符号的说明]

1：图像处理用数据产生装置

3：图像处理装置

7：存储卡

10：图像处理用数据产生部

11：差分值计算部

17：最小差分输入图像判定部

19：最小差分映射数据产生部

20：存储部

21：最小差分映射数据产生程序

23：输入图像数据

25：参照图像数据

27：最小差分映射数据

100：处理部

110：图像处理用数据产生部

111：差分值计算部

112：合成比率设定部

113：背景图像产生部

114：背景差分值计算部

117：非基准最小差分输入图像判定部

119：非基准最小差分映射数据产生部

120：基准图像设定部

130：分析用图像产生部

140：前景候补区域检测部

150：前景候补区域可靠度判定部

160：图像修正部

170：显示控制部

200：操作部

231：图像编号

233：像素值数据

250：触摸面板

271：像素

273：最小差分值

275：图像编号

300：显示部

400：通信部

500：摄像部

600：时钟部

710：卡槽

720：卡读写器

800：存储部

810：图像处理程序

820：背景图像产生程序

830：前景候补区域检测程序

840：前景候补区域可靠度判定程序

850：图像修正程序

870：图像数据

871：拍摄图像数据

871a：拍摄日期时间

871b：图像编号

871c：像素值数据

873：非基准最小差分映射数据

875：背景图像数据

877：前景候补区域数据

877a：标号

877b：构成像素

877c：可靠度

877d：修正旗标

879：修正图像数据

880：输出缓冲区

A1～A21、B1～B45、C1～C13、D1～D15、E1～E21、F1～F23：步骤

R：替换候补区域

R1～R6：前景候补区域

具体实施方式

[1.第一实施方式]

首先，对产生图像处理用数据的图像处理用数据产生装置的实施方式进行说明，所述图像处理用数据是可用于后述的实施方式中将要说明的图像中的前景候补区域的检测或图像修正等各种图像处理的数据。

[1-1.功能构成]

图1是表示图像处理用数据产生装置1的功能构成的一例的框图。

图像处理用数据产生装置1是如下装置：输入多个输入图像，使用所述多个输入图像与规定的参照图像而产生作为图像处理用数据的一种的最小差分映射数据。最小差分映射数据是如下映射形式的数据：当对多个输入图像的每一个，以像素单元算出该输入图像与参照图像的差分值时，将差分值成为最小的输入图像的编号与该差分值的最小值(以下，称为“最小差分值”)建立对应地予以存储。

输入至图像处理用数据产生装置1的多个输入图像可优选设为对同一拍摄场景进行多张图像的拍摄所得的多个拍摄图像。具体而言，例如，可将在规定的拍摄场景配置拍摄对象物且在该拍摄对象物固定的状态下设置时间间隔所拍摄的多个帧的图像设为输入图像。拍摄对象物可设为人物或动物、建筑物、交通工具等物体。

图像处理用数据产生装置1包括图像处理用数据产生部10与存储部20而构成。

图像处理用数据产生部10是如下处理装置：包括中央处理器(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等微处理器(microprocessor)、或者专用集成电路(Application Specific Integrated Circuit，ASIC)等集成电路而构成。

图像处理用数据产生部10包括差分值计算部11、最小差分输入图像判定部17、及最小差分映射数据产生部19作为主要的功能部。所述功能部的功能将在后文进行叙述。

存储部20是如下存储装置：包括只读存储器(Read Only Memory，ROM)或快闪存储器(flash memory)、随机存取存储器(Random Access Memory，RAM)等非易失性或易失性的存储器、或者作为外部存储装置的硬盘(hard disk)等而构成。

在存储部20中存储有最小差分映射数据产生程序(program)21，所述最小差分映射数据产生程序21由图像处理用数据产生部10读出，并作为最小差分映射数据产生处理(参照图4)而执行。而且，在存储部20中存储有输入图像数据23、参照图像数据25、及最小差分映射数据27。

输入图像数据23是输入至图像处理用数据产生装置1的多个输入图像经数字化而成的数据，将该数据构成的一例示于图2。

输入图像数据23中，将作为用于唯一地识别各输入图像的识别信息的图像编号231、与包含输入图像的各像素的像素值的像素值数据233建立对应地针对每一输入图像予以存储。本实施方式中，将用于识别输入图像的识别信息设为图像编号(索引(index))而进行说明。

参照图像数据25是参照图像经数字化而成的数据，存储有包含参照图像的各像素的像素值的像素值数据，所述参照图像是图像处理用数据产生部10使用多个输入图像来产生最小差分映射数据27时所参照的图像。

此处，参照图像只要是与输入图像有关联的图像即可，例如，可将在与拍摄过输入图像的拍摄场景为同一拍摄场景配置拍摄对象物且以不映入其他多余物体的方式拍摄的图像设为参照图像。如图1中虚线所示，参照图像既可与输入图像同时输入至图像处理用数据产生装置1，也可隔开时间与输入图像分开地输入。另外，同样如图1中虚线所示，也可从多个输入图像中选择设为参照图像的输入图像。

最小差分映射数据27是由图像处理用数据产生部10所产生的最小差分映射的数据，将该数据构成的一例示于表1。

表1(最小差分映射数据27)

最小差分映射数据27中，将构成输入图像的像素271、对应于该像素271的最小差分值273、及对应于该最小差分值273的图像编号275建立对应地予以存储。

[1-2.原理]

图3是用于说明最小差分映射数据产生的顺序的原理图。该原理图中，以实线表示图像或数据，以粗实线表示进行处理的功能块，而区别两类。其他原理图也相同。

首先，差分值计算部11针对多个输入图像的每一个，对每一处理像素单元算出像素值的差分值作为表示该输入图像与参照图像的相对关系的相对值。本实施方式中，设为如下情况而进行说明：将处理像素单元设为1像素，且对构成输入图像的所有像素分别算出差分值。即，设为如下情况而进行说明：以像素单元算出输入图像与参照图像的差分值。

其次，最小差分输入图像判定部17将针对多个输入图像的每一个对每一像素所算出的差分值成为最小的输入图像(以下，称为“最小差分输入图像”)判定为满足特定条件的输入图像。本实施方式中，将特定条件设为差分值成为最小而进行说明。具体而言，最小差分输入图像判定部17针对各像素的每一个，确定对多个输入图像的每一个所算出的差分值中成为最小的值并判定为最小差分值，将被算出该最小差分值的输入图像判定为最小差分输入图像。

然后，最小差分映射数据产生部19产生表1的最小差分映射数据27，所述最小差分映射数据27是将由最小差分输入图像判定部17所判定的最小差分值273与最小差分输入图像的图像编号275按像素271建立对应地予以存储。

[1-3.处理的流程]

图4是表示图像处理用数据产生部10依照存储于存储部20中的最小差分映射数据产生程序21而执行的最小差分映射数据产生处理的流程的流程图。

首先，图像处理用数据产生部10针对输入图像与参照图像的各组合的每一个进行循环(loop)A的处理(步骤A1～步骤A11)。

循环A的处理中，差分值计算部11针对所述组合中所包含的输入图像与参照图像的组合，进行以像素单元算出各所述输入图像的像素值与所述参照图像的像素值的差分值的差分值计算处理(步骤A5)。然后，图像处理用数据产生部10将处理移至下一输入图像与参照图像的组合。对所有输入图像与参照图像的组合进行过所述处理之后，图像处理用数据产生部10结束循环A的处理(步骤A11)。

之后，图像处理用数据产生部10针对各像素的每一个进行循环C的处理(步骤A13～步骤A21)。循环C的处理中，最小差分输入图像判定部17判定所述像素的最小差分值(步骤A15)。而且，最小差分输入图像判定部17判定最小差分输入图像(步骤A17)。

然后，最小差分映射数据产生部19将所述像素271、步骤A15中所判定的最小差分值273、及步骤A17中所判定的最小差分输入图像的图像编号275建立对应地存储于存储部20的最小差分映射数据27中(步骤A19)。

通过对所有像素进行步骤A15～步骤A19的处理，而完成最小差分映射数据27。然后，图像处理用数据产生部10结束循环C的处理(步骤A21)，且结束最小差分映射数据产生处理。

[1-4.作用效果]

图像处理用数据产生装置1中，差分值计算部11针对多个输入图像的每一个，按像素算出像素值的差分值作为表示所述输入图像与规定的参照图像的相对关系的相对值。然后，最小差分输入图像判定部17按像素将由差分值计算部11所算出的差分值成为最小的输入图像判定为满足特定条件的输入图像。而且，最小差分映射数据产生部19产生将最小差分值与最小差分输入图像的图像编号建立对应地予以存储的最小差分映射数据27。如此产生的最小差分映射数据27可用于各种图像处理。

[2.第二实施方式]

接下来，对图像处理装置3的实施方式进行说明。图像处理装置3是包括第一实施方式中所说明的图像处理用数据产生装置1的装置，且是如下装置：输入拍摄多张拍摄对象物与除此以外的多余物体混合存在的状况下的图像(帧图像)所得的拍摄图像作为输入图像，使用所述多个输入图像，产生去除多余物体后的图像并输出。所述图像处理装置3可应用于智能手机(smartphone)或平板终端(tablet terminal)、数码相机(digital camera)、个人数字助理(Personal Digital Assistant，PDA)、个人计算机(personal computer)等具有拍摄功能的各种电子设备。

[2-1.功能构成]

图5是表示图像处理装置3的功能构成的一例的框图。

图像处理装置3包括处理部100、操作部200、显示部300、通信部400、摄像部500、时钟部600、及存储部800。

处理部100是如下处理装置，即，依照存储于存储部800中的***程序等各种程序而总括地控制图像处理装置3的各部，或进行与图像处理有关的各种处理，且包含CPU或DSP等处理器、或者ASIC等集成电路而构成。

处理部100包括图像处理用数据产生部110、基准图像设定部120、分析用图像产生部130、前景候补区域检测部140、前景候补区域可靠度判定部150、图像修正部160、及显示控制部170作为主要的功能部。所述功能部的功能将在后文进行叙述。

而且，图像处理用数据产生部110包括差分值计算部111、合成比率设定部112、背景图像产生部113、背景差分值计算部114、非基准最小差分输入图像判定部117、及非基准最小差分映射数据产生部119作为主要的功能部。所述功能部的功能将在后文进行叙述。

操作部200包含操作按钮(button)或操作开关(switch)、鼠标(mouse)等用于供使用者(user)对图像处理装置3进行各种操作输入的输入装置而构成。而且，操作部200包含与显示部300一体构成的触摸面板(touch panel)250，该触摸面板250作为使用者与图像处理装置3之间的输入接口(interface)发挥功能。从操作部200将依照使用者操作的操作信号输出至处理部100。

显示部300是包含液晶显示器(Liquid Crystal Display，LCD)等而构成的显示装置，进行基于从处理部100输出的显示信号的各种显示。显示部300与触摸面板250一体构成而形成触摸屏(touch screen)。在显示部300显示拍摄图像或修正图像等各种图像。

通信部400是用以在与外部的信息处理装置之间收发装置内部所利用的信息的通信装置。作为通信部400的通信方式，可应用如下等各种方式：经由依据规定的通信标准的电缆(cable)进行有线连接的形式、或经由被称为托架(cradle)的兼用作充电器的中间装置进行连接的形式、利用近距离无线通信进行无线连接的形式。

摄像部500是构成为可拍摄任意场景的图像的摄像装置，包含电荷耦合器件(ChargeCoupled Device，CCD)图像传感器(image sensor)或互补金属氧化物半导体(ComplementaryMOS，CMOS)图像传感器等摄像元件而构成。摄像部500将光信号转换为电信号，且将数字化的拍摄图像的数据输出至处理部100。

时钟部600是图像处理装置3的内部时钟，包含例如作为晶体振子及振荡电路的晶体振荡器而构成。时钟部600的计时时刻随时输出至处理部100。

存储部800是包含ROM或电可擦可编程只读存储器(Electrically-Erasable ProgrammableRead-Only Memory，EEPROM)、快闪存储器、RAM等易失性或非易失性的存储器、或者硬盘装置等而构成的存储装置。存储部800存储用于供处理部100控制图像处理装置3的***程序、以及用于进行各种图像处理的程序及数据。

本实施方式中，在存储部800中存储有图像处理程序810，所述图像处理程序810由处理部100读出并作为图像处理(参照图10及图11)而执行。图像处理程序810包含以下程序作为子程序(subroutine)：最小差分映射数据产生程序21，作为最小差分映射数据产生处理(参照图4)而执行；背景图像产生程序820，作为背景图像产生处理(参照图12)而执行；前景候补区域检测程序830，作为前景候补区域检测处理(参照图13)而执行；前景候补区域可靠度判定程序840，作为前景候补区域可靠度判定处理(参照图14)而执行；以及图像修正程序850，作为图像修正处理(参照图15)而执行。所述处理将在后文使用流程图进行详细叙述。

而且，在存储部800中存储有多个图像数据870，并且包含作为图像输出用缓冲区(buffer)的输出缓冲区880。

图6是表示图像数据870的数据构成的一例的图。

在图像数据870中，存储有拍摄图像数据871、非基准最小差分映射数据873、背景图像数据875、前景候补区域数据877、及修正图像数据879。

拍摄图像数据871是由摄像部500所拍摄的拍摄图像经数字化而成的数据，且将拍摄日期时间871a、用于唯一地识别各拍摄图像(输入图像)的图像编号871b、及包含所述拍摄图像的各像素的像素值的像素值数据871c建立对应地存储有多个。

拍摄日期时间871a是基于时钟部600的计时时刻而由处理部100存储于拍摄图像数据871中。而且，处理部100依照规定的规则来设定图像编号871b，并建立对应地存储于拍摄图像数据871中。例如，按摄像部500进行拍摄的顺序，基于各个拍摄图像的拍摄日期时间871a，例如按拍摄图像的拍摄时刻从前到后从1开始依次分配图像编号871b。另外，也可按拍摄图像的拍摄时刻从后到前从1开始依次分配图像编号871b。此外，在拍摄时自动地附加图像名的情况下(自动地附加图像文件名(file name)的情况下)，也可按拍摄图像的图像名(Image1、Image2、Image3、…)的顺序分配图像编号871b。

非基准最小差分映射数据873是由非基准最小差分映射数据产生部119产生的图像处理用数据。所述非基准最小差分映射数据873将在后文进行详细叙述。

背景图像数据875是将背景图像的像素值针对每一像素予以存储的数据。本实施方式中，所谓背景图像，理想而言是指拍摄对象物作为前景映出，而其他的多余物体未作为前景映出的图像。因为多余物体可能在拍摄场景中存在各种，所以难以去除全部多余物体。因此，本实施方式中，通过将存在拍摄对象物以外的移动物体的区域作为前景候补区域检测出，并修正对应于该前景候补区域的图像区域，而产生去除拍摄对象物以外的移动物体后的图像。背景图像虽也可通过如下方式获取，例如将拍摄对象物配置于拍摄场景中，以不映入其他移动物体的方式进行拍摄，但本实施方式中，设为使用从摄像部500输入的多个拍摄图像自动产生背景图像而进行说明。

前景候补区域数据877是与前景候补区域有关的数据，将该数据构成的一例示于表2。本实施方式中，将图像中的拍摄对象物以外的移动物体所占据的区域定义为前景候补区域。

表2(前景候补区域数据877)

在前景候补区域数据877中，建立对应地存储有：标号(label)877a，是用于唯一地识别所检测出的前景候补区域的识别信息；构成像素877b，是构成所述前景候补区域的像素的集合；所述前景候补区域的作为前景候补的可靠度877c；以及修正旗标(flag)877d，表示是否将所述前景候补区域设为修正对象。修正旗标877d相当于存储有是否需要对各前景候补区域进行图像修正的图像修正需要与否数据。另外，前景候补区域的检测方法及前景候补区域的可靠度的判定方法将在后文进行详细叙述。

此处，也可进行算出所检测出的前景候补区域的轮廓线的轮廓线计算处理，将该轮廓线计算处理中所算出的轮廓线与对应的前景候补区域的标号877a建立对应地存储于所述前景候补区域数据877中。具体而言，例如，判定位于前景候补区域中的端部的像素，并作为构成轮廓线的像素算出。然后，将包含这些构成轮廓线的像素的一组数据作为轮廓线数据存储于前景候补区域数据877中。

另外，算出前景候补区域的轮廓线并将轮廓线数据存储于前景候补区域数据877中的时序(timing)既可设为例如检测出前景候补区域的时序，也可设为将前景候补区域的轮廓线显示于显示部300的时序。只要是检测出前景候补区域之后的时序，则可基于前景候补区域的数据在任意的时序算出轮廓线。

修正图像数据879是如下数据：包含通过图像修正部160对规定的修正对象图像进行图像修正处理而获得的修正图像的各像素的像素值。本实施方式中，设为如下情况而进行说明：将由基准图像设定部120所设定的基准图像作为修正对象图像而进行图像修正处理。

输出缓冲区880是用以暂时存储图像修正部160进行图像修正处理时所使用的修正对象图像的像素值的缓冲区，且所述输出缓冲区880中处理过的修正图像利用显示控制部170而控制显示于显示部300。

[2-2.原理]

图7是用于说明图像处理装置3中图像处理用数据产生部110产生非基准最小差分映射数据873的顺序的原理图。

首先，背景图像产生部113使用针对每一图像设定的合成比率(权重)将一连串的输入图像进行加权平均，由此产生背景图像。各输入图像的合成比率例如可基于输入图像间的相似度而设定。具体而言，基于规定的特征(例如边缘(edge))来判定一连串的输入图像的相似度，对相似度越高的输入图像设定越大的合成比率，且使用该设定的权重将一连串的输入图像进行加权平均。由此，输入图像间共同的区域、即背景区域的合成比率变高，另一方面，可使输入图像间不同的区域、即前景区域的合成比率变低，因此，结果产生强调背景区域的图像。

如此产生的背景图像原理上是映出拍摄对象物且未映出作为前景的其他的多余物体的图像。因此，作为一实施方式，也考虑将该背景图像作为最终的输出图像。

然而，当使用者进行的拍摄并非装置固定的状态等稳定状态下的拍摄，而是在拍摄者手持的状态下进行时，因手震等影响，拍摄图像会模糊，从而有所产生的背景图像也容易产生模糊的问题。另外，当拍摄对象物以外的物体一面移动一面仍留在拍摄场景内时，有该物体移动的区域未被完全地校正，而产生重影的担忧。这种区域是作为前景的可靠度低的区域。因此，本实施方式中，未将背景图像作为最终的输出图像，而将经图像修正处理而获得的修正图像作为最终的输出图像。

然后，背景差分值计算部114以像素单元算出所述输入图像与背景图像的差分值即背景差分值，来作为表示多个输入图像的每一个与由背景图像产生部113所产生的背景图像的相对关系的相对值。

之后，基准图像设定部120从多个拍摄图像中设定成为基准的图像(基准图像)。在基准图像的设定中，例如，将多个拍摄图像分别显示于显示部300，由使用者选择一张拍摄图像，将所选择的拍摄图像设定为基准图像即可。另外，除此以外，也能够以将最初或最后输入的拍摄图像设为基准图像等方式依照规定的规则设定基准图像。

此外，也可进行从多个拍摄图像的每一个中检测特征量的特征量检测处理，并基于检测出的特征量而设定基准图像。作为此时的特征量，例如可列举图像的边缘。具体而言，对多个拍摄图像的每一个进行边缘检测处理，例如将包含最多边缘的拍摄图像设定为基准图像等即可。

本实施方式中，将多个拍摄图像中的基准图像以外的拍摄图像称为非基准图像。而且，将通过针对非基准图像算出与背景图像的差分值而获得的图像称为非基准背景差分图像，将通过算出基准图像与背景图像的差分值而获得的图像称为基准背景差分图像。

图8(a)～图8(c)是表示背景图像、拍摄图像及背景差分图像的一例的图。

图8(a)是表示多个拍摄图像中的一张拍摄图像的图。所述拍摄图像中，除映出作为拍摄对象物的中央部的女性以外，也映出男性行人。

图8(b)是表示使用多个拍摄图像而产生的背景图像的一例的图。观察该背景图像可知，在图像中央部映出作为拍摄对象物的女性，而不存在图8(a)的拍摄图像中映出的男性行人。这是因为利用所述的背景图像的产生而将拍摄对象物的女性作为背景抽出。

图8(c)是表示通过取得所述拍摄图像与背景图像的背景差分而获得的背景差分图像的图。此处，利用背景差分值越大则灰度值越高的灰度(gray scale)的图像来表示背景差分图像。观察该背景差分图像可知，因为成为前景的男性行人的图像部分的灰度值高(发白)，所以背景差分值大。即，可知通过取得背景图像与拍摄图像的背景差分，拍摄对象物以外的移动物体的图像部分会作为前景上浮。

回到图7，非基准最小差分输入图像判定部117基于非基准背景差分图像的像素值，针对每一像素判定非基准最小差分值与对应于非基准最小差分值的输入图像(以下，称为“非基准最小差分输入图像”)。然后，非基准最小差分映射数据产生部119基于非基准最小差分输入图像判定部117的判定结果，而产生非基准最小差分映射数据873，所述非基准最小差分映射数据873是将像素、所述像素的非基准最小差分值、及所述像素的非基准最小差分输入图像建立对应地予以存储。

图9是用于说明前景候补区域检测的原理及前景候补区域可靠度判定的顺序的原理图。

前景候补区域检测部140针对每一像素将从非基准最小差分映射数据873获得的非基准最小差分值与对应于基准差分图像的基准差分值进行比较，由此检测前景候补区域。

具体而言，针对各像素的每一个，算出所述像素的基准差分值与非基准最小差分值的差的绝对值，对该差的绝对值进行阈值判定。当差的绝对值大于阈值时，将该像素判定为构成前景候补区域的像素(以下，称为“前景候补区域构成像素”)。然后，将包含前景候补区域构成像素的一群区域判定为前景候补区域，并对各个前景候补区域分配标号。此处，所谓一群区域是指包含1像素以上的邻接的前景候补区域构成像素的区域。

基准差分图像是通过算出基准图像与背景图像的差分而获得的图像。此处，背景图像是检测出拍摄对象物作为背景的图像，因此，原理上应为不包含除此以外的多余移动物体的图像。另一方面，因为基准图像中可能包含拍摄对象物以外的移动物体，所以基准差分值是作为反映拍摄对象物以外的移动物体的存在的值而算出。因此，当基准图像中存在拍摄对象物以外的移动物体时，存在该移动物体的区域的背景差分值变大。

另一方面，非基准最小差分值是非基准图像与背景图像的差分值中的最小差分值，即便在某非基准图像中映出拍摄对象物以外的移动物体，只要该移动物体未持续停留于同一位置，则该移动物体在其他非基准图像中理应在另一位置映出或脱离帧。因此，未映出拍摄对象物以外的移动物体的非基准图像的差分值被判定为非基准最小差分值的可能性高。

然后，前景候补区域可靠度判定部150判定由前景候补区域检测部140所检测出的前景候补区域的作为前景的可靠度。具体而言，例如算出所述前景候补区域的面积作为前景候补区域的可靠度指标值，对该面积进行阈值判定。具体而言，判定所算出的面积是否大于第一阈值。当面积大于第一阈值时，判定为所述前景候补区域的可靠度高。面积小的前景候补区域为包含基准差分值与非基准最小差分值的差因噪声等而偶发地变大的像素的区域的可能性高，因此，这种前景候补区域设为不可靠。

另外，就其他可靠度指标值而言，例如也可对所述前景候补区域中所包含的像素的非基准最小差分值进行阈值判定，而判定前景候补区域的可靠度。具体而言，例如，判定所述前景候补区域的非基准最小差分值是否小于第二阈值，当小于第二阈值时，判定为所述前景候补区域的可靠度高。在常有物体移动的区域中，有非基准最小差分值变大的倾向。如果对这种区域进行图像修正，有发生问题栏所述的重影的担忧。因此，基于非基准最小差分值来判定前景候补区域的作为前景的可靠度。

另外，也可如后文流程图中作为具体的实施例所述般，预先对非基准最小差分值设定阶段性的阈值，使用这些阈值进行阶段性的阈值处理，从而更仔细地判定前景候补区域的可靠度。

另外，通过对使用者示出如上所述般自动检测出的前景候补区域，使用者能够知晓可将基准图像内的哪一区域作为前景去除。由此，使用者可视需要进行修正对象的指定。

[2-3.处理的流程]

图10及图11是表示处理部100依照存储于存储部800中的图像处理程序810而执行的图像处理的流程的流程图。

首先，处理部100判定由使用者经由操作部200所选择的模式(mode)(步骤B1)。当所选择的模式是“拍摄模式”时(步骤B1：拍摄模式)，处理部100根据使用者的快门(shutter)操作，而控制摄像部500对同一场景进行多张图像的拍摄(步骤B3)。

之后，分析用图像产生部130进行分析用图像产生处理(步骤B5)。然后，基准图像设定部120进行基准图像设定处理(步骤B7)。此时的基准图像的设定方法如上所述。

另外，当使用者进行的拍摄并非图像处理装置3固定的状态等稳定状态下的拍摄，而是在拍摄者手持的状态下进行时，拍摄图像间产生位置偏移的可能性高。因此，考虑到拍摄图像间存在因手震等而产生的偏移，也可对基准图像进行非基准图像的位置对准处理。位置对准处理可应用各种方法，例如可应用使用光流(optical flow)的公知的位置对准方法。该方法中包括块匹配法(block matching method)或梯度法等以往公知的方法。

另外，就分析用图像而言，也可进行使用规定的缩小方法将基准图像及非基准图像分别缩小的缩小处理。将输入图像缩小而产生分析用图像的原因在于，拍摄图像的图像尺寸(size)大，因此，如果以原图像尺寸进行处理，处理负荷会增大。将通过进行所述的位置对准处理及缩小处理而获得的拍摄图像设为分析用图像。拍摄图像的缩小可利用下采样(downsampling)等公知的方法而实现。

接下来，背景图像产生部113依照存储于存储部800中的背景图像产生程序820而进行背景图像产生处理(步骤B9)。

图12是表示背景图像产生处理的流程的流程图。

背景图像产生部113针对分析用图像的不同两张的组合的每一组进行循环D的处理(步骤C1～步骤C11)。

在循环D的处理中，差分值计算部111进行针对所述组合的分析用图像中所包含的各像素的每一个算出差分值的差分值计算处理(C5)。然后，合成比率设定部112进行设定所述组合中所包含的分析用图像的合成比率的合成比率设定处理(步骤C7)。对所有分析用图像的组合进行所述处理之后，背景图像产生部113结束循环D的处理(步骤C11)。

之后，背景图像产生部113使用针对每一像素所设定的合成比率将分析用图像合成而产生背景图像(步骤C13)。然后，背景图像产生部113结束背景图像产生处理。

回到图像处理，进行背景图像产生处理之后，图像处理用数据产生部110将分析用图像设为输入图像，将背景图像设为参照图像(步骤B11)，依照存储于存储部800中的最小差分映射数据产生程序21而进行最小差分映射数据产生处理(步骤B15)。在该最小差分映射数据产生处理中，进行与图4同样的处理，而产生非基准最小差分映射数据873。另外，如上所述，分析用图像是被缩小的图像，因此，最小差分映射数据873成为与分析用图像为相同大小的被缩小的映射数据。

然后，前景候补区域检测部140依照存储于存储部800中的前景候补区域检测程序830而进行前景候补区域检测处理(步骤B17)。

图13是表示前景候补区域检测处理的流程的流程图。

前景候补区域检测部140对各像素的每一个进行循环F的处理(步骤D1～步骤D9)。在循环F的处理中，前景候补区域检测部140针对所述像素，算出基准差分值与存储于非基准最小差分映射数据873中的非基准最小差分值的差分(步骤D3)。

然后，前景候补区域检测部140判定步骤D3中所算出的差分是否大于规定的阈值(步骤D5)，如果判定为大于规定的阈值(步骤D5：是)，则将所述像素的前景候补旗标设定为“开启”(步骤D7)。接着，前景候补区域检测部140将处理移至下一像素。对所有像素进行所述处理之后，前景候补区域检测部140结束循环F的处理(步骤D9)。

另外，也可在步骤D3中，设为算出基准差分值与非基准最小差分值的比而非基准差分值与非基准最小差分值的差分，且在步骤D5中，设为对基准差分值与非基准最小差分值的比进行阈值判定。

然后，前景候补区域检测部140基于各像素的前景候补旗标而检测前景候补区域。具体而言，将包含前景候补旗标被设定为“开启”的像素的一群区域作为前景候补区域检测出。接着，前景候补区域检测部140对检测出的前景候补区域分配标号877a并将其存储于前景候补区域数据877中，且将构成各前景候补区域的像素作为构成像素877b与标号877a建立对应地予以存储之后(步骤D15)，结束前景候补区域检测处理。

另外，因为非基准最小差分映射数据873是与分析用图像为相同尺寸的被缩小的映射数据，所以前景候补区域数据877成为从缩小后的图像中检测出前景候补区域所得的数据。

回到图像处理，进行前景候补区域检测处理之后，前景候补区域可靠度判定部150依照存储于存储部800中的前景候补区域可靠度判定程序840，进行前景候补区域可靠度判定处理(步骤B19)。

图14是表示前景候补区域可靠度判定处理的流程的流程图。

前景候补区域可靠度判定部150对前景候补区域数据877被分配有标号877a的各前景候补区域的每一个，进行循环G的处理(步骤E1～步骤E21)。在循环G的处理中，前景候补区域可靠度判定部150算出所述前景候补区域的面积(步骤E3)。

然后，前景候补区域可靠度判定部150判定步骤E3中所算出的面积是否超过第一阈值(步骤E7)。而且，如果判定为满足该条件(步骤E7：是)，则前景候补区域可靠度判定部150判定所述前景候补区域内的非基准最小差分值是否低于第二阈值(步骤E9)。

如果步骤E9中条件成立(步骤E9：是)，则前景候补区域可靠度判定部150将所述前景候补区域的可靠度判定为“高”(可以替换)，并存储于前景候补区域数据877的可靠度877c中(步骤E11)。

如果步骤E9中条件不成立(步骤E9：否)，则前景候补区域可靠度判定部150判定所述前景候补区域内的非基准最小差分值是否低于比第二阈值大的第三阈值(步骤E13)，如果判定为满足该条件(步骤E13：是)，则将所述前景候补区域的可靠度判定为“中”(注意替换)，并存储于前景候补区域数据877的可靠度877c中(步骤E15)。

如果步骤E13中条件不成立(步骤E13：否)，则前景候补区域可靠度判定部150将所述前景候补区域的可靠度判定为“低”(不可替换)，并存储于前景候补区域数据877的可靠度877c中(步骤E17)。然后，前景候补区域可靠度判定部150将处理移至下一前景候补区域。

如果步骤E7中条件不成立(步骤E7：否)，则前景候补区域可靠度判定部150将所述前景候补区域从处理对象中除外，并从前景候补区域数据877中删除所述前景候补区域(步骤E19)。然后，前景候补区域可靠度判定部150将处理移至下一前景候补区域。

在步骤E11或步骤E15之后，前景候补区域可靠度判定部150将所述前景候补区域判定为替换候补的区域(以下，称为“替换候补区域”)。即，将可靠度为“高”(可以替换)或“中”(注意替换)的前景候补区域判定为替换候补区域。然后，前景候补区域可靠度判定部150将处理移至下一前景候补区域。

替换候补区域是设为将所述区域中所包含的像素值替换为另一拍摄图像的像素值的候补的区域。也可换言之为可替换区域。另外，就由另一拍摄图像的像素值来置换所述区域中所包含的像素值的含义而言，也可换言之为置换候补区域或可置换区域。

本实施方式中，将可靠度被判定为“高”或“中”的前景候补区域设为替换候补区域而进行说明，但并不限于此，例如，也可设为可靠度被判定为“低”的前景候补区域也包含在替换候补区域内。此时，可靠度“低”的前景候补区域虽成为替换候补，但作为替换危险的区域(替换危险)、换言之为替换的风险(risk)高的区域来处理即可。

对所有前景候补区域进行步骤E3～步骤E19的处理之后，前景候补区域可靠度判定部150结束循环G的处理(步骤E21)，从而结束前景候补区域可靠度判定处理。

回到图像处理，进行前景候补区域可靠度判定处理之后，显示控制部170在原本大小的基准图像上重叠与替换候补区域的可靠度相应的掩模(mask)并覆盖(overlay)显示于显示部300(步骤B23)。

具体而言，将存储于前景候补区域数据877中的前景候补区域中可靠度为“高”或“中”的前景候补区域设为替换候补区域，且将基于产生分析用图像时的拍摄图像的缩小率而扩大成原尺寸的替换候补区域显示于基准图像上的对应的位置。此时，将根据可靠度而附加有不同颜色的替换候补区域覆盖显示于基准图像上。例如，可设为如下等：可靠度为“高”的替换候补区域为可以替换，因此以“绿色”显示，可靠度为“中”的替换候补区域为注意替换，因此以“黄色”显示。通过进行这种显示，可实现直观上易于知晓的可靠度的显示。

另外，如上所述，也可将可靠度为“低”的前景候补区域包含在替换候补区域内。此时，设为如下等即可：可靠度为“低”的替换候补区域为替换危险，因此以“红色”显示。

另外，除将根据可靠度而区分颜色的替换候补区域重叠显示于基准图像上以外，例如，也可将根据可靠度而区分颜色的替换候补区域的轮廓重叠显示于基准图像上等。例如，也可设为如下等：可靠度为“高”的替换候补区域以绿色的轮廓线显示替换候补区域的轮廓，可靠度为“中”的替换候补区域以黄色的轮廓线显示替换候补区域的轮廓，可靠度为“低”的替换候补区域以红色的轮廓线显示替换候补区域的轮廓。

接下来，处理部100根据使用者的操作而判定是否变更基准图像(步骤B25)，如果判定为变更(步骤B25：是)，则使处理回到B7。另一方面，如果判定为不变更(步骤B25：否)，则处理部100判定是否感测到使用者经由触摸面板250的点击操作(步骤B29)，当未感测到时(步骤B29：否)，将处理移至步骤B41。

另一方面，如果感测到点击操作(步骤B29：是)，则处理部100判定该点击位置是否包含在任一替换候补区域内(步骤B31)。而且，如果判定为包含在任一替换候补区域内(步骤B31：是)，则处理部100将前景候补区域数据877的所述替换候补区域的修正旗标877d设定为“开启”(步骤B33)。

之后，处理部100判定是否已由使用者经由操作部200实施了修正执行操作(步骤B35)，如果判定为未实施(步骤B35：否)，则将处理移至步骤B41。

另一方面，如果判定为已实施了修正执行操作(步骤B35：是)，则图像修正部160依照存储于存储部800中的图像修正程序850而进行图像修正处理(步骤B37)。

图15是表示图像修正处理的流程的流程图。

首先，图像修正部160将基准图像复制(copy)到输出缓冲区880(步骤F1)。然后，图像修正部160对非基准图像依次进行移动校正(移动补偿)(步骤F3)。此时的移动校正可通过如下方式实现：例如，检测当前的非基准图像与前一非基准图像之间的移动(局部的图像的移动或左右/上下移动)，对前一非基准图像进行所检测出的移动量的校正。移动量可通过算出图像中的移动矢量(vector)等而检测出。

之后，图像修正部160参照前景候补区域数据877，将修正旗标877d被设定为“开启”的替换候补区域设为修正对象候补区域(步骤F5)。然后，图像修正部160对各修正对象候补区域的每一个进行循环H的处理(步骤F7～步骤F21)。

在循环H的处理中，图像修正部160对所述修正对象候补区域中所包含的各像素的每一个进行循环J的处理(步骤F9～步骤F19)。在循环J的处理中，对各非基准图像的每一个进行循环K的处理(步骤F11～步骤F17)。

在循环K的处理中，图像修正部160判定所述非基准图像的图像编号、与存储于非基准最小差分映射数据873中的非基准最小差分图像的图像编号是否一致(步骤F13)。如果判定为不一致(步骤F13：否)，则跳过(skip)步骤F15的处理。

另一方面，如果判定为图像编号一致(步骤F13：是)，则图像修正部160针对所述像素，执行使用所述非基准图像的像素值来修正基准图像的像素值的像素值修正处理(步骤F15)。此处，像素值的修正既可通过利用非基准图像的像素值来置换(替换)而进行，也可通过使用规定的权重将基准图像与非基准图像加权平均而进行。另外，该权重也可在全体图像中并不相同，而使用基准图像与非基准图像的相似度(像素的亮度或明度的差)等对每一像素进行算出。

本实施方式中，通过使用非基准图像的像素值来修正基准图像的像素值，可消去前景候补区域中所包含的移动被摄物。将如此消去移动被摄物的图像修正处理的称为“替换处理”，与后述的“遮盖处理”加以区别。

对所有非基准图像进行步骤F13及步骤F15的处理之后，图像修正部160结束循环K的处理(步骤F17)。接着，对所有像素进行循环K的处理之后，图像修正部160结束循环J的处理(步骤F19)。然后，对所有修正对象候补区域进行所述处理之后，图像修正部160结束循环H的处理(步骤F21)。

接下来，图像修正部160将存储于输出缓冲区880中的包含各像素的像素值的数据作为修正图像数据879而存储于存储部800中(步骤F23)。然后，图像修正部160结束图像修正处理。

回到图像处理，进行图像修正处理之后，显示控制部170将存储于输出缓冲区880中的包含像素值的修正图像控制显示于显示部300(步骤B39)。

然后，处理部100判定是否已由使用者经由操作部200实施了修正模式的结束操作(步骤B41)。如果判定为未实施修正模式的结束操作(步骤B41：否)，则处理部100回到步骤B25。另外，如果判定为已实施了修正模式的结束操作(步骤B41：是)，则处理部100结束图像处理。

另一方面，如果步骤B1中判定为已由使用者选择了“图像阅览模式”(步骤B1：图像阅览模式)，则显示控制部170将保存于存储部800中的图像的图像数据870的一览控制显示于显示部300。然后，处理部100根据来自操作部200的使用者操作，从一览显示的图像数据870中选择一图像数据870(步骤B45)。

接着，处理部100结束图像阅览模式之后，将处理移至步骤B5。以后的处理相同，对由使用者选择的图像数据870新设定基准图像，并进行后段的图像处理。

[2-4.前景候补区域的显示方式]

由前景候补区域检测部140及前景候补区域可靠度判定部150所求出的与前景候补区域有关的信息经由显示部300而返回给使用者。此时，通过将与前景候补区域有关的信息适当视觉化，使用者可容易地掌握应设为修正对象的候补区域。

替换候补区域是设为将所述区域中所包含的像素值替换为另一拍摄图像的像素值的候补的区域。也可换言之为可替换区域。而且，就由另一拍摄图像的像素值来置换所述区域中所包含的像素值的含义而言，也可换言之为置换候补区域或可置换区域。另外，本实施方式中表示以“高”“中”“低”的三个等级来评价可靠度的情况的例。

例如，将存储于前景候补区域数据877中的前景候补区域设为替换候补区域，且将基于产生分析用图像时的拍摄图像的缩小率而扩大成原尺寸的替换候补区域显示于基准图像上的对应的位置。通过覆盖显示于基准图像上，使用者可直观地掌握要修正的基准图像的区域。

此处，也可将存储于所述前景候补区域数据877中的前景候补区域的轮廓线与替换候补区域一起显示。通过显示轮廓线，即便覆盖显示的替换候补区域的颜色与基准图像的所述区域的颜色类似，也可提高视觉辩认度。另外，也可如后所述，利用于与前景候补区域有关的随附信息的显示。

当将替换候补区域覆盖显示于基准图像上时，也可根据可靠度而对区域附加不同颜色。例如，可设为如下等：可靠度为“高”的替换候补区域为可以替换，因此以“绿色”显示，可靠度为“中”的替换候补区域为注意替换，因此以“黄色”显示。另外，可靠度为“低”的替换候补区域为替换危险，因此以“红色”显示等即可。更佳的是，在此覆盖显示中，使用者以能够容易辨识可替换内容的方式，而可设定为规定的不透明度(例如50％)。通过进行这种显示，可实现直观上易于知晓的可靠度的显示。

另外，除将根据可靠度而区分颜色的替换候补区域重叠显示于基准图像上以外，例如，也可将根据可靠度而区分颜色的替换候补区域的轮廓重叠显示于基准图像上等。例如，也可设为如下等：可靠度为“高”的替换候补区域以绿色的轮廓线显示替换候补区域的轮廓，可靠度为“中”的替换候补区域以黄色的轮廓线显示替换候补区域的轮廓，可靠度为“低”的替换候补区域以红色的轮廓线显示替换候补区域的轮廓。

另外，也可将以存储于所述前景候补区域数据877中的前景候补区域或替换候补区域的重心位置为中心的圆等图形、或记号、文字等重叠显示于基准图像上。由此，使用者可直观地掌握要修正的基准图像的对象物的位置。以重心位置为中心的圆等图形、或记号、文字等的显示尤其在如下情况下有效：当多个人物或物体重合时等，仅利用轮廓线在视觉上难以知晓。重心位置既可设为例如当使前景候补区域或替换候补区域近似矩形时的成为中心的位置，也可设为从前景候补区域或替换候补区域的外周的多个点向所述区域内部方向的距离的偏差成为最小的位置。

另外，以所述重心位置为中心的圆等图形、或记号、文字等可与轮廓线同时地显示于同一图像上。此外，也可只显示当初以所述重心位置为中心的图形、记号、文字等，其后，通过使用者选择以所述重心位置为中心的图形、记号、文字等，而显示出对应该重心位置的对象物的轮廓线。此外，也可与所述轮廓线的情况同样地根据可靠度而区分颜色显示。

在本实施方式中，将所检测出的所有前景候补区域设为替换候补区域而进行说明，但并不限于此，例如，也可将可靠度被判定为“低”的前景候补区域不包含在替换候补区域内，从而使用者无法修正。另外，也可将可靠度为“低”的区域也进行显示，从而使用者也可将其选择为修正候补，但在选择时以对话(dialogue)的形式显示无法进行适当修正的内容等，来强调进行修正的风险高，有无法实施适当的图像修正的可能性。

[2-5.实验结果]

图16(a)～图16(d)是表示替换候补区域显示图像及修正图像的一例的图。

图16(a)中表示与图8(a)所示的拍摄图像相同的拍摄图像。使用包含该拍摄图像的多个拍摄图像进行前景候补区域检测处理，并进行前景候补区域可靠度判定处理，由此，将如图16(b)所示的映出男性行人的前景候补区域作为替换候补区域R检测出。设该替换候补区域R的可靠度为“高”。

此时，如图16(c)所示，将根据可靠度而区分颜色的替换候补区域R覆盖显示于基准图像上(图11的步骤B23)。具体而言，因为替换候补区域R的可靠度为“高”，所以替换候补区域R以绿色显示。进而，使用者通过将替换候补区域R设定为规定的不透明度(例如50％)并在基准图像上进行覆盖显示，而能够容易地掌握执行替换的结果所得到的修正效果。继而，使用者点击显示图像中的替换候补区域R的部分，以将替换候补区域R作为修正对象(图11的步骤B29)而选择，进而选择修正执行操作的执行(图11的步骤B35：是)，藉此对替换候补区域R执行图像修正处理(图11的步骤B37)。

另外，图16(b)中也一并表示替换候补区域R的轮廓线与重心位置的显示例。轮廓线与重心位置也可对应于可靠度而区分颜色。此外，也可设为使用者可视需要分别选择显示与不显示于画面上。此外，即使在设定成图16(c)的规定的不透明度的替换候补区域R也同样可以执行轮廓线和重心位置的显示。

该图像修正处理的结果为，获得如图16(d)所示的修正图像。观察该修正图像可知，图16(a)的拍摄图像中存在男性行人的区域的像素值使用非基准最小差分图像的像素值来进行修正，而获得消去作为移动被摄物的男性行人后的修正图像。

图17(a)～图17(d)是表示替换候补区域显示图像及修正图像的另一例的图。

图17(a)中表示隔开一定的时间间隔所拍摄的5张拍摄图像。这些拍摄图像是以建筑物为拍摄对象物，且以建筑物的入口位于中央部分的方式进行拍摄的图像。可知这些拍摄图像中，除映出作为拍摄对象物的建筑物以外，也映出多个行人作为前景。

将通过基于图17(a)的拍摄图像算出非基准最小差分值而获得的非基准最小差分图像示于图17(b)。观察该非基准最小差分图像可知，在比拍摄图像的中央稍靠左侧的区域，算出大的非基准最小差分值。这是因为所述区域的行人多，拍摄图像中映出多个行人，所以作为非基准最小差分值而算出大的值。

对图17(a)的拍摄图像进行前景候补区域的检测的结果为图17(c)。观察此图可知，作为前景候补区域检测出R1～R6的6个区域(图13的步骤D11)。对这些前景候补区域R1～前景候补区域R6进行可靠度判定处理而判定可靠度的结果为，R1的可靠度被判定为“高”(可以替换)(图14的步骤E11)，R2及R3的可靠度被判定为“中”(注意替换)(图14的步骤E15)，R6的可靠度被判定为“低”(不可替换)(图14的步骤E17)。而且，R4及R5因为前景候补区域的面积小，所以从可靠度判定处理对象中除外(图14的步骤E19)。结果为，前景候补区域R1～前景候补区域R3被判定为替换候补区域。

图17(d)是表示替换候补区域的显示图像的一例的图。观察此图可知，基于替换候补区域R1～替换候补区域R3的可靠度，区分颜色地将R1显示为绿色，将R2及R3显示为黄色(图11的步骤B23)。另外，前景候补区域R4～前景候补区域R6因为未被判定为替换候补区域，所以从显示中除外。通过使用者点击替换候补区域R1～替换候补区域R3的任一个(图11的步骤B29：是)，而修正与所点击的替换候补区域相应的图像部分(图11的步骤B37)，且显示修正图像(图11的步骤B39)。

另外，所述实施方式中，设为通过使用者点击替换候补区域而执行图像修正处理，但在图像修正处理的执行前，显示预览(preview)画面也有效，所述预览画面是将设定为规定的不透明度(例如50％)的修正预定的图像重叠显示于拍摄图像上。

回到图17(a)～图17(d)，具体而言，设为在将替换候补区域R重叠显示于图17(a)的拍摄图像上之后，在使用者触摸替换候补区域R的部分的期间(长按压中)，在暂时替换候补区域R的区域显示修正预定的图像。此时，也可通过将修正预定的图像设定为规定的不透明度，而透视到图17(a)的拍摄图像。

之后，例如，设为当使用者的手指离开画面后经过一定的时间时，修正预定的图像的显示消失。而且，设为通过在使用者的手指暂时离开显示画面后仍显示修正预定的图像的期间，双击(double tap)替换候补区域R的区域，而对替换候补区域R执行图像修正处理。

另外，也可在设定为规定的不透明度的替换候补区域R，显示对应于可靠度的颜色的影线(hatching)、轮廓线或重心位置。由此，使用者可在实际的修正处理执行前容易地掌握进行替换而获得的修正图像。

另外，也可在前景候补的检测～替换候补区域的决定中，附加不删除使用者预先指定的区域中所检测出的前景候补区域的保护处理、或必须删除的强制删除处理。

具体而言，回到图17(a)～图17(d)，例如也可设为使用者预先将建筑物的左侧深处的存在R4～R6的附近指定为保护区域。于是，在该区域内所检测出的前景候补区域不论其面积或可靠度如何，均被保护为不可替换，而不成为删除的对象。另一方面，例如也可设为使用者预先将建筑物的左侧深处的存在R4～R6的附近指定为强制删除区域。于是，位于该区域的所检测出的前景候补区域不论可靠度或面积如何，均强制地删除。

另外，保护区域及强制删除区域的指定的方法利用如下等公知的方法进行即可：使用个人计算机或便携设备中预先准备的图像软件，用手指或手写笔(pen tablet)等在画面上以矩形圈出想要指定的范围。通过附加这种功能，可更容易地获得使用者所希望的修正图像。

[2-6.作用效果]

在图像处理装置3中，基准图像设定部120从多个拍摄图像中设定基准图像。而且，非基准最小差分输入图像判定部117按像素判定除基准图像以外的非基准图像中差分值最小的非基准最小差分值、及对应于所述非基准最小差分值的非基准图像作为非基准最小差分图像。而且，非基准最小差分映射产生部119基于非基准最小差分输入图像判定部117的判定结果，产生最小差分映射数据873，所述最小差分映射数据873是将非基准最小差分值与非基准最小差分图像建立对应地针对每一像素予以存储。即，图像处理装置3也作为图像处理用数据产生装置发挥功能。

前景候补区域检测部140针对每一像素比较通过对基准图像算出与背景图像的背景差分而获得基准差分值、与存储于非基准最小差分映射数据873中的非基准最小差分值，将包含基准差分值与非基准最小差分值相差一定以上的像素的区域作为前景候补区域检测出。即，图像处理装置3也作为检测前景候补区域的前景候补区域检测装置发挥功能。

另外，前景候补区域可靠度判定部150判定由前景候补区域检测部140检测出的前景候补区域的作为前景的可靠度。而且，显示控制部170基于可靠度的判定结果，将各前景候补区域的可靠度以使用者可区别的显示方式控制显示于显示部300。由此，使用者一看便可掌握各前景候补区域的作为前景的可靠度，而容易地判断应修正的前景候补区域，从而可指示装置进行前景候补区域的修正。

另外，图像修正部160感测对触摸面板250的点击操作，当该点击位置包含在前景候补区域内时，修正基准图像中的与所述前景候补区域相应的图像区域。而且，显示控制部170将修正图像控制显示于显示部300。即，图像处理装置3也作为图像修正装置发挥功能。由此，使用者确认基准图像之后，判断为存在多余物体时，通过点击该部分，而可获取去除多余物体后的图像。

另外，前景候补区域可靠度判定部150将面积小于规定阈值的前景候补区域从处理对象中除外。如果将面积小的前景候补区域设为替换候补区域而全部予以显示，会显示多个因噪声(noise)等而产生的细小的前景候补区域，有对使用者而言麻烦的问题。另外，这种面积小的前景候补区域有即便进行修正，也难以知晓其效果的问题。通过将面积小的前景候补区域从处理对象中除外，可避免这种问题。

另外，前景候补区域可靠度判定部150将非基准最小差分值大的前景候补区域的可靠度判定为“低”，且设为不可替换。在常有物体移动的区域中，存在非基准最小差分值变大的倾向，如果对这种区域进行图像修正，有产生重影的担忧。但是，通过将非基准最小差分值大的前景候补区域的可靠度判定为“低”，且设为不可替换，而将所述前景候补区域从替换候补中除外，所以可避免进行产生重影般的图像修正。

[3.第三实施方式]

第三实施方式是如下实施方式：将所述实施方式中所说明的图像修正处理的一例即替换处理与另一图像修正处理的一例即遮盖处理(也称为粘贴处理)组合，而进行拍摄对象物以外的移动被摄物的消去。

如第二实施方式中所说明，在前景候补区域的可靠度低的情况下，也可通过使用者的指定等进行替换处理，但此时，结果有无法获得合适的修正图像的可能性。因此，对于这种可靠度低的前景候补区域，作为与替换处理不同的图像修正处理，如下所示的遮盖处理变得有效。

具体而言，从基准图像的前景候补区域中，设定作为遮盖对象的区域(以下，称为“遮盖对象区域”)。然后，从(1)基准图像本身、(2)多个输入图像中的任一输入图像、(3)保存于其他数据库(data base)中的图像的任一图像中探索与遮盖对象区域内的小区域类似的小区域，利用探索所得的类似的小区域的像素的像素值来置换基准图像中的遮盖对象区域内的小区域的像素的像素值。即，从修正用图像中探索与所述前景候补区域的图像数据类似的图像数据，并执行粘贴于修正对象图像的所述前景候补区域的处理作为图像修正处理。

此时，通过从遮盖对象区域的外缘部向该区域内部方向依次进行所述遮盖处理，而防止遮盖区域与其外侧的区域的交界部分的明显化。作为所述类似的小区域的探索时的类似的判定基准，例如算出像素值(亮度或明度)的差的平方即可。

另外，也可设为对可靠度为“高”或“中”的前景候补区域进行替换处理来进行图像修正，对可靠度为“低”的前景候补区域进行遮盖处理来进行图像修正等，根据前景候补区域的可靠度而切换图像修正处理，进行对应于前景候补区域的图像区域的修正。

另外，也可设为使用者可选择执行替换处理与遮盖处理的哪一图像修正处理，而执行由使用者选择的图像修正处理来进行图像的修正。

[4.变形例]

可应用本发明的实施例并不限定于所述实施例，当然在不脱离本发明的主旨的范围内可进行适当变更。以下，对变形例进行说明，对于与所述实施例相同的构成附加相同的符号，并省略再次的说明。

[4-1.电子设备]

图像处理装置3可配备于智能手机或相机、数码相机、平板终端、PDA、个人计算机等电子设备中。只要是包括摄像部的电子设备，则可使各种电子设备配备本发明的图像处理装置3而加以利用。

另外，也可设为使用者对图像处理装置3中显示于显示部300的替换候补区域进行点击操作，而将图像处理装置3所修正的图像显示于其他信息处理装置的显示部。具体而言，例如当将图像处理装置3设为智能手机时，使用者将手边的智能手机与个人计算机进行通信连接。然后，使用者进行点击显示于智能手机的显示器上的替换候补区域的点击操作。智能手机的处理部感测到使用者的点击操作而进行图像修正处理，且将修正图像发送至个人计算机。个人计算机将从智能手机接收到的修正图像显示于显示器上，使用者利用个人计算机的显示画面来确认修正图像。

另外，也可设为从智能手机等电子设备将整套图像数据发送至个人计算机，且设为个人计算机从智能手机等电子设备输入拍摄图像。而且，也可设为个人计算机使用输入图像进行与所述实施方式同样的图像修正而产生修正图像，并显示于个人计算机的显示器上。此时，个人计算机成为本发明中的图像处理装置3。

[4-2.修正对象区域]

所述实施方式中，设为如下情况而进行说明：图像处理装置3使用多个输入图像与图像处理用数据，将相对于基准图像成为前景候补的区域即前景候补区域作为修正对象区域而检测出。但是，修正对象区域的检测方法并不限于此。

例如，也可对多个输入图像的每一个进行特征点检测处理而检测特征点，且基于所检测出的特征点的对应关系而检测被摄物的移动发生变化的区域，即移动被摄物区域，以作为修正对象区域。特征点的对应关系可使用块匹配法或梯度法等公知的方法而求出。

具体而言，将多个输入图像间特征点的位置的变化量(变位量)超过规定阈值的图像区域作为移动被摄物区域而检测出。此时，针对所检测出的各个移动被摄物区域，判定“移动度”作为基于移动被摄物的移动程度的可靠度，且基于所判定出的移动度而判定各移动被摄物区域的适合修正与否。例如，根据特征点的变位量，将移动度分为“高”、“中”、“低”，将移动度为“高”或“中”的移动被摄物区域判定为应进行修正的移动被摄物区域。而且，也可将该移动被摄物区域设为修正对象区域进行所述替换处理，而进行图像修正。

另外，也可将移动度为“低”的移动被摄物区域也包含在修正对象区域内，且对该移动被摄物区域进行所述遮盖处理，而进行图像修正。

此外，不只是所述移动被摄物区域，通过拍摄时的光的变化等，无论是否为相同被摄物被拍摄的区域，都会有该区域的像素值在多张输入图像间产生变化的情形。因此，也可将像素值在多张输入图像间产生一定以上变化的区域，即光影响区域，作为修正对象区域而进行检测。具体来说，是将像素值(该区域的像素值的平均值等)的变化量在多张输入图像间超过规定阀值的图像区域作为光影响区域而进行检测。并且，基于光影响区域的光的影响程度而将“光影响度＂判定为可靠度，基于所判定的光影响度，对各光影响区域的适合修正与否进行判定。例如，对应像素值的变化量将光影响度分为“高”、“中”、“低”，并将光影响度为“高”或“中”的光影响区域判定为应该执行修正的光影响区域。并且，也可将该光影响区域设为修正对象区域，执行所述的替换处理，并执行图像修正。

又，也可以设为光影响度“低”的光影响区域也包含修正对象区域，在该光影响区域执行所述遮盖处理，并执行图像修正。

所述移动被摄物区域及光影响区域为被摄物的外观在多张输入图像间产生变化的区域即外观变化区域的一例。

[4-3.处理像素单元]

所述实施方式中，将处理像素单元设为各像素(1像素)，且设为以像素单元进行与图像处理用数据的产生有关的各种处理而进行说明，但处理像素单元不一定需要设为1像素单元，也可将包含多个像素的区域设为处理像素单元。例如，也可将构成图像的像素划分成格子状的区域，将该划分出的各区域作为处理像素单元进行与所述实施方式同样的处理，而产生图像处理用数据。

此时的处理像素单元既可设为例如10×10或20×20等正方形的区域，也可设为10×20或20×10等长方形的区域。

另外，处理像素单元的大小可基于输入图像的大小而适当设定变更。例如，可在输入图像的尺寸的1％～10％的范围内决定各处理像素单元的大小，并按处理像素单元进行处理。

[4-4.图像处理用数据]

所述实施方式中，设为如下情况而进行说明，即，将输入图像与参照图像的差分值成为最小的输入图像判定为满足特定条件的输入图像，并产生将最小差分输入图像的识别信息与最小差分值建立对应的图像处理用数据，但也可产生不存储最小差分值，而仅将最小差分输入图像的识别信息针对每一处理像素单元予以存储的图像处理用数据。另外，反之，也可产生不存储最小差分输入图像的识别信息，而仅将最小差分值针对每一处理像素单元予以存储的图像处理用数据。

应用其他条件作为特定条件的情况也相同。例如，当如上所述将差分值成为最大的输入图像判定为满足特定条件的输入图像时，既可产生仅将最大差分输入图像的识别信息针对每一处理像素单元予以存储的图像处理用数据，也可产生仅将最大差分值针对每一处理像素单元予以存储的图像处理用数据。

[4-5.修正对象前景候补区域的自动决定]

所述实施方式的图像处理装置3中，设为根据使用者操作来决定设为修正对象的前景候补区域(或替换候补区域)而进行说明，但也可代替此，由图像处理装置3自动地决定设为修正对象的区域，并进行图像修正。

另外，也可设为使用者对触摸面板250进行手指操作等，而指定优先修正区域。此时，例如，也可将脸部检测处理中所检测出的多个脸部检测区域显示于显示部300，且使用者可从所显示的脸部检测区域中指定设为优先修正区域的脸部检测区域。

另外，也可预先将多种优先修正区域的图案(以下，称为“优先修正区域图案”)的数据存储于存储部800，将该优先修正区域图案显示于显示部300，使用者从中选择设为优先修正区域的图案。

图18(a)～图18(c)是表示优先修正区域图案的一例的图。各图中，施加有影线的区域是设为优先修正区域的候补的区域。

图18(a)是在图像的中央部呈纵长的带状设置有优先修正区域的图案。图18(b)是在图像的周部呈框状设置有优先修正区域的图案。图18(c)是从图像的下部到上部设置有三角形状的优先修正区域的图案。

另外，这些优先修正区域图案仅为一例，除此以外，也可预先规定各种优先修正区域图案。

如此决定(确定)优先修正区域之后，显示控制部170将优先修正区域以可与前景候补区域区别的显示方式显示于显示部300。具体而言，例如，将优先修正区域以与前景候补区域(或替换候补区域)不同的颜色显示。此时，既可显示对区域附加颜色，也可显示对区域的轮廓附加颜色。由此，使用者一看便可掌握装置自动地决定为应优先修正的区域的区域与除此以外的前景候补区域。

另外，图像修正部160将如上所述般决定的优先修正区域设为对象，以与所述的实施方式同样的方法进行图像修正。而且，显示控制部170将经图像修正部160修正的图像控制显示于显示部300。

另外，也可基于各前景候补区域的可靠度，而决定设为修正对象的前景候补区域(修正对象前景候补区域)。具体而言，例如，可将可靠度尤其高的前景候补区域决定为修正对象前景候补区域。例如，所述实施方式中也可将可靠度被判定为“高”的前景候补区域决定为修正对象前景候补区域。

另外，对可靠度尤其高的前景候补区域，也可在判定可靠度之后，图像修正部160自动地以与所述实施方式同样的方法进行图像修正。然后，将所述图像设为默认(default)的图像，进而进行所述实施方式的自动图像修正、及根据使用者操作而进行的前景候补区域的决定与修正。如此，通过预先进行可靠度尤其高的前景候补区域的自动修正，可更容易且高速地进行后续的处理。

[4-6.基准图像的自动设定]

所述实施方式中，作为从多个拍摄图像中设定基准图像的方法，设为由使用者从多个拍摄图像中选择一张拍摄图像或将最初或最后输入的拍摄图像设为基准图像而进行说明，但也可将利用规定的基准所选出的图像自动地设定为基准图像。例如，在多个人物作为拍摄对象存在的集体照片中，也可利用公知的方法检测作为拍摄对象的人物的正面度或笑颜度，选择显现规定基准以上的正面度或笑颜度的输入图像设为基准图像。此外，也可利用公知的方法检测出无因手震而引起的图像模糊或未成为逆光的状态，并作为成为基准图像的条件进行添加。

[4-7.替换候补区域判定的另一方式]

所述实施方式中，图像处理装置3基于前景候补区域的面积及非基准最小差分值与阈值的比较结果，而自动地进行替换候补区域的可靠度判定，且可靠度“低”的区域设为不可替换。另外，设为如下情况而进行说明，即，为了将被判定为可靠度“低”的区域设为可以替换，需要使用者进行区域指定作业等，但也可当可靠度“低”的区域的面积大的程度为规定像素数以上时，自动地设为可以替换。

具体来说，如上所述，也可将构成修正对象图像的像素区分为规定形状(例如矩形)的处理像素单位，分别判定各处理像素单位的作为前景的可靠度。在此情况下，如上所述，基于特征点的位置的变化量而分别针对各处理像素单位判定被摄物的移动程度。并且，移动程度愈大的处理像素单位，作为前景的可靠度判定为愈高(可靠度“高”)，而移动程度愈小的处理像素单位，作为前景的可靠度判定为愈低(可靠度“低”)。并且，例如将可靠度“高”的处理像素单位进行连结而成的一群区域作为替换候补区域。此外，也可为例如：当一群区域成为满足规定像素数以上或者规定面积以上的条件的情形时，将该一群区域作为替换候补区域，并在不满足条件的情形时将该一群的区域从替换候补区域排除。

另外，所述一群区域也可不一定连结，此时，也可检测显示图像的相当于每单位面积的前景候补区域的像素数或面积，将规定的像素密度或面积密度以上的区域设为替换候补区域。

由此，当产生较多可靠度“低”的区域时，也可利用图像处理装置3自动且有效地进行图像的修正。

[4-8.输入图像的更新]

所述图像处理装置3中，也可将与前景候补区域的可靠度有关的显示实时(real time)地显示于拍摄图像上。

具体而言，处理部100将所输入的最新的规定数的帧的拍摄图像存储于存储部800中。即，存储部800作为图像存储部件发挥功能。此时，例如，也可在存储部800中构成可存储规定数的图像的环形缓冲区(ring buffer)，始终将最新的规定数的帧的拍摄图像存储于环形缓冲区中。

另外，基准图像设定部120将存储于存储部800中的最新的拍摄图像设定为基准图像。而且，关于存储于存储部800中的最新的规定数的帧的拍摄图像，处理部100使用基准图像与非基准图像，以与所述实施方式同样的方法进行非基准最小差分映射数据产生处理、前景候补区域决定处理及前景候补区域可靠度判定处理。

显示控制部170将基准图像及在该基准图像上重叠显示或轮廓显示有替换候补区域的图像控制显示于显示部300。而且，当重叠显示或轮廓显示替换候补区域时，显示控制部170将与所述替换候补区域有关联的替换可靠度以使用者可区别的显示方式显示于显示部300。例如，将根据替换可靠度而区分颜色的替换候补区域重叠显示于基准图像上，或将根据替换可靠度而区分颜色的替换候补区域的轮廓显示于基准图像上。

每当新输入拍摄图像时随时进行所述处理。即，处理部100利用新的拍摄图像的输入而随时更新基准图像，且重新算出替换候补区域及替换可靠度。而且，显示控制部170基于该重新算出的结果，随时更新显示于显示部300的替换候补区域，并且随时更新与替换可靠度有关的显示。

如此，通过每当输入新图像时将最早的图像舍弃而重新进行计算，使用者可实时掌握可替换区域。而且，使用者对于替换困难的区域，也可等待至可以替换，在适当的时序进行图像的修正指示。

另外，也可设为使用者预先指定替换困难的区域(以下，称为“替换困难区域”)，处理部100利用新的拍摄图像的输入，在至少一部分与该区域重复的所有前景候补区域可以替换的时序，自动地修正该区域。

另外，此时，使用者指定替换困难区域的方法可应用与“3-4.修正对象前景候补区域的自动决定”的项目中所说明的设定优先修正区域的方法同样的方法。即，使用者既可通过对触摸面板250进行点击操作等，指定图像中认为是替换困难的区域，也可将多种替换困难区域的图案(替换困难区域图案)的数据预先存储于存储部300中，从这些图案中选择指定为替换困难区域的图案。

另外，图像处理装置3也可执行所述修正对象区域的自动修正处理、与基于使用者的手动操作的手动修正处理的两种处理。例如，也可设为对于自动决定的修正对象区域在实施自动修正的状态下开始图像修正模式，而对于其他未实施自动修正的区域，使用者可手动选择是否需要修正。此时，将实施自动修正后的图像显示于显示部300，由使用者对其他区域是否需要修正进行选择即可。

另外，也可不将背景图像废弃而保持于存储部800。另外，也可设为如下形式：不将最早的拍摄图像删除，且继续存储新输入的拍摄图像。

[4-9.修正图像的恢复处理]

也可在显示实施了图像修正的修正图像之后，根据使用者操作进行将修正部分恢复为原本状态的恢复处理，且将处理结果的图像显示于显示部300。已阅览修正图像的使用者有对所述修正内容不满意，而想要将实施修正后的替换候补区域中的一部分区域的图像区域恢复原样的情况。因此，对于修正旗标被设定为开启的替换候补区域中由使用者实施恢复原样的指示操作的替换候补区域，优选进行替换为原本的基准图像的图像数据的处理，并将处理结果的图像显示于显示部300。

[4-10.记录媒体]

所述实施方式中，图像处理用数据的产生或图像处理的各种程序或者数据存储于图像处理用数据产生装置1的存储部20或图像处理装置3的存储部800，通过处理部读出并执行这些程序，而实现所述各实施方式中的图像处理。此时，各装置的存储部除ROM或EEPROM、快闪存储器、硬盘、RAM等内部存储装置以外，也可包含存储卡(memory card)(安全数字(Secure Digital，SD)卡)或压缩快闪(CompactFlash)(注册商标)卡、存储盘(memory disk)、通用串行总线(Universal Serial Bus，USB)存储器、可擦写光盘(Compact Disc ReWritable，CD-RW)(光盘)、磁光盘(magneto-optical，MO)等记录媒体(记录介质、外部存储装置)，也可在这些记录媒体中存储所述的各种程序或者数据。

图19是表示所述情况下的记录媒体的一例的图。

图像处理装置3设置有卡槽(card slot)710，用以供存储卡7***，且设置有卡读写器(cardreader writer)(R/W)720，用以读取***卡槽710的存储卡7中所存储的信息或将信息写入存储卡7。卡读写器720根据处理部100的控制，进行如下动作：读取存储于存储卡7的信息或将记录于存储部800的程序或数据写入存储卡7。进而，记录于存储卡7中的程序或数据构成为可由图像处理装置3以外的外部装置(例如个人计算机)读取并处理，由此，在该外部装置中实现所述实施方式中的图像处理。

Claims (15)

1.一种图像处理装置，其特征在于，包括：

图像修正部件，使用多个输入图像中的任一输入图像作为修正用图像而对基于所述多个输入图像而决定的修正对象图像的修正对象区域进行修正。

2.根据权利要求1所述的图像处理装置，其特征在于，

在所述图像修正部件中，与所述修正对象区域对应的区域的图像数据将与所述多个输入图像有关联的参照图像、和满足规定关系的输入图像设为所述修正用图像，并使用所述修正用图像的与所述修正对象区域对应的区域的图像数据，对所述修正对象图像的所述修正对象区域进行修正。

3.根据权利要求1或2所述的图像处理装置，其特征在于，还包括：

可靠度判定部件，判定所述修正对象区域的作为前景的可靠度，

所述图像修正部件基于由所述可靠度判定部件判定的可靠度而判定所述修正对象区域的适合修正与否。

4.根据权利要求3所述的图像处理装置，其特征在于，还包括：

外观变化区域检测部件，检测外观变化区域，所述外观变化区域即在所述多个输入图像间被摄物的外观发生变化的区域，

所述可靠度判定部件将由所述外观变化区域检测部件检测出的外观变化区域作为所述修正对象区域而判定所述可靠度，

所述图像修正部件基于由所述可靠度判定部件判定的可靠度而判定所述外观变化区域的适合修正与否。

5.根据权利要求3所述的图像处理装置，其特征在于，

所述可靠度判定部件针对所述修正对象图像中的每一规定的处理像素单元判定所述可靠度，

所述图像修正部件将对所述可靠度满足规定条件的所述处理像素单元进行连结而成的一群区域作为所述修正对象区域而进行修正。

6.根据权利要求3所述的图像处理装置，其特征在于，还包括：

相对值计算部件，针对所述多个输入图像的每一个，对每一规定的处理像素单元算出相对值，所述相对值表示所述输入图像和与所述多个输入图像有关联的参照图像的相对关系，

输入图像判定部件，对每一所述处理像素单元，判定所述多个输入图像中的由所述相对值计算部件算出的相对值满足特定条件的输入图像，

图像处理用数据产生部件，产生图像处理用数据，所述图像处理用数据针对每一所述处理像素单元将用以识别由所述输入图像判定部件判定的输入图像的识别信息予以存储，

所述图像修正部件使用所述修正用图像与由所述图像处理用数据产生部件产生的图像处理用数据进行修正。

7.根据权利要求6所述的图像处理装置，其特征在于，还包括：

前景候补区域检测部件，使用所述多个输入图像、与由所述图像处理用数据产生部件产生的图像处理用数据，检测相对于所述参照图像成为前景的候补的区域即前景候补区域，

所述可靠度判定部件将由所述前景候补区域检测部件检测出的前景候补区域作为所述修正对象区域而判定所述可靠度，

所述图像修正部件将由所述前景候补区域检测部件检测出的前景候补区域作为所述修正对象区域而进行修正，

所述图像处理装置还包括基准图像设定部件，从所述多个输入图像中设定基准图像，

所述输入图像判定部件具有非基准图像判定部件，所述非基准图像判定部件针对每一所述处理像素单元，判定从所述多个输入图像中将所述基准图像除外的输入图像即非基准图像中的所述相对值满足所述特定条件的非基准图像，

所述图像处理用数据产生部件具有非基准图像处理用数据产生部件，产生非基准图像处理用数据，所述非基准图像处理用数据针对每一所述处理像素单元将用以识别由所述非基准图像判定部件判定的非基准图像的识别信息予以存储，

所述前景候补区域检测部件使用所述基准图像与由所述非基准图像处理用数据产生部件产生的非基准图像处理用数据对所述前景候补区域进行检测，

所述图像修正部件将由所述基准图像设定部件设定的基准图像作为所述修正对象图像而进行修正。

8.根据权利要求7所述的图像处理装置，其特征在于，

所述图像修正部件使用所述修正用图像的与所述前景候补区域对应的区域的图像数据，对所述修正对象图像的所述前景候补区域的图像数据进行修正。

9.根据权利要求7所述的图像处理装置，其特征在于，

所述图像修正部件根据所述前景候补区域的可靠度而切换执行的图像修正处理，对所述修正对象图像的所述前景候补区域进行修正。

10.根据权利要求7所述的图像处理装置，其特征在于，还包括：

显示部件，

显示控制部件，将所述前景候补区域的可靠度控制显示于所述显示部件。

11.根据权利要求10所述的图像处理装置，其特征在于，

所述显示控制部件以使用者能够区别的显示方式将各前景候补区域的可靠度控制显示于所述显示部件。

12.根据权利要求7所述的图像处理装置，其特征在于，

所述可靠度判定部件基于所述前景候补区域的面积、与针对所述前景候补区域中所含的像素而存储于所述图像处理用数据中的相对值中的至少任一个，判定所述前景候补区域的可靠度。

13.根据权利要求7所述的图像处理装置，其特征在于，还包括：

操作部件，

显示部件，

显示控制部件，将从所述多个输入图像中选择的输入图像控制显示于所述显示部件，

感测部件，感测对所述显示部件中显示的图像上的位置进行指定的使用者操作，

指定位置判定部件，根据所述感测部件的感测，判定由所述使用者操作而指定的位置是否含有于所述前景候补区域，

所述图像修正部件在所述指定位置判定部件的判定结果为肯定判定的情况下，对所述修正对象图像的所述前景候补区域进行修正，

所述显示控制部件将由所述图像修正部件修正的图像控制显示于所述显示部件。

14.一种图像处理装置，其特征在于，包括：

图像存储部件，存储多个输入图像，

计算部件，基于所述存储的多个输入图像，算出图像中的替换候补区域及与其有关联的替换可靠度，

显示部件，显示所述多个输入图像中的最新输入的输入图像即基准图像、以及在所述基准图像上重叠显示或轮廓显示所述替换候补区域而成的图像，

所述计算部件在所述基准图像因新图像输入而被更新时，重新算出所述替换候补区域及所述替换可靠度，

所述显示部件基于所述重新算出的结果而更新所述显示部件的显示。

15.一种图像处理方法，其特征在于，包括：

使用多个输入图像中的任一输入图像作为修正用图像而对基于所述多个输入图像而决定的修正对象图像的修正对象区域进行修正。