CN110915193B - 图像处理***、服务器装置、图像处理方法及记录介质 - Google Patents

图像处理***、服务器装置、图像处理方法及记录介质 Download PDF

Info

Publication number
CN110915193B
CN110915193B CN201880046943.4A CN201880046943A CN110915193B CN 110915193 B CN110915193 B CN 110915193B CN 201880046943 A CN201880046943 A CN 201880046943A CN 110915193 B CN110915193 B CN 110915193B
Authority
CN
China
Prior art keywords
image
image processing
processing target
target region
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880046943.4A
Other languages
English (en)
Other versions
CN110915193A (zh
Inventor
堀田修平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN110915193A publication Critical patent/CN110915193A/zh
Application granted granted Critical
Publication of CN110915193B publication Critical patent/CN110915193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872—Repositioning or masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954—Inspecting the inner surface of hollow bodies, e.g. bores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明提供一种能够考虑由多种原因引起的画质的下降而确定图像处理对象区域的图像处理***、服务器装置、图像处理方法及记录介质。本发明的图像处理***具备：图像获取部(12)，获取拍摄被摄体而得的图像；画质判断信息获取部(14)，获取表示图像中的画质的判断结果的画质判断信息(32)；图像处理对象区域确定部(16)，利用画质判断信息确定图像中的图像处理对象区域；及图像处理部(18)，对图像处理对象区域执行检测处理及合成处理中的至少任一个，将作为分别与2个以上的画质判断信息对应的2个以上的临时图像处理对象区域的逻辑与来表示的区域确定为图像处理对象区域。

Description

图像处理***、服务器装置、图像处理方法及记录介质
技术领域
本发明涉及一种图像处理***、服务器装置、图像处理方法及图像处理程序，尤其涉及一种图像处理。
背景技术
已知有拍摄被摄体并从摄像图像检测被摄体的检测对象的技术。并且，已知有分割拍摄被摄体，并对分割图像进行合成来生成表示整个被摄体的合成图像的技术。作为被摄体的例子，可举出建筑物的墙壁。作为检测对象的例子，可举出建筑物的墙壁的损伤。作为损伤的例子，可举出裂纹及孔等。
在裂纹等损伤检测中，所输入的摄像图像的一部分画质差时，有可能无法检测画质差的部分的损伤。并且，即使检测到了损伤，检测精度也有可能降低。作为画质差的情况的例子，可举出散焦、极亮、极暗及灰度不均衡等。
在对分割图像进行合成来生成合成图像的情况下，对表示损伤的检测结果的分割图像进行合成时，在2个分割图像所重叠的合成图像的重叠区域，有可能采用2个检测结果中画质差的结果来生成合成图像。如此一来，有可能在画质良好的检测结果中检测到了损伤，但在合成图像中未检测出损伤。
并且，在2个分割图像所重叠的合成图像的重叠区域存在画质差的区域时，若在图像合成处理中使用画质差的区域的像素，则会导致合成图像的画质也变差。
针对希望拍摄在合成图像中不存在画质差的区域且网罗整个被摄体的课题，已知有专利文献1中记载的技术。
专利文献1中记载有如下图像输入装置，其允许重复而分割为多个区域来拍摄被摄体，对重复部分的多个分割图像的对焦状态进行比较，利用判定为对焦状态最良好的分割图像进行图像合成处理。
并且，对对焦状态进行比较时，利用快速傅里叶变换及离散余弦变换等，将像素值变换为频率区域，并根据频率区域中的峰值频率的大小关系，定量地进行散焦量的比较。
以往技术文献
专利文献
专利文献1：日本特开2004-072533号公报
发明内容
发明要解决的技术课题
有可能发生由多种原因引起的画质下降的情况。然而，专利文献1中记载的发明在判定对焦状态是否良好时，并未考虑由多种原因引起的画质下降。
本发明是鉴于这种情况而完成的，其目的在于提供一种能够考虑由多种原因引起的画质的下降而确定图像处理对象区域的图像处理***、服务器装置、图像处理方法及图像处理程序。
用于解决技术课题的机构
为了实现上述目的，提供以下发明方式。
第1方式所涉及的图像处理***执行检测图像中包含的检测对象的检测处理及计算多个图像的对应关系并根据对应关系对多个图像进行合成的合成处理中的至少任一个，所述图像处理***具备：图像获取部，获取拍摄被摄体而得的图像；画质判断信息获取部，获取表示利用图像获取部获取的图像中的画质的判断结果的画质判断信息；图像处理对象区域确定部，利用通过画质判断信息获取部获取的画质判断信息，确定利用图像获取部获取的图像中的图像处理对象区域；及图像处理部，对利用图像处理对象区域确定部确定的图像处理对象区域，执行检测处理及合成处理中的至少任一个，图像处理对象区域确定部导出分别与2个以上的画质判断信息对应的2个以上的临时图像处理对象区域，并将作为2个以上的临时图像处理对象区域的逻辑与来表示的区域确定为图像处理对象区域。
根据第1方式，将作为分别根据2个以上的画质判断信息生成的2个以上的临时图像处理对象区域的逻辑与来表示的区域确定为图像处理对象区域。由此，能够确定考虑到多种画质下降原因的图像处理对象区域。
作为画质的判断结果的一例，可举出区分判断对象的图像中对焦的区域及未对焦的区域的信息。
2个以上的临时图像处理对象区域的逻辑与中包含：根据第1条件确定第1临时图像处理对象区域，将第1临时图像处理对象区域作为对象，并根据第2条件确定第2临时图像处理对象区域时的第2临时图像处理对象区域。
第2方式可以设为如下结构，即，在第1方式的图像处理***中，画质判断信息获取部具备获取图像的拍摄中的拍摄条件的拍摄条件获取部及对图像进行分析的分析部中的至少任一个，图像处理对象区域确定部利用图像的拍摄条件及分析部的分析结果中的至少任一个来确定临时图像处理对象区域。
根据第2方式，能够利用图像的分析结果及拍摄条件中的至少任一个确定临时图像处理对象区域。
2个临时图像处理对象区域可以包含利用拍摄条件导出的第1临时图像处理对象区域及利用画质分析结果导出的第2临时图像处理对象区域。2个临时图像处理对象区域可以利用2个分析结果导出，也可以利用2个拍摄条件导出。
第3方式可以设为如下结构，即，在第2方式的图像处理***中，拍摄条件获取部获取拍摄角度及聚焦位置作为拍摄条件，图像处理对象区域确定部将根据拍摄角度及聚焦位置确定的图像的非端部确定为临时图像处理对象区域。
根据第3方式，可利用拍摄角度及聚焦位置确定临时图像处理对象区域。
拍摄角度表示摄像装置的光轴相对于以最短距离连结被摄体和摄像装置的基准方向的方向。使摄像装置倾斜动作时，拍摄角度成为相对于基准方向向上或向下的角度。使摄像装置平摇动作时，拍摄角度成为相对于基准方向向左或向右的角度。
第4方式可以设为如下结构，即，在第2方式的图像处理***中，拍摄条件获取部获取拍摄角度、聚焦位置、被摄体距离、焦距、光圈值及容许弥散圆直径作为拍摄条件，图像处理对象区域确定部将根据拍摄角度、聚焦位置、被摄体距离、焦距、光圈值及容许弥散圆直径确定的图像的非端部确定为临时图像处理对象区域。
根据第4方式，能够利用拍摄角度、聚焦位置、被摄体距离、焦距、光圈值及容许弥散圆直径确定临时图像处理对象区域。
第5方式可以设为如下结构，即，在第4方式的图像处理***中，具备：景深计算部，利用被摄体距离、焦距、光圈值及容许弥散圆直径计算拍摄范围内的景深；及散焦量计算部，利用拍摄角度及焦距，计算表示拍摄范围内的散焦距离的散焦量，图像处理对象区域确定部将利用散焦量计算部计算出的散焦量在利用景深计算部计算出的景深的范围内的区域确定为临时图像处理对象区域。
根据第5方式，可将散焦量在景深范围内的区域确定为临时图像处理对象区域。
第6方式可设为如下结构，即，在第2方式的图像处理***中，拍摄条件获取部获取镜头的种类及聚焦位置作为拍摄条件，图像处理对象区域确定部根据镜头的种类及聚焦位置，当聚焦位置为拍摄范围的中心部时，将包含中心部且根据镜头的特性确定的区域确定为临时图像处理对象区域，当聚焦位置为拍摄范围的周边部时，将包含周边部的区域且根据镜头的特性确定的区域确定为临时图像处理对象区域。
根据第6方式，当产生镜头的特性引起的像面弯曲时，可根据聚焦位置确定临时图像处理对象区域。
也可以具备按镜头的种类存储有聚焦位置与对焦区域的关系的存储部。图像处理对象区域确定部可以利用镜头的种类及聚焦位置从存储部读出对焦区域。
第7方式可设为如下结构，即，在第2方式至第6方式中任一方式的图像处理***中，拍摄条件获取部获取闪光灯有无发光作为拍摄条件，图像处理对象区域确定部将从闪光灯向被摄体照射的闪光灯光所到达的闪光灯光到达区域确定为临时图像处理对象区域。
根据第7方式，可将闪光灯光所到达的闪光灯光到达区域确定为临时图像处理对象区域。
第8方式可设为如下结构，即，在第7方式的图像处理***中，拍摄条件获取部获取被摄体距离作为拍摄条件，图像处理对象区域确定部将根据被摄体距离确定的闪光灯光到达区域确定为临时图像处理对象区域。
根据第8方式，可将根据被摄体距离确定的闪光灯光到达区域确定为临时图像处理对象区域。
也可以具备存储有被摄体距离与闪光灯光到达区域的关系的存储部。图像处理对象区域确定部可以利用被摄体距离从存储部读出闪光灯光到达区域。
第9方式可设为如下结构，即，在第2方式至第8方式中任一方式的图像处理***中，分析部将分析对象的图像分割为多个区域，并生成每个区域的空间频谱分布，图像处理对象区域确定部将根据利用分析部生成的每个区域的空间频谱分布确定的高画质的区域确定为临时图像处理对象区域。
根据第9方式，可将根据每个区域的空间频率的频谱分布确定的高画质的区域确定为临时图像处理对象区域。
第10方式可设为如下结构，即，在第2方式至第9方式中任一方式的图像处理***中，分析部将分析对象的图像分割为多个区域，并生成每个区域的灰度值的直方图，图像处理对象区域确定部将根据利用分析部生成的每个所述区域的灰度值的直方图来确定的高画质的区域确定为临时图像处理对象区域。
根据第10方式，可将根据每个区域的灰度值的直方图来确定的高画质的区域确定为临时图像处理对象区域。
第11方式可设为如下结构，即，在第1方式至第10方式中任一方式的图像处理***中，具备存储部，其将利用画质判断信息获取部获取的画质判断信息与临时图像处理对象区域的关系建立对应关联而进行存储，图像处理对象区域确定部利用通过画质判断信息获取部获取的画质判断信息，从存储部获取与画质判断信息对应的临时图像处理对象区域。
根据第11方式，可利用画质判断信息，从存储部获取与画质判断信息对应的临时图像处理对象区域。
第12方式可设为如下机构，即，在第1方式至第11方式中任一方式的图像处理***中，具备图像显示部，其显示利用图像处理部实施了图像处理的图像，图像显示部显示设为利用图像处理部的图像处理的对象外的图像处理对象外区域。
根据第12方式，可掌握图像处理对象区域及图像处理对象外区域。
第13方式可设为如下结构，即，在第1方式至第12方式中任一方式的图像处理***中，具备图像处理对象区域变更部，其变更利用图像处理对象区域确定部确定的图像处理对象区域。
根据第13方式，能够变更预先确定的图像处理对象区域。由此，能够重新确定图像处理对象区域。
第14方式可设为如下结构，即，在第1方式至第13方式中任一方式的图像处理***中，图像处理部执行作为检测对象检测混凝土部件的裂纹、划线、游离石灰、漏水、剥离、钢筋暴露、浮起、钢部件的龟裂及腐蚀中的至少1个的处理。
根据第14方式，能够利用拍摄被摄体而得的图像，检测混凝土部件的裂纹、划线、游离石灰、漏水、剥离、钢筋暴露、浮起、钢部件的龟裂及腐蚀中的至少任一个。
第15方式可设为如下结构，即，在第1方式至第14方式中任一方式的图像处理***中，具备：服务器装置；及客户端装置，经由网络以能够通信的方式与服务器装置连接，服务器装置具备图像获取部、画质判断信息获取部、图像处理对象区域确定部及图像处理部。
根据第15方式，能够利用客户端服务器型网络***中的服务器装置，获得与第1方式相同的作用效果。
第16方式可设为如下结构，即，在第15方式的图像处理***中，客户端装置具备图像数据发送部，其向服务器装置发送表示图像的图像数据。
根据第16方式，可利用客户端服务器型网络***中的客户端装置，向服务器装置发送图像数据。
第17方式所涉及的服务器装置是如下服务器装置，其设置于图像处理***，所述图像处理***执行检测图像中包含的检测对象的检测处理及计算多个图像的对应关系并根据对应关系对多个图像进行合成的合成处理中的至少任一个，所述服务器装置具备：图像获取部，获取拍摄被摄体而得的图像；画质判断信息获取部，获取表示利用图像获取部获取的图像中的画质的判断结果的画质判断信息；图像处理对象区域确定部，利用通过画质判断信息获取部获取的画质判断信息，确定利用图像获取部获取的图像中的图像处理对象区域；及图像处理部，对利用图像处理对象区域确定部确定的图像处理对象区域，执行检测处理及合成处理中的至少任一个，图像处理对象区域确定部导出分别与2个以上的画质判断信息对应的2个以上的临时图像处理对象区域，将作为2个以上的临时图像处理对象区域的逻辑与来表示的区域确定为图像处理对象区域。
根据第17方式，能够获得与第1方式相同的作用效果。
在第17方式中，能够适当组合与在第2方式至第16方式中确定的事项相同的事项。该情况下，在图像处理***中担负特定处理或功能的构成要件能够作为担负与此对应的处理或功能的服务器装置的构成要件来掌握。
第18方式所涉及的图像处理方法是如下图像处理方法，其执行检测图像中包含的检测对象的检测处理及计算多个图像的对应关系并根据对应关系对多个图像进行合成的合成处理中的至少一个，所述图像处理方法包括：图像获取工序，获取拍摄被摄体而得的图像；画质判断信息获取工序，获取表示在图像获取工序中获取的图像中的画质的判断结果的画质判断信息；图像处理对象区域确定工序，利用在画质判断信息获取工序中获取的画质判断信息，确定在图像获取工序中获取的图像中的图像处理对象区域；及图像处理工序，对在图像处理对象区域确定工序中确定的图像处理对象区域，执行检测处理及合成处理中的至少任一个，图像处理对象区域确定工序导出分别与2个以上的画质判断信息对应的2个以上的临时图像处理对象区域，并将作为2个以上的临时图像处理对象区域的逻辑与来表示的区域确定为图像处理对象区域。
根据第18方式，能够获得与第1方式相同的作用效果。
在第18方式中，能够适当组合与在第2方式至第16方式中确定的事项相同的事项。该情况下，在图像处理***中担负特定处理或功能的构成要件能够作为担负与此对应的处理或功能的图像处理方法的构成要件来掌握。
第19方式可设为如下结构，即，在第18方式的图像处理方法中，画质判断信息获取工序包括获取图像的拍摄中的拍摄条件的拍摄条件获取工序及对图像进行分析的分析工序，图像处理对象区域确定工序对利用基于在拍摄条件获取工序中获取的拍摄条件的画质判断信息确定的临时图像处理对象区域，在分析工序中执行分析处理来确定图像处理对象区域。
根据第19方式，可将分析处理的对象限定在基于画质判断信息的临时图像处理对象区域。由此，能够降低分析处理的负荷。
作为降低分析处理的负荷的例子，可举出分析处理的快速化、担负分析工序的分析处理部的结构的简化。
第20方式所涉及的图像处理程序是如下图像处理程序，其执行检测图像中包含的检测对象的检测处理及计算多个图像的对应关系并根据对应关系对多个图像进行合成的合成处理中的至少任一个，图像处理程序使计算机执行如下功能：图像获取功能，获取拍摄被摄体而得的图像；画质判断信息获取功能，获取表示利用图像获取功能获取的图像中的画质的判断结果的画质判断信息；图像处理对象区域确定功能，利用通过画质判断信息获取功能获取的画质判断信息，确定利用图像获取部获取的图像中的图像处理对象区域；及图像处理功能，对利用图像处理对象区域确定部确定的图像处理对象区域，执行检测处理及合成处理中的至少任一个，图像处理对象区域确定功能导出分别与2个以上的画质判断信息对应的2个以上的临时图像处理对象区域，并将作为2个以上的临时图像处理对象区域的逻辑与来表示的区域确定为图像处理对象区域。
在第20方式中，可适当组合与在第2方式至第8方式中确定的事项相同的事项。该情况下，在图像处理***中担负特定处理或功能的构成要件能够作为担负与此对应的处理或功能的图像处理程序的构成要件来掌握。
第20方式可设为如下结构，即，一种图像处理装置，其具有至少1个以上的处理器及至少1个以上的存储器，所述图像处理装置中，处理器获取拍摄被摄体而得的图像，获取表示所获取的图像中的画质的判断结果的画质判断信息，并利用画质判断信息确定图像中的图像处理对象区域，对图像处理对象区域执行检测处理及合成处理中的至少任一个，确定图像处理对象区域时，导出分别与2个以上的画质判断信息对应的2个以上的临时图像处理对象区域，并将作为分别与2个以上的画质判断信息对应的2个以上的临时图像处理对象区域的逻辑与来表示的区域确定为图像处理对象区域。
存储器可存储所获取的图像、画质判断信息、临时图像处理对象区域、图像处理对象区域及执行检测处理及合成处理中的至少任一个来获得的处理结果中的至少任一个。
发明效果
根据本发明，将作为分别根据2个以上的画质判断信息生成的2个以上的临时图像处理对象区域的逻辑与来表示的区域确定为图像处理对象区域。由此，能够考虑多种画质下降原因而确定图像处理对象区域。
附图说明
图1是实施方式所涉及的图像处理***的框图。
图2是图像处理的具体例的说明图。
图3是在图1所示的图像处理***中，利用拍摄条件确定图像处理对象区域时的框图。
图4是在图1所示的图像处理***中，利用画质分析结果确定图像处理对象区域时的框图。
图5是表示分析区域的一例的图。
图6是对焦区域中的空间频谱分布图像的示意图。
图7是表示分析区域为正常图像时的空间频谱分布图像的一例的图。
图8是表示分析区域为模糊图像时或抖动图像时的空间频谱分布图像的一例的图。
图9是表示高频成分判定区域的一例的图。
图10是表示浓度直方图的一例的图。
图11是被摄体的拍摄的示意图。
图12是表示聚焦区为拍摄范围的中心时的临时图像处理对象区域的一例的图。
图13是表示聚焦区为比拍摄范围的中心更靠下方的位置时的临时图像处理对象区域的一例的图。
图14是表示散焦量与景深的关系的示意图。
图15是表示聚焦区为拍摄范围的中心时的景深内区域的一例的图。
图16是表示聚焦区为比拍摄范围的中心更靠下方的位置时的景深内区域的一例的图。
图17是表示聚焦区为拍摄范围的中心时的像面弯曲的影响的一例的图。
图18是表示聚焦区为拍摄范围的周边部时的像面弯曲的影响的一例的图。
图19是表示考虑到聚焦区为拍摄范围的中心时的像面弯曲的影响的未散焦区域的一例的图。
图20是表示考虑到聚焦区为拍摄范围的周边部时的像面弯曲的影响的未散焦区域的一例的图。
图21是表示考虑到聚焦区为拍摄范围的中心时的像面弯曲的影响的未散焦区域的另一例的图。
图22是表示闪光灯发光时的亮区域及暗区域的一例的图。
图23是表示基于2个临时图像处理对象区域的逻辑与的图像处理对象区域的一例的图。
图24是图像合成处理的一例的说明。
图25是图像处理结果的显示例的说明。
图26是表示适用于客户端服务器型网络***的例子的框图。
图27是表示实施方式所涉及的图像处理方法的步骤的流程的流程图。
图28是表示图27所示的图像处理对象区域确定工序的步骤的流程的流程图。
具体实施方式
以下，根据附图对本发明的优选实施方式进行详细说明。本说明书中，对相同的构成要件标注相同的参考符号，并省略重复说明。
[图像处理***的概要]
图1是实施方式所涉及的图像处理***的框图。图1所示的图像处理***10具备图像获取部12、画质判断信息获取部14、图像处理对象区域确定部16及图像处理部18。图像处理***10也可以具备未图示的图像显示部。
<图像获取部>
图像获取部12获取作为利用图像处理部18进行的图像处理的对象的图像数据。作为图像数据的例子，可举出利用摄像装置拍摄被摄体而得的图像数据。作为摄像装置的例子，可举出能够拍摄彩色图像的电子相机。本说明书中的摄像这一概念中包含摄影。
作为电子相机所具备的摄像器件的例子，可举出彩色CCD线性图像传感器。CCD为Charge-Coupled Device的缩写，指电荷耦合器件。
彩色CCD线性图像传感器为具备R、G及B各颜色的滤色器的受光元件排列成直线状的图像传感器。上述R表示红色。上述G表示绿色。上述B表示蓝色。
还能够使用彩色CMOS线性图像传感器来代替彩色CCD线性图像传感器。CMOS为Complementary Metal Oxide Semiconductor的缩写，指互补型金属氧化物半导体。
<画质判断信息获取部>
画质判断信息获取部14获取利用图像获取部12获取的图像数据20。画质判断信息获取部14可获取图1所示的图像数据20的EXIF信息22作为拍摄条件的信息。EXIF为Exchangeable Image File Format(可交换图像文件格式)的缩写。
画质判断信息获取部14也可以获取用户所指定的用户指定信息24、用户所选择的用户选择信息26及从传感器获取的传感器信息28中的至少任一个作为拍摄条件。
即，图像处理***10可具备获取EXIF信息22的EXIF信息获取部。图像处理***10可具备获取用户指定信息24的用户指定信息获取部。图像处理***10可具备获取用户选择信息26的用户选择信息获取部。图像处理***10可具备获取传感器信息28的传感器信息获取部。
图像处理***10可具备作为EXIF信息获取部、用户指定信息获取部、用户选择信息获取部及传感器信息获取部中的至少任一个而发挥作用的拍摄条件获取部。另外，省略EXIF信息获取部、用户指定信息获取部、用户选择信息获取部及传感器信息获取部的图示。拍摄条件获取部标注符号40并图示于图3。
画质判断信息获取部14对所获取的图像数据20实施画质分析处理，获取画质分析结果30。或者，画质判断信息获取部14获取拍摄条件。画质判断信息获取部14也可以获取画质分析结果30及拍摄条件这两者。
画质判断信息获取部14利用画质分析结果30及拍摄条件中的至少任一个来判断图像数据20所表示的图像的画质。画质分析结果30为利用分析部的图像分析的分析结果的一例。
画质判断信息获取部14生成2种不同画质判断信息即第1画质判断信息32A及第2画质判断信息32B作为图像数据20所表示的图像的画质的判断结果。另外，2种不同的画质判断信息也可以称作2个不同的画质判断信息。
第1画质判断信息32A及第2画质判断信息32B可利用2种不同的画质分析结果30来生成。第1画质判断信息32A及第2画质判断信息32B可利用2种不同的拍摄条件来生成。另外，2种不同的拍摄条件也可以称作2个不同的拍摄条件。
第1画质判断信息32A可利用画质分析结果30来生成，并且第2画质判断信息32B可利用拍摄条件来生成。第1画质判断信息32A可利用拍摄条件来生成，并且第2画质判断信息32B可利用画质分析结果30来生成。
本实施方式中，例示了生成2种画质判断信息的方式，但生成2种以上的画质判断信息即可，也可以生成3种以上的画质判断信息。利用画质判断信息获取部14进行的画质判断的详细内容将在后面进行说明。
<图像处理对象区域确定部>
图像处理对象区域确定部16根据第1画质判断信息32A及第2画质判断信息32B确定图像数据20中的图像处理对象区域。图像处理对象区域确定部16根据第1画质判断信息32A确定第1临时图像处理对象区域。并且，图像处理对象区域确定部16根据第2画质判断信息32B确定第2临时图像处理对象区域。即，图像处理对象区域确定部16导出分别与2种画质判断信息对应的2个以上的临时图像处理对象区域。
作为2个以上的不同的临时图像处理对象区域的例子，可举出将拍摄角度引起的散焦区域除外的区域、将镜头特性引起的散焦区域除外的区域、将因闪光灯发光而变暗的区域除外的区域、将过亮区域除外的区域、将过暗区域除外的区域及将灰度不均衡的区域除外的区域。
图像处理对象区域确定部16综合2个以上的临时图像处理对象区域。作为综合的例子，可举出将作为2个以上的临时图像处理对象区域的逻辑与来表示的区域确定为图像处理对象区域的例子。图像处理对象区域确定部16生成表示图像处理对象区域的图像处理对象区域信息34。
<图像处理部>
图像处理部18获取图像数据20及图像处理对象区域信息34。图像处理部18对图像数据20中的图像处理对象区域实施图像处理，生成图像处理结果36。
作为利用图像处理部18进行的图像处理的例子，可举出检测图像数据20所表示的图像中包含的检测对象的检测处理。作为利用图像处理部18进行的图像处理的另一例，可举出对分割拍摄被摄体来获得的分割图像进行合成的合成处理。
<图像处理的具体例>
图2是图像处理的具体例的说明图。图2所示的图像处理为对将建筑物的混凝土制墙壁分割为3个部分并进行拍摄来获得的3个分割图像即分割图像100、分割图像102及分割图像104进行合成的合成处理。
图2所示的分割图像100、分割图像102及分割图像104为在通过作为被摄体的墙壁中心的法线上配置摄像装置并使摄像装置平摇动作，变更墙壁上的拍摄区域进行拍摄来获得的图像。在此所说的墙壁中心可以不是严密的中心位置，可以是大致的中心位置。
在分割图像100中标注符号108及符号110来图示的区域为散焦区域。在分割图像104中标注符号112及符号114来图示的区域为散焦区域。散焦区域是指焦点未对焦而模糊的区域。将散焦区域除外的区域为焦点对焦的对焦区域。
分割图像100中，在分割图像100的横向的两端部存在散焦区域108及散焦区域110。分割图像104中，在分割图像104的横向的两端部存在散焦区域112及散焦区域114。
换言之，在分割图像100的横向的非端部及分割图像104的横向的非端部存在对焦区域。非端部是将两端部除外的区域。在上下方向上，将上下方向的两端部除外的区域为上下方向的非端部。
另一方面，分割图像102中不存在散焦区域。换言之，分割图像102在横向的整个范围内存在对焦区域。
分割图像的横向是指，使摄像装置平摇动作时被摄体上的摄像装置的光轴所移动的方向。分割图像的纵向是指，使摄像装置倾斜动作时被摄体上的摄像装置的光轴所移动的方向。另外，摄像装置的光轴表示摄像装置所具备的光学成像***的光轴。
分割图像100和分割图像102中存在重复的区域。分割图像102和分割图像104中存在重复的区域。图2所示的合成图像106为实施对分割图像100、分割图像102及分割图像104进行合成的合成处理来生成的合成图像。
在合成图像106中，标注有符号116的区域为分割图像100和分割图像102的重叠区域。在合成图像106中，标注有符号118的区域为分割图像102和分割图像104的重叠区域。
在合成图像106的重叠区域116中包含分割图像100的散焦区域110的像素时，被分割图像100的散焦区域110的像素拉动，导致合成图像106中的重叠区域116模糊。
同样地，合成图像106的重叠区域118中包含分割图像104的散焦区域112的像素时，被分割图像104的散焦区域112的像素拉动，导致合成图像106中的重叠区域118模糊。
本实施方式所涉及的图像处理***中，对合成图像106的重叠区域116，使用未发生散焦的分割图像102的像素。并且，对合成图像106的重叠区域118，使用未发生散焦的分割图像102的像素。由此，可避免合成图像106的重叠区域116及重叠区域118中产生模糊。
[利用拍摄条件的图像处理对象区域的确定的说明]
图3是在图1所示的图像处理***中，利用拍摄条件确定图像处理对象区域时的框图。图3所示的图像处理***10具备拍摄条件获取部40作为图1所示的画质判断信息获取部14。并且，图3所示的图像处理***10具备图像处理对象区域数据库42。
拍摄条件获取部40可获取拍摄角度、被摄体距离、焦距、光圈值、容许弥散圆直径、镜头的种类、相机的机种、聚焦位置及闪光灯有无发光等中的至少任一个条件作为拍摄条件。
拍摄条件获取部40作为拍摄条件可获取从图像获取部12发送的EXIF信息22中包含的拍摄条件。拍摄条件获取部40可获取用户所指定的拍摄条件、用户所选择的拍摄条件及利用传感器获得的拍摄条件作为拍摄条件。拍摄条件获取部40也可获取与相机的机种建立有关联的拍摄条件。
拍摄条件获取部40向图像处理对象区域确定部16发送表示拍摄条件的拍摄条件信息44。拍摄条件信息44为图1所示的第1画质判断信息32A或第2画质判断信息32B的一例。
图像处理对象区域数据库42中，数据库化而存储有拍摄条件与临时图像处理对象区域的关系。图像处理对象区域确定部16能够利用图像处理对象区域数据库42，将拍摄条件作为指数，获取与拍摄条件对应的临时图像处理对象区域。
图像处理对象区域确定部16利用与从图像处理对象区域数据库42获取的拍摄条件对应的临时图像处理对象区域，确定作为利用图像处理部18进行的图像处理的对象的图像处理对象区域。图像处理对象区域数据库42为将画质判断信息与临时图像处理对象区域的关系建立对应关联而进行存储的存储部的一例。
即，图像处理对象区域确定部16利用拍摄条件确定1个以上的临时图像处理对象区域。
图像处理对象区域确定部16可将作为基于拍摄条件的临时图像处理对象区域与基于图1所示的画质分析结果30的临时图像处理对象区域的逻辑与来表示的区域确定为图像处理对象区域。
图像处理对象区域确定部16可利用2种以上的不同的拍摄条件确定2个以上的不同的临时图像处理对象区域。图像处理对象区域确定部16可将作为2个以上的不同的临时图像处理对象区域的逻辑与来表示的区域确定为图像处理对象区域。
图像处理对象区域确定部16可确定图像处理对象外区域。图像处理对象外区域为设为利用图像处理部18进行的图像处理的对象外的区域。对于图4所示的图像处理***10中的图像处理部18也相同。
图像处理对象区域确定部16向图像处理部18发送图像处理对象区域信息34。图像处理部18根据图像数据20及图像处理对象区域信息34执行图像处理，并输出图像处理结果36。
[拍摄条件的具体例]
对利用图3所示的拍摄条件获取部40获取的拍摄信息的具体例进行说明。作为用户所指定的拍摄信息或用户所选择的拍摄信息的具体例，可举出相机的机种、镜头的种类、拍摄位置的条件及相机的设定。相机的设定也可以设为镜头的设定。
根据相机的机种，可掌握每个相机的摄像元件的尺寸。摄像元件的尺寸能够作为容许弥散圆直径而用于计算景深。当为镜头非更换式的相机时，根据相机的机种，可掌握每个相机的镜头的特性。镜头的特性能够用于判断有无像面弯曲。
图3所示的图像处理对象区域数据库42中，可数据库化而存储有相机的机种与摄像元件的尺寸的关系。图3所示的图像处理对象区域数据库42可针对镜头非更换式的相机，数据库化而存储有相机的机种与镜头的特性的关系。
可由用户指定或选择摄像元件的尺寸本身。也可由用户指定或选择镜头的特性本身。
当为镜头更换式的相机时，可获取镜头的种类作为拍摄条件。根据镜头的种类，可掌握镜头的特性。镜头的特性能够用于判断有无像面弯曲。
图3所示的图像处理对象区域数据库42中，可数据库化而存储有镜头的种类与镜头的特性的关系。也可指定或选择镜头的特性本身。
根据拍摄位置的条件，可掌握被摄体距离及拍摄角度中的至少任一个。关于被摄体距离及拍摄角度的详细内容，将在后面进行说明。
根据相机的设定或镜头的设定，可掌握聚焦位置、焦距、光圈值及闪光灯有无发光中的至少任一个。
作为可从图像的元数据获取的拍摄条件的具体例，可举出相机的机种、镜头的种类及相机的设定。相机的设定也可以设为镜头的设定。图像的元数据并非图像数据本身，而是与图像数据相关的信息。作为元数据的例子，可举出图1及图3所示的EXIF信息22。
关于相机的机种、镜头的种类以及相机的设定或镜头的设定，如已进行说明。在此，省略对相机的机种、镜头的种类以及相机的设定或镜头的设定的详细内容的说明。
作为可利用传感器获取的拍摄条件的具体例，可举出拍摄位置及拍摄角度。根据拍摄位置的条件，可掌握被摄体距离。当利用机器人拍摄时，图3所示的拍摄条件获取部40可获取从机器人所具备的各种传感器获得的信息。作为各种传感器的例子，可举出测定被摄体距离的传感器及测定拍摄角度的传感器等。被摄体距离作为从摄像装置的镜头至被摄体为止的距离而被测定。被摄体距离可由摄影者利用量尺等测量辅助器具进行测定。被摄体距离也可以利用激光测距仪等测定器进行测定。拍摄角度可利用角度计等测定器进行测定。拍摄角度也可以根据水平方向上的摄像装置与被摄体之间的距离及摄像装置的光轴方向上的摄像装置与被摄体之间的距离，利用三角函数导出。
[利用画质分析结果的图像处理对象区域的确定的说明]
图4是在图1所示的图像处理***中，利用画质分析结果确定图像处理对象区域时的框图。图4所示的图像处理***10具备画质分析结果获取部50作为图1所示的画质判断信息获取部14。并且，图4所示的图像处理***10具备阈值输入部，其对图像处理对象区域确定部16输入阈值。另外，省略阈值输入部的图示。
图4所示的画质分析结果获取部50对图像数据20设定多个分析区域，按分析区域执行画质分析来获取画质分析结果30。作为画质分析的例子，可举出空间频率的频谱分布的生成、灰度图像中的浓度值的直方图即浓度直方图的生成。画质分析结果获取部50为分析部的一例。
根据每个分析区域的空间频率的频谱分布，可获取散焦及抖动的判断信息。根据每个分析区域的灰度图像中的浓度直方图，可获取过暗区域、过亮区域及灰度不均衡的区域的判断信息。画质判断信息获取部14向图像处理对象区域确定部16发送所获取的画质分析结果30。
图像处理对象区域确定部16对画质分析结果30设定阈值54，确定1个以上的临时图像处理对象区域。阈值54可以是预先设定的既定值，也可以是由用户指定的指定值。
图像处理对象区域确定部16可将作为利用画质分析结果30确定的临时图像处理对象区域与利用拍摄条件确定的临时图像处理对象区域的逻辑与来表示的区域确定为图像处理对象区域。
图像处理对象区域确定部16可利用2种以上的不同的画质分析结果，确定2个以上的不同的临时图像处理对象区域。图像处理对象区域确定部16可将作为利用2种不同的画质分析结果确定的2个以上的不同的临时图像处理对象区域的逻辑与来表示的区域确定为图像处理对象区域。
图像处理对象区域确定部16向图像处理部18发送图像处理对象区域信息34。图像处理部18根据图像数据20及图像处理对象区域信息34执行图像处理，并输出图像处理结果36。
对图1至图4所示的各种处理部，有时利用英语标记表示为processing unit。处理器有时利用英语标记表示为processor。在此所说的处理部中包含虽然是未使用处理部的名称的构成要件但执行任意处理的实际的处理部。
各种处理器中包含：执行程序而作为各种处理部发挥作用的通用的处理器即CPU；FPGA等能够在制造之后变更电路结构的处理器即PLD；及ASIC等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。程序的含义与软件相同。
另外，FPGA为Field Programmable Gate Array(现场可编程门阵列)的缩写。PLD为Programmable Logic Device(可编程逻辑设备)的缩写。ASIC为Application SpecificIntegrated Circuit(专用集成电路)的缩写。
1个处理部可由这些各种处理器中的1个构成，也可由相同种类或不同种类的2个以上的处理器构成。例如，1个处理部可由多个FPGA或者CPU与FPGA的组合构成。并且，也可由1个处理器构成多个处理部。
作为由1个处理器构成多个处理部的例子，第1，有如客户机及服务器等计算机为代表，由1个以上的CPU和软件的组合构成1个处理器，该处理器作为多个处理部发挥作用的方式。
第2，有如SoC等为代表，使用由1个IC芯片实现包括多个处理部在内的整个***的处理器的方式。如此，各种处理部作为硬件结构利用上述各种处理器的1个以上来构成。而且，作为这些各种处理器的硬件结构，更具体而言，能够利用组合了半导体元件等电路元件的电路。
另外，SoC为***芯片的英语标记System On Chip的缩写。IC为表示集成电路的英语标记Integrated Circuit的缩写。电路有时利用英语标记表示为circuitry。
[画质分析的详细说明]
接着，对利用图4所示的画质分析结果获取部50进行的画质分析进行详细说明。以下，对图2所示的分割图像100中的画质分析进行说明。
图5是表示分析区域的一例的图。图5所示的分析区域150为成为画质分析的单位的区域。分析区域150表示设定于分割图像100的多个分析区域中的任一个。以下，不标注符号而记载为分析区域时，视作表示图5中示出一例的分析区域。
本实施方式中，针对分割图像100，分别在纵向及横向上设定多个分析区域。分割图像的分割可以分别在正交的任意的2个方向上进行分割。
并且，本实施方式中例示了正方形的分析区域150，但分析区域150的形状可适用正方形以外的多边形及圆等任意的形状。而且，能够适当确定分析区域150的像素数。
图4所示的画质分析结果获取部50对多个分析区域，按分析区域获取画质分析处理的结果。画质分析处理结果的获取中，包含获取利用画质分析结果获取部50执行的画质分析处理的结果的方式。
<画质分析处理的一例>
接着，作为画质分析处理结果的一例，对每个分析区域的空间频谱分布的获取进行说明。空间频谱分布的获取中适用FFT。FFT为表示快速傅里叶变换处理的英语标记fastFourier transform的缩写。
图6是分析区域为对焦区域时的空间频谱分布图像的示意图。空间频谱分布图像160的中心162表示空间频率0。空间频谱分布图像160的角落164表示最大空间频率。
作为空间频谱分布图像160的中心162附近的中心部表示低频成分的频谱166所存在的区域。作为空间频谱分布图像160的角落164附近的周边部表示高频成分的频谱168所存在的区域。
在此，作为空间频谱分布图像160的中心162附近的中心部是包含空间频谱分布图像160的中心162的区域。中心部根据低频成分来确定。
作为空间频谱分布图像160的角落164附近的周边部是包含空间频谱分布图像160的角落164的区域。周边部根据高频成分来确定。
高频成分及低频成分根据图像的分辨率适当确定。另外，高频成分及低频成分只要表示出相对的频率成分的关系即可。空间频率的单位利用长度单位的倒数来表示。长度单位可以是毫米也可以是英寸。
图7是表示分析区域为正常图像时的空间频谱分布图像的一例的图。正常图像表示未散焦的图像。分析区域为正常图像时，空间频谱分布图像160中存在低频成分的频谱166及高频成分的频谱168。
图8是表示分析区域为模糊图像时或抖动图像时的空间频谱分布图像的一例的图。如图8所示，在分析区域散焦的模糊图像的情况或抖动的抖动图像的情况下，空间频谱分布图像160中存在低频成分的频谱166，但不存在高频成分的频谱168。
因此，根据从各分析区域导出的空间频谱分布图像160的高频成分的频谱166的有无，可判定将分析区域设为临时图像处理对象区域还是设为图像处理对象外区域。
与图7所示的空间频谱分布图像160对应的分析区域为根据空间频谱分布确定的高画质的区域的一例。与图8所示的空间频谱分布图像160对应的分析区域为根据空间频谱分布确定的低画质的区域的一例。
图9是表示高频成分判定区域的一例的图。如图9所示，将从空间频谱分布图像160的各角落164，半径为r像素的范围设为高频成分判定区域170。
高频成分判定区域170中存在频谱时，可判定为空间频谱分布图像160中存在高频成分的频谱。空间频谱分布图像160中存在高频成分的频谱时，判定分析区域为未散焦区域或未抖动的区域。未散焦的分析区域或未抖动的分析区域确定为临时图像处理对象区域。
另一方面，高频成分判定区域170中不存在频谱时，可判定为空间频谱分布图像160中不存在高频成分的频谱。空间频谱分布图像160中不存在高频成分的频谱时，判定分析区域为散焦的区域或抖动的区域。散焦的分析区域或抖动的分析区域确定为图像处理对象外区域。空间频谱分布图像160为空间频谱分布的一例。
确定高频成分判定区域170的r为判定阈值。判定阈值可设为预先设定的既定值，也可以设为可由用户指定的指定值。作为判定阈值的例子，可举出分析区域中的纵向的像素数的四分之一的像素数或横向的像素数的四分之一的像素数。例如，分析区域的纵向的像素数为100像素且横向的像素数为100像素时，可将判定阈值r设为25像素。另外，在此所说的四分之一为例示，可适用任意的比例。
图9中示出了利用像素数表示判定阈值的例子，但判定阈值也可利用毫米等长度。另外，像素数可表示为像素。
<画质分析处理的另一例>
接着，作为画质分析处理结果的另一例，对每个分析区域的浓度直方图的获取进行说明。图10是表示浓度直方图的一例的图。图10所示的浓度直方图180中，从利用R、G及B表示的彩色图像转换为灰度图像，并计算灰度图像的浓度直方图来获得分析区域。
灰度图像的各像素的浓度值利用R×0.30+G×0.59+B×0.1来计算。上述式的R表示红色的浓度值。G表示绿色的浓度值。B表示蓝色的浓度值。从彩色图像向灰度图像的转换能够使用从RGB向灰度的颜色转换查找表。从彩色图像向灰度图像的转换为一例，也可利用向能够计算浓度直方图的图像转换的其他转换式。
图10所示的分析区域的浓度直方图180的横轴表示浓度值。浓度直方图180的纵轴为度数。浓度值利用0至255的相对值来表示。浓度值0表示最暗。浓度值255表示最亮。
分析区域过暗时，浓度直方图180的度数偏向暗侧。分析区域过亮时，浓度直方图180的度数偏向亮侧。
能够利用各分析区域的浓度直方图，按分析区域判定是过亮区域还是过暗区域。将G(i)作为各浓度值的直方图。i表示浓度值。本实施方式中，i使用0以上255以下的整数。
将过亮区域的浓度值阈值设为kb，将过亮区域的像素阈值设为hb。满足下述式1所示的条件的分析区域可判定为过亮区域。过亮区域可设定为图像处理对象外区域。
[数式1]
Figure GDA0002366090230000211
即，浓度值为kb以上的像素的数量相对于分析区域的所有像素数的比例为hb以上时，判定为分析区域过亮。过亮区域的浓度值阈值kb及过亮区域的像素阈值hb可以是预先设定的既定值，也可以是可由用户指定的指定值。
作为过亮区域的浓度值阈值kb的例子，可举出205。作为过亮区域的像素阈值hb的例子，可举出0.5。该情况下，分析区域的所有像素的百分之五十具有205以上的浓度值时，该分析区域判定为过亮区域。过亮区域设定为图像处理对象外区域。
并且，将过暗区域的浓度阈值设为kd，将过暗区域的像素阈值设为hd。满足下述式2所示的条件的分析区域可判定为过暗区域。过暗区域可设定为图像处理对象外区域。
[数式2]
Figure GDA0002366090230000212
作为过暗区域的浓度阈值kd的例子，可举出50。作为过暗区域的像素阈值hd的例子，可举出0.5。该情况下，分析区域的所有像素的百分之五十具有50以下的浓度值时，该分析区域判定为过暗区域。过暗区域设定为图像处理对象外区域。
另一方面，未判定为过亮区域的区域及未判定为过暗区域的区域可设定为临时图像处理对象区域。即，不满足上述式1所示的条件及上述式2所示的条件的分析区域可设定为临时图像处理对象区域。
未判定为过亮区域的区域及未判定为过暗区域的区域为根据灰度值的直方图来确定的高画质区域的一例。浓度直方图180为灰度值的直方图的一例。
阴影侧的灰度不均衡的分析区域中，度数存在于浓度直方图180的浓度值0。高光侧的灰度不均衡的分析区域中，度数存在于浓度直方图180的浓度值255。
即，将阴影侧的灰度不均衡的判定阈值设为Td，满足G(0)＞Td的分析区域可判定为阴影侧的灰度不均衡区域。阴影侧的灰度不均衡区域可设定为图像处理对象外区域。
并且，将高光侧的灰度不均衡的判定阈值设为Tb，满足G(255)＞Tb的分析区域可判定为高光侧的灰度不均衡区域。高光侧的灰度不均衡区域可设定为图像处理对象外区域。
另一方面，未判定为阴影侧的灰度不均衡区域的区域及未判定为高光侧的灰度不均衡区域的区域可设定为临时图像处理对象区域。即，不满足G(0)＞Td及G(255)＞Tb的分析区域可设定为临时图像处理对象区域。
不满足G(0)＞Td及G(255)＞Tb的分析区域为根据灰度值的直方图来确定的高画质的区域的一例。
[利用拍摄条件的临时图像处理对象区域的确定的说明]
<利用拍摄角度及聚焦位置的例子>
接着，对利用拍摄条件的临时图像处理对象区域的确定进行说明。首先，对将拍摄角度及聚焦位置用作拍摄条件的例子进行说明。
图11是被摄体的拍摄的示意图。图11中示意地图示了利用摄像装置200进行的被摄体202的拍摄。分割图像204是将摄像装置200的光轴方向设为与水平方向平行的方向，拍摄被摄体202来获得的图像。
分割图像206是使摄像装置200倾斜动作，使摄像装置200的光轴相对于水平方向向上倾斜α度，拍摄被摄体202来获得的图像。分割图像208是使摄像装置200倾斜动作，使摄像装置200的光轴相对于水平方向向上倾斜β度，拍摄被摄体202来获得的图像。另外，角度α、角度β具有α＜β的关系。
图12是表示聚焦区为拍摄范围的中心时的临时图像处理对象区域的一例的图。图12中图示了将桥墩210作为主要被摄体进行拍摄来获得的3张分割图像。图12中标注符号212来图示的虚线的圆表示分割图像204、分割图像206及分割图像208的聚焦区。聚焦区的中心成为聚焦位置。
分割图像206及分割图像208中标注有符号214的框表示对焦于桥墩210的未散焦区域与未对焦于桥墩210的散焦区域之间的边界。框214的内侧为未散焦区域，框214的外侧为散焦区域。未散焦区域包含框214。
图12所示的分割图像206及分割图像208中，从聚焦区212向上下方向远离的区域脱离景深而散焦。比分割图像206更靠上侧的分割图像208且摄影角度大于分割图像206的分割图像208相较于分割图像206，散焦区域的面积变大。
图13是表示聚焦区为比拍摄范围的中心更靠下方的位置时的临时图像处理对象区域的一例的图。图13所示的分割图像204A的聚焦区212成为比图12所示的分割图像204的聚焦区212更靠下方的位置。对于图13所示的分割图像206A及分割图像208A也相同。
图13所示的分割图像206A相较于图12所示的分割图像206，散焦的区域的面积大，且图13所示的分割图像208A也相同。
即，从聚焦位置向与被摄体的角度发生变化的方向远离的区域脱离景深而散焦。使摄像装置倾斜动作，将摄像装置作为基准而向摄像装置的上下方向设置拍摄角度时，分割图像的上端部及下端部中的至少任一个散焦。
使摄像装置平摇动作，将摄像装置作为基准而向摄像装置的左右方向设置拍摄角度时，分割图像的右端部及左端部中的至少任一个散焦。在此所说的上下方向可以称作纵向。并且，左右方向可以称作横向。
图12所示的分割图像204的未散焦区域204B、分割图像206的标注有符号206B的未散焦区域及分割图像208的标注有符号208B的未散焦区域可确定为临时图像处理对象区域。
预先将聚焦位置及拍摄角度与未散焦区域的关系进行数据库化，并存储于图3所示的图像处理对象区域数据库42。可利用聚焦位置及拍摄角度，从图3所示的图像处理对象区域数据库42获取分割图像中的未散焦区域的信息。
图12所示的分割图像204、分割图像206及分割图像208中的背景等非主要被摄体实际上是散焦的区域。但是，由于着眼于主要被摄体进行处理来生成最终成果物，因此着眼于主要被摄体的模糊或抖动来确定临时图像处理对象区域即可。临时图像处理对象区域中可包含非主要被摄体。
换言之，能够将整个分割图像作为同一平面来处理，并能够根据主要被摄体的模糊或抖动确定分割图像中的临时图像处理对象区域。
<计算景深及散焦量的例子>
接着，对利用拍摄条件确定临时图像处理对象区域的另一例进行说明。以下，对将拍摄角度、聚焦位置、景深、焦距、光圈值及容许弥散圆形用作拍摄条件的例子进行说明。
具体而言，计算景深及表示拍摄范围内的散焦距离的散焦量，并将散焦量在景深内的区域229确定为临时图像处理对象区域。将散焦量不在景深内的区域确定为图像处理对象外区域。另外，省略散焦量不在景深内的区域的图示。
图14是表示散焦量与景深的关系的示意图。图14中图示的符号DN表示前方景深。符号Df表示后方景深。前方景深DN利用以下的式3来表示。后方景深Df利用以下的式4来表示。景深利用以下的式5来表示。
[数式3]
Figure GDA0002366090230000241
[数式4]
Figure GDA0002366090230000242
[数式5]
景深＝前方景深+后方景深
上述式3中的前方景深DN、上述式4中的后方景深Df、上述式5中的景深的单位为毫米时，上述式3及式4中的容许弥散圆直径、被摄体距离、焦距的单位为毫米。
容许弥散圆直径表示容许弥散圆的直径。容许弥散圆直径适用设置于摄像装置200的摄像元件的尺寸。
图14的符号220表示摄像装置200的对焦面。标注有符号220A的实线表示摄像装置200的拍摄范围。纵向的拍摄范围通过被摄体距离乘以纵向的传感器尺寸而得的值除以焦距来计算。纵向的拍摄范围利用表示长度的单位。
纵向表示代表图14中图示的对焦面220的虚线所朝向的方向。纵向的传感器尺寸为设置于摄像装置200的摄像元件的纵向上的尺寸。
并且，横向的拍摄范围通过被摄体距离乘以横向的传感器尺寸而得的值除以焦距来计算。横向的拍摄范围利用表示长度的单位。
横向为与纵向正交的方向，表示贯穿图14的纸面的方向。横向的传感器尺寸为图14所示的设置于摄像装置200的摄像元件的横向上的尺寸。拍摄角度θ为被摄体面202A的法线方向即被摄体面垂直方向222与摄像装置200的光轴方向224所呈的角度。
图14中图示的符号226表示景深的前端。符号228表示景深的后端。符号230表示对焦面220的前方的散焦量。符号232表示对焦面220的后方的散焦量。散焦量能够作为从被摄体面202A至对焦面220为止的距离，利用几何学计算来计算。
图3所示的拍摄条件获取部40具备景深计算部及散焦量计算部。另外，省略景深计算部及散焦量计算部的图示。
图15是表示聚焦区为拍摄范围的中心时的景深内区域的一例的图。图15中，示出在图12所示的分割图像206中根据景深及散焦量确定的临时图像处理对象区域240。
图16是表示聚焦区为比拍摄范围的中心更靠下方的位置时的景深内区域的一例的图。图16中，示出在图13所示的分割图像206A中根据景深及散焦量确定的临时图像处理对象区域240A。
<利用镜头的种类及聚焦位置的例子>
接着，对利用拍摄条件确定临时图像处理对象区域的另一例进行说明。以下，对作为拍摄条件利用镜头的种类及聚焦位置的例子进行说明。摄像装置为镜头固定式时，可利用相机的种类确定镜头的种类。
图17是表示聚焦区为拍摄范围的中心时的像面弯曲的影响的一例的图。产生镜头的特性引起的像面弯曲时，在拍摄范围250的中心252或中心252附近的位置对焦，并在拍摄范围250的周边部254产生散焦。
图18是表示聚焦区为拍摄范围的周边部时的像面弯曲的影响的一例的图。产生镜头的特性引起的像面弯曲时，在拍摄范围250的周边部254对焦的情况下，在拍摄范围250的中心252或拍摄范围250的中心252附近产生散焦。另外，拍摄范围250的中心252附近为包含拍摄范围250的中心252的范围。拍摄范围250的中心252附近根据镜头的种类确定。
图19是表示考虑到聚焦区为拍摄范围的中心时的像面弯曲的影响的未散焦区域的一例的图。图20是表示考虑到聚焦区为拍摄范围的周边部时的像面弯曲的影响的未散焦区域的一例的图。
图19及图20表示在图2中图示的分割图像102中，考虑到像面弯曲的影响的未散焦区域260的一例。图19及图20中图示的符号262表示聚焦区。
图21是表示考虑到聚焦区为拍摄范围的中心时的像面弯曲的影响的未散焦区域的另一例的图。根据镜头的特性，有时确定如图21所示的未散焦区域260。
预先将镜头的种类及聚焦位置与未散焦区域的关系进行数据库化，并存储于图3所示的图像处理对象区域数据库42。利用镜头的种类及聚焦位置，可从图3所示的图像处理对象区域数据库42获取分割图像中的未散焦区域的信息。
图19及图21所示的未散焦的区域260为包含中心部的区域，是根据镜头的特性确定的区域的一例。图20所示的未散焦的区域260为包含周边部的区域，是根据镜头的特性确定的区域的一例。
<利用闪光灯有无发光的例子>
接着，对利用拍摄条件确定临时图像处理对象区域的另一例进行说明。以下，对将闪光灯有无发光用作拍摄条件的例子进行说明。具体而言，闪光灯发光时周边部变暗，因此将周边部以外的亮区域设为临时图像处理对象区域。并且，周边部即暗区域设为图像处理对象外区域。
图22是表示闪光灯发光时的亮区域及暗区域的一例的图。闪光灯发光时，从闪光灯向被摄体照射的闪光灯光所到达的区域即闪光灯光到达区域270成为亮区域。闪光灯发光时闪光灯光未到达的区域即闪光灯光非到达区域272成为暗区域。
并且，根据摄像装置中的闪光灯的位置，易变暗的区域不同。例如，闪光灯配置于摄像装置的上部时，所拍摄的图像中的下侧易变暗。被摄体距离相对变短时，亮区域相对变小。另一方面，被摄体距离相对变长时，亮区域相对变大。
图22中图示的符号274表示闪光灯光到达区域270与闪光灯光非到达区域272的边界。被摄体距离相对变短时，边界274向标注有符号276的箭头线所朝向的方向移动。
即，被摄体距离相对变短时的边界274向闪光灯光到达区域270的面积相对变小且闪光灯光非到达区域272的面积相对变大的方向移动。
另一方面，被摄体距离相对变长时，边界274向标注有符号278的箭头线所朝向的方向移动。即，被摄体距离相对变长时的边界274向闪光灯光到达区域270的面积相对变大且闪光灯光非到达区域272的面积相对变小的方向移动。
预先将被摄体距离与闪光灯光到达区域270或闪光灯光非到达区域272之间的关系进行数据库化，并存储于图3所示的图像处理对象区域数据库42。可利用被摄体距离，从图3所示的图像处理对象区域数据库42获取分割图像中的闪光灯光到达区域270或闪光灯光非到达区域272的信息。
[图像处理对象区域的确定的说明]
接着，对图像处理对象区域的确定进行说明。图23是表示基于2个临时图像处理对象区域的逻辑与的图像处理对象区域的一例的图。图23中，示出对图12所示的分割图像206，综合利用拍摄角度确定的第1临时图像处理对象区域300及利用镜头特性确定的第2临时图像处理对象区域302来确定的图像处理对象区域304。图23中图示的符号310表示分割图像206中的聚焦区。
图23所示的例子中，在分割图像206中，将基于拍摄角度的第1临时图像处理对象区域300设为1，并将图像处理对象外区域306A设为0。并且，在分割图像206中，将基于镜头特性的第2临时图像处理对象区域302设为1，并将图像处理对象外区域306B设为0。
将利用基于各种要因的影响的第1临时图像处理对象区域300及第2临时图像处理对象区域302的逻辑与来表示的区域设为分割图像206的图像处理对象区域304。
换言之，在分割图像206中，将基于拍摄角度的第1临时图像处理对象区域300设为0，并将图像处理对象外区域306A设为1。并且，在分割图像206中，将基于镜头特性的第2临时图像处理对象区域302设为0，并将图像处理对象外区域306B设为1。
将利用基于各种要因的影响的图像处理对象外区域306A及图像处理对象外区域306B的逻辑和来表示的区域设为分割图像206的图像处理对象外区域306。
图23的下段所示的分割图像206中的图像处理对象区域304通过结合拍摄角度的影响及镜头特性的影响来确定。图23中例示了作为利用2种不同的拍摄条件确定的2种不同的临时图像处理对象区域的逻辑与确定图像处理对象区域的例子。
图像处理对象区域可使用利用画质分析结果确定的临时图像处理对象区域及利用拍摄条件确定的临时图像处理对象区域来确定。也可以作为利用2种不同的画质分析结果确定的2种不同的临时图像处理对象区域的逻辑与确定图像处理对象区域。
在此所说的逻辑与可包含如下方式，即，在确定第1临时图像处理对象区域之后，将处理区域限定在第1临时图像处理对象区域来确定第2临时图像处理对象区域。例如，也可对分割图像，根据拍摄条件确定第1临时图像处理对象区域，并将所确定的第1临时图像处理对象区域作为对象来获取画质分析结果，从而确定图像处理对象区域。
[图像处理]
本实施方式所涉及的图像处理方法适用于仅检测损伤、仅合成图像及检测损伤和合成图像双方。损伤检测和图像合成双方中包含损伤检测结果的合成。以下，对检测损伤及合成图像进行详细说明。
<损伤检测处理>
损伤检测处理中，对利用摄像装置进行拍摄来获得的图像中的图像处理对象区域执行损伤检测。损伤检测适用预先准备的损伤检测装置。损伤检测处理中，利用损伤检测装置对图像处理对象区域执行损伤检测。
作为设为损伤检测对象的被摄体的例子，可举出建筑物的墙壁、柱、天花板及窗等结构体、以及道路、树木、岩壁、海面、船舶及车辆等。
作为建筑物的墙壁及柱上的损伤的例子，可举出混凝土部件的裂纹、游离石灰、漏水、剥离、钢筋暴露、浮起、钢部件的龟裂、腐蚀及描绘在墙壁等的划线等。作为损伤的其他例，可举出结构体中的裂缝、欠缺、孔、变色、涂装的剥落及腐蚀等。
<图像合成处理>
图像合成处理包括图像对应关联工序及图像贴合工序。图像对应关联处理工序包括特征点提取工序、对应点提取工序及射影转换行列计算工序。
图像对应关联处理对整个分割图像执行。图像贴合处理可限定在图像处理对象区域来执行，图像贴合处理可优先对图像处理对象区域执行。
在图像贴合处理中，对横跨2个分割图像的重叠区域执行融合处理或覆盖处理。融合处理或覆盖处理限定在图像处理对象区域中包含的像素而执行。
融合处理是根据预先设定的融合处理规则，对重叠区域中包含的2个分割图像的像素进行混合的处理。覆盖处理是利用构成重叠区域的2个分割图像中的任一个的像素覆盖重叠区域的处理。换言之，覆盖处理是替换为构成重叠区域的2个分割图像中的任一个的处理。
但是，重叠区域不包含图像处理对象区域时，可在重叠区域的处理中，使用图像处理对象外区域的像素。重叠区域不包含图像处理对象区域时，可将重叠区域的像素值设为预先设定的值。
作为预先设定的值的例子，可举出表示黑色的像素值及表示白色的像素值。作为表示黑色的像素值的例子，可举出最小像素值。作为表示白色的像素值的例子，可举出最大像素值。
利用重叠区域以外的区域即单独的分割图像构成的单独区域使用各分割图像的像素。
图24是图像合成处理的一例的说明。以下，对合成图12所示的分割图像204、分割图像206及分割图像208的例子进行说明。图24的符号209是指表示对分割图像204、分割图像206及分割图像208进行合成而获得的合成结果的合成图像。
在图像对应关联处理工序中，确定分割图像204、分割图像206及分割图像208与合成图像209的对应关联。首先，在特征点提取工序中，提取分割图像204、分割图像206及分割图像208的各个特征点。具体而言，提取特征点的坐标。在此所说的坐标是设定于分割图像204、分割图像206及分割图像208的坐标。例如，可举出二维正交坐标系中的坐标。
接着，在对应点提取工序中，提取与分割图像204、分割图像206及分割图像208的各个特征点对应的合成图像209中的对应点。并且，在射影转换行列计算工序中，计算与分割图像204、分割图像206及分割图像208的各个特征点的坐标对应的合成图像209中的对应点的坐标。射影转换行列计算的详细内容请参考日本特开2004-072533号公报的0053段落的记载。
图24所示的合成图像209中的区域320为与分割图像204对应的区域。合成图像209中的区域322为与分割图像206的下侧的图像处理对象外区域206D对应的区域。
合成图像209中的区域324为与分割图像206的图像处理对象区域206B对应的区域。合成图像209中的区域326为与分割图像206的上侧的图像处理对象外区域206C对应的区域。
合成图像209中的区域328为与分割图像208的图像处理对象外区域208C对应的区域。合成图像209中的区域330为与分割图像208的图像处理对象区域208B对应的区域。
如此导出分割图像204、分割图像206及分割图像208与合成图像209之间的对应关系。
在图像贴合工序中，执行贴合分割图像204、分割图像206及分割图像208的贴合处理。合成图像209中的重叠区域352执行融合处理或覆盖处理。
重叠区域352由区域352A及区域352B构成。区域352A为分割图像204和分割图像206的图像处理对象外区域所横跨的区域。区域352A可采用分割图像204的像素。区域352B为分割图像204和分割图像206的图像处理对象区域206B所横跨的区域。区域352B可使用分割图像204的像素，也可使用分割图像206的图像处理对象区域206B的像素。区域352B可对分割图像204的像素及分割图像206的图像处理对象区域206B的像素进行混合。
重叠区域354由区域354A及区域354B构成。区域354A为分割图像206的图像处理对象区域206B和分割图像208的图像处理对象外区域208C所横跨的区域。区域354A使用分割图像206的图像处理对象区域206B的像素。
区域354B为分割图像206的图像处理对象外区域206C和分割图像208的图像处理对象外区域208C所横跨的区域。区域354B可使用分割图像206的图像处理对象外区域206C的像素，也可使用分割图像208的图像处理对象外区域208C的像素。
区域354B可对分割图像206的图像处理对象外区域206C的像素和分割图像208的图像处理对象外区域208C的像素进行混合。区域354B可适用表示白色的像素值或表示黑色的像素值等预先设定的像素值。
区域356A为与分割图像208的图像处理对象外区域208C对应的区域。区域356A可使用分割图像208的图像处理对象外区域208C的像素，也可适用表示白色的像素值或表示黑色的像素值等预先设定的像素值。
合成图像209中的图像处理对象外区域356由区域354B及区域356A构成。图像处理对象外区域356使用图像处理对象外区域的处理规则。作为图像处理对象外区域的处理规则的例子，可举出对区域354B的处理及对区域356A的处理。
图像贴合处理适用以下的处理规则。存在多个图像处理对象区域时，采用融合处理或任一个图像处理对象区域的像素。图24所示的合成图像209中，对应的是区域324。
存在1个图像处理对象区域时，采用所对应的图像处理对象区域的像素。图24所示的合成图像209中，对应的是区域340、区域344及区域350。
不存在图像处理对象区域时，采用融合处理、任一个图像处理对象外区域的像素或预先设定的像素值。图24所示的合成图像209中，对应的是区域346及区域348。
<损伤检测处理及图像合成处理>
执行损伤检测处理及图像合成处理时，可执行对损伤检测结果进行合成的处理。作为对损伤检测结果进行合成的例子，可举出分别对图24所示的分割图像204、分割图像206及分割图像208执行裂纹检测，对已进行裂纹检测的分割图像204、分割图像206及分割图像208进行合成的例子。
对已进行裂纹检测的分割图像204、分割图像206及分割图像208进行合成来获得的合成图像作为图像处理结果图像209B图示于图25。
损伤检测结果的合成中，根据分割图像的对应关系对损伤检测结果进行合成。作为分割图像的对应关系的例子，可举出射影转换行列。在重叠区域中，采用图像处理对象区域中包含的任意分割图像的检测结果进行合成。
损伤检测中的图像处理对象区域可设为图像合成处理中的图像处理对象区域。图像合成处理中的图像处理对象区域可与损伤检测中的图像处理对象区域分开导出。
[图像处理结果的显示]
图25是图像处理结果的显示例的说明。图25中，示出对分割图像204、分割图像206及分割图像208进行合成而得的合成图像且区别显示图像处理对象外区域和其他区域的图像处理结果图像209A。
图25所示的图像处理结果图像209A或图像处理结果图像209B显示于未图示的图像显示部。
图像处理结果图像209A中显示表示图像处理对象外区域209C的框。图25所示的例子中，图像处理对象外区域209C采用分割图像206的像素或分割图像208的像素。
图25中图示的图像处理结果图像209B为对已进行裂纹检测的分割图像204、分割图像206及分割图像208进行合成来获得的合成图像。图像处理结果图像209B中，突出显示有检测对象的裂纹209E。图像处理结果图像209B中的图像处理对象外区域209D中未显示裂纹209E。
在图像处理结果显示中，图像处理结果图像中存在图像处理对象区域时，可变更分割图像中的图像处理对象区域并再次执行图像处理。例如，也可手动变更图25所示的分割图像206的图像处理对象区域206B。分割图像中的图像处理对象区域的变更利用未图示的图像处理对象区域变更部执行。
分割图像中的图像处理对象区域的变更可适用利用摄像装置变更拍摄角度等拍摄条件来拍摄，并对新获得的分割图像设定图像处理对象区域的方式。
[作用效果]
根据如上述那样构成的图像处理***，将作为分别与2个以上的画质判断信息对应的2个以上的临时图像处理对象区域即第1临时图像处理对象区域300及第2临时图像处理对象区域302的逻辑与来表示的区域确定为图像处理对象区域304。由此，能够考虑多个画质下降的原因来确定图像处理对象区域304。
临时图像处理对象区域利用拍摄条件及画质分析结果中的至少任一个来确定。
作为画质分析，可按分析对象区域获取空间频谱分布，并判定有无高频成分。可将存在高频成分的区域确定为临时图像处理对象区域。
作为画质分析，可按分析对象区域获取浓度值的直方图，并适用直方图的分析。可根据直方图的度数的偏差、在最小浓度值是否存在度数、在最大浓度值是否存在度数来确定临时图像处理对象区域。
作为拍摄条件，可适用拍摄角度及聚焦位置来确定临时图像处理对象区域。并且，作为拍摄条件，可适用拍摄角度、聚焦位置、被摄体距离、焦距、光圈值及容许弥散圆直径，并将散焦量在景深范围内的区域确定为临时图像处理对象区域。
而且，作为拍摄条件，可适用镜头的种类及聚焦位置，并将在镜头存在像面弯曲时的对焦区域确定为图像处理对象区域。镜头为固定式的摄像装置的情况下，可利用相机的机种确定镜头的种类。
而且，作为拍摄条件，可适用闪光灯有无发光，将闪光灯光所到达的范围确定为图像处理对象区域。而且，作为拍摄条件，可适用拍摄距离，根据拍摄距离调整闪光灯光所到达的范围，从而确定图像处理对象区域。
[适用于客户端服务器型网络***的例子]
图26是表示适用于客户端服务器型网络***的例子的框图。图26所示的图像处理***500具备服务器装置502及1个以上的客户端装置。图26中，作为客户端装置例示有第1客户端装置504、第2客户端装置506及第3客户端装置508。
服务器装置502经由网络510以能够通信的方式与第1客户端装置504、第2客户端装置506及第3客户端装置508连接。
网络510能够适用公共通信网及局域网等任意的通信网。局域网有时表示为英语标记Local Area Network的缩写即LAN。
服务器装置502与网络510之间的数据通信可适用有线方式的数据通信，也可适用无线形式的数据通信。同样地，客户端装置与网络510之间的数据通信可适用有线方式的数据通信，也可适用无线形式的数据通信。
客户端装置与网络510之间的数据通信可适用和服务器装置502与网络510之间的数据通信相同的形式，也可适用不同形式。
另外，客户端装置是图26所示的第1客户端装置504、第2客户端装置506及第3客户端装置508的总称。客户端装置这一术语有时表示第1客户端装置504、第2客户端装置506及第3客户端装置508中的任一个。
图26所示的服务器装置502利用1个以上的计算机构成。服务器装置502可适用实现图1、图3及图4所示的图像处理***10的功能的硬件。作为服务器装置502的结构例，可举出具备获取图1、图3及图4所示的机器学习数据的功能块及执行图像处理的功能块的例子。
服务器装置502可具备存储有实现图3所示的图像处理对象区域数据库42的功能的数据库的存储装置。存储装置可内置于图26所示的服务器装置502，存储装置也可外置于服务器装置502。
服务器装置502具备通信接口。服务器装置502利用通信接口与网络510连接。服务器装置502具备程序存储部。
客户端装置具备对服务器装置502发送图像数据的图像数据发送部。客户端装置具备通信接口。客户端装置利用通信接口与网络510连接。图26中，作为客户端装置的例子例示了计算机，但客户端装置也可适用便携式终端装置。
[图像处理方法]
图27是表示实施方式所涉及的图像处理方法的步骤的流程的流程图。本实施方式所涉及的图像处理方法包括图像获取工序S10、画质判断信息获取工序S12、图像处理对象区域确定工序S14、图像处理工序S16及图像输出工序S18而构成。
图像获取工序S10中，利用图1所示的图像获取部12获取图像数据20。图27所示的画质判断信息获取工序S12中，利用图1所示的画质判断信息获取部14生成并获取2种不同的画质判断信息。图27所示的画质判断信息获取工序S12可包括获取拍摄条件的拍摄条件获取工序及对图像进行分析的分析工序中的至少任一个。
图像处理对象区域确定工序S14中，利用图1所示的图像处理对象区域确定部16确定基于2种不同的画质判断信息的图像处理对象区域。
图27所示的图像处理工序S16中，利用图1所示的图像处理部18执行图像处理。图27所示的图像输出工序S18中，输出图像处理结果。在图像输出工序S18中输出图像处理结果之后，结束图像处理方法。
图28是表示图27所示的图像处理对象区域确定工序的步骤的流程的流程图。图27所示的图像处理对象区域确定工序S14包括图28所示的第1临时图像处理对象区域确定工序S100、第2临时图像处理对象区域确定工序S102及图像处理对象区域确定工序S104而构成。
第1临时图像处理对象区域确定工序S100中，利用图1所示的图像处理对象区域确定部16，并利用画质分析结果30或拍摄条件确定图像处理对象的图像中的第1临时图像处理对象区域。
图28所示的第2临时图像处理对象区域确定工序S102中，利用图1所示的图像处理对象区域确定部16，利用画质分析结果30或拍摄条件确定图像处理对象的图像中的第2临时图像处理对象区域。
图28所示的图像处理对象区域确定工序S104中，利用图1所示的图像处理对象区域确定部16，确定作为第1临时图像处理对象区域和第2临时图像处理对象区域的逻辑与来表示的图像处理对象区域。
图28所示的图像处理对象区域确定工序S104中，在确定图像处理对象区域之后，进入图27所示的图像处理工序S16。图像处理工序S16中，对图像处理对象的图像执行检测对象的检测处理及图像合成处理中的至少任一个处理。
[适用于图像处理程序的例子]
可构成与本实施方式所示的图像处理***及图像处理方法对应的图像处理程序。即，可构成使计算机实现图1、图3及图4所示的图像处理***10的各部的功能的图像处理程序。
例如，可构成使1个或多个计算机(处理器)实现与图像获取部对应的图像获取功能、与画质判断信息获取部对应的画质判断信息获取功能、与图像处理对象区域确定部对应的图像处理对象区域确定功能及与图像处理部对应的图像处理功能的图像处理程序。记录有该程序的计算机能够读取的记录介质也包含在本实施方式中。
[关于术语]
关于本说明书中的相同这一术语，包含如下方式，即，在严密来讲不同的方式中，可获得与相同大致同样的作用效果的实际上可视作相同的方式。
本说明书中的上这一术语是指与重力方向相反的方向。下这一术语是指重力方向。上及下可表示二者的相对的位置关系。
本说明书中的正交这一术语包含所交叉的2个方向所呈的角度严密来讲小于90度的情况及严密来讲超过90度的情况，但包含能够获得与所交叉的2个方向所呈的角度为90度的情况相同的作用效果的实际上的正交。
本说明书中的平行这一术语包含2个方向严密来讲非平行但能够获得与2个方向严密来讲平行的情况相同的作用效果的实际上的平行。
[关于实施方式及变形例等的组合]
上述实施方式中说明的结构或变形例中说明的事项能够适当进行组合，并且，还能够替换一部分构成要件。
以上说明的本发明的实施方式能够在不脱离本发明宗旨的范围内适当变更、追加、删除构成要件。本发明并不限定于以上说明的实施方式，能够在本发明的技术思想范围内由本领域技术人员进行大量变形。
符号说明
10、500-图像处理***，12-图像获取部，14-画质判断信息获取部，16-图像处理对象区域确定部，18-图像处理部，20-图像数据，22-EXIF信息，24-用户指定信息，26-用户选择信息，28-传感器信息，30-画质分析结果，32A-第1画质判断信息，32B-第2画质判断信息，34-图像处理对象区域信息，40-拍摄条件获取部，42-图像处理对象区域数据库，44-拍摄条件信息，50-画质分析结果获取部，54-阈值，100、102、104-分割图像，106-合成图像，108-散焦区域，110、112、114-散焦区域，116、118-重叠区域，150-分析区域，160-空间频谱分布图像，162-空间频谱分布图像的中心，164-空间频谱分布图像的角落，166-低频成分频谱，168-高频成分频谱，170-高频成分判定区域，180-浓度直方图，200-摄像装置，202-被摄体，202A-被摄体面，204、204A-分割图像，204B-未散焦区域，206、206A-分割图像，206B、208B、304-图像处理对象区域，206C、206D、208C、209C、209D、306、306A、306B、356-图像处理对象外区域，208、208A-分割图像，209-合成图像，209A、209B-图像处理结果图像，210-桥墩，212、262、310-聚焦区，214-框，220-对焦面，220A-拍摄范围，222-被摄体面垂直方向，224-摄像装置的光轴方向，226-景深的前端，228-景深的后端，230-对焦面的前方的散焦量，232-对焦面的后方的散焦量，240、240A-临时图像处理对象区域，250-拍摄范围，252-拍摄范围的中心，254-拍摄范围的周边部，260-未散焦区域，270-闪光灯光到达区域，272-闪光灯光非到达区域，274-闪光灯光到达区域与闪光灯光非到达区域的边界，276、278-边界的移动方向，300-第1临时图像处理对象区域，302-第2临时图像处理对象区域，320、322、324、326、328、330、340、342、344、346、348、350、352A、352B、354A、354B、356A-区域，352、354-重叠区域，500-图像处理***，502-服务器装置，504-第1客户端装置，506-第2客户端装置，508-第3客户端装置，510-网络，S1至S18-图像处理方法的各工序，S100至S114-图像处理对象区域确定工序的各工序。

Claims (20)

1.一种图像处理***，其执行检测图像中包含的作为检测对象的结构体的损伤的检测处理、及计算多个图像的对应关系并根据所述对应关系对所述多个图像进行合成的合成处理中的至少任一个，所述图像处理***的特征在于，具备：
图像获取部，获取拍摄被摄体而得的图像；
画质判断信息获取部，获取表示利用所述图像获取部获取的图像中的画质的判断结果的画质判断信息；
图像处理对象区域确定部，利用通过所述画质判断信息获取部获取的画质判断信息，确定利用所述图像获取部获取的图像中的图像处理对象区域；及
图像处理部，对利用所述图像处理对象区域确定部确定的图像处理对象区域，执行所述检测处理及所述合成处理中的至少任一个，
所述图像处理对象区域确定部导出分别与2个以上的画质判断信息对应的2个以上的临时图像处理对象区域，并将作为所述2个以上的所述临时图像处理对象区域的逻辑与来表示的区域确定为所述图像处理对象区域。
2.根据权利要求1所述的图像处理***，其中，
所述画质判断信息获取部具备获取所述图像的拍摄中的拍摄条件的拍摄条件获取部及对所述图像进行分析的分析部中的至少任一个，
所述图像处理对象区域确定部利用所述图像的拍摄条件及所述分析部的分析结果中的至少任一个来确定所述临时图像处理对象区域。
3.根据权利要求2所述的图像处理***，其中，
所述拍摄条件获取部获取拍摄角度及聚焦位置作为所述拍摄条件，
所述图像处理对象区域确定部将根据所述拍摄角度及所述聚焦位置确定的所述图像的非端部确定为所述临时图像处理对象区域。
4.根据权利要求2所述的图像处理***，其中，
所述拍摄条件获取部获取拍摄角度、聚焦位置、被摄体距离、焦距、光圈值及容许弥散圆直径作为所述拍摄条件，
所述图像处理对象区域确定部将根据所述拍摄角度、所述聚焦位置、所述被摄体距离、所述焦距、所述光圈值及所述容许弥散圆直径确定的所述图像的非端部确定为所述临时图像处理对象区域。
5.根据权利要求4所述的图像处理***，其具备：
景深计算部，利用所述被摄体距离、所述焦距、所述光圈值及所述容许弥散圆直径计算拍摄范围内的景深；及
散焦量计算部，利用所述拍摄角度及所述焦距，计算表示所述拍摄范围内的散焦距离的散焦量，
所述图像处理对象区域确定部将利用所述散焦量计算部计算出的散焦量在利用所述景深计算部计算出的景深的范围内的区域确定为所述临时图像处理对象区域。
6.根据权利要求2所述的图像处理***，其中，
所述拍摄条件获取部获取镜头的种类及聚焦位置作为所述拍摄条件，
所述图像处理对象区域确定部根据所述镜头的种类及所述聚焦位置，当所述聚焦位置为拍摄范围的中心部时，将包含所述中心部且根据所述镜头的特性确定的区域确定为所述临时图像处理对象区域，当所述聚焦位置为拍摄范围的周边部时，将包含所述周边部的区域且根据所述镜头的特性确定的区域确定为所述临时图像处理对象区域。
7.根据权利要求2至6中任一项所述的图像处理***，其中，
所述拍摄条件获取部获取闪光灯有无发光作为所述拍摄条件，
所述图像处理对象区域确定部将从所述闪光灯向被摄体照射的闪光灯光所到达的闪光灯光到达区域确定为所述临时图像处理对象区域。
8.根据权利要求7所述的图像处理***，其中，
所述拍摄条件获取部获取被摄体距离作为所述拍摄条件，
所述图像处理对象区域确定部将根据所述被摄体距离确定的所述闪光灯光到达区域确定为所述临时图像处理对象区域。
9.根据权利要求2至6中任一项所述的图像处理***，其中，
所述分析部将分析对象的图像分割为多个区域，并生成每个所述区域的空间频谱分布，
所述图像处理对象区域确定部将根据利用所述分析部生成的每个所述区域的空间频谱分布来确定的高画质的区域确定为所述临时图像处理对象区域。
10.根据权利要求2至6中任一项所述的图像处理***，其中，
所述分析部将分析对象的图像分割为多个区域，并生成每个所述区域的灰度值的直方图，
所述图像处理对象区域确定部将根据利用所述分析部生成的每个所述区域的灰度值的直方图来确定的高画质的区域确定为所述临时图像处理对象区域。
11.根据权利要求1至6中任一项所述的图像处理***，其具备：
存储部，其将利用所述画质判断信息获取部获取的画质判断信息与所述临时图像处理对象区域的关系建立对应关联而进行存储，
所述图像处理对象区域确定部利用通过所述画质判断信息获取部获取的画质判断信息，从所述存储部获取与所述画质判断信息对应的所述临时图像处理对象区域。
12.根据权利要求1至6中任一项所述的图像处理***，其具备：
图像显示部，其显示利用所述图像处理部实施了图像处理的图像，
所述图像显示部显示被设为利用所述图像处理部的图像处理的对象外的图像处理对象外区域。
13.根据权利要求1至6中任一项所述的图像处理***，其具备：
图像处理对象区域变更部，其变更利用所述图像处理对象区域确定部确定的所述图像处理对象区域。
14.根据权利要求1至6中任一项所述的图像处理***，其中，
所述图像处理部执行作为所述检测对象而检测混凝土部件的裂纹、划线、游离石灰、漏水、剥离、钢筋暴露、浮起、钢部件的龟裂及腐蚀中的至少1个的处理。
15.根据权利要求1至6中任一项所述的图像处理***，其具备：
服务器装置；及
客户端装置，与所述服务器装置以能够经由网络进行通信的方式连接，
所述服务器装置具备所述图像获取部、所述画质判断信息获取部、所述图像处理对象区域确定部及图像处理部。
16.根据权利要求15所述的图像处理***，其中，
所述客户端装置具备图像数据发送部，其向所述服务器装置发送表示所述图像的图像数据。
17.一种服务器装置，其设置于图像处理***，所述图像处理***执行检测图像中包含的作为检测对象的结构体的损伤的检测处理、及计算多个图像的对应关系并根据所述对应关系对所述多个图像进行合成的合成处理中的至少任一个，所述服务器装置的特征在于，具备：
图像获取部，获取拍摄被摄体而得的图像；
画质判断信息获取部，获取表示利用所述图像获取部获取的图像中的画质的判断结果的画质判断信息；
图像处理对象区域确定部，利用通过所述画质判断信息获取部获取的画质判断信息，确定利用所述图像获取部获取的图像中的图像处理对象区域；及
图像处理部，对利用所述图像处理对象区域确定部确定的图像处理对象区域，执行所述检测处理及所述合成处理中的至少任一个，
所述图像处理对象区域确定部导出分别与2个以上的画质判断信息对应的2个以上的临时图像处理对象区域，将作为所述2个以上的所述临时图像处理对象区域的逻辑与来表示的区域确定为所述图像处理对象区域。
18.一种图像处理方法，其执行检测图像中包含的作为检测对象的结构体的损伤的检测处理、及计算多个图像的对应关系并根据所述对应关系对所述多个图像进行合成的合成处理中的至少一个，所述图像处理方法的特征在于，包括：
图像获取工序，获取拍摄被摄体而得的图像；
画质判断信息获取工序，获取表示在所述图像获取工序中获取的图像中的画质的判断结果的画质判断信息；
图像处理对象区域确定工序，利用在所述画质判断信息获取工序中获取的画质判断信息，确定在所述图像获取工序中获取的图像中的图像处理对象区域；及
图像处理工序，对在所述图像处理对象区域确定工序中确定的图像处理对象区域，执行所述检测处理及所述合成处理中的至少任一个，
所述图像处理对象区域确定工序导出分别与2个以上的画质判断信息对应的2个以上的临时图像处理对象区域，并将作为所述2个以上的所述临时图像处理对象区域的逻辑与来表示的区域确定为所述图像处理对象区域。
19.根据权利要求18所述的图像处理方法，其中，
所述画质判断信息获取工序包括获取所述图像的拍摄中的拍摄条件的拍摄条件获取工序及对所述图像进行分析的分析工序，
所述图像处理对象区域确定工序对利用基于在所述拍摄条件获取工序中获取的所述拍摄条件的所述画质判断信息确定的所述临时图像处理对象区域，在所述分析工序中执行分析处理来确定所述图像处理对象区域。
20.一种计算机能够读取的记录介质，其特征在于，记录有图像处理程序，该图像处理程序执行检测图像中包含的作为检测对象的结构体的损伤的检测处理、及计算多个图像的对应关系并根据所述对应关系对所述多个图像进行合成的合成处理中的至少任一个，
所述图像处理程序使计算机执行如下功能：
图像获取功能，获取拍摄被摄体而得的图像；
画质判断信息获取功能，获取表示利用图像获取功能获取的图像中的画质的判断结果的画质判断信息；
图像处理对象区域确定功能，利用通过所述画质判断信息获取功能获取的画质判断信息，确定利用所述图像获取功能获取的图像中的图像处理对象区域；及
图像处理功能，对利用所述图像处理对象区域确定功能确定的图像处理对象区域，执行所述检测处理及所述合成处理中的至少任一个，
所述图像处理对象区域确定功能导出分别与2个以上的画质判断信息对应的2个以上的临时图像处理对象区域，并将作为所述2个以上的所述临时图像处理对象区域的逻辑与来表示的区域确定为所述图像处理对象区域。
CN201880046943.4A 2017-08-09 2018-06-26 图像处理***、服务器装置、图像处理方法及记录介质 Active CN110915193B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017154305 2017-08-09
JP2017-154305 2017-08-09
PCT/JP2018/024200 WO2019031086A1 (ja) 2017-08-09 2018-06-26 画像処理システム、サーバ装置、画像処理方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN110915193A CN110915193A (zh) 2020-03-24
CN110915193B true CN110915193B (zh) 2022-06-24

Family

ID=65271154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880046943.4A Active CN110915193B (zh) 2017-08-09 2018-06-26 图像处理***、服务器装置、图像处理方法及记录介质

Country Status (5)

Country Link
US (1) US11295426B2 (zh)
EP (1) EP3668077B1 (zh)
JP (1) JP6960997B2 (zh)
CN (1) CN110915193B (zh)
WO (1) WO2019031086A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3660786A4 (en) * 2017-07-25 2020-08-05 FUJIFILM Corporation METHOD FOR GENERATING A DAMAGE DIAGRAM, DEVICE FOR GENERATING A DAMAGE DIAGRAM, SYSTEM FOR GENERATING A DAMAGE DIAGRAM AND RECORDING MEDIUM
WO2019150872A1 (ja) * 2018-02-02 2019-08-08 富士フイルム株式会社 画像処理装置及び画像処理方法
JP7292979B2 (ja) * 2019-05-31 2023-06-19 株式会社東芝 画像処理装置及び画像処理方法
JP7427381B2 (ja) * 2019-07-22 2024-02-05 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム
CN115037871A (zh) * 2021-03-05 2022-09-09 Oppo广东移动通信有限公司 控制对焦的方法、装置、电子设备及计算机可读存储介质
CN117593285A (zh) * 2023-12-14 2024-02-23 江苏恒兆电缆有限公司 一种柔性矿物绝缘柔性防火电缆的品质检测***及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10232206A (ja) * 1997-02-19 1998-09-02 Hitachi Ltd 金属表面欠陥検出方法及び装置

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1150252B1 (en) * 2000-04-28 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Synthesis of image from a plurality of camera views
US6975352B2 (en) * 2000-12-18 2005-12-13 Xerox Corporation Apparatus and method for capturing a composite digital image with regions of varied focus and magnification
BE1014222A3 (fr) * 2001-06-13 2003-06-03 Ct Rech Metallurgiques Asbl Procede de caracterisation en ligne d'une surface en mouvement et dispositif pour sa mise en oeuvre.
JP2003250047A (ja) * 2002-02-22 2003-09-05 Konica Corp 画像処理方法、記憶媒体、画像処理装置、及び画像記録装置
JP4037206B2 (ja) 2002-08-07 2008-01-23 株式会社リコー 画像入力装置及び画像入力方法
US6898331B2 (en) * 2002-08-28 2005-05-24 Bae Systems Aircraft Controls, Inc. Image fusion system and method
JP2004173010A (ja) * 2002-11-20 2004-06-17 Konica Minolta Holdings Inc 撮像装置、画像処理装置、画像記録装置、画像処理方法、プログラム及び記録媒体
JP2005020314A (ja) * 2003-06-25 2005-01-20 Olympus Corp 表示特性補正データの算出方法、表示特性補正データの算出プログラム、表示特性補正データの算出装置
US8199222B2 (en) * 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
JP2007503605A (ja) * 2003-08-22 2007-02-22 ミード インストゥルメンツ コーポレイション 画像処理のための画像プロセッサ及び方法
US7394488B2 (en) * 2003-10-30 2008-07-01 Hewlett-Packard Development Company, L.P. System and method for dual white balance compensation of images
EP1684506A4 (en) * 2003-11-11 2008-06-04 Seiko Epson Corp IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PROGRAM THEREFOR AND RECORDING MEDIUM
US7693304B2 (en) * 2005-05-12 2010-04-06 Hewlett-Packard Development Company, L.P. Method and system for image quality calculation
WO2007032082A1 (ja) * 2005-09-16 2007-03-22 Fujitsu Limited 画像処理方法及び画像処理装置
JP4297111B2 (ja) * 2005-12-14 2009-07-15 ソニー株式会社 撮像装置、画像処理方法及びそのプログラム
JP2007233113A (ja) * 2006-03-02 2007-09-13 Fujifilm Corp 測距装置及び方法
US7860343B2 (en) * 2006-04-10 2010-12-28 Nokia Corporation Constructing image panorama using frame selection
JP4789695B2 (ja) * 2006-05-15 2011-10-12 オリンパスイメージング株式会社 カメラ、合成画像撮影方法およびプログラム
CN101772952B (zh) * 2007-07-23 2013-04-24 松下电器产业株式会社 摄像装置
WO2009097494A1 (en) * 2008-01-30 2009-08-06 Rudolph Technologies, Inc. High resolution edge inspection
US8724921B2 (en) * 2008-05-05 2014-05-13 Aptina Imaging Corporation Method of capturing high dynamic range images with objects in the scene
JP2009284394A (ja) * 2008-05-26 2009-12-03 Olympus Imaging Corp 撮像装置および撮像方法
JP2010258673A (ja) * 2009-04-23 2010-11-11 Olympus Imaging Corp 撮影装置
US8339508B2 (en) * 2010-02-22 2012-12-25 Csr Technology Inc. Method and apparatus for low-light imaging enhancement
US8396269B2 (en) * 2010-04-08 2013-03-12 Digital Pathco LLC Image quality assessment including comparison of overlapped margins
JP5367640B2 (ja) * 2010-05-31 2013-12-11 パナソニック株式会社 撮像装置および撮像方法
JP5864559B2 (ja) * 2010-06-04 2016-02-17 ライカ バイオシステムズ イメージング インコーポレイテッドＡｐｅｒｉｏ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｉｎｃ． デジタル化された顕微鏡スライドのスライド品質を判断するシステム及び方法
JP5824364B2 (ja) * 2010-06-17 2015-11-25 パナソニック株式会社 距離推定装置、距離推定方法、集積回路、コンピュータプログラム
US9088714B2 (en) * 2011-05-17 2015-07-21 Apple Inc. Intelligent image blending for panoramic photography
SE1150505A1 (sv) * 2011-05-31 2012-12-01 Mobile Imaging In Sweden Ab Metod och anordning för tagning av bilder
JP5824297B2 (ja) * 2011-08-30 2015-11-25 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
JP5788518B2 (ja) 2011-09-13 2015-09-30 富士フイルム株式会社 単眼立体撮影装置、撮影方法及びプログラム
US8693797B2 (en) * 2011-12-01 2014-04-08 At&T Intellectual Property I, Lp Method and apparatus for evaluating quality estimators
US8941750B2 (en) * 2011-12-27 2015-01-27 Casio Computer Co., Ltd. Image processing device for generating reconstruction image, image generating method, and storage medium
US9373023B2 (en) * 2012-02-22 2016-06-21 Sri International Method and apparatus for robustly collecting facial, ocular, and iris images using a single sensor
US8736706B1 (en) * 2012-03-13 2014-05-27 Google Inc. Method and system for generating high resolution composite images
WO2013158456A1 (en) * 2012-04-17 2013-10-24 E-Vision Smart Optics, Inc. Systems, devices, and methods for managing camera focus
TWI462054B (zh) * 2012-05-15 2014-11-21 Nat Univ Chung Cheng Estimation Method of Image Vagueness and Evaluation Method of Image Quality
US9503645B2 (en) * 2012-05-24 2016-11-22 Mediatek Inc. Preview system for concurrently displaying multiple preview images generated based on input image generated by image capture apparatus and related preview method thereof
EP2912602A4 (en) * 2012-10-23 2016-03-16 Ishay Sivan REAL-TIME IMAGE QUALITY EVALUATION
WO2014073642A1 (ja) * 2012-11-09 2014-05-15 富士フイルム株式会社 カメラシステム、これに用いられる色変換装置及び方法並びに色変換プログラム
US8902328B2 (en) * 2013-03-14 2014-12-02 Konica Minolta Laboratory U.S.A., Inc. Method of selecting a subset from an image set for generating high dynamic range image
DE102013109915B4 (de) * 2013-09-10 2015-04-02 Thyssenkrupp Steel Europe Ag Verfahren und Vorrichtung zur Überprüfung eines Inspektionssystems zur Erkennung von Oberflächendefekten
EP3125527A4 (en) 2014-03-28 2017-05-03 FUJIFILM Corporation Image processing device, photography device, image processing method, and image processing program
JP2016015567A (ja) * 2014-07-01 2016-01-28 株式会社東芝 電子機器、処理方法およびプログラム
TWI554106B (zh) * 2014-09-25 2016-10-11 聚晶半導體股份有限公司 產生影像散景效果的方法及影像擷取裝置
JP6467612B2 (ja) * 2014-11-21 2019-02-13 株式会社ソーシャル・キャピタル・デザイン 正置画像処理システムおよび構造物維持管理業務システム
JP6594039B2 (ja) * 2015-05-20 2019-10-23 株式会社東芝 画像処理装置、方法及びプログラム
US9767387B2 (en) * 2015-09-09 2017-09-19 Accenture Global Services Limited Predicting accuracy of object recognition in a stitched image
KR102399017B1 (ko) * 2015-11-16 2022-05-17 삼성전자주식회사 이미지 생성 방법 및 장치
US9898812B1 (en) * 2015-12-09 2018-02-20 Amazon Technologies, Inc. Composite image quality assurance
US10200632B2 (en) * 2016-08-01 2019-02-05 Microsoft Technology Licensing, Llc Low-illumination photo capture with reduced noise and blur
US10165194B1 (en) * 2016-12-16 2018-12-25 Amazon Technologies, Inc. Multi-sensor camera system
JP6800797B2 (ja) * 2017-03-31 2020-12-16 キヤノン株式会社 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム
JP2021157600A (ja) * 2020-03-27 2021-10-07 キヤノン株式会社 画像処理装置、画像処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10232206A (ja) * 1997-02-19 1998-09-02 Hitachi Ltd 金属表面欠陥検出方法及び装置

Also Published As

Publication number Publication date
JPWO2019031086A1 (ja) 2020-09-17
US11295426B2 (en) 2022-04-05
JP6960997B2 (ja) 2021-11-05
CN110915193A (zh) 2020-03-24
EP3668077B1 (en) 2023-08-02
EP3668077A1 (en) 2020-06-17
US20200175663A1 (en) 2020-06-04
WO2019031086A1 (ja) 2019-02-14
EP3668077A4 (en) 2020-07-29

Similar Documents

Publication Publication Date Title
CN110915193B (zh) 图像处理***、服务器装置、图像处理方法及记录介质
KR102306272B1 (ko) 듀얼 카메라 기반 이미징 방법, 이동 단말기 및 저장 매체
CN111862224B (zh) 确定相机与激光雷达之间外参的方法和装置
WO2019150872A1 (ja) 画像処理装置及び画像処理方法
KR102304784B1 (ko) 더블 카메라 기반 이미징 방법 및 장치
JP6906947B2 (ja) 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム
JP2018041380A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2017190415A1 (zh) 一种图像优化方法、装置及终端
JP2004222231A (ja) 画像処理装置および画像処理プログラム
JP2000358157A (ja) デジタル画像の光減衰を補償する方法および装置
JP2020088647A (ja) 情報処理装置、情報処理方法及びプログラム
JP6555990B2 (ja) 距離計測装置、撮像装置、および距離計測方法
Webb et al. Quantifying depth of field and sharpness for image-based 3D reconstruction of heritage objects
JP2010177832A (ja) 画像処理装置及び画像処理方法
JP2016051982A (ja) 画像処理装置、カメラおよび画像処理プログラム
JP6436840B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
CN112734721A (zh) 一种光轴偏转角度检测方法、装置、设备和介质
JP6641485B2 (ja) 位置指定装置および位置指定方法
JP4271648B2 (ja) 画像合成装置、撮像手段、およびプログラム
JP2019215247A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2004354234A (ja) 写真計測用カメラキャリブレーション方法
JP2020025224A (ja) カメラ評価値測定装置およびカメラ評価値測定方法
JP2004222232A (ja) 画像処理装置および画像処理プログラム
JP7341843B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
JP6742178B2 (ja) Ｍｔｆ測定装置およびそのプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant