CN112444205A - 检测设备和检测方法 - Google Patents

检测设备和检测方法 Download PDF

Info

Publication number
CN112444205A
CN112444205A CN202010856494.9A CN202010856494A CN112444205A CN 112444205 A CN112444205 A CN 112444205A CN 202010856494 A CN202010856494 A CN 202010856494A CN 112444205 A CN112444205 A CN 112444205A
Authority
CN
China
Prior art keywords
image
partial
capturing
images
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010856494.9A
Other languages
English (en)
Other versions
CN112444205B (zh
Inventor
野中悠介
濑川英吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN112444205A publication Critical patent/CN112444205A/zh
Application granted granted Critical
Publication of CN112444205B publication Critical patent/CN112444205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供检测设备和检测方法。一种检测设备，包括存储器和耦接至该存储器的处理器。该处理器被配置成：确定多个局部图像中的每个局部图像相对于广角图像的位置；从多个局部图像中提取局部图像对，所述局部图像对的图像捕获次序是连续的、不具有交叠部分并且所述局部图像对中的至少一个局部图像包括损伤部分的图像；检测局部图像外部的估计所述损伤部分延续至的区域作为图像捕获遗漏候选区域；在其他局部图像中均未包括该图像捕获遗漏候选区域的情况下，将该图像捕获遗漏候选区域确定为图像捕获遗漏区域；以及基于该位置，发出与图像捕获遗漏区域相对应的位置的通知。

Description

检测设备和检测方法
技术领域
本文讨论的实施方式涉及检测设备和检测方法。
背景技术
就安全管理而言，重要的是捕获并记录建筑物、桥梁等的损伤状态的图像。在损伤状态被记录的情况下，期望获取能够从中识别出损伤的详细状态的定量信息，并且期望获取关于损伤部分的位置的信息。例如，在从桥梁的地板的一块面板(6m×3m)检测到宽度为0.1mm的裂缝并记录了该裂缝的情况下，难以从一幅图像获取这两条信息。
如果捕获的图像包括整个地板，则难以在该图像中在视觉上识别宽度为0.1mm的裂缝。根据其中裂缝在视觉上可识别的图像，也难以知道裂缝存在于整个地板的哪个部分。因此，例如，捕获其中裂缝在视觉上可识别的图像涉及诸如单独记录裂缝的位置的工作。
引文列表
专利文献
专利文献1：国际公开小册子第WO 2018/168406号
专利文献2：日本公开特许公报第2018-36226号
专利文献3：日本公开特许公报第2017-211976号
非专利文献
非专利文献1："Feature-Based Image Mosaicing"，The Transactions of theInstitute of Electronics，Information and Communication Engineers，卷J82-D-II，第10期，1999年10月，第1581-1589页。
发明内容
技术问题
例如，存在一种通过使用由计算机控制的移动体来获取包括整个地板的广角图像以及其中裂缝在视觉上可识别的局部图像的技术。根据该技术，对局部图像进行组合以创建具有如下分辨率的合成图像：利用该分辨率可以在视觉上识别裂缝。根据该技术，首先捕获广角图像。然后，考虑余量(margin)制定捕获局部图像的计划。在获取局部图像时，将该局部图像与广角图像相关联以获取移动体的当前位置。另外，移动体获取关于移动体接下来将移动到的位置的信息以捕获其他局部图像。以这种方式，该技术使得能够以适当的分辨率捕获整个地板的局部图像而不会遗漏。
然而，该技术假定在获取局部图像时使用由计算机控制的移动体。
在一方面，本发明的目的是使得可以利用简单的设备检测在捕获图像捕获对象的损伤部分的图像时的遗漏。
问题的解决方案
根据实施方式的一方面，一种检测设备，其包括存储器和耦接至该存储器的处理器，该处理器被配置成：基于通过捕获图像捕获对象的整体的图像而获得的广角图像以及图像捕获对象的各个部分的多个局部图像，确定多个局部图像中的每个局部图像相对于广角图像的位置；从多个局部图像中提取局部图像对，所述局部图像对的图像捕获次序是连续的、不具有交叠部分并且所述局部图像对中的至少一个局部图像包括损伤部分的图像；在估计损伤部分延续至所提取的局部图像对之中包括该损伤部分的图像的局部图像外部的情况下，检测该局部图像外部的估计该损伤部分延续至的区域作为图像捕获遗漏候选区域；在其他局部图像中均未包括该图像捕获遗漏候选区域的情况下，检测该图像捕获遗漏候选区域作为图像捕获遗漏区域；以及基于所述位置发出广角图像中的与图像捕获遗漏区域相对应的位置的通知。
本发明的有益效果
在一方面，本发明的实施方式使得可以利用简单的设备检测在捕获图像捕获对象的损伤部分的图像时的遗漏。
附图说明
图1是示出根据第一实施方式的***配置的示例的框图；
图2是示出交叠的局部图像的示例的概念图；
图3是示出局部图像的图像捕获次序的示例的概念图；
图4是示出图像捕获遗漏候选区域的示例的概念图；
图5是示出图像捕获遗漏区域的通知的示例的概念图；
图6是示出要经受图像捕获遗漏检测处理的多个局部图像的示例的概念图；
图7是示出在图像捕获遗漏检测处理中获得的中间确定数据的示例的表；
图8是示出第一实施方式的示例的硬件配置图；
图9是示出根据第一实施方式的处理的流程的示例的流程图；
图10是示出根据第二实施方式的***配置的示例的框图；以及
图11是示出根据第二实施方式的处理的流程的示例的流程图。
具体实施方式
[第一实施方式]
下面将参照附图详细描述第一实施方式的示例。
图1中示出的图像处理***1包括：图像捕获设备10、图像存储装置20、图像捕获遗漏检测设备30和显示装置40。图像捕获设备10可以是例如在用户用手握住的情况下捕获图像的小型数字摄像机，或者是内置在智能装置等中的摄像机。图像存储装置20存储由图像捕获设备10捕获的广角图像和局部图像。
图像捕获遗漏检测设备30包括位置确定单元31、损伤检测单元32、图像捕获遗漏检测单元33和图像捕获遗漏通知单元34。显示装置40可以是例如液晶显示器等，或者可以是集成在图像捕获设备10中的液晶显示器。图像存储装置20可以被包括在图像捕获设备10或图像捕获遗漏检测设备30中，而不是被耦接至图像捕获设备10和图像捕获遗漏检测设备30。图像捕获设备10、图像存储装置20、图像捕获遗漏检测设备30和显示装置40可以通过线缆彼此耦接，或者可以通过无线方式彼此耦接。
图像捕获遗漏检测设备30中的位置确定单元31确定每个局部图像在广角图像中的位置。广角图像是通过捕获整个图像捕获对象的图像而获得的图像，并且整个图像捕获对象的范围由用户确定。图像捕获对象可以是例如桥梁底部的预定范围的一部分、建筑物壁部的预定范围的一部分、船的外部等。预定范围的局部图像是在针对图像捕获对象的各个部分移动图像捕获范围的同时依次捕获的所述各个部分的图像。通常，预先在视觉上确认损伤部分，并且由用户捕获局部图像以了解损伤部分的细节。
为了确定每个局部图像在广角图像中的位置，例如，计算作为广角图像与每个局部图像之间的投影变换矩阵的单应性矩阵。单应性是仿射变换的扩展。以这种方式，成功地识别广角图像与每个局部图像之间的位置对应关系，并且成功地确定了每个局部图像在广角图像中的位置。损伤检测单元32从每个局部图像中检测损伤部分的图像。任何现有方法均可用于检测。损伤可以是例如裂缝、结垢(fouling)等。
图像捕获遗漏检测单元33在以下情况下检测图像捕获中的遗漏：(1)按图像捕获次序连续的两个局部图像不具有交叠部分，(2)损伤部分延伸至局部图像中的至少一个局部图像外部，以及(3)除了这两个局部图像之外，不存在包括有延伸至外部的损伤部分的局部图像。由于每个局部图像的区域是矩形区域，因此局部图像的区域可以表示为四个一阶双变量联立不等式的解，每个不等式对应于矩形的四条边中的一条边。如图2所示，当两个局部图像BG的联立不等式具有公共解时，就(1)来说，确定两个局部图像具有交叠部分。
关注按图像捕获次序连续的两个局部图像的原因在于：如图3所示，损伤部分DM具有连续形状，并且不仅从工作效率的角度而且从避免图像捕获中的遗漏的角度来看，相邻区域的图像是(在图3中按P1、P2、P3和P4的次序)连续捕获的。在相邻区域的图像是连续捕获的并且两个连续捕获的图像具有公共部分的情况下，这两个图像交叠。另一方面，在两个连续捕获的图像不具有公共部分的情况下，在这两个图像之间可能存在图像捕获遗漏区域，或者用户已经有意地改变了图像捕获对象。
在存在图像捕获遗漏区域的情况下，在两个连续捕获的局部图像中的至少一个局部图像中，损伤部分DM极有可能如图4所示延伸至局部图像BG外部。因此，将在局部图像BG外部且估计损伤部分在其中延伸的区域TC设置为图像捕获遗漏候选区域。图像捕获遗漏候选区域的大小与图像捕获遗漏区域的大小可以基本上等于局部图像的大小。
例如，在局部图像BG的图像端部处设置沿局部图像BG的上侧、下侧、左侧、右侧具有N个像素(其中N为预定整数)的宽度的图像端部区域EB。在图像端部区域EB中存在损伤部分的图像的至少一部分的情况下，就(2)来说，确定损伤部分延伸至局部图像中的至少一个局部图像外部。N个像素可以是例如相当于局部图像的宽度或高度的约1/50至1/70的像素数量。
图像捕获遗漏检测单元33检查是否存在包括图像捕获遗漏候选区域的局部图像。例如，在表示所有局部图像的区域的联立不等式的解中不包括表示图像捕获遗漏候选区域的联立不等式的解的情况下，图像捕获遗漏检测单元33将图像捕获遗漏候选区域检测为图像捕获遗漏区域。
图像捕获遗漏通知单元34向用户通知图像捕获遗漏区域。例如，如图5所示，在作为显示装置40的示例的显示器40'的屏幕上显示广角图像WG，并且在广角图像WG上将图像捕获遗漏区域TC作为虚线矩形显示，以及显示局部图像BG中的每个局部图像以及所检测的损伤部分DM的图像。图像捕获遗漏区域TC被显示的方式仅是示例，并且例如可以将图像捕获遗漏区域TC显示为具有与其他部分的颜色或亮度不同的颜色或亮度的矩形。
图6示出了按照损伤部分DM1、DM2和DM3的次序沿着损伤部分捕获的局部图像P1至P14。如图7所示，局部图像P1和P2的组合A、局部图像P2和P3的组合B、局部图像P3和P4的组合C、局部图像P4和P5的组合D、局部图像P6和P7的组合F、局部图像P8和P9的组合H、局部图像P9和P10的组合I、局部图像P10和P11的组合J以及局部图像P13和P14的组合M各自具有交叠。换句话说，包括在每个组合中的两个局部图像交叠。因此，在针对组合A、B、C、D、F、H、I、J和M的图像捕获中不存在遗漏。
局部图像P5和P6的组合E、局部图像P7和P8的组合G、局部图像P11和P12的组合K以及P12和P13的组合L各自不具有交叠。换句话说，包括在每个组合中的两个局部图像不交叠。因此，在图像捕获中可能会存在遗漏。对于组合E、G、K和L，由于存在延伸至局部图像中的至少一个局部图像外部的损伤部分，因此在图像捕获中仍然可能存在遗漏。因此，将延伸至局部图像中的至少一个局部图像外部的损伤部分的每个位置检测为图像捕获遗漏候选区域。
然而，对于组合K和L，由于图像捕获遗漏候选区域被包括在其他局部图像中的任何一个局部图像中，因此在图像捕获中不存在遗漏。另一方面，对于组合E，由于在其他局部图像中均未包括图像捕获遗漏候选区域，因此将该图像捕获遗漏候选区域检测为图像捕获遗漏区域。在组合E中，延伸至局部图像P5外部的损伤部分的位置和延伸至局部图像P6外部的损伤部分的位置处于大小等于一个局部图像的大小的区域例如公共区域中。在这种情况下，将图像捕获遗漏区域设置为与局部图像P5和P6两者部分地交叠。另一方面，在组合G中，由于延伸至局部图像P7外部的损伤部分的位置和图像捕获遗漏候选区域未被包括在其他局部图像中，因此将图像捕获遗漏候选区域检测为图像捕获遗漏区域。
如图8所示，例如，图像捕获遗漏检测设备30包括中央处理单元(CPU)51、主存储单元52、辅存储单元53和外部接口54。CPU 51是作为硬件的处理器的示例。CPU 51、主存储单元52、辅存储单元53和外部接口54经由总线59彼此耦接。
例如，主存储单元52是易失性存储器例如随机存取存储器(RAM)。例如，辅存储单元53是非易失性存储器例如硬盘驱动器(HDD)或固态驱动器(SSD)。
辅存储单元53包括程序存储区53A和数据存储区53B。在一个示例中，程序存储区53A存储诸如图像捕获遗漏检测程序的程序。在一个示例中，数据存储区53B存储在执行图像捕获遗漏检测程序时生成的中间数据等。
CPU 51从程序存储区53A中读取图像捕获遗漏检测程序，并将图像捕获遗漏检测程序部署至主存储单元52。CPU 51加载并执行图像捕获遗漏检测程序以作为图1中示出的位置确定单元31、损伤检测单元32、图像捕获遗漏检测单元33和图像捕获遗漏通知单元34操作。
诸如图像捕获遗漏检测程序的程序可以存储在外部服务器中，并且可以经由网络被部署至主存储单元52。诸如图像捕获遗漏检测程序的程序可以存储在非暂态记录介质例如数字多功能盘(DVD)上，并且可以经由记录介质读取装置被部署至主存储单元52。
外部装置耦接至外部接口54。外部接口54管理外部装置与CPU 51之间的各种信息的发送和接收。图8示出了作为图像存储装置20的示例的外部存储装置20'以及作为显示装置40的示例的显示器40'耦接至外部接口54的示例。作为图像捕获设备10的示例的摄像机10'耦接至外部存储装置20'。
外部存储装置20'和显示器40'两者均不可以耦接至外部接口54，或者仅外部存储装置20'和显示器40'中的一者可以耦接至外部接口54。例如，外部存储装置20'和显示器40'中的一者或两者可以被内置在图像捕获遗漏检测设备30中，或者可以被布置在离开图像捕获遗漏检测设备30的位置处并且可以经由网络耦接。
图像捕获遗漏检测设备30可以是个人计算机、笔记本式计算机、平板电脑等，可以存在于例如云上，并且可以经由网络与图像存储装置20和显示装置40通信。
图9示出了图像捕获遗漏检测处理的流程的示例。在步骤101中，CPU 51从外部存储装置20'获取广角图像和多个局部图像。在步骤102中，CPU 51确定多个局部图像中的每个局部图像在广角图像中的位置。
在步骤103中，CPU 51在多个局部图像中的每个局部图像中检测损伤部分的图像。在步骤104中，CPU 51确定是否已经针对两个连续捕获的局部图像的所有组合完成了处理。如果步骤104中的确定是否定的，则在步骤105中，CPU 51确定两个局部图像是否交叠。如果步骤105中的确定是否定的，则在步骤106中，CPU 51确定是否存在延伸至局部图像中的至少一个局部图像外部的损伤部分。
如果步骤106中的确定是肯定的，则在步骤107中，CPU 51确定如下位置处的图像捕获遗漏候选区域是否被包括在任何其他局部图像中：所述位置位于损伤部分在其中延伸的局部图像外部。如果步骤107中的确定是否定的，则在步骤108中，CPU 51将图像捕获遗漏候选区域存储为图像捕获遗漏区域。
然后，处理返回至步骤104，并且CPU 51重复步骤104至108的处理。如果步骤105或107中的确定是肯定的或者如果步骤106中的确定是否定的，则处理也返回至步骤104。如果步骤104中的确定是肯定的，则在步骤109中CPU 51向用户通知图像捕获遗漏区域，并且然后结束处理。
当用户在不使用由计算机控制的移动体的情况下捕获表示损伤部分的细节的局部图像时，难以在图像捕获中不发生遗漏的情况下捕获图像。捕获图像同时检查所捕获的图像以避免在图像捕获中发生遗漏，需要花费很长时间。例如，在用户从遥远位置以长焦距捕获图像的情况下，图像捕获范围会由于摄像机方向的微小偏离而大大地偏离。因此，并未捕获用户想要的图像捕获位置的图像。
在本实施方式中，基于广角图像和多个局部图像来确定多个局部图像中的每个局部图像相对于该广角图像的位置，其中，广角图像是通过捕获图像捕获对象的整体的图像而获得的，多个局部图像是通过在针对图像捕获对象的各个部分移动图像捕获范围的同时依次捕获所述各个部分的图像而获得的。从多个局部图像中提取局部图像对，所述局部图像对的图像捕获次序是连续的、不具有交叠部分并且所述局部图像对中的至少一个局部图像包括损伤部分的图像。在估计损伤部分延续至所提取的局部图像对之中包括该损伤部分的图像的局部图像外部的情况下，将该局部图像外部的估计损伤部分延续至的区域检测为图像捕获遗漏候选区域。在其他局部图像中均不包括图像捕获遗漏候选区域的情况下，将图像捕获遗漏候选区域检测为图像捕获遗漏区域。基于所确定的位置，发出广角图像中的与图像捕获遗漏区域相对应的位置的通知。
本实施方式使得可以：在不使用利用由计算机控制的移动体进行移动的特殊图像捕获设备的情况下，利用简单的设备(例如市场上可买到的不昂贵的数字摄像机)来获取包括关于损伤部分的状态以及损伤部分的位置的信息的图像。因此，本实施方式使得可以利用简单的设备检测在捕获图像捕获对象的损伤部分的图像时的遗漏。
[第二实施方式]
下面将参照附图详细描述第二实施方式的示例。省略与第一实施方式的配置和操作基本相同的配置和操作的描述。
图10示出了根据第二实施方式的图像捕获遗漏检测***2的示例。根据第二实施方式的图像捕获遗漏检测***2与根据第一实施方式的图像处理***1的不同之处在于，图像捕获遗漏检测设备30包括特征检测单元35。
特征检测单元35对广角图像中人容易看见并且容易被人识别的特有可视特征的图像进行检测。可视特征由用户预先设置。可视特征可以是例如由在视觉上检查损伤部分的用户用粉笔书写的表示损伤部分的大小的标记的图像、包括在桥梁中的面板的模板的图像(从该图像中可以检测到损伤部分)等。在可视特征的检测中，存储所检测的可视特征及其(例如，可视特征的外接矩形的四个顶点的)位置信息。任何现有方法均可以用于检测可视特征。
特征检测单元35确定可视特征与图像捕获遗漏区域之间的位置关系。例如，特征检测单元35首先选择最接近图像捕获遗漏区域的可视特征。然后，特征检测单元35选择例如在图像捕获遗漏区域的形心与所选择的可视特征的外接矩形的形心之间具有最短距离的可视特征。然后，特征检测单元35确定图像捕获遗漏区域相对于可视特征的方向。例如，特征检测单元35计算链接图像中的图像捕获遗漏区域的形心和所选择的可视特征的外接矩形的形心的线段的倾斜度。
最后，特征检测单元35确定可视特征与图像捕获遗漏区域之间的距离。例如，特征检测单元35计算图像中的图像捕获遗漏区域的形心与所选择的可视特征的外接矩形的形心之间的距离。可以将该距离除以可视特征的外接矩形的宽度，以计算该距离相对于可视特征的倍数。
图像捕获遗漏通知单元34向用户通知所有图像捕获遗漏区域。在通知时，图像捕获遗漏通知单元34还向用户通知与可视特征的位置关系。例如，可以使用诸如“在用粉笔书写的字符‘0.1’的右侧”、“分隔‘0.1’×2的宽度的位置”或者“面板模板从右端开始的1/4的位置以及面板模板从上端开始的1/3的位置”的文本来显示位置关系，或者可以用简单的图示显示位置关系。
图11示出了图像捕获遗漏检测处理的流程的示例。在步骤110中，CPU 51检测预先设置的可视特征。在步骤111中，在向用户通知图像捕获遗漏区域时，CPU 51还向用户通知与可视特征的位置关系。
在本实施方式中，基于广角图像和多个局部图像来确定多个局部图像中的每个局部图像相对于该广角图像的位置，其中，广角图像是通过捕获图像捕获对象的整体的图像而获得的，多个局部图像是通过在针对图像捕获对象的各个部分移动图像捕获范围的同时依次捕获所述各个部分的图像而获得的。从多个局部图像中提取局部图像对，所述局部图像对的图像捕获次序是连续的、不具有交叠部分并且所述局部图像对中的至少一个局部图像包括损伤部分的图像。在估计损伤部分延续至所提取的局部图像对之中包括该损伤部分的图像的局部图像外部的情况下，将该局部图像外部的估计损伤部分延续至的区域检测为图像捕获遗漏候选区域。在其他局部图像中均不包括图像捕获遗漏候选区域的情况下，将图像捕获遗漏候选区域检测为图像捕获遗漏区域。基于所确定的位置，发出广角图像中的与图像捕获遗漏区域相对应的位置的通知。
在本实施方式中，向用户通知图像捕获遗漏区域的位置以及指示与可视特征的关系的信息。因此，根据本实施方式，当基于所通知的图像捕获遗漏区域再次捕获图像时，可以通过确认与可视特征相对应的特征来容易地确定图像捕获位置。
注意，图9和图11的流程图仅是示例，并且处理的顺序可以适当地改变。

Claims (12)

1.一种检测设备，包括：
存储器；以及
处理器，所述处理器耦接至所述存储器并且被配置成：
基于通过捕获图像捕获对象的整体的图像而获得的广角图像以及所述图像捕获对象的各个部分的多个局部图像，来确定所述多个局部图像中的每个局部图像相对于所述广角图像的位置；
从所述多个局部图像中提取局部图像对，所述局部图像对的图像捕获次序是连续的，不具有交叠部分并且所述局部图像对中的至少一个局部图像包括损伤部分的图像；
在估计所述损伤部分延续至所提取的局部图像对之中包括所述损伤部分的图像的局部图像外部的情况下，将所述局部图像外部的估计所述损伤部分延续至的区域检测为图像捕获遗漏候选区域；
在其他局部图像中均不包括所述图像捕获遗漏候选区域的情况下，将所述图像捕获遗漏候选区域确定为图像捕获遗漏区域；以及
基于所述位置，发出所述广角图像中的与所述图像捕获遗漏区域相对应的位置的通知。
2.根据权利要求1所述的检测设备，其中，所述处理器被配置成在所述广角图像中使用矩形图像来显示所述图像捕获遗漏区域的位置。
3.根据权利要求1所述的检测设备，其中，所述处理器被配置成：在沿着所述局部图像的上侧、下侧、左侧和右侧具有特定宽度的端部区域中检测到所述损伤部分的图像的情况下，估计所述损伤部分延续至所述局部图像外部。
4.根据权利要求1所述的检测设备，其中，所述处理器被配置成：
检测特定可视特征的图像；以及
连同指示与所述可视特征的关系的信息一起，发出所述图像捕获遗漏区域的位置的通知。
5.根据权利要求1所述的检测设备，其中，所述多个局部图像是通过在针对所述图像捕获对象的各个部分移动图像捕获范围的同时依次捕获所述各个部分的图像而获得的图像。
6.根据权利要求5所述的检测设备，其中，在所述多个局部图像中所述局部图像对的所述图像捕获次序是连续的。
7.一种由设备执行的检测方法，包括：
基于通过捕获图像捕获对象的整体的图像而获得的广角图像以及通过捕获所述图像捕获对象的各个部分的图像而获得的多个局部图像，来确定所述多个局部图像中的每个局部图像相对于所述广角图像的位置；
从所述多个局部图像中提取局部图像对，所述局部图像对不具有交叠部分并且所述局部图像对中的至少一个局部图像包括损伤部分的图像；
在估计所述损伤部分延续至所提取的局部图像对之中包括所述损伤部分的图像的局部图像外部的情况下，将所述局部图像外部的估计所述损伤部分延续至的区域检测为图像捕获遗漏候选区域；
在其他局部图像中均不包括所述图像捕获遗漏候选区域的情况下，将所述图像捕获遗漏候选区域确定为图像捕获遗漏区域；以及
基于所确定的所述多个局部图像中的每个局部图像相对于所述广角图像的位置，发出所述广角图像中的与所述图像捕获遗漏区域相对应的位置的通知。
8.根据权利要求7所述的检测方法，其中，在所述广角图像中使用矩形图像来显示所述图像捕获遗漏区域的位置。
9.根据权利要求7所述的检测方法，其中，在沿着所述局部图像的上侧、下侧、左侧和右侧具有特定宽度的端部区域中存在所述损伤部分的图像的情况下，估计所述损伤部分延续至所述局部图像外部。
10.根据权利要求7所述的检测方法，其中，
检测特定可视特征的图像；以及
连同指示与所述可视特征的关系的信息一起，发出所述图像捕获遗漏区域的位置的通知。
11.根据权利要求7所述的检测方法，其中，所述多个局部图像是通过在针对所述图像捕获对象的各个部分移动图像捕获范围的同时依次捕获所述各个部分的图像而获得的图像。
12.根据权利要求11所述的检测方法，其中，在所述多个局部图像中所述局部图像对的所述图像捕获次序是连续的。
CN202010856494.9A 2019-08-30 2020-08-24 检测设备和检测方法 Active CN112444205B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019157868A JP7263983B2 (ja) 2019-08-30 2019-08-30 撮影漏れ検出装置、及び、撮影漏れ検出方法
JP2019-157868 2019-08-30

Publications (2)

Publication Number Publication Date
CN112444205A true CN112444205A (zh) 2021-03-05
CN112444205B CN112444205B (zh) 2022-07-08

Family

ID=72050739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010856494.9A Active CN112444205B (zh) 2019-08-30 2020-08-24 检测设备和检测方法

Country Status (4)

Country Link
US (1) US11320386B2 (zh)
EP (1) EP3786885B1 (zh)
JP (1) JP7263983B2 (zh)
CN (1) CN112444205B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7263983B2 (ja) * 2019-08-30 2023-04-25 富士通株式会社 撮影漏れ検出装置、及び、撮影漏れ検出方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10274627A (ja) * 1997-03-28 1998-10-13 Omron Corp 画像検出装置及び画像検出プログラムを記録した機械読み取り可能な記録媒体
CN103411533A (zh) * 2013-08-05 2013-11-27 上海交通大学 结构光自适应多次曝光法
US20140254940A1 (en) * 2013-03-08 2014-09-11 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN104240182A (zh) * 2013-06-06 2014-12-24 富士通株式会社 图像处理装置、图像处理方法以及电子设备
US20150339822A1 (en) * 2014-05-22 2015-11-26 Canon Kabushiki Kaisha Image generating device and image generating method
CN105339755A (zh) * 2013-04-25 2016-02-17 株式会社普利司通 检查装置
CN105654505A (zh) * 2015-12-18 2016-06-08 中山大学 一种基于超像素的协同跟踪算法和***
JP2017211976A (ja) * 2016-05-19 2017-11-30 日本放送協会 画像処理装置及び画像処理プログラム
CN108508023A (zh) * 2018-03-30 2018-09-07 深圳市益鑫智能科技有限公司 一种铁路接触网中接触端部顶紧螺栓的缺陷检测***
WO2018168406A1 (ja) * 2017-03-16 2018-09-20 富士フイルム株式会社 撮影制御装置、撮影システム、および撮影制御方法
US20190114033A1 (en) * 2016-03-30 2019-04-18 Seiko Epson Corporation Image recognition device, image recognition method, and image recognition unit
CN109792543A (zh) * 2016-09-27 2019-05-21 深圳市大疆创新科技有限公司 根据可移动物捕获的图像数据创建视频抽象的方法和***

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003154483A (ja) 2001-11-19 2003-05-27 Mitsubishi Heavy Ind Ltd 亀裂自動補修方法及びその装置
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
US10509218B2 (en) 2012-01-11 2019-12-17 Sony Corporation Information processing apparatus, imaging control method, program, digital microscope system, display control apparatus, display control method, and program including detection of a failure requiring reimaging
JP6463047B2 (ja) * 2014-09-05 2019-01-30 キヤノン株式会社 眼科装置及び眼科装置の作動方法
JP6387782B2 (ja) * 2014-10-17 2018-09-12 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP6478639B2 (ja) 2015-01-06 2019-03-06 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2016172827A1 (zh) * 2015-04-27 2016-11-03 武汉武大卓越科技有限责任公司 一种逐步求精的路面裂缝检测方法
EP3396359B1 (en) 2015-12-25 2021-04-28 FUJIFILM Corporation Damage information processing device and damage information processing method
US10753881B2 (en) * 2016-05-27 2020-08-25 Purdue Research Foundation Methods and systems for crack detection
JP6702097B2 (ja) 2016-09-02 2020-05-27 富士通株式会社 画像処理プログラム、画像処理方法および画像処理装置
JP6441421B1 (ja) 2017-07-28 2018-12-19 株式会社ＴｏｎＴｏｎ 外面材調査システム
CN111684267B (zh) 2018-02-02 2024-06-28 富士胶片株式会社 图像处理装置及图像处理方法
CN108647563A (zh) * 2018-03-27 2018-10-12 阿里巴巴集团控股有限公司 一种车辆定损的方法、装置及设备
JP7263983B2 (ja) 2019-08-30 2023-04-25 富士通株式会社 撮影漏れ検出装置、及び、撮影漏れ検出方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10274627A (ja) * 1997-03-28 1998-10-13 Omron Corp 画像検出装置及び画像検出プログラムを記録した機械読み取り可能な記録媒体
US20140254940A1 (en) * 2013-03-08 2014-09-11 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN105339755A (zh) * 2013-04-25 2016-02-17 株式会社普利司通 检查装置
CN104240182A (zh) * 2013-06-06 2014-12-24 富士通株式会社 图像处理装置、图像处理方法以及电子设备
CN103411533A (zh) * 2013-08-05 2013-11-27 上海交通大学 结构光自适应多次曝光法
US20150339822A1 (en) * 2014-05-22 2015-11-26 Canon Kabushiki Kaisha Image generating device and image generating method
CN105654505A (zh) * 2015-12-18 2016-06-08 中山大学 一种基于超像素的协同跟踪算法和***
US20190114033A1 (en) * 2016-03-30 2019-04-18 Seiko Epson Corporation Image recognition device, image recognition method, and image recognition unit
JP2017211976A (ja) * 2016-05-19 2017-11-30 日本放送協会 画像処理装置及び画像処理プログラム
CN109792543A (zh) * 2016-09-27 2019-05-21 深圳市大疆创新科技有限公司 根据可移动物捕获的图像数据创建视频抽象的方法和***
WO2018168406A1 (ja) * 2017-03-16 2018-09-20 富士フイルム株式会社 撮影制御装置、撮影システム、および撮影制御方法
CN108508023A (zh) * 2018-03-30 2018-09-07 深圳市益鑫智能科技有限公司 一种铁路接触网中接触端部顶紧螺栓的缺陷检测***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
史宝珠 等: "基于角边特征的纸质碎片自动拼接复原方法", 《计算机应用》 *

Also Published As

Publication number Publication date
JP7263983B2 (ja) 2023-04-25
JP2021036213A (ja) 2021-03-04
EP3786885A1 (en) 2021-03-03
EP3786885B1 (en) 2022-04-13
US20210063315A1 (en) 2021-03-04
US11320386B2 (en) 2022-05-03
CN112444205B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
JP5783885B2 (ja) 情報提示装置、その方法及びそのプログラム
JP6609057B2 (ja) 画像処理装置
US9002106B2 (en) Image processing apparatus, image processing method, and storage medium
EP1909215B1 (en) Image region detection method, recording medium, and device therefor
JP2017187988A (ja) コード認識装置
US9076241B2 (en) Methods and systems for detecting patch panel ports from an image having perspective distortion
US7680339B2 (en) Image processing method and apparatus for edge detection in an image
US9256792B2 (en) Image processing apparatus, image processing method, and program
JP5940393B2 (ja) 点検補助装置及び方法
WO2016166914A1 (ja) 二次元コード，二次元コード記録担体，二次元コード読取り方法，二次元コード読取用プログラムおよび二次元コード読取り装置
JP2001307014A (ja) 二次元コード抽出方法
CN112444205B (zh) 检测设备和检测方法
JP6739937B2 (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
US20120120099A1 (en) Image processing apparatus, image processing method, and storage medium storing a program thereof
JP5111055B2 (ja) 画像処理装置及び画像処理方法、コンピュータプログラム
JP6481957B2 (ja) 画像処理装置およびプログラム
JP4321251B2 (ja) 合成画像を生成・表示する装置及び方法
JP5169052B2 (ja) 情報読取システム及びプログラム
JP2007206963A (ja) 画像処理装置及び画像処理方法及びプログラム及び記憶媒体
JP2007140703A (ja) 保険証読取方法、そのシステム及び保険証認識装置
US10628713B2 (en) Mobile terminal, image processing method, and computer-readable recording medium
US20130236101A1 (en) Information processing apparatus, non-transitory computer readable medium, and information processing method
JP2008206037A (ja) 画像処理装置及び画像処理プログラム
JP2020201525A (ja) 画像処理装置、画像処理方法、プログラム、および記録媒体
JP5185072B2 (ja) 枠検出方法、枠検出装置及び枠検出プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant