WO2017122641A1 - 計測支援装置及び計測支援方法 - Google Patents
計測支援装置及び計測支援方法 Download PDFInfo
- Publication number
- WO2017122641A1 WO2017122641A1 PCT/JP2017/000501 JP2017000501W WO2017122641A1 WO 2017122641 A1 WO2017122641 A1 WO 2017122641A1 JP 2017000501 W JP2017000501 W JP 2017000501W WO 2017122641 A1 WO2017122641 A1 WO 2017122641A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- scale
- crack
- measurement
- scale image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
- G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
- G01M5/0075—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by means of external apparatus, e.g. test benches or portable test systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
- G01M5/0091—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by using electromagnetic excitation or detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- E—FIXED CONSTRUCTIONS
- E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
- E01D—CONSTRUCTION OF BRIDGES, ELEVATED ROADWAYS OR VIADUCTS; ASSEMBLY OF BRIDGES
- E01D22/00—Methods or apparatus for repairing or strengthening existing bridges ; Methods or apparatus for dismantling bridges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
- G01N2021/8893—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques providing a video image and a processed signal for helping visual decision
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/06—Illumination; Optics
- G01N2201/061—Sources
- G01N2201/06113—Coherent sources; lasers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Definitions
- the present invention relates to an apparatus and method for supporting measurement of a crack in a structure, and more particularly to a measurement support apparatus and a measurement support method using a scale image.
- Bridges, tunnels, roads, buildings, and other structures are subject to various types of damage, such as cracks, and progress over time. To ensure the safety of structures, repair them according to the state of damage. There is a need. Conventionally, inspection of damage has been carried out by visual inspection by an operator or inspection using equipment, but in recent years, inspection using image processing has been performed due to problems such as work time and cost, work place environment, etc. .
- Patent Document 1 a crack to be measured and a crack scale on which a mark of a known length is displayed are photographed simultaneously, the length of the crack is measured from the photographed image, and the area of the crack is measured. It is described that the width of the crack is obtained from the length.
- a technique is known in which crack images can be measured by superimposing and displaying such a crack scale image on a captured image.
- Patent Document 2 describes that a crack scale is superimposed on a captured image and a scale is moved and / or rotated in an underfloor inspection system for a structure using a moving body.
- the present invention has been made in view of such circumstances, and an object thereof is to provide a measurement support apparatus and a measurement support method that allow a user to quickly and easily measure a crack.
- the measurement support apparatus includes an image acquisition unit that acquires an image of a structure, and a scale image for measuring a crack generated on a measurement surface of the structure.
- a scale image generating unit for generating a scale image indicating a scale to which at least one of a scale for measuring the length of a crack, a line drawing and a number for measuring the width of the crack, and at least one of them is attached;
- An image display unit that superimposes the structure image and the scale image on the display area, and the scale image generation unit scales according to the distance between the image acquisition unit and the measurement surface and the orientation of the measurement surface. The image is generated, and the image display unit superimposes and displays the scale images generated at the position and direction corresponding to the position and direction of the crack in the image of the structure.
- a scale image corresponding to the distance between the image acquisition unit and the measurement surface and the direction of the measurement surface is generated, and is superimposed on the position and direction corresponding to the position and direction of the crack. Since they are displayed together, it is possible to quickly and easily measure cracks by eliminating the trouble of attaching the scale to the object to be measured and adjusting the position and direction of the scale.
- examples of the “structure” include bridges, tunnels, buildings, and roads, but are not limited thereto.
- the structure may be a concrete structure.
- the scale image generation unit generates a scale image indicating a scale of the type, shape, and size according to the distance and orientation.
- the scale image indicating the scale of the type, shape, and size according to the distance between the image acquisition unit and the measurement surface and the orientation of the measurement surface is generated and displayed. The trouble of setting the generation and display conditions can be reduced.
- the scale indicated by the scale image is different in scale, line drawing, and number corresponding to the type, shape, and size in the second aspect.
- the third aspect specifically defines the characteristics of the scale image, and can reduce the user's trouble of setting the scale image display condition.
- the measurement support apparatus is the image display unit along the direction of the crack or along the direction orthogonal to the direction of the crack. indicate.
- the scale image is displayed along the direction of the crack
- the scale image is displayed along a direction orthogonal to the direction of the crack.
- the measurement support apparatus includes an image operation unit that operates an image of the structure and a scale image in accordance with a user input.
- the user can operate the scale image according to the purpose of measurement and the characteristics of the measurement target (crack).
- the image operation unit operates the scale image in conjunction with the operation of the structure image by the image operation unit. According to the sixth aspect, since the scale image is operated in conjunction with the operation of the structure image (captured image), the user does not have to operate the structure image and the scale image separately, and can quickly And cracks can be measured easily.
- the measurement support apparatus is any one of the first to sixth aspects, wherein the display area can be displayed in an image display area for displaying an image of the structure and a scale image, and in the image display area.
- a scale information display area for displaying scale information indicating the type of scale, and the image display unit displays a scale image corresponding to the scale information selected from the plurality of scale information displayed in the scale information display area. Display in the area.
- the user can select an appropriate scale image in accordance with measurement items (crack length, width, etc.) and measurement conditions (distance, orientation, etc.).
- examples of the scale information include a scale type, a scale, and a line drawing.
- the scale information may be displayed as a reduced image or icon corresponding to the content, or may be displayed using characters, numbers, symbols, and the like.
- the measurement support apparatus includes an optical system that acquires a stereo image of the structure as an image of the structure, and a distance and a distance based on the acquired stereo image.
- the eighth aspect defines one aspect of a method for calculating the distance and orientation of the measurement surface.
- the image processing unit detects the position and direction of the crack from the stereo image, and the image display unit displays the scale image based on the detected position and direction.
- the ninth aspect prescribes that the position and direction of a crack are detected from a stereo image.
- a measurement support method measures an image acquisition step of acquiring an image of a structure with an image acquisition device, and cracks generated on the measurement surface of the structure.
- a scale image for generating a scale image indicating a scale to which at least one of a scale for measuring the length of a crack and a line drawing and a number for measuring the width of the crack are attached.
- An image generation step, and an image display step for superimposing the structure image and the scale image on the display area.
- the scale image generation step the distance between the image acquisition device and the measurement surface, and the direction of the measurement surface
- the scale image generated in the position and direction according to the position and direction of the crack is superimposed in the image display process. To be displayed.
- the user can measure a crack quickly and easily like the 1st aspect.
- the user can measure cracks quickly and easily.
- FIG. 1 is a diagram illustrating a bridge as an example of a structure.
- FIG. 2 is a block diagram showing the configuration of the measurement support apparatus according to the embodiment of the present invention.
- FIG. 3 is a flowchart showing processing of the measurement support method according to the embodiment of the present invention.
- FIG. 4 is a diagram illustrating an example of a scale image corresponding to the distance of the measurement surface.
- FIG. 5 is another diagram illustrating an example of a scale image corresponding to the distance of the measurement surface.
- FIG. 6 is still another diagram illustrating an example of a scale image corresponding to the distance of the measurement surface.
- FIG. 7 is still another diagram illustrating an example of a scale image corresponding to the distance of the measurement surface.
- FIG. 8 is a diagram showing the distance and orientation of the measurement surface.
- FIG. 9 is a diagram illustrating a display example of a scale image when the measurement surface is directly facing.
- FIG. 10 is a diagram illustrating a display example of a scale image when the measurement surface is tilted.
- FIG. 11 is another diagram illustrating a display example of the scale image when the measurement surface is tilted.
- FIG. 12 is a diagram illustrating an example in which a crack image is displayed in the display area.
- FIG. 13 is a diagram illustrating an example in which a crack image and a scale image are superimposed and displayed.
- FIG. 14 is another diagram illustrating an example in which a crack image and a scale image are displayed in an overlapping manner.
- FIG. 15 is still another view showing an example in which a crack image and a scale image are displayed in an overlapping manner.
- FIG. 10 is a diagram illustrating a display example of a scale image when the measurement surface is tilted.
- FIG. 11 is another diagram illustrating a display example of the scale image when the measurement surface is tilte
- FIG. 16 is still another view showing an example in which a crack image and a scale image are displayed in an overlapping manner.
- FIG. 17 is still another view showing an example in which a crack image and a scale image are displayed in an overlapping manner.
- FIG. 18 is still another view showing an example in which a crack image and a scale image are displayed in an overlapping manner.
- FIG. 19 is still another view showing an example in which a crack image and a scale image are displayed in an overlapping manner.
- FIG. 20 is a diagram illustrating how the scale image is moved.
- FIG. 21 is another diagram illustrating a state in which the scale image is moved.
- FIG. 22 is still another diagram showing a state in which the scale image is moved.
- FIG. 23 is a diagram illustrating how the scale image is rotated.
- FIG. 21 is another diagram illustrating a state in which the scale image is moved.
- FIG. 24 is another diagram showing a state in which the scale image is rotated.
- FIG. 25 is still another view showing a state where the scale image is rotated.
- FIG. 26 is a diagram illustrating the enlargement of the scale image accompanying the enlargement of the image.
- FIG. 27 is another diagram illustrating the enlargement of the scale image accompanying the enlargement of the image.
- FIG. 28 is a diagram illustrating a state of measurement using a scale image.
- FIG. 29 is another diagram showing a state of measurement using a scale image.
- FIG. 30 is a diagram illustrating a display example of measurement results.
- FIG. 1 is a perspective view showing a structure of a bridge 1 (concrete structure) which is an example of an application target of a measurement support apparatus and a measurement support method according to the present invention.
- the bridge 1 shown in FIG. 1 has a main girder 3, and the main girder 3 is joined by a joint 3A.
- the main girder 3 is a member that is passed between the abutment and the pier and supports the load of the vehicle on the floor slab 2.
- a floor slab 2 for driving a vehicle or the like is placed on the main girder 3.
- the floor slab 2 is generally made of reinforced concrete.
- the bridge 1 has members such as a horizontal girder, a tilted frame, and a horizontal frame (not shown) in addition to the floor slab 2 and the main beam 3.
- the inspector uses the digital camera 104 (see FIG. 2) to photograph the bridge 1 from below (direction C in FIG. 1) and obtain an image of the inspection range.
- the photographing is performed while appropriately moving in the extending direction of the bridge 1 (A direction in FIG. 1) and the orthogonal direction (B direction in FIG. 1).
- the digital camera 104 may be installed on a movable body that can move along the bridge 1 to perform imaging.
- a moving body may be provided with a lifting mechanism and / or a pan / tilt mechanism of the digital camera 104. Examples of the moving body include a vehicle, a robot, and a flying body, but are not limited to these.
- FIG. 2 is a block diagram illustrating a schematic configuration of the measurement support apparatus 100 according to the present embodiment.
- the measurement support apparatus 100 includes an image acquisition unit 102 (image acquisition device), an image processing unit 108 (scale image generation unit, image display unit, image operation unit), a recording unit 110, a display unit 112 (image display unit), and an operation.
- a unit 114 is provided, and these units are connected to each other so that necessary information can be transmitted and received.
- each unit described above can be realized by executing a program stored in a memory by a control device such as a CPU (Central Processing Unit).
- the image input unit 106 includes a wireless communication antenna and an input / output interface circuit
- the recording unit 110 includes a non-temporary recording medium such as an HDD (Hard Disk Drive).
- the display unit 112 includes a display device such as a liquid crystal display
- the operation unit 114 includes input and operation devices such as a keyboard and a mouse.
- an image photographed using the digital camera 104 is input to the image input unit 106 by wireless communication, and a measurement process (described later) is performed by the image processing unit 108.
- the digital camera 104 and the image input unit 106 constitute an image acquisition unit 102.
- the digital camera 104 includes a left image optical system 104L for acquiring a left eye image and a right image optical system 104R for acquiring a right eye image, and a plurality of the same subject (the bridge 1 in the present embodiment) is provided by these optical systems.
- a stereo image can be acquired by shooting from the viewpoint.
- the left image optical system 104L and the right image optical system 104R include a photographic lens and an image sensor (not shown).
- Examples of the image sensor include a CCD (Charge-Coupled Device) type image sensor and a CMOS (Complementary Metal-Oxide Semiconductor) type image sensor.
- An R (red), G (green), or B (blue) color filter is provided on the light receiving surface of the image sensor, and a color image of the subject can be acquired based on the signals of each color.
- FIG. 3 is a flowchart showing a measurement procedure (measurement support method) according to the present embodiment.
- this embodiment demonstrates the case where the crack which arose in the floor slab 2 of the bridge 1 which is a concrete structure is measured.
- step S100 image acquisition step
- a plurality of images of the bridge 1 are input in accordance with the inspection range, and information on photographing date and time is added to the input image by the digital camera 104.
- the shooting date and time of the input image does not necessarily have to be the same for all images, and may be for a plurality of days.
- a plurality of images may be input at a time, or one image may be input at a time.
- the captured image is not input as it is, but the image subjected to image processing such as editing and / or synthesis (for example, the entire measurement range generated by combining the images obtained by capturing a part of the measurement range) Image) may be input.
- image processing such as editing and / or synthesis
- an image obtained by photographing a structure is also described as a “photographed image” for an image subjected to such image processing.
- the image of the bridge 1 may be input not via wireless communication but via a non-temporary recording medium such as various memory cards, or image data that has already been captured and recorded may be input via a network. .
- step S110 based on the stereo image acquired in step S100, the distance and orientation of the measurement surface where the crack exists are calculated (step S110).
- the stereo image of the bridge 1 is input in step S100, the parallax at each pixel position can be calculated from the input stereo image, and the orientation of the measurement surface can be calculated based on the calculated parallax.
- the distance between the digital camera 104 and the measurement surface can be set as the distance of the measurement surface, and the direction of the measurement surface with respect to the shooting direction of the stereo image acquired in step S100 can be set as the direction of the measurement surface.
- the measurement of the distance and orientation of the measurement surface does not use a stereo image acquired by the digital camera 104, but irradiates a pulsed light from a digital camera equipped with a light source to receive the reflected light, and based on the received reflected light.
- the distance and orientation of the measurement surface may be calculated by a so-called TOF (Time Of Flight) method.
- the image processing unit 108 (scale image generation unit) generates a scale image (step S120; scale image generation step).
- a scale image is an image showing a scale (crack scale) to which at least one of a scale for measuring the length of a crack and a line drawing and a number for measuring the width of a crack are attached.
- the processing unit 108 generates a scale image of the type, shape, and size according to the distance and orientation calculated in step S110.
- the scale image has different scales, line drawings, and numbers corresponding to the type, shape, and size.
- the image processing unit 108 displays the scale image generated in this way on the display unit 112 (details of image display will be described later).
- FIG. 4 is a diagram showing a scale image CS10A in the case of being far from the measurement surface.
- a scale image CS10A By using such a scale image CS10A, it is possible to measure a long crack at a time.
- 5 and 6 are scale images CS10B and CS10C when the distance to the measurement surface is a medium distance and a short distance, respectively.
- scales and numbers are attached so that cracks shorter than the scale image CS10A shown in FIG. 4 can be measured.
- FIG. 7 is a diagram showing the scale image CS11 in the case of a closer distance than FIG.
- the crack becomes thicker and suitable for measuring the width of the image. Therefore, in the example of FIG.
- a scale image CS11 for measurement is generated and displayed.
- the line drawing for width measurement straight lines with different thicknesses
- numbers, and line drawings have thicknesses corresponding to the numerical values. Match the line drawing to the cracks, and change the line drawing values that match the width of the cracks. The width can be measured by reading.
- FIG. 4 to 7 show examples of the scale image, and the relationship between the scale image mode and the distance in the present invention is not limited to these examples.
- a scale image for length measurement may be displayed even at a distance corresponding to the state of FIG. 4 to 7 show examples of scale images to which one of length measurement information (scale and numbers) and width measurement information (line drawings and numbers) is attached.
- a scale image may be displayed with both of these information. The same applies to image display to be described later.
- FIG. 8 is a diagram showing the shooting position and shooting direction of the digital camera 104. In FIG. 8, it is assumed that the measurement surface E1 is perpendicular to the paper surface.
- FIG. 8 when the digital camera 104 is shooting from the front of the measurement surface E1 (position P1, shooting direction D1), the rectangular area on the measurement surface E1 is a rectangle in the shot image i1. Therefore, in this case, a rectangular scale image CS20 may be displayed in the image display area IA as shown in FIG. 9 (step S130 described later; the same applies hereinafter).
- the digital camera 104 when the digital camera 104 is shooting from an oblique direction with respect to the measurement surface E1 (position P2, shooting direction D2), the rectangular area on the measurement surface E1 has a trapezoidal shape in the captured image. In this case, as shown in the example of FIG.
- the rectangular scale image CS20 by correcting (projection conversion) the captured image i3 as an image captured from the front, but in this case, a part of the imaging range is displayed.
- the image is inconspicuous and the blur is difficult to see (thus making it difficult to measure cracks or reducing accuracy).
- the image is focused at the center of the shooting range, and the blur is noticeable near the end F1 of the shooting range.
- FIG. 11 shows an example in which the digital camera 104 is shooting in the shooting direction D2 at the position P2 in FIG. 8, and the digital camera 104 moves from the right side (front side) to the left side (back side) in FIGS. The distance from is getting far. Therefore, the scale image CS20A is also deformed so that the width is wide on the right side in FIG. 11 and narrows toward the left side.
- both the scale image switching display according to the distance as shown in FIGS. 4 to 7 and the scale image deformation display according to the distance as shown in FIG. 11 may be performed together. That is, the type of the scale image may be switched according to the distance of the measurement surface, and an image deformed according to the orientation of the measurement surface may be displayed.
- step S120 When a scale image corresponding to the distance and orientation of the measurement surface is generated in step S120, the image processing unit 108 superimposes the captured image and the scale image and displays them on the image display area IA of the display unit 112 (step S130; image). Display process).
- step S130 image
- Display process display of the captured image and the scale image will be described. In the following example, a case will be described in which a crack CR1 composed of three cracks CR1-1 to CR1-3 is displayed.
- FIG. 12 is a diagram showing an example of image display on the display unit 112.
- the display area DA1 includes an image display area IA and a scale information display area SA1.
- the image display area IA is an area for displaying captured images and scale images
- the scale information display area SA1 is an area for displaying scale information indicating the types of scales that can be displayed in the image display area IA.
- a scale image (reduced image) is displayed as the scale information.
- letters, numbers, and symbols indicating the scale image may be displayed. .
- the scale information display area SA1 includes an OK button BU1 for confirming selection of the scale image, a cancel button BU2 for canceling the selection, and an erase button BU3 for erasing the scale image displayed in the image display area IA. Is displayed. These buttons can be operated with an operation device such as a mouse provided in the operation unit 114. Note that the selection and display of the scale image may be automatically performed by the image processing unit 108 according to the distance and orientation of the measurement surface in the initial state, and may be changed by a user operation.
- scale images CS1 to CS4 (reduced images) indicating the scale for length measurement and the scale for width measurement are displayed in the scale information display area SA1.
- Scale images CS1 and CS2 show length measurement scales
- scale images CS3 and CS4 show width measurement scales.
- the type of scale image (for length measurement or width measurement, and information on scales, line drawings, numerical values, etc.) displayed in the scale information display area SA1 may be changed according to the distance of the measurement surface.
- FIG. 13 is a diagram illustrating an example of superimposed display of a captured image and a scale image.
- FIG. 13 shows an example in which a scale image CS2 indicating a length measurement scale is selected and displayed in the vicinity of the crack CR1-2 along the length direction of the crack CR1-2.
- the length of the crack CR1-2 can be measured by reading the scale of the scale image CS2.
- FIG. 13 and subsequent figures a case where the shooting direction faces the measurement surface will be described.
- the scale image can be deformed and displayed according to the orientation of the measurement surface as in the example of FIG.
- FIG. 14 is a diagram illustrating another display example of the scale image when the crack is bent.
- the scale images CS2 are displayed for the cracks CR3-1 and CR3-2, respectively.
- the way of bending of the crack CR4 is small (the angle ⁇ 2 formed by the cracks CR4-1 and CR4-2 is small)
- one scale image CS2 is displayed.
- a threshold value is provided for the angle formed by the cracks, and when the formed angle is equal to or greater than the threshold value, the scale image is displayed separately as shown in FIG. 14, and when it is less than the threshold value, one scale is displayed as shown in FIG. it can.
- the threshold value is not particularly limited, but can be, for example, 30 °.
- FIG. 16 is a diagram showing a display example of a scale image with respect to intermittent cracks.
- the crack CR5 is interrupted and becomes cracks CR5-1 and CR5-2.
- one scale image CS2 is displayed.
- FIG. 17 is a diagram showing a display example of a scale image for a branched crack.
- the crack CR6-1 constituting the crack CR6 is branched and becomes a crack CR6-2 and CR6-3. Therefore, the trunk portion (crack CR6-1, CR6-2) and the branch portion of the crack A scale image CS2 is displayed for each (crack CR6-3).
- the mode in which the scale image is displayed in the direction along the length direction of the crack is not limited to the examples shown in FIGS. If the crack length is within the range that can be measured with the scale image or about the same range, and the guideline for the crack length can be measured, the length direction of the crack and the scale image Even if the directions do not match completely, it may be determined that “the scale image is displayed in a direction along the length direction of the crack”.
- FIG. 18 is a diagram illustrating another example of superimposed display of a captured image and a scale image.
- FIG. 18 shows an example in which a scale image CS3 indicating a width measurement scale is selected and displayed in the vicinity of the crack CR1-1 along a direction orthogonal to the direction of the crack CR1-1.
- the width of the crack CR1-1 can be measured by appropriately moving the displayed scale image CS3 and reading the numerical value of the line drawing that matches the width of the crack.
- FIG. 19 is a diagram showing a state in which a scale image CS2 for length measurement and a scale image CS3 for width measurement are displayed.
- measurement can be performed by displaying an appropriate scale image according to the purpose of measurement and the characteristics of cracks.
- the image processing unit 108 superimposes and displays the scale image at a position and direction corresponding to the position and direction of the crack.
- the position and direction of the crack can be obtained by extracting the crack from the photographed image.
- Crack extraction can be performed by various methods. For example, a crack detection method described in JP-A-2006-162583 can be used. This method calculates wavelet coefficients corresponding to the two concentrations to be compared, calculates each wavelet coefficient when each of the two concentrations is changed, creates a wavelet coefficient table, and detects the crack detection target.
- a wavelet image is created by wavelet transforming an input image of a concrete surface.
- a crack detection method comprising a step of determining a crack area and a non-crack area by comparing the wavelet coefficient of the target pixel and the threshold value.
- the extraction of cracks can be performed not only by the method described in the above-mentioned JP-A-2006-162583 but also by the method described in Non-Patent Document 1 below.
- an area composed of pixels having a luminance value less than the threshold value is set as a percolated area (percolation area), and the threshold value is sequentially updated according to the shape of the percolation area.
- the crack is detected from the surface image.
- the percolation method is a method in which the region is sequentially enlarged in general imitating water penetration (percolation) in nature.
- Non-Patent Document 1 Tomoyuki Yamaguchi, “A Study on Image Processing Method for Crack Inspection of Real Concreate Surfaces”, MAJOR IN PURE AND APPLIED PHYSICS, GRADUATE SCHOOL OF SCIENCE AND ENGINEERING, WASEDA UNIVERSITY, February 2008 ⁇ Image manipulation and Image display based on image manipulation>
- the image processing unit 108 determines whether an operation of the captured image and / or the scale image by the user has been detected (step S140).
- Step S140 When an operation by the user is detected (Yes in Step S140), the image processing unit 108 operates the captured image and / or the scale image according to the detection result (Step S150), and displays the image after the operation (Step S160; Image display process).
- Step S150 the image operation in step S150 and the image display in step S160 will be described.
- FIGS. 20 to 22 are diagrams illustrating an example of the scale image moving operation.
- a move button BU4 and a rotation button BU5 for operating the scale image CS2 are displayed in the scale information display area SA2 in the display area DA2.
- the move button BU4 is selected with the scale image CS2 displayed as shown in FIG. 20
- the scale image CS2 is moved in the length direction L1, as shown in FIG. And it becomes possible to move in the direction L2 orthogonal to the length direction L1.
- FIG. 22 is a diagram showing a state in which the scale image CS2 is moved in the vicinity of the crack CR1-1 in this manner.
- the image processing unit 108 displays (draws) the scale image CS2 at a position corresponding to the direction and size of the moving operation. Thereby, the user can measure quickly and easily.
- FIG. 23 is a diagram illustrating an example of the rotation operation of the scale image.
- the scale image CS2 can be rotated about the point P3 in the direction of the arrow R1 by an operation via the operation unit 114.
- FIG. 24 is a diagram showing how the scale image CS2 is rotated in this way. From the state shown in FIG. 24, the scale image CS2 is moved in the L3 direction in the same manner as in FIGS. Can be measured. Note that the scale image may be rotated around the center point instead of the corner point like the point P3. For example, as shown in FIG. 25, the center point P4 of the scale image CS2 may be rotated in the direction of the arrow R2 with the rotation center as the center.
- FIG. 26 is a diagram illustrating an example of an operation for enlarging a captured image.
- an enlargement button BU6, a reduction button BU7, a rotation button BU8, and a move button BU9 are displayed in the scale information display area SA3 in the display area DA3.
- the image display area IA is displayed.
- the photographed image displayed on can be enlarged.
- FIG. 27 is a view showing a photographed image after enlargement.
- the crack CR2 displayed in FIG. 26 is enlarged and displayed as a crack CR2A.
- the scale image CS2 displayed before the enlargement of the captured image is also enlarged and displayed as the scale image CS2A.
- the scale and the numerical value are also changed in conjunction with the enlargement of the scale image.
- the image operation other operations such as reduction may be performed in addition to the above-described movement, rotation, and enlargement.
- the case where the scale image and the captured image are operated using the operation device such as the mouse has been described.
- the operation of the scale image and the captured image is not limited to such a form.
- the display area may be configured by a touch panel, and an operation may be performed based on a user tap operation or pinch operation.
- FIG. 28 is a diagram showing an example of recording measurement results.
- FIG. 28 shows an example in which the width (here, 1.4 mm) of the crack CR1-1 at the point P5 is input to the information display area SA4 displayed in the display area DA4.
- FIG. 29 shows an example in which the length (50 mm in this case) of the crack CR1-2 having the points P6 and P7 as the start point and the end point is input to the information display area SA5 displayed in the display area DA5.
- the user can input the length and / or width of the crack via the operation unit 114. The measurement result input in this way is recorded in the recording unit 110.
- step S180 the image processing unit 108 determines whether the measurement is finished (step S180). This determination can be made by a user instruction input via the operation unit 114. If the determination is affirmed (Yes in step S180), the process proceeds to step S190 to display the measurement result. If the determination is negative (No in step S180), the process returns to step S140.
- FIG. 30 is a diagram showing an example of the measurement result display in step S190.
- the measurement results here, the width of the crack CR1-1 and the length of the crack CR1-2
- the balloons BA1 and BA2 are displayed by the balloons BA1 and BA2 in the image display area IA of the display area DA6.
- Such display can be performed with reference to the measurement result recorded in the recording unit 110 by the image processing unit 108.
- the display of the scale image (reduced image) and some buttons as shown in FIGS. 12 to 27 is omitted, but may be displayed as necessary.
- the user can quickly and easily measure a crack.
- the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the spirit of the present invention.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Electromagnetism (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本発明は、ユーザが迅速かつ容易にひび割れを計測できる計測支援装置及び計測支援方法を提供することを目的とする。本発明の一の態様に係る計測支援装置は、構造物の画像を取得する画像取得部と、構造物の測定面に生じたひび割れを計測するためのスケール画像であって、ひび割れの長さを測定するための目盛りと、ひび割れの幅を測定するための線画及び数字と、のうち少なくとも一方が付されたスケールを示すスケール画像を生成するスケール画像生成部と、構造物の画像とスケール画像とを重ね合わせて表示領域に表示する画像表示部と、を備え、スケール画像生成部は画像取得部と測定面との距離、及び測定面の向きに応じたスケール画像を生成し、画像表示部は、構造物の画像におけるひび割れの位置及び方向に応じた位置及び方向に生成したスケール画像を重ね合わせて表示する。
Description
本発明は構造物のひび割れの計測を支援する装置及び方法に係り、特にスケール画像を用いた計測支援装置及び計測支援方法に関する。
橋梁、トンネル、道路、及びビル等の構造物にはひび割れ等各種の損傷が発生し、時間と共に進行してゆくため、構造物の安全を確保するには、損傷の状況に応じて補修を行う必要がある。従来、損傷の検査は作業員による目視あるいは器具を用いた検査により行われてきたが、作業時間及びコスト、作業場所の環境等の問題により、近年は画像処理を利用した検査が行われている。
例えば特許文献1には、測定対象のひび割れと、長さが既知のマークが表示されたクラックスケールとを同時撮影し、撮影画像からひび割れの長さを計測すること、及びひび割れの面積と計測した長さとからひび割れの幅を求めることが記載されている。また、このようなクラックスケールの画像を撮影画像と重畳表示してひび割れを計測できるようにする技術が知られている。例えば特許文献2には、移動体を用いた構造物の床下点検システムにおいて、撮影画像にクラックスケールを重畳表示すること、及びスケールを移動及び/または回転することが記載されている。
上述した特許文献1に記載の技術では、クラックスケールをひび割れと同時撮影するため、ひび割れを計測する際にクラックスケールを計測対象に複数付けたり付け直したりする必要があり、計測に時間と手間がかかっていた。また、計測対象に近づけない場合は適用が困難であった。また、特許文献2に記載の技術でも、クラックスケールの表示位置や表示方向、表示条件等をユーザが逐一設定する必要があった。
本発明はこのような事情に鑑みてなされたもので、ユーザが迅速かつ容易にひび割れを計測できる計測支援装置及び計測支援方法を提供することを目的とする。
上述した目的を達成するため、本発明の第1の態様に係る計測支援装置は、構造物の画像を取得する画像取得部と、構造物の測定面に生じたひび割れを計測するためのスケール画像であって、ひび割れの長さを測定するための目盛りと、ひび割れの幅を測定するための線画及び数字と、のうち少なくとも一方が付されたスケールを示すスケール画像を生成するスケール画像生成部と、構造物の画像とスケール画像とを重ね合わせて表示領域に表示する画像表示部と、を備え、スケール画像生成部は画像取得部と測定面との距離、及び測定面の向きに応じたスケール画像を生成し、画像表示部は、構造物の画像におけるひび割れの位置及び方向に応じた位置及び方向に生成したスケール画像を重ね合わせて表示する。
第1の態様に係る計測支援装置によれば、画像取得部と測定面との距離、及び測定面の向きに応じたスケール画像が生成され、ひび割れの位置及び方向に応じた位置及び方向に重ね合わせ表示されるので、計測対象に近づいてスケールを付したりスケールの位置や方向を調整したりする手間が省け、迅速かつ容易にひび割れを計測することができる。なお第1の態様において、「構造物」の例としては橋梁、トンネル、ビル、及び道路を挙げることができるが、これらに限定されるものではない。また、構造物はコンクリート構造物であってもよい。
第2の態様に係る計測支援装置は第1の態様において、スケール画像生成部は、距離及び向きに応じた種類、形状、及び大きさのスケールを示すスケール画像を生成する。第2の態様によれば、画像取得部と測定面との距離及び測定面の向きに応じた種類、形状、及び大きさのスケールを示すスケール画像が生成されて表示されるので、スケール画像の生成及び表示条件を設定する手間を軽減することができる。
第3の態様に係る計測支援装置は第2の態様において、スケール画像が示すスケールは、種類、形状、及び大きさに対応して目盛り、線画、及び数字が異なる。第3の態様はスケール画像の特徴を具体的に規定したもので、ユーザがスケール画像の表示条件を設定する手間を軽減することができる。
第4の態様に係る計測支援装置は第1から第3の態様のいずれか1つにおいて、画像表示部は、スケール画像をひび割れの方向に沿って、またはひび割れの方向と直交した方向に沿って表示する。第4の態様では、例えばひび割れの長さを計測する場合はスケール画像をひび割れの方向に沿って表示し、ひび割れの幅を計測する場合はスケール画像をひび割れの方向と直交した方向に沿って表示する。このようにスケール画像を表示することで、表示されたスケールの移動や回転の手間を軽減でき、ユーザは迅速かつ容易にひび割れを計測することができる。
第5の態様に係る計測支援装置は第1から第4の態様のいずれか1つにおいて、ユーザの入力に応じて構造物の画像及びスケール画像を操作する画像操作部を備える。第5の態様によれば、ユーザは計測の目的や計測対象(ひび割れ)の特徴に応じてスケール画像を操作することができる。
第6の態様に係る計測支援装置は第5の態様において、画像操作部は、画像操作部による構造物の画像の操作に連動してスケール画像を操作する。第6の態様によれば、構造物の画像(撮影画像)の操作に連動してスケール画像が操作されるので、ユーザは構造物の画像とスケール画像とを別個に操作しなくてよく、迅速かつ容易にひび割れを計測することができる。
第7の態様に係る計測支援装置は第1から第6の態様のいずれか1つにおいて、表示領域は、構造物の画像及びスケール画像を表示する画像表示領域と、画像表示領域に表示可能な種類のスケールを示すスケール情報を表示するスケール情報表示領域と、を含み、画像表示部はスケール情報表示領域に表示された複数のスケール情報のうちから選択したスケール情報に対応するスケール画像を画像表示領域に表示する。第7の態様によれば、ユーザは計測項目(ひび割れの長さ、幅等)や計測条件(距離、向き等)に応じて適切なスケール画像を選択することができる。なお第7の態様においてスケール情報の例としてはスケールの種類、目盛り、及び線画を挙げることができる。またスケール情報はその内容に応じた縮小画像やアイコンにより表示してもよいし、文字、数字、及び記号等を用いて表示してもよい。
第8の態様に係る計測支援装置は第1から第7の態様のいずれか1つにおいて、構造物の画像として構造物のステレオ画像を取得する光学系と、取得したステレオ画像に基づいて距離及び向きを算出する画像処理部と、を備える。第8の態様は、測定面の距離及び向きを算出する手法の一態様を規定するものである。
第9の態様に係る計測支援装置は第8の態様において、画像処理部はステレオ画像からひび割れの位置及び方向を検出し、画像表示部は検出した位置及び方向に基づいてスケール画像を表示する。第9の態様は、ひび割れの位置及び方向をステレオ画像から検出することを規定するものである。
上述した目的を達成するため、本発明の第10の態様に係る計測支援方法は、画像取得装置により構造物の画像を取得する画像取得工程と、構造物の測定面に生じたひび割れを計測するためのスケール画像であって、ひび割れの長さを測定するための目盛りと、ひび割れの幅を測定するための線画及び数字と、のうち少なくとも一方が付されたスケールを示すスケール画像を生成するスケール画像生成工程と、構造物の画像とスケール画像とを重ね合わせて表示領域に表示する画像表示工程と、を備え、スケール画像生成工程では画像取得装置と測定面との距離、及び測定面の向きに応じたスケール画像を生成し、画像表示工程では、構造物の画像において、ひび割れの位置及び方向に応じた位置及び方向に生成したスケール画像を重ね合わせて表示する。第10の態様によれば、ユーザは第1の態様と同様に迅速かつ容易にひび割れを計測することができる。
以上説明したように、本発明の計測支援装置及び計測支援方法によれば、ユーザは迅速かつ容易にひび割れを計測することができる。
以下、添付図面を参照しつつ、本発明に係る計測支援装置及び計測支援方法の実施形態について説明する。
図1は、本発明に係る計測支援装置及び計測支援方法の適用対象の一例である橋梁1(コンクリート構造物)の構造を示す斜視図である。図1に示す橋梁1は主桁3を有し、主桁3は接合部3Aで接合されている。主桁3は橋台や橋脚の間に渡され、床版2上の車輌等の荷重を支える部材である。また、主桁3の上部には車輌等が走行するための床版2が打設されている。床版2は鉄筋コンクリート製のものが一般的である。なお橋梁1は、床版2及び主桁3の他に図示せぬ横桁、対傾構、及び横構等の部材を有する。
<画像の取得>
橋梁1の損傷を計測する場合、検査員はデジタルカメラ104(図2参照)を用いて橋梁1を下方から撮影し(図1のC方向)、検査範囲について画像を取得する。撮影は、橋梁1の延伸方向(図1のA方向)及びその直交方向(図1のB方向)に適宜移動しながら行う。なお橋梁1の周辺状況により検査員の移動が困難な場合は、橋梁1に沿って移動可能な移動体にデジタルカメラ104を設置して撮影を行ってもよい。このような移動体には、デジタルカメラ104の昇降機構及び/またはパン・チルト機構を設けてもよい。なお移動体の例としては車輌、ロボット、及び飛翔体を挙げることができるが、これらに限定されるものではない。
橋梁1の損傷を計測する場合、検査員はデジタルカメラ104(図2参照)を用いて橋梁1を下方から撮影し(図1のC方向)、検査範囲について画像を取得する。撮影は、橋梁1の延伸方向(図1のA方向)及びその直交方向(図1のB方向)に適宜移動しながら行う。なお橋梁1の周辺状況により検査員の移動が困難な場合は、橋梁1に沿って移動可能な移動体にデジタルカメラ104を設置して撮影を行ってもよい。このような移動体には、デジタルカメラ104の昇降機構及び/またはパン・チルト機構を設けてもよい。なお移動体の例としては車輌、ロボット、及び飛翔体を挙げることができるが、これらに限定されるものではない。
<計測支援装置の構成>
図2は、本実施形態に係る計測支援装置100の概略構成を示すブロック図である。計測支援装置100は、画像取得部102(画像取得装置)、画像処理部108(スケール画像生成部、画像表示部、画像操作部)、記録部110、表示部112(画像表示部)、及び操作部114を備え、これら各部は互いに接続されていて、必要な情報を送受信できるようになっている。
図2は、本実施形態に係る計測支援装置100の概略構成を示すブロック図である。計測支援装置100は、画像取得部102(画像取得装置)、画像処理部108(スケール画像生成部、画像表示部、画像操作部)、記録部110、表示部112(画像表示部)、及び操作部114を備え、これら各部は互いに接続されていて、必要な情報を送受信できるようになっている。
上述した各部の機能は、例えばCPU(Central Processing Unit)等の制御デバイスがメモリに記憶されたプログラムを実行することで実現できる。また、画像入力部106は無線通信用アンテナ及び入出力インタフェース回路を含み、記録部110はHDD(Hard Disk Drive)等の非一時的記録媒体を含んで構成される。また表示部112は液晶ディスプレイ等の表示デバイスを含み、操作部114はキーボードやマウス等の入力及び操作デバイスを含む。なおこれらは本発明に係る計測支援装置の構成の一例を示すものであり、他の構成を適宜採用し得る。
上述のようにデジタルカメラ104(画像取得装置)を用いて撮影された画像は、無線通信により画像入力部106に入力されて、画像処理部108により計測処理(後述)が行われる。デジタルカメラ104及び画像入力部106は画像取得部102を構成する。なお、デジタルカメラ104は左目画像取得用の左画像用光学系104Lと右目画像取得用の右画像用光学系104Rとを備え、これら光学系により同一の被写体(本実施形態では橋梁1)を複数の視点から撮影してステレオ画像を取得できる。左画像用光学系104L及び右画像用光学系104Rは、図示せぬ撮影レンズ及び撮像素子を備える。撮像素子の例としてはCCD(Charge Coupled Device)型の撮像素子及びCMOS(Complementary Metal-Oxide Semiconductor)型の撮像素子を挙げることができる。撮像素子の受光面上にはR(赤),G(緑),またはB(青)のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。
<計測の手順>
次に、上述した構成の計測支援装置100を用いたひび割れの計測について説明する。図3は本実施形態に係る計測の手順(計測支援方法)を示すフローチャートである。なお、本実施形態ではコンクリート構造物である橋梁1の床版2に生じたひび割れを計測する場合について説明する。
次に、上述した構成の計測支援装置100を用いたひび割れの計測について説明する。図3は本実施形態に係る計測の手順(計測支援方法)を示すフローチャートである。なお、本実施形態ではコンクリート構造物である橋梁1の床版2に生じたひび割れを計測する場合について説明する。
<画像取得>
まず、上述のようにデジタルカメラ104で撮影した橋梁1のステレオ画像を、無線通信により画像入力部106に入力する(ステップS100;画像取得工程)。橋梁1の画像は検査範囲に応じて複数入力され、また入力する画像には、デジタルカメラ104により撮影日時の情報が付加されている。なお入力画像の撮影日時は必ずしも全ての画像において同一である必要はなく、複数日に亘っていてもよい。画像は複数の画像を一括して入力してもよいし、一度に1つの画像を入力するようにしてもよい。また、撮影した画像をそのまま入力するのではなく、編集及び/または合成等の画像処理を施した画像(例えば、計測範囲の一部を撮影した画像を合成して生成した、計測範囲全体を示す画像)を入力してもよい。以下の説明では、構造物を撮影して得られた画像であれば、そのような画像処理を施した画像についても「撮影画像」と記載する。なお、橋梁1の画像は無線通信でなく各種メモリカード等の非一時的記録媒体を介して入力してもよいし、既に撮影され記録されている画像のデータをネットワーク経由で入力してもよい。
まず、上述のようにデジタルカメラ104で撮影した橋梁1のステレオ画像を、無線通信により画像入力部106に入力する(ステップS100;画像取得工程)。橋梁1の画像は検査範囲に応じて複数入力され、また入力する画像には、デジタルカメラ104により撮影日時の情報が付加されている。なお入力画像の撮影日時は必ずしも全ての画像において同一である必要はなく、複数日に亘っていてもよい。画像は複数の画像を一括して入力してもよいし、一度に1つの画像を入力するようにしてもよい。また、撮影した画像をそのまま入力するのではなく、編集及び/または合成等の画像処理を施した画像(例えば、計測範囲の一部を撮影した画像を合成して生成した、計測範囲全体を示す画像)を入力してもよい。以下の説明では、構造物を撮影して得られた画像であれば、そのような画像処理を施した画像についても「撮影画像」と記載する。なお、橋梁1の画像は無線通信でなく各種メモリカード等の非一時的記録媒体を介して入力してもよいし、既に撮影され記録されている画像のデータをネットワーク経由で入力してもよい。
<測定面の距離及び向き>
次に、ステップS100で取得したステレオ画像に基づいて、ひび割れが存在する測定面の距離及び向きを算出する(ステップS110)。本実施形態ではステップS100で橋梁1のステレオ画像を入力しているので、入力したステレオ画像から各画素位置での視差を算出し、算出した視差に基づいて測定面の向きを算出することができる。なおステップS110では、デジタルカメラ104と測定面との距離を測定面の距離とし、ステップS100で取得したステレオ画像の撮影方向に対する測定面の向きを測定面の向きとすることができる。なお測定面の距離及び向きの測定はデジタルカメラ104で取得したステレオ画像を用いるのではなく、光源を備えたデジタルカメラからパルス光を照射してその反射光を受光し、受光した反射光に基づいて測定面の距離及び向きを算出する、いわゆるTOF(Time Of Flight)方式により行うようにしてもよい。
次に、ステップS100で取得したステレオ画像に基づいて、ひび割れが存在する測定面の距離及び向きを算出する(ステップS110)。本実施形態ではステップS100で橋梁1のステレオ画像を入力しているので、入力したステレオ画像から各画素位置での視差を算出し、算出した視差に基づいて測定面の向きを算出することができる。なおステップS110では、デジタルカメラ104と測定面との距離を測定面の距離とし、ステップS100で取得したステレオ画像の撮影方向に対する測定面の向きを測定面の向きとすることができる。なお測定面の距離及び向きの測定はデジタルカメラ104で取得したステレオ画像を用いるのではなく、光源を備えたデジタルカメラからパルス光を照射してその反射光を受光し、受光した反射光に基づいて測定面の距離及び向きを算出する、いわゆるTOF(Time Of Flight)方式により行うようにしてもよい。
<スケール画像の生成>
次に、画像処理部108(スケール画像生成部)はスケール画像を生成する(ステップS120;スケール画像生成工程)。スケール画像とは、ひび割れの長さを測定するための目盛りと、ひび割れの幅を測定するための線画及び数字と、のうち少なくとも一方が付されたスケール(クラックスケール)を示す画像であり、画像処理部108は、ステップS110で算出した距離及び向きに応じた種類、形状、及び大きさのスケール画像を生成する。このスケール画像は、種類、形状、及び大きさに対応して目盛り、線画、及び数字が異なる。なお画像処理部108は、このようにして生成したスケール画像を表示部112に表示する(画像表示の詳細は後述する)。
次に、画像処理部108(スケール画像生成部)はスケール画像を生成する(ステップS120;スケール画像生成工程)。スケール画像とは、ひび割れの長さを測定するための目盛りと、ひび割れの幅を測定するための線画及び数字と、のうち少なくとも一方が付されたスケール(クラックスケール)を示す画像であり、画像処理部108は、ステップS110で算出した距離及び向きに応じた種類、形状、及び大きさのスケール画像を生成する。このスケール画像は、種類、形状、及び大きさに対応して目盛り、線画、及び数字が異なる。なお画像処理部108は、このようにして生成したスケール画像を表示部112に表示する(画像表示の詳細は後述する)。
<測定面の距離とスケール画像との関係>
距離に応じたスケール画像の例を図4~7に示す。図4は測定面まで遠い場合のスケール画像CS10Aを示す図である。このようなスケール画像CS10Aを用いることで、長いひび割れを一度に測定することができる。図5,6は測定面までの距離がそれぞれ中距離、近距離の場合のスケール画像CS10B,CS10Cを示す図である。これらの図に示すスケール画像では、図4に示すスケール画像CS10Aよりも短いひび割れを測定できるように目盛り及び数字が付されている。
距離に応じたスケール画像の例を図4~7に示す。図4は測定面まで遠い場合のスケール画像CS10Aを示す図である。このようなスケール画像CS10Aを用いることで、長いひび割れを一度に測定することができる。図5,6は測定面までの距離がそれぞれ中距離、近距離の場合のスケール画像CS10B,CS10Cを示す図である。これらの図に示すスケール画像では、図4に示すスケール画像CS10Aよりも短いひび割れを測定できるように目盛り及び数字が付されている。
図7は、図6よりもさらに近距離の場合のスケール画像CS11を示す図である。同一の条件で同一のひび割れを撮影する場合、測定面までの距離が近づくにつれてひび割れが太く写り幅の測定に適した状態になるため、図7の例では、距離が一定値以下のときは幅測定用のスケール画像CS11を生成及び表示する。スケール画像CS11において、幅測定用の線画(太さの異なる直線)及び数字、線画は数値に対応した太さになっており、ひび割れに線画を合わせて、ひび割れの幅と合った線画の数値を読み取ることで幅を測定できる。
なお、図4~7はスケール画像の一例を示すものであり、本発明におけるスケール画像の態様や距離との関係はこれらの例に限定されるものではない。例えば、図7の状態に対応する距離でも長さ測定用のスケール画像を表示してもよい。また、図4~7では長さ測定用の情報(目盛り及び数字)と、幅測定用の情報(線画及び数字)とのうち一方が付されたスケール画像の例を示しているが、1つのスケール画像にこれら情報の両方を付して表示してもよい。後述する画像表示においても同様である。
<測定面の向きとスケール画像との関係>
次に、測定面の向きとスケール画像との関係について説明する。図8はデジタルカメラ104の撮影位置及び撮影方向を示す図である。なお図8において測定面E1は紙面に垂直方向であるものとする。
次に、測定面の向きとスケール画像との関係について説明する。図8はデジタルカメラ104の撮影位置及び撮影方向を示す図である。なお図8において測定面E1は紙面に垂直方向であるものとする。
図8においてデジタルカメラ104が測定面E1の正面から撮影している場合(位置P1,撮影方向D1)、測定面E1上の矩形の領域は撮影画像i1中で矩形となる。したがってこの場合は、図9のように矩形のスケール画像CS20を画像表示領域IAに表示(後述するステップS130;以下同様)すればよい。一方、デジタルカメラ104が測定面E1に対し斜め方向から撮影している場合(位置P2、撮影方向D2)、測定面E1上の矩形の領域は撮影画像中で台形状となる。この場合、図10の例のように撮影画像i3を正面から撮影した画像のように補正(射影変換)して矩形のスケール画像CS20を表示することも可能であるが、そうすると撮影範囲の一部に合焦し他の部分ではボケが目立ち見にくい画像となる(したがってひび割れの計測が困難になったり精度が低下したりする)場合がある。例えば、撮影範囲の中央部分で合焦し撮影範囲の端部F1の付近ではボケが目立つことが考えられる。
このような観点から、本実施形態では図11に示すように撮影画像i2は補正せず、測定面E1の向き(撮影画像i2の撮影方向D2に対する測定面E1の向き)に合わせて変形したスケール画像CS20Aを表示する。図11は、デジタルカメラ104が図8の位置P2において撮影方向D2を撮影している場合の例であり、図8,11の右側(手前側)から左側(奥側)に向かうにつれてデジタルカメラ104からの距離が遠くなっている。このためスケール画像CS20Aも、図11の右側において幅が広く左側に向かうにつれて幅が狭くなるように変形されている。このように本実施形態では撮影画像i2に対して補正(射影変換)を行わないため、画像処理によりボケ増加等の画像劣化が生じることがなく、撮影画像i2の画質を維持してひび割れの計測を行うことができる。
なお、図4~7に示すような距離に応じたスケール画像の切換表示と、図11に示すような距離に応じたスケール画像の変形表示とは、両方を併せて行ってよい。即ち、測定面の距離に応じてスケール画像の種類を切り替え、かつ測定面の向きに応じて変形した画像を表示してよい。
<撮影画像及びスケール画像の表示>
ステップS120で測定面の距離及び向きに応じたスケール画像を生成すると、画像処理部108は、撮影画像とスケール画像とを重ね合わせて表示部112の画像表示領域IAに表示する(ステップS130;画像表示工程)。以下、撮影画像及びスケール画像の表示について説明する。なお以下の例では、3つのひび割れCR1-1~CR1-3で構成されるひび割れCR1を表示する場合について説明する。
ステップS120で測定面の距離及び向きに応じたスケール画像を生成すると、画像処理部108は、撮影画像とスケール画像とを重ね合わせて表示部112の画像表示領域IAに表示する(ステップS130;画像表示工程)。以下、撮影画像及びスケール画像の表示について説明する。なお以下の例では、3つのひび割れCR1-1~CR1-3で構成されるひび割れCR1を表示する場合について説明する。
図12は表示部112における画像表示の例を示す図である。図12では、表示領域DA1は画像表示領域IA及びスケール情報表示領域SA1を含む。画像表示領域IAは撮影画像及びスケール画像を表示する領域であり、スケール情報表示領域SA1は画像表示領域IAに表示可能な種類のスケールを示すスケール情報を表示する領域である。図12ではスケール情報としてスケール画像(縮小画像)を表示しているが、このような縮小画像に代えて、または縮小画像に加えてスケール画像を示す文字、数字、及び記号を表示してもよい。スケール情報表示領域SA1には、スケール情報の他に、スケール画像の選択を確定するOKボタンBU1、選択をキャンセルするキャンセルボタンBU2、画像表示領域IAに表示されたスケール画像を消去する消去ボタンBU3が表示される。これらのボタンは、操作部114に備えられたマウス等の操作デバイスで操作できる。なお、スケール画像の選択及び表示は、初期状態では画像処理部108が測定面の距離及び向きに応じて自動的に行い、それをユーザ操作により変更するようにしてもよい。
図12の例では長さ測定用のスケール及び幅測定用のスケールを示すスケール画像CS1~CS4(縮小画像)がスケール情報表示領域SA1に表示されている。スケール画像CS1,CS2は長さ測定用のスケールを示し、スケール画像CS3,CS4は幅測定用のスケールを示す。スケール情報表示領域SA1に表示されるスケール画像の種類(長さ測定用か幅測定用か、及び目盛り、線画、数値等の情報)は、測定面の距離に応じて変えてよい。
<ひび割れの方向に沿った方向にスケール画像を表示する態様>
図13は撮影画像とスケール画像との重ね合わせ表示の例を示す図である。図13では、長さ測定用のスケールを示すスケール画像CS2が選択され、ひび割れCR1-2の付近に、ひび割れCR1-2の長さ方向に沿って表示した例を示している。スケール画像CS2の目盛りを読み取ってひび割れCR1-2の長さを測定することができる。なお、図13以降の例では撮影方向が測定面に正対している場合について説明する。正対していない場合は、図11の例のように測定面の向きに応じてスケール画像を変形して表示することができる。
図13は撮影画像とスケール画像との重ね合わせ表示の例を示す図である。図13では、長さ測定用のスケールを示すスケール画像CS2が選択され、ひび割れCR1-2の付近に、ひび割れCR1-2の長さ方向に沿って表示した例を示している。スケール画像CS2の目盛りを読み取ってひび割れCR1-2の長さを測定することができる。なお、図13以降の例では撮影方向が測定面に正対している場合について説明する。正対していない場合は、図11の例のように測定面の向きに応じてスケール画像を変形して表示することができる。
ひび割れは直線状に連続しているものだけでなく、曲がっているものや断続的なもの、分岐しているものもある。このような場合のスケール画像の表示について、以下例を示す。図14は、ひび割れが曲がっている場合のスケール画像の他の表示例を示す図である。図14ではひび割れCR3が大きく曲がっている(ひび割れCR3-1,CR3-2のなす角度θ1が大きい)ので、ひび割れCR3-1,CR3-2に対しそれぞれスケール画像CS2を表示している。一方図15の例ではひび割れCR4の曲がり方が小さい(ひび割れCR4-1,CR4-2のなす角度θ2が小さい)ので、1つのスケール画像CS2を表示している。なおひび割れがなす角度に閾値を設けて、なす角度が閾値以上の場合は図14のようにスケール画像を分けて表示し、閾値未満の場合は図15のように1つのスケールを表示することができる。閾値の値は特に限定されないが、例えば30°とすることができる。
図16は断続的なひび割れに対するスケール画像の表示例を示す図である。図16の例ではひび割れCR5が途中で途切れておりひび割れCR5-1及びCR5-2になっているが、これらひび割れの方向はほぼ同じなので、1つのスケール画像CS2を表示している。
図17は分岐したひび割れに対するスケール画像の表示例を示す図である。図17の例ではひび割れCR6を構成するひび割れCR6-1が分岐しておりひび割れCR6-2及びCR6-3になっているので、ひび割れの幹部分(ひび割れCR6-1,CR6-2)及び枝部分(ひび割れCR6-3)に対しそれぞれスケール画像CS2を表示している。
なお、ひび割れの長さ方向に沿った方向にスケール画像を表示する場合の態様は図13~17に示した例に限定されるものではない。また、ひび割れの長さがスケール画像で測定できる範囲内またはその範囲と同程度の長さであって、ひび割れの長さの目安が測定できる状態であれば、ひび割れの長さ方向とスケール画像の方向が完全に一致していなくても「ひび割れの長さ方向に沿った方向にスケール画像が表示されている」と判断してよい。
<ひび割れの方向と直交する方向にスケール画像を表示する態様>
図18は撮影画像とスケール画像との重ね合わせ表示の他の例を示す図である。図18では、幅測定用のスケールを示すスケール画像CS3が選択され、ひび割れCR1-1の付近に、ひび割れCR1-1の方向と直交する方向に沿って表示した例を示している。表示されたスケール画像CS3を適宜移動してひび割れの幅に合った線画の数値を読み取ることで、ひび割れCR1-1の幅を測定することができる。
図18は撮影画像とスケール画像との重ね合わせ表示の他の例を示す図である。図18では、幅測定用のスケールを示すスケール画像CS3が選択され、ひび割れCR1-1の付近に、ひび割れCR1-1の方向と直交する方向に沿って表示した例を示している。表示されたスケール画像CS3を適宜移動してひび割れの幅に合った線画の数値を読み取ることで、ひび割れCR1-1の幅を測定することができる。
上述した重ね合わせ表示において、スケール画像は複数表示してもよい。また、長さ測定用のスケール画像と幅測定用のスケール画像とを混在して表示してもよい。図19は、長さ測定用のスケール画像CS2及び幅測定用のスケール画像CS3を表示した状態を示す図である。このように、本実施形態では計測の目的やひび割れの特徴に応じて適切なスケール画像を表示して計測を行うことができる。
図13~19の例において、画像処理部108は、ひび割れの位置及び方向に応じた位置及び方向にスケール画像を重畳表示している。この際、ひび割れの位置及び方向は撮影画像からひび割れを抽出することで求められる。ひび割れの抽出は種々の手法により行うことができるが、例えば特開2006-162583号公報に記載されたひび割れ検出方法を用いることができる。この方法は、対比される2つの濃度に対応したウェーブレット係数を算定すると共に、該2つの濃度をそれぞれ変化させた場合のそれぞれのウェーブレット係数を算定してウェーブレット係数テーブルを作成し、ひび割れ検出対象であるコンクリート表面を撮影した入力画像をウェーブレット変換することによってウェーブレット画像を作成する工程と、ウェーブレット係数テーブル内において、局所領域内の近傍画素の平均濃度と注目画素の濃度に対応するウェーブレット係数を閾値として、注目画素のウェーブレット係数と該閾値とを比較することによりひび割れ領域とひび割れでない領域を判定する工程とからなるひび割れ検出方法である。
ひび割れの抽出は、上述の特開2006-162583号公報に記載された方法だけでなく、下記の非特許文献1に記載の方法を用いて行うこともできる。非特許文献1に記載の方法では、閾値未満の輝度値を有する画素で構成された領域をパーコレイションされた領域(パーコレイション領域)とし、そのパーコレイション領域の形状に応じて閾値を順次更新し、表面画像よりひび割れの検出を行っている。なお、パーコレイション法とは一般に自然界における水の浸透(パーコレイション)を模して領域を順次拡大させる方法である。
[非特許文献1]Tomoyuki Yamaguchi、「A Study on Image Processing Method for Crack Inspection of Real Concreate Surfaces」、MAJOR IN PURE AND APPLIED PHYSICS, GRADUATE SCHOOL OF SCIENCE AND ENGINEERING, WASEDA UNIVERSITY、2008年2月
<画像操作及び画像操作に基づく画像表示>
ステップS130で撮影画像及びスケール画像が表示されたら、画像処理部108はユーザによる撮影画像及び/またはスケール画像の操作が検出されたか否かを判断する(ステップS140)。ユーザによる操作が検出されたら(ステップS140でYes)、画像処理部108は検出結果に応じて撮影画像及び/またはスケール画像を操作し(ステップS150)、操作後の画像を表示する(ステップS160;画像表示工程)。以下、ステップS150の画像操作及びステップS160の画像表示について説明する。
<画像操作及び画像操作に基づく画像表示>
ステップS130で撮影画像及びスケール画像が表示されたら、画像処理部108はユーザによる撮影画像及び/またはスケール画像の操作が検出されたか否かを判断する(ステップS140)。ユーザによる操作が検出されたら(ステップS140でYes)、画像処理部108は検出結果に応じて撮影画像及び/またはスケール画像を操作し(ステップS150)、操作後の画像を表示する(ステップS160;画像表示工程)。以下、ステップS150の画像操作及びステップS160の画像表示について説明する。
<スケール画像の移動>
図20~22はスケール画像の移動操作の例を示す図である。図20~22では、表示領域DA2内のスケール情報表示領域SA2に、スケール画像CS2を操作するための移動ボタンBU4及び回転ボタンBU5が表示されている。図20のようにスケール画像CS2が表示された状態で移動ボタンBU4が選択されると、図21に示すように、操作部114のマウス等を介した操作によりスケール画像CS2が長さ方向L1、及び長さ方向L1に直交する方向L2に移動できるようになる。図22はそのようにしてスケール画像CS2をひび割れCR1-1の付近に移動した様子を示す図である。画像処理部108は移動操作の方向及び大きさに応じた位置にスケール画像CS2を表示(描画)する。これにより、ユーザは迅速かつ容易に計測を行うことができる。
図20~22はスケール画像の移動操作の例を示す図である。図20~22では、表示領域DA2内のスケール情報表示領域SA2に、スケール画像CS2を操作するための移動ボタンBU4及び回転ボタンBU5が表示されている。図20のようにスケール画像CS2が表示された状態で移動ボタンBU4が選択されると、図21に示すように、操作部114のマウス等を介した操作によりスケール画像CS2が長さ方向L1、及び長さ方向L1に直交する方向L2に移動できるようになる。図22はそのようにしてスケール画像CS2をひび割れCR1-1の付近に移動した様子を示す図である。画像処理部108は移動操作の方向及び大きさに応じた位置にスケール画像CS2を表示(描画)する。これにより、ユーザは迅速かつ容易に計測を行うことができる。
<スケール画像の回転>
図23は、スケール画像の回転操作の例を示す図である。回転ボタンBU5が選択されると、操作部114を介した操作によりスケール画像CS2が点P3を中心として矢印R1方向に回転できるようになる。図24はそのようにしてスケール画像CS2を回転した様子を示す図であり、図24の状態から図21,22と同様にスケール画像CS2をL3方向に移動してひび割れCR1-3に近づけ、長さを測定することができる。なお、スケール画像は、点P3のようなコーナー部の点ではなく中央部の点を中心として回転してもよい。例えば、図25に示すようにスケール画像CS2の中央部の点P4を回転中心として矢印R2方向に回転させてもよい。
図23は、スケール画像の回転操作の例を示す図である。回転ボタンBU5が選択されると、操作部114を介した操作によりスケール画像CS2が点P3を中心として矢印R1方向に回転できるようになる。図24はそのようにしてスケール画像CS2を回転した様子を示す図であり、図24の状態から図21,22と同様にスケール画像CS2をL3方向に移動してひび割れCR1-3に近づけ、長さを測定することができる。なお、スケール画像は、点P3のようなコーナー部の点ではなく中央部の点を中心として回転してもよい。例えば、図25に示すようにスケール画像CS2の中央部の点P4を回転中心として矢印R2方向に回転させてもよい。
<撮影画像の拡大>
図26は撮影画像の拡大操作の例を示す図である。図26では表示領域DA3内のスケール情報表示領域SA3に撮影画像操作用の拡大ボタンBU6、縮小ボタンBU7、回転ボタンBU8、移動ボタンBU9が表示されていて、拡大ボタンBU6を選択すると画像表示領域IAに表示された撮影画像を拡大することができる。図27は拡大後の撮影画像を示す図であり、図26で表示されていたひび割れCR2が拡大されてひび割れCR2Aとして表示されている。また、このような撮影画像の拡大と連動して、撮影画像の拡大前に表示されていたスケール画像CS2も拡大操作され、スケール画像CS2Aとして表示される。この際、図27に示すように、スケール画像の拡大に連動して目盛り及び数値も変更される。このような撮影画像の拡大に連動したスケール画像の拡大により、ユーザは迅速かつ容易に計測を行うことができる。
図26は撮影画像の拡大操作の例を示す図である。図26では表示領域DA3内のスケール情報表示領域SA3に撮影画像操作用の拡大ボタンBU6、縮小ボタンBU7、回転ボタンBU8、移動ボタンBU9が表示されていて、拡大ボタンBU6を選択すると画像表示領域IAに表示された撮影画像を拡大することができる。図27は拡大後の撮影画像を示す図であり、図26で表示されていたひび割れCR2が拡大されてひび割れCR2Aとして表示されている。また、このような撮影画像の拡大と連動して、撮影画像の拡大前に表示されていたスケール画像CS2も拡大操作され、スケール画像CS2Aとして表示される。この際、図27に示すように、スケール画像の拡大に連動して目盛り及び数値も変更される。このような撮影画像の拡大に連動したスケール画像の拡大により、ユーザは迅速かつ容易に計測を行うことができる。
なお、画像操作としては、上述した移動、回転、及び拡大以外に縮小等他の操作を行ってもよい。また、上述した例ではマウス等の操作デバイスによりスケール画像及び撮影画像を操作する場合について説明したが、本発明においてスケール画像及び撮影画像の操作はこのような形態に限定されるものではない。例えば、表示領域をタッチパネルで構成し、ユーザのタップ操作やピンチ操作に基づいて操作を行うようにしてもよい。
<計測結果の記録>
ユーザ操作に基づく画像操作及び画像表示が終了したら、画像処理部108及び記録部110は計測結果を記録する(ステップS170)。図28は計測結果の記録例を示す図である。図28は、表示領域DA4内に表示された情報表示領域SA4に、点P5におけるひび割れCR1-1の幅(ここでは1.4mm)を入力する例を示している。また図29は、表示領域DA5内に表示された情報表示領域SA5に、点P6,P7をそれぞれ始点、終点とするひび割れCR1-2の長さ(ここでは50mm)を入力する例を示している。これらの図に示す例において、ユーザは操作部114を介してひび割れの長さ及び/または幅を入力することができる。このようにして入力した計測結果は記録部110に記録される。
ユーザ操作に基づく画像操作及び画像表示が終了したら、画像処理部108及び記録部110は計測結果を記録する(ステップS170)。図28は計測結果の記録例を示す図である。図28は、表示領域DA4内に表示された情報表示領域SA4に、点P5におけるひび割れCR1-1の幅(ここでは1.4mm)を入力する例を示している。また図29は、表示領域DA5内に表示された情報表示領域SA5に、点P6,P7をそれぞれ始点、終点とするひび割れCR1-2の長さ(ここでは50mm)を入力する例を示している。これらの図に示す例において、ユーザは操作部114を介してひび割れの長さ及び/または幅を入力することができる。このようにして入力した計測結果は記録部110に記録される。
ステップS170で計測結果が記録されたら、画像処理部108は計測が終了したか否かを判断する(ステップS180)。この判断は、操作部114を介したユーザの指示入力により行うことができる。判断が肯定されたら(ステップS180でYes)ステップS190へ進んで計測結果を表示し、否定されたら(ステップS180でNo)ステップS140へ戻る。
<計測結果の表示>
図30はステップS190における計測結果表示の例を示す図である。図30では、ステップS170で記録した計測結果(ここではひび割れCR1-1の幅及びひび割れCR1-2の長さ)が、表示領域DA6の画像表示領域IAにおいて吹き出しBA1,BA2により表示されている。このような表示は、画像処理部108が記録部110に記録された計測結果を参照して行うことができる。なお、図28~30では図12~27に示すようなスケール画像(縮小画像)及び一部ボタンの表示は省略しているが、必要に応じ表示してもよい。
図30はステップS190における計測結果表示の例を示す図である。図30では、ステップS170で記録した計測結果(ここではひび割れCR1-1の幅及びひび割れCR1-2の長さ)が、表示領域DA6の画像表示領域IAにおいて吹き出しBA1,BA2により表示されている。このような表示は、画像処理部108が記録部110に記録された計測結果を参照して行うことができる。なお、図28~30では図12~27に示すようなスケール画像(縮小画像)及び一部ボタンの表示は省略しているが、必要に応じ表示してもよい。
以上説明したように、本実施形態の計測支援装置100及び計測支援方法によれば、ユーザは迅速かつ容易にひび割れを計測することができる。なお本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
1 橋梁
2 床版
3 主桁
3A 接合部
100 計測支援装置
102 画像取得部
104 デジタルカメラ
104L 左画像用光学系
104R 右画像用光学系
106 画像入力部
108 画像処理部
110 記録部
112 表示部
114 操作部
BA1 吹き出し
BA2 吹き出し
BU1 OKボタン
BU2 キャンセルボタン
BU3 消去ボタン
BU4 移動ボタン
BU5 回転ボタン
BU6 拡大ボタン
BU7 縮小ボタン
BU8 回転ボタン
BU9 移動ボタン
CR1 ひび割れ
CR1-1 ひび割れ
CR1-2 ひび割れ
CR1-3 ひび割れ
CR2 ひび割れ
CR2A ひび割れ
CR3 ひび割れ
CR3-1 ひび割れ
CR3-2 ひび割れ
CR4 ひび割れ
CR4-1 ひび割れ
CR4-2 ひび割れ
CR5 ひび割れ
CR5-1 ひび割れ
CR5-2 ひび割れ
CR6 ひび割れ
CR6-1 ひび割れ
CR6-2 ひび割れ
CR6-3 ひび割れ
CS1 スケール画像
CS10A スケール画像
CS10B スケール画像
CS11 スケール画像
CS2 スケール画像
CS20 スケール画像
CS20A スケール画像
CS3 スケール画像
CS4 スケール画像
D1 撮影方向
D2 撮影方向
DA1 表示領域
DA2 表示領域
DA3 表示領域
DA4 表示領域
DA5 表示領域
DA6 表示領域
E1 測定面
F1 端部
IA 画像表示領域
L1 方向
L2 方向
R1 矢印
R2 矢印
S100~S190 計測方法の各ステップ
SA1 スケール情報表示領域
SA2 スケール情報表示領域
SA3 スケール情報表示領域
SA4 情報表示領域
SA5 情報表示領域
i1 撮影画像
i2 撮影画像
i3 撮影画像
θ1 角度
θ2 角度
2 床版
3 主桁
3A 接合部
100 計測支援装置
102 画像取得部
104 デジタルカメラ
104L 左画像用光学系
104R 右画像用光学系
106 画像入力部
108 画像処理部
110 記録部
112 表示部
114 操作部
BA1 吹き出し
BA2 吹き出し
BU1 OKボタン
BU2 キャンセルボタン
BU3 消去ボタン
BU4 移動ボタン
BU5 回転ボタン
BU6 拡大ボタン
BU7 縮小ボタン
BU8 回転ボタン
BU9 移動ボタン
CR1 ひび割れ
CR1-1 ひび割れ
CR1-2 ひび割れ
CR1-3 ひび割れ
CR2 ひび割れ
CR2A ひび割れ
CR3 ひび割れ
CR3-1 ひび割れ
CR3-2 ひび割れ
CR4 ひび割れ
CR4-1 ひび割れ
CR4-2 ひび割れ
CR5 ひび割れ
CR5-1 ひび割れ
CR5-2 ひび割れ
CR6 ひび割れ
CR6-1 ひび割れ
CR6-2 ひび割れ
CR6-3 ひび割れ
CS1 スケール画像
CS10A スケール画像
CS10B スケール画像
CS11 スケール画像
CS2 スケール画像
CS20 スケール画像
CS20A スケール画像
CS3 スケール画像
CS4 スケール画像
D1 撮影方向
D2 撮影方向
DA1 表示領域
DA2 表示領域
DA3 表示領域
DA4 表示領域
DA5 表示領域
DA6 表示領域
E1 測定面
F1 端部
IA 画像表示領域
L1 方向
L2 方向
R1 矢印
R2 矢印
S100~S190 計測方法の各ステップ
SA1 スケール情報表示領域
SA2 スケール情報表示領域
SA3 スケール情報表示領域
SA4 情報表示領域
SA5 情報表示領域
i1 撮影画像
i2 撮影画像
i3 撮影画像
θ1 角度
θ2 角度
Claims (10)
- 構造物の画像を取得する画像取得部と、
前記構造物の測定面に生じたひび割れを計測するためのスケール画像であって、前記ひび割れの長さを測定するための目盛りと、前記ひび割れの幅を測定するための線画及び数字と、のうち少なくとも一方が付されたスケールを示すスケール画像を生成するスケール画像生成部と、
前記構造物の画像と前記スケール画像とを重ね合わせて表示領域に表示する画像表示部と、
を備え、
前記スケール画像生成部は前記画像取得部と前記測定面との距離、及び前記測定面の向きに応じたスケール画像を生成し、
前記画像表示部は、前記構造物の画像における前記ひび割れの位置及び方向に応じた位置及び方向に前記生成したスケール画像を重ね合わせて表示する、
計測支援装置。 - 前記スケール画像生成部は、前記距離及び前記向きに応じた種類、形状、及び大きさのスケールを示すスケール画像を生成する請求項1に記載の計測支援装置。
- 前記スケール画像が示す前記スケールは、前記種類、前記形状、及び前記大きさに対応して前記目盛り、前記線画、及び前記数字が異なる請求項2に記載の計測支援装置。
- 前記画像表示部は、前記スケール画像を前記ひび割れの方向に沿って、または前記ひび割れの方向と直交した方向に沿って表示する請求項1から3のいずれか1項に記載の計測支援装置。
- ユーザの入力に応じて前記構造物の画像及び前記スケール画像を操作する画像操作部を備える請求項1から4のいずれか1項に記載の計測支援装置。
- 前記画像操作部は、前記画像操作部による前記構造物の画像の操作に連動して前記スケール画像を操作する請求項5に記載の計測支援装置。
- 前記表示領域は、前記構造物の画像及び前記スケール画像を表示する画像表示領域と、前記画像表示領域に表示可能な種類のスケールを示すスケール情報を表示するスケール情報表示領域と、を含み、
前記画像表示部は前記スケール情報表示領域に表示された複数のスケール情報のうちから選択したスケール情報に対応するスケール画像を前記画像表示領域に表示する、請求項1から6のいずれか1項に記載の計測支援装置。 - 前記構造物の画像として前記構造物のステレオ画像を取得する光学系と、前記取得したステレオ画像に基づいて前記距離及び前記向きを算出する画像処理部と、を備える請求項1から7のいずれか1項に記載の計測支援装置。
- 前記画像処理部は前記ステレオ画像から前記ひび割れの前記位置及び前記方向を検出し、前記画像表示部は前記検出した前記位置及び前記方向に基づいて前記スケール画像を表示する請求項8に記載の計測支援装置。
- 画像取得装置により構造物の画像を取得する画像取得工程と、
前記構造物の測定面に生じたひび割れを計測するためのスケール画像であって、前記ひび割れの長さを測定するための目盛りと、前記ひび割れの幅を測定するための線画及び数字と、のうち少なくとも一方が付されたスケールを示すスケール画像を生成するスケール画像生成工程と、
前記構造物の画像と前記スケール画像とを重ね合わせて表示領域に表示する画像表示工程と、
を備え、
前記スケール画像生成工程では前記画像取得装置と前記測定面との距離、及び前記測定面の向きに応じたスケール画像を生成し、
前記画像表示工程では、前記構造物の画像において、前記ひび割れの位置及び方向に応じた位置及び方向に前記生成したスケール画像を重ね合わせて表示する、
計測支援方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017561115A JP6550150B2 (ja) | 2016-01-15 | 2017-01-10 | 計測支援装置及び計測支援方法 |
US16/015,693 US10740892B2 (en) | 2016-01-15 | 2018-06-22 | Measurement support apparatus and measurement support method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-005941 | 2016-01-15 | ||
JP2016005941 | 2016-01-15 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/015,693 Continuation US10740892B2 (en) | 2016-01-15 | 2018-06-22 | Measurement support apparatus and measurement support method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017122641A1 true WO2017122641A1 (ja) | 2017-07-20 |
Family
ID=59311343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/000501 WO2017122641A1 (ja) | 2016-01-15 | 2017-01-10 | 計測支援装置及び計測支援方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10740892B2 (ja) |
JP (1) | JP6550150B2 (ja) |
WO (1) | WO2017122641A1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108596869A (zh) * | 2018-01-08 | 2018-09-28 | 东北大学 | 一种隧道衬砌裂缝快速检测方法 |
WO2019198534A1 (ja) * | 2018-04-10 | 2019-10-17 | シャープ株式会社 | 振動解析装置、振動解析装置の制御方法、振動解析プログラムおよび記録媒体 |
JP2020003272A (ja) * | 2018-06-26 | 2020-01-09 | 株式会社ソーシャル・キャピタル・デザイン | クラック計測システム |
CN110673123A (zh) * | 2019-10-24 | 2020-01-10 | 北京地平线机器人技术研发有限公司 | 一种目标对象的测距方法及装置 |
CN110672074A (zh) * | 2019-10-24 | 2020-01-10 | 北京地平线机器人技术研发有限公司 | 一种测量目标对象距离的方法及装置 |
US20200300779A1 (en) * | 2017-12-25 | 2020-09-24 | Fujitsu Limited | Computer-readable recording medium recording image processing program, image processing method, and image processing apparatus |
JP2021018505A (ja) * | 2019-07-18 | 2021-02-15 | 株式会社デンソー | ひび割れ幅計測装置 |
KR102259666B1 (ko) * | 2020-08-24 | 2021-06-02 | 에이아이안전연구원 주식회사 | 탈부착 가능한 점착식 크랙 스케일 |
US11200440B2 (en) | 2018-04-26 | 2021-12-14 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7048357B2 (ja) * | 2018-03-06 | 2022-04-05 | 東芝インフラシステムズ株式会社 | 撮影画像事前確認システム及び撮影画像事前確認方法 |
CN110533713A (zh) * | 2019-07-10 | 2019-12-03 | 湖南交工智能技术有限公司 | 桥梁裂缝宽度高精度测量方法及测量装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02259513A (ja) * | 1989-03-31 | 1990-10-22 | Tokyo Electric Power Co Inc:The | コンクリートのひび割れ計測システム |
JP2002156212A (ja) * | 2000-11-21 | 2002-05-31 | Olympus Optical Co Ltd | 目盛表示装置及びその方法 |
JP2002344963A (ja) * | 2001-05-18 | 2002-11-29 | Sumitomo Forestry Co Ltd | 撮影情報付加装置 |
JP2009085785A (ja) * | 2007-09-28 | 2009-04-23 | Sanyo Electric Co Ltd | クラック幅計測システム、操作装置、クラック幅計測方法、及びクラック幅計測プログラム |
JP2010112875A (ja) * | 2008-11-07 | 2010-05-20 | Sharp Corp | 投影装置、投影装置制御方法、及び投影装置制御プログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NL8403193A (nl) * | 1984-10-19 | 1986-05-16 | Ambridge Ltd | Inrichting voor het projekteren van dia's met kaartinformatie op meerdere schalen. |
JP2003214827A (ja) | 2002-01-29 | 2003-07-30 | Ohbayashi Corp | 画像処理によるひび割れの計測方法 |
JP2005062041A (ja) * | 2003-08-15 | 2005-03-10 | Junichi Izumo | 健全度評価方法、評価プログラム、及び評価装置 |
JP4006007B2 (ja) | 2004-11-10 | 2007-11-14 | 大成建設株式会社 | ひび割れ検出方法 |
US8922647B2 (en) * | 2011-08-03 | 2014-12-30 | The Boeing Company | Projection aided feature measurement using uncalibrated camera |
KR101608869B1 (ko) * | 2012-09-07 | 2016-04-04 | 삼성전자주식회사 | 대상체의 분할 영상 또는 의료 영상에 가상 자를 표시하는 방법 및 의료 영상 획득 장치, 및 가상 자가 표시된 분할 영상 또는 의료 영상을 디스플레이하는 방법 및 장치 |
TW201418662A (zh) * | 2012-11-15 | 2014-05-16 | Nat Applied Res Laboratories | 遠距離量測裂縫之方法及其裝置 |
US10706580B2 (en) * | 2015-12-09 | 2020-07-07 | Hajime Kasahara | Position-information specifying method, position-information specifying device, and position-information specifying program |
EP3450910B1 (en) * | 2016-04-27 | 2023-11-22 | FUJIFILM Corporation | Index generation method, measurement method, and index generation device |
GB2550117A (en) * | 2016-05-04 | 2017-11-15 | E M & I (Maritime) Ltd | Inspection method |
US20180357779A1 (en) * | 2016-11-21 | 2018-12-13 | Google Inc. | Systems and methods for dynamically providing scale information on a digital map |
JP2018105754A (ja) * | 2016-12-27 | 2018-07-05 | 富士通株式会社 | 距離算出プログラム、流量測定プログラム、方法および装置 |
US11048345B2 (en) * | 2016-12-27 | 2021-06-29 | Wacom Co., Ltd. | Image processing device and image processing method |
JP7330710B2 (ja) * | 2018-04-26 | 2023-08-22 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2017
- 2017-01-10 JP JP2017561115A patent/JP6550150B2/ja active Active
- 2017-01-10 WO PCT/JP2017/000501 patent/WO2017122641A1/ja active Application Filing
-
2018
- 2018-06-22 US US16/015,693 patent/US10740892B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02259513A (ja) * | 1989-03-31 | 1990-10-22 | Tokyo Electric Power Co Inc:The | コンクリートのひび割れ計測システム |
JP2002156212A (ja) * | 2000-11-21 | 2002-05-31 | Olympus Optical Co Ltd | 目盛表示装置及びその方法 |
JP2002344963A (ja) * | 2001-05-18 | 2002-11-29 | Sumitomo Forestry Co Ltd | 撮影情報付加装置 |
JP2009085785A (ja) * | 2007-09-28 | 2009-04-23 | Sanyo Electric Co Ltd | クラック幅計測システム、操作装置、クラック幅計測方法、及びクラック幅計測プログラム |
JP2010112875A (ja) * | 2008-11-07 | 2010-05-20 | Sharp Corp | 投影装置、投影装置制御方法、及び投影装置制御プログラム |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200300779A1 (en) * | 2017-12-25 | 2020-09-24 | Fujitsu Limited | Computer-readable recording medium recording image processing program, image processing method, and image processing apparatus |
US11474047B2 (en) * | 2017-12-25 | 2022-10-18 | Fujitsu Limited | Computer-readable recording medium recording image processing program, image processing method, and image processing apparatus |
CN108596869A (zh) * | 2018-01-08 | 2018-09-28 | 东北大学 | 一种隧道衬砌裂缝快速检测方法 |
CN108596869B (zh) * | 2018-01-08 | 2020-06-16 | 东北大学 | 一种隧道衬砌裂缝快速检测方法 |
WO2019198534A1 (ja) * | 2018-04-10 | 2019-10-17 | シャープ株式会社 | 振動解析装置、振動解析装置の制御方法、振動解析プログラムおよび記録媒体 |
JPWO2019198534A1 (ja) * | 2018-04-10 | 2021-04-08 | シャープ株式会社 | 振動解析装置、振動解析装置の制御方法、振動解析プログラムおよび記録媒体 |
US11200440B2 (en) | 2018-04-26 | 2021-12-14 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
JP2020003272A (ja) * | 2018-06-26 | 2020-01-09 | 株式会社ソーシャル・キャピタル・デザイン | クラック計測システム |
JP7199687B2 (ja) | 2018-06-26 | 2023-01-06 | 株式会社ソーシャル・キャピタル・デザイン | クラック計測システム |
JP7151652B2 (ja) | 2019-07-18 | 2022-10-12 | 株式会社デンソー | ひび割れ幅計測装置 |
JP2021018505A (ja) * | 2019-07-18 | 2021-02-15 | 株式会社デンソー | ひび割れ幅計測装置 |
CN110673123A (zh) * | 2019-10-24 | 2020-01-10 | 北京地平线机器人技术研发有限公司 | 一种目标对象的测距方法及装置 |
CN110672074A (zh) * | 2019-10-24 | 2020-01-10 | 北京地平线机器人技术研发有限公司 | 一种测量目标对象距离的方法及装置 |
KR102259666B1 (ko) * | 2020-08-24 | 2021-06-02 | 에이아이안전연구원 주식회사 | 탈부착 가능한 점착식 크랙 스케일 |
Also Published As
Publication number | Publication date |
---|---|
US20180300867A1 (en) | 2018-10-18 |
JP6550150B2 (ja) | 2019-07-24 |
US10740892B2 (en) | 2020-08-11 |
JPWO2017122641A1 (ja) | 2018-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017122641A1 (ja) | 計測支援装置及び計測支援方法 | |
JP6412474B2 (ja) | クラック幅計測システム | |
JP4863922B2 (ja) | 運転支援システム並びに車両 | |
WO2018008370A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6504274B2 (ja) | 三次元形状データおよびテクスチャ情報生成システム、撮影制御プログラム、及び三次元形状データおよびテクスチャ情報生成方法並びに情報記録媒体 | |
WO2011040239A1 (ja) | 広角撮像装置及び測定システム | |
JP2011066788A (ja) | 投写型表示装置、キーストン補正方法 | |
TWI521471B (zh) | 3 - dimensional distance measuring device and method thereof | |
JP2013228267A (ja) | 表示装置、表示方法、及びプログラム | |
JP2009042162A (ja) | キャリブレーション装置及びその方法 | |
CN110519498B (zh) | 一种双光相机成像校准的方法、装置和双光相机 | |
WO2017158718A1 (ja) | 遠隔作業支援装置、指示用端末及び現場用端末 | |
JP2017036974A (ja) | 画像処理装置、校正方法および校正プログラム | |
KR102186597B1 (ko) | 타겟 크기 측정 시스템 및 그 방법 | |
JP2013217662A (ja) | 測長装置、測長方法、プログラム | |
JP2009110275A (ja) | 表示入力装置及びその視差補正方法 | |
JP6097063B2 (ja) | 高さ測定装置及び高さ測定方法 | |
JP7058585B2 (ja) | 画像処理装置およびその制御方法 | |
JP2004302756A (ja) | Cad施工図検図方法及びその装置 | |
JP7334460B2 (ja) | 作業支援装置及び作業支援方法 | |
CN102778199B (zh) | 工业相机九点校正坐标变换方法 | |
JP2022089879A (ja) | 画像処理装置およびその制御方法 | |
JP2005150902A (ja) | 撮影システム及び撮影制御情報決定方法 | |
JP2008017303A (ja) | 画像表示装置 | |
JP2009258846A (ja) | 画像処理方法、画像処理システム、画像処理装置及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17738395 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017561115 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17738395 Country of ref document: EP Kind code of ref document: A1 |