WO2017119202A1 - 構造物の部材特定装置及び方法 - Google Patents

構造物の部材特定装置及び方法 Download PDF

Info

Publication number
WO2017119202A1
WO2017119202A1 PCT/JP2016/084643 JP2016084643W WO2017119202A1 WO 2017119202 A1 WO2017119202 A1 WO 2017119202A1 JP 2016084643 W JP2016084643 W JP 2016084643W WO 2017119202 A1 WO2017119202 A1 WO 2017119202A1
Authority
WO
WIPO (PCT)
Prior art keywords
spatial information
identification information
unit
plane
inspection
Prior art date
Application number
PCT/JP2016/084643
Other languages
English (en)
French (fr)
Inventor
浩明 菊池
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2017560047A priority Critical patent/JP6560366B2/ja
Publication of WO2017119202A1 publication Critical patent/WO2017119202A1/ja
Priority to US16/014,065 priority patent/US10748269B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01D—CONSTRUCTION OF BRIDGES, ELEVATED ROADWAYS OR VIADUCTS; ASSEMBLY OF BRIDGES
    • E01D19/00—Structural or constructional details of bridges
    • E01D19/10—Railings; Protectors against smoke or gases, e.g. of locomotives; Maintenance travellers; Fastening of pipes or cables to bridges
    • E01D19/106—Movable inspection or maintenance platforms, e.g. travelling scaffolding or vehicles specially designed to provide access to the undersides of bridges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0075—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by means of external apparatus, e.g. test benches or portable test systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0091—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by using electromagnetic excitation or detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Definitions

  • the present invention relates to an apparatus and method for identifying a member of a structure, and more particularly to a technique for identifying a member constituting a structure such as a bridge.
  • the field of view of a live-action image is identified by the camera position and shooting direction, the identified field of view is associated with the 3D map space, and the structure displayed in either the live-action image or the map image is specified. Then, an information display device that highlights a structure corresponding to the designated structure among the structures displayed on the other side (superimposed display of names and the like) has been proposed (Patent Document 1). ).
  • Patent Document 2 A bar arrangement inspection support system that specifies a member arrangement diagram from a storage unit has been proposed (Patent Document 2).
  • Patent Document 1 does not acquire identification information for specifying a member constituting a structure included in an image obtained by photographing the structure, and is a structure in a visual field imaged by a camera. 3D spatial information in the camera coordinate system is not acquired.
  • Patent Document 2 is a method in which a two-dimensional code representing a member code of a structural member is attached to a board on which a structural member that has been constructed and information related to the construction are written, and the board is copied to a field photograph. Is presupposed, and a field photograph is associated with information stored in the storage unit via a two-dimensional code. Therefore, it is necessary to prepare a board to which a two-dimensional code representing a member code of a structural member is attached when taking a field photograph, and to copy this board to the field photograph, which is complicated.
  • the present invention has been made in view of such circumstances, and can easily and accurately obtain member identification information indicating a member included in an image of a structure photographed by an imaging device at the time of inspection of the structure, It is an object of the present invention to provide an apparatus and method for identifying a member of a structure that can improve the efficiency of creating an inspection record.
  • a structural member specifying device includes an imaging device that captures an image of a structure composed of a plurality of members, and a structure corresponding to an imaging range of the imaging device.
  • First spatial information a first spatial information acquisition unit that acquires first spatial information of a structure in the local coordinate system based on the imaging device, and the spatial information of the local coordinate system in the global coordinate system
  • a conversion unit that converts the first spatial information indicating the member included in the first spatial information of the acquired structure into the second spatial information of the global coordinate system based on the conversion information converted into the spatial information;
  • Affection 3rd spatial information corresponding to 2nd spatial information is specified based on the 3rd spatial information registered in the member table, and member identification information registered in association with the identified 3rd spatial information
  • a member identification information a first spatial information acquisition unit
  • the first spatial information of the structure corresponding to the imaging range by the imaging device the first spatial information of the structure in the local coordinate system with the imaging device as a reference. get.
  • This first spatial information includes at least the first spatial information of the member to be inspected.
  • the acquired first spatial information of the local coordinate system is converted into second spatial information of the global coordinate system based on the conversion information.
  • the member table spatial information (third spatial information) of each member constituting the structure in the global coordinate system and member identification information indicating each member are registered in advance.
  • the drawing plane range space range in the global coordinate system in which the member exists
  • the drawing A plane range and a drawing plane showing at least one surface of each member can be used
  • member identification information includes a member name (including a symbol corresponding to the member name) and an element A combination of numbers can be used.
  • the second spatial information is compared with the third spatial information of each member of the member table, the third spatial information corresponding to the second spatial information is specified, and associated with the specified third spatial information.
  • the registered member identification information is acquired from the member table.
  • the conversion information is preferably information indicating a shooting position and a shooting direction when shooting the structure. If information indicating the shooting position and shooting direction at the time of shooting the structure is obtained, the first spatial information of the structure in the local coordinate system based on the imaging device can be specified, and the specified first Spatial information can be converted into spatial information (second spatial information) in the global coordinate system.
  • the member identification information acquisition unit corresponds to the second spatial information indicating the member in the first member region in the global coordinate system where the member exists. Based on the second member region for each member in which each member registered in the member table exists, the second member region that is closest to the first member region is extracted, and the extracted second member region is It is preferable to identify the corresponding third spatial information.
  • a member that detects a planar region from the first spatial information or the second spatial information and assumes the detected planar region as a region indicating one member is spatial information indicating a planar area assumed to be a member by the member specific part.
  • the member identification information acquisition unit is registered in the member table based on the first plane equation that identifies the plane of the plane area assumed to be a member.
  • a second plane equation that most closely approximates the first plane equation is extracted from the second plane equations indicating the plane of the member, and third spatial information having a plane corresponding to the extracted second plane equation is obtained. It is preferable to specify.
  • an output unit that outputs the member identification information acquired by the member identification information acquisition unit.
  • An output part includes what outputs member identification information to a recording part, and outputs it to a display part.
  • the structural member specifying device it is preferable to include a recording unit that records the image captured by the imaging device in association with the member identification information acquired by the member identification information acquisition unit.
  • the recording unit further records at least one of the type of damage and the rank of damage input by the input unit in association with an image captured by the imaging device.
  • the member identification device for a structure it is preferable to include a display unit that displays an image photographed by the imaging device and member identification information acquired by the member identification information acquisition unit.
  • an image captured by the imaging device includes one inspection member having damage and one or more non-inspection members having no damage, and a display unit
  • a selection instructing unit that instructs selection of member identification information corresponding to the inspection member from the plurality of member identification information is provided. It is preferable to acquire the member identification information instructed to be selected as the member identification information of the inspection member.
  • the photographed image includes the inspection member and the non-inspection member, the inspector can visually recognize the inspection member. Therefore, when a plurality of member identification information is displayed on the display unit, the inspector can instruct selection of member identification information corresponding to the inspection member from the plurality of member identification information.
  • the structural member identification device includes an image processing unit that identifies an inspection member having damage based on an image photographed by the imaging device, and the member identification information acquisition unit includes: The member identification information corresponding to the inspection member specified by the image processing unit is preferably acquired as the member identification information of the inspection member. Even in the case where one inspection member having damage and one or more non-inspection members having no damage are included in an image captured by the imaging apparatus, the inspection member can be automatically specified.
  • the member identification device for a structure there is a display unit that displays an image photographed by the imaging device, one inspection member that is damaged in the image photographed by the imaging device, and damage.
  • 1st spatial information designation designated which designates the 1st spatial information which shows the damage position of an inspection member or an inspection member when one or more non-inspection members which are not included are included and a plurality of members are displayed on the display unit
  • the member identification information acquisition unit preferably uses the first spatial information designated by the first spatial information designation unit for obtaining the member identification information of the inspection member.
  • the first spatial information acquisition unit includes a twin-lens camera having a function as an imaging device, and includes two images captured by the twin-lens camera. It is preferable to calculate the three-dimensional coordinates of the structure from the parallax image and obtain the calculated three-dimensional coordinates as the first spatial information of the structure.
  • the first spatial information acquisition unit includes a time-of-flight camera having a function as an imaging device. It is preferable to acquire the three-dimensional coordinates of the structure photographed by the camera as the first spatial information of the structure.
  • the structure includes a laser scanner having a function as an imaging device, and the three-dimensional coordinates of the structural object acquired by the laser scanner are used as the first spatial information of the structural object. It is preferable to acquire as.
  • the first spatial information acquisition unit calculates the three-dimensional coordinates calculated by the motion stereo method based on the time-series images captured by moving the imaging device. Is preferably acquired as the first spatial information.
  • the invention includes an imaging device that photographs a structure composed of a plurality of members, third spatial information of each member constituting the structure in the global coordinate system, and member identification information indicating each member Is a member specifying method of a structure used in an inspection system including a member table registered in association with the first spatial information of the structure corresponding to the imaging range by the imaging device, Obtaining the first spatial information of the structure in the local coordinate system based on the imaging device, and the acquired structure based on the conversion information for converting the spatial information of the local coordinate system into the spatial information of the global coordinate system Converting the first spatial information indicating the member included in the first spatial information to the second spatial information of the global coordinate system, and the second indicating the member converted to the global coordinate system Based on the spatial information and the third spatial information registered in the member table, the third spatial information corresponding to the second spatial information is specified, and the member identification registered in association with the specified third spatial information Acquiring information from a member table, and specifying a member included in an image photographed by the imaging device
  • the step of acquiring the member identification information from the member table is a first in the global coordinate system in which the member exists based on the second spatial information indicating the member.
  • Calculating the member region of the first member region, and the second member region for each member in which each member registered in the member table is present based on the calculated first member region is the closest to the first member region
  • the method includes a step of extracting the second member region and a step of specifying the third spatial information corresponding to the extracted second member region.
  • a step of detecting a planar area from the first spatial information or the second spatial information and assuming the detected planar area as an area indicating one member a step of detecting a planar area from the first spatial information or the second spatial information and assuming the detected planar area as an area indicating one member.
  • the first spatial information indicating a member or the second spatial information indicating a member is spatial information indicating a planar region assumed to be a member.
  • the step of acquiring the member identification information from the member table specifies the plane of the planar region assumed to be a member based on the second spatial information indicating the member. Calculating the first plane equation to be performed, and the second plane equation indicating the plane of each member registered in the member table based on the calculated first plane equation is most approximate to the first plane equation
  • the method includes a step of extracting the second plane equation to be identified, and a step of identifying third spatial information having a plane corresponding to the extracted second plane equation.
  • photographed with the imaging device at the time of inspection of a structure can be acquired simply and correctly, and this makes the preparation of inspection records efficient. Can be achieved.
  • FIG. 1 is an external view of a bridge as seen from the lower surface side.
  • FIG. 2 is a perspective view showing an appearance of a robot apparatus including a twin-lens camera.
  • FIG. 3 is a cross-sectional view of a main part of the robot apparatus shown in FIG.
  • FIG. 4 is an external perspective view of the twin-lens camera and the pan / tilt mechanism.
  • FIG. 5 is a block diagram showing an embodiment of an inspection system including a member specifying device for a structure according to the present invention.
  • FIG. 6 is a main block diagram of the terminal control unit shown in FIG.
  • FIG. 7 is a functional block diagram showing a configuration example of the first spatial information acquisition unit shown in FIG. FIG.
  • FIG. 8 is a diagram illustrating an image within a photographing range of a structure photographed by a twin-lens camera.
  • FIG. 9 is a diagram showing the relationship between the measurement plane of the camera coordinate system and the measurement plane range of the bridge coordinate system captured by the binocular camera.
  • FIG. 10 is a diagram showing the member number of the main girder of the bridge and the drawing plane range of the bridge coordinate system.
  • FIG. 11 is a diagram showing the element number of the main girder of the bridge and the drawing plane range of the bridge coordinate system.
  • FIG. 12 is a diagram showing the member number of the cross beam of the bridge and the drawing plane range of the bridge coordinate system.
  • FIG. 13 is a diagram showing the element numbers of the cross beams of the bridge and the drawing plane range of the bridge coordinate system.
  • FIG. 14 is a diagram showing the element number of the lower frame of the bridge and the drawing plane range of the bridge coordinate system.
  • FIG. 15 is a diagram showing the element number of the upper horizontal structure of the bridge and the drawing plane range of the bridge coordinate system.
  • FIG. 16 is a diagram showing a case where the correlation between the measurement plane and the drawing plane is high.
  • FIG. 17 is a diagram showing a case where the correlation between the measurement plane and the drawing plane is low.
  • FIG. 18 is a diagram showing another embodiment for acquiring member identification information of a member from a measurement plane and a drawing plane.
  • FIG. 19 is a flowchart showing an embodiment of a structural member specifying method according to the present invention.
  • FIG. 20 is a diagram showing an operation screen for selecting a corresponding element number from a member element number list.
  • FIG. 1 is a perspective view showing a structure of a bridge that is one of structures to be inspected, and is a perspective view of the bridge as viewed from below.
  • the bridge 1 shown in FIG. 1 has a main girder 2, a cross girder 3, a counter-tilt 4 and a horizontal 5 which are connected by bolts, rivets or welding. Further, a floor slab 6 for driving a vehicle or the like is placed on the upper part of the main beam 2 or the like.
  • the floor slab 6 is generally made of reinforced concrete.
  • the main girder 2 is a member that is passed between the abutment or the pier and supports the load of the vehicle on the floor slab 6.
  • the cross beam 3 is a member that connects the main beams 2 in order to support the load by the plurality of main beams 2.
  • the anti-tilting structure 4 and the horizontal structure 5 are members that connect the main girders 2 to each other in order to resist lateral loads of wind and earthquake, respectively.
  • FIG. 2 is a perspective view showing an appearance of a robot apparatus including a twin-lens camera which is an embodiment of the imaging apparatus, and shows a state where the robot apparatus is installed between the main beams 2 of the bridge 1.
  • FIG. 3 is a cross-sectional view of a main part of the robot apparatus shown in FIG.
  • the robot apparatus 100 includes an imaging apparatus 200, controls the position (imaging position) of the imaging apparatus 200 in the three-dimensional space, controls the imaging direction of the imaging apparatus 200, and bridges the bridge.
  • An arbitrary inspection member or the like of the bridge 1 composed of a plurality of members at the time of the inspection of 1 is photographed.
  • the robot apparatus 100 includes a main frame 102, a vertical extension arm 104, a casing 106 in which a drive unit and various control units for the vertical extension arm 104 are disposed, and a casing 106.
  • the X direction drive unit 108 moves in the longitudinal direction of the frame 102 (direction orthogonal to the longitudinal direction of the main beam 2) (X direction), and the longitudinal direction of the main beam 2 (Y direction).
  • Y-direction drive unit 110 (FIG. 5) that moves in the vertical direction
  • Z-direction drive unit 112 (FIG. 5) that expands and contracts the vertical extension arm 104 in the vertical direction (Z-direction).
  • the X-direction drive unit 108 includes a ball screw 108A disposed in the longitudinal direction (X direction) of the main frame 102, a ball nut 108B disposed in the housing 106, and a motor 108C that rotates the ball screw 108A.
  • the casing 106 is moved in the X direction by rotating the ball screw 108A forward or backward by the motor 108C.
  • the Y-direction drive unit 110 includes tires 110A and 110B disposed at both ends of the main frame 102, and motors (not shown) disposed in the tires 110A and 110B. By driving the motor, the entire robot apparatus 100 is moved in the Y direction.
  • the robot apparatus 100 is installed in such a manner that the tires 110A and 110B at both ends of the main frame 102 are placed on the lower flanges of the two main girders 2 and sandwich the main girders 2 therebetween. Thereby, the robot apparatus 100 can be suspended (suspended) along the main girder 2 by being suspended from the lower flange of the main girder 2.
  • the main frame 102 is configured such that its length can be adjusted according to the interval between the main girders 2.
  • the vertical extension arm 104 is disposed in the housing 106 of the robot apparatus 100 and moves in the X direction and the Y direction together with the housing 106. Further, the vertical extension arm 104 is expanded and contracted in the Z direction by a Z direction driving unit 112 (FIG. 5) provided in the housing 106.
  • a camera installation unit 104A is provided at the tip of the vertical extension arm 104, and a binocular camera 202 that can be rotated in the pan direction and the tilt direction by the pan / tilt mechanism 120 is provided in the camera installation unit 104A. is set up.
  • the twin-lens camera 202 includes a first imaging unit 202A and a second imaging unit 202B that shoot two parallax images (stereoscopic images) having different parallaxes, and has a structure corresponding to a shooting range by the twin-lens camera 202.
  • a first spatial information acquisition unit that acquires first spatial information of an object (bridge 1) and acquires first spatial information of the bridge 1 in a local coordinate system (camera coordinate system) based on the binocular camera 202
  • at least one of the two images to be photographed is acquired as an “inspection image” attached to the inspection record.
  • the binocular camera 202 is rotated around a pan axis P coaxial with the vertical extension arm 104 by a pan / tilt mechanism 120 to which a driving force is applied from a pan / tilt driving unit 206 (FIG. 5), or a horizontal tilt axis T is set. Rotate to center. As a result, the twin-lens camera 202 can shoot in any posture (shoot in any shooting direction).
  • the optical axis L 1 of the first imaging unit 202A of the dual camera 202 of the present embodiment are parallel, respectively.
  • the pan axis P is orthogonal to the tilt axis T.
  • the baseline length of the binocular camera 202 that is, the installation interval between the first imaging unit 202A and the second imaging unit 202B is known.
  • the intersection point of the pan axis P and the tilt axis T is the origin Or, the direction of the tilt axis T is the x-axis direction, the direction of the pan axis P is the z-axis direction, A direction orthogonal to the x-axis and the y-axis is defined as a y-axis direction.
  • the position of the binocular camera 202 (the position of the origin Or of the camera coordinate system) and the position in the global coordinate system (bridge coordinate system) (hereinafter referred to as “photographing position”) is a global positioning system (GPS: Global Positioning). System) (hereinafter referred to as “GPS device”), or detection based on the amount of movement of the robot device 100 in the X and Y directions relative to the origin of the bridge coordinate system and the amount of movement of the vertical extension arm 104 in the Z direction. it can.
  • the shooting direction by the binocular camera 202 can be detected by the pan angle ⁇ and the tilt angle ⁇ of the pan / tilt mechanism, or can be detected by an azimuth sensor (not shown) mounted on the binocular camera 202.
  • FIG. 5 is a block diagram showing an embodiment of an inspection system including a member specifying device for a structure according to the present invention.
  • the inspection system 10 includes a robot control unit (moving body control unit) 130, an X direction driving unit 108, a Y direction driving unit 110, and a Z direction driving unit 112 on the robot apparatus 100 side, and an imaging apparatus 200 side.
  • the binocular camera 202, the imaging control unit 204, the pan / tilt control unit 210, the pan / tilt driving unit 206, the robot side communication unit 230, and the terminal device 300 are configured.
  • the robot-side communication unit 230 performs two-way wireless communication with the terminal-side communication unit 310, and controls the pan / tilt mechanism 120 that controls the movement of the robot device 100 transmitted from the terminal-side communication unit 310.
  • Various commands such as a pan / tilt command and a shooting command for controlling the binocular camera 202 are received, and the received commands are output to the corresponding control units. Details of the terminal device 300 will be described later.
  • the robot control unit 130 controls the X direction driving unit 108, the Y direction driving unit 110, and the Z direction driving unit 112 based on the movement command input from the robot side communication unit 230, and the X direction and Y direction of the robot apparatus 100.
  • the vertical extension arm 104 is expanded and contracted in the Z direction (see FIG. 2).
  • the pan / tilt control unit 210 operates the pan / tilt mechanism 120 in the pan direction and the tilt direction via the pan / tilt driving unit 206 based on the pan / tilt command input from the robot side communication unit 230 to pan / tilt the binocular camera 202 in a desired direction. (See FIG. 4).
  • the imaging control unit 204 causes the first imaging unit 202A and the second imaging unit 202B of the binocular camera 202 to capture a live view image or an inspection image based on an imaging command input from the robot side communication unit 230. .
  • the terminal device 300 is operated by an inspector who operates the inspection system 10, and mainly includes a terminal-side communication unit 310, a terminal control unit 320, an input unit 330 that functions as an operation unit, a member table 332, and a display unit. 340 and the recording unit 350, for example, a tablet terminal can be applied.
  • the terminal-side communication unit 310 performs two-way wireless communication with the robot-side communication unit 230, and various types of information input by the robot-side communication unit 230 (by the first imaging unit 202A and the second imaging unit 202B). captured live view image, the image data representing the first image I L and the second image I R, as well as receiving information) indicating a photographing position and photographing direction of a double-lens camera 202, through the terminal control section 320 Various commands corresponding to the operation at the input unit 330 to be input are transmitted to the robot side communication unit 230.
  • the terminal control unit 320 outputs image data indicating the live view image received via the terminal side communication unit 310 to the display unit 340, and displays the live view image on the screen of the display unit 340.
  • the input unit 330 includes a robot operation input unit, a pan / tilt operation input unit, and a shooting operation input unit.
  • the robot operation input unit moves the robot apparatus 100 (two-lens camera 202) in the X direction, the Y direction, and the Z direction.
  • the pan / tilt operation input unit outputs a pan / tilt command for rotating the pan / tilt mechanism 120 (two-lens camera 202) in the pan direction and the tilt direction, and the photographing operation input unit outputs an inspection image by the two-lens camera 202.
  • a shooting command for instructing shooting is output.
  • the inspector manually operates the input unit 330 while viewing the live view image displayed on the display unit 340, and the input unit 330 performs the X direction, the Y direction, and the Z direction of the binocular camera 202 according to the operation by the inspector.
  • Various commands such as a movement command, a pan / tilt command, and a shooting command are output to the terminal control unit 320.
  • the terminal control unit 320 transmits various commands input from the input unit 330 to the robot side communication unit 230 via the terminal side communication unit 310.
  • the terminal control unit 320 has a function of acquiring member identification information for specifying each member constituting the structure (bridge 1) included in the inspection image based on the information registered in the member table 332.
  • FIG. 6 is a principal block diagram of the terminal control unit 320 shown in FIG. 5, and particularly shows a part for acquiring member identification information for specifying a member to be inspected included in the inspection image.
  • the terminal control unit 320 mainly includes a first spatial information acquisition unit 322, a conversion unit 324, a member identification information acquisition unit 326, and an image processing unit 328.
  • the first spatial information acquisition unit 322 is first spatial information of a structure corresponding to a shooting range by the imaging device 200, and acquires first spatial information of the structure in the camera coordinate system. calculating three-dimensional coordinates of the structure on the basis of the image data representing the first image I L and the second image I R having a parallax taken by twin-lens camera 202 in this example, the three-dimensional coordinates calculated Obtained as first spatial information of the structure.
  • FIG. 7 is a functional block diagram showing a configuration example of the first spatial information acquisition unit 322 shown in FIG.
  • the first spatial information acquisition unit 322 includes a corresponding point detection unit 322A, a distance calculation unit 322B, a three-dimensional coordinate calculation unit 322C, a member specification unit 322D, and a plane calculation unit 322E.
  • Corresponding point detecting unit 322A includes a plurality of feature points in the first image I L (e.g., partial large contrast such as edges in an image) to identify the second corresponding to a plurality of feature points identified detecting the corresponding point in the image I R.
  • feature points in the first image I L e.g., partial large contrast such as edges in an image
  • the distance calculation unit 322B performs the binocular camera 202 for each feature point based on the shift amount (parallax amount) between the pair of feature points and the corresponding points detected by the corresponding point detection unit 322A, the baseline length of the binocular camera 202, and the like. The shooting distance from the (camera coordinate system origin Or) is calculated.
  • the three-dimensional coordinate calculation unit 322C calculates 3 of the plurality of feature points in the camera coordinate system (orthogonal coordinate system) based on the shooting distance of each feature point calculated by the distance calculation unit 322B and the direction corresponding to the position within the shooting range. Dimensional coordinates are calculated. That is, the three-dimensional coordinates of the feature point are polar coordinates based on the shooting distance (radial radius) of the feature point calculated by the distance calculation unit 322B and the direction (deflection angle) corresponding to the position within the shooting range of the binocular camera 202.
  • the three-dimensional coordinate calculation unit 322C converts the three-dimensional coordinates of a plurality of feature points represented by polar coordinates into three-dimensional coordinates in the camera coordinate system (orthogonal coordinate system).
  • the member specifying unit 322D detects a planar region from the first spatial information acquired by the first spatial information acquisition unit 322, and assumes that the detected planar region is a region indicating one member.
  • the plane area is detected based on the three-dimensional coordinates of the plurality of feature points calculated by the three-dimensional coordinate calculation unit 322C, and the plurality of feature points is classified for each plane area (member).
  • FIG. 8 is a diagram showing an image within the photographing range of the structure photographed by the two-lens camera 202.
  • the four areas A, B, C, and D shown in FIG. 8 are planar areas of each member that constitutes the bridge 1. Note that one member may include two or more plane regions.
  • a plurality of feature points are classified into feature points having highly correlated three-dimensional coordinates based on the three-dimensional coordinates of the plurality of feature points. Since the coordinate values of the three-dimensional coordinates of the feature points on the same plane change linearly, a plurality of feature points can be classified for each plane.
  • the first image I L that has been captured by the first imaging unit 202A of the dual camera 202 and image analysis
  • the boundaries of each member The line is extracted, and the area defined by the extracted boundary line is set as the measurement plane of the member.
  • the plurality of feature points are classified for each measurement plane according to which region the plurality of feature points belong to.
  • the method for classifying a plurality of feature points for each measurement plane is not limited to the above example, and various methods can be considered.
  • the plane calculation unit 322E calculates the measurement plane based on the three-dimensional coordinates of the plurality of feature points calculated by the three-dimensional coordinate calculation unit 322C and classified for each measurement plane. To do.
  • calculation of the measurement plane means obtaining a plane equation represented by the following equation.
  • x r, y r and z r represents a 3-axis orthogonal direction variables of the camera coordinate system, showing the coefficients of a r, b r, c r , and d r respectively plane equation.
  • the measurement plane is determined by three points that are not on the same straight line, more than two feature points are required to obtain the plane equation. The more the number of feature points, the higher the accuracy (reliability) of the plane equation. Can be sought.
  • the plane calculating unit 322E obtains a plane equation of each of the areas A to D.
  • the area A is an area within the photographing range and is defined by being in contact with (intersecting) the areas B, C, and D. Therefore, the plane calculation unit 322E specifies the plane equation corresponding to the area A and the range of the area A when specifying the measurement plane corresponding to the area A.
  • the range of the region A means a range (hereinafter referred to as “measurement plane range”) that can be taken by x r , y r , and z r of the plane equation as shown in the following equation.
  • the plane calculation unit 322E also specifies the measurement plane corresponding to each of the regions B, C, and D by the plane equation and the measurement plane range of the measurement plane of each region.
  • First spatial information obtaining unit 322 in this manner, based on the image data representing the first image I L and the second image I R having a parallax taken by dual camera 202, dual camera 202
  • the three-dimensional coordinates (plane equation and measurement plane range) of the measurement plane of each member within the imaging range are acquired as first spatial information of each member of the structure.
  • the first spatial information of each member of the structure in the camera coordinate system acquired by the first spatial information acquisition unit 322 is output to the conversion unit 324.
  • FIG. 9 is a diagram illustrating the relationship between the measurement plane of the camera coordinate system (x r , y r , z r ) captured by the binocular camera 202 and the measurement plane range of the bridge coordinate system (x, y, z). is there.
  • the z direction is a direction orthogonal to the paper surface.
  • the other input of the conversion unit 324 includes information indicating the position (shooting position) of the origin Or of the camera coordinate system in the bridge coordinate system, and information indicating the shooting direction (pan angle ⁇ and tilt angle ⁇ ) of the binocular camera 202.
  • the conversion unit 324 converts the first spatial information of each member of the structure in the camera coordinate system based on the information (conversion information) indicating the shooting position and the shooting direction into the structure coordinate in the bridge coordinate system. Coordinates are converted into spatial information (second spatial information) of each member. That is, the conversion unit 324 rotates the first spatial information based on the information indicating the shooting direction, and translates the rotated first spatial information based on the information on the shooting position, thereby moving the camera coordinates. The first spatial information of the system is converted into the second spatial information of the bridge coordinate system.
  • Equation 3 and [Equation 4] shown below show a plane equation and a measurement plane range indicating a measurement plane with respect to “a certain region” converted into the bridge coordinate system.
  • the second spatial information whose coordinates are converted by the conversion unit 324 is output to the member identification information acquisition unit 326.
  • the member specifying unit 322D detects a plane area based on the three-dimensional coordinates (first spatial information) of the camera coordinate system of a plurality of feature points
  • the plane calculation unit 322E detects
  • the first plane equation and the measurement plane range of the measurement plane are calculated based on the three-dimensional coordinates (first spatial information) of the camera coordinate system of the plurality of feature points in the plane area
  • the plane area is detected based on the three-dimensional coordinates (second spatial information) of the plurality of feature points after being converted into the bridge coordinate system, and the plane calculation unit 322E detects the plurality of feature points in the detected plane area.
  • the first plane equation and measurement plane range of the measurement plane may be calculated based on the three-dimensional coordinates (second spatial information) of the bridge coordinate system.
  • the member identification information acquisition unit 326 receives the second spatial information (information indicating the measurement plane range and the measurement plane range in the bridge coordinate system) input from the conversion unit 324 and the information stored in the member table 332. Based on the member table 332, member identification information that uniquely identifies a member included in an image captured by the binocular camera 202 is acquired.
  • the member table 332 spatial information (third spatial information) of each member constituting the bridge in the bridge coordinate system and member identification information indicating each member are registered in association with each other.
  • the third spatial information of each member for example, a drawing plane range of each member that can be acquired from a CAD (Computer Aided Design) drawing of a structure (bridge), or a drawing plane range and at least one surface of each member
  • the drawing plane shown for example, the drawing plane represented by the plane equation
  • the member identification information includes a member name (including a symbol corresponding to the member name), a member number, and an element number. Things can be used.
  • FIG. 10 is a diagram showing the member number of the main girder of the bridge and the drawing plane range of the bridge coordinate system.
  • the member numbers of the main beam (Mg) are represented by Mg01, Mg02, Mg03, Mg04, and Mg05. That is, it can be seen that this bridge has five main girders (Mg) represented by Mg01 to Mg05.
  • the members constituting the bridge 1 include a main girder 2, a horizontal girder 3, an inclined frame 4, a horizontal frame 5, a floor slab 6, and the like.
  • Member symbol corresponding to the member name (main girder (Mg: Main girder), horizontal girder (Cr: Cross beam), counter tilt (Cf: Cross frame), horizontal composition (Lu: Upper lateral), bottom horizontal (Ll: LowerLowlateral), floor slab (Ds: DeckDslab), etc.).
  • FIG. 11 is a diagram showing the element number of the main girder of the bridge and the drawing plane range of the bridge coordinate system.
  • the element number represented by a four-digit number is the number of the minimum evaluation unit of each part or member to be inspected and evaluated.
  • the upper 2 digits of the 4-digit number of the element number indicate the arrangement (row) in the longitudinal direction of the bridge, and the lower 2 digits indicate the arrangement (column) in the direction orthogonal to the longitudinal direction of the bridge.
  • the member to be inspected can be uniquely specified by the combination of the member symbol indicating the type of the member and the element number, and the combination of the member symbol and the element number corresponds to the member identification information.
  • FIG. 12 is a diagram showing the member number of the bridge cross beam (Cr) and the drawing plane range of the bridge coordinate system
  • FIG. 13 shows the element number of the bridge cross beam (Cr) and the bridge coordinate system. It is a figure which shows a drawing plane range.
  • FIG. 14 is a diagram showing the element number of the lower frame (Ll) of the bridge and the drawing plane range of the bridge coordinate system
  • FIG. 15 is the element number of the upper frame (Lu) of the bridge and the bridge coordinate system. It is a figure which shows these drawing plane ranges.
  • the member identification information acquisition unit 326 stores the second spatial information (the plane equation indicating the measurement plane in the bridge coordinate system and the information indicating the measurement plane range) input from the conversion unit 324 and the member table 332.
  • Stored information (planar equation indicating the drawing plane corresponding to the element number of each member and information indicating the drawing plane range, and member identification information registered in association with these information (in this example, member symbol + element Member identification information for identifying a member included in the image captured by the twin-lens camera 202 is acquired from the member table 332.
  • the member identification information acquisition unit 326 reads the plane equation indicating the drawing planes P1 and P2 and the drawing plane ranges A1 and A2 corresponding to the element number of “a member” registered in the member table 332.
  • Plane equations showing the drawing planes P1 and P2 and drawing plane ranges A1 and A2 are shown in the following equations.
  • the member identification information acquisition part 326 compares the plane equation which shows the measurement plane shown in [Equation 3] with the plane equation which shows the drawing plane of "a certain member" shown in [Equation 5], Find the degree of coincidence of the plane equations.
  • the member identification information acquisition unit 326 calculates the correlation (inner product) between the measurement plane and the drawing plane by the following equation.
  • the member identification information acquisition part 326 narrows down a target member as the same plane, when the calculated correlation is 0.8 or more, for example.
  • FIG. 16 is a diagram showing a case where the correlation between the measurement plane and the drawing plane is high
  • FIG. 17 is a diagram showing a case where the correlation between the measurement plane and the drawing plane is low.
  • the target member can be further narrowed down.
  • the correlation between the measurement plane and the drawing plane of “a certain member” is obtained, but the correlation between the measurement plane and the drawing normal of all the members registered in the member table is obtained, and the highest correlation is obtained.
  • Drawing plane from the second plane equation indicating the drawing plane of each member registered in the member table 332, the second plane equation that most closely approximates the first plane equation that specifies the measurement plane is extracted and extracted.
  • the target member can be narrowed down by obtaining the drawing plane corresponding to the second plane equation.
  • the member identification information acquisition unit 326 shows the measurement plane range shown in [Expression 4], the [Expression 6], and the like in order to specify the position in the member narrowed down as described above. Compare with drawing plane area.
  • the measurement plane range shown in the equation 4 is a member region (first member region) in the bridge coordinate system where the inspection member exists, and the drawing plane range is each registered in the member table 332. It is a member area
  • the member identification information acquisition part 326 extracts the member in which a measurement plane range is settled in drawing plane range from the members narrowed down by plane equation, The member identification information (element number) registered in association with the extracted member is extracted. get.
  • the terminal control unit 320 shown in FIG. 5 functions as an output unit that outputs the member identification information acquired by the member identification information acquisition unit 326 to the display unit 340 and the recording unit 350 (FIG. 5).
  • the terminal control unit 320 one of the image data representing the first image I L and the second image I R input via the terminal side communication section 310, a display unit as the image data indicating the inspection image 340 and the recording unit 350.
  • the display unit 340 displays the inspection image and the member identification information of the member to be inspected in the inspection image in association with each other based on the input member identification information and the image data indicating the inspection image.
  • the recording unit 350 records the input member identification information and the image data indicating the inspection image in association with each other on the recording medium.
  • the recording unit 350 preferably records member identification information in the header portion of the image file in which the image data is recorded.
  • the measurement plane range shown in FIG. 4 is compared with the drawing plane range of each member registered in the member table 332 (see the equation [6]), and the measurement plane range is obtained.
  • a corresponding member is identified by extracting a drawing plane range that is closest to the range, and member identification information (element number) registered in association with the identified member is acquired.
  • member identification information (member type +) of a measurement target member that can be photographed from the position (shooting position) of the binocular camera 202 mounted on the robot apparatus 100. Element number) is registered in the member table 332 in association with the gap of the bridge 1 where the twin-lens camera 202 is located.
  • FIG. 18 shows the spaces C 13 , C 14 , C 23, and C 24 of the bridge 1, and when the binocular camera 202 is located in the space C 24 , the image is taken from here.
  • Possible members (member type and element number) are as follows.
  • one member is identified by comparing the plane equation indicating the measurement plane and the plane equation indicating the drawing plane of the member narrowed down as described above, and the member identification information (elements) registered in association with the identified member Number).
  • one member is identified by comparing the measurement plane range with the drawing plane range of the members narrowed down as described above, and member identification information (element number) registered in association with the identified member is acquired.
  • FIG. 19 is a flowchart showing an embodiment of a structural member specifying method according to the present invention.
  • step S10 a member table in which spatial information (third spatial information) in the bridge coordinate system of each member constituting the bridge and member identification information (member type + element number) indicating each member are registered in association with each other. Is prepared (step S10).
  • the inspector remotely operates the robot apparatus 100 using the terminal device 300 and causes the binocular camera 202 mounted on the robot apparatus 100 to photograph the inspection member of the bridge (step S12).
  • First spatial information obtaining unit 322 of the terminal control section 320 includes a first type the first image I L and the second image I R having different parallaxes taken by dual camera 202, enter a first spatial information of a bridge corresponding to the imaging range of the twin-lens camera 202 based on the first image I L and the second image I R, to obtain the first spatial information bridges in the camera coordinate system (Step S14).
  • the conversion unit 324 of the terminal control unit 320 obtains the first spatial information of the bridge in the acquired camera coordinate system based on the change information such as the imaging position and the imaging direction of the binocular camera 202, and the second information in the bridge coordinate system. Conversion into spatial information (step S16).
  • the member identification information acquisition unit 326 of the terminal control unit 320 uses the second space information based on the second space information indicating the inspection member converted into the bridge coordinate system and the third space information registered in the member table 332. Third spatial information corresponding to the information is identified (step S18), and member identification information registered in association with the identified third spatial information is acquired from the member table 332 (step S20).
  • Recording unit 350 for inputting member identification information and captured images from the terminal control unit 320 (one of the images of the first image I L and the second image I R), the image (inspection taken with a member identification information Image).
  • the member identification information (member type and element number) of the inspection member shown in the inspection photo is recorded in association with the inspection image (inspection photo) in this way, the member identification information of the inspection member is easily and accurately obtained. It is possible to improve the efficiency of preparing the inspection record.
  • FIG. 20 is a diagram showing an operation screen for selecting a corresponding element number from a member element number list, and is an example of a display screen of the display unit 340.
  • the inspection image photographed by the imaging device 200 and the member identification information (element number) of the member of the bridge in the inspection image acquired based on the inspection image are displayed.
  • the inspection image includes the planar areas (four areas A to D) of each member constituting the bridge 1, and is specified based on the spatial information (first spatial information) of these areas A to D.
  • the three element numbers are displayed.
  • the inspection image includes one inspection member having damage and one or more non-inspection members having no damage.
  • the inspector uses the input unit 330 that functions as a selection instruction unit when candidates for a plurality of member identification information (three element numbers of Mg0204, L1020, and Cr0204 in this example) are displayed on the display unit 340.
  • An operation is performed to instruct selection of member identification information corresponding to the inspection member from among a plurality of member identification information candidates using a mouse cursor or the like.
  • the member identification information acquisition unit 326 shown in FIG. 6 specifies the member identification information from the candidate member identification information of the inspection member according to the instruction for selecting the member identification information input from the input unit 330, and this is specified for the inspection member. Acquired as member identification information.
  • the inspector uses the input unit 330 to input at least one of the type of damage and the rank of damage of the inspection member using the display screen of the display unit 340 shown in FIG. Can do.
  • Types of damage to inspection members are, for example, cracks, cracks, corrosion, loosening, dropouts, dropouts, and breaks, etc.
  • the damage rank is, for example, damage that requires emergency response, damage that requires detailed investigation, or maintenance. This rank indicates damage that requires construction work and damage that requires repair.
  • At least one piece of information on the inspection member damage type and damage rank input by the input unit 330 is recorded in the recording unit 350 in association with the photographed image (inspection image).
  • the inspector does not select the member identification information corresponding to the inspection member, but instead of the input functioning as the first spatial information specifying unit
  • the spatial information (first spatial information) indicating the inspection member or the damage position of the inspection member is designated. It may be.
  • the member identification information acquisition unit 326 corresponds to the designated inspection member from among a plurality of member identification information candidates displayed on the display unit 340 using the designated first spatial information.
  • the member identification information is specified, and this is acquired as the member identification information for the inspection member.
  • the first spatial information indicating the inspection member or the damaged position of the inspection member by manually operating the input unit 330 The inspection member having damage may be automatically specified.
  • the image processing unit 328 illustrated in FIG. 6 is damaged based on an image captured by the imaging device 200 (in this example, the first image I L captured by the first imaging unit 202A of the binocular camera 202). Is detected by image processing, the inspection member having the detected damage is specified, and the spatial information of the specified inspection member is output to the member identification information acquisition unit 326.
  • the member identification information acquisition unit 326 When the member identification information acquisition unit 326 inputs second spatial information (a plane equation indicating a plurality of measurement planes, a plurality of measurement plane ranges) of the plurality of members, the space of the inspection member specified by the image processing unit 328 is input. Based on the information, second spatial information of one member (inspection member) is specified, and member identification information corresponding to the specified second spatial information (inspection member) is acquired.
  • second spatial information a plane equation indicating a plurality of measurement planes, a plurality of measurement plane ranges
  • a two-lens camera 202 is used as the imaging apparatus 200, and three-dimensional coordinates (camera coordinate system) of a plurality of feature points of a structure (bridge) corresponding to the photographing range of the two-lens camera 202, inspection members, and the like.
  • the present invention is not limited to the case where a twin-lens camera is used as an imaging device, but is a time-of-flight camera (hereinafter referred to as a “TOF (Time Of Flight) camera”. That is, a laser scanner or a monocular imaging device is moved to apply a motion stereo imaging method that acquires continuous images.
  • TOF Time Of Flight
  • a TOF camera is a camera that calculates the distance to a subject by irradiating the subject with light (near-infrared pulsed light) and measuring the time until the reflected light is received by a sensor (image sensor). Images and normal images can be taken.
  • the distance image is a two-dimensional distribution image of distance information to the subject (structure) obtained by the TOF camera, and each pixel of the distance image has distance information. Therefore, the three-dimensional coordinates of the structure photographed by the TOF camera can be acquired as the first spatial information of the structure.
  • the laser scanner can scan a near-infrared laser beam in the horizontal and vertical directions to acquire a distance image. Red (R), green (G), blue ( B) What can also acquire an image is preferable.
  • the motion stereo method is a method for estimating a distance by obtaining an optical flow based on time-series images taken while moving a monocular imaging device.
  • the imaging device is mounted and the bridge is photographed by the robot device.
  • the present invention is not limited to this, and the inspector carries the imaging device to a target photographing position and photographs the imaging device toward the inspection member.
  • the bridge may be photographed by an unmanned airplane (drone) equipped with an imaging device.
  • it is necessary to acquire information on the position of the imaging device (shooting position) and the shooting direction at the time of shooting using a GPS device, an orientation sensor, and other methods.
  • the image captured by the imaging device, the distance image, the information indicating the imaging position and the imaging direction acquired by the imaging device are not limited to being acquired from the imaging device by wireless communication, but may be captured from the imaging device by wire or imaging. You may make it acquire via the recording medium of an apparatus.
  • Imaging device 202 Binocular camera 202 A First imaging unit 202 B Second imaging unit 204 Shooting Control unit 206 ... Pan / tilt drive unit 210 ... Pan / tilt control unit 230 ... Robot side communication unit 300 ... Terminal device 310 ... Terminal side communication unit 320 ... Terminal control unit 32 ... first spatial information acquisition unit, 322A ... corresponding point detection unit, 322B ... distance calculation unit, 322C ... three-dimensional coordinate calculation unit, 322D ... member identification unit, 322E ... plane calculation unit, 324 ... conversion unit, 326 ... member Identification information acquisition unit, 328 ... image processing unit, 330 ... input unit, 332 ... member table, 332D ... member specifying unit, 340 ...
  • display unit 350 ... recording unit, A ... area, A1 ... drawing plane range, A2 ... drawing Plane range, B ... area, I L ... first image, I R ... second image, L1 ... optical axis, L2 ... optical axis, Or ... origin, P ... pan axis, P1 ... drawing plane, P2 ... drawing Plane, T ... tilt axis, ⁇ ... pan angle, ⁇ ... tilt angle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Operations Research (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Civil Engineering (AREA)
  • Architecture (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、構造物の点検時に撮像装置により撮影された構造物の画像に含まれる部材を示す部材識別情報を簡単かつ正確に取得することができる構造物の部材特定装置及び方法を提供する。構造物の部材特定装置は、撮像装置（２００）により撮影されたローカル座標系の構造物の第１の空間情報を取得し、取得した第１の空間情報をグローバル座標系の第２の空間情報に変換する。一方、グローバル座標系における構造物を構成する各部材の第３の空間情報と各部材を示す部材識別情報とが関連付けて登録された部材テーブル（３３２）を準備し、変換された第２の空間情報と部材テーブル（３３２）に登録された第３の空間情報とに基づいて第２の空間情報に対応する第３の空間情報を特定し、特定した第３の空間情報に対応する部材識別情報を取得する。

Description

構造物の部材特定装置及び方法
　本発明は構造物の部材特定装置及び方法に係り、特に橋梁等の構造物を構成する部材を特定する技術に関する。
　橋梁等の社会インフラ構造物は、定期的に点検を行う必要がある。構造物の点検時には、点検時に構造物を撮影した画像（写真）とともに、「点検した部材」及び「部材の中の要素番号（位置）」を点検調書に記載する必要がある。しかしながら、橋梁のように類似部材が多い場合には、点検した部材の特定が難しいという課題があった。
　従来、カメラの位置、撮影方向により実写画像の視野空間を特定し、特定した視野空間と三次元地図空間とを対応づけ、実写画像及び地図画像のいずれか一方に表示されている構造物が指定されると、他方に表示されている構造物の内で、指定された構造物に対応する構造物を強調表示（名称等の重畳表示）を行う情報表示装置が提案されている（特許文献１）。
　また、部材識別情報、部材記号及び部材配筋図等が対応づけられて記録されている記憶部を有し、現場写真に含まれる部材識別情報に基づいて、現場写真に含まれる構造部材に係る部材配筋図を記憶部より特定する配筋検査支援システムが提案されている（特許文献２）。
特開２００７－１２７４３７号公報 特開２０１４－２０１４３号公報
　特許文献１に記載の発明は、構造物を撮影した画像内に含まれる構造物を構成する部材を特定する識別情報を取得するものではなく、また、カメラで撮影される視野空間内の構造物のカメラ座標系での３次元空間情報を取得していない。
　また、特許文献２に記載の発明は、施工された構造部材及び施工に係る情報が記載されたボードに構造部材の部材符号を表す２次元コードを貼付し、このボードを現場写真に写し込むことが前提になっており、２次元コードを介して現場写真と記憶部に記憶されている情報とを対応づけている。従って、現場写真を撮影する際に、構造部材の部材符号を表す２次元コードが貼付されたボードを準備し、このボードを現場写真に写し込む必要があり、煩雑であるという問題がある。
　本発明はこのような事情に鑑みてなされたもので、構造物の点検時に撮像装置により撮影された構造物の画像に含まれる部材を示す部材識別情報を簡単かつ正確に取得することができ、点検調書の作成の効率化等を図ることができる構造物の部材特定装置及び方法を提供することを目的とする。
　上記目的を達成するために本発明の一の態様に係る構造物の部材特定装置は、複数の部材から構成された構造物を撮影する撮像装置と、撮像装置による撮影範囲に対応する構造物の第１の空間情報であって、撮像装置を基準にしたローカル座標系における構造物の第１の空間情報を取得する第１の空間情報取得部と、ローカル座標系の空間情報をグローバル座標系の空間情報に変換する変換情報に基づいて、取得した構造物の第１の空間情報に含まれる部材を示す第１の空間情報を、グローバル座標系の第２の空間情報に変換する変換部と、グローバル座標系における構造物を構成する各部材の第３の空間情報と各部材を示す部材識別情報とが関連付けて登録された部材テーブルと、グローバル座標系に変換された部材を示す第２の空間情報と部材テーブルに登録された第３の空間情報とに基づいて第２の空間情報に対応する第３の空間情報を特定し、特定した第３の空間情報に関連付けて登録された部材識別情報を部材テーブルから取得する部材識別情報取得部と、を備え、部材識別情報取得部により取得した部材識別情報により撮像装置により撮影された画像に含まれる部材を特定する。
　本発明の一の態様によれば、まず撮像装置による撮影範囲に対応する構造物の第１の空間情報であって、撮像装置を基準にしたローカル座標系における構造物の第１の空間情報を取得する。この第１の空間情報には、少なくとも点検対象の部材の第１の空間情報が含まれる。取得したローカル座標系の第１の空間情報は、変換情報に基づいてグローバル座標系の第２の空間情報に変換される。
　一方、部材テーブルには、事前にグローバル座標系における構造物を構成する各部材の空間情報（第３の空間情報）と各部材を示す部材識別情報とが関連付けて登録されている。各部材の第３の空間情報としては、例えば、構造物のＣＡＤ（Computer Aided Design）図面から取得することができる各部材の図面平面範囲（部材が存在するグローバル座標系における空間範囲）、又は図面平面範囲と各部材の少なくとも一面を示す図面平面（平面方程式等により特定される平面）等を使用することができ、部材識別情報としては、部材名称（部材名称に対応する記号を含む）と要素番号とを組み合わせたものを使用することができる。
　そして、第２の空間情報と部材テーブルの各部材の第３の空間情報とを比較し、第２の空間情報に対応する第３の空間情報を特定し、特定した第３の空間情報に関連付けて登録された部材識別情報を部材テーブルから取得する。これにより、構造物の点検時に撮像装置により撮影された構造物の画像に含まれる部材を示す部材識別情報を簡単かつ正確に取得することができ、これにより点検調書の作成の効率化を図ることができる。
　本発明の他の態様に係る構造物の部材特定装置において、変換情報は、構造物の撮影時の撮影位置及び撮影方向を示す情報であることが好ましい。構造物の撮影時の撮影位置及び撮影方向を示す情報が得られれば、撮像装置を基準にしたローカル座標系における構造物の第１の空間情報を特定することができ、特定された第１の空間情報をグローバル座標系における空間情報（第２の空間情報）に変換することができる。
　本発明の更に他の態様に係る構造物の部材特定装置において、部材識別情報取得部は、部材を示す第２の空間情報に対応する、部材が存在するグローバル座標系における第１の部材領域に基づいて部材テーブルに登録された各部材が存在する部材毎の第２の部材領域のうちから第１の部材領域に最も近似する第２の部材領域を抽出し、抽出した第２の部材領域に対応する第３の空間情報を特定することが好ましい。
　本発明の更に他の態様に係る構造物の部材特定装置において、第１の空間情報又は第２の空間情報から平面領域を検出し、検出した平面領域を一つの部材を示す領域と仮定する部材特定部を備え、部材を示す第１の空間情報又は部材を示す第２の空間情報は、部材特定部により部材と仮定した平面領域を示す空間情報である。
　本発明の更に他の態様に係る構造物の部材特定装置において、部材識別情報取得部は、部材と仮定した平面領域の平面を特定する第１の平面方程式に基づいて部材テーブルに登録された各部材の平面を示す第２の平面方程式のうちから第１の平面方程式に最も近似する第２の平面方程式を抽出し、抽出した第２の平面方程式に対応する平面を有する第３の空間情報を特定することが好ましい。
　本発明の更に他の態様に係る構造物の部材特定装置において、部材識別情報取得部により取得した部材識別情報を出力する出力部を備えることが好ましい。出力部は、部材識別情報を記録部に出力し、表示部に出力するものを含む。
　本発明の更に他の態様に係る構造物の部材特定装置において、撮像装置により撮影された画像と部材識別情報取得部により取得した部材識別情報とを関連付けて記録する記録部を備えることが好ましい。
　本発明の更に他の態様に係る構造物の部材特定装置において、画像に含まれる部材であって、部材識別情報により特定された部材の損傷の種類及び損傷のランクのうちの少なくとも一つを入力する入力部を備え、記録部は、撮像装置により撮影された画像と関連付けて入力部により入力された損傷の種類及び損傷のランクのうちの少なくとも一つを更に記録することが好ましい。
　本発明の更に他の態様に係る構造物の部材特定装置において、撮像装置により撮影された画像と部材識別情報取得部により取得した部材識別情報とを表示する表示部を備えることが好ましい。
　本発明の更に他の態様に係る構造物の部材特定装置において、撮像装置により撮影された画像に損傷を有する１つの点検部材と損傷を有しない１以上の非点検部材とが含まれ、表示部に複数の部材識別情報が表示されている場合に、複数の部材識別情報から点検部材に対応する部材識別情報の選択を指示する選択指示部を備え、部材識別情報取得部は、選択指示部により選択が指示された部材識別情報を、点検部材の部材識別情報として取得することが好ましい。撮影された画像に点検部材及び非点検部材が含まれている場合、点検者は点検部材を視認することができる。従って、点検者は、表示部に複数の部材識別情報が表示されている場合、複数の部材識別情報から点検部材に対応する部材識別情報の選択を指示することができる。
　本発明の更に他の態様に係る構造物の部材特定装置において、撮像装置により撮影された画像に基づいて損傷を有する点検部材を画像処理により特定する画像処理部を備え、部材識別情報取得部は、画像処理部により特定された点検部材に対応する部材識別情報を、点検部材の部材識別情報として取得することが好ましい。撮像装置により撮影された画像に損傷を有する１つの点検部材と損傷を有しない１以上の非点検部材とが含まれている場合でも、点検部材を自動的に特定することができる。
　本発明の更に他の態様に係る構造物の部材特定装置において、撮像装置により撮影された画像を表示する表示部と、撮像装置により撮影された画像に損傷を有する１つの点検部材と損傷を有しない１以上の非点検部材とが含まれ、表示部に複数の部材が表示されている場合に、点検部材又は点検部材の損傷位置を示す第１の空間情報を指定する第１の空間情報指定部と、を備え、部材識別情報取得部は、第１の空間情報指定部により指定された第１の空間情報を点検部材の部材識別情報の取得に使用することが好ましい。
　本発明の更に他の態様に係る構造物の部材特定装置において、第１の空間情報取得部は、撮像装置としての機能を備えた二眼カメラを含み、二眼カメラにより撮影された２枚の視差画像から構造物の３次元座標を算出し、算出した３次元座標を構造物の第１の空間情報として取得することが好ましい。
　本発明の更に他の態様に係る構造物の部材特定装置において、第１の空間情報取得部は、撮像装置としての機能を備えたタイム・オブ・フライト式カメラを含み、タイム・オブ・フライト式カメラにより撮影された構造物の３次元座標を構造物の第１の空間情報として取得することが好ましい。
　本発明の更に他の態様に係る構造物の部材特定装置において、撮像装置としての機能を備えたレーザースキャナを含み、レーザースキャナが取得した構造物の３次元座標を構造物の第１の空間情報として取得することが好ましい。
　本発明の更に他の態様に係る構造物の部材特定装置において、第１の空間情報取得部は、撮像装置を移動させて撮影した時系列の画像に基づいてモーションステレオ方式により算出した３次元座標を第１の空間情報として取得することが好ましい。
　更に他の態様に係る発明は、複数の部材から構成された構造物を撮影する撮像装置と、グローバル座標系における構造物を構成する各部材の第３の空間情報と各部材を示す部材識別情報とが関連付けて登録された部材テーブルと、を備えた点検システムに使用される構造物の部材特定方法であって、撮像装置による撮影範囲に対応する構造物の第１の空間情報であって、撮像装置を基準にしたローカル座標系における構造物の第１の空間情報を取得するステップと、ローカル座標系の空間情報をグローバル座標系の空間情報に変換する変換情報に基づいて、取得した構造物の第１の空間情報に含まれる部材を示す第１の空間情報を、グローバル座標系の第２の空間情報に変換するステップと、グローバル座標系に変換された部材を示す第２の空間情報と部材テーブルに登録された第３の空間情報とに基づいて第２の空間情報に対応する第３の空間情報を特定し、特定した第３の空間情報に関連付けて登録された部材識別情報を部材テーブルから取得するステップと、を含み、取得した部材識別情報により撮像装置により撮影された画像に含まれる部材を特定する。
　本発明の更に他の態様に係る構造物の部材特定方法において、部材識別情報を部材テーブルから取得するステップは、部材を示す第２の空間情報に基づいて部材が存在するグローバル座標系における第１の部材領域を算出するステップと、算出した第１の部材領域に基づいて部材テーブルに登録された各部材が存在する部材毎の第２の部材領域のうちから第１の部材領域に最も近似する第２の部材領域を抽出するステップと、抽出した第２の部材領域に対応する第３の空間情報を特定するステップと、を含むことが好ましい。
　本発明の更に他の態様に係る構造物の部材特定方法において、第１の空間情報又は第２の空間情報から平面領域を検出し、検出した平面領域を一つの部材を示す領域と仮定するステップを含み、部材を示す第１の空間情報又は部材を示す第２の空間情報は、部材と仮定した平面領域を示す空間情報である。
　本発明の更に他の態様に係る構造物の部材特定方法において、部材識別情報を部材テーブルから取得するステップは、部材を示す第２の空間情報に基づいて部材と仮定した平面領域の平面を特定する第１の平面方程式を算出するステップと、算出した第１の平面方程式に基づいて部材テーブルに登録された各部材の平面を示す第２の平面方程式のうちから第１の平面方程式に最も近似する第２の平面方程式を抽出するステップと、抽出した第２の平面方程式に対応する平面を有する第３の空間情報を特定するステップと、を含むことが好ましい。
　本発明によれば、構造物の点検時に撮像装置により撮影された構造物の画像に含まれる部材を示す部材識別情報を簡単かつ正確に取得することができ、これにより点検調書の作成の効率化を図ることができる。
図１は下面側から見た橋梁の外観図である。 図２は二眼カメラを含むロボット装置の外観を示す斜視図である。 図３は図２に示したロボット装置の要部断面図である。 図４は二眼カメラ及びパンチルト機構の外観斜視図である。 図５は本発明に係る構造物の部材特定装置を含む点検システムの実施形態を示すブロック図である。 図６は図５に示した端末制御部の要部ブロック図である。 図７は図６に示した第１の空間情報取得部の構成例を示す機能ブロック図である。 図８は二眼カメラにより撮影された構造物の撮影範囲内の画像を示す図である。 図９は二眼カメラにより撮影されたカメラ座標系の計測平面と橋梁座標系の計測平面範囲との関係を示す図である。 図１０は橋梁の主桁の部材番号と橋梁座標系の図面平面範囲とを示す図である。 図１１は橋梁の主桁の要素番号と橋梁座標系の図面平面範囲とを示す図である。 図１２は橋梁の横桁の部材番号と橋梁座標系の図面平面範囲とを示す図である。 図１３は橋梁の横桁の要素番号と橋梁座標系の図面平面範囲とを示す図である。 図１４は橋梁の下横構の要素番号と橋梁座標系の図面平面範囲とを示す図である。 図１５は橋梁の上横構の要素番号と橋梁座標系の図面平面範囲とを示す図である。 図１６は計測平面と図面平面の相関が高い場合を示す図である。 図１７は計測平面と図面平面の相関が低い場合を示す図である。 図１８は計測平面と図面平面とから部材の部材識別情報を取得する他の実施形態を示す図である。 図１９は本発明に係る構造物の部材特定方法の実施形態を示すフローチャートである。 図２０は部材の要素番号リストから対応する要素番号を選択する操作画面を示す図である。
　以下、添付図面に従って本発明に係る構造物の部材特定装置及び方法の実施形態について説明する。
　［橋梁の構造］
　図１は、検査対象物である構造物の一つである橋梁の構造を示す斜視図であり、橋梁を下から見た斜視図である。
　図１に示す橋梁１は、主桁２と、横桁３と、対傾構４と、横構５とを有し、これらがボルト、リベット又は溶接により連結されて構成されている。また、主桁２等の上部には、車輌等が走行するための床版６が打設されている。床版６は、鉄筋コンクリート製のものが一般的である。
　主桁２は、橋台又は橋脚の間に渡され、床版６上の車輌等の荷重を支える部材である。横桁３は、荷重を複数の主桁２で支持するため、主桁２を連結する部材である。対傾構４及び横構５は、それぞれ風及び地震の横荷重に抵抗するため、主桁２を相互に連結する部材である。
　［ロボット装置の外観］
　図２は、撮像装置の一実施形態である二眼カメラを含むロボット装置の外観を示す斜視図であり、橋梁１の主桁２間に設置されている状態に関して示している。また、図３は、図２に示したロボット装置の要部断面図である。
　図２及び図３に示すようにロボット装置１００は、撮像装置２００を備え、撮像装置２００の３次元空間内の位置（撮影位置）を制御するとともに、撮像装置２００による撮影方向を制御し、橋梁１の点検時に複数の部材から構成された橋梁１の任意の点検部材等を撮影するものである。
　ロボット装置１００は、後に詳しく説明するが、主フレーム１０２と、垂直伸延アーム１０４と、垂直伸延アーム１０４の駆動部及び各種の制御部等が配設された筐体１０６と、筐体１０６を主フレーム１０２の長手方向（主桁２の長手方向と直交する方向）（Ｘ方向）に移動させるＸ方向駆動部１０８（図５）と、ロボット装置１００全体を主桁２の長手方向（Ｙ方向）に移動させるＹ方向駆動部１１０（図５）と、垂直伸延アーム１０４を垂直方向（Ｚ方向）に伸縮させるＺ方向駆動部１１２（図５）とを備えている。
　Ｘ方向駆動部１０８は、主フレーム１０２の長手方向（Ｘ方向）に配設されたボールネジ１０８Ａと、筐体１０６に配設されたボールナット１０８Ｂと、ボールネジ１０８Ａを回転させるモータ１０８Ｃとから構成され、モータ１０８Ｃによりボールネジ１０８Ａを正転又は逆転させることにより、筐体１０６をＸ方向に移動させる。
　Ｙ方向駆動部１１０は、主フレーム１０２の両端にそれぞれ配設されたタイヤ１１０Ａ、１１０Ｂと、タイヤ１１０Ａ、１１０Ｂ内に配設されたモータ（図示せず）とから構成され、タイヤ１１０Ａ、１１０Ｂをモータ駆動することによりロボット装置１００全体をＹ方向に移動させる。
　尚、ロボット装置１００は、主フレーム１０２の両端のタイヤ１１０Ａ、１１０Ｂが、２箇所の主桁２の下フランジ上に載置され、かつ主桁２を挟む態様で設置される。これにより、ロボット装置１００は、主桁２の下フランジに懸垂して、主桁２に沿って移動（自走）することができる。また、主フレーム１０２は、図示しないが、主桁２の間隔に合わせて長さが調整可能に構成されている。
　垂直伸延アーム１０４は、ロボット装置１００の筐体１０６に配設されており、筐体１０６とともにＸ方向及びＹ方向に移動する。また、垂直伸延アーム１０４は、筐体１０６内に設けられたＺ方向駆動部１１２（図５）によりＺ方向に伸縮する。
　図４に示すように垂直伸延アーム１０４の先端には、カメラ設置部１０４Ａが設けられており、カメラ設置部１０４Ａには、パンチルト機構１２０によりパン方向及びチルト方向に回転可能な二眼カメラ２０２が設置されている。
　二眼カメラ２０２は、視差の異なる２枚の視差画像（立体画像）を撮影する第１の撮像部２０２Ａと第２の撮像部２０２Ｂとを有し、二眼カメラ２０２による撮影範囲に対応する構造物（橋梁１）の第１の空間情報であって、二眼カメラ２０２を基準にしたローカル座標系（カメラ座標系）における橋梁１の第１の空間情報を取得する第１の空間情報取得部の一部として機能し、また、撮影される２つの画像のうちの少なくとも一方の画像を、点検調書に添付する「点検画像」として取得する。
　また、二眼カメラ２０２は、パンチルト駆動部２０６（図５）から駆動力が加えられるパンチルト機構１２０により垂直伸延アーム１０４と同軸のパン軸Ｐを中心に回転し、あるいは水平方向のチルト軸Ｔを中心に回転する。これにより、二眼カメラ２０２は任意の姿勢にて撮影（任意の撮影方向の撮影）ができる。
　本例の二眼カメラ２０２の第１の撮像部２０２Ａの光軸Ｌ１と、第２の撮像部２０２Ｂの光軸Ｌ２とはそれぞれ平行である。また、パン軸Ｐは、チルト軸Ｔと直交している。更に、二眼カメラ２０２の基線長（即ち、第１の撮像部２０２Ａと第２の撮像部２０２Ｂとの設置間隔）は既知である。
　また、二眼カメラ２０２を基準にしたカメラ座標系は、パン軸Ｐとチルト軸Ｔとの交点を原点Ｏｒとし、チルト軸Ｔの方向をｘ軸方向、パン軸Ｐの方向をｚ軸方向、ｘ軸及びｙ軸にそれぞれ直交する方向をｙ軸方向とする。
　二眼カメラ２０２の位置（カメラ座標系の原点Ｏｒの位置）であって、グローバル座標系（橋梁座標系）における位置（以下、「撮影位置」という）は、全地球測位システム（ＧＰＳ：Global Positioning System)（以下、「ＧＰＳ装置」という）により検出し、又は橋梁座標系の原点に対するロボット装置１００のＸ方向及びＹ方向に移動量、垂直伸延アーム１０４のＺ方向の移動量により検出することができる。また、二眼カメラ２０２による撮影方向は、パンチルト機構のパン角度α、チルト角度βにより検出し、又は二眼カメラ２０２に搭載した方位センサ（図示せず）により検出することができる。
　＜構造物の部材特定装置を含む点検システム１０の構成＞
　図５は、本発明に係る構造物の部材特定装置を含む点検システムの実施形態を示すブロック図である。
　図５に示すように点検システム１０は、ロボット装置１００側のロボット制御部（移動体制御部）１３０、Ｘ方向駆動部１０８、Ｙ方向駆動部１１０及びＺ方向駆動部１１２と、撮像装置２００側の二眼カメラ２０２、撮影制御部２０４、パンチルト制御部２１０、及びパンチルト駆動部２０６と、ロボット側通信部２３０と、端末装置３００とから構成されている。
　ロボット側通信部２３０は、端末側通信部３１０との間で双方向の無線通信を行い、端末側通信部３１０から送信されるロボット装置１００の移動を制御する移動指令、パンチルト機構１２０を制御するパンチルト指令、二眼カメラ２０２を制御する撮影指令等の各種の指令を受信し、受信した指令をそれぞれ対応する制御部に出力する。尚、端末装置３００の詳細については後述する。
　ロボット制御部１３０は、ロボット側通信部２３０から入力する移動指令に基づいてＸ方向駆動部１０８、Ｙ方向駆動部１１０、及びＺ方向駆動部１１２を制御し、ロボット装置１００のＸ方向及びＹ方向に移動させるとともに、垂直伸延アーム１０４をＺ方向に伸縮させる（図２参照）。
　パンチルト制御部２１０は、ロボット側通信部２３０から入力するパンチルト指令に基づいてパンチルト駆動部２０６を介してパンチルト機構１２０をパン方向及びチルト方向に動作させ、二眼カメラ２０２を所望の方向にパンチルトさせる（図４参照）。
　撮影制御部２０４は、ロボット側通信部２３０から入力する撮影指令に基づいて二眼カメラ２０２の第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂにライブビュー画像、又は点検画像の撮影を行わせる。
　橋梁１の点検時に二眼カメラ２０２の第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂにより撮影された視差の異なる第１の画像ＩＬ及び第２の画像ＩＲを示す画像データと、二眼カメラ２０２の撮影位置（橋梁座標系におけるカメラ座標系の原点Ｏｒの位置）及び撮影方向（本例では、パン角度α及びチルト角度β）を示す情報は、それぞれロボット側通信部２３０を介して端末側通信部３１０に送信される。
　端末装置３００は、点検システム１０を操作する点検者により操作されるもので、主として端末側通信部３１０と、端末制御部３２０と、操作部として機能する入力部３３０と、部材テーブル３３２、表示部３４０と、記録部３５０とから構成されており、例えば、タブレット端末を適用することができる。
　端末側通信部３１０は、ロボット側通信部２３０との間で双方向の無線通信を行い、ロボット側通信部２３０が入力する各種の情報（第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂにより撮影されたライブビュー画像、第１の画像ＩＬ及び第２の画像ＩＲを示す画像データ、二眼カメラ２０２の撮影位置及び撮影方向を示す情報）を受信するとともに、端末制御部３２０を介して入力する入力部３３０での操作に応じた各種の指令をロボット側通信部２３０に送信する。
　端末制御部３２０は、端末側通信部３１０を介して受信したライブビュー画像を示す画像データを表示部３４０に出力し、表示部３４０の画面にライブビュー画像を表示させる。入力部３３０は、ロボット操作入力部、パンチルト操作入力部及び撮影操作入力部を有し、ロボット操作入力部は、ロボット装置１００（二眼カメラ２０２）をＸ方向、Ｙ方向及びＺ方向に移動させる移動指令を出力し、パンチルト操作入力部は、パンチルト機構１２０（二眼カメラ２０２）をパン方向及びチルト方向に回転させるパンチルト指令を出力し、撮影操作入力部は、二眼カメラ２０２による点検画像の撮影を指示する撮影指令を出力する。点検者は、表示部３４０に表示されるライブビュー画像を見ながら入力部３３０を手動操作し、入力部３３０は、点検者による操作に応じて二眼カメラ２０２のＸ方向、Ｙ方向及びＺ方向の移動指令、パンチルト指令、及び撮影指令等の各種の指令を端末制御部３２０に出力する。端末制御部３２０は、入力部３３０から入力する各種の指令を端末側通信部３１０を介してロボット側通信部２３０に送信する。
　また、端末制御部３２０は、部材テーブル３３２に登録された情報に基づいて点検画像に含まれる構造物（橋梁１）を構成する各部材を特定する部材識別情報を取得する機能を有する。
　図６は、図５に示した端末制御部３２０の要部ブロック図であり、特に点検画像に含まれる点検対象の部材を特定する部材識別情報を取得する部分に関して示している。
　図６に示すように端末制御部３２０は、主として第１の空間情報取得部３２２、変換部３２４、部材識別情報取得部３２６、及び画像処理部３２８から構成されている。
　第１の空間情報取得部３２２は、撮像装置２００による撮影範囲に対応する構造物の第１の空間情報であって、カメラ座標系における構造物の第１の空間情報を取得するものであり、本例では二眼カメラ２０２により撮影された視差を有する第１の画像ＩＬ及び第２の画像ＩＲを示す画像データに基づいて構造物の３次元座標を算出し、算出した３次元座標を構造物の第１の空間情報として取得する。
　図７は、図６に示した第１の空間情報取得部３２２の構成例を示す機能ブロック図である。
　図７に示すように第１の空間情報取得部３２２は、対応点検出部３２２Ａ、距離算出部３２２Ｂ、３次元座標算出部３２２Ｃ、部材特定部３２２Ｄ及び平面算出部３２２Ｅから構成されている。
　対応点検出部３２２Ａは、第１の画像ＩＬ内の複数の特徴点（例えば、画像中のエッジ等のコントラストが大きい部分）を特定し、特定した複数の特徴点にそれぞれ対応する第２の画像ＩＲ内の対応点を検出する。
　距離算出部３２２Ｂは、対応点検出部３２２Ａにより検出された一対の特徴点と対応点とのずれ量（視差量）、二眼カメラ２０２の基線長等に基づいて特徴点毎に二眼カメラ２０２（カメラ座標系の原点Ｏｒ）からの撮影距離を算出する。
　３次元座標算出部３２２Ｃは、距離算出部３２２Ｂにより算出された各特徴点の撮影距離及び撮影範囲内の位置に対応する方向に基づいてカメラ座標系（直交座標系）における複数の特徴点の３次元座標を算出する。即ち、特徴点の３次元座標は、距離算出部３２２Ｂにより算出された特徴点の撮影距離（動径）と、二眼カメラ２０２の撮影範囲内の位置に対応する方向（偏角）とにより極座標で表されるが、３次元座標算出部３２２Ｃは、極座標で表される複数の特徴点の３次元座標を、カメラ座標系（直交座標系）における３次元座標に変換する。
　部材特定部３２２Ｄは、第１の空間情報取得部３２２により取得された第１の空間情報から平面領域を検出し、検出した平面領域を一つの部材を示す領域と仮定するものであり、本例では、３次元座標算出部３２２Ｃにより算出された複数の特徴点の３次元座標に基づいて平面領域を検出し、平面領域（部材）毎に複数の特徴点を分類する機能を有する。
　図８は、二眼カメラ２０２により撮影された構造物の撮影範囲内の画像を示す図である。
　図８に示す４つの領域Ａ、Ｂ、Ｃ及びＤは、それぞれ橋梁１を構成する各部材の平面領域である。尚、１つの部材が２以上の平面領域を含む場合もある。
　複数の特徴点を平面毎に分類する方法としては、複数の特徴点の３次元座標に基づいて、複数の特徴点を、互いに相関の高い３次元座標を有する特徴点群に分類する。同一平面上の特徴点は、３次元座標の各座標値が線形に変化するため、複数の特徴点を平面毎に分類することができる。
　また、複数の特徴点を平面毎に分類する他の方法としては、例えば、二眼カメラ２０２の第１の撮像部２０２Ａにより撮影された第１の画像ＩＬを画像解析し、各部材の境界線を抽出し、抽出した境界線により画成された領域を、それぞれ部材の計測平面とする。そして、複数の特徴点がいずれの領域に属するかに応じて複数の特徴点を計測平面毎に分類する。尚、複数の特徴点を計測平面毎に分類する方法は、上記の例に限定されず、種々の方法が考えられる。
　平面算出部３２２Ｅは、３次元座標算出部３２２Ｃにより算出された複数の特徴点の３次元座標であって、計測平面毎に分類された複数の特徴点の３次元座標に基づいて計測平面を算出する。
　ここで、計測平面の算出とは、次式に示す平面方程式を求めることをいう。
　［数１］
　ａｒｘｒ＋ｂｒｙｒ＋ｃｒｚｒ－ｄｒ＝０
　［数１］式において、ｘｒ、ｙｒ及びｚｒはカメラ座標系の３軸直交方向の変数を示し、ａｒ、ｂｒ、ｃｒ、及びｄｒはそれぞれ平面方程式の係数を示す。
　計測平面は同一直線上にない３点により定まるため、平面方程式を求めるためには複数の特徴点は３点以上必要であり、特徴点の数が多いほど精度（信頼性）の高い平面方程式を求めることができる。
　また、平面算出部３２２Ｅは、図８に示すように各部材の計測平面に対応する複数の領域Ａ～Ｄが存在する場合、各領域Ａ～Ｄの平面方程式を求める。また、各領域Ａ～Ｄのうちの領域Ａは、撮影範囲内の領域であって、領域Ｂ、Ｃ、Ｄと接する（交差する）ことで画成されている。従って、平面算出部３２２Ｅは、領域Ａに対応する計測平面を特定する際に、領域Ａに対応する平面方程式と、領域Ａの範囲とにより特定する。
　ここで、領域Ａの範囲とは、次式に示すように平面方程式のｘｒ，ｙｒ，ｚｒがとり得る範囲（以下「計測平面範囲」という）を意味する。
　［数２］
　ｘｒｍｉｎ＜ｘｒ＜ｘｒｍａｘ
　ｙｒｍｉｎ＜ｙｒ＜ｙｒｍａｘ
　ｚｒｍｉｎ＜ｚｒ＜ｚｒｍａｘ
　また、平面算出部３２２Ｅは、各領域Ｂ、Ｃ及びＤに対応する計測平面についても各領域の計測平面の平面方程式及び計測平面範囲により特定する。
　このようにして第１の空間情報取得部３２２は、二眼カメラ２０２により撮影された視差を有する第１の画像ＩＬ及び第２の画像ＩＲを示す画像データに基づいて、二眼カメラ２０２の撮影範囲内の各部材の計測平面の３次元座標（平面方程式及び計測平面範囲）を、構造物の各部材の第１の空間情報として取得する。
　第１の空間情報取得部３２２により取得されたカメラ座標系における構造物の各部材の第１の空間情報は、変換部３２４に出力される。
　図９は、二眼カメラ２０２により撮影されたカメラ座標系（ｘｒ，ｙｒ，ｚｒ）の計測平面と橋梁座標系（ｘ，ｙ，ｚ）の計測平面範囲との関係を示す図である。尚、図９に示す例では、ｚ方向は紙面と直交する方向である。
　変換部３２４の他の入力には、橋梁座標系におけるカメラ座標系の原点Ｏｒの位置（撮影位置）を示す情報、及び二眼カメラ２０２の撮影方向（パン角度α及びチルト角度β）を示す情報が加えられており、変換部３２４は、撮影位置及び撮影方向を示す情報（変換情報）に基づいてカメラ座標系における構造物の各部材の第１の空間情報を、橋梁座標系における構造物の各部材の空間情報（第２の空間情報）に座標変換する。即ち、変換部３２４は、撮影方向を示す情報に基づいて第１の空間情報を回転移動させ、回転移動させた第１の空間情報を撮影位置の情報に基づいて平行移動させることにより、カメラ座標系の第１の空間情報を橋梁座標系の第２の空間情報に変換する。
　以下に示す［数３］式及び［数４］式は、橋梁座標系に変換された「ある領域」に対する計測平面を示す平面方程式及び計測平面範囲を示す。
　［数３］
　ａｘ＋ｂｙ＋ｃｚ－ｄ＝０
　［数４］
　ｘｍｉｎ＜ｘ＜ｘｍａｘ
　ｙｍｉｎ＜ｙ＜ｙｍａｘ
　ｚｍｉｎ＜ｚ＜ｚｍａｘ
　尚、［数３］式において、ｘ、ｙ及びｚは橋梁座標系の３軸直交方向の変数を示し、ａ、ｂ、ｃ、及びｄはそれぞれ平面方程式の係数を示す。
　変換部３２４により座標変換された第２の空間情報は、部材識別情報取得部３２６に出力される。
　尚、本実施形態では、部材特定部３２２Ｄは、複数の特徴点のカメラ座標系の３次元座標（第１の空間情報）に基づいて平面領域を検出し、平面算出部３２２Ｅは、検出された平面領域内の複数の特徴点のカメラ座標系の３次元座標（第１の空間情報）に基づいて計測平面の第１の平面方程式及び計測平面範囲等を算出しているが、これに限らず、橋梁座標系に変換後の複数の特徴点の３次元座標（第２の空間情報）に基づいて平面領域を検出し、平面算出部３２２Ｅは、検出された平面領域内の複数の特徴点の橋梁座標系の３次元座標（第２の空間情報）に基づいて計測平面の第１の平面方程式及び計測平面範囲等を算出するようにしてもよい。
　［部材識別情報取得の第１の実施形態］
　部材識別情報取得部３２６は、変換部３２４から入力した第２の空間情報（橋梁座標系における計測平面を示す平面方程式及び計測平面範囲を示す情報）と、部材テーブル３３２に格納された情報とに基づいて二眼カメラ２０２により撮影された画像に含まれる部材を一意に特定する部材識別情報を部材テーブル３３２から取得する。
　ここで、部材テーブル３３２について説明する。
　部材テーブル３３２には、橋梁座標系における橋梁を構成する各部材の空間情報（第３の空間情報）と各部材を示す部材識別情報とが関連付けて登録されている。各部材の第３の空間情報としては、例えば、構造物（橋梁）のＣＡＤ（Computer Aided Design）図面から取得することができる各部材の図面平面範囲、又は図面平面範囲と各部材の少なくとも一面を示す図面平面（例えば、平面方程式により表される図面平面）等を使用することができ、部材識別情報としては、部材名称（部材名称に対応する記号を含む）と部材番号と要素番号とを組み合わせものを使用することができる。
　図１０は、橋梁の主桁の部材番号と橋梁座標系の図面平面範囲とを示す図である。
　図１０に示すように主桁（Ｍｇ）の部材番号は、Ｍｇ０１，Ｍｇ０２，Ｍｇ０３，Ｍｇ０４及びＭｇ０５により表されている。即ち、この橋梁は、Ｍｇ０１～Ｍｇ０５により表される５本の主桁（Ｍｇ）を備えていることが分かる。
　尚、図１に示したように橋梁１を構成する部材には、主桁２、横桁３、対傾構４、横構５、及び床版６等が含まれるが、各部材の種別は、部材名称に対応する部材記号（主桁（Ｍｇ：Main girder），横桁（Ｃｒ：Cross beam）、対傾構（Ｃｆ：Cross frame）、横構（上横構（Ｌｕ：Upper lateral）、下横構（Ｌｌ：Lower lateral））、床版（Ｄｓ：Deck slab）等）により表される。
　図１１は、橋梁の主桁の要素番号と橋梁座標系の図面平面範囲とを示す図である。同図に示すように、４桁の数字により表された要素番号は、点検評価を行う各部位又は部材の最小評価単位の番号である。要素番号の４桁の数字の上位２桁は橋梁の長手方向の並び（行）を示し、下位２桁は橋梁の長手方向と直交する方向の並び（列）を示す。
　従って、部材の種別を示す部材記号と要素番号との組み合わせにより、点検対象の部材を一意に特定することができ、部材記号と要素番号との組み合わせは、部材識別情報に対応する。
　同様に、図１２は、橋梁の横桁（Ｃｒ）の部材番号と橋梁座標系の図面平面範囲とを示す図であり、図１３は橋梁の横桁（Ｃｒ）の要素番号と橋梁座標系の図面平面範囲とを示す図である。
　更に図１４は、橋梁の下横構（Ｌｌ）の要素番号と橋梁座標系の図面平面範囲とを示す図であり、図１５は、橋梁の上横構（Ｌｕ）の要素番号と橋梁座標系の図面平面範囲とを示す図である。
　図６に戻って、部材識別情報取得部３２６は、変換部３２４から入力した第２の空間情報（橋梁座標系における計測平面を示す平面方程式及び計測平面範囲を示す情報）と、部材テーブル３３２に格納された情報（各部材の要素番号に対応する図面平面を示す平面方程式及び図面平面範囲を示す情報と、これらの情報と関連付けられて登録された部材識別情報（本例では、部材記号＋要素番号）とに基づいて、二眼カメラ２０２により撮影された画像に含まれる部材を特定する部材識別情報を部材テーブル３３２から取得する。
　具体的には、部材識別情報取得部３２６は、部材テーブル３３２に登録された「ある部材」の要素番号に対する図面平面Ｐ１、Ｐ２を示す平面方程式と図面平面範囲Ａ１，Ａ２を読み出す。図面平面Ｐ１、Ｐ２を示す平面方程式及び図面平面範囲Ａ１，Ａ２を、次式に示す。
　［数５］
　Ｐ１：
　ａａ１・ｘ＋ｂｂ１・ｙ＋ｃｃ１・ｚ－ｄｄ１＝０
　Ｐ２：
　ａａ２・ｘ＋ｂｂ２・ｙ＋ｃｃ２・ｚ－ｄｄ２＝０
　［数６］
　Ａ１：
　ｘｘ１ｍｉｎ＜ｘ＜ｘｘ１ｍａｘ
　ｙｙ１ｍｉｎ＜ｙ＜ｙｙ１ｍａｘ
　ｚｚ１ｍｉｎ＜ｚ＜ｚｚ１ｍａｘ
　Ａ２：
　ｘｘ２ｍｉｎ＜ｘ＜ｘｘ２ｍａｘ
　ｙｙ２ｍｉｎ＜ｙ＜ｙｙ２ｍａｘ
　ｚｚ２ｍｉｎ＜ｚ＜ｚｚ２ｍａｘ
　尚、この部材は、複数の平面（２つの平面）で構成されているため、２つの図面平面Ｐ１、Ｐ２を示す平面方程式及び図面平面範囲Ａ１，Ａ２を有している。
　そして、部材識別情報取得部３２６は、［数３］式に示した計測平面を示す平面方程式と、［数５］式に示した「ある部材」の図面平面を示す平面方程式とを比較し、平面方程式の一致度を求める。
　例えば、部材識別情報取得部３２６は、計測平面と図面平面の相関（内積）を、次式により算出する。
Figure JPOXMLDOC01-appb-M000001
　そして、部材識別情報取得部３２６は、算出した相関が、例えば０．８以上の場合、同一平面として対象部材を絞り込む。
　図１６は、計測平面と図面平面の相関が高い場合を示す図であり、図１７は、計測平面と図面平面の相関が低い場合を示す図である。
　図１６及び図１７に示すように、計測平面と図面平面Ｐ１との相関は、計測平面と図面平面Ｐ２との相関よりも高いことが分かる。
　また、本例では、計測平面と図面平面との面の傾きのみを比較しているが、平面方程式の係数ｄと係数ｄｄ１，ｄｄ２とを更に比較することにより、両者の平面の距離の一致度を求めることができ、これにより更に対象部材を絞り込むことができる。
　上記の例では、計測平面と「ある部材」の図面平面との相関を求めているが、計測平面と、部材テーブルに登録された全ての部材の図面平年との相関を求め、最も相関が高い図面平面（部材テーブル３３２に登録された各部材の図面平面を示す第２の平面方程式のうちから計測平面を特定する第１の平面方程式に最も近似する第２の平面方程式を抽出し、抽出した第２の平面方程式に対応する図面平面）を求めることで、対象部材を絞り込むことができる。
　また、部材識別情報取得部３２６は、上記のようにして絞り込んだ部材の中の位置を特定するために、［数４］式に示した計測平面範囲と、［数６］式等に示した図面平面範囲とを比較する。ここで、［数４］式に示した計測平面範囲は、点検部材が存在する橋梁座標系における部材領域（第１の部材領域）であり、図面平面範囲は、部材テーブル３３２に登録された各部材が存在する部材毎の部材領域（第２の部材領域）である。
　そして、部材識別情報取得部３２６は、平面方程式により絞り込んだ部材の中から計測平面範囲が図面平面範囲に収まる部材を抽出し、抽出した部材に関連付けて登録された部材識別情報（要素番号）を取得する。
　図５に示す端末制御部３２０は、部材識別情報取得部３２６が取得した部材識別情報を、表示部３４０及び記録部３５０に出力する出力部として機能する（図５）。
　また、端末制御部３２０は、端末側通信部３１０を介して入力する第１の画像ＩＬ及び第２の画像ＩＲを示す画像データのうちの一方を、点検画像を示す画像データとして表示部３４０及び記録部３５０に出力する。
　表示部３４０は、入力する部材識別情報及び点検画像を示す画像データに基づいて点検画像と、点検画像中の点検対象の部材の部材識別情報とを対応付けて表示する。
　また、記録部３５０は、入力する部材識別情報と点検画像を示す画像データとを対応付けて記録媒体に記録する。この場合、記録部３５０は、画像データが記録される画像ファイルのヘッダ部に部材識別情報を記録することが好ましい。
　［部材識別情報取得の第２の実施形態］
　部材識別情報取得の第２の実施形態は、図４に示した計測平面範囲と、部材テーブル３３２に登録された各部材の図面平面範囲（［数６］式参照）とを比較し、計測平面範囲と最も近似する図面平面範囲を抽出することにより対応する部材を特定し、特定した部材に関連付けて登録された部材識別情報（要素番号）を取得する。
　尚、第１の実施形態は、平面方程式により部材を絞り込むため、第２の実施形態に比べて図面平面の推定精度が高く、平面範囲の計測精度が第２の実施形態よりも低くてもよい。
　［部材識別情報取得の第３の実施形態］
　部材識別情報取得の第３の実施形態は、図１８に示すようにロボット装置１００に搭載された二眼カメラ２０２の位置（撮影位置）から撮影できる計測対象の部材の部材識別情報（部材種別＋要素番号）を、二眼カメラ２０２が位置する橋梁１の格間に対応付けて、部材テーブル３３２に登録しておく。
　例えば、図１８には、橋梁１の格間Ｃ１３、Ｃ１４、Ｃ２３及びＣ２４が示されているが、二眼カメラ２０２が格間Ｃ２４内に位置している場合、ここから撮影可能な部材（部材種別及び要素番号）は、以下の通りである。
　主桁：Ｍｇ０２０４、Ｍｇ０３０４
　横桁：Ｃｒ０２０４
　下横構：Ｌｌ０２０４
　従って、二眼カメラ２０２の位置から二眼カメラ２０２が橋梁１の複数の格間のうちのいずれの格間に位置しているかを検出することにより格間を特定することができ、特定した格間により計測対象の部材を絞り込むことができる。
　そして、計測平面を示す平面方程式と、上記のようにして絞り込んだ部材の図面平面を示す平面方程式との比較により一の部材を特定し、特定した部材に関連付けて登録された部材識別情報（要素番号）を取得する。
　また、計測平面範囲と、上記のようにして絞り込んだ部材の図面平面範囲との比較により一の部材を特定し、特定した部材に関連付けて登録された部材識別情報（要素番号）を取得する。
　［構造物の部材特定方法］
　図１９は、本発明に係る構造物の部材特定方法の実施形態を示すフローチャートである。
　図１９において、まず、橋梁を構成する各部材の橋梁座標系における空間情報（第３の空間情報）と、各部材を示す部材識別情報（部材種別＋要素番号）とを関連付けて登録した部材テーブルを準備する（ステップＳ１０）。
　次に、点検者（橋梁の点検者）は、端末装置３００によりロボット装置１００を遠隔操作し、ロボット装置１００に搭載された二眼カメラ２０２により橋梁の点検部材を撮影させる（ステップＳ１２）。
　端末制御部３２０の第１の空間情報取得部３２２（図６）は、二眼カメラ２０２により撮影された視差の異なる第１の画像ＩＬ及び第２の画像ＩＲを入力し、入力した第１の画像ＩＬ及び第２の画像ＩＲに基づいて二眼カメラ２０２の撮影範囲に対応する橋梁の第１の空間情報であって、カメラ座標系における橋梁の第１の空間情報を取得する（ステップＳ１４）。
　端末制御部３２０の変換部３２４は、二眼カメラ２０２の撮影位置及び撮影方向等の変情報に基づいて、取得したカメラ座標系における橋梁の第１の空間情報を、橋梁座標系における第２の空間情報に変換する（ステップＳ１６）。
　端末制御部３２０の部材識別情報取得部３２６は、橋梁座標系に変換された点検部材を示す第２の空間情報と部材テーブル３３２に登録された第３の空間情報とに基づいて第２の空間情報に対応する第３の空間情報を特定し（ステップＳ１８）、特定した第３の空間情報に関連付けて登録された部材識別情報を部材テーブル３３２から取得する（ステップＳ２０）。
　端末制御部３２０から部材識別情報及び撮影した画像（第１の画像ＩＬ及び第２の画像ＩＲのうちの一方の画像）を入力する記録部３５０は、部材識別情報と撮影した画像（点検画像）とを関連付けて記録する。
　このように点検画像（点検写真）に関連付けて点検写真に写っている点検部材の部材識別情報（部材種別及び要素番号）を記録するようにしたため、点検部材の部材識別情報を簡単かつ正確に取得することができ、点検調書の作成の効率化を図ることができる。
　図２０は、部材の要素番号リストから対応する要素番号を選択する操作画面を示す図であり、表示部３４０の表示画面の一例である。
　図２０に示す例では、撮像装置２００により撮影された点検画像と、点検画像に基づいて取得した点検画像中の橋梁の部材の部材識別情報（要素番号）とが表示されている。
　点検画像内には、橋梁１を構成する各部材の平面領域（４つの領域Ａ～Ｄ）が含まれており、これらの領域Ａ～Ｄの空間情報（第１の空間情報）に基づいて特定された３つの要素番号が表示されている。
　即ち、点検画像には、損傷を有する１つの点検部材と損傷を有しない１以上の非点検部材とが含まれている。点検者は、表示部３４０に複数の部材識別情報（本例では、Ｍｇ０２０４、Ｌｌ０２０４、及びＣｒ０２０４の３つの要素番号）の候補が表示されている場合に、選択指示部として機能する入力部３３０を操作し、複数の部材識別情報の候補の中から点検部材に対応する部材識別情報の選択をマウスカーソル等により指示する。
　図６に示す部材識別情報取得部３２６は、入力部３３０から入力する部材識別情報の選択の指示により、点検部材の部材識別情報の候補の中から部材識別情報を特定し、これを点検部材に対する部材識別情報として取得する。
　また、点検者は、図２０に示した表示部３４０の表示画面を利用して、点検部材の損傷の種類及び損傷のランクのうちの少なくとも一つを、入力部３３０を使用して入力することができる。点検部材の損傷の種類は、例えば、亀裂、ひび割れ、腐食、ゆるみ、抜け落ち、脱落、及び破断等であり、損傷のランクは、例えば、緊急対応が必要な損傷、詳細調査が必要な損傷、維持工事の対応が必要な損傷、及び補修等が必要な損傷等を示すランクである。
　このようにして入力部３３０により入力された点検部材の損傷の種類及び損傷のランクのうちの少なくとも一つ情報は、撮影された画像（点検画像）に関連付けて記録部３５０に記録することが好ましい。
　また、点検者は、表示部３４０に複数の部材識別情報の候補が表示されている場合に、点検部材に対応する部材識別情報を選択する代わりに、第１の空間情報指定部として機能する入力部３３０を操作し、点検部材又は点検部材の損傷位置を表示部３４０の画面上で指定することにより、点検部材又は点検部材の損傷位置を示す空間情報（第１の空間情報）を指定するようにしてもよい。
　この場合、部材識別情報取得部３２６は、指定された第１の空間情報を使用して表示部３４０に表示されている複数の部材識別情報の候補の中から、指定された点検部材に対応する部材識別情報を特定し、これを点検部材に対する部材識別情報として取得する。
　また、上記の例では、表示部３４０に複数の部材識別情報の候補が表示されている場合に、入力部３３０を手動操作することにより点検部材又は点検部材の損傷位置を示す第１の空間情報を指定するようにしたが、自動的に損傷を有する点検部材を特定するようにしてもよい。
　図６に示した画像処理部３２８は、撮像装置２００により撮影された画像（本例では、二眼カメラ２０２の第１の撮像部２０２Ａにより撮影された第１の画像ＩＬ）に基づいて損傷を画像処理により検出し、検出した損傷を有する点検部材を特定し、特定した点検部材の空間情報を部材識別情報取得部３２６に出力する。
　部材識別情報取得部３２６は、複数の部材の第２の空間情報（複数の計測平面を示す平面方程式、複数の計測平面範囲）を入力する場合、画像処理部３２８により特定された点検部材の空間情報に基づいて一の部材（点検部材）の第２の空間情報を特定し、特定した第２の空間情報（点検部材）に対応する部材識別情報を取得する。
　［撮像装置の他の実施形態］
　本実施形態では、撮像装置２００として二眼カメラ２０２を使用し、二眼カメラ２０２の撮影範囲に対応する構造物（橋梁）の複数の特徴点の３次元座標（カメラ座標系）及び点検部材等の画像（点検画像）を取得するようにしているが、本発明は撮像装置として二眼カメラを使用する場合に限らず、タイム・オブ・フライト式カメラ（以下、「ＴＯＦ（Time Of Flight)カメラという」）、レーザースキャナ、又は単眼の撮像装置を移動させて連続画像を取得するモーションステレオ方式の撮像方式を適用したもの等を適用することができる。
　ＴＯＦカメラは、被写体に光（近赤外のパルス光）を照射し、その反射光をセンサ（イメージセンサ）で受光するまでの時間を測定することにより被写体までの距離を求めるカメラであり、距離画像と通常の画像とを撮影することができる。ここで、距離画像とは、ＴＯＦカメラによって得られる被写体（構造物）までの距離情報の２次元分布画像のことであり、距離画像の各画素は距離情報を有する。従って、ＴＯＦカメラにより撮影された構造物の３次元座標を構造物の第１の空間情報として取得することができる。
　レーザースキャナは、近赤外のレーザ光を水平及び垂直方向にスキャンニングし、距離画像を取得することができるものであり、点検画像として使用可能な赤（Ｒ）、緑（Ｇ）、青（Ｂ）画像も取得することができるものが好ましい。
　また、モーションステレオ方式とは、単眼の撮像装置を移動させながら撮影した時系列の画像に基づいてオプティカルフローを求めることにより距離を推定する方式である。
　［その他］
　本実施形態では、撮像装置を搭載してロボット装置により橋梁を撮影するようにしたが、これに限らず、点検者が撮像装置を目的の撮影位置に持ち運び、撮像装置を点検部材に向けて撮影を行うようにしてもよく、また、撮像装置を搭載した無人飛行機（ドローン）により橋梁を撮影するようにしてもよい。但し、撮影時の撮像装置の位置（撮影位置）及び撮影方向の情報は、ＧＰＳ装置、方位センサ、及びその他の方法により取得する必要がある。
　また、撮像装置により撮影された画像、距離画像、撮像装置が取得した撮影位置及び撮影方向を示す情報は、撮像装置から無線通信により取得する場合に限らず、撮像装置からから有線により、又は撮像装置の記録媒体を介して取得するようにしてもよい。
　１…橋梁、２…主桁、０２…二眼カメラ、３…横桁、４…対傾構、５…横構、６…床版、１０…点検システム、１００…ロボット装置、１０２…主フレーム、１０４…垂直伸延アーム、１０４Ａ…カメラ設置部、１０６…筐体、１０８…Ｘ方向駆動部、１０８Ａ…ボールネジ、１０８Ｂ…ボールナット、１０８Ｃ…モータ、１１０…Ｙ方向駆動部、１１０Ａ…タイヤ、１１０Ｂ…タイヤ、１１２…Ｚ方向駆動部、１２０…パンチルト機構、１３０…ロボット制御部、２００…撮像装置、２０２…二眼カメラ、２０２Ａ…第１の撮像部、２０２Ｂ…第２の撮像部、２０４…撮影制御部、２０６…パンチルト駆動部、２１０…パンチルト制御部、２３０…ロボット側通信部、３００…端末装置、３１０…端末側通信部、３２０…端末制御部、３２２…第１の空間情報取得部、３２２Ａ…対応点検出部、３２２Ｂ…距離算出部、３２２Ｃ…３次元座標算出部、３２２Ｄ…部材特定部、３２２Ｅ…平面算出部、３２４…変換部、３２６…部材識別情報取得部、３２８…画像処理部、３３０…入力部、３３２…部材テーブル、３３２Ｄ…部材特定部、３４０…表示部、３５０…記録部、Ａ…領域、Ａ１…図面平面範囲、Ａ２…図面平面範囲、Ｂ…領域、ＩＬ…第１の画像、ＩＲ…第２の画像、Ｌ１…光軸、Ｌ２…光軸、Ｏｒ…原点、Ｐ…パン軸、Ｐ１…図面平面、Ｐ２…図面平面、Ｔ…チルト軸、α…パン角度、β…チルト角度

Claims (20)

  1. 　複数の部材から構成された構造物を撮影する撮像装置と、
    　前記撮像装置による撮影範囲に対応する前記構造物の第１の空間情報であって、前記撮像装置を基準にしたローカル座標系における前記構造物の第１の空間情報を取得する第１の空間情報取得部と、
    　前記ローカル座標系の空間情報をグローバル座標系の空間情報に変換する変換情報に基づいて、前記取得した前記構造物の第１の空間情報に含まれる部材を示す第１の空間情報を、前記グローバル座標系の第２の空間情報に変換する変換部と、
    　前記グローバル座標系における前記構造物を構成する各部材の第３の空間情報と各部材を示す部材識別情報とが関連付けて登録された部材テーブルと、
    　前記グローバル座標系に変換された前記部材を示す第２の空間情報と前記部材テーブルに登録された第３の空間情報とに基づいて前記第２の空間情報に対応する前記第３の空間情報を特定し、前記特定した前記第３の空間情報に関連付けて登録された部材識別情報を前記部材テーブルから取得する部材識別情報取得部と、を備え、
    　前記部材識別情報取得部により取得した前記部材識別情報により前記撮像装置により撮影された画像に含まれる部材を特定する構造物の部材特定装置。
  2. 　前記変換情報は、前記構造物の撮影時の撮影位置及び撮影方向を示す情報である請求項１に記載の構造物の部材特定装置。
  3. 　前記部材識別情報取得部は、前記部材を示す第２の空間情報に対応する、前記部材が存在する前記グローバル座標系における第１の部材領域に基づいて前記部材テーブルに登録された各部材が存在する部材毎の第２の部材領域のうちから前記第１の部材領域に最も近似する第２の部材領域を抽出し、前記抽出した第２の部材領域に対応する前記第３の空間情報を特定する請求項１又は２に記載の構造物の部材特定装置。
  4. 　前記第１の空間情報又は前記第２の空間情報から平面領域を検出し、前記検出した平面領域を一つの部材を示す領域と仮定する部材特定部を備え、
    　前記部材を示す第１の空間情報又は前記部材を示す第２の空間情報は、前記部材特定部により部材と仮定した平面領域を示す空間情報である請求項１から３のいずれか１項に記載の構造物の部材特定装置。
  5. 　前記部材識別情報取得部は、前記部材と仮定した平面領域の平面を特定する第１の平面方程式に基づいて前記部材テーブルに登録された各部材の平面を示す第２の平面方程式のうちから前記第１の平面方程式に最も近似する第２の平面方程式を抽出し、前記抽出した第２の平面方程式に対応する平面を有する前記第３の空間情報を特定する請求項４に記載の構造物の部材特定装置。
  6. 　前記部材識別情報取得部により取得した前記部材識別情報を出力する出力部を備えた請求項１から５のいずれか１項に記載の構造物の部材特定装置。
  7. 　前記撮像装置により撮影された前記画像と前記部材識別情報取得部により取得した前記部材識別情報とを関連付けて記録する記録部を備えた請求項１から６のいずれか１項に記載の構造物の部材特定装置。
  8. 　前記画像に含まれる部材であって、前記部材識別情報により特定された部材の損傷の種類及び損傷のランクのうちの少なくとも一つを入力する入力部を備え、
    　前記記録部は、前記撮像装置により撮影された前記画像と関連付けて前記入力部により入力された前記損傷の種類及び前記損傷のランクのうちの少なくとも一つを更に記録する請求項７に記載の構造物の部材特定装置。
  9. 　前記撮像装置により撮影された前記画像と前記部材識別情報取得部により取得した前記部材識別情報とを表示する表示部を備えた請求項１から８のいずれか１項に記載の構造物の部材特定装置。
  10. 　前記撮像装置により撮影された前記画像に損傷を有する１つの点検部材と損傷を有しない１以上の非点検部材とが含まれ、前記表示部に複数の部材識別情報が表示されている場合に、前記複数の部材識別情報から前記点検部材に対応する部材識別情報の選択を指示する選択指示部を備え、
    　前記部材識別情報取得部は、前記選択指示部により選択が指示された部材識別情報を、前記点検部材の部材識別情報として取得する請求項９に記載の構造物の部材特定装置。
  11. 　前記撮像装置により撮影された前記画像に基づいて損傷を有する点検部材を画像処理により特定する画像処理部を備え、
    　前記部材識別情報取得部は、前記画像処理部により特定された前記点検部材に対応する部材識別情報を、前記点検部材の部材識別情報として取得する請求項１から１０のいずれか１項に記載の構造物の部材特定装置。
  12. 　前記撮像装置により撮影された画像を表示する表示部と、
    　前記撮像装置により撮影された画像に損傷を有する１つの点検部材と損傷を有しない１以上の非点検部材とが含まれ、前記表示部に複数の部材が表示されている場合に、前記点検部材又は前記点検部材の損傷位置を示す前記第１の空間情報を指定する第１の空間情報指定部と、を備え、
    　前記部材識別情報取得部は、前記第１の空間情報指定部により指定された前記第１の空間情報を前記点検部材の部材識別情報の取得に使用する請求項１から８のいずれか１項に記載の構造物の部材特定装置。
  13. 　前記第１の空間情報取得部は、前記撮像装置としての機能を備えた二眼カメラを含み、前記二眼カメラにより撮影された２枚の視差画像から前記構造物の３次元座標を算出し、前記算出した３次元座標を前記構造物の第１の空間情報として取得する請求項１から１２のいずれか１項に記載の構造物の部材特定装置。
  14. 　前記第１の空間情報取得部は、前記撮像装置としての機能を備えたタイム・オブ・フライト式カメラを含み、前記タイム・オブ・フライト式カメラにより撮影された前記構造物の３次元座標を前記構造物の第１の空間情報として取得する請求項１から１２のいずれか１項に記載の構造物の部材特定装置。
  15. 　前記第１の空間情報取得部は、前記撮像装置としての機能を備えたレーザースキャナを含み、前記レーザースキャナが取得した前記構造物の３次元座標を前記構造物の第１の空間情報として取得する請求項１から１２のいずれか１項に記載の構造物の部材特定装置。
  16. 　前記第１の空間情報取得部は、前記撮像装置を移動させて撮影した時系列の画像に基づいてモーションステレオ方式により算出した３次元座標を前記第１の空間情報として取得する請求項１から１２のいずれか１項に記載の構造物の部材特定装置。
  17. 　複数の部材から構成された構造物を撮影する撮像装置と、グローバル座標系における前記構造物を構成する各部材の第３の空間情報と各部材を示す部材識別情報とが関連付けて登録された部材テーブルと、を備えた点検システムに使用される構造物の部材特定方法であって、
    　前記撮像装置による撮影範囲に対応する前記構造物の第１の空間情報であって、前記撮像装置を基準にしたローカル座標系における前記構造物の第１の空間情報を取得するステップと、
    　前記ローカル座標系の空間情報をグローバル座標系の空間情報に変換する変換情報に基づいて、前記取得した前記構造物の第１の空間情報に含まれる部材を示す第１の空間情報を、前記グローバル座標系の第２の空間情報に変換するステップと、
    　前記グローバル座標系に変換された前記部材を示す第２の空間情報と前記部材テーブルに登録された第３の空間情報とに基づいて前記第２の空間情報に対応する前記第３の空間情報を特定し、前記特定した前記第３の空間情報に関連付けて登録された部材識別情報を前記部材テーブルから取得するステップと、を含み、
    　前記取得した前記部材識別情報により前記撮像装置により撮影された画像に含まれる部材を特定する構造物の部材特定方法。
  18. 　前記部材識別情報を前記部材テーブルから取得するステップは、
    　前記部材を示す第２の空間情報に基づいて前記部材が存在する前記グローバル座標系における第１の部材領域を算出するステップと、
    　前記算出した第１の部材領域に基づいて前記部材テーブルに登録された各部材が存在する部材毎の第２の部材領域のうちから前記第１の部材領域に最も近似する第２の部材領域を抽出するステップと、
    　前記抽出した第２の部材領域に対応する前記第３の空間情報を特定するステップと、
    　を含む請求項１７に記載の構造物の部材特定方法。
  19. 　前記第１の空間情報又は前記第２の空間情報から平面領域を検出し、前記検出した平面領域を一つの部材を示す領域と仮定するステップを含み、
    　前記部材を示す第１の空間情報又は前記部材を示す第２の空間情報は、前記部材と仮定した平面領域を示す空間情報である請求項１７又は１８に記載の構造物の部材特定方法。
  20. 　前記部材識別情報を前記部材テーブルから取得するステップは、
    　前記部材を示す第２の空間情報に基づいて前記部材と仮定した平面領域の平面を特定する第１の平面方程式を算出するステップと、
    　前記算出した第１の平面方程式に基づいて前記部材テーブルに登録された各部材の平面を示す第２の平面方程式のうちから前記第１の平面方程式に最も近似する第２の平面方程式を抽出するステップと、
    　前記抽出した第２の平面方程式に対応する平面を有する前記第３の空間情報を特定するステップと、
    　を含む請求項１９に記載の構造物の部材特定方法。
PCT/JP2016/084643 2016-01-06 2016-11-22 構造物の部材特定装置及び方法 WO2017119202A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017560047A JP6560366B2 (ja) 2016-01-06 2016-11-22 構造物の部材特定装置及び方法
US16/014,065 US10748269B2 (en) 2016-01-06 2018-06-21 Structure member specification device and structure member specification method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-000894 2016-01-06
JP2016000894 2016-01-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/014,065 Continuation US10748269B2 (en) 2016-01-06 2018-06-21 Structure member specification device and structure member specification method

Publications (1)

Publication Number Publication Date
WO2017119202A1 true WO2017119202A1 (ja) 2017-07-13

Family

ID=59274574

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/084643 WO2017119202A1 (ja) 2016-01-06 2016-11-22 構造物の部材特定装置及び方法

Country Status (3)

Country Link
US (1) US10748269B2 (ja)
JP (1) JP6560366B2 (ja)
WO (1) WO2017119202A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019073704A1 (ja) * 2017-10-11 2019-04-18 株式会社日立システムズ 飛行体利用劣化診断システム
JP2019157535A (ja) * 2018-03-14 2019-09-19 株式会社Ｎｔｔファシリティーズ 劣化状況識別装置、劣化状況識別方法及びプログラム
WO2020003818A1 (ja) * 2018-06-28 2020-01-02 パナソニックＩｐマネジメント株式会社 検査装置及び検査方法
WO2021176877A1 (ja) * 2020-03-02 2021-09-10 富士フイルム株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2021176891A1 (ja) * 2020-03-03 2021-09-10 富士フイルム株式会社 ３次元表示装置、方法及びプログラム
US20220136979A1 (en) * 2019-07-22 2022-05-05 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and non- transitory computer-readable storage medium
WO2022249875A1 (ja) * 2021-05-28 2022-12-01 パナソニックＩｐマネジメント株式会社 画像識別装置、及び、画像識別方法
WO2023047859A1 (ja) * 2021-09-22 2023-03-30 富士フイルム株式会社 情報処理装置、方法及びプログラム、並びに、画像データ構造
WO2023053781A1 (ja) * 2021-09-28 2023-04-06 富士フイルム株式会社 画像処理装置、方法及びプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019130827A1 (ja) * 2017-12-25 2019-07-04 キヤノン株式会社 画像処理装置およびその制御方法
JP7058585B2 (ja) * 2017-12-25 2022-04-22 キヤノン株式会社 画像処理装置およびその制御方法
CN109709574B (zh) * 2019-01-09 2021-10-26 国家***第一海洋研究所 一种海底微地形激光扫描成像***及三维地形重建方法
CN112945195B (zh) * 2021-01-26 2022-11-04 北京讯腾智慧科技股份有限公司 一种轨道桥梁的列车过桥时的坡度测量方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1139490A (ja) * 1997-07-24 1999-02-12 Yuji Tamaki 写真画像を用いた既設構造物の外形図面作成用データの生成方法および外形図面作成用データの生成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002021329A (ja) * 2000-07-12 2002-01-23 Arc Kozo Kenkyusho:Kk 建築物施工管理システム及び建築物施工方法
JP2006146614A (ja) * 2004-11-19 2006-06-08 Yuzo Hashide 構造物管理用電子台帳システム
JP2011192270A (ja) * 2010-02-19 2011-09-29 West Japan Railway Co 構造物管理用図面作成装置、及びその処理プログラム
JP2014020143A (ja) * 2012-07-19 2014-02-03 System Meisei Kk 配筋検査支援システム及び配筋検査支援方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002019687A2 (en) * 2000-08-28 2002-03-07 Cognitens, Ltd. Accurately aligning images in digital imaging systems by matching points in the images
JP4246195B2 (ja) 2005-11-01 2009-04-02 パナソニック株式会社 カーナビゲーションシステム
US20080036758A1 (en) * 2006-03-31 2008-02-14 Intelisum Inc. Systems and methods for determining a global or local position of a point of interest within a scene using a three-dimensional model of the scene
US8284240B2 (en) * 2008-08-06 2012-10-09 Creaform Inc. System for adaptive three-dimensional scanning of surface characteristics
US9155675B2 (en) * 2011-10-12 2015-10-13 Board Of Trustees Of The University Of Arkansas Portable robotic device
US20130308013A1 (en) * 2012-05-18 2013-11-21 Honeywell International Inc. d/b/a Honeywell Scanning and Mobility Untouched 3d measurement with range imaging
WO2016046788A1 (en) * 2014-09-24 2016-03-31 Bombardier Inc. Laser vision inspection system and method
TWI688502B (zh) * 2018-02-14 2020-03-21 先進光電科技股份有限公司 用於警告車輛障礙物的設備

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1139490A (ja) * 1997-07-24 1999-02-12 Yuji Tamaki 写真画像を用いた既設構造物の外形図面作成用データの生成方法および外形図面作成用データの生成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002021329A (ja) * 2000-07-12 2002-01-23 Arc Kozo Kenkyusho:Kk 建築物施工管理システム及び建築物施工方法
JP2006146614A (ja) * 2004-11-19 2006-06-08 Yuzo Hashide 構造物管理用電子台帳システム
JP2011192270A (ja) * 2010-02-19 2011-09-29 West Japan Railway Co 構造物管理用図面作成装置、及びその処理プログラム
JP2014020143A (ja) * 2012-07-19 2014-02-03 System Meisei Kk 配筋検査支援システム及び配筋検査支援方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019073704A1 (ja) * 2017-10-11 2019-04-18 株式会社日立システムズ 飛行体利用劣化診断システム
US11361417B2 (en) 2017-10-11 2022-06-14 Hitachi Systems Ltd. Aircraft-utilizing deterioration diagnosis system
JP7062474B2 (ja) 2018-03-14 2022-05-06 株式会社Ｎｔｔファシリティーズ 劣化状況識別装置、劣化状況識別方法及びプログラム
JP2019157535A (ja) * 2018-03-14 2019-09-19 株式会社Ｎｔｔファシリティーズ 劣化状況識別装置、劣化状況識別方法及びプログラム
JP7170234B2 (ja) 2018-06-28 2022-11-14 パナソニックＩｐマネジメント株式会社 検査装置及び検査方法
JPWO2020003818A1 (ja) * 2018-06-28 2021-04-30 パナソニックＩｐマネジメント株式会社 検査装置及び検査方法
WO2020003818A1 (ja) * 2018-06-28 2020-01-02 パナソニックＩｐマネジメント株式会社 検査装置及び検査方法
US20220136979A1 (en) * 2019-07-22 2022-05-05 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and non- transitory computer-readable storage medium
WO2021176877A1 (ja) * 2020-03-02 2021-09-10 富士フイルム株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2021176891A1 (ja) * 2020-03-03 2021-09-10 富士フイルム株式会社 ３次元表示装置、方法及びプログラム
WO2022249875A1 (ja) * 2021-05-28 2022-12-01 パナソニックＩｐマネジメント株式会社 画像識別装置、及び、画像識別方法
WO2023047859A1 (ja) * 2021-09-22 2023-03-30 富士フイルム株式会社 情報処理装置、方法及びプログラム、並びに、画像データ構造
WO2023053781A1 (ja) * 2021-09-28 2023-04-06 富士フイルム株式会社 画像処理装置、方法及びプログラム

Also Published As

Publication number Publication date
JPWO2017119202A1 (ja) 2018-10-04
JP6560366B2 (ja) 2019-08-14
US20180300868A1 (en) 2018-10-18
US10748269B2 (en) 2020-08-18

Similar Documents

Publication Publication Date Title
JP6560366B2 (ja) 構造物の部材特定装置及び方法
EP2918972B1 (de) Verfahren und handhaltbares Entfernungsmessgerät zum Erzeugen eines Raummodells
JP6486069B2 (ja) 画像処理装置、検査装置、検査方法及び画像処理プログラム
JP5992184B2 (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
BR102018012662B1 (pt) Método de operação de um veículo aéreo não tripulado e veículo aéreo não tripulado
JP6450481B2 (ja) 撮像装置及び撮像方法
US20140336928A1 (en) System and Method of Automated Civil Infrastructure Metrology for Inspection, Analysis, and Information Modeling
WO2018143263A1 (ja) 撮影制御装置、撮影制御方法及びプログラム
JP6507268B2 (ja) 撮影支援装置及び撮影支援方法
JP5388921B2 (ja) ３次元距離計測装置及びその方法
JP4077385B2 (ja) 画像処理を用いたグローバル座標取得装置
JP2017227595A (ja) 損傷図作成支援システム及び損傷図作成支援方法
JP6725675B2 (ja) 自己位置推定装置、自己位置推定方法、プログラム、および画像処理装置
KR20230082497A (ko) 3차원 포인트 클라우드를 이용한 구조물의 실시간 검진 자동화 방법 및 장치
Merkle et al. Sensor evaluation for crack detection in concrete bridges
WO2018180214A1 (ja) 画像処理装置、カメラ装置、および画像処理方法
JP2003075148A (ja) デジタルスチルカメラを用いた変位計測装置
EP3943979A1 (en) Indoor device localization
KR102473804B1 (ko) 영상관제 시스템에서 카메라 영상내 관제 지점의 지도 매핑 방법
JP2021155179A (ja) クレーン用撮影システム及びプログラム
JP6715340B2 (ja) 撮影計画生成装置、撮影計画生成方法、およびプログラム
WO2022008271A1 (en) Inspection device for inspecting a building or structure
JP5409451B2 (ja) ３次元変化検出装置
JP4622889B2 (ja) 画像処理装置、及び画像処理方法
JP4674316B2 (ja) 位置検出装置、位置検出方法及び位置検出プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16883702

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017560047

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16883702

Country of ref document: EP

Kind code of ref document: A1