WO2016194078A1 - Information processing apparatus, calibration method, and calibration processing program - Google Patents
Information processing apparatus, calibration method, and calibration processing program Download PDFInfo
- Publication number
- WO2016194078A1 WO2016194078A1 PCT/JP2015/065664 JP2015065664W WO2016194078A1 WO 2016194078 A1 WO2016194078 A1 WO 2016194078A1 JP 2015065664 W JP2015065664 W JP 2015065664W WO 2016194078 A1 WO2016194078 A1 WO 2016194078A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- moving body
- coordinate correspondence
- feature point
- correspondence
- coordinates
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims description 36
- 238000000034 method Methods 0.000 title claims description 24
- 238000003860 storage Methods 0.000 claims abstract description 38
- 238000003384 imaging method Methods 0.000 claims abstract description 29
- 238000012937 correction Methods 0.000 claims abstract description 23
- 239000000284 extract Substances 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 64
- 238000000605 extraction Methods 0.000 claims description 12
- 238000009434 installation Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 abstract description 34
- 238000007796 conventional method Methods 0.000 description 14
- 239000000463 material Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
- B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
- B23Q17/24—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
Definitions
- the present invention relates to camera calibration.
- the processing machine camera application technology installs a camera in the processing machine, the camera takes a picture of the vicinity of the head of the processing machine, and uses the taken image for a GUI (Graphical User Interface) display of the processing machine, internal processing of the processing machine, etc.
- GUI Graphic User Interface
- Technology there is a correspondence relationship between the pixel coordinates of the captured image obtained by the camera and the physical coordinates of the processing machine (hereinafter, the relationship between the pixel coordinates of the camera image and the physical coordinates of the processing machine).
- Coordinate correspondence (Referred to as “coordinate correspondence”), and the captured image is converted and displayed from the obtained coordinate correspondence, the recognition result of the photographed image is reflected in the internal calculation of the processing machine, and the processing design drawing of the processing machine There is a technique of superimposing on a photographed image.
- Obtaining the coordinate correspondence is generally called external calibration of the camera.
- external calibration a calibration pattern having one or more feature points is photographed at a specified position, pixel coordinates of the feature points in the calibration pattern are detected from the photographed image, and physical coordinates and pixels of the feature points are detected. Coordinate correspondence can be obtained by associating coordinates.
- a checkerboard pattern is widely used for the calibration pattern.
- Patent Document 1 discloses a method of performing calibration using a checkered pattern (referred to as Conventional Method 1). A program for detecting an intersection of checkered patterns from a captured image is widely used, and an intersection can be automatically detected by using a computer.
- a technique for improving the accuracy of external calibration while reducing costs is disclosed.
- the main object of the present invention is to solve the above-mentioned problems and to correct the coordinate correspondence without performing external calibration.
- An information processing apparatus includes: Pixels in a photographic image obtained by photographing the moving space with a physical coordinate in the moving space in which the moving body moves and a photographing device that is installed at a predetermined installation position and whose photographing direction is fixed toward the moving space
- the imaging device captures the pixel coordinates of feature points in the moving body in a captured image obtained by capturing the moving body, and the imaging device captures the moving body.
- An extraction unit that extracts a correspondence relationship between the physical coordinates of the feature points when they are performed as a feature point coordinate correspondence relationship; And a correction unit that corrects the reference coordinate correspondence using the feature point coordinate correspondence extracted by the extraction unit.
- the feature point coordinate correspondence which is the correspondence between the pixel coordinates of the feature points and the physical coordinates of the feature points in the captured image taken when the moving body stops in the movement space.
- the reference coordinate correspondence is corrected using the correspondence. For this reason, the coordinate correspondence can be corrected without performing external calibration.
- FIG. 3 is a diagram illustrating an example of a system configuration according to the first embodiment.
- FIG. 3 is a diagram illustrating a functional module configuration example of the information processing apparatus according to the first embodiment.
- FIG. 3 is a diagram illustrating a hardware configuration example of the information processing apparatus according to the first embodiment.
- FIG. 6 is a flowchart showing an example of calibration procedure according to the first embodiment.
- FIG. 3 is a diagram illustrating an example of a data flow in the information processing apparatus according to the first embodiment.
- FIG. 4 is a diagram illustrating an example of a calibration pattern according to the first embodiment.
- FIG. 6 is a diagram illustrating an example of a second coordinate correspondence relationship according to the first embodiment.
- FIG. 6 is a diagram showing an example of a third coordinate correspondence relationship according to the first embodiment.
- FIG. 6 is a diagram illustrating an example of a coordinate correspondence difference according to the first embodiment.
- FIG. 3 illustrates a configuration example of an information processing apparatus according to a second embodiment.
- FIG. 3 illustrates a configuration example of an information processing apparatus according to a second embodiment.
- FIG. 3 illustrates a configuration example of an information processing apparatus according to a second embodiment.
- FIG. 3 is a diagram illustrating an example of a captured image according to the first embodiment.
- FIG. 6 is a diagram illustrating an example of a converted image of a captured image according to the first embodiment.
- the information processing apparatus 100 performs external calibration using a photographed image photographed by the photographing apparatus 200, correction of a coordinate correspondence obtained by the external calibration, and the like. In addition, the information processing apparatus 100 transmits a control signal to the driving apparatus 400 to control the driving apparatus 400. Details of the information processing apparatus 100 will be described later.
- the imaging device 200 is a camera, for example.
- the photographing apparatus 200 is fixedly installed at a predetermined installation position. As indicated by an arrow B, the shooting direction of the shooting device 200 is fixed toward the moving space 600.
- the moving space 600 is a space in which the moving body 300 moves.
- a photographed image photographed by the photographing apparatus 200 is used for external calibration.
- the captured image captured by the image capturing apparatus 200 is converted into an image and used for position control of the moving body 300.
- the moving body 300 is a head (movable part) of a processing machine that processes a material.
- the moving body 300 moves on the processing table 500 in the X-axis direction, the Y-axis direction, and the Z-axis direction under the control of the driving device 400.
- the processing table 500 is a plate-like table on which a material processed by the moving body 300 is arranged.
- the moving body 300 moves on the processing table 500 and, for example, irradiates the material disposed on the processing table 500 with a laser to perform processing such as material cutting and drilling.
- a space in which the moving body 300 moves is referred to as a moving space 600.
- the dimension of the moving space 600 in the X-axis direction matches, for example, the dimension (horizontal width) of the machining table 500 in the X-axis direction, and the dimension of the Y-axis direction matches the dimension of the machining table 500 in the Y-axis direction (depth). To do.
- the dimension in the Z-axis direction is about 5 cm. In FIG. 1, the dimension in the Z-axis direction is drawn large for reasons of drawing, but the actual dimension is about 5 cm.
- the driving device 400 drives the moving body 300 based on a control signal from the information processing device 100.
- FIG. 13 shows an example of a photographed image obtained by photographing the processing table 500 by the photographing apparatus 200. That is, the photographed image in FIG. 13 is a photographed image with the arrow B in FIG. 1 as the viewpoint direction.
- the material 700 is placed on the processing table 500.
- the information processing apparatus 100 performs image conversion of the captured image in FIG. 13 to obtain the captured image in FIG. 14 with the arrow A in FIG. 1 as the viewpoint direction.
- the information processing apparatus 100 controls the driving device 400 to move to physical coordinates (also referred to as three-dimensional coordinates) corresponding to desired pixel coordinates (for example, the upper left corner of the material 700) of the captured image in FIG.
- the body 300 is moved, and the material 700 is processed.
- Such an operation is performed using the coordinate correspondence relationship between the pixel coordinates and physical coordinates in the captured image (FIG. 13) obtained by external calibration.
- the information processing apparatus 100 can correct the coordinate correspondence while continuing the processing using the moving body 300 even when the camera position shift occurs.
- FIG. 2 shows a functional module configuration example of the information processing apparatus 100 according to the present embodiment.
- FIG. 2 shows only the functional module configuration related to external calibration processing and coordinate correspondence correction processing.
- the information processing apparatus 100 according to the present embodiment also performs the image conversion process of the captured image described with reference to FIGS. 13 and 14, the control process of the driving device 400, and the like.
- the functional module configuration related to the control processing is not shown in FIG.
- the image acquisition unit 101 acquires a captured image captured by the imaging device 200.
- the first calibration processing unit 102 performs external calibration.
- the first calibration processing unit 102 performs external calibration of the conventional method 1 and the conventional method 2, for example.
- the coordinate correspondence between physical coordinates and pixel coordinates obtained by external calibration (referred to as first calibration) by the first calibration processing unit 102 is referred to as a first coordinate correspondence.
- the first coordinate correspondence is a correspondence between physical coordinates in the moving space 600 and pixel coordinates in a captured image obtained by the photographing apparatus 200 photographing the moving space 600, and corresponds to an example of a reference coordinate correspondence. .
- the second calibration processing unit 103 performs calibration for correcting the first coordinate correspondence (referred to as second calibration).
- the second calibration processing unit 103 includes a feature point detection unit 104, a difference calculation unit 105, and a correction unit 106.
- the feature point detection unit 104 detects the pixel coordinates of the feature points in the moving body 300 in the captured image obtained by the imaging apparatus 200 capturing the moving body 300 when the moving body 300 stops in the moving space 600, and the imaging.
- the correspondence relationship between the physical coordinates of the feature points when the apparatus 200 captures the moving body 300 is extracted.
- the feature point is a feature point of a calibration pattern provided in the moving body 300.
- the feature point detection unit 104 extracts the feature points of the calibration pattern from the captured image, and extracts the correspondence between the pixel coordinates of the extracted feature points and the physical coordinates of the feature points.
- the feature point detection unit 104 extracts the correspondence between the pixel coordinates of the feature points and the physical coordinates of the feature points immediately before or after the first calibration or simultaneously with the first calibration.
- the correspondence between the pixel coordinates of the feature points extracted immediately before or immediately after the first calibration or simultaneously with the first calibration and the physical coordinates of the feature points is referred to as a second coordinate correspondence.
- the second coordinate correspondence is a correspondence extracted immediately before or immediately after the first calibration or simultaneously with the first calibration, the second coordinate correspondence is consistent with the first coordinate correspondence. That is, there is no relative displacement between the first coordinate correspondence and the second coordinate correspondence.
- the second coordinate correspondence relationship corresponds to an example of a matching coordinate correspondence relationship.
- the feature point detection unit 104 is obtained by the imaging apparatus 200 imaging the moving body 300 when the moving body 300 stops in the moving space 600 as needed after the second coordinate correspondence is obtained.
- a correspondence relationship between the pixel coordinates of the feature points in the moving body 300 in the captured image and the physical coordinates of the feature points when the imaging apparatus 200 captures the moving body 300 is extracted.
- the correspondence between the pixel coordinates of the feature point and the physical coordinates of the feature point obtained after the second coordinate correspondence is obtained is referred to as a third coordinate correspondence.
- the third coordinate correspondence may not be consistent with the second coordinate correspondence.
- the third coordinate correspondence corresponds to an example of the feature point coordinate correspondence.
- the feature point detection unit 104 corresponds to an example of an extraction unit.
- the difference calculation unit 105 calculates a difference between the second coordinate correspondence and the third coordinate correspondence.
- the correcting unit 106 corrects the first coordinate correspondence using the third coordinate correspondence. More specifically, the correction unit 106 corrects the first coordinate correspondence using the difference between the second coordinate correspondence and the third coordinate correspondence calculated by the difference calculation unit 105.
- the storage unit 107 stores the captured image acquired by the image acquisition unit 101.
- the storage unit 107 stores first coordinate correspondence information indicating the first coordinate correspondence.
- the storage unit 107 stores second coordinate correspondence information indicating the second coordinate correspondence.
- the storage unit 107 stores third coordinate correspondence information indicating the third coordinate correspondence.
- the storage unit 107 stores coordinate correspondence relationship difference information indicating a difference between the second coordinate correspondence and the third coordinate correspondence calculated by the difference calculation unit 105.
- FIG. 3 shows a hardware configuration example of the information processing apparatus 100 according to the present embodiment.
- the information processing apparatus 100 is a computer and includes an arithmetic device 11 and a storage device 12.
- the arithmetic device 11 is a processor such as a CPU (Central Processing Unit) and is an IC (Integrated Circuit) that performs processing.
- the storage device 12 is a memory such as a RAM (Random Access Memory).
- the storage device 12 corresponds to the storage unit 107 in FIG.
- the storage device 12 stores a program. Specifically, the storage device 12 stores an image acquisition program 1010 that realizes the function of the image acquisition unit 101. Further, the storage device 12 stores a first calibration program 1020 that realizes the function of the first calibration processing unit 102.
- the storage device 12 stores a second calibration program 1030 that realizes the function of the second calibration processing unit 103.
- the feature point extraction program 1040 that realizes the function of the feature point detection unit 104, the difference calculation program 1050 that realizes the function of the difference calculation unit 105, and the function of the correction unit 106 are realized.
- a correction program 1060 is included.
- the storage device 12 also stores an OS (Operating System). By executing the program shown in FIG. 3 while the computing device 11 executes the OS, the first calibration processing unit 102, the second calibration processing unit 103, the feature point detection unit 104, the difference calculation unit 105, The function of the correction unit 106 is executed.
- the second calibration program 1030 corresponds to an example of a calibration processing program.
- the storage device 12 also stores first coordinate correspondence information 1111, second coordinate correspondence information 1112, third coordinate correspondence information 1113, coordinate correspondence difference information 1114, and captured images 1120 and 1121. ing.
- the information processing device 100 includes an input device such as a mouse, a keyboard, and a touch panel, a display such as an LCD (Liquid Crystal Display), a communication chip, and a communication such as a NIC (Network Interface Card).
- An apparatus may be provided.
- a person who performs processing using the moving body 300 gives an arbitrary control command representing the moving path of the moving body 300 to the information processing apparatus 100.
- a control unit (not shown in FIG. 2) outputs a control signal for moving the moving body 300 to the position specified by the control command to the driving apparatus 400.
- the driving device 400 moves the moving body 300 according to the control signal.
- the moving body 300 can be moved to an arbitrary position in the moving space 600 by a combination of a plurality of control commands.
- the control command is recorded in advance in the control means, and the operator can call any control command.
- the operator can divide the called control command into a plurality of steps and specify the execution timing for each step. It is also possible for an operator to input a control command from outside the information processing apparatus 100 without recording the control command in advance in the control means.
- the photographing apparatus 200 can photograph the moving body 300 at an arbitrary timing intended by the operator.
- the captured image is held by the information processing apparatus 100.
- the information processing apparatus 100 may instruct the shooting timing, or the operator may instruct the shooting timing using a control command.
- FIG. 4 shows an operation example of the information processing apparatus 100 according to the present embodiment.
- FIG. 5 shows a data flow example in the information processing apparatus 100 according to the present embodiment.
- an operation example of the information processing apparatus 100 according to the present embodiment will be described with reference to FIGS. 4 and 5. Note that the procedure described below corresponds to an example of a calibration method.
- the first calibration processing unit 102 performs first calibration (S401 in FIG. 4).
- the first calibration processing unit 102 acquires a captured image of the imaging device 200 from the image acquisition unit 101, acquires physical coordinates of the moving body 300 from the control unit, and based on the captured image and the physical coordinates of the moving body, Perform the first calibration.
- the method for realizing the first calibration is not particularly specified.
- the first calibration processing unit 102 may acquire the coordinate correspondence using a checkered pattern calibration pattern as in the conventional method 1, or the moving pattern may be calibrated to the moving body as in the conventional method 2. May be attached to obtain the coordinate correspondence.
- the first calibration processing unit 102 may acquire the coordinate correspondence by another method.
- the first coordinate correspondence that is the correspondence between the pixel coordinates and the three-dimensional physical coordinates obtained by the first calibration processing unit 102 is stored in the storage unit 107.
- the second calibration processing unit 103 acquires a second coordinate correspondence (S402 to S405).
- the second coordinate correspondence is acquired by extracting feature points of calibration patterns provided on the moving body 300.
- the calibration pattern is an imaging target having one or more feature points that is permanently installed in the moving body 300.
- the simplest example of the calibration pattern is a checkered pattern having one feature point as shown in FIG.
- the calibration pattern may be mounted on the moving body 300 as a part. Further, the calibration pattern may be provided on the moving body 300 by any one of painting, sticking, cutting, and engraving. Further, a part of the moving body 300 may be deformed and the calibration pattern may be provided in the moving body 300.
- the calibration pattern is provided at a position where photographing can be performed from the photographing apparatus 200.
- the calibration pattern may be provided only in one direction of the moving body 300, for example, the front surface, or may be provided on all surfaces of the moving body 300. Further, when the calibration pattern is attached to the moving body 300, the three-dimensional coordinates (x, y, z) of the moving body 300 managed in advance by the control means, and the three-dimensional coordinates (x ′) of the feature points of the calibration pattern. , Y ′, z ′) is measured in advance.
- the shape, mounting method, and mounting position of the calibration pattern described above are examples.
- S402 to S405 in FIG. 4 are performed simultaneously with the first calibration (S401) by the first calibration processing unit 102 (or immediately before or after).
- the imaging apparatus 200 captures the moving body 300.
- the image acquisition unit 101 acquires a captured image (S403).
- the feature point detection unit 104 acquires a captured image from the image acquisition unit 101, acquires physical coordinates of the stop position of the moving body 300 from the control unit, and uses the captured image and the physical coordinates of the stop position of the mobile body 300.
- the second coordinate correspondence is extracted (S404).
- the control unit stops the moving body 300 the above operation is performed, and the second coordinate correspondence is obtained for a plurality of stop positions (S405). Details of the processes in S402, S403, and S404 will be described below.
- the moving body 300 has physical coordinates (x b1 , y b1 , z b1 ), (x b2 , y b2 , z b2 ). . . . It is assumed that the camera stops at the position of (x bn , y bn , z bn ), and the captured images 1 to n captured at the respective stop positions are acquired. Note that the moving path of the moving body 300 and the method of acquiring the captured image are arbitrary.
- the moving object 300 is represented by physical coordinates (x b1 , y b1 , z b1 ), (x b2 , y b2 , z b2 ). . . .
- the operator executes the plurality of control commands.
- the captured image 1 to the captured image n at a plurality of stop positions can be taken into the information processing apparatus 100 simply by instructing.
- the operator may issue a movement instruction to the control means one by one, or may issue a photographing instruction to the photographing apparatus 200.
- the first calibration (S401) is realized by the conventional method 2 since the moving body 300 is moved and photographed when the first calibration is performed, the feature point detection unit 104 is The second coordinate correspondence may be extracted using the captured image captured by the first calibration.
- the feature point detection unit 104 detects the pixel coordinates of the feature points of the calibration pattern from the captured image. Note that the feature point detection unit 104 may detect the pixel coordinates of the feature points by any method.
- the feature point detection unit 104 has acquired the relationship between the three-dimensional coordinates (x, y, z) of the moving body 300 and the three-dimensional coordinates (x ′, y ′, z ′) of the calibration pattern. Therefore, the feature point detection unit 104 can extract the correspondence between the pixel coordinates of the feature points and the physical coordinates of the feature points.
- the feature point detection unit 104 performs pixel coordinates (a b1 , b b1 ), (a b2 , b b2 ). . .
- the operation stage is a stage in which the moving body 300 processes the material on the processing table 500. That is, in the information processing apparatus 100, when the moving body 300 stops for material processing in the operation stage, the imaging apparatus 200 captures the moving body 300, extracts the third coordinate correspondence, and the third coordinate correspondence. The first coordinate correspondence is corrected using the difference between the relationship and the second coordinate correspondence.
- the photographing apparatus 200 moves.
- the body 300 is photographed.
- the image acquisition unit 101 acquires a captured image (S407).
- the feature point detection unit 104 acquires a captured image from the image acquisition unit 101, acquires physical coordinates of the stop position of the moving body 300 from the control unit, and uses the captured image and the physical coordinates of the stop position of the mobile body 300.
- the third coordinate correspondence is extracted (S408) (extraction process).
- the photographing apparatus 200 photographs the moving body 300, and the feature point detecting unit 104 obtains the photographed image m via the image obtaining unit 101. Further, the physical coordinates (x c , y c , z c ) of the stop position of the moving body 300 are acquired from the control means.
- the feature point detection unit 104 detects the pixel coordinates (a c , b c ) of the feature point of the calibration pattern from the captured image.
- the feature point detection unit 104 has acquired the relationship between the three-dimensional coordinates (x, y, z) of the moving body 300 and the three-dimensional coordinates (x ′, y ′, z ′) of the calibration pattern. It is. Therefore, the feature point detection unit 104 can extract the correspondence between the pixel coordinates (a c , b c ) of the feature points and the physical coordinates (x ′ c , y ′ c , z ′ c ) of the feature points. it can. By repeating imaging and feature point detection each time the moving body 300 stops, a third coordinate correspondence that reflects the current positional relationship between the imaging apparatus 200 and the moving body 300 is obtained.
- the feature point detection unit 104 further performs an interpolation process for the third coordinate correspondence to derive a plurality of pixel coordinates for a plurality of physical coordinates of the second coordinate correspondence, and the interpolated third coordinates A correspondence relationship is obtained (S410).
- Pixel coordinates (a c1 , b c1 ), (a c2 , b c2 ), corresponding to (x bn , y bn , z bn ). . . (A cn , b cn ) is obtained as the interpolated third coordinate correspondence.
- the interpolation process may be realized by any interpolation method.
- the difference calculation unit 105 calculates the difference between the interpolated third coordinate correspondence and the second coordinate correspondence (S411). Further, the difference calculation unit 105 outputs the calculated difference to the correction unit 106 as a coordinate correspondence difference.
- This coordinate correspondence difference represents a coordinate error caused by a positional shift of the image capturing apparatus 200.
- the correction unit 106 corrects the first coordinate correspondence using the coordinate correspondence difference (S412) (correction process), and a new first for absorbing the positional deviation of the imaging apparatus 200 that occurs in the operation stage. Get the coordinate correspondence of.
- the correction of the first coordinate correspondence using the coordinate correspondence difference is most easily realized by adding the coordinate correspondence difference to the first coordinate correspondence.
- Embodiment 2 the image acquisition unit 101, the first calibration processing unit 102, the feature point detection unit 104, the difference calculation unit 105, and the correction unit 106 illustrated in FIG. 2 are realized by a program as illustrated in FIG. ing.
- the captured image, the first coordinate correspondence information, the second coordinate correspondence information, the third coordinate correspondence information, and the coordinate correspondence difference information are stored in the storage device. 12.
- the captured image, the first coordinate correspondence information, the second coordinate correspondence information, the third coordinate correspondence information, and the coordinate correspondence difference information are stored in individual storage devices.
- FIG. 10 shows a configuration example of the information processing apparatus 100 according to the present embodiment.
- the image acquisition arithmetic device 1101 is an arithmetic device that implements the image acquisition unit 101 shown in FIG. Since the operation of the image acquisition arithmetic device 1101 is the same as that of the image acquisition unit 101, description thereof is omitted.
- the first calibration calculation device 1102 implements the first calibration processing unit 102 shown in FIG. Since the operation of the first calibration calculation device 1102 is the same as that of the first calibration processing unit 102, the description thereof is omitted.
- the feature point detection calculation device 1103 implements the feature point detection unit 104 shown in FIG. Since the operation of the feature point detection calculation device 1103 is the same as that of the feature point detection unit 104, description thereof is omitted.
- the difference calculation calculation device 1104 implements the difference calculation unit 105 shown in FIG. Since the operation of the difference calculation calculation device 1104 is the same as that of the difference calculation unit 105, description thereof is omitted.
- the correction calculation device 1105 implements the correction unit 106 shown in FIG. Since the operation of the correction calculation device 1105 is the same as that of the correction unit 106, description thereof is omitted.
- a captured image storage device 1200 is a dedicated storage device for captured images.
- the first coordinate correspondence information storage device 1201 is a dedicated storage device for first coordinate correspondence information.
- the second coordinate correspondence information storage device 1202 is a dedicated storage device for second coordinate correspondence information.
- the third coordinate correspondence information storage device 1203 is a dedicated storage device for third coordinate correspondence information.
- the coordinate correspondence difference information storage device 1204 is a dedicated storage device for coordinate correspondence difference information.
- the first coordinate correspondence information, the second coordinate correspondence information, and the third coordinate correspondence information can be stored together in the coordinate correspondence information storage device 1205. .
- the combination of information stored together in one storage device is arbitrary, and combinations other than the combinations shown in FIG. 11 may be applied.
- the image acquisition unit 101 is realized by the image acquisition program 1010
- the difference calculation unit 105 is realized by the difference calculation program 1050
- the correction unit 106 is realized by the correction program 1060
- the first calibration is performed.
- the processing unit 102 may be realized by the first calibration calculation device 1102 and the feature point detection unit 104 may be realized by the feature point detection calculation device 1103. Which functional module is realized by a program and which functional module is realized by an arithmetic unit is arbitrary, and combinations other than the combinations shown in FIG. 12 may be applied.
- DESCRIPTION OF SYMBOLS 100 Information processing apparatus, 101 Image acquisition part, 102 1st calibration process part, 103 2nd calibration process part, 104 feature point detection part, 105 difference calculation part, 106 correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Mechanical Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
A storage unit (107) stores, as a reference coordinate correspondence relationship, a correspondence relationship between the physical coordinates in a movement space in which a moving body moves and the pixel coordinates in a captured image that is obtained by an imager apparatus, which is placed at a predetermined placement position and the imaging direction of which is fixed toward the movement space, imaging the movement space. A feature point detection unit (104) extracts, as a feature point coordinate correspondence relationship, a correspondence relationship between the pixel coordinates of a feature point in the moving body in a captured image obtained by the imager apparatus imaging the moving body when the moving body stops in the movement space, and the physical coordinates of the feature point when the imager apparatus images the moving body. A correction unit (106) corrects the reference coordinate correspondence relationship by use of the feature point coordinate correspondence relationship extracted by the feature point detection unit (104).
Description
本発明は、カメラキャリブレーションに関する。
The present invention relates to camera calibration.
加工機カメラ応用技術は、加工機にカメラを設置し、カメラが加工機のヘッド近辺を撮影し、撮影した画像を、加工機のGUI(Graphical User Interface)表示、加工機の内部処理などに利用する技術である。
加工機カメラ応用技術には、カメラで撮影して得られた撮影画像の画素座標と加工機の物理座標との間の対応関係(以下では、カメラ画像の画素座標と加工機の物理座標の関係を「座標対応関係」という)を求め、求めた座標対応関係から撮影画像を変換して表示したり、撮影画像の認識結果を加工機の内部演算に反映したり、加工機の加工設計図を撮影画像に重畳したりする技術がある。
座標対応関係を求めることを、一般的にカメラの外部キャリブレーションと呼ぶ。
外部キャリブレーションでは、1つ以上の特徴点を持つキャリブレーションパタンを規定の位置において撮影を行い、撮影画像からキャリブレーションパタン内の特徴点の画素座標を検出し、その特徴点の物理座標と画素座標とを対応付けることで座標対応関係が得られる。
キャリブレーションパタンには市松模様が広く用いられている。
キャリブレーションパタンに市松模様を用いる場合は、各正方形の角(市松模様の正方形を構成する直線同士が交わる点)を特徴点として外部キャリブレーションが行われることが一般的である。
特許文献1では、市松模様によりキャリブレーションを行う手法(従来手法1という)が開示されている。
撮影画像から市松模様の交点を検出するプログラムは広く普及しており、計算機を用いることで自動的に交点を検出することができる。
特許文献2では、移動体(加工機の加工ヘッドに当たる部分)にキャリブレーションパタンを装着し、移動体(=キャリブレーションパタン)を移動させながら移動体の撮影を繰り返すことで、キャリブレーションパタンの作成コストを低減しながら外部キャリブレーションの精度を向上する手法(従来手法2という)が開示されている。 The processing machine camera application technology installs a camera in the processing machine, the camera takes a picture of the vicinity of the head of the processing machine, and uses the taken image for a GUI (Graphical User Interface) display of the processing machine, internal processing of the processing machine, etc. Technology.
In processing machine camera application technology, there is a correspondence relationship between the pixel coordinates of the captured image obtained by the camera and the physical coordinates of the processing machine (hereinafter, the relationship between the pixel coordinates of the camera image and the physical coordinates of the processing machine). (Referred to as “coordinate correspondence”), and the captured image is converted and displayed from the obtained coordinate correspondence, the recognition result of the photographed image is reflected in the internal calculation of the processing machine, and the processing design drawing of the processing machine There is a technique of superimposing on a photographed image.
Obtaining the coordinate correspondence is generally called external calibration of the camera.
In external calibration, a calibration pattern having one or more feature points is photographed at a specified position, pixel coordinates of the feature points in the calibration pattern are detected from the photographed image, and physical coordinates and pixels of the feature points are detected. Coordinate correspondence can be obtained by associating coordinates.
A checkerboard pattern is widely used for the calibration pattern.
When a checkered pattern is used for the calibration pattern, external calibration is generally performed using corners of each square (points where straight lines constituting the checkered square intersect) as feature points.
Patent Document 1 discloses a method of performing calibration using a checkered pattern (referred to as Conventional Method 1).
A program for detecting an intersection of checkered patterns from a captured image is widely used, and an intersection can be automatically detected by using a computer.
In Patent Document 2, a calibration pattern is created by attaching a calibration pattern to a moving body (a portion corresponding to a processing head of a processing machine) and repeatedly photographing the moving body while moving the moving body (= calibration pattern). A technique for improving the accuracy of external calibration while reducing costs (conventional technique 2) is disclosed.
加工機カメラ応用技術には、カメラで撮影して得られた撮影画像の画素座標と加工機の物理座標との間の対応関係(以下では、カメラ画像の画素座標と加工機の物理座標の関係を「座標対応関係」という)を求め、求めた座標対応関係から撮影画像を変換して表示したり、撮影画像の認識結果を加工機の内部演算に反映したり、加工機の加工設計図を撮影画像に重畳したりする技術がある。
座標対応関係を求めることを、一般的にカメラの外部キャリブレーションと呼ぶ。
外部キャリブレーションでは、1つ以上の特徴点を持つキャリブレーションパタンを規定の位置において撮影を行い、撮影画像からキャリブレーションパタン内の特徴点の画素座標を検出し、その特徴点の物理座標と画素座標とを対応付けることで座標対応関係が得られる。
キャリブレーションパタンには市松模様が広く用いられている。
キャリブレーションパタンに市松模様を用いる場合は、各正方形の角(市松模様の正方形を構成する直線同士が交わる点)を特徴点として外部キャリブレーションが行われることが一般的である。
特許文献1では、市松模様によりキャリブレーションを行う手法(従来手法1という)が開示されている。
撮影画像から市松模様の交点を検出するプログラムは広く普及しており、計算機を用いることで自動的に交点を検出することができる。
特許文献2では、移動体(加工機の加工ヘッドに当たる部分)にキャリブレーションパタンを装着し、移動体(=キャリブレーションパタン)を移動させながら移動体の撮影を繰り返すことで、キャリブレーションパタンの作成コストを低減しながら外部キャリブレーションの精度を向上する手法(従来手法2という)が開示されている。 The processing machine camera application technology installs a camera in the processing machine, the camera takes a picture of the vicinity of the head of the processing machine, and uses the taken image for a GUI (Graphical User Interface) display of the processing machine, internal processing of the processing machine, etc. Technology.
In processing machine camera application technology, there is a correspondence relationship between the pixel coordinates of the captured image obtained by the camera and the physical coordinates of the processing machine (hereinafter, the relationship between the pixel coordinates of the camera image and the physical coordinates of the processing machine). (Referred to as “coordinate correspondence”), and the captured image is converted and displayed from the obtained coordinate correspondence, the recognition result of the photographed image is reflected in the internal calculation of the processing machine, and the processing design drawing of the processing machine There is a technique of superimposing on a photographed image.
Obtaining the coordinate correspondence is generally called external calibration of the camera.
In external calibration, a calibration pattern having one or more feature points is photographed at a specified position, pixel coordinates of the feature points in the calibration pattern are detected from the photographed image, and physical coordinates and pixels of the feature points are detected. Coordinate correspondence can be obtained by associating coordinates.
A checkerboard pattern is widely used for the calibration pattern.
When a checkered pattern is used for the calibration pattern, external calibration is generally performed using corners of each square (points where straight lines constituting the checkered square intersect) as feature points.
A program for detecting an intersection of checkered patterns from a captured image is widely used, and an intersection can be automatically detected by using a computer.
In Patent Document 2, a calibration pattern is created by attaching a calibration pattern to a moving body (a portion corresponding to a processing head of a processing machine) and repeatedly photographing the moving body while moving the moving body (= calibration pattern). A technique for improving the accuracy of external calibration while reducing costs (conventional technique 2) is disclosed.
外部キャリブレーションを実施した後にカメラと加工機の間で細かな相対位置ずれ(以下では、カメラと加工機の相対位置ずれを単純に「カメラ位置ずれ」という)が起こると、座標対応関係が変化してしまうため、外部キャリブレーションを再実行しなければならない。
従来手法1及び従来手法2のいずれでも、外部キャリブレーションにはキャリブレーションパタンの着脱が必要であり、特に従来手法2の外部キャリブレーションでは、移動体を複数の既定の位置に移動させながら撮影を繰り返す、という一連の作業を行う必要がある。
このように、従来手法1及び従来手法2では、カメラ位置ずれが起こる度に、加工機を用いた加工作業を止めて、座標対応関係の再取得のための外部キャリブレーションを実行しなければならないという課題がある。
特にカメラの取り付け位置と加工機が構造的に固定されていない環境、カメラの定期的な取り付け/取り外しが必要な環境といった、カメラ位置ずれが生じやすい環境では、外部キャリブレーションを頻繁に実行しなければならず、メンテナンスコストが大きい。 Coordinate correspondence changes when a small relative positional deviation occurs between the camera and the processing machine after external calibration (hereinafter, the relative positional deviation between the camera and the processing machine is simply referred to as “camera positional deviation”). Therefore, external calibration must be performed again.
In both theconventional method 1 and the conventional method 2, it is necessary to attach and detach the calibration pattern for the external calibration. In particular, in the external calibration of the conventional method 2, photographing is performed while moving the moving body to a plurality of predetermined positions. It is necessary to perform a series of operations of repeating.
As described above, in theconventional method 1 and the conventional method 2, every time the camera position shift occurs, the processing work using the processing machine must be stopped and the external calibration for reacquiring the coordinate correspondence must be executed. There is a problem.
External calibration must be performed frequently, especially in environments where camera position is prone to occur, such as environments where the camera mounting position and processing machine are not structurally fixed, or environments where periodic camera mounting / removal is required. The maintenance cost is high.
従来手法1及び従来手法2のいずれでも、外部キャリブレーションにはキャリブレーションパタンの着脱が必要であり、特に従来手法2の外部キャリブレーションでは、移動体を複数の既定の位置に移動させながら撮影を繰り返す、という一連の作業を行う必要がある。
このように、従来手法1及び従来手法2では、カメラ位置ずれが起こる度に、加工機を用いた加工作業を止めて、座標対応関係の再取得のための外部キャリブレーションを実行しなければならないという課題がある。
特にカメラの取り付け位置と加工機が構造的に固定されていない環境、カメラの定期的な取り付け/取り外しが必要な環境といった、カメラ位置ずれが生じやすい環境では、外部キャリブレーションを頻繁に実行しなければならず、メンテナンスコストが大きい。 Coordinate correspondence changes when a small relative positional deviation occurs between the camera and the processing machine after external calibration (hereinafter, the relative positional deviation between the camera and the processing machine is simply referred to as “camera positional deviation”). Therefore, external calibration must be performed again.
In both the
As described above, in the
External calibration must be performed frequently, especially in environments where camera position is prone to occur, such as environments where the camera mounting position and processing machine are not structurally fixed, or environments where periodic camera mounting / removal is required. The maintenance cost is high.
本発明は、上記の課題を解決することを主な目的としており、外部キャリブレーションを行わずに、座標対応関係を補正することを主な目的とする。
The main object of the present invention is to solve the above-mentioned problems and to correct the coordinate correspondence without performing external calibration.
本発明に係る情報処理装置は、
移動体が移動する移動空間内の物理座標と、既定の設置位置に設置され、撮影方向が前記移動空間に向けて固定されている撮影装置が前記移動空間を撮影して得られる撮影画像における画素座標との対応関係を、基準座標対応関係として記憶する記憶部と、
前記移動体が前記移動空間内で停止した際に前記撮影装置が前記移動体を撮影して得られた撮影画像における前記移動体内の特徴点の画素座標と、前記撮影装置が前記移動体を撮影した際の前記特徴点の物理座標との対応関係を、特徴点座標対応関係として抽出する抽出部と、
前記抽出部により抽出された前記特徴点座標対応関係を用いて前記基準座標対応関係を補正する補正部とを有する。 An information processing apparatus according to the present invention includes:
Pixels in a photographic image obtained by photographing the moving space with a physical coordinate in the moving space in which the moving body moves and a photographing device that is installed at a predetermined installation position and whose photographing direction is fixed toward the moving space A storage unit for storing a correspondence relationship with coordinates as a reference coordinate correspondence relationship;
When the moving body stops in the moving space, the imaging device captures the pixel coordinates of feature points in the moving body in a captured image obtained by capturing the moving body, and the imaging device captures the moving body. An extraction unit that extracts a correspondence relationship between the physical coordinates of the feature points when they are performed as a feature point coordinate correspondence relationship;
And a correction unit that corrects the reference coordinate correspondence using the feature point coordinate correspondence extracted by the extraction unit.
移動体が移動する移動空間内の物理座標と、既定の設置位置に設置され、撮影方向が前記移動空間に向けて固定されている撮影装置が前記移動空間を撮影して得られる撮影画像における画素座標との対応関係を、基準座標対応関係として記憶する記憶部と、
前記移動体が前記移動空間内で停止した際に前記撮影装置が前記移動体を撮影して得られた撮影画像における前記移動体内の特徴点の画素座標と、前記撮影装置が前記移動体を撮影した際の前記特徴点の物理座標との対応関係を、特徴点座標対応関係として抽出する抽出部と、
前記抽出部により抽出された前記特徴点座標対応関係を用いて前記基準座標対応関係を補正する補正部とを有する。 An information processing apparatus according to the present invention includes:
Pixels in a photographic image obtained by photographing the moving space with a physical coordinate in the moving space in which the moving body moves and a photographing device that is installed at a predetermined installation position and whose photographing direction is fixed toward the moving space A storage unit for storing a correspondence relationship with coordinates as a reference coordinate correspondence relationship;
When the moving body stops in the moving space, the imaging device captures the pixel coordinates of feature points in the moving body in a captured image obtained by capturing the moving body, and the imaging device captures the moving body. An extraction unit that extracts a correspondence relationship between the physical coordinates of the feature points when they are performed as a feature point coordinate correspondence relationship;
And a correction unit that corrects the reference coordinate correspondence using the feature point coordinate correspondence extracted by the extraction unit.
本発明では、移動体が移動空間内で停止した際に撮影された撮影画像における特徴点の画素座標と特徴点の物理座標との対応関係である特徴点座標対応関係を抽出し、特徴点座標対応関係を用いて基準座標対応関係を補正する。
このため、外部キャリブレーションを行わずに、座標対応関係を補正することができる。 In the present invention, the feature point coordinate correspondence, which is the correspondence between the pixel coordinates of the feature points and the physical coordinates of the feature points in the captured image taken when the moving body stops in the movement space, is extracted. The reference coordinate correspondence is corrected using the correspondence.
For this reason, the coordinate correspondence can be corrected without performing external calibration.
このため、外部キャリブレーションを行わずに、座標対応関係を補正することができる。 In the present invention, the feature point coordinate correspondence, which is the correspondence between the pixel coordinates of the feature points and the physical coordinates of the feature points in the captured image taken when the moving body stops in the movement space, is extracted. The reference coordinate correspondence is corrected using the correspondence.
For this reason, the coordinate correspondence can be corrected without performing external calibration.
実施の形態1.
***構成の説明***
図1は、本実施の形態に係るシステム構成例を示す。Embodiment 1 FIG.
*** Explanation of configuration ***
FIG. 1 shows a system configuration example according to the present embodiment.
***構成の説明***
図1は、本実施の形態に係るシステム構成例を示す。
*** Explanation of configuration ***
FIG. 1 shows a system configuration example according to the present embodiment.
図1において、情報処理装置100は、撮影装置200で撮影された撮影画像を用いた外部キャリブレーション、外部キャリブレーションにより得られた座標対応関係の補正等を行う。
また、情報処理装置100は、駆動装置400に制御信号を送信して、駆動装置400を制御する。
情報処理装置100の詳細は後述する。 In FIG. 1, theinformation processing apparatus 100 performs external calibration using a photographed image photographed by the photographing apparatus 200, correction of a coordinate correspondence obtained by the external calibration, and the like.
In addition, theinformation processing apparatus 100 transmits a control signal to the driving apparatus 400 to control the driving apparatus 400.
Details of theinformation processing apparatus 100 will be described later.
また、情報処理装置100は、駆動装置400に制御信号を送信して、駆動装置400を制御する。
情報処理装置100の詳細は後述する。 In FIG. 1, the
In addition, the
Details of the
撮影装置200は、例えばカメラである。
撮影装置200は、既定の設置位置に固定されて設置されている。
矢印Bに示されるように、撮影装置200の撮影方向は、移動空間600に向けて固定されている。
移動空間600は、移動体300が移動する空間である。
撮影装置200で撮影された撮影画像は、外部キャリブレーションに用いられる。
また、撮影装置200で撮影された撮影画像は画像変換されて、移動体300の位置制御に用いられる。 Theimaging device 200 is a camera, for example.
The photographingapparatus 200 is fixedly installed at a predetermined installation position.
As indicated by an arrow B, the shooting direction of theshooting device 200 is fixed toward the moving space 600.
Themoving space 600 is a space in which the moving body 300 moves.
A photographed image photographed by the photographingapparatus 200 is used for external calibration.
The captured image captured by theimage capturing apparatus 200 is converted into an image and used for position control of the moving body 300.
撮影装置200は、既定の設置位置に固定されて設置されている。
矢印Bに示されるように、撮影装置200の撮影方向は、移動空間600に向けて固定されている。
移動空間600は、移動体300が移動する空間である。
撮影装置200で撮影された撮影画像は、外部キャリブレーションに用いられる。
また、撮影装置200で撮影された撮影画像は画像変換されて、移動体300の位置制御に用いられる。 The
The photographing
As indicated by an arrow B, the shooting direction of the
The
A photographed image photographed by the photographing
The captured image captured by the
移動体300は、本実施の形態では、材料を加工する加工機のヘッド(可動部分)である。
移動体300は、駆動装置400の制御により、加工テーブル500上をX軸方向、Y軸方向及びZ軸方向に移動する。
加工テーブル500は、移動体300により加工される材料が配置される板状の台である。
移動体300は、加工テーブル500上を移動し、例えば、加工テーブル500に配置されている材料にレーザを照射して材料の切断、削孔等の加工を行う。
移動体300が移動する空間を移動空間600という。
移動空間600のX軸方向の寸法は、例えば、加工テーブル500のX軸方向の寸法(横幅)に一致し、Y軸方向の寸法は、加工テーブル500のY軸方向の寸法(奥行)に一致する。
Z軸方向の寸法は、5cm程度である。
図1では作図上の理由より、Z軸方向の寸法が大きく描画されているが、実際の寸法は5cm程度である。 In the present embodiment, the movingbody 300 is a head (movable part) of a processing machine that processes a material.
The movingbody 300 moves on the processing table 500 in the X-axis direction, the Y-axis direction, and the Z-axis direction under the control of the driving device 400.
The processing table 500 is a plate-like table on which a material processed by the movingbody 300 is arranged.
The movingbody 300 moves on the processing table 500 and, for example, irradiates the material disposed on the processing table 500 with a laser to perform processing such as material cutting and drilling.
A space in which the movingbody 300 moves is referred to as a moving space 600.
The dimension of the movingspace 600 in the X-axis direction matches, for example, the dimension (horizontal width) of the machining table 500 in the X-axis direction, and the dimension of the Y-axis direction matches the dimension of the machining table 500 in the Y-axis direction (depth). To do.
The dimension in the Z-axis direction is about 5 cm.
In FIG. 1, the dimension in the Z-axis direction is drawn large for reasons of drawing, but the actual dimension is about 5 cm.
移動体300は、駆動装置400の制御により、加工テーブル500上をX軸方向、Y軸方向及びZ軸方向に移動する。
加工テーブル500は、移動体300により加工される材料が配置される板状の台である。
移動体300は、加工テーブル500上を移動し、例えば、加工テーブル500に配置されている材料にレーザを照射して材料の切断、削孔等の加工を行う。
移動体300が移動する空間を移動空間600という。
移動空間600のX軸方向の寸法は、例えば、加工テーブル500のX軸方向の寸法(横幅)に一致し、Y軸方向の寸法は、加工テーブル500のY軸方向の寸法(奥行)に一致する。
Z軸方向の寸法は、5cm程度である。
図1では作図上の理由より、Z軸方向の寸法が大きく描画されているが、実際の寸法は5cm程度である。 In the present embodiment, the moving
The moving
The processing table 500 is a plate-like table on which a material processed by the moving
The moving
A space in which the moving
The dimension of the moving
The dimension in the Z-axis direction is about 5 cm.
In FIG. 1, the dimension in the Z-axis direction is drawn large for reasons of drawing, but the actual dimension is about 5 cm.
駆動装置400は、情報処理装置100からの制御信号に基づいて、移動体300を駆動する。
The driving device 400 drives the moving body 300 based on a control signal from the information processing device 100.
図13は、撮影装置200が加工テーブル500を撮影して得られた撮影画像の例を示す。
つまり、図13の撮影画像は、図1の矢印Bを視点方向とする撮影画像である。
図13では、加工テーブル500上に材料700が置かれている。
情報処理装置100では、図13の撮影画像の画像変換を行って、図1の矢印Aを視点方向とする図14の撮影画像を取得する。
そして、情報処理装置100は、駆動装置400を制御して、図14の撮影画像の所望の画素座標(例えば、材料700の左上の角)に対応する物理座標(三次元座標ともいう)に移動体300を移動させて、材料700に対する加工を行わせる。
このような作業は、外部キャリブレーションにより得られた、撮影画像(図13)内の画素座標と物理座標との座標対応関係を用いて行われる。 FIG. 13 shows an example of a photographed image obtained by photographing the processing table 500 by the photographingapparatus 200.
That is, the photographed image in FIG. 13 is a photographed image with the arrow B in FIG. 1 as the viewpoint direction.
In FIG. 13, thematerial 700 is placed on the processing table 500.
Theinformation processing apparatus 100 performs image conversion of the captured image in FIG. 13 to obtain the captured image in FIG. 14 with the arrow A in FIG. 1 as the viewpoint direction.
Then, theinformation processing apparatus 100 controls the driving device 400 to move to physical coordinates (also referred to as three-dimensional coordinates) corresponding to desired pixel coordinates (for example, the upper left corner of the material 700) of the captured image in FIG. The body 300 is moved, and the material 700 is processed.
Such an operation is performed using the coordinate correspondence relationship between the pixel coordinates and physical coordinates in the captured image (FIG. 13) obtained by external calibration.
つまり、図13の撮影画像は、図1の矢印Bを視点方向とする撮影画像である。
図13では、加工テーブル500上に材料700が置かれている。
情報処理装置100では、図13の撮影画像の画像変換を行って、図1の矢印Aを視点方向とする図14の撮影画像を取得する。
そして、情報処理装置100は、駆動装置400を制御して、図14の撮影画像の所望の画素座標(例えば、材料700の左上の角)に対応する物理座標(三次元座標ともいう)に移動体300を移動させて、材料700に対する加工を行わせる。
このような作業は、外部キャリブレーションにより得られた、撮影画像(図13)内の画素座標と物理座標との座標対応関係を用いて行われる。 FIG. 13 shows an example of a photographed image obtained by photographing the processing table 500 by the photographing
That is, the photographed image in FIG. 13 is a photographed image with the arrow B in FIG. 1 as the viewpoint direction.
In FIG. 13, the
The
Then, the
Such an operation is performed using the coordinate correspondence relationship between the pixel coordinates and physical coordinates in the captured image (FIG. 13) obtained by external calibration.
駆動装置400による振動等によって撮影装置200と移動空間600との間に相対的な位置ずれ(カメラ位置ずれ)が発生した場合には、座標対応関係を修正する必要がある。
本実施の形態に係る情報処理装置100は、カメラ位置ずれが生じた場合でも、移動体300を用いた加工を継続しながら、座標対応関係の修正を行うことができる。 When a relative position shift (camera position shift) occurs between theimage capturing apparatus 200 and the moving space 600 due to vibration or the like by the driving device 400, it is necessary to correct the coordinate correspondence.
Theinformation processing apparatus 100 according to the present embodiment can correct the coordinate correspondence while continuing the processing using the moving body 300 even when the camera position shift occurs.
本実施の形態に係る情報処理装置100は、カメラ位置ずれが生じた場合でも、移動体300を用いた加工を継続しながら、座標対応関係の修正を行うことができる。 When a relative position shift (camera position shift) occurs between the
The
図2は、本実施の形態に係る情報処理装置100の機能モジュール構成例を示す。
なお、図2は、外部キャリブレーション処理、座標対応関係の補正処理に関する機能モジュール構成のみを示している。
上述したように、本実施の形態に係る情報処理装置100は、図13及び図14を用いて説明した撮影画像の画像変換処理、駆動装置400の制御処理等も実施するが、これら画像変換処理、制御処理に関する機能モジュール構成は図2には示していない。 FIG. 2 shows a functional module configuration example of theinformation processing apparatus 100 according to the present embodiment.
FIG. 2 shows only the functional module configuration related to external calibration processing and coordinate correspondence correction processing.
As described above, theinformation processing apparatus 100 according to the present embodiment also performs the image conversion process of the captured image described with reference to FIGS. 13 and 14, the control process of the driving device 400, and the like. The functional module configuration related to the control processing is not shown in FIG.
なお、図2は、外部キャリブレーション処理、座標対応関係の補正処理に関する機能モジュール構成のみを示している。
上述したように、本実施の形態に係る情報処理装置100は、図13及び図14を用いて説明した撮影画像の画像変換処理、駆動装置400の制御処理等も実施するが、これら画像変換処理、制御処理に関する機能モジュール構成は図2には示していない。 FIG. 2 shows a functional module configuration example of the
FIG. 2 shows only the functional module configuration related to external calibration processing and coordinate correspondence correction processing.
As described above, the
画像取得部101は、撮影装置200で撮影された撮影画像を取得する。
The image acquisition unit 101 acquires a captured image captured by the imaging device 200.
第一のキャリブレーション処理部102は、外部キャリブレーションを行う。
第一のキャリブレーション処理部102は、例えば、従来手法1及び従来手法2の外部キャリブレーションを行う。
第一のキャリブレーション処理部102による外部キャリブレーション(第一のキャリブレーションという)により得られた物理座標と画素座標との座標対応関係を第一の座標対応関係という。
第一の座標対応関係は、移動空間600内の物理座標と撮影装置200が移動空間600を撮影して得られる撮影画像における画素座標との対応関係であり、基準座標対応関係の例に相当する。 The firstcalibration processing unit 102 performs external calibration.
The firstcalibration processing unit 102 performs external calibration of the conventional method 1 and the conventional method 2, for example.
The coordinate correspondence between physical coordinates and pixel coordinates obtained by external calibration (referred to as first calibration) by the firstcalibration processing unit 102 is referred to as a first coordinate correspondence.
The first coordinate correspondence is a correspondence between physical coordinates in the movingspace 600 and pixel coordinates in a captured image obtained by the photographing apparatus 200 photographing the moving space 600, and corresponds to an example of a reference coordinate correspondence. .
第一のキャリブレーション処理部102は、例えば、従来手法1及び従来手法2の外部キャリブレーションを行う。
第一のキャリブレーション処理部102による外部キャリブレーション(第一のキャリブレーションという)により得られた物理座標と画素座標との座標対応関係を第一の座標対応関係という。
第一の座標対応関係は、移動空間600内の物理座標と撮影装置200が移動空間600を撮影して得られる撮影画像における画素座標との対応関係であり、基準座標対応関係の例に相当する。 The first
The first
The coordinate correspondence between physical coordinates and pixel coordinates obtained by external calibration (referred to as first calibration) by the first
The first coordinate correspondence is a correspondence between physical coordinates in the moving
第二のキャリブレーション処理部103は、第一の座標対応関係を補正するためのキャリブレーション(第二のキャリブレーションという)を行う。
第二のキャリブレーション処理部103は、特徴点検出部104、差分算出部105、補正部106を含む。 The secondcalibration processing unit 103 performs calibration for correcting the first coordinate correspondence (referred to as second calibration).
The secondcalibration processing unit 103 includes a feature point detection unit 104, a difference calculation unit 105, and a correction unit 106.
第二のキャリブレーション処理部103は、特徴点検出部104、差分算出部105、補正部106を含む。 The second
The second
特徴点検出部104は、移動体300が移動空間600内で停止した際に撮影装置200が移動体300を撮影して得られた撮影画像における移動体300内の特徴点の画素座標と、撮影装置200が移動体300を撮影した際の特徴点の物理座標との対応関係を抽出する。
特徴点は、移動体300に設けられたキャリブレーションパタンの特徴点である。
特徴点検出部104は、撮影画像においてキャリブレーションパタンの特徴点を抽出し、抽出した特徴点の画素座標と、特徴点の物理座標との対応関係を抽出する。
特徴点検出部104は、第一のキャリブレーションの直前又は直後、または、第一のキャリブレーションと同時に、特徴点の画素座標と特徴点の物理座標との対応関係を抽出する。
このように、第一のキャリブレーションの直前又は直後、または、第一のキャリブレーションと同時に抽出された特徴点の画素座標と特徴点の物理座標との対応関係を、第二の座標対応関係という。
第二の座標対応関係は、第一のキャリブレーションの直前又は直後、または、第一のキャリブレーションと同時に抽出された対応関係であるため、第一の座標対応関係と整合している。
つまり、第一の座標対応関係と第二の座標対応関係との間には相対的な位置ずれはない。
なお、第二の座標対応関係は、照合座標対応関係の例に相当する。
また、特徴点検出部104は、第二の座標対応関係が得られた後に、随時、移動体300が移動空間600内で停止した際に撮影装置200が移動体300を撮影して得られた撮影画像における移動体300内の特徴点の画素座標と、撮影装置200が移動体300を撮影した際の特徴点の物理座標との対応関係を抽出する。
第二の座標対応関係が得られた後に得られた、特徴点の画素座標と特徴点の物理座標との対応関係を、第三の座標対応関係という。
第三の座標対応関係は、第二の座標対応関係と整合していない可能性がある。
第三の座標対応関係は、特徴点座標対応関係の例に相当する。
また、特徴点検出部104は、抽出部の例に相当する。 The featurepoint detection unit 104 detects the pixel coordinates of the feature points in the moving body 300 in the captured image obtained by the imaging apparatus 200 capturing the moving body 300 when the moving body 300 stops in the moving space 600, and the imaging. The correspondence relationship between the physical coordinates of the feature points when the apparatus 200 captures the moving body 300 is extracted.
The feature point is a feature point of a calibration pattern provided in the movingbody 300.
The featurepoint detection unit 104 extracts the feature points of the calibration pattern from the captured image, and extracts the correspondence between the pixel coordinates of the extracted feature points and the physical coordinates of the feature points.
The featurepoint detection unit 104 extracts the correspondence between the pixel coordinates of the feature points and the physical coordinates of the feature points immediately before or after the first calibration or simultaneously with the first calibration.
Thus, the correspondence between the pixel coordinates of the feature points extracted immediately before or immediately after the first calibration or simultaneously with the first calibration and the physical coordinates of the feature points is referred to as a second coordinate correspondence. .
Since the second coordinate correspondence is a correspondence extracted immediately before or immediately after the first calibration or simultaneously with the first calibration, the second coordinate correspondence is consistent with the first coordinate correspondence.
That is, there is no relative displacement between the first coordinate correspondence and the second coordinate correspondence.
Note that the second coordinate correspondence relationship corresponds to an example of a matching coordinate correspondence relationship.
In addition, the featurepoint detection unit 104 is obtained by the imaging apparatus 200 imaging the moving body 300 when the moving body 300 stops in the moving space 600 as needed after the second coordinate correspondence is obtained. A correspondence relationship between the pixel coordinates of the feature points in the moving body 300 in the captured image and the physical coordinates of the feature points when the imaging apparatus 200 captures the moving body 300 is extracted.
The correspondence between the pixel coordinates of the feature point and the physical coordinates of the feature point obtained after the second coordinate correspondence is obtained is referred to as a third coordinate correspondence.
The third coordinate correspondence may not be consistent with the second coordinate correspondence.
The third coordinate correspondence corresponds to an example of the feature point coordinate correspondence.
The featurepoint detection unit 104 corresponds to an example of an extraction unit.
特徴点は、移動体300に設けられたキャリブレーションパタンの特徴点である。
特徴点検出部104は、撮影画像においてキャリブレーションパタンの特徴点を抽出し、抽出した特徴点の画素座標と、特徴点の物理座標との対応関係を抽出する。
特徴点検出部104は、第一のキャリブレーションの直前又は直後、または、第一のキャリブレーションと同時に、特徴点の画素座標と特徴点の物理座標との対応関係を抽出する。
このように、第一のキャリブレーションの直前又は直後、または、第一のキャリブレーションと同時に抽出された特徴点の画素座標と特徴点の物理座標との対応関係を、第二の座標対応関係という。
第二の座標対応関係は、第一のキャリブレーションの直前又は直後、または、第一のキャリブレーションと同時に抽出された対応関係であるため、第一の座標対応関係と整合している。
つまり、第一の座標対応関係と第二の座標対応関係との間には相対的な位置ずれはない。
なお、第二の座標対応関係は、照合座標対応関係の例に相当する。
また、特徴点検出部104は、第二の座標対応関係が得られた後に、随時、移動体300が移動空間600内で停止した際に撮影装置200が移動体300を撮影して得られた撮影画像における移動体300内の特徴点の画素座標と、撮影装置200が移動体300を撮影した際の特徴点の物理座標との対応関係を抽出する。
第二の座標対応関係が得られた後に得られた、特徴点の画素座標と特徴点の物理座標との対応関係を、第三の座標対応関係という。
第三の座標対応関係は、第二の座標対応関係と整合していない可能性がある。
第三の座標対応関係は、特徴点座標対応関係の例に相当する。
また、特徴点検出部104は、抽出部の例に相当する。 The feature
The feature point is a feature point of a calibration pattern provided in the moving
The feature
The feature
Thus, the correspondence between the pixel coordinates of the feature points extracted immediately before or immediately after the first calibration or simultaneously with the first calibration and the physical coordinates of the feature points is referred to as a second coordinate correspondence. .
Since the second coordinate correspondence is a correspondence extracted immediately before or immediately after the first calibration or simultaneously with the first calibration, the second coordinate correspondence is consistent with the first coordinate correspondence.
That is, there is no relative displacement between the first coordinate correspondence and the second coordinate correspondence.
Note that the second coordinate correspondence relationship corresponds to an example of a matching coordinate correspondence relationship.
In addition, the feature
The correspondence between the pixel coordinates of the feature point and the physical coordinates of the feature point obtained after the second coordinate correspondence is obtained is referred to as a third coordinate correspondence.
The third coordinate correspondence may not be consistent with the second coordinate correspondence.
The third coordinate correspondence corresponds to an example of the feature point coordinate correspondence.
The feature
差分算出部105は、第二の座標対応関係と第三の座標対応関係との差分を算出する。
The difference calculation unit 105 calculates a difference between the second coordinate correspondence and the third coordinate correspondence.
補正部106は、第三の座標対応関係を用いて第一の座標対応関係を補正する。
より具体的には、補正部106は、差分算出部105により算出された第二の座標対応関係と第三の座標対応関係との差分を用いて、第一の座標対応関係を補正する。 The correctingunit 106 corrects the first coordinate correspondence using the third coordinate correspondence.
More specifically, thecorrection unit 106 corrects the first coordinate correspondence using the difference between the second coordinate correspondence and the third coordinate correspondence calculated by the difference calculation unit 105.
より具体的には、補正部106は、差分算出部105により算出された第二の座標対応関係と第三の座標対応関係との差分を用いて、第一の座標対応関係を補正する。 The correcting
More specifically, the
記憶部107は、画像取得部101により取得された撮影画像を記憶する。
また、記憶部107は、第一の座標対応関係が示される第一の座標対応関係情報を記憶する。
また、記憶部107は、第二の座標対応関係が示される第二の座標対応関係情報を記憶する。
また、記憶部107は、第三の座標対応関係が示される第三の座標対応関係情報を記憶する。
また、記憶部107は、差分算出部105により算出された第二の座標対応関係と第三の座標対応関係との差分が示される座標対応関係差分情報を記憶する。 Thestorage unit 107 stores the captured image acquired by the image acquisition unit 101.
Thestorage unit 107 stores first coordinate correspondence information indicating the first coordinate correspondence.
Thestorage unit 107 stores second coordinate correspondence information indicating the second coordinate correspondence.
Thestorage unit 107 stores third coordinate correspondence information indicating the third coordinate correspondence.
In addition, thestorage unit 107 stores coordinate correspondence relationship difference information indicating a difference between the second coordinate correspondence and the third coordinate correspondence calculated by the difference calculation unit 105.
また、記憶部107は、第一の座標対応関係が示される第一の座標対応関係情報を記憶する。
また、記憶部107は、第二の座標対応関係が示される第二の座標対応関係情報を記憶する。
また、記憶部107は、第三の座標対応関係が示される第三の座標対応関係情報を記憶する。
また、記憶部107は、差分算出部105により算出された第二の座標対応関係と第三の座標対応関係との差分が示される座標対応関係差分情報を記憶する。 The
The
The
The
In addition, the
図3は、本実施の形態に係る情報処理装置100のハードウェア構成例を示す。
情報処理装置100は、コンピュータであり、演算装置11と記憶装置12を備える。
演算装置11は、CPU(Central Processing Unit)等のプロセッサであり、プロセッシングを行うIC(Integrated Circuit)である。
記憶装置12は、RAM(Random Access Memory)等のメモリである。
記憶装置12は、図2の記憶部107に対応する。
記憶装置12には、プログラムが記憶されている。
具体的には、記憶装置12には、画像取得部101の機能を実現する画像取得プログラム1010が記憶されている。
また、記憶装置12には、第一のキャリブレーション処理部102の機能を実現する第一のキャリブレーションプログラム1020が記憶されている。
また、記憶装置12には、第二のキャリブレーション処理部103の機能を実現する第二のキャリブレーションプログラム1030が記憶されている。
第二のキャリブレーションプログラム1030には、特徴点検出部104の機能を実現する特徴点抽出プログラム1040と、差分算出部105の機能を実現する差分算出プログラム1050と、補正部106の機能を実現する補正プログラム1060が含まれる。
また、図3には図示していないが、記憶装置12には、OS(Operating System)も記憶されている。
演算装置11がOSを実行しながら、図3に示すプログラムを実行することで、第一のキャリブレーション処理部102、第二のキャリブレーション処理部103、特徴点検出部104、差分算出部105、補正部106の機能が実行される。
なお、第二のキャリブレーションプログラム1030が、キャリブレーション処理プログラムの例に相当する。
また、記憶装置12には、第一の座標対応関係情報1111、第二の座標対応関係情報1112、第三の座標対応関係情報1113、座標対応関係差分情報1114、撮影画像1120、1121も記憶されている。
なお、情報処理装置100は、演算装置11、記憶装置12以外に、マウス、キーボード、タッチパネル等の入力装置、LCD(Liquid Crystal Display)等のディスプレイ、通信チップ、NIC(Network Interface Card)等の通信装置を備えていてもよい。 FIG. 3 shows a hardware configuration example of theinformation processing apparatus 100 according to the present embodiment.
Theinformation processing apparatus 100 is a computer and includes an arithmetic device 11 and a storage device 12.
Thearithmetic device 11 is a processor such as a CPU (Central Processing Unit) and is an IC (Integrated Circuit) that performs processing.
Thestorage device 12 is a memory such as a RAM (Random Access Memory).
Thestorage device 12 corresponds to the storage unit 107 in FIG.
Thestorage device 12 stores a program.
Specifically, thestorage device 12 stores an image acquisition program 1010 that realizes the function of the image acquisition unit 101.
Further, thestorage device 12 stores a first calibration program 1020 that realizes the function of the first calibration processing unit 102.
Thestorage device 12 stores a second calibration program 1030 that realizes the function of the second calibration processing unit 103.
In thesecond calibration program 1030, the feature point extraction program 1040 that realizes the function of the feature point detection unit 104, the difference calculation program 1050 that realizes the function of the difference calculation unit 105, and the function of the correction unit 106 are realized. A correction program 1060 is included.
Although not shown in FIG. 3, thestorage device 12 also stores an OS (Operating System).
By executing the program shown in FIG. 3 while thecomputing device 11 executes the OS, the first calibration processing unit 102, the second calibration processing unit 103, the feature point detection unit 104, the difference calculation unit 105, The function of the correction unit 106 is executed.
Note that thesecond calibration program 1030 corresponds to an example of a calibration processing program.
Thestorage device 12 also stores first coordinate correspondence information 1111, second coordinate correspondence information 1112, third coordinate correspondence information 1113, coordinate correspondence difference information 1114, and captured images 1120 and 1121. ing.
In addition to thearithmetic device 11 and the storage device 12, the information processing device 100 includes an input device such as a mouse, a keyboard, and a touch panel, a display such as an LCD (Liquid Crystal Display), a communication chip, and a communication such as a NIC (Network Interface Card). An apparatus may be provided.
情報処理装置100は、コンピュータであり、演算装置11と記憶装置12を備える。
演算装置11は、CPU(Central Processing Unit)等のプロセッサであり、プロセッシングを行うIC(Integrated Circuit)である。
記憶装置12は、RAM(Random Access Memory)等のメモリである。
記憶装置12は、図2の記憶部107に対応する。
記憶装置12には、プログラムが記憶されている。
具体的には、記憶装置12には、画像取得部101の機能を実現する画像取得プログラム1010が記憶されている。
また、記憶装置12には、第一のキャリブレーション処理部102の機能を実現する第一のキャリブレーションプログラム1020が記憶されている。
また、記憶装置12には、第二のキャリブレーション処理部103の機能を実現する第二のキャリブレーションプログラム1030が記憶されている。
第二のキャリブレーションプログラム1030には、特徴点検出部104の機能を実現する特徴点抽出プログラム1040と、差分算出部105の機能を実現する差分算出プログラム1050と、補正部106の機能を実現する補正プログラム1060が含まれる。
また、図3には図示していないが、記憶装置12には、OS(Operating System)も記憶されている。
演算装置11がOSを実行しながら、図3に示すプログラムを実行することで、第一のキャリブレーション処理部102、第二のキャリブレーション処理部103、特徴点検出部104、差分算出部105、補正部106の機能が実行される。
なお、第二のキャリブレーションプログラム1030が、キャリブレーション処理プログラムの例に相当する。
また、記憶装置12には、第一の座標対応関係情報1111、第二の座標対応関係情報1112、第三の座標対応関係情報1113、座標対応関係差分情報1114、撮影画像1120、1121も記憶されている。
なお、情報処理装置100は、演算装置11、記憶装置12以外に、マウス、キーボード、タッチパネル等の入力装置、LCD(Liquid Crystal Display)等のディスプレイ、通信チップ、NIC(Network Interface Card)等の通信装置を備えていてもよい。 FIG. 3 shows a hardware configuration example of the
The
The
The
The
The
Specifically, the
Further, the
The
In the
Although not shown in FIG. 3, the
By executing the program shown in FIG. 3 while the
Note that the
The
In addition to the
***動作の説明***
次に、本実施の形態に係る動作例を説明する。 *** Explanation of operation ***
Next, an operation example according to the present embodiment will be described.
次に、本実施の形態に係る動作例を説明する。 *** Explanation of operation ***
Next, an operation example according to the present embodiment will be described.
移動体300を用いた加工を行う者(以下、オペレータという)が、情報処理装置100に対して移動体300の移動経路を表す任意の制御命令を与える。
情報処理装置100では、図2に図示していない制御手段が、制御命令で指定された位置に移動体300を移動させるための制御信号を駆動装置400に出力する。
駆動装置400は制御信号に従って移動体300を移動させる。
移動体300は複数の制御命令の組み合わせにより移動空間600内の任意の位置に異動させることができる。
制御命令を制御手段に事前に記録しておき、オペレータが任意の制御命令を呼び出すことができる。
また、オペレータは、呼び出した制御命令を複数のステップに分け、ステップごとに実行タイミングを指定することができる。
また、制御命令を制御手段に事前に記録せずに、オペレータが、情報処理装置100の外部から制御命令を入力することも可能である。 A person who performs processing using the moving body 300 (hereinafter referred to as an operator) gives an arbitrary control command representing the moving path of the movingbody 300 to the information processing apparatus 100.
In theinformation processing apparatus 100, a control unit (not shown in FIG. 2) outputs a control signal for moving the moving body 300 to the position specified by the control command to the driving apparatus 400.
Thedriving device 400 moves the moving body 300 according to the control signal.
The movingbody 300 can be moved to an arbitrary position in the moving space 600 by a combination of a plurality of control commands.
The control command is recorded in advance in the control means, and the operator can call any control command.
In addition, the operator can divide the called control command into a plurality of steps and specify the execution timing for each step.
It is also possible for an operator to input a control command from outside theinformation processing apparatus 100 without recording the control command in advance in the control means.
情報処理装置100では、図2に図示していない制御手段が、制御命令で指定された位置に移動体300を移動させるための制御信号を駆動装置400に出力する。
駆動装置400は制御信号に従って移動体300を移動させる。
移動体300は複数の制御命令の組み合わせにより移動空間600内の任意の位置に異動させることができる。
制御命令を制御手段に事前に記録しておき、オペレータが任意の制御命令を呼び出すことができる。
また、オペレータは、呼び出した制御命令を複数のステップに分け、ステップごとに実行タイミングを指定することができる。
また、制御命令を制御手段に事前に記録せずに、オペレータが、情報処理装置100の外部から制御命令を入力することも可能である。 A person who performs processing using the moving body 300 (hereinafter referred to as an operator) gives an arbitrary control command representing the moving path of the moving
In the
The
The moving
The control command is recorded in advance in the control means, and the operator can call any control command.
In addition, the operator can divide the called control command into a plurality of steps and specify the execution timing for each step.
It is also possible for an operator to input a control command from outside the
撮影装置200は、オペレータの意図する任意のタイミングで移動体300を撮影できる。
撮影画像は情報処理装置100で保持される。
情報処理装置100が撮影のタイミングを指示してもよいし、オペレータが制御命令を用いて撮影タイミングを指示してもよい。 The photographingapparatus 200 can photograph the moving body 300 at an arbitrary timing intended by the operator.
The captured image is held by theinformation processing apparatus 100.
Theinformation processing apparatus 100 may instruct the shooting timing, or the operator may instruct the shooting timing using a control command.
撮影画像は情報処理装置100で保持される。
情報処理装置100が撮影のタイミングを指示してもよいし、オペレータが制御命令を用いて撮影タイミングを指示してもよい。 The photographing
The captured image is held by the
The
図4は、本実施の形態に係る情報処理装置100の動作例を示す。
また、図5は、本実施の形態に係る情報処理装置100におけるデータフロー例を示す。
以下、図4及び図5を用いて、本実施の形態に係る情報処理装置100の動作例を説明する。
なお、以下にて説明する手順は、キャリブレーション方法の例に相当する。 FIG. 4 shows an operation example of theinformation processing apparatus 100 according to the present embodiment.
FIG. 5 shows a data flow example in theinformation processing apparatus 100 according to the present embodiment.
Hereinafter, an operation example of theinformation processing apparatus 100 according to the present embodiment will be described with reference to FIGS. 4 and 5.
Note that the procedure described below corresponds to an example of a calibration method.
また、図5は、本実施の形態に係る情報処理装置100におけるデータフロー例を示す。
以下、図4及び図5を用いて、本実施の形態に係る情報処理装置100の動作例を説明する。
なお、以下にて説明する手順は、キャリブレーション方法の例に相当する。 FIG. 4 shows an operation example of the
FIG. 5 shows a data flow example in the
Hereinafter, an operation example of the
Note that the procedure described below corresponds to an example of a calibration method.
まず、第一のキャリブレーション処理部102が、第一のキャリブレーションを行う(図4のS401)。
第一のキャリブレーション処理部102は、撮影装置200の撮影画像を画像取得部101から取得し、移動体300の物理座標を制御手段から取得し、撮影画像と移動体の物理座標とに基づき、第一のキャリブレーションを行う。
本明細書では、第一のキャリブレーションの実現方法は特に指定しない。
第一のキャリブレーション処理部102は、従来手法1のように、市松模様のキャリブレーションパタンを用いて座標対応関係を取得してもよいし、従来手法2のように、移動体にキャリブレーションパタンを装着して座標対応関係を取得してもよい。
また、第一のキャリブレーション処理部102は、他の手法により、座標対応関係を取得してもよい。
第一のキャリブレーション処理部102により得られた画素座標と三次元物理座標との対応関係である第一の座標対応関係は、記憶部107に記憶される。 First, the firstcalibration processing unit 102 performs first calibration (S401 in FIG. 4).
The firstcalibration processing unit 102 acquires a captured image of the imaging device 200 from the image acquisition unit 101, acquires physical coordinates of the moving body 300 from the control unit, and based on the captured image and the physical coordinates of the moving body, Perform the first calibration.
In this specification, the method for realizing the first calibration is not particularly specified.
The firstcalibration processing unit 102 may acquire the coordinate correspondence using a checkered pattern calibration pattern as in the conventional method 1, or the moving pattern may be calibrated to the moving body as in the conventional method 2. May be attached to obtain the coordinate correspondence.
In addition, the firstcalibration processing unit 102 may acquire the coordinate correspondence by another method.
The first coordinate correspondence that is the correspondence between the pixel coordinates and the three-dimensional physical coordinates obtained by the firstcalibration processing unit 102 is stored in the storage unit 107.
第一のキャリブレーション処理部102は、撮影装置200の撮影画像を画像取得部101から取得し、移動体300の物理座標を制御手段から取得し、撮影画像と移動体の物理座標とに基づき、第一のキャリブレーションを行う。
本明細書では、第一のキャリブレーションの実現方法は特に指定しない。
第一のキャリブレーション処理部102は、従来手法1のように、市松模様のキャリブレーションパタンを用いて座標対応関係を取得してもよいし、従来手法2のように、移動体にキャリブレーションパタンを装着して座標対応関係を取得してもよい。
また、第一のキャリブレーション処理部102は、他の手法により、座標対応関係を取得してもよい。
第一のキャリブレーション処理部102により得られた画素座標と三次元物理座標との対応関係である第一の座標対応関係は、記憶部107に記憶される。 First, the first
The first
In this specification, the method for realizing the first calibration is not particularly specified.
The first
In addition, the first
The first coordinate correspondence that is the correspondence between the pixel coordinates and the three-dimensional physical coordinates obtained by the first
次に、準備段階として、第二のキャリブレーション処理部103が第二の座標対応関係を取得する(S402~S405)。
第二の座標対応関係は、移動体300に設けられたキャリブレーションパタンの特徴点を抽出することで取得される。
キャリブレーションパタンは移動体300に常設された、1個以上の特徴点を持つ撮像対象である。
キャリブレーションパタンの最も簡単な例は、図6に示すような1個の特徴点を持つ市松模様である。
キャリブレーションパタンは、移動体300に部品として装着してもよい。
また、塗装、貼付、削り出し、刻印のいずれかによりキャリブレーションパタンを移動体300に設けてもよい。
また、移動体300の一部を変形させて、キャリブレーションパタンを移動体300に設けてもよい。
キャリブレーションパタンは、撮影装置200から撮影可能な位置に設けられる。
キャリブレーションパタンは、移動体300の一方向、例えば前面にのみ設けてもよいし、移動体300の全ての面に設けてもよい。
また、移動体300にキャリブレーションパタンを取り付けるに当たって、あらかじめ制御手段で管理している移動体300の三次元座標(x,y,z)と、キャリブレーションパタンの特徴点の三次元座標(x’,y’,z’)の関係を測定しておく。
なお、前述したキャリブレーションパタンの形状、実装方法、取り付け位置は一例である。 Next, as a preparation stage, the secondcalibration processing unit 103 acquires a second coordinate correspondence (S402 to S405).
The second coordinate correspondence is acquired by extracting feature points of calibration patterns provided on the movingbody 300.
The calibration pattern is an imaging target having one or more feature points that is permanently installed in the movingbody 300.
The simplest example of the calibration pattern is a checkered pattern having one feature point as shown in FIG.
The calibration pattern may be mounted on the movingbody 300 as a part.
Further, the calibration pattern may be provided on the movingbody 300 by any one of painting, sticking, cutting, and engraving.
Further, a part of the movingbody 300 may be deformed and the calibration pattern may be provided in the moving body 300.
The calibration pattern is provided at a position where photographing can be performed from the photographingapparatus 200.
The calibration pattern may be provided only in one direction of the movingbody 300, for example, the front surface, or may be provided on all surfaces of the moving body 300.
Further, when the calibration pattern is attached to the movingbody 300, the three-dimensional coordinates (x, y, z) of the moving body 300 managed in advance by the control means, and the three-dimensional coordinates (x ′) of the feature points of the calibration pattern. , Y ′, z ′) is measured in advance.
The shape, mounting method, and mounting position of the calibration pattern described above are examples.
第二の座標対応関係は、移動体300に設けられたキャリブレーションパタンの特徴点を抽出することで取得される。
キャリブレーションパタンは移動体300に常設された、1個以上の特徴点を持つ撮像対象である。
キャリブレーションパタンの最も簡単な例は、図6に示すような1個の特徴点を持つ市松模様である。
キャリブレーションパタンは、移動体300に部品として装着してもよい。
また、塗装、貼付、削り出し、刻印のいずれかによりキャリブレーションパタンを移動体300に設けてもよい。
また、移動体300の一部を変形させて、キャリブレーションパタンを移動体300に設けてもよい。
キャリブレーションパタンは、撮影装置200から撮影可能な位置に設けられる。
キャリブレーションパタンは、移動体300の一方向、例えば前面にのみ設けてもよいし、移動体300の全ての面に設けてもよい。
また、移動体300にキャリブレーションパタンを取り付けるに当たって、あらかじめ制御手段で管理している移動体300の三次元座標(x,y,z)と、キャリブレーションパタンの特徴点の三次元座標(x’,y’,z’)の関係を測定しておく。
なお、前述したキャリブレーションパタンの形状、実装方法、取り付け位置は一例である。 Next, as a preparation stage, the second
The second coordinate correspondence is acquired by extracting feature points of calibration patterns provided on the moving
The calibration pattern is an imaging target having one or more feature points that is permanently installed in the moving
The simplest example of the calibration pattern is a checkered pattern having one feature point as shown in FIG.
The calibration pattern may be mounted on the moving
Further, the calibration pattern may be provided on the moving
Further, a part of the moving
The calibration pattern is provided at a position where photographing can be performed from the photographing
The calibration pattern may be provided only in one direction of the moving
Further, when the calibration pattern is attached to the moving
The shape, mounting method, and mounting position of the calibration pattern described above are examples.
図4のS402~S405は、第一のキャリブレーション処理部102による第一のキャリブレーション(S401)と同時(もしくは直前又は直後でもよい)に行われる。
制御手段が移動体300を移動空間600内で移動させ(S402)、移動体300を特定の位置で停止させた場合に、撮影装置200が移動体300を撮影する。
画像取得部101が撮影画像を取得する(S403)。
次に、特徴点検出部104が、画像取得部101から撮影画像を取得し、制御手段から移動体300の停止位置の物理座標を取得し、撮影画像と移動体300の停止位置の物理座標から、第二の座標対応関係を抽出する(S404)。
制御手段が移動体300を停止させる度に、以上の動作が行われ、複数の停止位置について第二の座標対応関係が得られる(S405)。
以下、S402、S403、S404の処理の詳細を説明する。 S402 to S405 in FIG. 4 are performed simultaneously with the first calibration (S401) by the first calibration processing unit 102 (or immediately before or after).
When the control unit moves the movingbody 300 in the moving space 600 (S402) and stops the moving body 300 at a specific position, the imaging apparatus 200 captures the moving body 300.
Theimage acquisition unit 101 acquires a captured image (S403).
Next, the featurepoint detection unit 104 acquires a captured image from the image acquisition unit 101, acquires physical coordinates of the stop position of the moving body 300 from the control unit, and uses the captured image and the physical coordinates of the stop position of the mobile body 300. Then, the second coordinate correspondence is extracted (S404).
Each time the control unit stops the movingbody 300, the above operation is performed, and the second coordinate correspondence is obtained for a plurality of stop positions (S405).
Details of the processes in S402, S403, and S404 will be described below.
制御手段が移動体300を移動空間600内で移動させ(S402)、移動体300を特定の位置で停止させた場合に、撮影装置200が移動体300を撮影する。
画像取得部101が撮影画像を取得する(S403)。
次に、特徴点検出部104が、画像取得部101から撮影画像を取得し、制御手段から移動体300の停止位置の物理座標を取得し、撮影画像と移動体300の停止位置の物理座標から、第二の座標対応関係を抽出する(S404)。
制御手段が移動体300を停止させる度に、以上の動作が行われ、複数の停止位置について第二の座標対応関係が得られる(S405)。
以下、S402、S403、S404の処理の詳細を説明する。 S402 to S405 in FIG. 4 are performed simultaneously with the first calibration (S401) by the first calibration processing unit 102 (or immediately before or after).
When the control unit moves the moving
The
Next, the feature
Each time the control unit stops the moving
Details of the processes in S402, S403, and S404 will be described below.
ここでは、移動体300が物理座標(xb1,yb1,zb1)、(xb2,yb2,zb2)....(xbn,ybn,zbn)の位置で停止し、それぞれの停止位置で撮影された撮影画像1~撮影画像nが取得されたとする。
なお、移動体300の移動経路及び撮影画像の取得の方法は任意である。
例えば、移動体300を物理座標(xb1,yb1,zb1)、(xb2,yb2,zb2)....(xbn,ybn,zbn)の位置で順に停止させ、各停止位置で撮影装置200に撮影を行わせる複数の制御命令をあらかじめ用意しておけば、オペレータは当該複数の制御命令の実行を指示するだけで複数の停止位置における撮影画像1~撮影画像nを情報処理装置100に取り込むことができる。
オペレータが逐一、制御手段に移動指示を出し、また、撮影装置200に撮影指示を出すようにしてもよい。
また、第一のキャリブレーション(S401)が従来手法2で実現される場合は、第一のキャリブレーションの実行時に移動体300の移動と撮影が行われているので、特徴点検出部104が、第一のキャリブレーションで撮影された撮影画像を用いて第二の座標対応関係を抽出してもよい。 Here, the movingbody 300 has physical coordinates (x b1 , y b1 , z b1 ), (x b2 , y b2 , z b2 ). . . . It is assumed that the camera stops at the position of (x bn , y bn , z bn ), and the captured images 1 to n captured at the respective stop positions are acquired.
Note that the moving path of the movingbody 300 and the method of acquiring the captured image are arbitrary.
For example, the movingobject 300 is represented by physical coordinates (x b1 , y b1 , z b1 ), (x b2 , y b2 , z b2 ). . . . If a plurality of control commands for stopping in order at the positions of (x bn , y bn , z bn ) and causing the photographing apparatus 200 to perform photographing at each stop position are prepared in advance, the operator executes the plurality of control commands. The captured image 1 to the captured image n at a plurality of stop positions can be taken into the information processing apparatus 100 simply by instructing.
The operator may issue a movement instruction to the control means one by one, or may issue a photographing instruction to the photographingapparatus 200.
Further, when the first calibration (S401) is realized by the conventional method 2, since the movingbody 300 is moved and photographed when the first calibration is performed, the feature point detection unit 104 is The second coordinate correspondence may be extracted using the captured image captured by the first calibration.
なお、移動体300の移動経路及び撮影画像の取得の方法は任意である。
例えば、移動体300を物理座標(xb1,yb1,zb1)、(xb2,yb2,zb2)....(xbn,ybn,zbn)の位置で順に停止させ、各停止位置で撮影装置200に撮影を行わせる複数の制御命令をあらかじめ用意しておけば、オペレータは当該複数の制御命令の実行を指示するだけで複数の停止位置における撮影画像1~撮影画像nを情報処理装置100に取り込むことができる。
オペレータが逐一、制御手段に移動指示を出し、また、撮影装置200に撮影指示を出すようにしてもよい。
また、第一のキャリブレーション(S401)が従来手法2で実現される場合は、第一のキャリブレーションの実行時に移動体300の移動と撮影が行われているので、特徴点検出部104が、第一のキャリブレーションで撮影された撮影画像を用いて第二の座標対応関係を抽出してもよい。 Here, the moving
Note that the moving path of the moving
For example, the moving
The operator may issue a movement instruction to the control means one by one, or may issue a photographing instruction to the photographing
Further, when the first calibration (S401) is realized by the conventional method 2, since the moving
特徴点検出部104は、撮影画像からキャリブレーションパタンの特徴点の画素座標を検出する。
なお、特徴点検出部104は、どのような方法で特徴点の画素座標を検出してもよい。
特徴点検出部104は、移動体300の三次元座標(x,y,z)とキャリブレーションパタンの三次元座標(x’,y’,z’)との関係は取得済みである。
このため、特徴点検出部104は、特徴点の画素座標と特徴点の物理座標との対応関係を抽出することができる。
特徴点検出部104は、撮影画像1~撮影画像nに対して、キャリブレーションパタンの特徴点の画素座標(ab1,bb1)、(ab2,bb2)...(abn,bbn)を検出し、撮影画像1~撮影画像nの撮影の際のキャリブレーションパタンの特徴点の三次元座標(x’b1,y’b1,z’b1)、(x’b2,y’b2,z’b2)...(x’bn,y’bn,z’bn)と対応付けて、図7に示す第二の座標対応関係を得る。
そして、特徴点検出部104により得られた第二の座標対応関係は、記憶部107に記憶される。
以上で事前準備は完了である。
以降、運用段階において、特徴点検出部104と差分算出部105が、第二の座標対応関係を用いて、撮影装置200の位置ずれを補正する。
運用段階とは、移動体300が加工テーブル500上の材料に対する加工を行う段階である。
つまり、情報処理装置100は、運用段階において、移動体300が材料の加工のために停止すると撮影装置200が移動体300を撮影し、第三の座標対応関係を抽出し、第三の座標対応関係と第二の座標対応関係との差分を用いて第一の座標対応関係を補正する。 The featurepoint detection unit 104 detects the pixel coordinates of the feature points of the calibration pattern from the captured image.
Note that the featurepoint detection unit 104 may detect the pixel coordinates of the feature points by any method.
The featurepoint detection unit 104 has acquired the relationship between the three-dimensional coordinates (x, y, z) of the moving body 300 and the three-dimensional coordinates (x ′, y ′, z ′) of the calibration pattern.
Therefore, the featurepoint detection unit 104 can extract the correspondence between the pixel coordinates of the feature points and the physical coordinates of the feature points.
The featurepoint detection unit 104 performs pixel coordinates (a b1 , b b1 ), (a b2 , b b2 ). . . (A bn , b bn ) is detected, and the three-dimensional coordinates (x ′ b1 , y ′ b1 , z ′ b1 ) and (x ′ b1 ) of the feature points of the calibration pattern when the captured images 1 to n are captured b2 , y'b2 , z'b2 ). . . In association with (x ′ bn , y ′ bn , z ′ bn ), the second coordinate correspondence shown in FIG. 7 is obtained.
Then, the second coordinate correspondence obtained by the featurepoint detection unit 104 is stored in the storage unit 107.
The advance preparation is complete.
Thereafter, in the operation stage, the featurepoint detection unit 104 and the difference calculation unit 105 correct the positional deviation of the photographing apparatus 200 using the second coordinate correspondence.
The operation stage is a stage in which the movingbody 300 processes the material on the processing table 500.
That is, in theinformation processing apparatus 100, when the moving body 300 stops for material processing in the operation stage, the imaging apparatus 200 captures the moving body 300, extracts the third coordinate correspondence, and the third coordinate correspondence. The first coordinate correspondence is corrected using the difference between the relationship and the second coordinate correspondence.
なお、特徴点検出部104は、どのような方法で特徴点の画素座標を検出してもよい。
特徴点検出部104は、移動体300の三次元座標(x,y,z)とキャリブレーションパタンの三次元座標(x’,y’,z’)との関係は取得済みである。
このため、特徴点検出部104は、特徴点の画素座標と特徴点の物理座標との対応関係を抽出することができる。
特徴点検出部104は、撮影画像1~撮影画像nに対して、キャリブレーションパタンの特徴点の画素座標(ab1,bb1)、(ab2,bb2)...(abn,bbn)を検出し、撮影画像1~撮影画像nの撮影の際のキャリブレーションパタンの特徴点の三次元座標(x’b1,y’b1,z’b1)、(x’b2,y’b2,z’b2)...(x’bn,y’bn,z’bn)と対応付けて、図7に示す第二の座標対応関係を得る。
そして、特徴点検出部104により得られた第二の座標対応関係は、記憶部107に記憶される。
以上で事前準備は完了である。
以降、運用段階において、特徴点検出部104と差分算出部105が、第二の座標対応関係を用いて、撮影装置200の位置ずれを補正する。
運用段階とは、移動体300が加工テーブル500上の材料に対する加工を行う段階である。
つまり、情報処理装置100は、運用段階において、移動体300が材料の加工のために停止すると撮影装置200が移動体300を撮影し、第三の座標対応関係を抽出し、第三の座標対応関係と第二の座標対応関係との差分を用いて第一の座標対応関係を補正する。 The feature
Note that the feature
The feature
Therefore, the feature
The feature
Then, the second coordinate correspondence obtained by the feature
The advance preparation is complete.
Thereafter, in the operation stage, the feature
The operation stage is a stage in which the moving
That is, in the
具体的には、制御手段が移動体300を移動空間600内で移動させ(S406)、移動体300を特定の位置(例えば、材料のある位置)で停止させた場合に、撮影装置200が移動体300を撮影する。
そして、画像取得部101が撮影画像を取得する(S407)。
次に、特徴点検出部104が、画像取得部101から撮影画像を取得し、制御手段から移動体300の停止位置の物理座標を取得し、撮影画像と移動体300の停止位置の物理座標から、第三の座標対応関係を抽出する(S408)(抽出処理)。
制御手段が移動体300を停止させる度に、以上の動作が行われ、複数の停止位置について第三の座標対応関係が得られる(S409)。
なお、S406ではS402と同じ動作が行われ、S407ではS403と同じ動作が行われ、S408ではS404と同じ動作が行われる。 Specifically, when the control unit moves the movingbody 300 in the moving space 600 (S406) and stops the moving body 300 at a specific position (for example, a position where material is present), the photographing apparatus 200 moves. The body 300 is photographed.
Then, theimage acquisition unit 101 acquires a captured image (S407).
Next, the featurepoint detection unit 104 acquires a captured image from the image acquisition unit 101, acquires physical coordinates of the stop position of the moving body 300 from the control unit, and uses the captured image and the physical coordinates of the stop position of the mobile body 300. Then, the third coordinate correspondence is extracted (S408) (extraction process).
Each time the control unit stops the movingbody 300, the above operation is performed, and a third coordinate correspondence is obtained for a plurality of stop positions (S409).
Note that the same operation as S402 is performed in S406, the same operation as S403 is performed in S407, and the same operation as S404 is performed in S408.
そして、画像取得部101が撮影画像を取得する(S407)。
次に、特徴点検出部104が、画像取得部101から撮影画像を取得し、制御手段から移動体300の停止位置の物理座標を取得し、撮影画像と移動体300の停止位置の物理座標から、第三の座標対応関係を抽出する(S408)(抽出処理)。
制御手段が移動体300を停止させる度に、以上の動作が行われ、複数の停止位置について第三の座標対応関係が得られる(S409)。
なお、S406ではS402と同じ動作が行われ、S407ではS403と同じ動作が行われ、S408ではS404と同じ動作が行われる。 Specifically, when the control unit moves the moving
Then, the
Next, the feature
Each time the control unit stops the moving
Note that the same operation as S402 is performed in S406, the same operation as S403 is performed in S407, and the same operation as S404 is performed in S408.
運用段階では、移動体300が撮影に十分な期間停止した際に、撮影装置200が移動体300の撮影を行い、画像取得部101を介して、特徴点検出部104が、撮影画像mを取得し、更に、制御手段から、移動体300の停止位置の物理座標(xc,yc,zc)を取得する。
特徴点検出部104は、撮影画像からキャリブレーションパタンの特徴点の画素座標(ac,bc)を検出する。
前述のように、特徴点検出部104は、移動体300の三次元座標(x,y,z)とキャリブレーションパタンの三次元座標(x’,y’,z’)との関係は取得済みである。
このため、特徴点検出部104は、特徴点の画素座標(ac,bc)と特徴点の物理座標(x’c,y’c,z’c)との対応関係を抽出することができる。
移動体300が停止するたびに撮影と特徴点の検出を繰り返すことで、現在の撮影装置200と移動体300の位置関係を反映した第三の座標対応関係が得られる。 In the operation stage, when the movingbody 300 is stopped for a period sufficient for photographing, the photographing apparatus 200 photographs the moving body 300, and the feature point detecting unit 104 obtains the photographed image m via the image obtaining unit 101. Further, the physical coordinates (x c , y c , z c ) of the stop position of the moving body 300 are acquired from the control means.
The featurepoint detection unit 104 detects the pixel coordinates (a c , b c ) of the feature point of the calibration pattern from the captured image.
As described above, the featurepoint detection unit 104 has acquired the relationship between the three-dimensional coordinates (x, y, z) of the moving body 300 and the three-dimensional coordinates (x ′, y ′, z ′) of the calibration pattern. It is.
Therefore, the featurepoint detection unit 104 can extract the correspondence between the pixel coordinates (a c , b c ) of the feature points and the physical coordinates (x ′ c , y ′ c , z ′ c ) of the feature points. it can.
By repeating imaging and feature point detection each time the movingbody 300 stops, a third coordinate correspondence that reflects the current positional relationship between the imaging apparatus 200 and the moving body 300 is obtained.
特徴点検出部104は、撮影画像からキャリブレーションパタンの特徴点の画素座標(ac,bc)を検出する。
前述のように、特徴点検出部104は、移動体300の三次元座標(x,y,z)とキャリブレーションパタンの三次元座標(x’,y’,z’)との関係は取得済みである。
このため、特徴点検出部104は、特徴点の画素座標(ac,bc)と特徴点の物理座標(x’c,y’c,z’c)との対応関係を抽出することができる。
移動体300が停止するたびに撮影と特徴点の検出を繰り返すことで、現在の撮影装置200と移動体300の位置関係を反映した第三の座標対応関係が得られる。 In the operation stage, when the moving
The feature
As described above, the feature
Therefore, the feature
By repeating imaging and feature point detection each time the moving
特徴点検出部104は、更に、第三の座標対応関係に対する補間処理を行って、第二の座標対応関係の複数の物理座標に対する複数の画素座標を導出して、補間された第三の座標対応関係を得る(S410)。
この結果、図8に示すような三次元座標(xb1,yb1,zb1)、(xb2,yb2,zb2)....(xbn,ybn,zbn)に対応する画素座標(ac1,bc1)、(ac2,bc2)...(acn,bcn)を、補間された第三の座標対応関係として得る。
なお、補間処理はどのような補間方法により実現されてもよい。 The featurepoint detection unit 104 further performs an interpolation process for the third coordinate correspondence to derive a plurality of pixel coordinates for a plurality of physical coordinates of the second coordinate correspondence, and the interpolated third coordinates A correspondence relationship is obtained (S410).
As a result, the three-dimensional coordinates (x b1 , y b1 , z b1 ), (x b2 , y b2 , z b2 ). . . . Pixel coordinates (a c1 , b c1 ), (a c2 , b c2 ), corresponding to (x bn , y bn , z bn ). . . (A cn , b cn ) is obtained as the interpolated third coordinate correspondence.
The interpolation process may be realized by any interpolation method.
この結果、図8に示すような三次元座標(xb1,yb1,zb1)、(xb2,yb2,zb2)....(xbn,ybn,zbn)に対応する画素座標(ac1,bc1)、(ac2,bc2)...(acn,bcn)を、補間された第三の座標対応関係として得る。
なお、補間処理はどのような補間方法により実現されてもよい。 The feature
As a result, the three-dimensional coordinates (x b1 , y b1 , z b1 ), (x b2 , y b2 , z b2 ). . . . Pixel coordinates (a c1 , b c1 ), (a c2 , b c2 ), corresponding to (x bn , y bn , z bn ). . . (A cn , b cn ) is obtained as the interpolated third coordinate correspondence.
The interpolation process may be realized by any interpolation method.
次に、差分算出部105が、図9に示すように、補間された第三の座標対応関係と、第二の座標対応関係との差分を算出する(S411)。
また、差分算出部105は、算出した差分を座標対応関係差分として補正部106に出力する。
この座標対応関係差分が、撮影装置200の位置ずれによって発生する座標上の誤差を表す。
補正部106は、この座標対応関係差分を用いて第一の座標対応関係を補正し(S412)(補正処理)、運用段階で発生した撮影装置200の位置ずれを吸収するための新たな第一の座標対応関係を得る。
なお、座標対応関係差分を用いた第一の座標対応関係の補正は、最も簡単には第一の座標対応関係に座標対応関係差分を足し込むことにより実現される。 Next, as shown in FIG. 9, thedifference calculation unit 105 calculates the difference between the interpolated third coordinate correspondence and the second coordinate correspondence (S411).
Further, thedifference calculation unit 105 outputs the calculated difference to the correction unit 106 as a coordinate correspondence difference.
This coordinate correspondence difference represents a coordinate error caused by a positional shift of theimage capturing apparatus 200.
Thecorrection unit 106 corrects the first coordinate correspondence using the coordinate correspondence difference (S412) (correction process), and a new first for absorbing the positional deviation of the imaging apparatus 200 that occurs in the operation stage. Get the coordinate correspondence of.
The correction of the first coordinate correspondence using the coordinate correspondence difference is most easily realized by adding the coordinate correspondence difference to the first coordinate correspondence.
また、差分算出部105は、算出した差分を座標対応関係差分として補正部106に出力する。
この座標対応関係差分が、撮影装置200の位置ずれによって発生する座標上の誤差を表す。
補正部106は、この座標対応関係差分を用いて第一の座標対応関係を補正し(S412)(補正処理)、運用段階で発生した撮影装置200の位置ずれを吸収するための新たな第一の座標対応関係を得る。
なお、座標対応関係差分を用いた第一の座標対応関係の補正は、最も簡単には第一の座標対応関係に座標対応関係差分を足し込むことにより実現される。 Next, as shown in FIG. 9, the
Further, the
This coordinate correspondence difference represents a coordinate error caused by a positional shift of the
The
The correction of the first coordinate correspondence using the coordinate correspondence difference is most easily realized by adding the coordinate correspondence difference to the first coordinate correspondence.
***実施の形態の効果***
以上のように、本実施の形態によれば、撮影装置200の位置がずれた場合でも、移動体300を加工に用いながら位置ずれの検出及び座標対応関係の補正が可能である。
従来手法1及び従来手法2では、移動体300を用いた加工を停止して再度外部キャリブレーションを行う必要があるが、本実施の形態では、移動体300を用いた加工を停止することなく、撮影装置200の位置ずれに対応させた適正な座標対応座関係を得ることができる。 *** Effect of the embodiment ***
As described above, according to the present embodiment, even when the position of the photographingapparatus 200 is displaced, it is possible to detect the displacement and correct the coordinate correspondence while using the moving body 300 for processing.
In theconventional method 1 and the conventional method 2, it is necessary to stop the processing using the moving body 300 and perform external calibration again, but in this embodiment, without stopping the processing using the moving body 300, An appropriate coordinate correspondence relationship corresponding to the positional deviation of the photographing apparatus 200 can be obtained.
以上のように、本実施の形態によれば、撮影装置200の位置がずれた場合でも、移動体300を加工に用いながら位置ずれの検出及び座標対応関係の補正が可能である。
従来手法1及び従来手法2では、移動体300を用いた加工を停止して再度外部キャリブレーションを行う必要があるが、本実施の形態では、移動体300を用いた加工を停止することなく、撮影装置200の位置ずれに対応させた適正な座標対応座関係を得ることができる。 *** Effect of the embodiment ***
As described above, according to the present embodiment, even when the position of the photographing
In the
実施の形態2.
実施の形態1では、図2に示す画像取得部101、第一のキャリブレーション処理部102、特徴点検出部104、差分算出部105、補正部106を、図3に示すようにプログラムによって実現している。
実施の形態2では、図2に示す画像取得部101、第一のキャリブレーション処理部102、特徴点検出部104、差分算出部105、補正部106を専用演算装置によって実現する。
また、実施の形態1では、図3に示すように、撮影画像、第一の座標対応関係情報、第二の座標対応関係情報、第三の座標対応関係情報、座標対応関係差分情報を記憶装置12に格納している。
実施の形態2では、撮影画像、第一の座標対応関係情報、第二の座標対応関係情報、第三の座標対応関係情報、座標対応関係差分情報をそれぞれ個別の記憶装置に格納する。 Embodiment 2. FIG.
In the first embodiment, theimage acquisition unit 101, the first calibration processing unit 102, the feature point detection unit 104, the difference calculation unit 105, and the correction unit 106 illustrated in FIG. 2 are realized by a program as illustrated in FIG. ing.
In the second embodiment, theimage acquisition unit 101, the first calibration processing unit 102, the feature point detection unit 104, the difference calculation unit 105, and the correction unit 106 illustrated in FIG.
In the first embodiment, as shown in FIG. 3, the captured image, the first coordinate correspondence information, the second coordinate correspondence information, the third coordinate correspondence information, and the coordinate correspondence difference information are stored in the storage device. 12.
In the second embodiment, the captured image, the first coordinate correspondence information, the second coordinate correspondence information, the third coordinate correspondence information, and the coordinate correspondence difference information are stored in individual storage devices.
実施の形態1では、図2に示す画像取得部101、第一のキャリブレーション処理部102、特徴点検出部104、差分算出部105、補正部106を、図3に示すようにプログラムによって実現している。
実施の形態2では、図2に示す画像取得部101、第一のキャリブレーション処理部102、特徴点検出部104、差分算出部105、補正部106を専用演算装置によって実現する。
また、実施の形態1では、図3に示すように、撮影画像、第一の座標対応関係情報、第二の座標対応関係情報、第三の座標対応関係情報、座標対応関係差分情報を記憶装置12に格納している。
実施の形態2では、撮影画像、第一の座標対応関係情報、第二の座標対応関係情報、第三の座標対応関係情報、座標対応関係差分情報をそれぞれ個別の記憶装置に格納する。 Embodiment 2. FIG.
In the first embodiment, the
In the second embodiment, the
In the first embodiment, as shown in FIG. 3, the captured image, the first coordinate correspondence information, the second coordinate correspondence information, the third coordinate correspondence information, and the coordinate correspondence difference information are stored in the storage device. 12.
In the second embodiment, the captured image, the first coordinate correspondence information, the second coordinate correspondence information, the third coordinate correspondence information, and the coordinate correspondence difference information are stored in individual storage devices.
図10は、本実施の形態に係る情報処理装置100の構成例を示す。
画像取得演算装置1101は、図2に示す画像取得部101を実現する演算装置である。
画像取得演算装置1101の動作は、画像取得部101と同じであるので、説明は省略する。
第一のキャリブレーション演算装置1102は、図2に示す第一のキャリブレーション処理部102を実現する。
第一のキャリブレーション演算装置1102の動作は、第一のキャリブレーション処理部102と同じであるので、説明は省略する。
特徴点検出演算装置1103は、図2に示す特徴点検出部104を実現する。
特徴点検出演算装置1103の動作は、特徴点検出部104と同じであるので、説明は省略する。
差分算出演算装置1104は、図2に示す差分算出部105を実現する。
差分算出演算装置1104の動作は、差分算出部105と同じであるので、説明は省略する。
補正演算装置1105は、図2に示す補正部106を実現する。
補正演算装置1105の動作は、補正部106と同じであるので、説明は省略する。 FIG. 10 shows a configuration example of theinformation processing apparatus 100 according to the present embodiment.
The image acquisitionarithmetic device 1101 is an arithmetic device that implements the image acquisition unit 101 shown in FIG.
Since the operation of the image acquisitionarithmetic device 1101 is the same as that of the image acquisition unit 101, description thereof is omitted.
The firstcalibration calculation device 1102 implements the first calibration processing unit 102 shown in FIG.
Since the operation of the firstcalibration calculation device 1102 is the same as that of the first calibration processing unit 102, the description thereof is omitted.
The feature pointdetection calculation device 1103 implements the feature point detection unit 104 shown in FIG.
Since the operation of the feature pointdetection calculation device 1103 is the same as that of the feature point detection unit 104, description thereof is omitted.
The differencecalculation calculation device 1104 implements the difference calculation unit 105 shown in FIG.
Since the operation of the differencecalculation calculation device 1104 is the same as that of the difference calculation unit 105, description thereof is omitted.
Thecorrection calculation device 1105 implements the correction unit 106 shown in FIG.
Since the operation of thecorrection calculation device 1105 is the same as that of the correction unit 106, description thereof is omitted.
画像取得演算装置1101は、図2に示す画像取得部101を実現する演算装置である。
画像取得演算装置1101の動作は、画像取得部101と同じであるので、説明は省略する。
第一のキャリブレーション演算装置1102は、図2に示す第一のキャリブレーション処理部102を実現する。
第一のキャリブレーション演算装置1102の動作は、第一のキャリブレーション処理部102と同じであるので、説明は省略する。
特徴点検出演算装置1103は、図2に示す特徴点検出部104を実現する。
特徴点検出演算装置1103の動作は、特徴点検出部104と同じであるので、説明は省略する。
差分算出演算装置1104は、図2に示す差分算出部105を実現する。
差分算出演算装置1104の動作は、差分算出部105と同じであるので、説明は省略する。
補正演算装置1105は、図2に示す補正部106を実現する。
補正演算装置1105の動作は、補正部106と同じであるので、説明は省略する。 FIG. 10 shows a configuration example of the
The image acquisition
Since the operation of the image acquisition
The first
Since the operation of the first
The feature point
Since the operation of the feature point
The difference
Since the operation of the difference
The
Since the operation of the
また、図10において、撮影画像記憶装置1200は、撮影画像の専用記憶装置である。
また、第一の座標対応関係情報記憶装置1201は、第一の座標対応関係情報の専用記憶装置である。
また、第二の座標対応関係情報記憶装置1202は、第二の座標対応関係情報の専用記憶装置である。
第三の座標対応関係情報記憶装置1203は、第三の座標対応関係情報の専用記憶装置である。
座標対応関係差分情報記憶装置1204は、座標対応関係差分情報の専用記憶装置である。 In FIG. 10, a capturedimage storage device 1200 is a dedicated storage device for captured images.
The first coordinate correspondenceinformation storage device 1201 is a dedicated storage device for first coordinate correspondence information.
The second coordinate correspondenceinformation storage device 1202 is a dedicated storage device for second coordinate correspondence information.
The third coordinate correspondenceinformation storage device 1203 is a dedicated storage device for third coordinate correspondence information.
The coordinate correspondence differenceinformation storage device 1204 is a dedicated storage device for coordinate correspondence difference information.
また、第一の座標対応関係情報記憶装置1201は、第一の座標対応関係情報の専用記憶装置である。
また、第二の座標対応関係情報記憶装置1202は、第二の座標対応関係情報の専用記憶装置である。
第三の座標対応関係情報記憶装置1203は、第三の座標対応関係情報の専用記憶装置である。
座標対応関係差分情報記憶装置1204は、座標対応関係差分情報の専用記憶装置である。 In FIG. 10, a captured
The first coordinate correspondence
The second coordinate correspondence
The third coordinate correspondence
The coordinate correspondence difference
また、図11に示すように、第一の座標対応関係情報、第二の座標対応関係情報、第三の座標対応関係情報を座標対応関係情報記憶装置1205でまとめて記憶することも可能である。
1つの記憶装置でまとめて記憶する情報の組合せは任意であり、図11に示す組み合わせ以外の組み合わせを適用してもよい。
また、図12に示すように、画像取得部101を画像取得プログラム1010で実現し、差分算出部105を差分算出プログラム1050で実現し、補正部106を補正プログラム1060で実現し、第一のキャリブレーション処理部102を第一のキャリブレーション演算装置1102で実現し、特徴点検出部104を特徴点検出演算装置1103で実現するようにしてもよい。
いずれの機能モジュールをプログラムで実現し、いずれの機能モジュールを演算装置で実現するかは任意であり、図12に示す組み合わせ以外の組み合わせを適用してもよい。 In addition, as shown in FIG. 11, the first coordinate correspondence information, the second coordinate correspondence information, and the third coordinate correspondence information can be stored together in the coordinate correspondenceinformation storage device 1205. .
The combination of information stored together in one storage device is arbitrary, and combinations other than the combinations shown in FIG. 11 may be applied.
As shown in FIG. 12, theimage acquisition unit 101 is realized by the image acquisition program 1010, the difference calculation unit 105 is realized by the difference calculation program 1050, the correction unit 106 is realized by the correction program 1060, and the first calibration is performed. The processing unit 102 may be realized by the first calibration calculation device 1102 and the feature point detection unit 104 may be realized by the feature point detection calculation device 1103.
Which functional module is realized by a program and which functional module is realized by an arithmetic unit is arbitrary, and combinations other than the combinations shown in FIG. 12 may be applied.
1つの記憶装置でまとめて記憶する情報の組合せは任意であり、図11に示す組み合わせ以外の組み合わせを適用してもよい。
また、図12に示すように、画像取得部101を画像取得プログラム1010で実現し、差分算出部105を差分算出プログラム1050で実現し、補正部106を補正プログラム1060で実現し、第一のキャリブレーション処理部102を第一のキャリブレーション演算装置1102で実現し、特徴点検出部104を特徴点検出演算装置1103で実現するようにしてもよい。
いずれの機能モジュールをプログラムで実現し、いずれの機能モジュールを演算装置で実現するかは任意であり、図12に示す組み合わせ以外の組み合わせを適用してもよい。 In addition, as shown in FIG. 11, the first coordinate correspondence information, the second coordinate correspondence information, and the third coordinate correspondence information can be stored together in the coordinate correspondence
The combination of information stored together in one storage device is arbitrary, and combinations other than the combinations shown in FIG. 11 may be applied.
As shown in FIG. 12, the
Which functional module is realized by a program and which functional module is realized by an arithmetic unit is arbitrary, and combinations other than the combinations shown in FIG. 12 may be applied.
以上、本発明の実施の形態について説明したが、これら2つの実施の形態を組み合わせて実施しても構わない。
あるいは、これら2つの実施の形態のうち、1つを部分的に実施しても構わない。
あるいは、これら2つの実施の形態を部分的に組み合わせて実施しても構わない。
なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。 Although the embodiments of the present invention have been described above, these two embodiments may be combined and implemented.
Alternatively, one of these two embodiments may be partially implemented.
Alternatively, these two embodiments may be partially combined.
In addition, this invention is not limited to these embodiment, A various change is possible as needed.
あるいは、これら2つの実施の形態のうち、1つを部分的に実施しても構わない。
あるいは、これら2つの実施の形態を部分的に組み合わせて実施しても構わない。
なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。 Although the embodiments of the present invention have been described above, these two embodiments may be combined and implemented.
Alternatively, one of these two embodiments may be partially implemented.
Alternatively, these two embodiments may be partially combined.
In addition, this invention is not limited to these embodiment, A various change is possible as needed.
100 情報処理装置、101 画像取得部、102 第一のキャリブレーション処理部、103 第二のキャリブレーション処理部、104 特徴点検出部、105 差分算出部、106 補正部、107 記憶部、200 撮影装置、300 移動体、400 駆動装置、500 加工テーブル、600 移動空間、700 材料。
DESCRIPTION OF SYMBOLS 100 Information processing apparatus, 101 Image acquisition part, 102 1st calibration process part, 103 2nd calibration process part, 104 feature point detection part, 105 difference calculation part, 106 correction | amendment part, 107 memory | storage part, 200 imaging device 300 moving body, 400 driving device, 500 processing table, 600 moving space, 700 materials.
Claims (5)
- 移動体が移動する移動空間内の物理座標と、既定の設置位置に設置され、撮影方向が前記移動空間に向けて固定されている撮影装置が前記移動空間を撮影して得られる撮影画像における画素座標との対応関係を、基準座標対応関係として記憶する記憶部と、
前記移動体が前記移動空間内で停止した際に前記撮影装置が前記移動体を撮影して得られた撮影画像における前記移動体内の特徴点の画素座標と、前記撮影装置が前記移動体を撮影した際の前記特徴点の物理座標との対応関係を、特徴点座標対応関係として抽出する抽出部と、
前記抽出部により抽出された前記特徴点座標対応関係を用いて前記基準座標対応関係を補正する補正部とを有する情報処理装置。 Pixels in a photographic image obtained by photographing the moving space with a physical coordinate in the moving space in which the moving body moves and a photographing device that is installed at a predetermined installation position and whose photographing direction is fixed toward the moving space A storage unit for storing a correspondence relationship with coordinates as a reference coordinate correspondence relationship;
When the moving body stops in the moving space, the imaging device captures the pixel coordinates of feature points in the moving body in a captured image obtained by capturing the moving body, and the imaging device captures the moving body. An extraction unit that extracts a correspondence relationship between the physical coordinates of the feature points when they are performed as a feature point coordinate correspondence relationship;
An information processing apparatus comprising: a correction unit that corrects the reference coordinate correspondence using the feature point coordinate correspondence extracted by the extraction unit. - 前記記憶部は、
前記抽出部による前記特徴点座標対応関係の抽出に先立って、
前記特徴点の画素座標と物理座標との対応関係であって、前記基準座標対応関係と整合している対応関係を、照合座標対応関係として記憶しており、
前記情報処理装置は、更に、
前記抽出部により抽出された前記特徴点座標対応関係と前記照合座標対応関係との差分を算出する差分算出部を有し、
前記補正部は、
前記差分算出部により算出された前記特徴点座標対応関係と前記照合座標対応関係との差分を用いて、前記基準座標対応関係を補正する請求項1に記載の情報処理装置。 The storage unit
Prior to extraction of the feature point coordinate correspondence by the extraction unit,
A correspondence relationship between the pixel coordinates and physical coordinates of the feature points, and a correspondence relationship that matches the reference coordinate correspondence relationship is stored as a matching coordinate correspondence relationship,
The information processing apparatus further includes:
A difference calculation unit that calculates a difference between the feature point coordinate correspondence extracted by the extraction unit and the matching coordinate correspondence;
The correction unit is
The information processing apparatus according to claim 1, wherein the reference coordinate correspondence is corrected using a difference between the feature point coordinate correspondence calculated by the difference calculation unit and the collation coordinate correspondence. - 前記記憶部は、
前記照合座標対応関係として、複数の画素座標と複数の物理座標との対応関係を記憶しており、
前記抽出部は、
前記撮影装置が前記移動体を撮影して得られた撮影画像における前記特徴点の画素座標と、前記撮影装置が前記移動体を撮影した際の前記特徴点の物理座標とに対する補間処理により、前記照合座標対応関係の前記複数の物理座標に対する複数の画素座標を導出して前記特徴点座標対応関係を抽出する請求項2に記載の情報処理装置。 The storage unit
As the collation coordinate correspondence, a correspondence relationship between a plurality of pixel coordinates and a plurality of physical coordinates is stored,
The extraction unit includes:
The interpolation processing for the pixel coordinates of the feature points in the captured image obtained by imaging the moving body by the imaging device and the physical coordinates of the feature points when the imaging device images the moving body, The information processing apparatus according to claim 2, wherein a plurality of pixel coordinates with respect to the plurality of physical coordinates in the matching coordinate correspondence are derived to extract the feature point coordinate correspondence. - 移動体が移動する移動空間内の物理座標と、既定の設置位置に設置され、撮影方向が前記移動空間に向けて固定されている撮影装置が前記移動空間を撮影して得られる撮影画像における画素座標との対応関係を、基準座標対応関係として記憶するコンピュータが、
前記移動体が前記移動空間内で停止した際に前記撮影装置が前記移動体を撮影して得られた撮影画像における前記移動体内の特徴点の画素座標と、前記撮影装置が前記移動体を撮影した際の前記特徴点の物理座標との対応関係を、特徴点座標対応関係として抽出し、
抽出した前記特徴点座標対応関係を用いて前記基準座標対応関係を補正するキャリブレーション方法。 Pixels in a photographic image obtained by photographing the moving space with a physical coordinate in the moving space in which the moving body moves and a photographing device that is installed at a predetermined installation position and whose photographing direction is fixed toward the moving space A computer that stores a correspondence relationship with coordinates as a reference coordinate correspondence relationship,
When the moving body stops in the moving space, the imaging device captures the pixel coordinates of feature points in the moving body in a captured image obtained by capturing the moving body, and the imaging device captures the moving body. And the corresponding relationship with the physical coordinates of the feature point is extracted as a feature point coordinate correspondence relationship,
A calibration method for correcting the reference coordinate correspondence using the extracted feature point coordinate correspondence. - 移動体が移動する移動空間内の物理座標と、既定の設置位置に設置され、撮影方向が前記移動空間に向けて固定されている撮影装置が前記移動空間を撮影して得られる撮影画像における画素座標との対応関係を、基準座標対応関係として記憶するコンピュータに、
前記移動体が前記移動空間内で停止した際に前記撮影装置が前記移動体を撮影して得られた撮影画像における前記移動体内の特徴点の画素座標と、前記撮影装置が前記移動体を撮影した際の前記特徴点の物理座標との対応関係を、特徴点座標対応関係として抽出する抽出処理と、
前記抽出処理により抽出された前記特徴点座標対応関係を用いて前記基準座標対応関係を補正する補正処理とを実行させるキャリブレーション処理プログラム。 Pixels in a photographic image obtained by photographing the moving space with a physical coordinate in the moving space in which the moving body moves and a photographing device that is installed at a predetermined installation position and whose photographing direction is fixed toward the moving space In the computer that stores the correspondence with the coordinates as the reference coordinate correspondence,
When the moving body stops in the moving space, the imaging device captures the pixel coordinates of feature points in the moving body in a captured image obtained by capturing the moving body, and the imaging device captures the moving body. An extraction process for extracting a correspondence relationship between the physical coordinates of the feature points at the time as a feature point coordinate correspondence relationship,
A calibration processing program for executing correction processing for correcting the reference coordinate correspondence using the feature point coordinate correspondence extracted by the extraction processing.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/065664 WO2016194078A1 (en) | 2015-05-29 | 2015-05-29 | Information processing apparatus, calibration method, and calibration processing program |
JP2017519001A JP6199000B2 (en) | 2015-05-29 | 2015-05-29 | Information processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/065664 WO2016194078A1 (en) | 2015-05-29 | 2015-05-29 | Information processing apparatus, calibration method, and calibration processing program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016194078A1 true WO2016194078A1 (en) | 2016-12-08 |
Family
ID=57441879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/065664 WO2016194078A1 (en) | 2015-05-29 | 2015-05-29 | Information processing apparatus, calibration method, and calibration processing program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6199000B2 (en) |
WO (1) | WO2016194078A1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110315393A (en) * | 2018-03-29 | 2019-10-11 | 发那科株式会社 | Camera system |
JP2020194942A (en) * | 2019-05-30 | 2020-12-03 | 株式会社ディスコ | Processing device |
CN113014816A (en) * | 2021-03-03 | 2021-06-22 | 常州微亿智造科技有限公司 | Method and device for determining trigger point of flying shooting |
JP7015949B1 (en) | 2021-03-15 | 2022-02-14 | Dmg森精機株式会社 | Sticking position measuring device and machine tool equipped with it |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3531674B2 (en) * | 2001-08-07 | 2004-05-31 | 株式会社ファースト | Calibration method, positioning method, positioning device, calibration program, and positioning program |
JP2012137961A (en) * | 2010-12-27 | 2012-07-19 | Mitsubishi Electric Corp | Positioning control device and positioning device equipped with the same |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03111911A (en) * | 1989-09-27 | 1991-05-13 | Fanuc Ltd | Method for correcting camera position in vision system |
-
2015
- 2015-05-29 JP JP2017519001A patent/JP6199000B2/en not_active Expired - Fee Related
- 2015-05-29 WO PCT/JP2015/065664 patent/WO2016194078A1/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3531674B2 (en) * | 2001-08-07 | 2004-05-31 | 株式会社ファースト | Calibration method, positioning method, positioning device, calibration program, and positioning program |
JP2012137961A (en) * | 2010-12-27 | 2012-07-19 | Mitsubishi Electric Corp | Positioning control device and positioning device equipped with the same |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110315393A (en) * | 2018-03-29 | 2019-10-11 | 发那科株式会社 | Camera system |
CN110315393B (en) * | 2018-03-29 | 2021-01-26 | 发那科株式会社 | Image pickup system |
JP2020194942A (en) * | 2019-05-30 | 2020-12-03 | 株式会社ディスコ | Processing device |
JP7273618B2 (en) | 2019-05-30 | 2023-05-15 | 株式会社ディスコ | processing equipment |
CN113014816A (en) * | 2021-03-03 | 2021-06-22 | 常州微亿智造科技有限公司 | Method and device for determining trigger point of flying shooting |
JP7015949B1 (en) | 2021-03-15 | 2022-02-14 | Dmg森精機株式会社 | Sticking position measuring device and machine tool equipped with it |
JP2022141200A (en) * | 2021-03-15 | 2022-09-29 | Dmg森精機株式会社 | Sticking position measurement device and machine tool including the same |
Also Published As
Publication number | Publication date |
---|---|
JP6199000B2 (en) | 2017-09-20 |
JPWO2016194078A1 (en) | 2017-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102532072B1 (en) | System and method for automatic hand-eye calibration of vision system for robot motion | |
US10647001B2 (en) | Calibration device, calibration method, and computer readable medium for visual sensor | |
KR101636605B1 (en) | System and method for calibration of machine vision cameras along at least three discrete planes | |
US10191470B2 (en) | Welding machine and control method therefor | |
JP5815761B2 (en) | Visual sensor data creation system and detection simulation system | |
JP6199000B2 (en) | Information processing device | |
KR20170017786A (en) | System and method for tying together machine vision coordinate spaces in a guided assembly environment | |
JP2015174191A (en) | Robot system, calibration method of robot system and position correction method of robot system | |
CN109556510B (en) | Position detection device and computer-readable storage medium | |
JP2013171425A (en) | Image processing device | |
WO2017115620A1 (en) | Deformation work assist system and deformation work assist method | |
KR20190131475A (en) | Position detection device and location detection method | |
WO2021075090A1 (en) | Correction parameter calculation method, displacement amount calculation method, correction parameter calculation device, and displacement amount calculation device | |
JP2008211009A (en) | Method of preparing component library data | |
JP6588270B2 (en) | Work position detection apparatus and work position detection method | |
KR20140113449A (en) | Drawing data generating method, drawing method, drawing data generating apparatus and drawing apparatus | |
JP6253847B1 (en) | Laser processing apparatus, laser processing method, and laser processing program | |
JP2008014857A (en) | Device, method, and program for acquiring coordinate for inspection of printed board | |
CN114902281A (en) | Image processing system | |
JP2019022149A5 (en) | ||
JP7482268B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING SYSTEM, IMAGE PROCESSING METHOD, AND PROGRAM | |
JPWO2019087726A1 (en) | Work support system and work support method | |
KR20130036412A (en) | System for generating tube map of heat exchanger and method for measuring position | |
JP7450195B2 (en) | Position analysis device and method, and camera system | |
US20230191612A1 (en) | Coordinate system setting system and position/orientation measurement system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15894113 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017519001 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15894113 Country of ref document: EP Kind code of ref document: A1 |