WO2021145347A1 - 画像処理装置、工作機及び画像処理方法 - Google Patents

画像処理装置、工作機及び画像処理方法 Download PDF

Info

Publication number
WO2021145347A1
WO2021145347A1 PCT/JP2021/000889 JP2021000889W WO2021145347A1 WO 2021145347 A1 WO2021145347 A1 WO 2021145347A1 JP 2021000889 W JP2021000889 W JP 2021000889W WO 2021145347 A1 WO2021145347 A1 WO 2021145347A1
Authority
WO
WIPO (PCT)
Prior art keywords
tool
unit
image
image processing
profile
Prior art date
Application number
PCT/JP2021/000889
Other languages
English (en)
French (fr)
Inventor
建太 神藤
圭一 小高
正和 高山
純一 窪田
Original Assignee
Dmg森精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dmg森精機株式会社 filed Critical Dmg森精機株式会社
Priority to EP21741242.8A priority Critical patent/EP4091765A4/en
Priority to CN202180008954.5A priority patent/CN115003452A/zh
Priority to US17/791,714 priority patent/US20230030490A1/en
Publication of WO2021145347A1 publication Critical patent/WO2021145347A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/24—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
    • B23Q17/248—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves using special electromagnetic means or methods
    • B23Q17/249—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves using special electromagnetic means or methods using image analysis, e.g. for radar, infrared or array camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/09—Arrangements for observing, indicating or measuring on machine tools for indicating or measuring cutting pressure or for determining cutting-tool condition, e.g. cutting ability, load on tool
    • B23Q17/0995—Tool life management
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/24—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
    • B23Q17/2404—Arrangements for improving direct observation of the working space, e.g. using mirrors or lamps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the present invention relates to an image processing device, a machine tool, and an image processing method.
  • Patent Document 1 discloses a technique for determining the replacement time of an ultrasonic bonding tool using an image. Further, Patent Document 2 discloses a technique for managing a tool of a grinding machine by using an image. Patent Document 3 discloses a technique for capturing the tip of a tool in a photographing field of view in response to a change in a tool of a machine tool. Further, Patent Document 4 discloses a technique for inspecting a tool attached to a machine tool with an image.
  • Japanese Unexamined Patent Publication No. 2010-207837 Japanese Unexamined Patent Publication No. 2001-269844 Japanese Unexamined Patent Publication No. 9-323240 Japanese Unexamined Patent Publication No. 2016-218550
  • the image processing apparatus of the present disclosure includes a receiving unit that receives a plurality of image data of a tool imaged by an imaging unit attached to a machine tool that processes a workpiece using a tool, and a plurality of image data received by the receiving unit.
  • a machine tool, an image processing method, and the like are provided.
  • the shape and state of the tool can be accurately grasped.
  • the shape and state of the tool By being able to accurately grasp the shape and state of the tool, it is possible to reduce the work load on the machine tool.
  • the processing accuracy can be improved.
  • FIG. It is an external view of a machine machine. It is a figure explaining the positional relationship of the tool, the image pickup part and the lighting part in the machine tool which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the structure of the image processing apparatus which concerns on Embodiment 1.
  • FIG. This is an example of image data captured by a machine tool. This is an example of point cloud data formed by an image processing device. This is an example of profile image data formed by an image processing device. It is a flowchart explaining the process of registration of the point cloud data which concerns on Embodiment 1.
  • FIG. It is a flowchart explaining the process of updating the point cloud data which concerns on Embodiment 2. It is a sequence diagram explaining the process of updating profile information.
  • the "machine tool” described below is also called a machine tool, and uses a tool to process a workpiece such as metal to be machined into a desired shape by cutting, grinding, or the like.
  • the "image processing device” of the present embodiment is a device that processes an image captured in the machine tool. Further, for example, it is used for managing tools used for machining a work in a machine tool. Specifically, the image processing device acquires image data of the tool. Then, the image processing device forms point cloud data and profile image data indicating a two-dimensional or three-dimensional outer shape based on the image data of the tool. Alternatively, the image processing device determines a profile such as a blade portion of the tool and an outer shape based on the image data of the tool. Alternatively, the image processing device determines the boundary between the blade portion and the shank portion of the tool based on the image data of the tool. Then, the image processing apparatus can be used for controlling the position of the tool and managing the tool at the time of machining by using these.
  • Point cloud data is profile information for specifying a profile such as the outer shape of a tool, and is described as point cloud data formed by a plurality of points extracted from the contour of the image data of the tool. Further, in the point group data, as tool profile information, for example, information for specifying the area of the blade portion and shank portion of the tool, the length of the tool, the outer diameter of the tool, and the outside corresponding to the position in the longitudinal direction of the tool. Information about each part of the tool, including diameter information and the like, may be associated.
  • Profile image data represents the two-dimensional or three-dimensional outer shape and contour of the tool.
  • the two-dimensional profile image data is a projection drawing showing the contour of a tool.
  • the three-dimensional profile image data is, for example, three-dimensional image data representing the outer shape of the tool.
  • the machine machine 1 has an outer shape as shown in FIG. 1, for example, and can process a work arranged in a processing area 200.
  • the configuration of the machine tool will be described with reference to FIGS. 1 and 2.
  • the machine tool 1 is attached to a spindle and can hold a tool 11 used for machining a work, a work to be machined, and a holding portion 12 and a tool that can hold the work by being driven by a drive mechanism.
  • the image pickup unit 13 capable of photographing the image and the illumination unit 14 capable of emitting light are provided.
  • the machine tool 1 includes a cover 201 that blocks the machining area 200 and the outside of the machine tool 1.
  • the cover 201 includes a work to be machined from the machine tool 1 to the machine tool 1.
  • a door 203 that can open and close the opening 202 for taking out to the outside is provided. It is provided with an operation panel 15 for performing operations such as machining of the machine tool 1.
  • the machine tool 1 is connected to the image processing device 10 described later with reference to FIG.
  • the machine tool 1 and the image processing device 10 are separate devices and are connected via a wired cable or via wireless communication.
  • the present invention is not limited to this form, and the image processing device 10 may also be incorporated inside the machine tool 1.
  • the tool 11 includes a blade portion 111, which is a portion used for machining a work, and a shank portion 112, which is a portion held by a holder 114 of a spindle 113. Further, the machine tool 1 stores a plurality of types of tools 11 in the magazine 16 which is a storage unit shown in FIG. Then, the machine tool 1 can realize a plurality of different types of machining by holding the tool 11 selected from the plurality on the spindle 113.
  • the configuration shown in FIG. 2 is located at the broken line portion in FIG.
  • the spindle 113 holds the tool 11 used for machining, and is configured to be able to rotate, move, and the like by a control mechanism. As a result, the machine tool 1 can process the target work.
  • the image pickup unit 13 is, for example, a camera provided with an image pickup element such as a CCD or CMOS.
  • the imaging unit 13 can image the tool 11 attached to the tool spindle 113 at a predetermined timing.
  • the imaging unit 13 of the present embodiment targets the tool 11 held by the tool spindle 113 for imaging.
  • the image pickup unit 13 may target the work held by the work holding unit of the work spindle as an image pickup target.
  • the image pickup unit 13 may be installed in a processing area in the machine tool 1.
  • the image pickup unit 13 may be fixed to the upper part of the machine tool 1, for example.
  • the imaging unit 13 images the tool 11 attached to the tool spindle 113 from a plurality of different directions. Specifically, the spindle 113 rotates the tool 11 held by the spindle 113 at a predetermined pitch, and the imaging unit 13 performs imaging in a state where the rotation of the tool 11 is stopped. At this time, the position or coordinates of the tool spindle 113 may be fixed. The position of the tool spindle 113 in the machine tool 1 is determined by the coordinates (X-axis, Y-axis and Z-axis) with the spindle direction as the Z-axis direction. When the image pickup unit 13 is fixed to the upper part in the machine tool 1, the tool 11 is imaged from above.
  • the spindle 113 may move the tool 11 along the rotation axis.
  • the imaging unit 13 rotates the tool spindle 113 at predetermined intervals, and images the tool 11 at each interval to obtain a plurality of images. That is, the entire image of the tool 11 can be obtained by dividing it into a plurality of images. Therefore, the image pickup unit 13 obtains a plurality of image data viewed from different directions for one tool 11. The image pickup unit 13 outputs the obtained image data to the image processing device 10.
  • the imaging unit 13 images the tool 11 from a plurality of intersecting directions including a first direction intersecting (preferably orthogonal to) the rotation axis when rotating the tool 11 and a second direction different from the first direction. good.
  • the first direction and the second direction may differ by 180 degrees (that is, the first direction and the second direction may be opposite directions).
  • the number of images to be captured may be, for example, two or more.
  • the machine tool 1 can obtain image data of the tool 11 from a plurality of directions by imaging the tool 11 attached to the tool spindle 113 of the machine tool 1 by the image pickup unit 13.
  • the imaging unit 13 acquires a rotation image of the tool 11 having a predetermined pitch. That is, the image pickup unit 13 may take an image every time the tool 11 is rotated n degrees (for example, 1 ⁇ n ⁇ 180) around the rotation axis with reference to the rotation axis of the main shaft 113. For example, 12 images may be taken every time the tool 11 is rotated 30 degrees around the rotation axis, 20 images may be taken every time the tool 11 is rotated 18 degrees, and the tool 11 may be imaged.
  • n degrees for example, 1 ⁇ n ⁇ 180
  • 180 images may be captured for each rotation twice. In this way, for each tool 11, it is possible to obtain a plurality of images from different directions in the direction perpendicular to the rotation axis of the tool 11.
  • the machine tool 1 provides the image processing device 10 with information on the rotation angle of the tool 11 together with the image data. As a result, the image processing device 10 can generate point cloud data of the three-dimensional information of the tool 11.
  • the imaging unit 13 images the tool 11 at a timing before the new tool 11 is stored in the magazine 16 which is the storage unit of the machine tool 1.
  • the machine tool 1 can easily generate model data of the tool 11 for interference check in the simulation performed before machining, and can efficiently perform the interference check before machining.
  • the illumination unit 14 is arranged so that the light emitting surface 141 faces the light receiving surface 131 of the imaging unit 13, and among the light emitted from the light emitting surface 141, the light that has passed around the tool is received. It is incident on the surface 131. Therefore, the illumination unit 14 is transmitted illumination.
  • the illumination unit 14 which is transmitted illumination, it is possible to obtain a projected image in which the details of the contour of the tool 11 can be grasped. As a result, in the image processing device 10 that processes the projected image, accurate point cloud data of the tool 11 can be obtained.
  • the image pickup unit 13 is arranged in an image pickup storage unit having a shutter for partitioning from the processing area, except when the tool 11 is photographed.
  • the shutter of the imaging storage unit is opened, and the tool 11 attached to the spindle in front of the imaging unit 13 is moved by moving the spindle to photograph the tool 11.
  • An object whose distance from the imaging unit 13 is known in advance is photographed, it is confirmed from the captured image whether the distance to the object is as set, and if it is different, the position of the imaging unit 13 is adjusted.
  • the back surface of the shutter may be used.
  • the control unit applies vibration to the light receiving element or the light transmitting member by using a vibration mechanism, and controls the foreign substance to be dropped from the light transmitting member or the light transmitting element. It is possible to acquire an image with less reflection. As a result, the chips can be accurately determined.
  • the positions of the imaging unit 13 and the tool 11 differ depending on the purpose of imaging. That is, when the image pickup unit 13 takes a picture, the tool 11 is installed at a predetermined position and the picture is taken so that the portion for which the profile information of the tool 11 is to be generated is included in the depth of field. For example, comparing the "contour measurement" of the tool 11 and the "surface wear measurement”, in the case of the contour measurement of the tool 11, the contour portion is positioned on the working distance (WD) of the optical axis. On the other hand, in the case of measuring the surface wear of the tool 11, the central portion with respect to the diameter of the tool 11 is located on the optical axis, and the outer surface of the tool 11 is positioned on the working distance (WD) of the optical axis. A desired image can be obtained by taking a picture in this way and acquiring an image.
  • the image processing device 10 includes a calculation unit 100, a storage unit 110, an input unit 120, an output unit 130, and a communication unit 140.
  • the image processing device 10 is, for example, an information processing device such as a personal computer or a tablet terminal.
  • the image processing device 10 may have a configuration included in the machine tool 1, is separate from the machine tool 1, and may be capable of wired communication or wireless communication.
  • the input unit 120 and the display unit 130 may be included in the image processing device 10 that is separate from the machine tool 1, or may be provided in the operation panel of the machine tool 1. Further, the input unit 120 and the display unit 130 are provided in the image processing device 10 and the machine tool 1, respectively, and the user can select and use an arbitrary input unit 120 and the display unit 130. good.
  • the calculation unit 100 is a controller that controls the entire image processing device 10. For example, the calculation unit 100 reads and executes the control program P stored in the storage unit 110 to read and execute the reception unit 101, the point cloud data formation unit 102, the profile image formation unit 103, the setting unit 104, and the storage processing unit 105. And the process as the correction unit 106 is executed. Further, the arithmetic unit 100 is not limited to one that realizes a predetermined function by the cooperation of hardware and software, and may be a hardware circuit specially designed to realize a predetermined function. That is, the arithmetic unit 100 can be realized by various processors such as a CPU, MPU, GPU, FPGA, DSP, and ASIC.
  • the storage unit 110 is a recording medium for recording various information.
  • the storage unit 110 is realized, for example, a RAM, a ROM, a flash memory, an SSD (Solid State Device), a hard disk, another storage device, or a combination thereof as appropriate.
  • various data and the like used by the machine 1 are stored.
  • the storage unit 110 stores image data D1, profile information D2, and profile image data D3.
  • the input unit 120 is an input means such as a keyboard, a mouse, and a touch panel used for inputting data and operation signals.
  • the output unit 130 is an output means such as a display used for outputting data.
  • the communication unit 140 is an interface circuit (module) for enabling data communication with an external device (not shown).
  • the communication unit 140 can execute data communication with the image pickup unit 13 that captures image data.
  • the receiving unit 101 receives a plurality of image data D1 of the tool 11 imaged by the imaging unit 13 installed in the machine tool 1 that processes the work using the tool 11. For example, the receiving unit 101 receives image data D1 of a plurality of projected images of the tool 11 that are rotated and captured from different angles. Further, the receiving unit 101 stores the received plurality of image data D1 in the storage unit 110 in association with the identification information of the tool 11 and the identification information for identifying the positional relationship between the tool 11 and the imaging unit 13 at the time of imaging. Let me. As a result, it becomes possible to later form the point cloud data and the profile image data D3 regarding the target tool 11.
  • FIG. 4A is an example of the image data D1 received by the receiving unit 101.
  • the image data D1 includes the outer shape of the tool 11 including the blade portion 111 and the shank portion 112.
  • the image data D1 may be acquired by one imaging unit in one imaging. Further, when a plurality of image data simultaneously captured from a plurality of imaging units 13 that capture different imaging ranges are received, the receiving unit 101 synthesizes the plurality of image data captured at the same time to form one image data D1. May be good. Further, a plurality of photographs may be taken while moving the tool in one image pickup unit, and they may be combined into one image data D1.
  • the image data D1 may be an image including the entire tool 11 or an image including only the blade portion of the tip portion of the tool.
  • a plurality of images may be acquired by automatically following the contour from the tool tip, and they may be combined to acquire image data D1 of the tool tip portion. By doing so, if the image of the tip of the tool is sufficient, the imaging time can be shortened.
  • the image data D1 is displayed on the output unit 130, and the operator sets a boundary between the blade portion of the tool 11 automatically set by using the input unit 120 and the shank portion or the like which is another portion. It may be possible. For example, the operator sets (A) shown in FIG. 4A as the boundary between the blade portion and the shank portion. Further, the image data D1 may be displayed on the output unit 130, and the operator may be allowed to set a range to be processed such as analysis by the image processing device 10. For example, if the range of the analysis target is initially set to the blade portion below (A), the operator can change the setting from (A) to (B) as the range of the analysis target. be. This makes it possible to analyze the blade portion below (B).
  • the analysis time can be shortened. Moreover, even when the analysis is performed at the same time, the number of analysis points can be increased.
  • the setting of the boundary between the blade portion and the shank portion has been described, but it can also be used in the setting for setting the boundary between the tool and the tool holder.
  • the point cloud data forming unit 102 forms point cloud data related to the outer shape of the tool from the plurality of image data D1 received by the receiving unit 101.
  • the plurality of image data D1 are captured from two or more or a plurality of intersecting directions including a first direction intersecting (preferably orthogonal to) the rotation axis of the tool 11 and a second direction different from the first direction. Includes images of.
  • the point cloud data forming unit 102 sets a point cloud composed of a plurality of points extracted from the contour of the tool 11 included in the plurality of image data D1 obtained for one tool 11. Let it be data.
  • the point cloud data is formed by using at least the processed data of the image of the tool 11 captured from the first direction and the processed data of the image of the tool 11 captured from the second direction.
  • the number of captured images required for forming the profile image data does not have to be two, and may be, for example, 12 to 180 images or 30 to 60 images.
  • the point cloud data forming unit 102 extracts points from the contour of the tool 11 among the image data D1 obtained for one tool 11 at predetermined intervals, and synthesizes the extracted plurality of points by matching the angle components. , Point cloud data. This angle component is received from the machine tool 1 together with each image data D1.
  • the point cloud data forming unit 102 can form the point cloud data that can represent the three-dimensional three-dimensional structure of the tool 11. Further, the point group data forming unit 102 stores the point group data formed from the image data D1 as the profile information D2 in the storage unit 110 together with the identification information of the tool 11, or stores the profile information D2 in the tool 11 of the tool management information. Store it in association with the identification information.
  • FIG. 4B is an example of the point cloud data formed by the point cloud data forming unit 102.
  • the profile image forming unit 103 forms the profile image data D3 indicating the two-dimensional or three-dimensional profile of the tool 11 from the point cloud data. Specifically, the profile image forming unit 103 can use the profile image data D3 as the contour of the plane obtained by cutting a part of the three-dimensional three-dimensional structure formed by the point cloud data. Further, the profile image forming unit 103 may use the outer shape itself of the three-dimensional structure formed by the point cloud data of the profile information D2 as the profile image data D3. Further, the profile image data D3 may be, for example, two-dimensional data of a DXF format tool in a two-dimensional CAD data format generated from the profile information D2.
  • the profile image forming unit 103 stores the profile image data D3 formed from the point cloud data in the storage unit 110 together with the identification information of the tool 11.
  • FIG. 4C is an example of profile image data D3 representing the tool formed by the profile image forming unit 103 in three dimensions.
  • the setting unit 104 sets the information of the blade portion 111 of the tool 11. Specifically, the setting unit 104 uses the point cloud data or the profile image data D3 of the profile information D2 stored in the storage unit 110 to use the area of the blade unit 111 and the blade unit 111 as the information of the blade unit 111. Information about the size such as length and diameter can be set. Alternatively, the setting unit 104 can set the boundary between the blade portion 111 of the tool 11 and the shank portion 112 as the information of the blade portion 111. In addition, the setting unit 104 may set both the information regarding the area and size of the blade portion 111 and the boundary between the blade portion 111 and the shank portion 112 as the information of the blade portion 111.
  • the setting unit 104 refers to data such as the shape of various different tools 11 set in advance as a reference, the shape of the blade portion 111, or the shape of the shank portion 112, and the point group data or profile image data of the profile information D2. From D3, the area and size of the blade portion 111 of the target tool 11 or the boundary between the blade portion 111 and the shank portion 112 can be set.
  • the storage processing unit 105 adds the information of the blade unit 111 set by the setting unit 104 to the profile information D2 as the information of the tool 11, and stores it in the storage unit 110. Specifically, the storage processing unit 105 adds the information of the blade unit 111 to the profile information D2 of the target tool 11.
  • the correction unit 106 corrects the information of the blade unit 111 as necessary. Specifically, the point cloud data formed by the point cloud data forming unit 102 or the profile image data D3 formed by the profile image forming unit 103 is displayed on the display which is the output unit 130. An operator or the like can input a signal for correcting the information of the blade portion 111 to the displayed data. For example, the correction unit 106 corrects the information of the blade portion 111, which is the boundary position between the blade portion 111 and the shank portion 112 of the tool 11, based on the signal input by the operator or the like via the input unit 120.
  • the correction unit 106 corrects the information of the blade portion 111 of the tool 11 based on the signal input by the operator or the like via the input unit 120.
  • the image processing apparatus 10 registers the information of the blade portion 111 regarding the tool 11 used in the machine tool 1 in the profile information D2.
  • the process of registering the profile information D2 in the image processing apparatus 10 according to the first embodiment will be described with reference to the flowchart shown in FIG.
  • the process of registering the profile information D2 is started at the timing when the new tool 11 is installed on the spindle 113 in the machine tool 1 and can be used. This is because the position of the tool 11 can be accurately and easily controlled because the image is taken with the tool 11 attached to the spindle 113.
  • the receiving unit 101 receives the image data D1 obtained by imaging the tool 11 attached to the spindle 113 by the imaging unit 13 and stores it in the storage unit 110 (S01).
  • the point cloud data forming unit 102 uses the image data D1 of the tool 11 received in step S01 to form point cloud data composed of a plurality of point clouds extracted from the outer shape of the tool 11 (S02). Further, the point cloud data forming unit 102 stores the formed point cloud data in the storage unit 110 as profile information D2.
  • the profile image forming unit 103 forms the profile image data D3 using the point cloud data of the tool 11 formed in step S02 (S03). Further, the profile image forming unit 103 stores the formed profile image data D3 in the storage unit 110.
  • the setting unit 104 sets the information of the blade portion 111 of the tool 11 by using the point cloud data formed in step S02 or the profile image data D3 of the tool 11 formed in step S03 (S04).
  • the formation of the profile image data D3 in step S03 may be omitted.
  • the correction unit 106 When the correction unit 106 needs to correct the information of the blade portion 111 set in step S04 (YES in S05), the correction unit 106 corrects the profile information D2 (S06). Specifically, when a signal by the operator is input via the input unit 120, the correction unit 106 corrects the profile information D2 according to the input signal.
  • the storage processing unit 105 adds and registers the information of the blade unit 111 set in step S04 or the information of the blade unit 111 corrected in step S06 to the profile information D2 stored in the storage unit 110 (S07).
  • the profile image data D3 and the profile information D2 are formed easily and in a short time. It becomes possible. As a result, the machine tool 1 can perform an interference check using the profile image data D3 and the profile information D2, and can easily realize highly accurate machining of the workpiece.
  • the machine tool according to the second embodiment has the same configuration as the machine machine 1 described above using FIGS. 1 and 2, and the image processing apparatus according to the second embodiment has the above-mentioned image using FIG. Since it has the same configuration as the processing device 10, it will be described with reference to FIGS. 1 to 3.
  • the image pickup unit 13 of the machine tool 1 takes an image of the tool after a predetermined period of time in a state where the same tool is attached to the spindle of the machine tool 1. This makes it possible to compare the image data captured by the image processing apparatus 10 at a plurality of different timings and identify changes in the tool 11 such as wear. For example, the imaging unit 13 may periodically image the tool 11 at the timing when the use of each tool 11 reaches a predetermined number of times. Alternatively, the imaging unit 13 may image the tool 11 when the value obtained by some sensor in the machine tool 1 is out of the predetermined range.
  • the position and orientation of the imaging unit 13 are fixed at the timing of each imaging.
  • fine focus adjustment and the like at the time of imaging can be performed by controlling the movement of the spindle 113 to which the tool 11 is attached.
  • the correction unit 106 of the image processing device 10 obtains profile information D2 determined based on the image data D1 of the tool 11 obtained in the previous image pickup by the image pickup unit 13 in a later image pickup.
  • the point group data formed based on the new image data D1 of the obtained tool 11 is used for correction.
  • the output unit 130 outputs the profile information D2 stored in the storage unit 110 to the output unit 130, and also outputs the profile information D2 generated from the newly obtained image data D1 side by side. This makes it easier for the operator or the like to grasp the change of the tool 11. The operator or the like can compare these displayed data and input a signal for correcting the information of the blade portion which is a part of the profile information D2.
  • a signal for compensating for tool wear may be input on the tool management screen.
  • the correction unit 106 corrects the blade information included in the profile information D2 and the tool management information managed on the tool management screen based on the signal newly input by the operator or the like via the input unit 120. Further, the storage processing unit 105 registers the new profile information D2 corrected by the correction unit 106 in the storage unit 110. As a result, the state of the latest tool 11 is updated based on the profile information D2. Further, in the image processing device 10, when it is detected from the updated new profile information D2 that the tool 11 is worn to the extent that it needs to be replaced, the output unit 130 is notified of the tool replacement timing. May be displayed.
  • the receiving unit 101 receives the new image data D1 captured by the imaging unit 13 and stores it in the storage unit 110 (S11).
  • the point cloud data forming unit 102 forms new point cloud data using the new image data D1 of the tool 11 received in step S11 (S12). Further, the point cloud data forming unit 102 stores the newly formed point cloud data in the storage unit 110 as new profile information D2.
  • the profile image forming unit 103 forms new profile image data D3 using the new point cloud data of the tool 11 formed in step S12 (S13). Further, the profile image forming unit 103 stores the formed new profile image data D3 in the storage unit 110.
  • the setting unit 104 sets the information of the blade portion of the current tool 11 by using the new point cloud data formed in step S12 or the new profile image data D3 of the tool 11 formed in step S13 (S14). ).
  • the formation of the new profile image data D3 in step S13 may be omitted.
  • the correction unit 106 corrects the profile information D2 when it is necessary to correct the blade information set in step S14 (YES in S15) (S16). Specifically, when a signal by an operator is input to the profile information D2 or the like displayed in comparison with the output unit 130 via the input unit 120, the correction unit 106 responds to the input signal. Correct the profile information D2.
  • the storage processing unit 105 stores the information of the new blade unit 111 set in step S14 or the information of the new blade unit 111 corrected in step S16 in the storage unit 110 (S17). As a result, in the image processing apparatus 10, new profile information D2 obtained with respect to the current state of the tool 11 is registered.
  • the current tool 11 in the state specified by the registered new profile information D2 has not reached the preset life of the tool 11 (NO in S18), and new image data.
  • a predetermined timing for acquiring the above is reached (YES in S19)
  • the processes of steps S11 to S19 are repeated.
  • the storage unit 110 stores data for determining whether or not the life of the tool 11 has been reached.
  • the image processing device 10 transmits a position control signal for adjusting the position of the tool 11 to the NC device 17 (S31).
  • the NC device 17 controls the spindle 113 and adjusts the position of the tool 11 (S32).
  • the image processing device 10 transmits a lighting control signal S33 for dimming the lighting to the lighting unit 14 (S33). As a result, the illumination unit 14 is dimmed (S34).
  • the image processing device 10 transmits a shooting control signal to the imaging unit 13 (S35).
  • the image pickup unit 13 takes an image of the image data D1 of the tool 11 (S36). Further, the image pickup unit 13 outputs the captured image data D1 to the image processing device 10.
  • the image processing device 10 uses the acquired image data D1 to perform image processing and data update as described above with reference to FIG. 6 (S38).
  • the image processing device 10 transmits a new position control signal to the NC device 17 (S39). Further, the NC device 17 controls the spindle 113 and adjusts the position of the tool 11 (S40). The processes from steps S35 to S40 surrounded by the broken line in FIG. 7 are repeated until the process of updating the profile information D2 is completed.
  • the image processing device 10 transmits a position control signal for controlling the position for replacement to the NC device 17 (S41).
  • the NC device 17 controls the spindle 113 and adjusts the position for replacing the tool 11 (S42). After that, the tool 11 is replaced in the machine tool 1.
  • the image processing device 10 can register new profile information D2 including changes that occur in the tool such as wear and damage. Therefore, the machine tool 1 can accurately reflect deterioration and deviation of the tool 11 due to long-term use such as wear and tear by using the new profile information D2, and can prevent a decrease in machining accuracy.
  • the image pickup unit 13 has been described as taking a transmission image of the tool 11.
  • the imaging unit 13 may capture the reflected light.
  • the illumination unit 14 is arranged so that the light emitting surface faces the same direction as the light receiving surface of the imaging unit 13, the light emitted from the light emitting surface hits the tool, and the reflected light is the light receiving surface of the imaging unit 13. It may be configured to be incident on.
  • the imaging unit 13 can obtain an image of the surface of the tool 11, so that the scratches and the like generated on the tool 11 can be accurately grasped.
  • the acquired image data D1 was used for registering or updating the profile information D2.
  • the acquired image data D1 may be used to identify the tool currently held by the holding unit 12 of the machine tool 1.
  • the image processing device 10 stores the tool list data, which is information on a plurality of tools that can be used by the machine tool 1, in the storage unit 110, and the calculation unit 100 includes an identification unit for identifying the tools.
  • the tool list data includes, for example, the model number of the tool as the identification information of each tool. Further, the tool list data includes at least the outer diameter and length of the blade portion of the tool as information regarding the shape of the tool in each model number. Further, for a tool having an outer diameter different depending on the portion of the blade portion 111 of the tool, information regarding the longitudinal direction of the portion of the tool that specifies the portion can be included as information regarding the shape of the tool.
  • the identification unit determines the model number of the tool attached to the spindle 113 from the tool list data for the point cloud data or the profile image data D3. Thereby, the tool held on the spindle 113 can be easily identified.
  • the setting unit 104 sets the information of the blade portion 111 of the tool 11.
  • the profile image forming unit 103 may set the information of the blade unit 111 by using a learning model that has been learned in advance by machine learning. Specifically, this learning model is based on a set of tool profile image data, boundary positions of a blade portion 111 and a shank portion 112 based on actual measurement of the tool 11, and external profile data based on actual measurement of the tool 11. The parameters obtained by learning using the teacher data are applied.
  • This learning model takes the image data of the tool 11 as input, and outputs the profile information D2 and the profile image data D3 such as the boundary positions of the blade portion 111 and the shank portion 112 of the tool 11. As a result, the profile information D2 can be registered by using the learning model.
  • the image processing apparatus, machine tool and image processing method described in all the claims of the present disclosure are realized by cooperation with hardware resources such as a processor, a memory, and a program.
  • the image processing apparatus, machine tool and image processing method of the present disclosure are useful for facilitating interference check of the machine tool, for example.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Machine Tool Sensing Apparatuses (AREA)
  • Auxiliary Devices For Machine Tools (AREA)
  • Image Analysis (AREA)

Abstract

画像処理装置（１０）は、工具を用いてワークを加工する工作機の機内に取り付けられた撮像部で撮像された工具の複数の画像データを受信する受信部（１０１）と、受信部で受信した複数の画像データから工具のプロファイルに係るプロファイル情報である点群データを形成する点群データ形成部（１０２）と、点群データから工具の２次元または３次元のプロファイルを示すプロファイル画像データを形成するプロファイル画像形成部（１０３）と、を備える。

Description

画像処理装置、工作機及び画像処理方法
　この発明は、画像処理装置、工作機及び画像処理方法に関する。
　工作機を使用してワークを加工する際、工具の形状や状態を把握することで、正確にワークの加工を継続することが可能となる。具体的には、工作機の加工では、工具等の干渉チェックが必須となるため、工具の正確な形状の把握が重要である。また、工具の状態の把握により、精度良い加工が実現できる。ところが、工具の形状や状態の把握は、特別な作業や時間を要するのが現状である。
　特許文献１では、超音波接合工具の交換時期を、画像を用いて判定する技術が開示される。また、特許文献２では、研削加工装置の工具を、画像を用いて管理する技術が開示される。特許文献３では、工作機械の工具の変化に対し、工具の先端を撮影視野に捉えるための技術が開示される。さらに、特許文献４では、工作機に取り付けられた工具を画像で検査する技術が開示される。
特開２０１０－２０７８３７号公報 特開２００１－２６９８４４号公報 特開平９－３２３２４０号公報 特開２０１６－２１８５５０号公報
　しかしながら、上記特許文献のいずれによっても、工具の形状や状態を正確に把握することは困難である。
　本開示の画像処理装置は、工具を用いてワークを加工する工作機に取り付けられた撮像部で撮像された工具の複数の画像データを受信する受信部と、受信部で受信した複数の画像データから工具のプロファイルに係るプロファイル情報である点群データを形成する点群データ形成部と、点群データから工具の２次元または３次元のプロファイルを示すプロファイル画像データを形成するプロファイル画像形成部と、を備える。
　本開示において、画像処理装置の他に、工作機、画像処理方法などを提供するものである。
　これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
　本発明によれば、工具の形状や状態を正確に把握することができる。工具の形状や状態を正確に把握することができることで、工作機での作業負担を軽減することができる。また、加工精度の向上を図ることができる。
工作機の外観図である。 実施の形態１に係る工作機における工具、撮像部及び照明部の位置関係を説明する図である。 実施の形態１に係る画像処理装置の構成を示すブロック図である。 工作機で撮像された画像データの一例である。 画像処理装置で形成された点群データの一例である。 画像処理装置で形成されたプロファイル画像データの一例である。 実施の形態１に係る点群データの登録の処理を説明するフローチャートである。 実施の形態２に係る点群データの更新の処理を説明するフローチャートである。 プロファイル情報の更新の処理を説明するシーケンス図である。
　以下に、図面を参照して各実施形態に係る画像処理装置、工作機及び画像処理方法について説明する。以下の説明では、同一の構成について、同一の符号を付して説明を省略する。
　以下で説明する「工作機」は、工作機械とも言われるものであり、工具を用いて加工対象である金属等のワークに対し、切削、研削等により所望の形状に加工するものである。
　本実施形態の「画像処理装置」は、工作機内で撮像される画像を処理する装置である。さらに、例えば、工作機においてワークの加工に使用する工具の管理に利用するものである。具体的には、画像処理装置は、工具の画像データを取得する。そして、画像処理装置は、工具の画像データをもとに、点群データと、２次元または３次元の外形を示すプロファイル画像データとを形成するものである。または、画像処理装置は、工具の画像データをもとに、工具の刃部と、外形等のプロファイルを定めるものである。または、画像処理装置は、工具の画像データをもとに、工具の刃部とシャンク部との境界を定めるものである。そして、画像処理装置は、これらを用いて、加工の際の工具の位置の制御や工具の管理に利用することができる。
　「点群データ」は、工具の外形等のプロファイルを特定するためのプロファイル情報であって、工具の画像データの輪郭から抽出された複数の点で形成される点群のデータとして説明する。また、点群データには、工具のプロファイル情報として、例えば、工具の刃部及びシャンク部の領域を特定する情報、工具の長さ、工具の外径、工具の長手方向の位置に対応した外径情報等を含む工具の各部に関する情報を関連付けてもよい。
　「プロファイル画像データ」は、工具の２次元または３次元の外形や輪郭を表すものである。例えば、２次元のプロファイル画像データとは、工具の輪郭を表す投影図である。また、３次元のプロファイル画像データとは、例えば、工具の外形を表す３次元の画像データである。
［実施の形態１］
〈工作機〉
　工作機１は、例えば図１に示すような外形であり、加工領域２００内に配置されるワークを加工することができる。
　工作機の構成について、図１及び図２を用いて説明する。工作機１は、主軸に取り付けられ、ワークの加工に用いられる工具１１、加工対象のワークを保持することが可能であり、駆動機構に駆動されることよりワークを保持可能な保持部１２、工具を撮像可能な撮像部１３及び発光可能な照明部１４を備える。また、図１に示すように、工作機１は、加工領域２００と工作機１の外部を遮断するカバー２０１を備え、カバー２０１には、加工対象のワークを、加工領域２００から工作機１の外部に取り出すための開口２０２を開閉可能なドア２０３を備える。工作機１の加工などの操作をする操作盤１５を備えている。
　さらに、工作機１は、図３を用いて後述する画像処理装置１０と接続される。なお、本実施形態では、工作機１と画像処理装置１０とは、別々の装置で、有線のケーブルを介して、または無線通信を介して接続されている。しかし、この形態には限定されず、画像処理装置１０も工作機１の内部に組み込まれている形態であってもよい。
　工具１１は、図２に示すように、ワークの加工に利用される部位である刃部１１１と、主軸１１３のホルダ１１４に保持される部位であるシャンク部１１２とを含む。また、工作機１は、図１に示す収納部であるマガジン１６に複数種の工具１１を収納する。そして、工作機１は、複数の中から選択した工具１１を主軸１１３に保持させることで、異なる複数種類の加工を実現することができる。なお、図２に示す構成は、図１中の破線部分に位置するものである。
　主軸１１３は、加工に利用される工具１１を保持し、制御機構により、回転及び移動等することが可能に構成される。これにより、工作機１では、対象のワークを加工することができる。
　撮像部１３は、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を備えたカメラである。この撮像部１３は、所定のタイミングで、工具主軸１１３に取り付けられた工具１１を撮像することができる。本実施形態の撮像部１３は、工具主軸１１３に保持される工具１１を撮像対象とする。なお、撮像部１３で、ワーク主軸のワーク保持部に保持されるワークを撮像対象としてもよい。撮像部１３は、工作機１内の加工領域に設置されていてもよい。撮像部１３は、例えば工作機１内の上部に固定されていてもよい。
　撮像部１３は、工具主軸１１３に取り付けられた工具１１を複数の異なる方向から撮像する。具体的には、主軸１１３が、保持する工具１１を所定のピッチで回転させ、撮像部１３が、工具１１の回転を止めた状態で撮像を行う。このとき、工具主軸１１３の位置もしくは座標が固定されていてもよい。なお、工作機１内の工具主軸１１３の位置は、主軸方向をＺ軸方向とする座標（Ｘ軸、Ｙ軸およびＺ軸）で決定される。撮像部１３が工作機１内の上部に固定されている場合、工具１１はその上方から撮像される。このように所定ピッチ間隔で、工具１１を撮像することで、撮像部１３が固定されている場合であっても、工具１１を異なる複数の方向から撮像することができる。なお、一枚の画像に工具１１が収まらない場合、主軸１１３は、回転軸に沿って工具１１を移動させてもよい。
　撮像部１３は、工具主軸１１３を所定間隔で回転させ、その間隔毎に工具１１を撮像して複数の画像を得る。つまり、工具１１の全体の画像を、複数に分けて得ることができる。したがって、撮像部１３は、一の工具１１について、異なる方向から見る複数の画像データを得る。なお、撮像部１３は、得られた画像データを、画像処理装置１０に出力する。
　撮像部１３は、工具１１を回転させる際の回転軸と交差（好ましくは直交）する第１方向と、第１方向とは異なる第２方向を含む複数の交差方向から工具１１を撮像してもよい。第１方向と第２方向とが１８０度異なってもよい（すなわち、第１方向と第２方向とが逆方向でもよい）。撮像する画像数は、例えば２枚以上であればよい。
　上述のように、工作機１は、撮像部１３により、工作機１の工具主軸１１３に取り付けられた工具１１を撮像することで、複数の方向からの工具１１の画像データを得ることができる。このとき、撮像部１３は、所定のピッチの工具１１の回転画像を取得することが好ましい。すなわち、撮像部１３は、主軸１１３の回転軸を基準として、回転軸の回りに工具１１をｎ度（例えば１≦ｎ≦１８０）回転させる毎に画像を撮像してもよい。例えば、回転軸の回りに工具１１を３０度回転させる毎に１２枚の画像を撮像してもよく、工具１１を１８度回転させる毎に２０枚の画像を撮像してもよく、工具１１を２度回転させる毎に１８０枚の画像を撮像してもよい。このように、各工具１１について、工具１１の回転軸に対して垂直方向のうちの異なる方向からの複数の画像を得ることができる。撮像時間や工具プロファイルの精度を考慮すると、３０枚（ｎ＝１２度回転毎）から６０枚（ｎ＝６度回転毎）の画像を撮像し、それらの画像を処理してプロファイル画像データを形成することが好ましい。このとき、工作機１は、工具１１の回転角度に関する情報を画像データと共に画像処理装置１０に提供する。これにより、画像処理装置１０は、工具１１の立体情報の点群データを生成することができる。
　例えば、撮像部１３は、新たな工具１１を工作機１の収納部であるマガジン１６に収納する前のタイミングで、工具１１を撮像する。これにより、工作機１は、簡易に、加工前に行うシミュレーションにおける干渉チェック用の工具１１のモデルデータを生成することができ、加工前の干渉チェックを効率的に行うことができる。
　照明部１４は、図２に示すように、発光面１４１が撮像部１３の受光面１３１と対向するように配置され、発光面１４１から出射された光のうち工具の周囲を通過した光が受光面１３１に入射する。したがって、この照明部１４は、透過照明である。透過照明である照明部１４の使用により、工具１１の輪郭の詳細を把握可能な投影画像を得ることができる。これにより、投影画像を処理する画像処理装置１０において、工具１１の正確な点群データを得ることができる。
　なお、撮像部１３は、工具１１を撮影する際以外は、加工領域と区画するためのシャッタを有する撮像収納部の中に配置されている。工具１１を撮影する際に撮像収納部のシャッタが開き、撮像部１３の前に主軸に取り付けられた工具１１を、主軸を移動させることで移動し、工具１１の撮影を行う。この工具１１の撮影の前に撮像部１３のキャリブレーションを行うことが好ましい。撮像部１３からの距離が予め分かっている物体を撮影し、撮影された画像から物体との距離が設定値通りであるか確認を行い、異なっていれば撮像部１３の位置を調整する。この予め距離が分っている物体としては、シャッタの裏面を使ってもよい。さらに、撮像部１３の光透過部材であるレンズやガラスや受光素子であるＣＭＯＳなどに埃などの異物が付着していることを検出してもよい。異物の付着により撮像画像に異物が映り込むとＡＩでの判別において切屑と判断する可能性があるためである。撮像部１３が異物を検出した際は、制御部から受光素子や光透過部材に対して振動機構を用いて振動を与え、異物を光透過部材や受光素子から落とす制御を行うことにより、異物が映り込むことを低減した画像の取得が可能になる。これにより、切り屑の判断が正確にできる。
　撮像目的によって、撮像部１３と工具１１との位置が異なる。つまり、撮像部１３で撮影する際に被写界深度内に工具１１のプロファイル情報を生成したい部分が入るように工具１１を所定位置に設置して撮影を行う。例えば、工具１１の『輪郭測定』と、『表面摩耗測定』とを比較すると、工具１１の輪郭測定の場合は、輪郭部分が光軸のワーキングディスタンス（ＷＤ）上に位置させる。一方、工具１１の表面磨耗測定の場合は、工具１１の直径に対する中心部分が光軸に位置し工具１１の外表面が光軸のワーキングディスタンス（ＷＤ）上に位置させる。このようにして撮影して画像を取得することにより、所望の画像を得ることができる。
〈画像処理装置〉
　図３を用いて、実施形態に係る画像処理装置１０の一例を説明する。画像処理装置１０は、演算部１００と、記憶部１１０と、入力部１２０と、出力部１３０と、通信部１４０とを備える。この画像処理装置１０は、例えば、パーソナルコンピュータやタブレット端末等の情報処理装置である。画像処理装置１０は、工作機１に含まれる構成でもよく、工作機１とは別体であり、有線通信または無線通信が可能であってもよい。入力部１２０と表示部１３０は、工作機１とは別体の画像処理装置１０に含まれる構成でもよく、工作機１の操作盤に備えられていてもよい。また、入力部１２０と表示部１３０とは、画像処理装置１０と工作機１にそれぞれ設けられており、使用者が任意の入力部１２０と表示部１３０とを選択して利用可能な構成としてもよい。
　演算部１００は、画像処理装置１０全体の制御を司るコントローラである。例えば、演算部１００は、記憶部１１０に記憶される制御プログラムＰを読み出して実行することにより、受信部１０１、点群データ形成部１０２、プロファイル画像形成部１０３、設定部１０４、記憶処理部１０５及び補正部１０６としての処理を実行する。また、演算部１００は、ハードウェアとソフトウェアの協働により所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、演算部１００は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサで実現することができる。
　記憶部１１０は種々の情報を記録する記録媒体である。記憶部１１０は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＳＳＤ（Solid State Device）、ハードディスク、その他の記憶デバイスまたはそれらを適宜組み合わせて実現される。記憶部１１０には、演算部１００が実行する制御プログラムＰの他、工作機１で使用する種々のデータ等が格納される。例えば、記憶部１１０は、画像データＤ１、プロファイル情報Ｄ２及びプロファイル画像データＤ３を記憶する。
　入力部１２０は、データや操作信号の入力に利用するキーボード、マウス及びタッチパネル等の入力手段である。出力部１３０は、データの出力に利用するディスプレイ等の出力手段である。
　通信部１４０は、外部の装置（図示せず）とのデータ通信を可能とするためのインタフェース回路（モジュール）である。例えば、通信部１４０は、画像データを撮像する撮像部１３とデータ通信を実行することができる。
　受信部１０１は、工具１１を用いてワークを加工する工作機１の機内に取り付けられた撮像部１３で撮像された工具１１の複数の画像データＤ１を受信する。例えば、受信部１０１は、回転して異なる角度から撮像された工具１１の複数の投影画像の画像データＤ１を受信する。また、受信部１０１は、受信した複数の画像データＤ１を、工具１１の識別情報と、撮像時の工具１１と撮像部１３の位置関係を識別する識別情報と、を関連付けて記憶部１１０に記憶させる。これにより、後に、対象の工具１１に関する点群データやプロファイル画像データＤ３の形成が可能となる。
　図４Ａは、受信部１０１が受信した画像データＤ１の一例である。図４Ａに示す例では、刃部１１１及びシャンク部１１２を含む工具１１の外形を含む画像データＤ１である。画像データＤ１は、１つの撮像部で１回の撮像で取得されるものであってもよい。また、異なる撮像範囲を撮像する複数の撮像部１３から同時に撮像された複数の画像データを受信した場合、受信部１０１は、同時に撮像された複数の画像データを合成し、一の画像データＤ１としてもよい。さらに、１つの撮像部で工具を動かしながら複数の撮影を行い、それらを合成して１つの画像データＤ１としてもよい。
　画像データＤ１は、工具１１全体を含む画像である場合もあるし、工具の先端部分の刃部分だけを含む画像である場合もある。このような場合に、工具先端から自動的に輪郭を追従して複数の画像を取得して、それらを合成して工具先端部分の画像データＤ１を取得してもよい。このようにすることで、工具先端部分の画像だけで十分な場合は、撮像時間を短縮できる。
　なお、この画像データＤ１を出力部１３０に表示し、作業者が、入力部１２０を利用して自動で設定された工具１１の刃部と、他の部分であるシャンク部等と境界を設定させることを可能としてもよい。例えば、作業者は、刃部とシャンク部との境界として、図４Ａに示す（Ａ）を設定する。また、出力部１３０に画像データＤ１を表示し、作業者が、画像処理装置１０における解析等の処理の対象とする範囲を設定させることを可能としてもよい。例えば、解析対象の範囲が初期では（Ａ）から下の刃部に設定されていた場合、作業者は、解析対象の範囲として、（Ａ）から（Ｂ）に設定を変更することが可能である。これにより、（Ｂ）から下の刃部を解析することが可能になる。刃部の一部のみを解析することより、解析時間の短縮が可能になる。また、同じ時間で解析する場合でも、解析点を多くできる。この説明では、刃部とシャンク部との境界の設定に関して説明したが、工具と工具ホルダの境界を設定するような設定でも用いることができる。
　点群データ形成部１０２は、受信部１０１で受信した複数の画像データＤ１から工具の外形に関する点群データを形成する。複数の画像データＤ１は、工具１１の回転軸と交差（好ましくは直交）する第１方向と、第１方向とは異なる第２方向とを含む２以上もしくは複数の交差方向から撮像された工具１１の画像を含む。具体的には、点群データ形成部１０２は、一の工具１１について得られた複数の画像データＤ１に含まれる工具１１の輪郭上から抽出された複数の点で構成される点群を点群データとする。点群データは、少なくとも、第１方向から撮像した工具１１の画像を処理したデータと、第２方向から撮像した工具１１の画像を処理したデータとを用いて形成される。プロファイル画像データを形成する際に必要な撮影画像は、２枚である必要はなく、例えば、１２枚から１８０枚でもよく、３０枚から６０枚でもよい。例えば、点群データ形成部１０２は、一の工具１１について得られた各画像データＤ１のうち工具１１の輪郭から所定間隔で点を抽出し、抽出した複数の点に角度成分を合わせて合成し、点群データとする。この角度成分は、各画像データＤ１と共に、工作機１から受信したものである。これにより、点群データ形成部１０２は、工具１１の３次元立体構造を表すことのできる点群データを形成することができる。また、点群データ形成部１０２は、画像データＤ１から形成した点群データをプロファイル情報Ｄ２として、工具１１の識別情報とともに記憶部１１０に記憶させか、プロファイル情報Ｄ２を工具管理情報の工具１１の識別情報と関連付けて記憶させる。図４Ｂは、点群データ形成部１０２が形成した点群データの一例である。
　プロファイル画像形成部１０３は、点群データから工具１１の２次元または３次元のプロファイルを示すプロファイル画像データＤ３を形成する。具体的には、プロファイル画像形成部１０３は、点群データで形成される３次元立体構造の一部で切断して得られる平面の輪郭をプロファイル画像データＤ３とすることができる。また、プロファイル画像形成部１０３は、プロファイル情報Ｄ２の点群データで形成される３次元立体構造の外形自体をプロファイル画像データＤ３としてもよい。さらに、プロファイル画像データＤ３は、プロファイル情報Ｄ２から生成された、例えば、２次元ＣＡＤデータ形式のＤＸＦフォーマットの工具の２次元データであってもよい。また、プロファイル画像形成部１０３は、点群データから形成したプロファイル画像データＤ３を、工具１１の識別情報とともに記憶部１１０に記憶させる。図４Ｃは、プロファイル画像形成部１０３が形成した工具を３次元で表すプロファイル画像データＤ３の一例である。
　設定部１０４は、工具１１の刃部１１１の情報を設定する。具体的には、設定部１０４は、記憶部１１０に記憶されるプロファイル情報Ｄ２の点群データまたはプロファイル画像データＤ３を用いて、刃部１１１の情報として、刃部１１１の領域及び刃部１１１の長さや径等のサイズに関する情報を設定することができる。または、設定部１０４は、刃部１１１の情報として、工具１１の刃部１１１とシャンク部１１２との境界を設定することができる。その他、設定部１０４は、刃部１１１の情報として、刃部１１１の領域及びサイズに関する情報と刃部１１１とシャンク部１１２の境界との両方を設定してもよい。
　例えば、設定部１０４は、予め基準として設定される各種別の工具１１の形状、刃部１１１の形状またはシャンク部１１２の形状等のデータを参考に、プロファイル情報Ｄ２の点群データまたはプロファイル画像データＤ３から、対象の工具１１の刃部１１１の領域及びサイズまたは刃部１１１とシャンク部１１２との境界を設定することができる。
　記憶処理部１０５は、設定部１０４で設定された刃部１１１の情報を工具１１の情報としてプロファイル情報Ｄ２に追加し、記憶部１１０に記憶させる。具体的には、記憶処理部１０５は、対象の工具１１のプロファイル情報Ｄ２に、刃部１１１の情報を追加する。
　このとき、補正部１０６は、必要に応じて刃部１１１の情報を補正する。具体的には、点群データ形成部１０２で形成された点群データまたはプロファイル画像形成部１０３で形成されたプロファイル画像データＤ３は、出力部１３０であるディスプレイに表示される。作業者等は、これら表示されるデータに対し、刃部１１１の情報を補正するための信号を入力することができる。例えば、補正部１０６は、入力部１２０を介して作業者等により入力された信号に基づいて、工具１１の刃部１１１及びシャンク部１１２の境界位置である刃部１１１の情報を補正する。または、補正部１０６は、入力部１２０を介して作業者等により入力された信号に基づいて、工具１１の刃部１１１の情報を補正する。これにより、画像処理装置１０には、工作機１で使用される工具１１に関する刃部１１１の情報がプロファイル情報Ｄ２に登録される。
〈プロファイル情報の登録の処理〉
　図５に示すフローチャートを用いて、実施の形態１に係る画像処理装置１０におけるプロファイル情報Ｄ２の登録の処理について説明する。このプロファイル情報Ｄ２の登録の処理は、工作機１において新たな工具１１が主軸１１３に設置され、使用が可能となったタイミングで開始される。主軸１１３に工具１１が取り付けられた状態で画像を撮影するため、工具１１の位置が正確かつ簡単に制御できるためである。まず、受信部１０１は、撮像部１３が主軸１１３に取り付けられた工具１１を撮像した画像データＤ１を受信し、記憶部１１０に記憶させる（Ｓ０１）。
　点群データ形成部１０２は、ステップＳ０１で受信された工具１１の画像データＤ１を用いて、工具１１の外形から抽出された複数の点群で構成される点群データを形成する（Ｓ０２）。また、点群データ形成部１０２は、形成した点群データをプロファイル情報Ｄ２として記憶部１１０に記憶させる。
　プロファイル画像形成部１０３は、ステップＳ０２で形成された工具１１の点群データを用いて、プロファイル画像データＤ３を形成する（Ｓ０３）。また、プロファイル画像形成部１０３は、形成したプロファイル画像データＤ３を記憶部１１０に記憶させる。
　設定部１０４は、ステップＳ０２で形成された点群データまたはステップＳ０３で形成された工具１１のプロファイル画像データＤ３を用いて、工具１１の刃部１１１の情報を設定する（Ｓ０４）。なお、点群データを用いて刃部１１１の情報を設定する場合、ステップＳ０３のプロファイル画像データＤ３の形成は省略してもよい。
　補正部１０６は、ステップＳ０４で設定された刃部１１１の情報に関して補正する必要があるとき（Ｓ０５でＹＥＳ）、プロファイル情報Ｄ２を補正する（Ｓ０６）。具体的には、入力部１２０を介して作業者による信号が入力された場合、補正部１０６は、入力された信号に応じてプロファイル情報Ｄ２を補正する。
　記憶処理部１０５は、ステップＳ０４で設定された刃部１１１の情報またはステップＳ０６で補正された刃部１１１の情報を記憶部１１０に記憶されるプロファイル情報Ｄ２に追加して登録する（Ｓ０７）。
　このように、実施形態に係る画像処理装置１０によれば、工作機１において新たな工具１１が使用されることとなった場合、容易かつ短時間でプロファイル画像データＤ３及びプロファイル情報Ｄ２を形成することが可能となる。これにより、工作機１では、このプロファイル画像データＤ３及びプロファイル情報Ｄ２を用いて干渉チェックを行うことが可能となり、高精度なワークの加工を容易に実現することができる。
［実施の形態２］
〈工作機及び画像処理装置〉
　実施の形態１に係る工作機１及び画像処理装置１０では、工作機１に新たな工具１１が収納される等により新たな工具１１を使用することが可能となったタイミングで画像を取得し、プロファイル情報Ｄ２を登録していた。これに対し、実施の形態２に係る工作機及び画像処理装置では、既にプロファイル情報Ｄ２が登録されている工具１１について、使用により摩耗、損傷等が生じた所定のタイミングで、新たに画像を取得し、プロファイル情報Ｄ２を更新するものである。
　実施の形態２に係る工作機は、図１及び２を用いて上述した工作機１と同一の構成であり、また、実施の形態２に係る画像処理装置は、図３を用いて上述した画像処理装置１０と同一の構成であるため、図１乃至３を参照して説明する。
　実施の形態２に係る工作機１の撮像部１３は、工作機１の主軸に同一の工具が取り付けられた状態で、所定の期間をあけて工具を撮像する。これにより、画像処理装置１０において複数の異なるタイミングで撮像された画像データを比較し、摩耗等の工具１１の変化を特定することが可能となる。例えば、撮像部１３は、各工具１１の使用が所定の回数に達したタイミングで、定期的に工具１１を撮像してもよい。または、撮像部１３は、工作機１における何らかのセンサによる値が所定の範囲外となった場合に、工具１１を撮像しても良い。
　ここで、各撮像のタイミングで、撮像部１３の位置及び姿勢は固定であることが好ましい。この場合、工具１１が取り付けられた主軸１１３の移動制御により、撮像の際の微細なピント調整等を行うことができる。このように、撮像部１３を固定し、主軸１１３の移動機構を利用することで、移動機構等を要さず、また、工作機１の大型化を防ぐことができる。
　また、実施の形態２に係る画像処理装置１０の補正部１０６は、撮像部１３による先の撮像で得られた工具１１の画像データＤ１に基づいて定められたプロファイル情報Ｄ２を、後の撮像で得られた工具１１の新たな画像データＤ１に基づいて形成された点群データを用いて補正する。例えば、出力部１３０は、記憶部１１０に記憶される先のプロファイル情報Ｄ２を出力部１３０に出力するとともに、新たに得られた画像データＤ１から生成されたプロファイル情報Ｄ２を並べて出力する。これにより、作業者等に、工具１１の変化を把握しやすくさせる。作業者等は、これら表示されるデータを比較し、プロファイル情報Ｄ２の一部である刃部の情報を補正するための信号を入力することができる。または、工具管理画面で工具の摩耗を補正するための信号を入力することができる形態でもよい。補正部１０６は、入力部１２０を介して作業者等により新たに入力された信号に基づいて、プロファイル情報Ｄ２や工具管理画面で管理する工具管理情報に含まれる刃部の情報を補正する。また、記憶処理部１０５は、補正部１０６により補正された新たなプロファイル情報Ｄ２を記憶部１１０に登録する。これにより、プロファイル情報Ｄ２をもとに最新の工具１１の状態に更新される。また、画像処理装置１０では、更新された新たなプロファイル情報Ｄ２から、工具１１が交換を必要とする程度に摩耗していることが検出された場合、出力部１３０に工具の交換タイミングである通知を表示してもよい。
〈プロファイル情報の更新の処理〉
　図６に示すフローチャートを用いて、実施の形態１に係る画像処理装置１０におけるプロファイル情報Ｄ２の更新の処理について説明する。まず、受信部１０１は、撮像部１３が撮像した新たな画像データＤ１を受信し、記憶部１１０に記憶させる（Ｓ１１）。
　点群データ形成部１０２は、ステップＳ１１で受信された工具１１の新たな画像データＤ１を用いて、新たな点群データを形成する（Ｓ１２）。また、点群データ形成部１０２は、新たに形成した点群データを新たなプロファイル情報Ｄ２として記憶部１１０に記憶させる。
　プロファイル画像形成部１０３は、ステップＳ１２で形成された工具１１の新たな点群データを用いて、新たなプロファイル画像データＤ３を形成する（Ｓ１３）。また、プロファイル画像形成部１０３は、形成した新たなプロファイル画像データＤ３を記憶部１１０に記憶させる。
　設定部１０４は、ステップＳ１２で形成された新たな点群データまたはステップＳ１３で形成された工具１１の新たなプロファイル画像データＤ３を用いて、現在の工具１１の刃部の情報を設定する（Ｓ１４）。なお、点群データを用いて刃部１１１の情報を設定する場合、ステップＳ１３の新たなプロファイル画像データＤ３の形成は省略してもよい。
　補正部１０６は、ステップＳ１４で設定された刃部の情報に関して補正する必要があるとき（Ｓ１５でＹＥＳ）、プロファイル情報Ｄ２を補正する（Ｓ１６）。具体的には、出力部１３０に比較して表示されるプロファイル情報Ｄ２等に対し、入力部１２０を介して作業者による信号が入力された場合、補正部１０６は、入力された信号に応じてプロファイル情報Ｄ２を補正する。
　記憶処理部１０５は、ステップＳ１４で設定された新たな刃部１１１の情報またはステップＳ１６で補正された新たな刃部１１１の情報を記憶部１１０に記憶させる（Ｓ１７）。これにより、画像処理装置１０では、現在の工具１１の状態に関して得られた新たなプロファイル情報Ｄ２が登録される。
　また、画像処理装置１０は、登録した新たなプロファイル情報Ｄ２で特定される状態の現在の工具１１が、予め設定される工具１１の寿命に達しておらず（Ｓ１８でＮＯ）、新たな画像データを取得する所定のタイミングに達した場合（Ｓ１９でＹＥＳ）、ステップＳ１１～Ｓ１９の処理を繰り返す。例えば、画像処理装置１０では、工具１１の寿命に達したか否かを判定するためのデータを記憶部１１０で記憶する。
　一方、工作機１における処理を終了するタイミングである場合（Ｓ２０でＹＥＳ）、プロファイル情報Ｄ２の更新の処理を終了する。
　また、画像処理装置１０は、登録した新たなプロファイル情報Ｄ２で特定される状態の現在の工具１１が、予め設定される工具１１の寿命に達している場合（Ｓ１８でＹＥＳ）、工具交換のタイミングである通知を出力部１３０に表示し（Ｓ２１）、プロファイル情報Ｄ２の更新の処理を終了する。
　なお、図７に示すシーケンス図を用いて、図６を用いて上述したプロファイル情報Ｄ２の更新の処理を実行する場合における工作機１での処理について説明する。まず、画像処理装置１０がＮＣ装置１７に、工具１１の位置を調整するための位置制御信号を送信する（Ｓ３１）。これにより、ＮＣ装置１７は、主軸１１３を制御し、工具１１の位置を調整する（Ｓ３２）。
　また、画像処理装置１０は、照明部１４に、照明を調光するための照明制御信号Ｓ３３を送信する（Ｓ３３）。これにより、照明部１４は、調光される（Ｓ３４）。
　その後、画像処理装置１０は、撮影制御信号を撮像部１３に送信する（Ｓ３５）。これにより、撮像部１３は、工具１１の画像データＤ１を撮像する（Ｓ３６）。また、撮像部１３は、撮像した画像データＤ１を画像処理装置１０に出力する。
　画像処理装置１０は、取得した画像データＤ１を用いて、図６を用いて上述したように、画像の処理及びデータの更新を実行する（Ｓ３８）。
　処理を継続する場合、画像処理装置１０は、新たな位置制御信号をＮＣ装置１７に送信する（Ｓ３９）。また、ＮＣ装置１７は、主軸１１３を制御し、工具１１の位置を調整する（Ｓ４０）。図７において破線で囲まれるステップＳ３５からＳ４０までの処理は、プロファイル情報Ｄ２の更新の処理を終了するまで繰り替えされる。
　または、工具１１の交換のタイミングに達した場合、画像処理装置１０は、ＮＣ装置１７に、交換のための位置に制御するための位置制御信号を送信する（Ｓ４１）。これにより、ＮＣ装置１７は、主軸１１３を制御し、工具１１を交換するための位置に調整する（Ｓ４２）。その後、工作機１において、工具１１が交換される。
　このように、画像処理装置１０では、摩耗、損傷等の工具に生じた変化を含む新たなプロファイル情報Ｄ２を登録することができる。したがって、工作機１は、新たなプロファイル情報Ｄ２を用いて、長期使用による工具１１の摩耗、損傷等の劣化やずれを的確に反映させ、加工精度の低下を防ぐことができる。
［変形例１］
　実施の形態１で上述した工作機１では、撮像部１３は、工具１１の透過画像を撮像するものとして説明した。これに対し、撮像部１３が、反射光を撮像するものであっても良い。具体的には、照明部１４は、発光面が撮像部１３の受光面と同じ向きになるように配置され、発光面から出射された光が工具に当たり、その反射光が撮像部１３の受光面に入射するように構成されてもよい。これにより、撮像部１３は、工具１１表面の画像を得ることができるので、工具１１に生じた傷等を的確に把握することができる。
［変形例２］
　上述した工作機１及び画像処理装置１０では、取得する画像データＤ１をプロファイル情報Ｄ２の登録や更新に使用した。これに対し、画像処理装置１０において、取得する画像データＤ１を用いて、現在、工作機１の保持部１２により保持される工具を識別可能としても良い。この場合、画像処理装置１０は、工作機１で使用可能な複数の工具の情報である工具リストデータを記憶部１１０に記憶するとともに、演算部１００において、工具を識別する識別部を備える。
　工具リストデータは、例えば、各工具の識別情報として工具の型番を含む。また、工具リストデータは、各型番に工具の形状に関する情報として、工具の刃部の外径及び長さとを少なくとも含む。さらに、工具の刃部１１１の部位により、外径が異なる工具に関しては、工具の形状に関する情報として、その部位を特定する工具の部位の長手方向に関する情報を含むことができる。識別部は、点群データまたはプロファイル画像データＤ３を、工具リストデータの中から主軸１１３に取り付けられた工具の型番を定める。これによ、主軸１１３に保持される工具を容易に識別することができる。
［変形例３］
　上述した画像処理装置１０では、設定部１０４が、工具１１の刃部１１１の情報を設定する。これに対し、プロファイル画像形成部１０３が、予め機械学習により学習済みの学習モデルを用いて、刃部１１１の情報を設定するようにしてもよい。具体的には、この学習モデルは、工具のプロファイル画像データと、該工具１１を実測に基づく刃部１１１及びシャンク部１１２の境界位置と、該工具１１を実測に基づく外形プロファイルデータとのセットからなる教師データを用いた学習により得られたパラメータが適用されたものである。この学習モデルは、工具１１の画像データを入力とし、工具１１の刃部１１１及びシャンク部１１２の境界位置等のプロファイル情報Ｄ２及びプロファイル画像データＤ３を出力とする。これにより、学習モデルを利用して、プロファイル情報Ｄ２の登録を可能とする。
　以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。
　本出願において開示する技術を用いることにより、干渉チェック用工具3Dモデル自動生成が可能になる。また、本出願において開示する技術を用いることにより、工具交換時に切り屑巻き付きを検出することが可能になる。また、本出願において開示する技術を用いることにより、工具補正の自動化が可能になる。また、本出願において開示する技術を用いることにより、すくい面の欠け検出や、逃げ面摩耗量の計測による、定量的な工具管理が可能になる。
　本開示の全請求項に記載の画像処理装置、工作機及び画像処理方法は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。
　本開示の画像処理装置、工作機及び画像処理方法は、例えば、工作機の干渉チェックの容易化に有用である。
１　工作機
１１　工具
１２　保持部
１３　撮像部
１４　照明部
１０　画像処理装置
１００　演算部
１０１　受信部
１０２　点群データ形成部
１０３　プロファイル画像形成部
１０４　設定部
１０５　記憶処理部
１０６　補正部
１１０　記憶部
１２０　入力部
１３０　出力部
１４０　通信部
Ｄ１　画像データ
Ｄ２　プロファイル情報
Ｄ３　プロファイル画像データ
Ｐ　制御プログラム

Claims (10)

  1. 　工具を用いてワークを加工する工作機に取り付けられた撮像部で撮像された前記工具の外観を複数の方向から撮像した複数の画像データを受信する受信部と、
    　前記受信部で受信した前記複数の画像データから前記工具のプロファイルに係るプロファイル情報である前記工具の一つの点群データを形成する点群データ形成部と、
    　を備えることを特徴とする画像処理装置。
  2. 　更に、前記点群データから前記工具の２次元または３次元のプロファイルを示すプロファイル画像データを形成するプロファイル画像形成部、を具備する、請求項１に記載の画像処理装置。
  3. 　工具を用いてワークを加工する工作機に取り付けられた撮像部で撮像された前記工具の画像を受信する受信部と、
    　前記工具の画像をもとに、前記工具の刃部と他の部分との境界を定めたプロファイル情報を設定する設定部と、を備えることを特徴とする画像処理装置。
  4. 　工具を保持する保持部と、
    　前記工具を撮像するための撮像部と、
    　開閉することにより前記撮像部を露出させるシャッタを備える前記撮像部を収納する収納部と、を備え、
    　前記撮像部は、前記工具を撮影する前に、前記シャッタを用いて前記撮像部のキャリブレーションを行う、又は、前記撮像部の光透過部材や受光素子上の異物の付着を検出することを特徴とする画像処理装置。
  5. 　入力部により入力された信号に基づいて、前記工具のプロファイル情報に含まれる前記工具の刃部と他の部分との境界を補正する補正部を有することを特徴とする請求項３に記載の画像処理装置。
  6. 　前記工具のプロファイル情報を補正する補正部を備え、前記受信部は、前記工作機の主軸に同一の前記工具が取り付けられた状態で、所定のタイミングで前記工具を撮像した画像を受信し、
    　前記補正部は、先の撮像で得られた前記工具の画像に基づいて定められた前記プロファイル情報を、後の撮像で得られた前記工具の画像に基づいて定められた前記プロファイル情報を用いて補正することを特徴とする請求項１に記載の画像処理装置。
  7. 　発光面が前記撮像部の受光面と対向するように配置され、前記発光面から出射された光のうち前記工具の周囲を通過した光が前記受光面に入射する透過照明部、
    　または、
    　発光面が前記撮像部の受光面と同じ向きになるように配置され、前記発光面から出射された光が前記工具に当たり、その反射光が前記受光面に入射する反射照明部、
    　のいずれかを備えることを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
  8. 　請求項１乃至７のいずれか１項の記載の画像処理装置に接続され、
    　加工するワークを保持するための保持部と、
    　前記ワークを加工する加工領域から工作機の外部に取り出すための開口を開閉するためのドアと、を備えることを特徴とする工作機。
  9. 　請求項１乃至７のいずれか１項の記載の画像処理装置と、
    　加工するワークを保持するための保持部と、
    　前記ワークを加工する加工領域から工作機の外部に取り出すための開口を開閉するためのドアと、を備えることを特徴とする工作機。
  10. 　工具を用いてワークを加工する工作機の機内に取り付けられた撮像部で撮像された前記工具の外観を複数の方向から撮像した複数の画像からプロファイル情報として、工具の輪郭上から抽出された複数の点で構成される前記工具の一つの点群データを形成する工程、を備える画像処理方法。
PCT/JP2021/000889 2020-01-15 2021-01-13 画像処理装置、工作機及び画像処理方法 WO2021145347A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21741242.8A EP4091765A4 (en) 2020-01-15 2021-01-13 IMAGE PROCESSING DEVICE, MACHINE TOOL AND IMAGE PROCESSING METHOD
CN202180008954.5A CN115003452A (zh) 2020-01-15 2021-01-13 图像处理装置、机床及图像处理方法
US17/791,714 US20230030490A1 (en) 2020-01-15 2021-01-13 Image processing device, machine tool, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-004356 2020-01-15
JP2020004356A JP2021109298A (ja) 2020-01-15 2020-01-15 画像処理装置、工作機及び画像処理方法

Publications (1)

Publication Number Publication Date
WO2021145347A1 true WO2021145347A1 (ja) 2021-07-22

Family

ID=76863826

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000889 WO2021145347A1 (ja) 2020-01-15 2021-01-13 画像処理装置、工作機及び画像処理方法

Country Status (5)

Country Link
US (1) US20230030490A1 (ja)
EP (1) EP4091765A4 (ja)
JP (1) JP2021109298A (ja)
CN (1) CN115003452A (ja)
WO (1) WO2021145347A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022163459A1 (en) * 2021-02-01 2022-08-04 Dmg Mori Co., Ltd. Image processing device and machine tool

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117884955B (zh) * 2024-03-14 2024-06-07 天津市漠金博实机电科技股份有限公司 一种基于机器视觉的数控车床加工辅助***

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09323240A (ja) 1996-06-04 1997-12-16 Mitsubishi Electric Corp 工作機械の工具捕捉装置
JP2001269844A (ja) 2000-03-27 2001-10-02 Toshiba Corp 工具観察方法とその装置および切削加工システム
JP2003269936A (ja) * 2002-03-19 2003-09-25 Sanyo Electric Co Ltd 自動採寸方法
JP2004037735A (ja) * 2002-07-02 2004-02-05 Nikon Corp 画像入力装置
JP2004226202A (ja) * 2003-01-22 2004-08-12 Daihatsu Motor Co Ltd 画像処理装置および記録媒体
JP2010108182A (ja) * 2008-10-29 2010-05-13 Honda Motor Co Ltd 車両の運転支援装置
JP2010207837A (ja) 2009-03-09 2010-09-24 Nissan Motor Co Ltd 超音波接合工具判定装置およびその方法
WO2015178001A1 (ja) * 2014-05-19 2015-11-26 日本電気株式会社 画像照合システム、画像照合方法、およびプログラムを記憶する記録媒体
JP2016218550A (ja) 2015-05-15 2016-12-22 ファナック株式会社 加工に使用する工具の取付け状態を確認する数値制御装置
JP2017049656A (ja) * 2015-08-31 2017-03-09 ファナック株式会社 加工精度維持機能を有する加工システム
JP2019067080A (ja) * 2017-09-29 2019-04-25 株式会社牧野フライス製作所 工作機械の制御装置
JP2019153037A (ja) * 2018-03-02 2019-09-12 株式会社 ジェイネット 加工支援装置、加工支援方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08257876A (ja) * 1995-03-24 1996-10-08 Toshiba Mach Co Ltd 工具摩耗量自動計測方法および工作機械における工具摩耗量自動計測装置
JP2008210179A (ja) * 2007-02-27 2008-09-11 Nagaoka Univ Of Technology 切れ刃軌跡推定システム及び加工面性状推定システム
JP2010179373A (ja) * 2009-02-03 2010-08-19 Komatsu Ntc Ltd 工作機械用の工具、工具検査方法および工具検査装置
US9453716B2 (en) * 2010-10-22 2016-09-27 Makino Milling Machine Co., Ltd. Method of measurement and apparatus for measurement of tool dimensions
JP2013124889A (ja) * 2011-12-14 2013-06-24 Tohoku Univ 輪郭形状測定方法及び輪郭形状測定装置
CN103363920A (zh) * 2012-04-09 2013-10-23 鸿富锦精密工业（深圳）有限公司 刀具检测***及方法
JP2015072197A (ja) * 2013-10-03 2015-04-16 株式会社ニコン 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム
US10322483B2 (en) * 2014-01-24 2019-06-18 Mitsubishi Electric Corporation Tool shape measurement device and tool shape measurement method
JP6621351B2 (ja) * 2016-03-24 2019-12-18 株式会社別川製作所 レーザー加工用の画像処理装置及び画像処理方法
JPWO2018220776A1 (ja) * 2017-05-31 2019-12-19 株式会社牧野フライス製作所 工作機械および工具欠損判定方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09323240A (ja) 1996-06-04 1997-12-16 Mitsubishi Electric Corp 工作機械の工具捕捉装置
JP2001269844A (ja) 2000-03-27 2001-10-02 Toshiba Corp 工具観察方法とその装置および切削加工システム
JP2003269936A (ja) * 2002-03-19 2003-09-25 Sanyo Electric Co Ltd 自動採寸方法
JP2004037735A (ja) * 2002-07-02 2004-02-05 Nikon Corp 画像入力装置
JP2004226202A (ja) * 2003-01-22 2004-08-12 Daihatsu Motor Co Ltd 画像処理装置および記録媒体
JP2010108182A (ja) * 2008-10-29 2010-05-13 Honda Motor Co Ltd 車両の運転支援装置
JP2010207837A (ja) 2009-03-09 2010-09-24 Nissan Motor Co Ltd 超音波接合工具判定装置およびその方法
WO2015178001A1 (ja) * 2014-05-19 2015-11-26 日本電気株式会社 画像照合システム、画像照合方法、およびプログラムを記憶する記録媒体
JP2016218550A (ja) 2015-05-15 2016-12-22 ファナック株式会社 加工に使用する工具の取付け状態を確認する数値制御装置
JP2017049656A (ja) * 2015-08-31 2017-03-09 ファナック株式会社 加工精度維持機能を有する加工システム
JP2019067080A (ja) * 2017-09-29 2019-04-25 株式会社牧野フライス製作所 工作機械の制御装置
JP2019153037A (ja) * 2018-03-02 2019-09-12 株式会社 ジェイネット 加工支援装置、加工支援方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4091765A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022163459A1 (en) * 2021-02-01 2022-08-04 Dmg Mori Co., Ltd. Image processing device and machine tool

Also Published As

Publication number Publication date
US20230030490A1 (en) 2023-02-02
EP4091765A1 (en) 2022-11-23
CN115003452A (zh) 2022-09-02
EP4091765A4 (en) 2024-05-15
JP2021109298A (ja) 2021-08-02

Similar Documents

Publication Publication Date Title
CA2834192C (en) Optical measurement method and measurement system for determining 3d coordinates on a measurement object surface
CN108965690B (zh) 图像处理***、图像处理装置及计算机可读存储介质
WO2021145347A1 (ja) 画像処理装置、工作機及び画像処理方法
JP6504274B2 (ja) 三次元形状データおよびテクスチャ情報生成システム、撮影制御プログラム、及び三次元形状データおよびテクスチャ情報生成方法並びに情報記録媒体
US10648791B2 (en) Conformance test artifact for coordinate measuring machine
TWI735061B (zh) 工具形狀測定裝置及工具形狀測定方法
US20170292827A1 (en) Coordinate measuring system
JP2016040531A (ja) 加工工具の測定方法及び測定装置
JP6210722B2 (ja) 画像測定装置及び画像測定プログラム
JP2018194542A (ja) 画像処理システム、画像処理装置および画像処理プログラム
JP2001332611A (ja) キャリア形状測定機
CN116297531B (zh) 机器视觉检测方法、***、介质及设备
JP7253088B2 (ja) 画像処理装置、工作機及び画像処理方法
US20210190999A1 (en) Tunable acoustic gradient lens system utilizing amplitude adjustments for acquiring images focused at different z-heights
JP2018132331A (ja) 検査システムの動作プログラムを生成する装置および方法
JP6901612B1 (ja) 画像処理装置及び工作機械
CN106896532B (zh) 轴对准装置及轴对准位置设定程序
JP2017203673A (ja) 計測装置、ロボット装置、ロボットシステム、制御方法及び物品の製造方法
JP2018031701A (ja) 校正方法、および校正装置
JPWO2020121784A1 (ja) ワーク検査装置及びワーク検査方法
JP2022080992A (ja) 測定装置、制御装置、制御方法及びプログラム
KR20210058329A (ko) 다면 비전 검사 알고리즘 및 이를 이용한 시스템
JP6860730B1 (ja) 画像処理装置及び工作機械
CN105157587B (zh) 一种可变光阑的孔径及拨杆转角的测量机构及方法
TWI776694B (zh) 自動化機械手臂系統與機械手臂與其電腦視覺之間的協調方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21741242

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021741242

Country of ref document: EP

Effective date: 20220816