KR20150039364A - 초기원점 자율세팅을 위한 빌트인 타입 비전 계측 툴 - Google Patents
초기원점 자율세팅을 위한 빌트인 타입 비전 계측 툴 Download PDFInfo
- Publication number
- KR20150039364A KR20150039364A KR20130117848A KR20130117848A KR20150039364A KR 20150039364 A KR20150039364 A KR 20150039364A KR 20130117848 A KR20130117848 A KR 20130117848A KR 20130117848 A KR20130117848 A KR 20130117848A KR 20150039364 A KR20150039364 A KR 20150039364A
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- image
- origin
- processing
- tool
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/401—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
- B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
- B23Q17/24—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
- B23Q17/248—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves using special electromagnetic means or methods
- B23Q17/249—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves using special electromagnetic means or methods using image analysis, e.g. for radar, infrared or array camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
- B23Q15/00—Automatic control or regulation of feed movement, cutting velocity or position of tool or work
- B23Q15/20—Automatic control or regulation of feed movement, cutting velocity or position of tool or work before or after the tool acts upon the workpiece
- B23Q15/22—Control or regulation of position of tool or workpiece
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
- B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
- B23Q17/20—Arrangements for observing, indicating or measuring on machine tools for indicating or measuring workpiece characteristics, e.g. contour, dimension, hardness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
- B23Q3/00—Devices holding, supporting, or positioning work or tools, of a kind normally removable from the machine
- B23Q3/155—Arrangements for automatic insertion or removal of tools, e.g. combined with manual handling
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/19—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
- B23Q2717/00—Arrangements for indicating or measuring
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/33—Director till display
- G05B2219/33187—Serial transmission rs232c, rs422, rs485 communication link
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/34—Director, elements to supervisory
- G05B2219/34047—Dsp digital signal processor
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37555—Camera detects orientation, position workpiece, points of workpiece
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/50—Machine tool, machine tool null till machine tool work handling
- G05B2219/50042—Return to origin, reference point, zero point, homing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- Machine Tool Sensing Apparatuses (AREA)
- Numerical Control (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 자동화 공작기기의 초기원점 세팅을 위한 비전 계측 툴에 관한 것으로 더욱 상세하게는, 자동화 공작기계에서 초기가공(소재의 다양화) 및 기존 가공품을 재가공하기위해 가공원점을 자동으로 감지하여 이를 보상함으로써 다양한 형상에 대한 가공원점을 조그 모드로 세팅해야 하는 시간을 제거하여, 초기세팅에 의존하는 현재 자동화 공작기계의 세팅정밀도를 높일 수 있으며, 개별 자동세팅에 따른 생산성이 증대되는, 초기원점 세팅을 위한 빌트인 타입 비전 계측 툴에 관한 것이다.
Description
본 발명은 자동화 공작기기의 초기원점 자율세팅을 위한 비전 계측 툴에 관한 것으로 더욱 상세하게는, 자동화 공작기계에서 초기가공(소재의 다양화) 및 기존 가공품을 재가공하기위해 가공원점을 자동으로 감지하여 이를 보상함으로써 다양한 형상에 대한 가공원점을 조그 모드로 세팅해야 하는 시간을 제거하여, 초기세팅에 의존하는 현재 자동화 공작기계의 세팅정밀도를 높일 수 있으며, 개별 자동세팅에 따른 생산성이 증대되는, 초기원점 자율세팅을 위한 빌트인 타입 비전 계측 툴에 관한 것이다.
자동화 공작기계를 이용한 가공 시, 초기가공(소재의 다양화) 및 기존 가공품의 재가공시 가공원점을 인력에 의존하여 새로 세팅하는 작업이 필요하게 되어 가공정밀도 및 생산성 저하에 악영향을 미치고 있는 실정이다.
가공원점이란 공작기계를 이용한 가공과정에서 기계원점으로 복귀 후 각 축에 해당하는 소재의 가공 시작점을 말한다. 가공원점 세팅작업이란, 작업자는 새로운 가공물에 대해 항상 조그모드로 소재와 공구를 저속으로 접촉시켜 각 축의 기계 원점에서 소재까지의 상대적인 거리를 측정하여 설정해야 하는 작업을 말하는데, 이러한 작업 시 발생되는 초기 위치좌표는 공작물 가공정밀도에 직접적인 영향을 미치게 되며, 시간지연은 생산성을 저하시키는 대표적인 원인으로 작용한다. 뿐만 아니라 현재의 방법으로는, 소재와 공구의 마찰을 작업자의 시각과 청각에만 의존하여 설정하게 되는 바, 가공원점의 정밀한 측정에는 한계가 존재하여 가공 후 제품의 형상 오차를 유발하는 대표적인 원인이 된다. 따라서 생산성을 확보하는 측면과 제품의 가공형상오차를 제거하는 측면에서 이러한 수동 작업은 반드시 제거되어야 한다는 점이 지적되어 왔다.
공작기계의 가공공정에서 나타나는 가공원점의 수동 작업을 자동작업으로 대체하고자 하는 시도가 종래에도 있어 왔다. 종래에는, 자동 툴 체인저에 사용되는 척에 이미지 센서를 부착하고, 공작기계의 기계원점 복귀 후 이전 가공원점 가공 소재의 형상의 이미지를 실시간 획득하여 소재의 형상치수를 자동으로 도출하는 자동 작업을 수행함으로써 수동 작업으로 인한 시간지연을 제거하였다.
한편, 기존의 자동원점 보상작업은 자동 공구 교환 장치(Automatic Tool Changer, ATC)에 입력된 공구의 치수 정보와 새로운 가공소재의 치수정보를 기입하여 자동으로 가공원점을 설정하는 방법이 대표적으로 사용되어 왔다. 그런데 이러한 방식은 입력되는 소재의 치수정보에 오차가 존재할 경우와 오차가 허용범위 안에 있을지라도 바이스에 소재를 물릴 경우 발생하는 각 축과의 정렬 오차가 존재할 경우 가공 원점은 필연적으로 오차를 가질 수밖에 없는 문제점이 있었다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서 본 발명의 목적은, 가공과정에서 발생되는 가공원점의 인식을 실시간 감지하여 수동 작업으로 인한 시간지연을 최소화시키고, 조업자의 청각/시각에 의존한 가공원점의 인식을 자동화시킴으로써 형상오차를 감소시킬 수 있는, 초기원점 자율세팅을 위한 빌트인 타입 비전 계측 툴을 제공함에 있다.
특히, 본 발명의 비전 계측 툴은 자동 공구 교환 장치(ATC)와 같은 장비에 빌트인 가능하도록 구성되어, 다양한 장비에 광범위하게 적용이 가능한, 초기원점 자율세팅을 위한 빌트인 타입 비전 계측 툴을 제공함에 있다.
본 발명의 비전 계측 툴은, 공작 기계의 자동 공구 교환 장치(ATC)에서 사용되는 척에 구비되는 빌트인 타입 비전 계측 툴에 있어서
상기 척의 일측에 구비되며, 상기 공작 기계에 장착되는 도킹부; 상기 도킹부의 일측에 구비되며, 안착된 소재의 이미지를 획득하는 이미지부; 상기 도킹부와 상기 이미지부 사이에 구비되며, 상기 이미지를 통해 자동 포커싱 및 이에 따른 가공 원점 설정을 수행하는 임베디드부; 를 포함한다.
또한, 상기 이미지부는, 상기 소재의 가공 원점 부분의 이미지 사이즈와 초점 거리를 결정하고, 아날로그 타입의 소재 형상 정보를 씨씨디(Charge Coupled Device, CCD)셀에 조사하여 디지털화하는 카메라; 상기 카메라의 고정을 위한 카메라 고정부; 및 상기 소재에 광을 제공하는 조명부; 를 포함한다.
이때, 상기 임베디드부는, 상기 이미지부에서 출력되는 이미지 신호를 사용하여 소재 판별 작업 및 이미지 선명도를 통한 소재 두께 방향에 대한 가공 원점 도출 작업을 수행하며, 도출된 가공 원점을 상기 공작 기계의 컨트롤러로 전달하되, RS-232 또는 블루투스 무선 통신을 이용하여 전달한다.
또한, 상기 임베디드부는, 상기 도킹부의 일측에 결합되며, 내부가 중공된 하우징; 상기 하우징 타측에 내설되는 디지털신호처리(Digital Signal Processing, DSP)보드; 상기 디지털신호처리(DSP)보드의 일측에 이격 배치되는 무선 통신부; 및 상기 디지털신호처리(DSP)보드와 상기 무선통신부 사이에 배치되는 전원부; 를 포함한다.
또한, 상기 디지털신호처리(DSP)보드 및 상기 무선통신부는 상기 척의 축방향을 중심으로 소정의 직경을 갖는 원판 상으로 이루어지며, 상기 전원부는 복수 개가 상기 디지털신호처리(DSP)보드의 일면에 설치되되, 상기 척의 축방향을 중심으로 방사상으로 배치된다.
아울러, 상기 디지털신호처리(DSP)보드는, 상기 공작 기계의 기계 원점 완료 신호를 트리거 신호로 사용하여 트리거 신호에 동기화하여 이미지를 획득하는 트리거 인터페이스부; 이전 소재와 동일한 소재를 가공할 경우를 대비해 이전 이미지를 저장/처리하는 버퍼부; 이미지 처리를 위해 상기 버퍼부에서 획득된 이미지를 통해 소재의 에지라인을 검출하는 필터부; 소재의 두께 방향에 대한 가공 원점을 도출하도록 상기 트리거 인터페이스부에서 획득된 이미지의 선명도를 기준으로 자동 포커싱 하는 자동 포커싱부; 및 상기 트리거 인터페이스부, 상기 버퍼부, 상기 필터부 및 상기 자동 포커싱부에서 전달되는 정보를 사용하여 가공 원점을 검출하는 가공 원점 도출부; 를 포함하며, 상기 가공 원점 도출부에서 도출된 가공 원점은 상기 무선통신부를 통해 상기 공작 기계의 컨트롤러로 전달한다.
상기와 같은 구성에 의한 본 발명의 초기원점 자율세팅을 위한 빌트인 타입 비전 계측 툴은, 공작 기계의 가공 중 발생되는 가공 원점 설정을 실시간 이미지 처리를 통해 설정함으로써, 수동 세팅으로 인한 시간 지연을 감소시켜 단위 시간 생산량을 증대시킬 수 있을 뿐만 아니라 수동 세팅의 오차를 제거함으로써 보다 정밀한 가공물을 생산할 수 있는 효과가 있다.
또한, 본 발명에서 제안하는 공작 기계의 자동 가공 원점 인식 시스템 및 방법은 이미지를 처리하는 임베디드 장치에서 기존의 소재에 대한 정보를 저장할 수 있기 때문에, 획득된 이미지에서 일정 부분만을 필터 처리하여 원점 도출이 가능한 바, 동일한 소재로 작업할 경우 매우 빠른 시간 안에 새로운 가공 원점의 도출이 가능한 큰 장점이 있다.
더불어, 무선 통신 모듈인 블루투스 기반의 임베디드 시스템을 통해 원격으로 정보를 컴퓨터 수치제어(Computerized Numerical Control, CNC) 컨트롤러와 작업자에게 송수신이 가능하므로, 실시간으로 현재와 이전의 가공 원점에 대한 이력을 데이터베이스(Data Base, DB)화 가능하게 할 수 있는 장점이 있다.
아울러, 하나의 머신에 연계된 비전 계측 툴이 아닌 다양한 머신에 빌트인 타입으로 적용이 가능한 비전 계측 툴을 통해 복수의 머신에 범용으로 사용하기 때문에 머신 교체 시에도 비전 계측 툴의 추가 구매에 따른 비용 절감의 효과가 있다.
도 1은 본 발명의 일실시 예에 따른 비전 계측 툴 전체사시도
도 2는 본 발명의 일실시 예에 따른 비전 계측 툴 분해사시도
도 3은 본 발명의 일실시 예에 따른 임베디드부 부분 분해사시도
도 4는 자동 원점 인식 시스템과 공작 기계의 작업 시퀀스를 도시한 흐름도
도 2는 본 발명의 일실시 예에 따른 비전 계측 툴 분해사시도
도 3은 본 발명의 일실시 예에 따른 임베디드부 부분 분해사시도
도 4는 자동 원점 인식 시스템과 공작 기계의 작업 시퀀스를 도시한 흐름도
이하, 상기와 같은 본 발명의 일실시예에 대하여 도면을 참조하여 상세히 설명한다.
도 1에는 본 발명의 일실시 예에 따른 비전 계측 툴(1000)의 전체사시도가 도시되어 있다. 도시된 바와 같이 비전 계측 툴(1000)은 공작기계에 구비되는 척(100)과, 척(100)의 일측에 구비되며 공작 기계에 장착되는 도킹부(200)와, 도킹부(200)의 일측에 구비되며 이미지부(400)의 이미지 신호를 입력받아 이미지 처리를 통해 자동 포커싱 및 이에 따른 가공 원점 설정을 수행하는 임베디드부(300) 및 임베디드부(300)의 일측에 구비되며, 공작 기계에 안착된 소재의 이미지를 획득하는 이미지부(400)를 포함하여 이루어진다.
상기와 같은 구성의 비전 계측 툴(1000)은 임베디드부(300)가 비전 계측 툴(1000)과 별물로 형성되어 공작 기계 및 이미지부(400)에 유선으로 연결되지 않고, 비전 계측 툴(1000) 상에 구비되어 이미지부(400)와 직접 연결됨은 물론 공작 기계와는 무선 통신을 통해 연결됨에 그 특징이 있다. 따라서 본 발명의 비전 계측 툴(1000)은 공작기계에 착탈 가능하도록 구성되어 무선통신이 가능한 다양한 공작기계에 범용으로 적용 가능한 장점이 있다.
이하, 상기와 같은 본 발명의 일실시예에 따른 비전 계측 툴(1000)의 세부 구성에 대하여 도면을 참조하여 상세히 설명한다.
도 2에는 본 발명의 일실시 예에 따른 비전 계측 툴(1000)의 분해사시도가 도시되어 있다. 도시된 바와 같이 척(100)의 일측에는 도킹부(200)가 구비되며, 도킹부(200)는 원판상의 도킹 플레이트(210)와, 타단이 척(100)에 고정되고 일단부에 도킹플레이트(210) 및 임베디드부(300)가 끼움 결합되는 하우징 고정로드(220)를 포함하여 이루어진다.
또한 도킹부(200)의 일측에는 임베디드부(300)가 배치되며, 임베디드부(300)는 하우징(310)과 임베디드 모듈(320)로 구성된다. 도시된 바와 같이 하우징(310)은 일측이 개방되고 타측이 밀폐된 원통형으로 이루어지며, 하우징(310)의 내부에 임베디드 모듈(320)이 수용되도록 구성된다.
임베디드부(300)의 일측에는 이미지부(400)가 구비된다. 이미지부(400)는 조명부 커버(410), 조명부(420), 카메라(430) 및 카메라 커버(440)로 구성된다.
조명부커버(410)는 척(100)의 회전축을 중심으로 소정의 직경을 갖는 원판 상으로 이루어지며, 타면에 조명부(420)가 고정되고, 일면에 카메라(430) 고정을 위한 카메라 고정부(411)가 일측으로 돌출 형성된다.
조명부(420)는, 소정의 두께를 갖는 환형으로 이루어지며, 이미지 획득 시 필요한 광량을 제공하도록 환형 둘레를 따라 복수 개의 발광다이오드(Light Emitting Diode, LED)가 방사상으로 배치된다.
카메라(430)는, 소재의 가공 원점 부분의 이미지 사이즈와 초점 거리를 결정하는 렌즈를 포함하여 이루어지며, 상기 렌즈로부터 입력되는 아날로그 타입의 소재 형상 정보를 씨씨디(CCD)셀에 조사하여 디지털화한다.
카메라 고정부(411)에 카메라(430)를 고정 시 외부 불순물에 대한 카메라(430)의 파손을 방지하기 위해 카메라 고정부(411)에는 카메라 커버(440)가 구비될 수 있다.
이때, 본 발명의 임베디드부(300)는 회전하는 척(100)에 장착되는 비전 계측 툴(1000)에 구비됨에 따라 동작 오류 및 통신 오류를 최소화하기 위해 다음과 같은 특징적인 구성을 갖는바 도면을 참조하여 상세히 설명하기로 한다.
도 3에는 본 발명의 일실시 예에 따른 임베디드 모듈(320)의 분해 사시도가 도시되어 있다. 도시된 바와 같이 임베디드 모듈(320)은 모듈 커버(321), 무선통신부(322), 디지털신호처리(DSP)보드(323), 모듈 고정로드(324) 및 전원부(325)를 포함하여 이루어진다.
모듈 커버(321)는 임베디드 모듈(320)이 하우징(310)에 수용 시 하우징(310)의 일측 개방면을 밀폐하도록 원판 상으로 이루어지며, 중앙에는 하우징 고정로드(220)가 관통되도록 제1 고정로드홀(321a)이 형성된다. 또한 둘레부에는 모듈 고정로드(324)의 결합을 위한 제1 고정부(321b)가 복수 개 방사상으로 형성된다.
무선통신부(322)는 디지털신호처리(DSP)보드(323)에서 출력되는 신호를 공작 기계의 컨트롤러에 전달하기 위한 구성으로 RS-232 또는 블루투스 무선 통신 모듈이 적용될 수 있다. 이때 무선통신부(322)는 비전 계측 툴(1000)의 회전에 따른 통신 오류를 최소화하기 위해 척(100)의 회전축을 중심으로 소정의 직경을 갖는 원판 상으로 형성될 수 있다. 무선통신부(322)의 중앙에는 하우징 고정로드(220)가 관통되도록 제2 고정로드홀(322a)이 형성된다. 또한 둘레부에는 모듈 고정로드(324)의 결합을 위한 제2 고정부(322b)가 복수 개 방사상으로 형성된다.
디지털신호처리(DSP)보드(323)는 이미지부(400)에서 출력되는 이미지 신호를 사용하여 소재 판별 작업 및 이미지 선명도를 통한 소재 두께 방향에 대한 가공 원점 도출 작업을 수행하며, 도출된 가공 원점을 상기 공작 기계의 컨트롤러로 전달하기 위한 임베디드 모듈(320)의 핵심 구성이다. 디지털신호처리(DSP)보드(323)는 무선통신부(322)에서 타측 방향으로 소정거리 이격 배치된다. 이때 디지털신호처리(DSP)보드(323)는 비전 계측 툴(1000)의 회전에 따른 동작 오류를 최소화하기 위해 척(100)의 회전축을 중심으로 소정의 직경을 갖는 원판 상으로 형성될 수 있다. 디지털신호처리(DSP)보드(323)의 중앙에는 하우징 고정로드(220)가 관통되도록 제3 고정로드홀(323a)이 형성된다. 또한 둘레부에는 모듈 고정로드(324)의 결합을 위한 제3 고정부(323b)가 복수 개 방사상으로 형성된다.
모듈 고정로드(324)는 무선통신부(322)와 디지털신호처리(DSP)보드(323)를 소정거리 이격 배치시키기 위한 구성으로 일단에 모선통신부(322) 및 모듈 커버(321)가 고정되며, 타단에 디지털신호처리(DSP)보드(323)가 고정되도록 구성된다. 모듈 고정로드(324)는 복수 개가 척(100)의 회전축을 중심으로 방사상으로 배치될 수 있다.
전원부(325)는 무선통신부(322)와 디지털신호처리(DSP)보드(323)에 전원을 공급하기 위한 구성으로 통상의 충전식 배터리가 적용될 수 있다. 전원부(325)는 디지털신호처리(DSP)보드(323)의 일측면에 구비된다. 이때 전원부(325)는 비전 계측 툴(1000) 회전 시 임베디드 모듈(320)의 무게 중심이 척(100)의 회전축에서 벗어나지 않도록 다음과 같은 특징적인 구성을 갖는다.
전원부(325)는 상당한 무게를 갖기 때문에 잘못 배치될 경우 임베디드 모듈(320)의 무게 중심이 척(100)의 회전축에서 벗어나게 되고, 비전 계측 툴(1000) 회전 시 진동 발생의 원인이 될 수 있다. 따라서 전원부(325)는 복수 개가 척(100)의 회전축을 중심으로 방사상으로 배치될 수 있다.
디지털신호처리(DSP)보드(323)의 동작 원리에 대하여 간단히 설명하면, 디지털신호처리(DSP)보드(323)는, 트리거 인터페이스부와, 버퍼부와, 필터부와, 자동 포커싱부와, 가공 원점 도출부를 포함하여 이루어진다.
상기 트리거 인터페이스부는, 상기 공작 기계의 기계 원점 완료 신호를 트리거 신호로 사용하여 트리거 신호에 동기화하여 이미지를 획득한다.
상기 버퍼부는 이전 소재와 동일한 소재를 가공할 경우를 대비해 이전 이미지를 저장 및 처리한다.
상기 필터부는 이미지 처리를 위해 상기 버퍼부에서 획득된 이미지를 통해 소재의 에지라인을 검출한다.
상기 자동 포커싱부는 소재의 두께 방향에 대한 가공 원점을 도출하도록 상기 트리거 인터페이스부에서 획득된 이미지의 선명도를 기준으로 자동 포커싱 한다.
상기 가공 원점 도출부는, 상기 트리거 인터페이스부, 상기 버퍼부, 상기 필터부 및 상기 자동 포커싱부에서 전달되는 정보를 사용하여 가공 원점을 검출한다.
상기 가공 원점 도출부에서 도출된 가공 원점은 무선통신부(322)를 통해 상기 공작 기계의 컨트롤러로 전달한다. 이 때, 무선통신부(322)는 가공 원점 정보와 함께 상기 자동 포커싱부에서 수행되는 자동 포커싱 알고리즘에서 지령되는 미세 z축 지령을 상기 컨트롤러로 더 전달하게 된다. (여기에서, z축 방향은 소재 두께 방향을 말한다.)
도 4는 상술한 바와 같은 비전 계측 툴(1000)을 실제 적용될 시에 사용되는 제어 시퀀스를 도시한 흐름도로서, 즉 상술한 바와 같은 공작 기계의 자동 가공 원점 인식 시스템의 자동 가공 원점 인식 방법의 흐름도이다.
공작 기계의 자동 가공 원점 인식 방법은, 도 4에 도시된 바와 같이 초기화 단계(S01) - 이미지 툴셋 변경 단계(S02) - 기계 원점 복귀 단계(S03) - 가공 원점 보정 단계(S04) - 트리거 시그널 체크 단계(S05) - 이미지 획득/처리 단계(S06) - 가공 원점 재설정 단계(S07) - 툴셋 변경 지령 단계(S08)를 포함하여 이루어진다. 간략히 설명하자면, 공작 기계의 자동 가공 원점 인식 시스템의 신호 처리 흐름에 있어서, 먼저 공작 기계에 새로운 소재가 바이스에 안착된 후 공작 기계에 툴 변경 신호가 인가되면서 자동 공구 교환 장치(ATC)는 개조된(즉 비전 계측 툴(1000)이 구비된) 척(100)을 스핀들에 장착한다. 척(100)이 스핀들에 장착된 후 공작 기계의 각 축이 기계 원점으로 복귀된다. 공작 기계의 기계 원점 복귀 완료 신호를 받아 임베디드부(300)는 이미지부(400)를 이미지 획득 준비 대기로 설정하여 기 입력된 소재의 두께와 렌즈의 초점 거리를 반영하여 상응하는 z축의 높이로 스핀들을 움직이도록 무선통신부(322)를 이용하여 지령한다. 지령이 완료된 신호를 트리거 신호로 활용하여 카메라(430)는 트리거 신호에 동기화된 이미지를 획득하고, 이를 상기 임베디드 모듈(320)로 보낸 뒤 이미지 처리 완료 신호를 대기한다. 이미지 처리 완료 신호가 패스되면 임베디드 모듈(320)은 내부에서 도출된 가공 원점의 좌표를 공작 기계의 컨트롤러에 전달하여 새로운 가공 원점 세팅이 완료하게 되는 것이다.
보다 상세히 각 단계에 대하여 설명하면 다음과 같다.
상기 초기화 단계(S01)에서는, a) 상기 공작 기계에 새 가공 소재가 안착되고 상기 컨트롤에 소재 두께가 입력된다. 상기 이미지 툴셋 변경 단계(S02)에서는, b) 상기 공작 기계에 비전 계측 툴(1000)이 구비된 척(100)이 장착된다. 다음으로 상기 기계 원점 복귀 단계(S03)에서는, c) 상기 공작 기계의 상기 컨트롤러에 의하여 상기 공작 기계의 각 축 원점이 기계 원점으로 복귀된다. 이렇게 해서 실질적인 가공 원점 보정의 초기화 작업이 이루어지게 된다.
이후, 먼저 상기 가공 원점 보정 단계(S04)에서는, d) 상기 임베디드 모듈(320)에 의하여 소재 두께가 반영된 가공 원점 보정 및 척(100) 이동이 수행된다. 이와 같이 기초 위치를 잡은 다음에는, 상기 트리거 시그널 체크 단계(S05)에서 e) 임베디드 모듈(320)에 의하여 소재 두께 및 상기 렌즈 초점 거리에 따라 산출된 z축 방향 초기 위치로 척(100)이 이동 지령이 수행되고, 상기 이동 지령을 트리거 신호로 사용하여 카메라(430)에 의해 이미지를 획득되도록 하는 작업이 수행된다. 이 때, 상기 트리거 시그널 체크 단계(S05)에서 이미지 획득이 정상적으로 수행되지 않으면(S05-No), 상기 기계 원점 복귀 단계(S03)로 되돌아가게 된다.
상기 이미지 획득/처리 단계(S06)에서는 f) 상기 트리거 시그널 체크 단계(S05)가 수행되어 이미지 획득이 정상적으로 이루어지면(S05-Yes), 임베디드 모듈(320)에 의하여 획득된 이미지의 선명도 및 이에 따른 가공 원점 재보정 값이 산출된다.
상기 가공 원점 재설정 단계(S07)에서는 g) 상기 이미지 획득/처리 단계(S06)에서 가공 원점 재보정 값이 산출되면(S06-Yes), 임베디드 모듈(320)에 의하여 가공 원점 재보정 값이 상기 컨트롤러로 전송되고, 상기 컨트롤러에 의하여 척(100)의 위치가 이동되어 가공 원점이 재설정되게 된다. 이 때, 상기 이미지 획득/처리 단계(S06)에서 가공 원점 재보정 값이 정상적으로 산출되지 않으면, 상기 기계 원점 복귀 단계(S03)로 되돌아가게 된다.
이와 같은 단계를 거쳐 가공 원점 보정이 완료된 후에는, 실제 소재의 가공을 위하여 상기 툴셋 변경 지령 단계(S08)에서 h) 상기 컨트롤러에 의하여 상기 공작 기계로 척(100)을 가공 툴 척으로 교환하도록 하는 명령이 전달되게 된다.
본 발명의 상기한 실시 예에 한정하여 기술적 사상을 해석해서는 안 된다. 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당업자의 수준에서 다양한 변형 실시가 가능하다. 따라서 이러한 개량 및 변경은 당업자에게 자명한 것인 한 본 발명의 보호범위에 속하게 된다.
1000 : 비전 계측 툴
100 : 척
200 : 도킹부 210 : 도킹플레이트
220 : 하우징 고정 로드
300 : 임베디드부 310 : 하우징
320 : 임베디드 모듈 321 : 모듈 커버
322 : 무선통신부 323 : 디지털신호처리(DSP)보드
324 : 모듈 고정 로드 325 : 전원부
400 : 이미지부 410 : 조명부 커버
420 : 조명부 430 : 카메라
440 : 카메라 커버
100 : 척
200 : 도킹부 210 : 도킹플레이트
220 : 하우징 고정 로드
300 : 임베디드부 310 : 하우징
320 : 임베디드 모듈 321 : 모듈 커버
322 : 무선통신부 323 : 디지털신호처리(DSP)보드
324 : 모듈 고정 로드 325 : 전원부
400 : 이미지부 410 : 조명부 커버
420 : 조명부 430 : 카메라
440 : 카메라 커버
Claims (6)
- 공작 기계의 자동 공구 교환 장치(ATC)에서 사용되는 척에 구비되는 빌트인 타입 비전 계측 툴에 있어서
상기 척의 일측에 구비되며, 상기 공작 기계에 장착되는 도킹부;
상기 도킹부의 일측에 구비되며, 안착된 소재의 이미지를 획득하는 이미지부;
상기 도킹부와 상기 이미지부 사이에 구비되며, 상기 이미지를 통해 자동 포커싱 및 이에 따른 가공 원점 설정을 수행하는 임베디드부;
를 포함하는, 초기원점 자율세팅을 위한 빌트인 타입 비전 계측 툴.
- 제 1항에 있어서,
상기 이미지부는,
상기 소재의 가공 원점 부분의 이미지 사이즈와 초점 거리를 결정하고, 아날로그 타입의 소재 형상 정보를 씨씨디(CCD)셀에 조사하여 디지털화하는 카메라;
상기 카메라의 고정을 위한 카메라 고정부; 및
상기 소재에 광을 제공하는 조명부;
를 포함하는, 초기원점 자율세팅을 위한 빌트인 타입 비전 계측 툴.
- 제 2항에 있어서,
상기 임베디드부는,
상기 이미지부에서 출력되는 이미지 신호를 사용하여 소재 판별 작업 및 이미지 선명도를 통한 소재 두께 방향에 대한 가공 원점 도출 작업을 수행하며, 도출된 가공 원점을 상기 공작 기계의 컨트롤러로 전달하되,
RS-232 또는 블루투스 무선 통신을 이용하여 전달하는, 초기원점 자율세팅을 위한 빌트인 타입 비전 계측 툴.
- 제 1항에 있어서,
상기 임베디드부는,
상기 도킹부의 일측에 결합되며, 내부가 중공된 하우징;
상기 하우징 타측에 내설되는 디지털신호처리(DSP)보드;
상기 디지털신호처리(DSP)보드의 일측에 이격 배치되는 무선 통신부; 및
상기 디지털신호처리(DSP)보드와 상기 무선통신부 사이에 배치되는 전원부;
를 포함하는, 초기원점 자율세팅을 위한 빌트인 타입 비전 계측 툴.
- 제 4항에 있어서,
상기 디지털신호처리(DSP)보드 및 상기 무선통신부는 상기 척의 축방향을 중심으로 소정의 직경을 갖는 원판 상으로 이루어지며,
상기 전원부는 복수 개가 상기 디지털신호처리(DSP)보드의 일면에 설치되되, 상기 척의 축방향을 중심으로 방사상으로 배치되는, 초기원점 자율세팅을 위한 빌트인 타입 비전 계측 툴.
- 제 4항에 있어서,
상기 디지털신호처리(DSP)보드는,
상기 공작 기계의 기계 원점 완료 신호를 트리거 신호로 사용하여 트리거 신호에 동기화하여 이미지를 획득하는 트리거 인터페이스부;
이전 소재와 동일한 소재를 가공할 경우를 대비해 이전 이미지를 저장/처리하는 버퍼부;
이미지 처리를 위해 상기 버퍼부에서 획득된 이미지를 통해 소재의 에지라인을 검출하는 필터부;
소재의 두께 방향에 대한 가공 원점을 도출하도록 상기 트리거 인터페이스부에서 획득된 이미지의 선명도를 기준으로 자동 포커싱하는 자동 포커싱부; 및
상기 트리거 인터페이스부, 상기 버퍼부, 상기 필터부 및 상기 자동 포커싱부에서 전달되는 정보를 사용하여 가공 원점을 검출하는 가공 원점 도출부; 를 포함하며,
상기 가공 원점 도출부에서 도출된 가공 원점은 상기 무선통신부를 통해 상기 공작 기계의 컨트롤러로 전달하는, 초기원점 자율세팅을 위한 빌트인 타입 비전 계측 툴.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130117848A KR101518843B1 (ko) | 2013-10-02 | 2013-10-02 | 초기원점 자율세팅을 위한 빌트인 타입 비전 계측 툴 |
US14/497,871 US9841748B2 (en) | 2013-10-02 | 2014-09-26 | Built-in type vision based inspection tool for autonomous setting of initial origin |
EP14187143.4A EP2857831B1 (en) | 2013-10-02 | 2014-09-30 | Built-in type vision based inspection tool for autonomous setting of initial origin |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130117848A KR101518843B1 (ko) | 2013-10-02 | 2013-10-02 | 초기원점 자율세팅을 위한 빌트인 타입 비전 계측 툴 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150039364A true KR20150039364A (ko) | 2015-04-10 |
KR101518843B1 KR101518843B1 (ko) | 2015-05-13 |
Family
ID=51830179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130117848A KR101518843B1 (ko) | 2013-10-02 | 2013-10-02 | 초기원점 자율세팅을 위한 빌트인 타입 비전 계측 툴 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9841748B2 (ko) |
EP (1) | EP2857831B1 (ko) |
KR (1) | KR101518843B1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200078924A (ko) * | 2018-12-24 | 2020-07-02 | 김성태 | 디스플레이 검사용 스마트 비전 검사 모듈 |
KR20230057555A (ko) | 2021-10-22 | 2023-05-02 | 현대위아 주식회사 | 갠트리 로더를 제어하는 공작기계 제어장치 및 그 방법 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150073584A1 (en) * | 2013-09-10 | 2015-03-12 | Andrew Goodale | Wireless vision systems and methods for use in harsh environments |
US10046521B2 (en) * | 2014-01-16 | 2018-08-14 | Jabil Inc. | Remotely-accessible additive manufacturing systems and methods |
US9930230B2 (en) * | 2014-10-03 | 2018-03-27 | Larry Costa | Harsh environment vision camera system |
WO2016054647A1 (en) | 2014-10-03 | 2016-04-07 | Costa Larry J | Method and apparatus for encoding data on a work piece |
US11065659B2 (en) | 2014-10-03 | 2021-07-20 | Larry J. Costa | Harsh environment enclosure |
CN111198383A (zh) * | 2020-01-23 | 2020-05-26 | 科德数控股份有限公司 | 一种激光尺 |
CN111708321B (zh) * | 2020-06-08 | 2021-06-04 | 上海交通大学 | 数控机床刀轴方向动态误差检测装置及方法 |
DE102020117068A1 (de) * | 2020-06-29 | 2021-12-30 | Herbert Waldmann Gmbh & Co. Kg | Leuchte, insbesondere Einbau- oder Aufbauleuchte |
CN112099439B (zh) * | 2020-09-17 | 2022-04-19 | 西安精雕软件科技有限公司 | 一种基于曲面特征分析技术的电极切角识别方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4295740A (en) * | 1978-09-05 | 1981-10-20 | Westinghouse Electric Corp. | Photoelectric docking device |
US4316189A (en) * | 1980-05-08 | 1982-02-16 | Westinghouse Electric Corp. | Electromechanical display apparatus |
FR2640902B1 (ko) * | 1988-12-23 | 1992-02-07 | Commissariat Energie Atomique | |
JPH05228799A (ja) | 1992-02-25 | 1993-09-07 | Yamazaki Mazak Corp | タッチセンサツール |
JP2600048B2 (ja) * | 1993-02-22 | 1997-04-16 | 株式会社ゲット | カッター |
US6202523B1 (en) * | 1998-11-10 | 2001-03-20 | J. F. Berns Co., Inc. | Air operated loading and unloading device |
US7266420B2 (en) * | 2004-04-03 | 2007-09-04 | Gerald Walter Budd | Automatic detection system for broken tools in CNC machining centers using advanced machine vision techniques |
EP2112461B1 (en) | 2008-04-24 | 2012-10-24 | Hexagon Metrology AB | Self-powered measuring probe |
JP4612086B2 (ja) | 2008-10-06 | 2011-01-12 | ファナック株式会社 | ワークの計測基準点設定機能を有する工作機械 |
JP5372598B2 (ja) | 2009-05-15 | 2013-12-18 | 株式会社森精機製作所 | 加工方法及び加工システム |
KR101524874B1 (ko) | 2009-08-21 | 2015-06-01 | 두산인프라코어 주식회사 | Cnc 공작기계의 atc 동작 정보 표시 방법 및 장치 |
KR101072001B1 (ko) * | 2010-03-26 | 2011-10-11 | 한국기계연구원 | 공작 기계의 자동 가공 원점 인식 시스템 및 방법 |
DE102011002625A1 (de) * | 2011-01-13 | 2012-07-19 | Dr. Johannes Heidenhain Gmbh | Vorrichtung und Verfahren zum Erfassen der Lage eines Objekts in einer Werkzeugmaschine |
-
2013
- 2013-10-02 KR KR1020130117848A patent/KR101518843B1/ko active IP Right Grant
-
2014
- 2014-09-26 US US14/497,871 patent/US9841748B2/en active Active
- 2014-09-30 EP EP14187143.4A patent/EP2857831B1/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200078924A (ko) * | 2018-12-24 | 2020-07-02 | 김성태 | 디스플레이 검사용 스마트 비전 검사 모듈 |
KR20230057555A (ko) | 2021-10-22 | 2023-05-02 | 현대위아 주식회사 | 갠트리 로더를 제어하는 공작기계 제어장치 및 그 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR101518843B1 (ko) | 2015-05-13 |
EP2857831B1 (en) | 2020-04-29 |
US9841748B2 (en) | 2017-12-12 |
EP2857831A3 (en) | 2015-04-22 |
EP2857831A2 (en) | 2015-04-08 |
US20150094844A1 (en) | 2015-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101518843B1 (ko) | 초기원점 자율세팅을 위한 빌트인 타입 비전 계측 툴 | |
CN106346315B (zh) | 能够取得工件原点的机床控制***以及工件原点设定方法 | |
US20060259180A1 (en) | Device and method for workpiece calibration | |
US20150073584A1 (en) | Wireless vision systems and methods for use in harsh environments | |
US10095046B2 (en) | Automated UV calibration, motorized optical target and automatic surface finder for optical alignment and assembly robot | |
EP2251120A1 (en) | Machining method and machining system | |
TW201518889A (zh) | 影像量測系統及方法 | |
US10656617B2 (en) | Measurement device for machining center | |
JP2016093872A (ja) | 工作機械の工具補正値の自動設定装置及び自動設定方法 | |
KR100713678B1 (ko) | 공구 세팅 장치 | |
US20180203119A1 (en) | Method of operating a confocal white light sensor on a coordinate measuring machine | |
CN105246646B (zh) | 微型车床 | |
CN104985332B (zh) | 激光切割机的封闭检测方法 | |
CN103801989A (zh) | 一种基于图像处理确定工件坐标原点的机载自动测量*** | |
CN103398670A (zh) | 一种刀具形状测量装置 | |
KR20200115482A (ko) | 선삭 공구 및 선삭 방법 | |
US4268949A (en) | Tracing milling machine | |
WO2020012871A1 (ja) | 工作機械 | |
CN108759679B (zh) | 一种咖啡锅炉尺寸检测设备及检测方法 | |
CN107116374B (zh) | 一种具有激光测振功能的数控机床主轴刀柄及测振方法 | |
JP2006300817A (ja) | 光学式測定器、光学式測定装置及び光学式測定システム | |
JP6538345B2 (ja) | 工作機械のワーク計測装置 | |
CN106679554B (zh) | 一种用于数控铣削加工中心的工件尺寸测量仪 | |
KR101072001B1 (ko) | 공작 기계의 자동 가공 원점 인식 시스템 및 방법 | |
JP4986880B2 (ja) | マイクロマシンやマイクロフライスマシンの工具長補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20180416 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20200309 Year of fee payment: 6 |