KR102395797B1 - Detection System - Google Patents
Detection System Download PDFInfo
- Publication number
- KR102395797B1 KR102395797B1 KR1020200066223A KR20200066223A KR102395797B1 KR 102395797 B1 KR102395797 B1 KR 102395797B1 KR 1020200066223 A KR1020200066223 A KR 1020200066223A KR 20200066223 A KR20200066223 A KR 20200066223A KR 102395797 B1 KR102395797 B1 KR 102395797B1
- Authority
- KR
- South Korea
- Prior art keywords
- workbench
- image
- test object
- control unit
- unit
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B03—SEPARATION OF SOLID MATERIALS USING LIQUIDS OR USING PNEUMATIC TABLES OR JIGS; MAGNETIC OR ELECTROSTATIC SEPARATION OF SOLID MATERIALS FROM SOLID MATERIALS OR FLUIDS; SEPARATION BY HIGH-VOLTAGE ELECTRIC FIELDS
- B03B—SEPARATING SOLID MATERIALS USING LIQUIDS OR USING PNEUMATIC TABLES OR JIGS
- B03B4/00—Separating by pneumatic tables or by pneumatic jigs
- B03B4/02—Separating by pneumatic tables or by pneumatic jigs using swinging or shaking tables
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
일 실시예에 따른 검출 시스템은, 일정량의 검사체가 분배되는 작업대; 상기 작업대를 기준 영역으로 하여 상기 검사체를 촬영하는 선별부; 상기 작업대에 진동을 가하는 가진부; 및 상기 가진부의 작동을 제어하는 제어부;를 포함하고, 상기 제어부는 상기 선별부에 의해 획득된 이미지로부터 상기 기준 영역에 대한 상기 검사체의 비율을 연산하여 상기 가진부의 작동 여부를 판단할 수 있다.A detection system according to an embodiment includes: a workbench to which a predetermined amount of a test object is distributed; a sorting unit for photographing the test object using the workbench as a reference area; a vibrating unit for applying vibration to the workbench; and a control unit controlling the operation of the excitation unit, wherein the control unit may determine whether the excitation unit operates by calculating a ratio of the test object to the reference area from the image obtained by the selection unit.
Description
검출 시스템이 개시된다. 구체적으로, 검사체의 이미지를 획득하여 검사체와 섞여 있는 이물질을 검출하는 것뿐만 아니라 검사체에 진동을 가해 검사체에 의해 가려진 이물질 또한 검출할 수 있는 검출 시스템이 개시된다.A detection system is disclosed. Specifically, a detection system capable of not only detecting foreign substances mixed with the inspection object by acquiring an image of the inspection object, but also detecting foreign substances covered by the inspection object by applying vibration to the inspection object is disclosed.
일반적으로 면류 등의 즉석식품의 조리 과정에서 건더기 스프는 국물에 넣어 맛을 내기 위해 사용된다. 건더기 스프는 야채, 해산물, 고기 등의 다양한 식품 재료를 일정한 크기로 잘게 절단하고 이를 건조시킴으로써 만들어질 수 있다. In general, in the cooking process of instant foods such as noodles, soup is used to flavor the soup. Raw soup can be made by cutting various food ingredients, such as vegetables, seafood, and meat, into regular sizes and drying them.
이러한 건더기 스프를 포함하여 식품 분야의 많은 제품들은 무엇보다도 위생과 관련된 품질 관리가 가장 중요하기 때문에, 제조 과정에 있어서 제품에 섞여 있는 이물질의 선별하는 작업은 매우 중요하다.For many products in the food sector, including soup stock, hygiene-related quality control is the most important, so it is very important to select foreign substances mixed in the product during the manufacturing process.
이때, 작업자는 장시간 돋보기를 통해 건더기 스프를 보면서 이에 섞여 있는 이물질을 검출하기 때문에 작업자의 눈에는 상당한 피로가 누적된다. 또한, 사람의 눈을 사용하는 특성 상, 이물질을 오검출하거나 놓칠 수 있는 한계가 있다.At this time, since the operator detects foreign substances mixed in the soup while looking at the soup through a magnifying glass for a long time, considerable fatigue is accumulated on the operator's eyes. In addition, due to the nature of using the human eye, there is a limit in which a foreign material may be erroneously detected or missed.
전술한 배경기술은 발명자가 본원의 개시 내용을 도출하는 과정에서 보유하거나 습득한 것으로서, 반드시 본 출원 전에 일반 공중에 공개된 공지기술이라고 할 수는 없다.The above-mentioned background art is possessed or acquired by the inventor in the process of deriving the disclosure of the present application, and cannot necessarily be said to be a known technology disclosed to the general public prior to the present application.
일 실시예에 따른 검출 시스템의 목적은, 검사체에 섞인 이물질의 검출을 용이하게 하는 것이다.An object of the detection system according to an exemplary embodiment is to facilitate detection of foreign substances mixed in a test object.
일 실시예에 따른 검출 시스템의 목적은, 검사체가 놓인 작업대에 진동을 가하여 감춰진 이물질을 검출하기 쉽도록 노출시키는 것이다.An object of the detection system according to an embodiment is to apply vibration to a workbench on which a test object is placed, thereby exposing a hidden foreign material to be easily detected.
일 실시예에 따른 검출 시스템의 목적은, 인공지능 기반으로 이미지를 분석하여 정밀하고 효율적으로 이물질을 검출하는 것이다.An object of the detection system according to an embodiment is to accurately and efficiently detect foreign substances by analyzing an image based on artificial intelligence.
일 실시예에 따른 검출 시스템의 목적은, 작업대에 대한 가진 여부를 검사체의 분포도에 따라 판단하여 이를 자동으로 제어함으로써 검출 작업에 소요되는 시간 및 비용을 절감하는 것이다.An object of the detection system according to an embodiment is to reduce the time and cost required for a detection operation by automatically controlling the detection system by determining whether or not there is an excitation on the workbench according to the distribution of the inspection object.
상기 목적을 달성하기 위한 일 실시예에 따른 검출 시스템은, 일정량의 검사체가 분배되는 작업대; 상기 작업대를 기준 영역으로 하여 상기 검사체를 촬영하는 선별부; 상기 작업대에 진동을 가하는 가진부; 및 상기 가진부의 작동을 제어하는 제어부;를 포함하고, 상기 제어부는 상기 선별부에 의해 획득된 이미지로부터 상기 기준 영역에 대한 상기 검사체의 비율을 연산하여 상기 가진부의 작동 여부를 판단할 수 있다.A detection system according to an embodiment for achieving the above object includes: a workbench to which a predetermined amount of a test object is distributed; a sorting unit for photographing the test object using the workbench as a reference area; a vibrating unit for applying vibration to the workbench; and a control unit controlling the operation of the excitation unit, wherein the control unit may determine whether the excitation unit operates by calculating a ratio of the test object to the reference area from the image obtained by the selection unit.
일 측에 의하면, 상기 제어부는 상기 이미지를 픽셀 단위로 분석하여 상기 이미지를 상기 작업대, 상기 검사체 또는 이물질로 구분하고, 상기 이물질이 검출된 경우, 상기 선별부는 상기 이물질이 구별된 이미지를 표시할 수 있다.According to one side, the control unit analyzes the image in units of pixels to classify the image into the workbench, the test object, or foreign material, and when the foreign material is detected, the sorting unit displays the image in which the foreign material is distinguished. can
일 측에 의하면, 상기 제어부는 상기 이미지를 상기 작업대 및 상기 검사체로 구분하는 바이너리 이미지로 변환하고, 상기 기준 영역 픽셀수 대비 상기 검사체 픽셀수 비율을 연산한 결과값을 설정값과 비교하여 상기 가진부의 작동 여부를 판단할 수 있다.According to one side, the control unit converts the image into a binary image that divides the workbench and the test object, compares the result of calculating the ratio of the number of pixels in the reference area to the number of pixels in the test object with a set value, It is possible to determine whether the negative is working or not.
일 측에 의하면, 상기 제어부는 상기 결과값이 상기 설정값 미만인 경우, 상기 가진부의 작동을 유지할 수 있다.According to one side, when the result value is less than the set value, the control unit may maintain the operation of the excitation unit.
일 측에 의하면, 상기 제어부는 상기 결과값이 상기 설정값 이상인 경우, 상기 가진부의 작동을 중단시키고 새로운 검사체를 상기 작업대에 분배할 수 있다.According to one side, when the result value is greater than or equal to the set value, the control unit may stop the operation of the excitation unit and distribute a new test object to the workbench.
일 측에 의하면, 상기 선별부는, 상기 기준 영역의 RGB 이미지를 획득하는 카메라; 및 상기 카메라로부터 획득된 이미지를 표시하는 모니터;를 포함하고, 상기 모니터는 이물질을 선별하기 위해 상기 제어부에 의해 처리된 이미지를 표시할 수 있다.According to one side, the selector may include: a camera for acquiring an RGB image of the reference region; and a monitor that displays the image obtained from the camera, wherein the monitor may display the image processed by the controller in order to select foreign substances.
일 측에 의하면, 상기 가진부는, 상기 작업대를 지지하는 바닥 부재; 상기 바닥 부재 상에 배치되는 진동 부재; 및 상기 작업대의 진동을 감쇠시키는 탄성 부재;를 포함하고, 상기 진동 부재는 상기 제어부에 의해 작동이 제어될 수 있다.According to one side, the vibrating unit, the floor member for supporting the work table; a vibrating member disposed on the floor member; and an elastic member for damping the vibration of the workbench, wherein the vibration member may be controlled in operation by the controller.
일 실시예에 따른 검출 시스템에 의하면, 검사체에 섞인 이물질의 검출을 용이하게 하는 효과가 있다.According to the detection system according to an embodiment, there is an effect of facilitating the detection of a foreign substance mixed in a test object.
일 실시예에 따른 검출 시스템에 의하면, 검사체가 놓인 작업대에 진동을 가하여 감춰진 이물질을 검출하기 쉽도록 노출시키는 효과가 있다.According to the detection system according to an embodiment, there is an effect of exposing a hidden foreign material to be easily detected by applying vibration to the work surface on which the test object is placed.
일 실시예에 따른 검출 시스템에 의하면, 인공지능 기반으로 이미지를 분석하여 정밀하고 효율적으로 이물질을 검출하는 효과가 있다.According to the detection system according to an embodiment, there is an effect of accurately and efficiently detecting a foreign material by analyzing an image based on artificial intelligence.
일 실시예에 따른 검출 시스템에 의하면, 작업대에 대한 가진 여부를 검사체의 분포도에 따라 판단하여 이를 자동으로 제어함으로써 검출 작업에 소요되는 시간 및 비용을 절감하는 효과가 있다.According to the detection system according to an embodiment, there is an effect of reducing the time and cost required for the detection operation by automatically controlling whether or not the work bench is excited according to the distribution of the inspection object.
도 1은 일 실시예에 따른 검출 시스템을 개략적으로 나타낸다.
도 2(a) 내지 도 2(d)는 일 실시예에 따른 검출 시스템의 제어부의 이미지 분석 과정을 나타낸다.
도 3(a) 내지 도 3(d)는 제어부의 도 2와 다른 이미지 분석 과정을 나타낸다.
도 4는 작업대 상에서 이물질이 감춰진 상태인 검사체를 나타낸다.
도 5는 가진부에 의해 진동하는 작업대 및 검사체를 나타낸다.
도 6은 작업대 상에서 이물질이 노출된 상태인 검사체를 나타낸다.
도 7은 검사체가 분배된 상태인 일 실시예에 따른 검출 시스템을 나타낸다.
도 8은 작업대가 진동하는 상태인 일 실시예에 따른 검출 시스템을 나타낸다.
도 9(a)는 진동이 가해지기 전의 검사체를 촬영한 RGB 이미지를 나타내고, 도 9(b)는 RGB 이미지가 제어부에 의해 변환된 바이너리 이미지를 나타내고, 도 9(c)는 바이너리 이미지의 픽셀 히스토그램을 나타낸다.
도 10(a)는 진동이 가해진 후의 검사체를 촬영한 RGB 이미지를 나타내고, 도 10(b)는 RGB 이미지가 제어부에 의해 변환된 바이너리 이미지를 나타내고, 도 10(c)는 바이너리 이미지의 픽셀 히스토그램을 나타낸다.
도 11(a)는 도 10의 검사체에 추가로 진동이 가해진 후 촬영한 RGB 이미지를 나타내고, 도 11(b)는 RGB 이미지가 제어부에 의해 변환된 바이너리 이미지를 나타내고, 도 11(c)는 바이너리 이미지의 픽셀 히스토그램을 나타낸다.
도 12는 일 실시예에 따른 검출 시스템의 순서도이다.1 schematically shows a detection system according to an embodiment.
2(a) to 2(d) illustrate an image analysis process of a control unit of a detection system according to an exemplary embodiment.
3(a) to 3(d) show an image analysis process different from that of FIG. 2 of the controller.
4 shows a test object in a state in which foreign substances are hidden on the workbench.
5 shows a workbench and a test object vibrating by an excitation unit.
6 shows a test object in a state in which foreign substances are exposed on the workbench.
7 illustrates a detection system according to an exemplary embodiment in a state in which a test object is distributed.
8 shows a detection system according to an embodiment in which the workbench is in a vibrating state.
Fig. 9(a) shows an RGB image obtained by photographing an object before vibration is applied, Fig. 9(b) shows a binary image in which the RGB image is converted by the controller, and Fig. 9(c) is a pixel of the binary image. Shows a histogram.
Fig. 10(a) shows an RGB image obtained by photographing a test object after vibration is applied, Fig. 10(b) shows a binary image in which the RGB image is converted by the controller, and Fig. 10(c) is a pixel histogram of the binary image. indicates
Fig. 11 (a) shows an RGB image photographed after additional vibration is applied to the test object of Fig. 10, Fig. 11 (b) shows a binary image in which the RGB image is converted by the control unit, Represents a pixel histogram of a binary image.
12 is a flowchart of a detection system according to an embodiment.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, since various changes may be made to the embodiments, the scope of the patent application is not limited or limited by these embodiments. It should be understood that all modifications, equivalents and substitutes for the embodiments are included in the scope of the rights.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used for the purpose of description only, and should not be construed as limiting. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present specification, terms such as "comprise" or "have" are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the embodiment belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same components are given the same reference numerals regardless of the reference numerals, and the overlapping description thereof will be omitted. In describing the embodiment, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the embodiment, the detailed description thereof will be omitted.
또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다. In addition, in describing the components of the embodiment, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the elements from other elements, and the essence, order, or order of the elements are not limited by the terms. When it is described that a component is “connected”, “coupled” or “connected” to another component, the component may be directly connected or connected to the other component, but another component is between each component. It will be understood that may also be "connected", "coupled" or "connected".
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.Components included in one embodiment and components having a common function will be described using the same names in other embodiments. Unless otherwise stated, descriptions described in one embodiment may be applied to other embodiments as well, and detailed descriptions within the overlapping range will be omitted.
본 발명은 검사체(S) 내 섞여있는 이물질(F)을 검출하는 것을 목적으로 한다. An object of the present invention is to detect a foreign substance (F) mixed in a test object (S).
도 1은 일 실시예에 따른 검출 시스템(10)을 개략적으로 나타낸다.1 schematically shows a
도 1을 참조하여, 일 실시예에 따른 검출 시스템(10)은 작업대(100), 선별부(200), 가진부(300) 및 제어부(400)를 포함할 수 있다.Referring to FIG. 1 , the
작업대(100)는 일면에 일정량의 검사체(S)가 분배될 수 있다. 이때, 검사체(S)는 예를 들어 건더기스프일 수 있다. A certain amount of the test object (S) may be distributed on one surface of the
선별부(200)는 상기 작업대(100) 상에 분배된 검사체(S)를 촬영할 수 있다. 또한, 선별부(200)는 작업대(100)의 일면을 기준 영역으로 하여 촬영된 이미지를 획득할 수 있다. The
구체적으로, 선별부(200)는 카메라(210) 및 모니터(220)를 포함할 수 있다.Specifically, the
카메라(210)는 상기 작업대(100)의 상부에 위치할 수 있다. 카메라(210)는 예를 들어 RGB 카메라(210)로 마련되어 기준 영역의 RGB 이미지를 획득할 수 있다.The
모니터(220)는 카메라(210)와 연결되어 카메라(210)로부터 획득된 이미지를 출력할 수 있다. 또한, 모니터(220)는 제어부(400)와 연결되어 제어부(400)에 의해 처리된 이미지를 표시할 수 있다.The
가진부(300)는 작업대(100)에 진동을 가할 수 있다. 가진부(300)에 의해 작업대(100) 상에 분배된 검사체(S)가 불규칙적으로 이동할 수 있다.The
구체적으로, 가진부(300)는 바닥 부재(310), 진동 부재(320) 및 탄성 부재(330)를 포함할 수 있다.Specifically, the vibrating
바닥 부재(310)는 최하단에 위치하여 작업대(100)를 지지할 수 있다. The
진동 부재(320)는 바닥 부재(310) 상에 배치되고 작업대(100)와 연결될 수 있다. 진동 부재(320)는 작업대(100)에 진동을 가할 수 있으며, 제어부(400)에 의해 작동이 제어될 수 있다. 진동 부재(320)는 예를 들어 진동 모터일 수 있으며, 바닥 가진 시스템의 모델링을 통해 작업 환경에 적절한 진동 모터가 사용될 수 있다.The vibrating
예를 들어, 바닥 가진 시스템은 작업대, 바닥 부재, 용수철 및 댐퍼로 구성될 수 있다. 또한, 바닥 가진의 특수해를 구하는 공식은 아래와 같다.For example, a floor excitation system may consist of a workbench, a floor member, a spring and a damper. Also, the formula to find the special solution of the bottom excitation is as follows.
이때, xp(t)는 작업대의 변위이고,Here, x p (t) is the displacement of the workbench,
Y는 바닥의 진폭이고,Y is the amplitude of the floor,
ωb는 바닥 부재의 고유 진동수이고,ω b is the natural frequency of the floor member,
ωn는 작업대의 고유 진동수이고,ω n is the natural frequency of the workbench,
t는 시간일 수 있다.t may be time.
탄성 부재(330)는 바닥 부재(310)와 작업대(100) 사이에 위치할 수 있다. 예를 들어 탄성 부재(330)는 복수 개의 용수철일 수 있다. 이러한 탄성 부재(330)는 진동 부재(320)의 작동에 의한 작업대(100)의 진동을 감쇠시킬 수 있다.The
제어부(400)는 가진부(300)의 작동을 제어할 수 있다. 또한, 제어부(400)는 선별부(200)에 의해 획득된 이미지로부터 기준 영역에 대한 상기 검사체(S)의 비율, 즉 작업대(100) 상에서 검사체(S)의 분포도를 연산할 수 있다. 이러한 연산의 결과값에 따라, 제어부(400)는 가진부(300)의 작동 여부를 판단할 수 있다.The
전술한 바와 같이. 일 실시예에 따른 검출 시스템(10)은 선별부(200)를 사용하여 검사체(S)를 촬영하고, 이물질(F)과 정상 검사체(S)가 구분된 이미지를 출력하여 작업자가 보다 정밀하고 효율적으로 이물질(F)을 검출하게 할 수 있다.As described above. The
또한, 일 실시예에 따른 검출 시스템(10)은 선별부(200)만으로는 검사체(S)의 투시가 불가능한 문제를 해결하기 위해, 가진부(300)를 사용하여 검사체(S)에 진동을 가함으로써 검사체(S)에 가려진 이물질(F)을 노출시켜서 작업자가 보다 정확하게 이물질(F) 검출을 하도록 지원할 수 있다.In addition, the
이하에서, 도 2 내지 도 6을 참조하여 제어부(400)의 이물질(F) 검출 방법을 보다 상세히 설명한다.Hereinafter, a method of detecting the foreign material F by the
도 2(a) 내지 도 2(d)는 제어부(400)가 선별부(200)에서 획득된 이미지를 분석하는 과정을 나타낸다. 2( a ) to 2 ( d ) show a process in which the
도 3(a) 내지 도 3(d)는 제어부(400)가 선별부(200)에서 획득된 이미지를 도 2와 다른 방법으로 분석하는 과정을 나타낸다.3(a) to 3(d) illustrate a process in which the
도 4는 작업대(100) 상에서 이물질(F)이 감춰진 상태인 검사체(S)를 나타낸다.4 shows the inspection body (S) in a state in which the foreign material (F) is hidden on the workbench (100).
도 5는 가진부(300)에 의해 진동하는 작업대(100) 및 검사체(S)를 나타낸다.5 shows the
도 6은 작업대(100) 상에서 이물질(F)이 노출된 상태인 검사체(S)를 나타낸다.6 shows the inspection body (S) in a state in which the foreign material (F) is exposed on the work table (100).
도 2(a)를 참조하여, 제어부(400)는 카메라(210)로부터 검사체(S)가 포함된 기준 영역의 전체 이미지를 전달받을 수 있다. 제어부(400)는 전체 이미지에서 도 2(b)와 같이 특징적인 부분을 찾아내어 특정 영역 이미지를 추출할 수 있다. 제어부(400)는 자동적으로 상기 특정 영역 이미지를 분석하여 도 2(c)와 같은 특징 맵(feature map)을 생성할 수 있다. 또한, 제어부(400)는 필터를 적용하여 도 2(d)와 같이 최종적으로 검사체(S)와 작업대(100), 즉 배경(B)을 분류할 수 있다. 이때, 특징 맵을 위해 컨볼루션(Convolution) 연산이 활용될 수 있다.Referring to FIG. 2A , the
이와 같이 제어부(400)는 획득된 이미지로부터 자동으로 특징 맵을 생성하여 물체를 분류할 수 있다. 제어부(400)는 예를 들어 인공지능기반 영상인식 기술을 사용할 수 있으며 이에 따라 다량의 데이터를 학습하여 자동으로 물체를 분류하는 것이 가능하다.As described above, the
도 3(a) 내지 도 3(d)는 제어부(400)가 선별부(200)에서 획득된 이미지를 도 2와 다른 방법으로 분석하는 과정을 나타낸다.3(a) to 3(d) illustrate a process in which the
도 3(a)를 참조하여, 제어부(400)는 카메라(210)로부터 검사체(S) 및 이물질(F)이 포함된 기준 영역의 전체 이미지를 전달받을 수 있다. 제어부(400)는 도 3(b)와 같이 전체 이미지를 픽셀 단위로 쪼개어 분석할 수 있다. 이 과정에서 컨볼루션(Convolution) 연산을 통해 얻어진 수치의 분포를 바탕으로 이미지의 특징을 인식할 수 있다. 또한, 풀링(Pooling) 연산을 통해 도 3(c)와 같이 특징을 강화할 수 있다. 최종적으로, 제어부(400)는 도 2(d)와 같이 검사체(S), 이물질(F) 및 배경(B)이 구별된 전체 이미지를 생성할 수 있다. Referring to FIG. 3A , the
이와 같이 제어부(400)는 획득된 이미지를 픽셀 단위로 분석하여 배경(B), 검사체(S) 또는 이물질(F)로 구분할 수 있다. 그 결과로 이물질(F)이 검출된 것으로 판단될 경우, 제어부(400)는 모니터(220) 상에 배경(B), 검사체(S) 및 이물질(F)이 구별된 이미지를 표시할 수 있다. 이때, 배경(B), 검사체(S) 및 이물질(F)이 명확히 구별되도록 이들은 서로 다른 색상으로 출력될 수 있다.As described above, the
그러나, 도 4에 도시된 바와 같이 작업대(100) 상에서 이물질(F)이 정상 검사체(S)에 의해 가려진 경우, 카메라(210)를 통한 투시가 불가능하기 때문에 도 2 및 도 3의 검출 방법을 도입하는 것만으로는 이물질(F)을 검출할 수 없다.However, as shown in FIG. 4 , when the foreign material F on the
따라서, 제어부(400)는 도 5와 같이 작업대(100)에 진동을 가하여 검사체(S)를 분산시킬 수 있다.Accordingly, the
이에 따라, 도 4에서 감춰져 있던 이물질(F)이 도 6에 도시된 바와 같이 작업대(100) 상에 노출되어, 작업자가 손쉽게 이물질(F)을 제거할 수 있다.Accordingly, the foreign material (F) that was hidden in FIG. 4 is exposed on the
이때, 제어부(400)는 검사체(S)를 충분히 분산시키기 위해 선별부(200)에 의해 획득된 기준 영역의 전체 이미지를 사용하여 가진부(300)의 작동을 제어할 수 있다.In this case, the
이하에서, 도 7 내지 도 11을 참조하여 제어부(400)의 가진부(300) 제어 방법을 상세히 설명한다.Hereinafter, a method of controlling the
도 7은 작업대(100) 상에 검사체(S)가 분배된 상태인 일 실시예에 따른 검출 시스템(10)을 나타낸다.7 shows the
도 8은 작업대(100)가 진동하는 상태인 일 실시예에 따른 검출 시스템(10)을 나타낸다.8 shows a
도 9(a)는 진동 전의 검사체(S)를 촬영한 RGB 이미지를 나타내고, 도 9(b)는 RGB 이미지가 제어부(400)에 의해 변환된 바이너리 이미지를 나타내고, 도 9(c)는 바이너리 이미지의 픽셀 히스토그램을 나타낸다.Fig. 9 (a) shows an RGB image obtained by photographing the test object (S) before vibration, Fig. 9 (b) shows a binary image in which the RGB image is converted by the
도 10(a)는 진동 후의 검사체(S)를 촬영한 RGB 이미지를 나타내고, 도 10(b)는 RGB 이미지가 제어부(400)에 의해 변환된 바이너리 이미지를 나타내고, 도 10(c)는 바이너리 이미지의 픽셀 히스토그램을 나타낸다.10(a) shows an RGB image obtained by photographing the test object S after vibration, FIG. 10(b) shows a binary image in which the RGB image is converted by the
도 11(a)는 검사체(S)를 촬영한 RGB 이미지를 나타내고, 도 11(b)는 RGB 이미지가 제어부(400)에 의해 변환된 바이너리 이미지를 나타내고, 도 11(c)는 바이너리 이미지의 픽셀 히스토그램을 나타낸다.11(a) shows an RGB image obtained by photographing the test object S, FIG. 11(b) shows a binary image in which the RGB image is converted by the
도 7을 참조하여, 작업대(100) 상에 새로운 검사체(S)가 분배될 수 있다. 도 7에 도시된 바와 같이 검사체(S)가 특정 영역에 밀집되어 검사체(S) 내 섞인 이물질(F)이 검출되지 않을 수 있다. 이때, 카메라(210)는 기준 영역의 이미지를 획득하고, 모니터(220) 상에는 이미지가 출력될 수 있다. Referring to FIG. 7 , a new test object S may be distributed on the
도 7에서 획득된 RGB 이미지는 예를 들어 도 9(a)의 이미지와 동일할 수 있다. The RGB image obtained in FIG. 7 may be the same as the image of FIG. 9( a ), for example.
제어부(400)는 상기 RGB 이미지를 도 9(b)와 같이 흑색 또는 백색으로 구성된 바이너리 이미지로 변환할 수 있다. 예를 들어, 제어부(400)는 검사체(S)가 흑색으로 표시되고 작업대(100), 즉 배경(B)이 백색으로 표시되는 바이너리 이미지를 생성할 수 있다.The
그런 다음 제어부(400)는 상기 바이너리 이미지 중 흑색 및 백색의 비율을 분석할 수 있다. 구체적으로, 제어부(400)는 기준 영역 내 흑색 및 백색의 픽셀수를 각각 계산할 수 있으며, 도 7의 작업대(100) 및 검사체(S) 영역의 픽셀수는 예를 들어, 도 9(c)와 같이 측정될 수 있다. Then, the
제어부(400)는 측정된 각각의 픽셀수를 사용하여 아래의 공식으로 가진부(300)의 작동 여부를 판단할 수 있다.The
이때, 설정값은 제어부(400)에 미리 입력된 작업대(100) 내 검사체(S)의 최대 분포 비율을 의미할 수 있다. In this case, the set value may mean a maximum distribution ratio of the test object S in the
작업대(100) 내 검사체(S)의 분포 비율을 계산한 결과값이 설정값 미만인 경우, 제어부(400)는 가진부(300)의 진동 부재(320)가 작업대(100)에 진동을 가하도록 제어할 수 있다.When the result of calculating the distribution ratio of the test object S in the
결과값이 설정값 미만인 것으로 판단한 제어부(400)는 도 8과 같이 작업대(100)가 진동하도록 가진부(300)를 작동시킬 수 있다. 이에 따라, 도 7과 같이 밀집해 있던 검사체(S)는 도 8과 같이 분산되며, 가려져 있던 이물질(F)이 노출될 수 있다. The
또한, 작업대(100)가 진동 중일 때 카메라(210)는 작업대(100)의 기준 영역을 계속적으로 촬영하면서 실시간으로 RGB 이미지를 획득할 수 있다. 이때, 선별부(200)는 모니터(220)에 실시간 이미지를 출력하지 않을 수 있다. Also, when the
도 8에서 획득되는 RGB 이미지 중 하나는 예를 들어 도 10(a)의 이미지와 동일할 수 있다. One of the RGB images obtained in FIG. 8 may be the same as the image of FIG. 10( a ), for example.
도 9(b)와 마찬가지로, 제어부(400)는 상기 RGB 이미지를 도 10(b)와 같이 검사체(S)를 흑색으로 표시하고 배경(B)을 백색으로 표시하는 바이너리 이미지로 변환할 수 있다. As in FIG. 9(b) , the
그런 다음 제어부(400)는 이물질(F)의 검출 여부와 관계없이 기준 영역 내 흑색 및 백색의 픽셀수를 도 10(c)와 같이 계산할 수 있다. 제어부(400)는 각각의 픽셀수를 상기 공식에 적용하여 다시 가진부(300)의 작동 여부를 판단할 수 있다.Then, the
도 10(b)의 검사체(S) 영역은 도 9(b)보다 영역이 확장되었으나, 그 비율이 설정값에 도달하지 않았기 때문에, 제어부(400)는 검사체(S)가 도 11과 같이 분포될 때까지 진동 부재(320)의 작동을 유지할 수 있다.Although the area of the inspection object S of FIG. 10(b) has been expanded than that of FIG. 9(b), since the ratio did not reach the set value, the
도 11(a)는 검사체(S)가 작업대(100) 상에서 설정값 이상의 비율로 분포되었을 때의 RGB 이미지일 수 있다.11( a ) may be an RGB image when the test object S is distributed at a ratio greater than or equal to a set value on the
제어부(400)는 상기 RGB 이미지를 도 11(b)와 같이 흑백의 바이너리 이미지로 변환할 수 있다. The
이때, 검사체(S) 및 배경(B)의 픽셀수는 도 11(c)와 같이 측정될 수 있다. At this time, the number of pixels of the test object S and the background B may be measured as shown in FIG. 11( c ).
제어부(400)는 픽셀수를 상기 공식에 적용하여 가진부(300)의 작동 여부를 판단할 수 있다. The
진동 부재(320)의 반복적인 가진에 의해 도 11(b)의 검사체(S) 영역은 도 10(b)보다도 그 영역이 확장되었음을 알 수 있다. It can be seen that the area of the test object S of FIG. 11( b ) is expanded than that of FIG. 10( b ) by the repeated excitation of the vibrating
이와 같이 제어부(400)는 기준 영역 내 검사체(S) 영역의 비율을 계산한 결과값이 설정값 이상으로 판단될 때까지 진동 부재(320)의 작동을 유지할 수 있으며, 최종적으로, 작업대(100) 내 검사체(S)의 분포 비율이 설정값 이상으로 판단되면, 가진부(300)의 작동을 중단시킬 수 있다.As such, the
전술한 바와 같이, 일 실시예에 따른 검출 시스템(10)의 제어부(400)는 선별부(200)에서 획득된 RGB 이미지를 분석하여, 배경(B), 정상 검사체(S) 및 이물질(F)을 구분하고, 이물질(F)의 제거가 용이하도록 각각이 상이한 색상으로 구별되는 이미지를 생성할 수 있다.As described above, the
또한, 제어부(400)는 RGB 이미지를 검사체(S)가 흑색으로 표시되고 배경(B)이 백색으로 표시되는 바이너리 이미지로 변환하고, 기준 영역 픽셀수(흑색+백색) 대비 검사체(S)(흑색) 픽셀수 비율을 연산하여 그 결과값을 설정값과 비교할 수 있다. 이에 따라 제어부(400)는 가진부(300)의 작동을 유지하거나 중단시킬 수 있다.In addition, the
도 12는 일 실시예에 따른 검출 시스템(10)의 순서도이다.12 is a flowchart of a
도 12를 참조하여, 결과값이 설정값 이상인 것으로 판단되어 가진 작업이 중단되면, 카메라(210)는 기준 영역의 이미지를 획득하고 제어부(400)는 도 2 및 도 3을 참조하여 설명한 바와 같이 이미지를 픽셀 단위로 분석하여 인공지능 기반으로 배경(B), 검사체(S) 및 이물질(F)을 구분할 수 있다. 즉, 제어부(400)는 배경(B), 검사체(S) 및 이물질(F)이 각각 상이한 색상으로 구성되도록 이미지를 변환할 수 있다. Referring to FIG. 12 , when it is determined that the result value is greater than or equal to the set value and the operation is stopped, the
이때, 전술한 이미지로부터 이물질(F)을 검출하는 과정은 작업대(100)의 진동 중에도 수행될 수 있다. 즉, 결과값이 설정값 이하인 것으로 판단되어 가진부(300)의 작동이 유지되는 동안에도, 카메라(210)는 실시간으로 기준 영역의 이미지를 획득하고 제어부(400)는 인공지능 기반의 이물질(F) 검출을 수행할 수 있다.At this time, the process of detecting the foreign material (F) from the above-described image may be performed even during the vibration of the work table (100). That is, even while the result value is determined to be less than or equal to the set value and the operation of the
그런 다음, 이물질(F)이 검출된 것으로 판단되면, 모니터(220)는 도 1과 같이 배경(B), 검사체(S) 및 이물질(F)이 구별되는 이미지를 출력하여 작업자가 이물질(F)을 손쉽게 제거하도록 유도할 수 있다.Then, when it is determined that the foreign material (F) is detected, the
만약 이물질(F)이 검출되지 않는다면, 제어부(400)는 기준 영역 대비 검사체(S) 영역의 분포 비율을 다시 판단할 수 있다. 이에 따라, 결과값이 설정값 이상인 것으로 판단되면 현재 작업대(100) 상의 검사체(S)는 모두 정상 검사체(S)인 것으로 판단될 수 있다. 정상 검사체(S)는 모두 이물질(F)과 분리되도록 작업대(100)로부터 제거되고, 작업대(100) 상에는 새로운 검사체(S)가 분배될 수 있다.If the foreign material F is not detected, the
전술한 일 실시예에 따른 검출 시스템(10)은 사람의 눈과 근접한 RGB 카메라(210)를 사용하여 검사체(S)에 섞인 이물질(F)의 검출을 용이하게 할 수 있다.The
또한, 일 실시예에 따른 검출 시스템(10)은 검사체(S)가 놓인 작업대(100)에 진동을 가하여 검사체(S) 아래에 감춰진 이물질(F)을 노출시킬 수 있다.In addition, the
또한, 일 실시예에 따른 검출 시스템(10)은 인공지능 기반의 영상 인식 기법을 사용하여 정밀하고 효율적으로 작업자가 손쉽게 이물질(F)을 제거하도록 유도할 수 있다.In addition, the
또한, 일 실시예에 따른 검출 시스템(10) 검체의 분포 비율에 따라 가진 여부를 판단하고 이를 자동적으로 제어함으로써, 검출 작업에 소요되는 시간 및 비용을 절감할 수 있다.In addition, the
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited drawings, those skilled in the art may apply various technical modifications and variations based on the above. For example, the described techniques are performed in an order different from the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
10: 검출 시스템
100: 작업대
200: 선별부
210: 카메라
220: 모니터
300: 가진부
310: 바닥 부재
320: 진동 부재
330: 탄성 부재
400: 제어부10: detection system
100: workbench
200: selection unit
210: camera
220: monitor
300: with wealth
310: floor member
320: vibration member
330: elastic member
400: control unit
Claims (7)
상기 작업대를 기준 영역으로 하여 상기 검사체를 촬영하는 선별부;
상기 작업대에 진동을 가하는 가진부; 및
상기 가진부의 작동을 제어하는 제어부;
를 포함하고,
상기 제어부는 상기 선별부에 의해 획득된 이미지로부터 상기 기준 영역에 대한 상기 검사체의 비율을 연산하여 상기 가진부의 작동 여부를 판단하고,
상기 제어부는 상기 이미지를 상기 작업대 및 상기 검사체로 구분하는 바이너리 이미지로 변환하고, 상기 기준 영역의 픽셀수 대비 상기 검사체의 픽셀수 비율을 연산한 결과값을 설정값과 비교하여 상기 가진부의 작동 여부를 판단하는,
검출 시스템.
a workbench where a certain amount of test object is distributed;
a sorting unit for photographing the test object using the workbench as a reference area;
a vibrating unit for applying vibration to the workbench; and
a control unit for controlling the operation of the excitation unit;
including,
The control unit determines whether the excitation unit operates by calculating the ratio of the test object to the reference region from the image acquired by the selection unit,
The control unit converts the image into a binary image for dividing the workbench and the inspection body, and compares the result of calculating the ratio of the number of pixels of the reference region to the number of pixels of the inspection object with a set value to determine whether the excitation unit operates to judge,
detection system.
상기 제어부는 상기 결과값이 상기 설정값 미만인 경우, 상기 가진부의 작동을 유지하는, 검출 시스템.
According to claim 1,
When the result value is less than the set value, the control unit maintains the operation of the excitation unit.
상기 제어부는 상기 결과값이 상기 설정값 이상인 경우, 상기 가진부의 작동을 중단시키고 새로운 검사체를 상기 작업대에 분배하는, 검출 시스템.
According to claim 1,
When the result value is equal to or greater than the set value, the control unit stops the operation of the excitation unit and distributes a new test object to the workbench.
상기 선별부는,
상기 기준 영역의 RGB 이미지를 획득하는 카메라; 및
상기 카메라로부터 획득된 이미지를 표시하는 모니터;
를 포함하고,
상기 모니터는 이물질을 선별하기 위해 상기 제어부에 의해 처리된 이미지를 표시하는, 검출 시스템.
According to claim 1,
The selection unit,
a camera for acquiring an RGB image of the reference region; and
a monitor displaying the image acquired from the camera;
including,
and the monitor displays the image processed by the control unit to sort out foreign substances.
상기 가진부는,
상기 작업대를 지지하는 바닥 부재;
상기 바닥 부재 상에 배치되는 진동 부재; 및
상기 작업대의 진동을 감쇠시키는 탄성 부재;
를 포함하고,
상기 진동 부재는 상기 제어부에 의해 작동이 제어되는, 검출 시스템.
According to claim 1,
The excitation part,
a floor member supporting the work table;
a vibrating member disposed on the floor member; and
an elastic member for damping the vibration of the workbench;
including,
and the vibrating member is controlled in operation by the control unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200066223A KR102395797B1 (en) | 2020-06-02 | 2020-06-02 | Detection System |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200066223A KR102395797B1 (en) | 2020-06-02 | 2020-06-02 | Detection System |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210149329A KR20210149329A (en) | 2021-12-09 |
KR102395797B1 true KR102395797B1 (en) | 2022-05-06 |
Family
ID=78866134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200066223A KR102395797B1 (en) | 2020-06-02 | 2020-06-02 | Detection System |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102395797B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160364868A1 (en) * | 2014-02-28 | 2016-12-15 | Fujifilm Corporation | Inspection device, inspection method, and computer readable medium storing program causing computer to perform inspection method |
KR102062612B1 (en) * | 2019-09-26 | 2020-01-06 | 민원 | Vibrating screen having a vibration control function and method for sorting mixed waste using the same |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160101436A (en) * | 2015-02-17 | 2016-08-25 | 박진영 | Method for inspectiong the outside of panels |
KR101855076B1 (en) | 2017-02-24 | 2018-05-10 | 동양물산기업 주식회사 | A screening device for a red pepper harvest |
-
2020
- 2020-06-02 KR KR1020200066223A patent/KR102395797B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160364868A1 (en) * | 2014-02-28 | 2016-12-15 | Fujifilm Corporation | Inspection device, inspection method, and computer readable medium storing program causing computer to perform inspection method |
KR102062612B1 (en) * | 2019-09-26 | 2020-01-06 | 민원 | Vibrating screen having a vibration control function and method for sorting mixed waste using the same |
Also Published As
Publication number | Publication date |
---|---|
KR20210149329A (en) | 2021-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105158258B (en) | A kind of bamboo cane detection method of surface flaw based on computer vision | |
US5146510A (en) | Methods and apparatus for optically determining the acceptability of products | |
Elster | Detection of cracks in eggs using machine vision | |
KR101635461B1 (en) | System and Method for Automatically Detecting a Mura Defect using Mask Filtering in Wavelet Transform | |
Mertens et al. | Dirt detection on brown eggs by means of color computer vision | |
TWI614483B (en) | Method and system for detecting luminance of a light source | |
CN104717387B (en) | Image evaluation apparatus and image evaluation method | |
EP3311144A1 (en) | Colour measurement of gemstones | |
CN110717865B (en) | Picture detection method and device | |
JP6754155B1 (en) | Teacher data generator, inspection device and computer program | |
Uluişik et al. | Image processing based machine vision system for tomato volume estimation | |
US8260005B2 (en) | Portable tool for determining meat quality | |
US10614566B2 (en) | Inspection condition determination device, inspection condition determination method, and inspection condition determination program | |
KR102395797B1 (en) | Detection System | |
Hashim et al. | Development of tomato inspection and grading system using image processing | |
CN115496759B (en) | Dust detection method and device and storage medium | |
US10627351B2 (en) | Inspection of components for imperfections | |
CN110880171A (en) | Detection method of display device and electronic equipment | |
Szwedziak | Artificial neural networks and computer image analysis in the evaluation of selected quality parameters of pea seeds | |
KR102498829B1 (en) | Inspection apparatus | |
Niskanen et al. | Experiments with SOM based inspection of wood | |
KR20220111214A (en) | Method, apparatus and computer program for inspection of product based on artificial intelligence | |
Mishra et al. | Surface defects detection for ceramic tiles using image processing and morphological techniques | |
CN110441315B (en) | Electronic component testing apparatus and method | |
TWI655412B (en) | Light source detection system and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |