KR102520759B1 - Apparatus and method for predicting and providing surface roughness of product to be moulded, and apparatus and method for predicting and providing process condition, using artificial intelligence - Google Patents

Apparatus and method for predicting and providing surface roughness of product to be moulded, and apparatus and method for predicting and providing process condition, using artificial intelligence Download PDF

Info

Publication number
KR102520759B1
KR102520759B1 KR1020210091131A KR20210091131A KR102520759B1 KR 102520759 B1 KR102520759 B1 KR 102520759B1 KR 1020210091131 A KR1020210091131 A KR 1020210091131A KR 20210091131 A KR20210091131 A KR 20210091131A KR 102520759 B1 KR102520759 B1 KR 102520759B1
Authority
KR
South Korea
Prior art keywords
image
surface roughness
artificial intelligence
modeling
sculpture
Prior art date
Application number
KR1020210091131A
Other languages
Korean (ko)
Other versions
KR20230010500A (en
Inventor
정임두
김태경
Original Assignee
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산과학기술원 filed Critical 울산과학기술원
Priority to KR1020210091131A priority Critical patent/KR102520759B1/en
Priority to PCT/KR2022/009213 priority patent/WO2023287066A1/en
Publication of KR20230010500A publication Critical patent/KR20230010500A/en
Application granted granted Critical
Publication of KR102520759B1 publication Critical patent/KR102520759B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30—Auxiliary operations or equipment
    • B29C64/386—Data acquisition or data processing for additive manufacturing
    • B29C64/393—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/10—Processes of additive manufacturing
    • B29C64/188—Processes of additive manufacturing involving additional operations performed on the added layers, e.g. smoothing, grinding or thickness control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00—Data acquisition or data processing for additive manufacturing
    • B33Y50/02—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture

Abstract

본 발명은 인공 지능을 이용하여, 조형물의 표면 조도를 예측하여 제공하는 장치 및 방법, 및 조형 조건을 예측하여 제공하는 장치 및 방법에 관한 것이다. 본 발명에 따른 인공 지능을 이용하여 조형물의 표면 조도를 예측하여 제공하는 장치는, 디스플레이; 상기 인공 지능을 이용하여 생성되고, 표면 조도 이미지와 조형 조건이 매칭된 매칭 정보를 저장하는 메모리; 조형물을 조형하기 위한 조형 조건을 입력하는 입력 모듈; 및 상기 매칭 정보에 기초하여, 상기 수신된 조형 조건에 의해 조형될 조형물의 예상 표면 조도 이미지를 상기 디스플레이를 통해 출력하는 프로세서를 포함할 수 있다.The present invention relates to a device and method for predicting and providing the surface roughness of a sculpture using artificial intelligence, and a device and method for predicting and providing molding conditions. An apparatus for predicting and providing surface roughness of a sculpture using artificial intelligence according to the present invention includes a display; a memory that is generated using the artificial intelligence and stores matching information in which a surface roughness image and a molding condition are matched; An input module for inputting molding conditions for modeling a sculpture; And based on the matching information, it may include a processor for outputting an expected surface roughness image of a sculpture to be shaped according to the received molding condition through the display.

Figure R1020210091131
Figure R1020210091131

Description

인공 지능을 이용하여, 조형물의 표면 조도를 예측하여 제공하는 장치 및 방법, 및 조형 조건을 예측하여 제공하는 장치 및 방법{APPARATUS AND METHOD FOR PREDICTING AND PROVIDING SURFACE ROUGHNESS OF PRODUCT TO BE MOULDED, AND APPARATUS AND METHOD FOR PREDICTING AND PROVIDING PROCESS CONDITION, USING ARTIFICIAL INTELLIGENCE}Apparatus and method for predicting and providing the surface roughness of a sculpture using artificial intelligence, and apparatus and method for predicting and providing molding conditions FOR PREDICTING AND PROVIDING PROCESS CONDITION, USING ARTIFICIAL INTELLIGENCE}

본 발명은 인공 지능을 이용하여, 조형물의 표면 조도를 예측하여 제공하는 장치 및 방법, 및 조형 조건을 예측하여 제공하는 장치 및 방법에 관한 것이다.The present invention relates to a device and method for predicting and providing the surface roughness of a sculpture using artificial intelligence, and a device and method for predicting and providing molding conditions.

최근에는 3 차원(three-dimension) 프린팅에 대한 관심이 증가하고 있다. 예를 들어, 직접 에너지 적층 방식(Directed Energy Deposition)을 이용한 3차원 프린팅에 대한 관심이 증가하고 있다. 이는 직접 에너지 적층 방식이 고품질의 부품 수리와 대형 부품 제조에 용이하기 때문이다.Recently, interest in three-dimensional (three-dimension) printing is increasing. For example, interest in 3D printing using directed energy deposition is increasing. This is because the direct energy stacking method facilitates high-quality part repair and large-scale part manufacturing.

하지만, 직접 에너지 적층 방식을 이용하여 조형된 조형물은 표면 상태(표면 조도 또는 표면 거칠기(surface roughness))가 조형 조건(process condition)에 따라 달라질 수 있다. 예를 들어, 직접 에너지 적층 방식을 통해 조형된 조형물은 표면 상태가 고르지 못할 수 있다. 이에 조형물에 대한 후처리(예: 표면 가공)가 필요하여 시간, 인력, 및/또는 비용이 낭비될 수 있다.However, the surface state (surface roughness or surface roughness) of an object molded using the direct energy deposition method may vary depending on the process condition. For example, a sculpted object formed through the direct energy deposition method may have an uneven surface state. Accordingly, post-processing (eg, surface processing) of the sculpture may be required, which may waste time, manpower, and/or cost.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 본 발명은 입력된 조형 조건에 의해 조형될 조형물의 표면 조도를 예상(예측)하여 제공할 수 있는 인공 지능을 이용하여 조형물의 표면 조도를 예측하여 제공하는 장치 및 방법을 제공하는 것을 목적으로 한다.The present invention is to solve the above-mentioned problems of the prior art, the present invention is to predict (predict) the surface roughness of the object to be molded by the input molding conditions, and use artificial intelligence that can provide it to improve the surface roughness of the object Its purpose is to provide a device and method for predicting and providing.

또한, 본 발명은 기 조형된 조형물의 학습 데이터를 기반으로 인공 지능(artificial intelligence, AI) 모델을 학습시키고, 원하는 표면 조도를 가지는 조형물을 생성할 수 있는 최적의 조형 조건을 학습된 AI 모델을 통해 예측하여 제공할 수 있는 인공 지능을 이용하여 조형 조건을 예측하여 제공하는 장치 및 방법을 제공하는 것을 목적으로 한다In addition, the present invention learns an artificial intelligence (AI) model based on the learning data of a pre-shaped sculpture, and the optimal modeling conditions capable of generating a sculpture having a desired surface roughness are learned through the AI model. An object of the present invention is to provide a device and method for predicting and providing modeling conditions using artificial intelligence that can be predicted and provided.

이와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 인공 지능을 이용하여 조형물의 표면 조도를 예측하여 제공하는 장치는, 디스플레이; 상기 인공 지능을 이용하여 생성되고, 표면 조도 이미지와 조형 조건이 매칭된 매칭 정보를 저장하는 메모리; 조형물을 조형하기 위한 조형 조건을 입력하는 입력 모듈; 및 상기 매칭 정보에 기초하여, 상기 수신된 조형 조건에 의해 조형될 조형물의 예상 표면 조도 이미지를 상기 디스플레이를 통해 출력하는 프로세서를 포함할 수 있다.An apparatus for predicting and providing surface roughness of a sculpture using artificial intelligence according to an embodiment of the present invention for achieving the above object includes a display; a memory that is generated using the artificial intelligence and stores matching information in which a surface roughness image and a molding condition are matched; An input module for inputting molding conditions for modeling a sculpture; And based on the matching information, it may include a processor for outputting an expected surface roughness image of a sculpture to be shaped according to the received molding condition through the display.

본 발명의 일 실시예에 따른 인공 지능을 이용하여 조형물의 표면 조도를 예측하여 제공하는 방법은, 입력 모듈을 통해 조형물을 조형하기 위한 조형 조건을 수신하는 단계; 및 상기 인공 지능을 이용하여 생성되어 메모리에 저장되고, 표면 조도 이미지와 조형 조건이 매칭된 매칭 정보에 기초하여, 상기 수신된 조형 조건에 의해 조형될 조형물의 예상 표면 조도 이미지를 제공하는 단계를 포함할 수 있다.A method for predicting and providing surface roughness of a sculpture using artificial intelligence according to an embodiment of the present invention includes receiving molding conditions for modeling a sculpture through an input module; and providing an expected surface roughness image of a sculpture to be molded according to the received molding condition based on matching information generated using the artificial intelligence and stored in a memory and matching the surface roughness image and the molding condition. can do.

본 발명의 일 실시예에 따른 인공 지능을 이용하여 조형 장치의 조형 조건을 예측하여 제공하는 장치는, 학습된 인공 지능 모델을 저장하는 메모리; 및 원하는 표면 조도를 가지는 기준 이미지를 획득하고, 상기 획득된 기준 이미지를 전처리 하고, 상기 인공 지능 모델을 통해 상기 전처리된 기준 이미지를 분석하여 상기 기준 이미지에 대응하는 표면 조도를 가지는 조형물을 조형하기 위한 조형 조건을 예측하여 제공하는 프로세서를 포함할 수 있다.An apparatus for predicting and providing molding conditions of a molding apparatus using artificial intelligence according to an embodiment of the present invention includes a memory for storing a learned artificial intelligence model; And obtaining a reference image having a desired surface roughness, preprocessing the acquired reference image, and analyzing the preprocessed reference image through the artificial intelligence model to form a sculpture having a surface roughness corresponding to the reference image. It may include a processor that predicts and provides molding conditions.

본 발명의 일 실시예에 따른 인공 지능을 이용하여 조형 장치의 조형 조건을 예측하여 제공하는 방법은, 원하는 표면 조도를 가지는 기준 이미지를 획득하는 단계; 이미지 처리 모듈을 통해 상기 획득된 기준 이미지를 전처리 하는 단계; 및 인공 지능 모델을 통해 상기 전처리된 기준 이미지를 분석하여, 상기 기준 이미지에 대응하는 표면 조도를 가지는 조형물을 조형하기 위한 조형 조건을 예측하여 제공하는 단계를 포함할 수 있다.A method for predicting and providing molding conditions of a molding apparatus using artificial intelligence according to an embodiment of the present invention includes obtaining a reference image having a desired surface roughness; pre-processing the obtained reference image through an image processing module; and analyzing the preprocessed reference image through an artificial intelligence model to predict and provide modeling conditions for modeling a sculpture having a surface roughness corresponding to the reference image.

이상과 같은 본 발명은 입력된 조형 조건에 의해 조형될 조형물의 표면 조도를 미리 확인할 수 있어, 조형물 제작을 위한 시간, 비용, 및/또는 인력을 절감할 수 있는 효과를 제공할 수 있다.As described above, the present invention can check the surface roughness of a sculpture to be shaped in advance according to the input molding conditions, and can provide an effect of reducing time, cost, and / or manpower for manufacturing a sculpture.

또한, 본 발명은 원하는 표면 조도(surface roughness)를 가지는 조형물을 조형하기 위한 최적의 조형 조건을 용이하게 획득(예: AI가 추천)할 수 있어, 조형 장치(예: 3 차원 프린팅 장치)를 통해 조형물을 제작하는 시간, 비용, 및/또는 인력을 절감할 수 있는 효과를 제공할 수 있다.In addition, the present invention can easily obtain (e.g., recommended by AI) optimal modeling conditions for modeling a sculpture having a desired surface roughness, through a molding device (e.g., a 3D printing device). It is possible to provide an effect of reducing time, cost, and/or manpower for manufacturing a sculpture.

도 1은 본 발명의 일 실시 예에 따른 조형물을 조형하기 위한 시스템을 도시한 도면이다.
도 2는 도 1의 제어 장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 인공 지능의 학습 동작을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 인공 지능의 학습을 위한 학습 데이터를 획득하는 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 인공 지능을 이용하여 최적의 조형 조건을 추천하는 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 인공 지능을 이용하여 최적의 조형 조건을 추천하는 방법을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시 예에 따른 예상 표면 조도 이미지를 제공하는 방법을 설명하기 위한 도면이다.1 is a diagram showing a system for modeling a sculpture according to an embodiment of the present invention.
2 is a block diagram showing the configuration of the control device of FIG. 1;
3 is a flowchart illustrating a learning operation of artificial intelligence according to an embodiment of the present invention.
4 is an exemplary diagram for explaining a method of acquiring learning data for artificial intelligence learning according to an embodiment of the present invention.
5 is a flowchart illustrating a method of recommending optimal modeling conditions using artificial intelligence according to an embodiment of the present invention.
6 is an exemplary diagram for explaining a method of recommending optimal molding conditions using artificial intelligence according to an embodiment of the present invention.
7 is a diagram for explaining a method of providing an estimated surface roughness image according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 이하에서 동일한 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various different forms, only these embodiments make the disclosure of the present invention complete, and common knowledge in the art to which the present invention belongs. It is provided to fully inform the holder of the scope of the invention, and the present invention is only defined by the scope of the claims. In the following, like reference numerals designate like elements.

비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.Although first, second, etc. are used to describe various elements, components and/or sections, it is needless to say that these elements, components and/or sections are not limited by these terms. These terms are only used to distinguish one element, component or section from another element, component or section. Accordingly, it goes without saying that the first element, first element, or first section referred to below may also be a second element, second element, or second section within the spirit of the present invention.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "이루어지다(made of)"는 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. Terminology used herein is for describing the embodiments and is not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. As used in the specification, a referenced component, step, operation and/or element to "comprises" and/or "made of" refers to one or more other components, steps, operations and/or elements. Existence or additions are not excluded.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used in a meaning commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless explicitly specifically defined.

이하, 첨부된 도면을 참조하여 본 발명의 구성에 대하여 상세히 설명한다.Hereinafter, the configuration of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 조형물을 조형하기 위한 시스템을 도시한 도면이다.1 is a diagram showing a system for modeling a sculpture according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 시스템은 조형 장치(100) 및 제어 장치(200)를 포함할 수 있다.Referring to FIG. 1 , a system according to an embodiment of the present invention may include a molding device 100 and a control device 200 .

조형 장치(100)는 조형물을 조형할 수 있다. 예를 들어, 조형 장치(100)는 3 차원 프린팅 장치일 수 있다. 이하에서는, 조형 장치(100)가 직접 에너지 적층(directed energy deposition) 방식의 3차원 프린팅 장치인 것을 예로 하여 설명하기로 한다.The molding device 100 may mold a sculpture. For example, the molding device 100 may be a 3D printing device. Hereinafter, a case where the molding apparatus 100 is a 3D printing apparatus using a direct energy deposition method will be described as an example.

조형 장치(100)는 설정된 조형 조건(process condition)에 따라 조형물을 조형할 수 있다. 상기 조형 조건은 레이저의 파워(세기), 분말 공급 속도 및 스캔 속도를 포함할 수 있다. 조형 장치(100)는 노즐을 설정된 속도로 지정된 패턴을 따라 이동시키며, 분말(예: Ti-6Al-4V 합금 파우더)을 설정된 분말 공급 속도로 방출하고, 설정된 파워의 레이저에 의해 방출된 분말들이 결합(예: 적층 방식으로 증착)되도록 할 수 있다.The molding device 100 may mold a sculpture according to a set molding condition (process condition). The molding conditions may include laser power (intensity), powder supply speed, and scan speed. The molding apparatus 100 moves the nozzle along a designated pattern at a set speed, discharges powder (eg, Ti-6Al-4V alloy powder) at a set powder supply speed, and combines the powders emitted by the laser with the set power. (e.g. deposited in a layered manner).

제어 장치(200)는 조형 장치(100)에 유선 또는 무선으로 연결되어 조형 장치(100)를 제어할 수 있다. 예를 들어, 제어 장치(200)는 조형 장치(100)에 유선 또는 무선으로 연결될 수 있는 데스크 탑 PC 또는 렙탑 PC일 수 있다. 다른 예로, 제어 장치(200)는 서버일 수 있다. 또 다른 예로, 제어 장치(200)는 조형 장치(100)에 포함될 수 있다.The control device 200 may be wired or wirelessly connected to the molding device 100 to control the molding device 100 . For example, the control device 200 may be a desktop PC or laptop PC that can be connected to the molding device 100 by wire or wirelessly. As another example, the control device 200 may be a server. As another example, the control device 200 may be included in the molding device 100 .

제어 장치(200)는 기제작된 조형물과 관련된 학습 데이터(학습 이미지 및 조형 조건을 포함)를 기반으로 훈련(training) 및 학습(learning)하고, 사용자가 원하는 표면 조도를 가지는 조형물을 조형하기 위한 최적의 조형 조건을 예측하여 제공하는 인공 지능(artificial intelligence, AI) 모델을 포함할 수 있다. 이에 대한 상세한 설명은 도 3 내지 도 6을 참조하여 후술하기로 한다.The control device 200 trains and learns based on learning data (including a learning image and modeling conditions) related to a prefabricated object, and optimizes the object for modeling a object having a surface roughness desired by the user. It may include an artificial intelligence (AI) model that predicts and provides molding conditions of A detailed description thereof will be described later with reference to FIGS. 3 to 6 .

또한, 제어 장치(200)는 조형 조건이 입력되면, 입력된 조형 조건에 의해 조형될 조형물의 표면 조도를 예측하여 제공할 수 있다. 이에 대한 상세한 설명은 도 8을 참조하여 후술하기로 한다.Also, when molding conditions are input, the control device 200 may predict and provide the surface roughness of the object to be molded according to the input molding conditions. A detailed description thereof will be described later with reference to FIG. 8 .

도 2는 도 1의 제어 장치의 구성을 도시한 블록도이다.2 is a block diagram showing the configuration of the control device of FIG. 1;

도 2를 참조하면, 제어 장치(200)는 프로세서(210), 메모리(220), 디스플레이(230), 입력 모듈(240), 및 스캔 모듈(250)을 포함할 수 있다. 메모리(220)는 이미지 처리 모듈(221), 제1 AI 모델(223) 및 제2 AI 모델(225)을 포함할 수 있다.Referring to FIG. 2 , the control device 200 may include a processor 210, a memory 220, a display 230, an input module 240, and a scan module 250. The memory 220 may include an image processing module 221 , a first AI model 223 and a second AI model 225 .

프로세서(210)는 메모리(220)로부터 명령(command) 또는 인스트럭션들(instructions)을 수신하고, 수신된 명령 또는 인스트럭션들에 따라 각 구성 요소들을 제어하여, 다양한 기능들을 수행할 수 있다. 본 발명에 따른 프로세서(210)는 AI 모델을 통해 원하는 표면 조도를 가지는 조형물을 조형할 수 있는 최적의 조형 조건을 제공하는 절차 및 조형 조건에 따라 조형될 조형물의 표면 조도를 예측하여 제공하는 절차를 제어할 수 있다. 각 절차를 제어하는 프로세서(210)에 대한 상세한 설명은 도 5 내지 7을 참조하여 후술하기로 한다.The processor 210 may perform various functions by receiving commands or instructions from the memory 220 and controlling each component according to the received commands or instructions. The processor 210 according to the present invention provides a procedure for providing optimal modeling conditions for modeling a sculpture having a desired surface roughness through an AI model and a procedure for predicting and providing the surface roughness of a sculpture to be shaped according to the modeling conditions. You can control it. A detailed description of the processor 210 controlling each procedure will be described later with reference to FIGS. 5 to 7 .

프로세서(210)는 중앙 처리 장치(central processing unit: CPU), 마이크로 컨트롤 유닛(micro control unit: MCU), 마이크로 프로세서 유닛(micro processor unit: MPU) 등으로 형성될 수 있다.The processor 210 may be formed of a central processing unit (CPU), a micro control unit (MCU), a micro processor unit (MPU), or the like.

메모리(220)는 프로세서(210)와 전기적으로 연결될 수 있고, 메모리(220)는 제어 장치(200)를 동작시키기 위한 다양한 프로그램들, 및 프로세서(210)를 동작시키기 위한 다양한 명령 및/또는 인스트럭션들을 저장할 수 있다. 메모리(220)는 내장 메모리 또는 외장 메모리 중 적어도 어느 하나를 포함할 수 있다. 상기 내장 메모리는 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다. 상기 외장 메모리는 다양한 인터페이스를 통하여 제어 장치(200)와 연결될 수 있는 SD(secure digital), Micro-SD, Mini-SD, 또는 USB(universal serial bus) 메모리 등을 포함할 수 있다.The memory 220 may be electrically connected to the processor 210, and the memory 220 contains various programs for operating the control device 200 and various commands and/or instructions for operating the processor 210. can be saved The memory 220 may include at least one of an internal memory and an external memory. The built-in memory includes volatile memory (eg, DRAM, SRAM, SDRAM, etc.), non-volatile memory (eg, OTPROM (one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, flash memory, hard drive, Or it may include at least one of a solid state drive (SSD) The external memory may include SD (secure digital), Micro-SD, Mini-SD, or USB (secure digital) that may be connected to the control device 200 through various interfaces. universal serial bus) memory, etc.

메모리(220)는 이미지 처리 모듈(221), 제1 AI 모델(223), 및 제2 AI 모델(225)을 포함할 수 있다.The memory 220 may include an image processing module 221 , a first AI model 223 , and a second AI model 225 .

이미지 처리 모듈(221)은 제1 AI 모델(223)의 학습을 위한 학습 이미지 및 조형 조건을 예측하기 위한 목표 이미지에 대한 이미지 처리를 지원할 수 있다. 또한, 이미지 처리 모듈(221)은 데이터 증대(data augmentation) 기능을 지원할 수 있다. 도 2에서는 이미지 처리 모듈(221)이 메모리(220)에 저장된 소프트웨어 모듈인 것으로 도시하였다. 하지만, 다른 예에 따르면, 이미지 처리 모듈(221)은 프로세서(210)에 포함되는 하드에어 모듈 또는 별도의 구성으로 제어 장치에 포함되는 하드웨어 모듈일 수 있다.The image processing module 221 may support image processing of a target image for predicting a learning image for learning of the first AI model 223 and a modeling condition. Also, the image processing module 221 may support a data augmentation function. 2 shows that the image processing module 221 is a software module stored in the memory 220 . However, according to another example, the image processing module 221 may be a hardware module included in the processor 210 or a hardware module included in the control device as a separate component.

제1 AI 모델(223)은 사용자가 원하는 표면 조도를 가지는 조형물을 조형하기 위한 최적의 조형 조건을 예측하여 제공할 수 있다. 이를 위하여, 제1 AI 모델(223)은 기제작된 조형물들과 관련된 학습 데이터를 기반으로 훈련(training) 및 학습(learning)을 수행할 수 있다. 학습 데이터는 조형물을 스캔한 스캔 이미지(이하, 학습 이미지) 및 해당 조형물을 조형한 조형 조건을 포함할 수 있다.The first AI model 223 may predict and provide optimal modeling conditions for modeling a sculpture having a surface roughness desired by the user. To this end, the first AI model 223 may perform training and learning based on learning data related to prefabricated sculptures. The learning data may include a scanned image of a sculpture (hereinafter referred to as a learning image) and modeling conditions for modeling the object.

제1 AI 모델(223)은 딥 합성곱 신경망(deep convolution neural network)일 수 있다. 하지만, 본 발명은 제1 AI 모델(223)이 딥 합성곱 신경망인 것으로 한정되지 않고, 알려진 다양한 인공 지능 기술이 이용될 수 있다.The first AI model 223 may be a deep convolution neural network. However, the present invention is not limited to the first AI model 223 being a deep convolutional neural network, and various known artificial intelligence techniques may be used.

제2 AI 모델(225)은 지정된 기준 이미지(이하, 실제 이미지)와 유사한 가상의 이미지를 생성할 수 있다. 예를 들어, 제2 AI 모델(225)은 이미지 처리 모듈(221)에 의해 증대된 이미지들을 기준으로 가상의 표면 조도 이미지를 생성할 수 있다. 제2 AI 모델(225)은 GAN(generative adversarial networks) 또는 DCGAN(deep convolution generative adversarial networks)일 수 있다. 하지만, 본 발명은 제2 AI 모델(225)이 GAN 또는 DCGAN인 것으로 한정되지 않고, 알려진 다양한 인공 지능 기술이 이용될 수 있다.The second AI model 225 may generate a virtual image similar to a designated reference image (hereinafter referred to as a real image). For example, the second AI model 225 may generate a virtual surface roughness image based on images augmented by the image processing module 221 . The second AI model 225 may be generative adversarial networks (GAN) or deep convolution generative adversarial networks (DCGAN). However, the present invention is not limited to that the second AI model 225 is GAN or DCGAN, and various known artificial intelligence techniques may be used.

제2 AI 모델(225)에 의해 생성된 가상의 표면 조도 이미지들은 제1 AI 모델(223)에 입력되어 조형 조건이 예측될 수 있다. 예측된 조형 조건은 해당 가상 표면 조도 이미지와 매칭되어 저장(예: 매칭 정보로 저장)될 수 있다. 또는, 예측된 조형 조건은 해당 가상 표면 조도 이미지에 표기(labeled)될 수 있다.Virtual surface roughness images generated by the second AI model 225 may be input to the first AI model 223 to predict modeling conditions. The predicted modeling condition may be matched with a corresponding virtual surface roughness image and stored (eg, stored as matching information). Alternatively, the predicted molding condition may be labeled on the corresponding virtual surface roughness image.

디스플레이(230)는 입력 기능 및/또는 출력 기능을 제공할 수 있다. 예를 들어, 디스플레이(230)는 터치 패널 및/또는 표시 패널을 포함할 수 있다. 디스플레이(230)는 제1 AI 모델(223)에 의해 예측된 최적의 조형 조건을 표시할 수 있다. 또한, 디스플레이(230)는 입력된 조형 조건에 따라 조형될 조형물의 예상 표면 조도 이미지를 표시할 수 있다.The display 230 may provide an input function and/or an output function. For example, the display 230 may include a touch panel and/or a display panel. The display 230 may display an optimal modeling condition predicted by the first AI model 223 . Also, the display 230 may display an expected surface roughness image of an object to be modeled according to input modeling conditions.

입력 모듈(240)은 물리적인 버튼, 광학식 키, 키패드, 마우스, 또는 터치 패드 등을 포함할 수 있다. 입력 모듈(240)은 조형 조건을 입력하는 사용자 입력을 수신할 수 있다. 입력 모듈(240)이 터치 패널로 형성되는 경우 입력 모듈(240)은 디스플레이(230)와 일체형으로 형성될 수 있다.The input module 240 may include a physical button, an optical key, a keypad, a mouse, or a touch pad. The input module 240 may receive a user input for inputting molding conditions. When the input module 240 is formed as a touch panel, the input module 240 may be integrally formed with the display 230 .

스캔 모듈(250)은 조형물을 스캔할 수 있다. 스캔 모듈(250)은 조형물을 스캔하여 표면 조도 이미지(이하, 스캔 이미지)를 생성할 수 있다. 스캔 이미지는 제1 AI 모델(223)의 학습을 위한 학습 데이터로 이용되거나, 제2 AI 모델(225)이 가사의 표면 조도 이미지를 생성하는 기준 이미지로 이용될 수 있다. 한편, 스캔 모듈(250)은 제어 장치(200)에 포함되지 않고, 조형 장치(100)에 포함되거나, 별도의 구성일 수 있다.The scan module 250 may scan the sculpture. The scan module 250 may generate a surface roughness image (hereinafter referred to as a scan image) by scanning the sculpture. The scanned image may be used as training data for learning of the first AI model 223 or may be used as a reference image for the second AI model 225 to generate a surface roughness image of lyrics. Meanwhile, the scan module 250 may not be included in the control device 200 but may be included in the molding device 100 or may be a separate component.

도 3은 본 발명의 일 실시 예에 따른 인공 지능의 학습 동작을 설명하기 위한 흐름도이고, 도 4는 본 발명의 일 실시 예에 따른 인공 지능의 학습을 위한 학습 데이터를 획득하는 방법을 설명하기 위한 예시도이다.3 is a flowchart for explaining a learning operation of artificial intelligence according to an embodiment of the present invention, and FIG. 4 is a flowchart for explaining a method of acquiring learning data for learning of artificial intelligence according to an embodiment of the present invention. is an example

도 3 및 도 4를 참조하면, 본 발명의 일 실시 예에 따른 제어 장치(200)(예: 프로세서(210))는 학습 데이터를 획득할 수 있다(S301). 학습 데이터는 조형 장치(100)를 통해 기 조형된 조형물(410)을 2차원 또는 3차원으로 스캔한 학습 이미지(421, 423) 및 해당 조형물(410)을 조형한 조형 조건을 포함할 수 있다. 이하에서는, 2차원으로 스캔한 학습 이미지(421)을 이용하여 설명하기로 한다.Referring to FIGS. 3 and 4 , the control device 200 (eg, the processor 210) according to an embodiment of the present invention may acquire learning data (S301). The learning data may include learning images 421 and 423 obtained by scanning the sculpture 410 pre-shaped through the modeling device 100 in 2D or 3D and modeling conditions for modeling the corresponding sculpture 410. Hereinafter, description will be made using the training image 421 scanned in two dimensions.

제어 장치(200)는 학습 이미지(421)를 전처리할 수 있다(S303). 예를 들어, 제어 장치(200)는, 도 4의 식별 부호 430에 도시된 바와 같이, 학습 이미지(421)의 여백을 잘라내고, 도 4의 식별 부호 440에 도시된 바와 같이, 지정된 크기(예: 128*128)로 리사이징(resizing)할 수 있다.The control device 200 may pre-process the training image 421 (S303). For example, the control device 200, as shown in the identification code 430 of FIG. 4, cuts out the blank of the training image 421, and as shown in the identification code 440 of FIG. 4, the specified size (eg : 128*128) can be resized.

제어 장치(200)는, 전처리된 학습 이미지를 증대(data augmentation)할 수 있다(S305). 예를 들어, 제어 장치(200)는, 도 4의 식별 부호 450에 도시된 바와 같이, 리사이징된 이미지를 지정된 각도(예: 90도, 180도, 207도)만큼 회전(451, 453, 455), 좌우 반전(457) 또는 상하 반전(459)하여 새로운 학습 이미지들을 생성할 수 있다. 한편, S305 단계는 과적합 발생을 방지하기 위한 것으로, 학습 데이터가 충분한 경우 생략될 수 있다. 도시하지는 않았지만, 제어 장치(200)는 학습 이미지의 RGB 값을 0과 1 사이의 값으로 조정하는 정규화(normalization)를 수행할 수 있다.The control device 200 may augment the preprocessed training image (data augmentation) (S305). For example, the control device 200 rotates (451, 453, 455) the resized image by a specified angle (eg, 90 degrees, 180 degrees, 207 degrees), as shown by the identification numeral 450 in FIG. 4 . , it is possible to generate new learning images by horizontally inverting (457) or vertically inverting (459). Meanwhile, step S305 is for preventing overfitting, and may be omitted if training data is sufficient. Although not shown, the control device 200 may perform normalization to adjust the RGB values of the training image to a value between 0 and 1.

제어 장치(200)는 학습 이미지를 이용하여 제1 AI 모델(223)의 학습을 수행할 수 있다(S307). 제1 AI 모델(223)은 딥 합성곱 신경망(deep convolution neural network)을 포함할 수 있다. 하지만, 본 발명은 제1 AI 모델(223)이 딥 합성곱 신경망인 것으로 한정되지 않고, 알려진 다양한 인공 지능 기술이 이용될 수 있다.The control device 200 may perform learning of the first AI model 223 using the learning image (S307). The first AI model 223 may include a deep convolution neural network. However, the present invention is not limited to the first AI model 223 being a deep convolutional neural network, and various known artificial intelligence techniques may be used.

도 5는 본 발명의 일 실시 예에 따른 인공 지능을 이용하여 최적의 조형 조건을 추천하는 방법을 설명하기 위한 흐름도이고, 도 6은 본 발명의 일 실시예에 따른 인공 지능을 이용하여 최적의 조형 조건을 추천하는 방법을 설명하기 위한 예시도이다.5 is a flowchart illustrating a method of recommending optimal modeling conditions using artificial intelligence according to an embodiment of the present invention, and FIG. 6 is an optimal modeling condition using artificial intelligence according to an embodiment of the present invention. It is an exemplary diagram for explaining a method of recommending a condition.

도 5 및 도 6을 참조하면, 제어 장치(200)는 기준 이미지(610)를 수신할 수 있다(S501). 기준 이미지(610)는 사용자가 원하는 표면 조도를 가지는 조형물을 스캔한 이미지일 수 있다.Referring to FIGS. 5 and 6 , the control device 200 may receive a reference image 610 (S501). The reference image 610 may be a scanned image of a sculpture having a surface roughness desired by the user.

제어 장치(200)는 기준 이미지(601)를 전처리할 수 있다(S503). 예를 들어, 제어 장치(200)는, 도 6의 603에 도시된 바와 같이, 용량 감소 및 효율 향상을 위하여 기준 이미지(610)를 리스케일(rescale)할 수 있다.The control device 200 may pre-process the reference image 601 (S503). For example, as shown in 603 of FIG. 6 , the control device 200 may rescale the reference image 610 to reduce capacity and improve efficiency.

제어 장치(200)는 전처리된 기준 이미지를 분석할 수 있다(S505). 예를 들어, 제어 장치(200)는, 도 6의 605에 도시된 바와 같이, 기준 이미지(610)에 대응하는 표면 조도를 가지는 조형물을 조형하기 위한 최적의 조형 조건을 예측하기 위해 AI 모델(예: 제1 AI 모델(223))을 통해 전처리된 기준 이미지를 분석할 수 있다. AI 모델은 식별 부호 605에 도시된 바와 같이, 딥 합성곱 신경망(DCNN)일 수 있다. 딥 합성곱 신경망은 1개의 입력 층과 출력 층, 및 4개의 은닉 층으로 구성될 수 있다. 은닉층의 활성화 함수는 Relu, 출력층의 활성화 함수는 sigmoid를 포함할 수 있다. 한편, 식별 부호 605의 딥 합성곱 신경망의 구조는 일 예일 뿐, 본 발명을 한정하지는 않는다.The control device 200 may analyze the preprocessed reference image (S505). For example, as shown in 605 of FIG. 6 , the control device 200 uses an AI model (e.g., : The reference image preprocessed through the first AI model 223) may be analyzed. The AI model may be a deep convolutional neural network (DCNN), as shown at identification 605 . A deep convolutional neural network may consist of one input layer, one output layer, and four hidden layers. The activation function of the hidden layer may include Relu, and the activation function of the output layer may include sigmoid. Meanwhile, the structure of the deep convolutional neural network of identification code 605 is only an example and does not limit the present invention.

제어 장치(200)는 예측된 최적의 조형 조건을 제공할 수 있다(S507). 예를 들어, 제어 장치(200)는, 식별 부호 607에 도시된 바와 같이, 예측된 최적의 조형 조건을 디스플레이(230) 상에 출력할 수 있다.The control device 200 may provide predicted optimal molding conditions (S507). For example, the control device 200 may output the predicted optimal molding condition on the display 230 as indicated by identification code 607 .

한편, 제어 장치(200)는 산출된 조형 조건을 자동 또는 수동(예: 사용자의 요청)으로 조형 장치(100)로 전송하여 조형 장치(100)가 해당 조형 조건에 따라 조형물을 조형하도록 할 수 있다.Meanwhile, the control device 200 automatically or manually (eg, a user's request) transmits the calculated modeling conditions to the modeling device 100 so that the modeling device 100 can mold a sculpture according to the corresponding modeling conditions. .

한편, 기 학습된 제1 AI 모델을 통해 학습 이미지 셋(trained set)과 비학습 이미지 셋(test set)의 조형 조건을 예측하여 제1 AI 모델의 성능을 평가한 결과, 조형 조건을 예측한 예측 데이터(predicted data)와 실제 조형 조건을 나타내는 오리지널 데이터(original data)가 유사하였다. 상세하게는, 식별 부호 611에 도시된 평가 결과를 참조하면, 평가된 전체 학습 이미지에 대한 레이저 파워의 평균절대비율오차(mean absolute percentage error: MAPE)는 3.28 %이고, 분말 공급 속도의 평균절대비율오차는 5.11 %이고, 진행 속도의 평균절대비율오차는 1.89 %임을 알 수 있다. 또한, 식별 부호 613에 도시된 평가 결과를 참조하면, 평가된 전체 비학습 이미지에 대한 레이저 파워의 평균절대비율오차는 7.81 %이고, 분말 공급 속도의 평균절대비율오차는 11,77 %이고, 진행 속도의 평균절대비율오차는 4.30 %임을 알 수 있다. 이는 일 예일 뿐, 제1 AI 모델이 더 많은 수의 학습 이미지를 통해 학습하면, 더 정확한 예측이 가능할 것이다. 비학습 이미지에 대한 예측 결과 역시 더욱 정확해질 것이다.On the other hand, as a result of evaluating the performance of the first AI model by predicting the modeling conditions of the trained image set and the non-learning image set (test set) through the pre-learned first AI model, the prediction that predicted the modeling condition Predicted data and original data representing actual molding conditions were similar. In detail, referring to the evaluation result shown by identification code 611, the mean absolute percentage error (MAPE) of the laser power for all the evaluated training images is 3.28%, and the mean absolute percentage error of the powder supply speed is 3.28%. It can be seen that the error is 5.11% and the mean absolute error of the progress rate is 1.89%. In addition, referring to the evaluation result shown by identification code 613, the average absolute ratio error of the laser power for the entire non-learning image evaluated is 7.81%, the average absolute ratio error of the powder supply speed is 11.77%, and the progress It can be seen that the average absolute percentage error of the speed is 4.30%. This is just an example, and more accurate prediction will be possible if the first AI model learns through a larger number of training images. Prediction results for non-learning images will also become more accurate.

도 7은 본 발명의 일 실시 예에 따른 예상 표면 조도 이미지를 제공하는 방법을 설명하기 위한 도면이다.7 is a diagram for explaining a method of providing an estimated surface roughness image according to an embodiment of the present invention.

먼저, 본 발명의 일 실시 예에 따른 제어 장치는 가상의 이미지를 생성하는 제2 AI 모델을 더 포함할 수 있다.First, the control device according to an embodiment of the present invention may further include a second AI model generating a virtual image.

도 7을 참조하면, 본 발명의 일 실시 예에 따른 제어 장치는 조형물을 스캔하고, 스캔 이미지를 전처리(S701)할 수 있다. 제어 장치는 전처리된 이미지들을 회전 또는 반전하여 데이터 증대를 수행(S703)할 수 있다. 데이터 증대된 이미지들은 제2 AI 모델(720)로 입력될 수 있다. 제2 AI 모델(720)은 가짜 이미지를 생성하는 생성기(721) 및 생성된 가짜 이미지를 판별하는 판별기(722)를 포함할 수 있다.Referring to FIG. 7 , the control device according to an embodiment of the present invention may scan a sculpture and pre-process the scanned image (S701). The control device may perform data augmentation by rotating or inverting the preprocessed images (S703). Data augmented images may be input to the second AI model 720 . The second AI model 720 may include a generator 721 that generates a fake image and a discriminator 722 that determines the generated fake image.

제2 AI 모델(720)은 데이터 증대된 이미지들에 기초하여 가상 표면 조도 이미지들을 생성할 수 있다(S705). 생성된 가상 표면 조도 이미지들은 채도(saturation) 및 밝기(brightness)가 조절될 수 있다(S707).The second AI model 720 may generate virtual surface roughness images based on the data augmented images (S705). The generated virtual surface roughness images may have saturation and brightness adjusted (S707).

제2 AI 모델(720)에 의해 생성된 가상의 표면 조도 이미지들은 제1 AI 모델(710)로 입력되어, 조형 조건이 각각 예측될 수 있다(S709). 예측된 조형 조건은 가상의 표면 조도 이미지와 각각 매칭되어 저장될 수 있다. 이를 통해 본 발명의 제어 장치는 다양한 조형 조건과 표면 조도 이미지가 매칭된 매칭 정보(예: 데이터베이스 또는 매칭 테이블)를 확보(예: 메모리에 저장)할 수 있다.The virtual surface roughness images generated by the second AI model 720 are input to the first AI model 710, and modeling conditions may be respectively predicted (S709). The predicted modeling conditions may be matched with virtual surface roughness images and stored. Through this, the control device of the present invention can secure (eg, store in memory) matching information (eg, a database or matching table) in which various molding conditions and surface roughness images are matched.

상술한 본 발명의 일 실시 예에 따른 제어 장치(예: 제어 장치의 프로세서)는 입력 모듈을 통해 조형 조건이 입력되면, 매칭 정보를 이용하여 해당 조형 조건과 매치되는 표면 조도 이미지(예상 표면 조도 이미지)를 제공할 수 있다. 예를 들어, 제어 장치는 매칭 정보로부터 상기 입력된 조형 조건에 매칭된 표면 조도 이미지를 추출하고, 추출된 표면 조도 이미지를 디스플레이 상에 출력할 수 있다. 이를 통해, 사용자는 조형 장치를 통해 조형물을 조형하지 않더라도 조형될 조형물의 표면 조도를 미리 확인할 수 있다.When molding conditions are input through the input module, the control device (eg, the processor of the control device) according to an embodiment of the present invention described above uses matching information to match the surface roughness image (expected surface roughness image) with the molding condition. ) can be provided. For example, the control device may extract a surface roughness image matching the input modeling condition from matching information, and output the extracted surface roughness image on a display. Through this, the user can check the surface roughness of the object to be modeled in advance without modeling the object through the modeling device.

이상과 같이 본 발명의 도시된 실시 예를 참고하여 설명하고 있으나, 이는 예시적인 것들에 불과하며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 본 발명의 요지 및 범위에 벗어나지 않으면서도 다양한 변형, 변경 및 균등한 다양한 타 실시 예들이 가능하다는 것을 명백하게 알 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적인 사상에 의해 정해져야 할 것이다.Although the above has been described with reference to the illustrated embodiments of the present invention, these are only examples, and those skilled in the art to which the present invention belongs can variously It will be apparent that various other embodiments that are variations, modifications and equivalents are possible. Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

100: 조형 장치 200: 제어 장치
210: 프로세서 220: 메모리
221: 이미지 처리 모듈 222: 제1 AI 모델
223: 제2 AI 모델 230: 디스플레이
240: 입력 모듈 250: 스캔 모듈100: molding device 200: control device
210: processor 220: memory
221: image processing module 222: first AI model
223: second AI model 230: display
240: input module 250: scan module

Claims (13)

인공 지능을 이용하여 조형물의 표면 조도를 예측하여 제공하는 장치에 있어서,
디스플레이;
상기 인공 지능을 이용하여 생성되고, 표면 조도 이미지와 조형 조건이 매칭된 매칭 정보를 저장하는 메모리;
조형물을 조형하기 위한 조형 조건을 입력하는 입력 모듈; 및
상기 매칭 정보에 기초하여, 상기 입력된 조형 조건에 의해 조형될 조형물의 예상 표면 조도 이미지를 상기 디스플레이를 통해 출력하는 프로세서를 포함하고,
상기 프로세서는
적어도 하나의 학습 이미지를 전처리 하고,
상기 전처리된 학습 이미지를 회전 또는 플립하여 데이터 증대(data augmentation)를 수행하고,
제2 인공 지능 모델을 통해, 상기 증대된 학습 이미지들을 기초로, 가상의 표면 조도 이미지를 생성하고,
상기 제2 인공 지능 모델과 상이한 제1 인공 지능 모델을 통해, 상기 생성된 가상의 표면 조도 이미지를 분석하여 상기 생성된 가상의 표면 조도 이미지에 대응하는 조형물을 조형하기 위한 조형 조건을 예측하고, 및
상기 가상의 표면 조도 이미지와 상기 예측된 조형 조건을 매칭하여 상기 매칭 정보로 저장하는 것을 특징으로 하는 장치.
In the apparatus for predicting and providing the surface roughness of a sculpture using artificial intelligence,
display;
a memory that is generated using the artificial intelligence and stores matching information in which a surface roughness image and a molding condition are matched;
An input module for inputting molding conditions for modeling a sculpture; and
Based on the matching information, a processor for outputting an expected surface roughness image of a sculpture to be shaped by the input molding condition through the display,
The processor
preprocessing at least one training image;
Rotate or flip the preprocessed training image to perform data augmentation,
Through a second artificial intelligence model, based on the augmented learning images, a virtual surface roughness image is generated,
Analyzing the generated virtual surface roughness image through a first artificial intelligence model different from the second artificial intelligence model to predict molding conditions for modeling a sculpture corresponding to the generated virtual surface roughness image, and
The apparatus characterized in that the virtual surface roughness image and the predicted modeling conditions are matched and stored as the matching information.
 삭제delete 인공 지능을 이용하여 조형물의 표면 조도를 예측하여 제공하는 방법에 있어서,
적어도 하나의 학습 이미지를 전처리 하는 단계;
상기 전처리된 학습 이미지를 회전 또는 플립하여 데이터 증대(data augmentation)를 수행하는 단계;
제2 인공 지능 모델을 통해, 상기 증대된 학습 이미지들을 기초로, 가상의 표면 조도 이미지를 생성하는 단계;
제1 인공 지능 모델을 통해, 상기 생성된 가상의 표면 조도 이미지를 분석하여 상기 생성된 가상의 표면 조도 이미지에 대응하는 조형물을 조형하기 위한 조형 조건을 예측하는 단계;
상기 가상의 표면 조도 이미지와 상기 예측된 조형 조건을 매칭하여 매칭 정보로 저장하는 단계;
입력 모듈을 통해 조형물을 조형하기 위한 조형 조건을 수신하는 단계; 및
상기 매칭 정보에 기초하여, 상기 수신된 조형 조건에 의해 조형될 조형물의 예상 표면 조도 이미지를 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
In the method of predicting and providing the surface roughness of a sculpture using artificial intelligence,
pre-processing at least one training image;
Rotating or flipping the preprocessed training image to perform data augmentation;
generating a virtual surface roughness image based on the augmented learning images through a second artificial intelligence model;
Predicting modeling conditions for modeling a sculpture corresponding to the generated virtual surface roughness image by analyzing the generated virtual surface roughness image through a first artificial intelligence model;
matching the virtual surface roughness image with the predicted modeling condition and storing the matching information;
Receiving modeling conditions for modeling a sculpture through an input module; and
And based on the matching information, providing an expected surface roughness image of a sculpture to be shaped by the received molding condition.
 삭제delete 인공 지능을 이용하여 조형 장치의 조형 조건을 예측하여 제공하는 장치에 있어서,
학습된 제1 인공 지능 모델 및 제2 인공 지능 모델을 저장하는 메모리; 및
원하는 표면 조도를 가지는 기준 이미지를 획득하고, 상기 획득된 기준 이미지를 전처리 하고, 상기 제1 인공 지능 모델을 통해 상기 전처리된 기준 이미지를 분석하여 상기 기준 이미지에 대응하는 표면 조도를 가지는 조형물을 조형하기 위한 조형 조건을 예측하여 제공하는 프로세서를 포함하고,
상기 프로세서는
적어도 하나의 학습 이미지를 전처리 하고,
상기 전처리된 학습 이미지를 회전 또는 플립하여 데이터 증대(data augmentation)를 수행하고,
상기 제2 인공 지능 모델을 통해, 상기 증대된 학습 이미지들을 기초로, 가상의 표면 조도 이미지를 생성하고,
상기 제1 인공 지능 모델을 통해, 상기 생성된 가상의 표면 조도 이미지를 분석하여 상기 생성된 가상의 표면 조도 이미지에 대응하는 조형물을 조형하기 위한 조형 조건을 예측하고, 및
상기 가상의 표면 조도 이미지와 상기 예측된 조형 조건을 기초로 상기 제1 인공 지능 모델의 학습을 수행하는 것을 특징으로 하는 장치.
A device for predicting and providing molding conditions of a molding device using artificial intelligence,
a memory for storing the learned first artificial intelligence model and the second artificial intelligence model; and
Obtaining a reference image having a desired surface roughness, preprocessing the acquired reference image, and analyzing the preprocessed reference image through the first artificial intelligence model to form a sculpture having a surface roughness corresponding to the reference image Including a processor that predicts and provides modeling conditions for
The processor
preprocessing at least one training image;
Rotate or flip the preprocessed training image to perform data augmentation,
Through the second artificial intelligence model, based on the augmented learning images, a virtual surface roughness image is generated,
Analyzing the generated virtual surface roughness image through the first artificial intelligence model to predict molding conditions for modeling a sculpture corresponding to the generated virtual surface roughness image, and
and performing learning of the first artificial intelligence model based on the virtual surface roughness image and the predicted modeling condition.
 제 5 항에 있어서,
상기 프로세서는
상기 기준 이미지를 리스케일(rescale)하여 상기 전처리를 수행하는 것을 특징으로 하는 장치.
According to claim 5,
The processor
and performing the preprocessing by rescaling the reference image.
 제 5 항에 있어서,
상기 조형 조건을 출력하는 디스플레이를 더 포함하는 것을 특징으로 하는 장치.
According to claim 5,
The device further comprising a display outputting the molding conditions.
 제 5 항에 있어서,
상기 제1 인공 지능 모델은
딥 합성곱 신경망(deep convolution neural network)를 포함하고,
상기 제2 인공 지능 모델은
DCGAN(deep convolution generative adversarial networks)을 포함하는 것을 특징으로 하는 장치.
According to claim 5,
The first artificial intelligence model is
Including a deep convolution neural network,
The second artificial intelligence model is
An apparatus comprising a deep convolution generative adversarial networks (DCGAN).
 제 5 항에 있어서,
상기 프로세서는
실제 조형물에 대한 조형 조건 및 학습 이미지를 포함하는 학습 데이터를 획득하고,
상기 학습 이미지를 지정된 방식으로 전처리 하고,
상기 전처리된 학습 이미지를 회전 또는 플립하여 데이터 증대를 수행하고,
상기 데이터 증대된 학습 이미지 및 상기 실제 조형물에 대한 조형 조건을 통해 상기 제1 인공 지능 모델의 학습을 수행하는 것을 특징으로 하는 장치.
According to claim 5,
The processor
Acquiring learning data including modeling conditions and learning images for actual sculptures,
Pre-processing the training image in a designated manner,
Rotate or flip the preprocessed training image to perform data augmentation,
Device characterized in that for performing the learning of the first artificial intelligence model through the data augmented learning image and modeling conditions for the actual sculpture.
 제 5 항에 있어서,
상기 조형 장치는 직접 에너지 적층(directed energy deposition) 방식의 3차원 프린팅 장치이고,
상기 조형 조건은 상기 3차원 프린팅 장치의 레이저 파워, 분말 공급 속도 및 스캔 속도를 포함하는 것을 특징으로 하는 장치.
According to claim 5,
The molding device is a 3D printing device of a directed energy deposition method,
The molding conditions include laser power, powder supply speed, and scan speed of the three-dimensional printing device.
 인공 지능을 이용하여 조형 장치의 조형 조건을 예측하여 제공하는 방법에 있어서,
적어도 하나의 학습 이미지를 전처리 하는 단계;
상기 전처리된 학습 이미지를 회전 또는 플립하여 데이터 증대(data augmentation)를 수행하는 단계;
제2 인공 지능 모델을 통해, 상기 증대된 학습 이미지들을 기초로, 가상의 표면 조도 이미지를 생성하는 단계;
상기 제2 인공 지능 모델과 상이한 제1 인공 지능 모델을 통해, 상기 생성된 가상의 표면 조도 이미지를 분석하여 상기 생성된 가상의 표면 조도 이미지에 대응하는 조형물을 조형하기 위한 조형 조건을 예측하는 단계;
상기 가상의 표면 조도 이미지와 상기 예측된 조형 조건을 기초로 상기 제1 인공 지능 모델의 학습을 수행하는 단계;
원하는 표면 조도를 가지는 기준 이미지를 획득하는 단계;
이미지 처리 모듈을 통해 상기 획득된 기준 이미지를 전처리 하는 단계; 및
상기 제1 인공 지능 모델을 통해 상기 전처리된 기준 이미지를 분석하여, 상기 기준 이미지에 대응하는 표면 조도를 가지는 조형물을 조형하기 위한 조형 조건을 예측하여 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
A method for predicting and providing molding conditions of a molding apparatus using artificial intelligence,
pre-processing at least one training image;
Rotating or flipping the preprocessed training image to perform data augmentation;
generating a virtual surface roughness image based on the augmented learning images through a second artificial intelligence model;
Predicting modeling conditions for modeling a sculpture corresponding to the generated virtual surface roughness image by analyzing the generated virtual surface roughness image through a first artificial intelligence model different from the second artificial intelligence model;
performing learning of the first artificial intelligence model based on the virtual surface roughness image and the predicted modeling condition;
obtaining a reference image having a desired surface roughness;
pre-processing the obtained reference image through an image processing module; and
Analyzing the preprocessed reference image through the first artificial intelligence model, predicting and providing modeling conditions for modeling a sculpture having a surface roughness corresponding to the reference image.
 제 11 항에 있어서,
상기 획득된 기준 이미지를 전처리 하는 단계는
상기 기준 이미지를 지정된 크기로 리스케일하는 단계를 포함하는 것으로 특징으로 하는 방법.
According to claim 11,
The step of pre-processing the obtained reference image
and rescaling the reference image to a specified size.
 제 11 항에 있어서,
실제 조형물에 대한 조형 조건 및 학습 이미지를 포함하는 학습 데이터를 획득하는 단계;
상기 학습 이미지를 전처리 하는 단계;
상기 전처리된 학습 이미지를 회전 또는 플립하여 데이터 증대를 수행하는 단계; 및
상기 데이터 증대된 학습 이미지들 및 상기 실제 조형물에 대한 조형 조건을 통해 상기 제1 인공 지능 모델의 학습을 수행하는 단계를 더 포함하는 것을 특징으로 하는 방법.According to claim 11,
Acquiring learning data including modeling conditions and learning images for actual sculptures;
pre-processing the training image;
performing data augmentation by rotating or flipping the preprocessed training image; and
The method further comprising the step of performing learning of the first artificial intelligence model through the data augmented learning images and modeling conditions for the actual sculpture.
KR1020210091131A 2021-07-12 2021-07-12 Apparatus and method for predicting and providing surface roughness of product to be moulded, and apparatus and method for predicting and providing process condition, using artificial intelligence KR102520759B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210091131A KR102520759B1 (en) 2021-07-12 2021-07-12 Apparatus and method for predicting and providing surface roughness of product to be moulded, and apparatus and method for predicting and providing process condition, using artificial intelligence
PCT/KR2022/009213 WO2023287066A1 (en) 2021-07-12 2022-06-28 Apparatus and method for predicting and providing surface roughness of product to be molded by using artificial intelligence, and apparatus and method for predicting and providing molding conditions by using artificial intelligence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210091131A KR102520759B1 (en) 2021-07-12 2021-07-12 Apparatus and method for predicting and providing surface roughness of product to be moulded, and apparatus and method for predicting and providing process condition, using artificial intelligence

Publications (2)

Publication Number Publication Date
KR20230010500A KR20230010500A (en) 2023-01-19
KR102520759B1 true KR102520759B1 (en) 2023-04-13

Family

ID=84919522

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210091131A KR102520759B1 (en) 2021-07-12 2021-07-12 Apparatus and method for predicting and providing surface roughness of product to be moulded, and apparatus and method for predicting and providing process condition, using artificial intelligence

Country Status (2)

Country Link
KR (1) KR102520759B1 (en)
WO (1) WO2023287066A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102572304B1 (en) * 2023-03-09 2023-08-28 박종영 Method and apparatus for providing real-time welding inspection and defect prevention service based on artificial intelligence algorithm

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020015944A (en) * 2018-07-25 2020-01-30 株式会社ジェイテクト Learning model generator for addition manufacturing, manufacturing condition determination device of molded article by addition manufacturing, and state estimation device of molded article by addition manufacturing

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11491729B2 (en) * 2018-05-02 2022-11-08 Carnegie Mellon University Non-dimensionalization of variables to enhance machine learning in additive manufacturing processes
US11009863B2 (en) * 2018-06-14 2021-05-18 Honeywell International Inc. System and method for additive manufacturing process monitoring
KR102154393B1 (en) * 2018-06-20 2020-09-09 에임시스템 주식회사 Automated defect classification method based on machine learning
CN111151751B (en) * 2020-01-02 2022-03-22 汕头大学 Three laser beam intelligence increase and decrease material combined manufacturing system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020015944A (en) * 2018-07-25 2020-01-30 株式会社ジェイテクト Learning model generator for addition manufacturing, manufacturing condition determination device of molded article by addition manufacturing, and state estimation device of molded article by addition manufacturing

Also Published As

Publication number Publication date
KR20230010500A (en) 2023-01-19
WO2023287066A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
CN109325437B (en) Image processing method, device and system
JP6424293B1 (en) Body imaging
US11861936B2 (en) Face reenactment
CN109508678A (en) Training method, the detection method and device of face key point of Face datection model
CN112990054B (en) Compact linguistics-free facial expression embedding and novel triple training scheme
EP2608108A1 (en) Face feature vector construction
US20210089760A1 (en) Facial expression image processing method and apparatus
CN111344712A (en) System and method for image de-identification
CN108961369A (en) The method and apparatus for generating 3D animation
US20210142440A1 (en) Image conversion apparatus and method, and computer-readable recording medium
KR100896643B1 (en) Method and system for modeling face in three dimension by means of aam, and apparatus applied to the same
US20230044644A1 (en) Large-scale generation of photorealistic 3d models
US11087517B2 (en) Sketch-based abstraction for character posing and synthesis
KR102068993B1 (en) Method And Apparatus Creating for Avatar by using Multi-view Image Matching
KR102520759B1 (en) Apparatus and method for predicting and providing surface roughness of product to be moulded, and apparatus and method for predicting and providing process condition, using artificial intelligence
CN115797606B (en) 3D virtual digital human interaction action generation method and system based on deep learning
Duong et al. Learning from longitudinal face demonstration—where tractable deep modeling meets inverse reinforcement learning
WO2022076797A1 (en) Computer architecture for generating footwear digital asset
US20230326121A1 (en) Method and device for generating image data for machine learning
US11430146B2 (en) Two-stage depth estimation machine learning algorithm and spherical warping layer for EQUI-rectangular projection stereo matching
CN116580156A (en) Text generation 3D printing model method based on big data deep learning
KR20230102698A (en) Device for synthesizing image using adversarial generative neural network
Colmenarez et al. Facial analysis from continuous video with applications to human-computer interface
KR20170082412A (en) Apparatus and method for generating customized object vision system
Zhang et al. Sample based 3D face reconstruction from a single frontal image by adaptive locally linear embedding

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right