WO2023191312A1

WO2023191312A1 - Method for evaluating exterior state and value of electronic device, and apparatus for evaluating value of electronic device

Info

Publication number: WO2023191312A1
Application number: PCT/KR2023/002425
Authority: WO
Inventors: 지창환; 유도형
Original assignee: 민팃(주)
Priority date: 2022-03-29
Filing date: 2023-02-21
Publication date: 2023-10-05

Abstract

A method for evaluating the exterior state and the value of an electronic device is disclosed. In one embodiment, whether an exception case is present in a plurality of images obtained by photographing an electronic device is determined, the exterior state of the electronic device is evaluated using deep learning evaluation models and the images if it is determined that the exception case is not present in the images, whether the exception case can be processed is determined if it is determined that there is a target image in which the exception case is present in the images, the exception case in the target image is processed if it is determined that the exception case can be processed, and the exterior state can be evaluated using the remaining images that excludes the target image from the images, the target image in which the exception case is processed, and the deep learning evaluation models.

Description

전자 기기의 외관 상태 평가 및 가치 평가 방법과 전자 기기 가치 평가 장치Appearance condition evaluation and valuation method of electronic devices and electronic device valuation device

아래 실시 예들은 전자 기기의 외관 상태 평가 및 가치 평가 방법과 전자 기기 가치 평가 장치에 관한 것이다.The examples below relate to a method for evaluating the appearance condition and value of electronic devices and an electronic device value evaluation device.

최근 중고 전자 기기를 매입하는 여러 방법 중 자동화 기기를 이용한 방법이 있다. 자동화 기기를 이용한 방법에는 비대면 운영, 운영 인건비 절감, 안정적이고 표준화된 분석을 위해 인공지능 분석 방법이 적용되고 있다. 인공지능 분석 방법은 중고 전자 기기의 외관 상태를 조명 및 카메라를 통해 촬영하여 획득된 이미지를 인공지능 분석 알고리즘을 사용하여 분석함으로써 중고 전자 기기의 외관 상태를 평가할 수 있다. Among the many ways to purchase used electronic devices these days, there is one that uses automated devices. In methods using automated devices, artificial intelligence analysis methods are applied for non-face-to-face operation, reduction of operating labor costs, and stable and standardized analysis. The artificial intelligence analysis method can evaluate the external condition of used electronic devices by capturing the external condition of used electronic devices through lighting and cameras and analyzing the obtained images using an artificial intelligence analysis algorithm.

전술한 배경기술은 발명자가 본원의 개시 내용을 도출하는 과정에서 보유하거나 습득한 것으로서, 반드시 본 출원 전에 일반 공중에 공개된 공지기술이라고 할 수는 없다.The above-mentioned background technology is possessed or acquired by the inventor in the process of deriving the disclosure of the present application, and cannot necessarily be said to be known technology disclosed to the general public before the present application.

자동화 기기에 투입된 중고 전자 기기의 케이스 미 제거, 앱(App) 제어 에러(예: 정상적으로 중고 전자 기기가 앱에 의해 제어되지 않고 지정되지 않은 화면과 텍스트 표시 등), 부착물(예: 보호 필름, 제조 정보 Barcode 스티커, 사용자에 의해 부착된 스티커 등) 미 제거, 중고 전자 기기의 화면 상의 플로팅 아이콘 등 중고 전자 기기의 결함이 아니지만 인공지능 분석 알고리즘에 의해 결함으로 판단되는 경우 또는 인공지능 분석 알고리즘으로 분석이 힘든 경우가 발생할 수 있다. Failure to remove cases of used electronic devices inserted into automated devices, app control errors (e.g., used electronic devices are not normally controlled by the app and display unspecified screens and texts, etc.), attachments (e.g. protective films, manufacturing Information barcode stickers, stickers attached by the user, etc.) are not removed, floating icons on the screen of used electronic devices, etc. are not defects in the used electronic device, but are judged to be defects by the artificial intelligence analysis algorithm or are analyzed by the artificial intelligence analysis algorithm. Difficult times may arise.

일 실시 예는 인공지능 분석 알고리즘(또는 딥러닝 평가 모델)으로 이미지를 분석하기 전에 예외 처리 요소가 있는지 판단할 수 있고, 예외 처리 요소가 있는 경우 인공지능 분석 알고리즘(또는 딥러닝 평가 모델)이 정상 분석할 수 있도록 이미지 처리를 수행하거나 재촬영 판단을 수행하는 방법을 제공할 수 있다.In one embodiment, it is possible to determine whether there is an exception handling element before analyzing the image with an artificial intelligence analysis algorithm (or deep learning evaluation model), and if there is an exception handling element, the artificial intelligence analysis algorithm (or deep learning evaluation model) is normal. Methods may be provided to perform image processing for analysis or to perform re-shot judgment.

일 실시 예에 따른 전자 기기 가치 평가 장치에 의해 수행되는 전자 기기 외관 상태 평가 방법은 전자 기기를 촬영하여 획득된 복수의 이미지들에 예외 케이스(exception case)가 존재하는지 여부를 판단하는 단계; 상기 이미지들에 상기 예외 케이스가 존재하지 않은 것으로 판단한 경우, 딥러닝 평가 모델들과 상기 이미지들을 이용하여 상기 전자 기기의 외관 상태 평가를 수행하는 단계; 상기 이미지들 중 상기 예외 케이스가 존재하는 대상 이미지가 있는 것으로 판단한 경우, 상기 예외 케이스가 처리 가능한지 여부를 판단하는 단계; 상기 예외 케이스가 처리 가능한 것으로 판단한 경우, 상기 대상 이미지에서 상기 예외 케이스를 처리하는 단계; 및 상기 이미지들 중 상기 대상 이미지를 제외한 나머지 이미지들, 상기 예외 케이스가 처리된 대상 이미지, 및 상기 딥러닝 평가 모델들을 이용하여 상기 외관 상태 평가를 수행하는 단계를 포함할 수 있다.A method of evaluating the appearance state of an electronic device performed by an electronic device value evaluation apparatus according to an embodiment includes determining whether an exception case exists in a plurality of images obtained by photographing an electronic device; When it is determined that the exception case does not exist in the images, evaluating the external state of the electronic device using deep learning evaluation models and the images; When it is determined that there is a target image in which the exception case exists among the images, determining whether the exception case can be processed; If it is determined that the exception case can be handled, processing the exception case in the target image; And it may include performing the appearance state evaluation using the remaining images excluding the target image among the images, the target image for which the exception case has been processed, and the deep learning evaluation models.

상기 예외 케이스가 존재하는지 여부를 판단하는 단계는 상기 전자 기기의 화면이 촬영되어 획득된 화면 이미지에서 플로팅 아이콘에 대응되는 제1 객체가 있는지 여부를 판단하는 단계를 포함할 수 있다.The step of determining whether the exception case exists may include determining whether there is a first object corresponding to the floating icon in the screen image obtained by photographing the screen of the electronic device.

상기 예외 케이스가 존재하는지 여부를 판단하는 단계는 상기 이미지들 중 하나 이상에 상기 전자 기기의 부착물에 대응되는 제2 객체가 있는지 여부를 판단하는 단계를 포함할 수 있다.Determining whether the exception case exists may include determining whether there is a second object corresponding to an attachment of the electronic device in one or more of the images.

상기 예외 케이스가 존재하는지 여부를 판단하는 단계는 상기 이미지들 중 하나 이상에 촬영 조건이 만족되지 않은 제1 케이스가 있는지 여부를 판단하는 단계를 포함할 수 있다.Determining whether the exception case exists may include determining whether there is a first case in which a shooting condition is not satisfied in one or more of the images.

상기 촬영 조건은 카메라 초점 및 조명 밝기 중 적어도 하나를 포함할 수 있다.The shooting conditions may include at least one of camera focus and lighting brightness.

상기 예외 케이스가 존재하는지 여부를 판단하는 단계는 상기 이미지들 중 상기 전자 기기의 화면이 촬영되어 획득된 화면 이미지에 색상 변환을 수행하는 단계; 상기 색상 변환된 화면 이미지의 채도 정보와 밝기 정보를 이용하여 상기 화면이 지정된 화면인지 여부를 판단하는 단계; 및 상기 화면이 상기 지정된 화면이 아닌 경우, 지정되지 않은 화면이 켜진 상황에 해당하는 제2 케이스가 존재하는 것으로 판단하는 단계를 포함할 수 있다.The step of determining whether the exception case exists includes performing color conversion on a screen image obtained by photographing the screen of the electronic device among the images; determining whether the screen is a designated screen using saturation information and brightness information of the color-converted screen image; And when the screen is not the designated screen, it may include determining that a second case corresponding to a situation in which an unspecified screen is turned on exists.

상기 예외 케이스가 처리 가능한지 여부를 판단하는 단계는 상기 전자 기기의 화면이 촬영되어 획득된 화면 이미지에서 플로팅 아이콘에 대응되는 제1 객체 또는 상기 이미지들 중 하나 이상에 상기 전자 기기의 부착물에 대응되는 제2 객체를 상기 예외 케이스로 판단한 경우, 상기 제1 객체 또는 상기 제2 객체는 처리 가능한 것으로 판단하는 단계; 및 상기 이미지들 중 하나 이상에 촬영 조건이 만족되지 않은 제1 케이스 또는 상기 이미지들 중 하나 이상에 지정되지 않은 화면이 켜진 상황에 해당하는 제2 케이스가 있는 것으로 판단한 경우, 상기 제1 케이스 또는 상기 제2 케이스는 상기 전자 기기 가치 평가 장치에 의해 처리 가능하지 않은 것으로 판단 및 운영자 처리가 필요한 것으로 판단하는 단계를 포함할 수 있다.The step of determining whether the exception case can be handled includes a first object corresponding to a floating icon in a screen image obtained by photographing the screen of the electronic device or an attachment of the electronic device to one or more of the images. When object 2 is determined to be the exception case, determining that the first object or the second object can be processed; And when it is determined that there is a first case in which the shooting condition is not satisfied in one or more of the images or a second case corresponding to a situation in which a screen not specified in one or more of the images is turned on, the first case or the The second case may include determining that the electronic device cannot be processed by the electronic device value evaluation device and that operator processing is necessary.

상기 예외 케이스를 처리하는 단계는 상기 딥러닝 평가 모델들 중 적어도 하나가 상기 제1 객체 또는 상기 제2 객체를 결함으로 오인하지 않도록 상기 제1 객체 또는 상기 제2 객체에 마스킹 처리를 수행하는 단계를 포함할 수 있다.The step of processing the exception case includes performing masking processing on the first object or the second object so that at least one of the deep learning evaluation models does not mistake the first object or the second object as a defect. It can be included.

상기 이미지들에 상기 예외 케이스가 존재하지 않은 것으로 판단한 경우, 상기 딥러닝 평가 모델들과 상기 이미지들을 이용하여 상기 외관 상태 평가를 수행하는 단계는, 상기 딥러닝 평가 모델들을 통해 상기 이미지들로부터 상기 전자 기기의 평가 영역들 각각의 결함 상태를 예측한 마스크를 생성하고, 상기 생성된 각 마스크를 기초로 상기 평가 영역들 각각의 결함에 대한 등급을 결정하는 단계; 및 상기 결정된 각 등급을 통해 상기 전자 기기의 외관 상태에 대한 최종 등급을 결정하는 단계를 포함할 수 있다.When it is determined that the exception case does not exist in the images, the step of performing the appearance state evaluation using the deep learning evaluation models and the images includes selecting the electronics from the images through the deep learning evaluation models. generating a mask predicting a defect state in each of the evaluation areas of the device, and determining a grade for a defect in each of the evaluation areas based on the generated masks; And it may include determining a final grade for the external condition of the electronic device based on each determined grade.

일 실시 예에 따른 전자 기기 가치 평가 장치에 의해 수행되는 전자 기기 가치 평가 방법은 전자 기기를 촬영하여 획득된 복수의 이미지들 및 복수의 딥러닝 평가 모델들을 기초로 상기 전자 기기에 대한 외관 상태 평가를 수행하는 단계; 및 상기 외관 상태 평가의 결과 및 상기 전자 기기의 내부 상태 평가의 결과를 기초로 상기 전자 기기의 가치를 결정하는 단계를 포함할 수 있다.An electronic device value evaluation method performed by an electronic device value evaluation device according to an embodiment evaluates the external condition of the electronic device based on a plurality of images obtained by photographing the electronic device and a plurality of deep learning evaluation models. Steps to perform; and determining the value of the electronic device based on the results of the external condition evaluation and the results of the internal state evaluation of the electronic device.

상기 외관 상태 평가를 수행하는 단계는 상기 이미지들에 예외 케이스(exception case)가 존재하는지 여부를 판단하는 단계; 상기 이미지들에 상기 예외 케이스가 존재하지 않은 것으로 판단한 경우, 딥러닝 평가 모델들과 상기 이미지들을 이용하여 상기 전자 기기의 외관 상태 평가를 수행하는 단계; 상기 이미지들 중 상기 예외 케이스가 존재하는 대상 이미지가 있는 것으로 판단한 경우, 상기 예외 케이스가 처리 가능한지 여부를 판단하는 단계; 상기 예외 케이스가 처리 가능한 것으로 판단한 경우, 상기 대상 이미지에서 상기 예외 케이스를 처리하는 단계; 및 상기 이미지들 중 상기 대상 이미지를 제외한 나머지 이미지들, 상기 예외 케이스가 처리된 대상 이미지, 및 상기 딥러닝 평가 모델들을 이용하여 상기 외관 상태 평가를 수행하는 단계를 포함할 수 있다.The step of performing the appearance state evaluation includes determining whether an exception case exists in the images; When it is determined that the exception case does not exist in the images, evaluating the external state of the electronic device using deep learning evaluation models and the images; When it is determined that there is a target image in which the exception case exists among the images, determining whether the exception case can be processed; If it is determined that the exception case can be handled, processing the exception case in the target image; And it may include performing the appearance state evaluation using the remaining images excluding the target image among the images, the target image for which the exception case has been processed, and the deep learning evaluation models.

상기 예외 케이스가 존재하는지 여부를 판단하는 단계는 상기 이미지들 중 상기 전자 기기의 화면이 촬영되어 획득된 화면 이미지에 색상 변환을 수행하는 단계; 상기 색상 변환된 화면 이미지의 채도 정보와 밝기 정보를 이용하여 상기 화면이 지정된 화면인지 여부를 판단하는 단계; 상기 화면이 상기 지정된 화면이 아닌 경우, 지정되지 않은 화면이 켜진 상황에 해당하는 제2 케이스가 존재하는 것으로 판단하는 단계를 포함할 수 있다.The step of determining whether the exception case exists includes performing color conversion on a screen image obtained by photographing the screen of the electronic device among the images; determining whether the screen is a designated screen using saturation information and brightness information of the color-converted screen image; If the screen is not the designated screen, it may include determining that a second case corresponding to a situation in which an unspecified screen is turned on exists.

상기 예외 케이스가 처리 가능한지 여부를 판단하는 단계는 상기 전자 기기의 화면이 촬영되어 획득된 화면 이미지에서 플로팅 아이콘에 대응되는 제1 객체 또는 상기 이미지들 중 하나 이상에 상기 전자 기기의 부착물에 대응되는 제2 객체를 상기 예외 케이스로 판단한 경우, 상기 제1 객체 또는 상기 제2 객체는 처리 가능한 것으로 판단하는 단계; 및 상기 이미지들 중 하나 이상에 촬영 조건이 만족되지 않은 제1 케이스 또는 상기 이미지들 중 하나 이상에 지정되지 않은 화면이 켜진 상황에 해당하는 제2 케이스가 있는 것으로 판단한 경우, 상기 제1 케이스 또는 상기 제2 케이스는 상기 전자 기기 장치 평가 장치에 의해 처리 가능하지 않은 것으로 판단 및 운영자 처리가 필요한 것으로 판단하는 단계를 포함할 수 있다.The step of determining whether the exception case can be handled includes a first object corresponding to a floating icon in a screen image obtained by photographing the screen of the electronic device or an attachment of the electronic device to one or more of the images. When object 2 is determined to be the exception case, determining that the first object or the second object can be processed; And when it is determined that there is a first case in which the shooting condition is not satisfied in one or more of the images or a second case corresponding to a situation in which a screen not specified in one or more of the images is turned on, the first case or the The second case may include determining that processing by the electronic device evaluation device is not possible and determining that operator processing is necessary.

상기 이미지들에 상기 예외 케이스가 존재하지 않은 것으로 판단한 경우, 상기 딥러닝 평가 모델들과 상기 이미지들을 이용하여 상기 외관 상태 평가를 수행하는 단계는 상기 딥러닝 평가 모델들을 통해 상기 이미지들로부터 상기 전자 기기의 평가 영역들 각각의 결함 상태를 예측한 마스크를 생성하고, 상기 생성된 각 마스크를 기초로 상기 평가 영역들 각각의 결함에 대한 등급을 결정하는 단계; 및 상기 결정된 각 등급을 통해 상기 전자 기기의 외관 상태에 대한 최종 등급을 결정하는 단계를 포함할 수 있다.When it is determined that the exception case does not exist in the images, the step of performing the appearance state evaluation using the deep learning evaluation models and the images includes selecting the electronic device from the images through the deep learning evaluation models. generating a mask predicting the defect state of each of the evaluation areas, and determining a grade for a defect in each of the evaluation areas based on the generated masks; And it may include determining a final grade for the external condition of the electronic device based on each determined grade.

일 실시 예에 따른 전자 기기 가치 평가 장치는 복수의 딥러닝 평가 모델들을 저장하는 메모리; 및 전자 기기를 촬영하여 획득된 복수의 이미지들에 예외 케이스(exception case)가 존재하는지 여부를 판단하고, 상기 이미지들에 상기 예외 케이스가 존재하지 않은 것으로 판단한 경우, 상기 딥러닝 평가 모델들과 상기 이미지들을 이용하여 상기 전자 기기의 외관 상태 평가를 수행하며, 상기 이미지들 중 상기 예외 케이스가 존재하는 대상 이미지가 있는 것으로 판단한 경우, 상기 예외 케이스가 처리 가능한지 여부를 판단하고, 상기 예외 케이스가 처리 가능한 것으로 판단한 경우, 상기 대상 이미지에서 상기 예외 케이스를 처리하고, 상기 이미지들 중 상기 대상 이미지를 제외한 나머지 이미지들, 상기 예외 케이스가 처리된 대상 이미지, 및 상기 딥러닝 평가 모델들을 이용하여 상기 외관 상태 평가를 수행하는 외관 상태 평가 모듈을 포함할 수 있다.An electronic device valuation device according to an embodiment includes a memory that stores a plurality of deep learning evaluation models; and determine whether an exception case exists in a plurality of images obtained by photographing an electronic device, and when it is determined that the exception case does not exist in the images, the deep learning evaluation models and the An external state evaluation of the electronic device is performed using images, and when it is determined that there is a target image in which the exception case exists among the images, it is determined whether the exception case can be handled, and whether the exception case can be handled. If it is determined that the exception case is processed in the target image, the appearance state is evaluated using the remaining images excluding the target image among the images, the target image for which the exception case has been processed, and the deep learning evaluation models. It may include an appearance condition evaluation module that performs.

일 실시 예는 인공지능 분석 알고리즘(또는 딥러닝 평가 모델)의 입력 이미지에 예외 케이스를 검출하고 검출된 예외 케이스를 이미지 처리함으로써, 인공지능 분석 알고리즘(또는 딥러닝 평가 모델)이 주어진 입력 이미지로부터 정확한 분석 결과를 도출하도록 할 수 있고, 전자 기기의 외관 상태 평가의 정확도를 향상시킬 수 있다. One embodiment detects exception cases in the input image of the artificial intelligence analysis algorithm (or deep learning evaluation model) and image-processes the detected exception case, so that the artificial intelligence analysis algorithm (or deep learning evaluation model) obtains accurate information from the given input image. Analysis results can be derived and the accuracy of evaluating the external condition of electronic devices can be improved.

도 1 내지 도 2는 일 실시 예에 따른 무인 매입 장치와 서버를 설명하는 도면이다.1 and 2 are diagrams explaining an unmanned purchase device and a server according to an embodiment.

도 3 내지 도 6은 일 실시 예에 따른 전자 기기 가치 평가 장치의 동작을 설명하는 도면이다. 3 to 6 are diagrams illustrating the operation of an electronic device value evaluation device according to an embodiment.

도 7은 일 실시 예에 따른 전자 기기 가치 평가 방법을 설명하는 흐름도이다.Figure 7 is a flowchart explaining a method of evaluating the value of an electronic device according to an embodiment.

도 8 내지 도 13은 일 실시 예에 따른 예외 케이스 처리 방법을 설명하는 도면이다.8 to 13 are diagrams explaining an exception case processing method according to an embodiment.

도 14는 일 실시 예에 따른 딥러닝 모델을 트레이닝하는 컴퓨팅 장치의 구성을 설명하는 블록도이다.Figure 14 is a block diagram illustrating the configuration of a computing device for training a deep learning model according to an embodiment.

도 15a 내지 도 15c는 일 실시 예에 따른 타겟 마스크와 예측 마스크를 설명하는 도면이다.15A to 15C are diagrams explaining a target mask and a prediction mask according to an embodiment.

도 16은 일 실시 예에 따른 컴퓨팅 장치의 딥러닝 모델 트레이닝 방법을 설명하는 흐름도이다.Figure 16 is a flowchart explaining a deep learning model training method of a computing device according to an embodiment.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for illustrative purposes only and may be changed and implemented in various forms. Accordingly, the actual implementation form is not limited to the specific disclosed embodiments, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical idea described in the embodiments.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various components, but these terms should be interpreted only for the purpose of distinguishing one component from another component. For example, a first component may be named a second component, and similarly, the second component may also be named a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is referred to as being “connected” to another component, it should be understood that it may be directly connected or connected to the other component, but that other components may exist in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as “comprise” or “have” are intended to designate the presence of the described features, numbers, steps, operations, components, parts, or combinations thereof, and are intended to indicate the presence of one or more other features or numbers, It should be understood that this does not exclude in advance the possibility of the presence or addition of steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the art. Terms as defined in commonly used dictionaries should be interpreted as having meanings consistent with the meanings they have in the context of the related technology, and unless clearly defined in this specification, should not be interpreted in an idealized or overly formal sense. No.

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다. Hereinafter, embodiments will be described in detail with reference to the attached drawings. In the description with reference to the accompanying drawings, identical components will be assigned the same reference numerals regardless of the reference numerals, and overlapping descriptions thereof will be omitted.

도 1과 도 2를 참조하면, 무인 매입 장치(110)와 서버(120)가 도시된다. 1 and 2, an unmanned purchase device 110 and a server 120 are shown.

무인 매입 장치(110)는 전자 기기(또는 중고 전자 기기)(예: 스마트폰, 태블릿 PC, 웨어러블 기기 등)를 사용자로부터 매입 및/또는 사용자에게 전자 기기(또는 중고 전자 기기)를 판매할 수 있다. 전자 기기의 타입은, 예를 들어, 형태에 따라 바(bar) 타입, 롤러블(rollable) 타입, 또는 폴더블(foldable) 타입 등으로 구분될 수 있다.The unmanned purchase device 110 may purchase electronic devices (or used electronic devices) (e.g., smartphones, tablet PCs, wearable devices, etc.) from users and/or sell electronic devices (or used electronic devices) to users. . For example, the type of electronic device may be classified into a bar type, rollable type, or foldable type depending on its shape.

무인 매입 장치(110)는, 예를 들어, 키오스크 형태일 수 있으나 이에 제한되지 않는다.The unmanned purchase device 110 may be, for example, in the form of a kiosk, but is not limited thereto.

무인 매입 장치(110)는 전자 기기를 안치 및 촬영하는 촬영 박스, 시스템 제어부, 및 디스플레이를 포함할 수 있다. The unmanned embedded device 110 may include a photographing box for placing and photographing an electronic device, a system control unit, and a display.

시스템 제어부는 무인 매입 장치(110)의 전반적인 동작을 제어할 수 있다. The system control unit may control the overall operation of the unmanned embedding device 110.

시스템 제어부는 전자 기기 판매에 대한 가이드 라인 및/또는 주의 사항을 디스플레이에 표시할 수 있다. The system control unit may display guidelines and/or precautions for selling electronic devices on the display.

시스템 제어부는 사용자로부터 다양한 정보(예: 사용자가 판매할 전자 기기의 OS(operating system) 정보 등)를 입력받기 위한 사용자 인터페이스를 디스플레이에 표시할 수 있다. The system control unit may display a user interface for receiving various information from the user (e.g., operating system (OS) information of an electronic device to be sold by the user) on the display.

판매 준비 과정에서, 전자 기기에 설치된 제1 어플리케이션은 전자 기기의 디스플레이에 일련 번호를 표시할 수 있다. 제1 어플리케이션은 전자 기기의 내부 상태 검수 및 전자 기기의 정보(예: 모델명, 시리얼 번호, 운영체제 버전 등)를 수집하기 위한 어플리케이션일 수 있다. 사용자는 일련 번호를 무인 매입 장치(110)의 디스플레이에 입력할 수 있다. 시스템 제어부는 디스플레이를 통해 입력된 일련 번호를 검증하거나 서버(120)에 검증을 요청할 수 있다. 시스템 제어부는 입력된 일련 번호가 검증되면 촬영 박스의 도어(door)를 오픈할 수 있다.In the process of preparing for sale, a first application installed on the electronic device may display a serial number on the display of the electronic device. The first application may be an application for inspecting the internal state of an electronic device and collecting information about the electronic device (e.g., model name, serial number, operating system version, etc.). The user may input the serial number into the display of the unmanned acquisition device 110. The system control unit may verify the entered serial number through the display or request verification from the server 120. The system control unit can open the door of the shooting box when the entered serial number is verified.

무인 매입 장치(110)의 촬영 박스의 도어(door)가 열리면, 사용자는 무인 매입 장치(110)의 케이블(예: USB 타입 C 케이블, 라이트닝 케이블 등)과 전자 기기를 연결시킬 수 있고, 전자 기기를 촬영 박스 안에 안치시킬 수 있다. 전자 기기는 케이블을 통해 무인 매입 장치(110)의 시스템 제어부와 연결될 수 있다. 실시 예에 따라, 전자 기기는 무선(예: 블루투스, BLE(Bluetooth Low Energy) 등)으로 무인 매입 장치(110)의 시스템 제어부와 연결될 수 있다.When the door of the shooting box of the unmanned embedding device 110 is opened, the user can connect the cable (e.g. USB Type C cable, Lightning cable, etc.) of the unmanned embedding device 110 and the electronic device, and the electronic device can be placed in the shooting box. Electronic devices may be connected to the system control unit of the unmanned embedding device 110 through a cable. Depending on the embodiment, the electronic device may be connected to the system control unit of the unmanned embedded device 110 wirelessly (e.g., Bluetooth, Bluetooth Low Energy (BLE), etc.).

촬영 박스는 안치된 전자 기기를 정해진 위치에 정렬시킬 수 있다. 전자 기기가 정해진 위치에 정렬되지 않는 경우 촬영 박스 내의 카메라들은 전자 기기의 외관을 제대로 촬영하지 못할 수 있다.The shooting box can align the placed electronic devices in a given position. If the electronic device is not aligned in a designated position, the cameras inside the shooting box may not be able to properly capture the exterior of the electronic device.

제1 어플리케이션은 전자 기기의 정보를 수집할 수 있고, 전자 기기의 내부 상태(예: 하드웨어 동작 상태 등) 평가(또는 분석)를 수행할 수 있다. 하드웨어 동작 상태는, 예를 들어, 전자 기기의 하드웨어(예: 센서, 카메라 등)가 정상적으로 동작하는지에 대한 상태를 나타낼 수 있다. 제1 어플리케이션은 전자 기기의 하드웨어가 정상적으로 동작하는지 여부를 평가(또는 판단)할 수 있다.The first application can collect information about the electronic device and evaluate (or analyze) the internal state of the electronic device (e.g., hardware operating state, etc.). For example, the hardware operation state may indicate whether the hardware (eg, sensor, camera, etc.) of the electronic device is operating normally. The first application can evaluate (or determine) whether the hardware of the electronic device operates normally.

촬영 박스에는 복수의 카메라들과 복수의 조명들이 위치할 수 있다. 촬영 박스 내의 제1 카메라는 전자 기기의 전면을 촬영하여 전자 기기의 하나 이상의 전면 이미지를 획득할 수 있다. 촬영 박스 내의 제2 카메라는 전자 기기의 후면을 촬영하여 전자 기기의 하나 이상의 후면 이미지를 획득할 수 있다. 촬영 박스 내의 복수의 제3 카메라들 각각은 전자 기기의 측면(또는 코너)들 각각을 촬영하여 하나 이상의 측면 이미지(또는 코너 이미지)를 획득할 수 있다. A plurality of cameras and a plurality of lights may be located in the shooting box. The first camera in the photographing box may acquire one or more front images of the electronic device by photographing the front of the electronic device. The second camera in the shooting box may acquire one or more rear images of the electronic device by photographing the rear of the electronic device. Each of the plurality of third cameras in the shooting box may acquire one or more side images (or corner images) by photographing each side (or corner) of the electronic device.

제1 카메라는 전자 기기의 화면을 촬영하여 하나 이상의 이미지(이하, "화면 이미지"라 지칭함)를 획득할 수 있다. 실시 예에 따라, 제1 어플리케이션은 전자 기기에 단색(예: 흰색, 검은색, 붉은색, 파란색, 녹색 등) 화면이 표시되도록 할 수 있다. 전자 기기에 단색 화면이 표시된 상태에서, 제1 카메라는 전자 기기의 단색 화면을 촬영하여 이미지(이하, "단색 화면 이미지"라 지칭함)를 획득할 수 있다. 예를 들어, 전자 기기에 흰색 화면이 표시된 상태에서, 제1 카메라는 전자 기기의 흰색 화면을 촬영하여 제1 단색 화면 이미지를 획득할 수 있다. 전자 기기에 검은색 화면이 표시된 상태에서 제1 카메라는 전자 기기의 검은색 화면을 촬영하여 제2 단색 화면 이미지를 획득할 수 있다. 전자 기기에 흰색과 검은색 이외의 다른 단색(예: 붉은색, 파란색, 녹색 등) 화면이 표시된 상태에서 제1 카메라는 전자 기기의 다른 단색 화면을 촬영하여 제3 단색 화면 이미지를 획득할 수 있다. The first camera may acquire one or more images (hereinafter referred to as “screen images”) by photographing the screen of the electronic device. Depending on the embodiment, the first application may display a single-color (e.g., white, black, red, blue, green, etc.) screen on the electronic device. When a monochromatic screen is displayed on the electronic device, the first camera may acquire an image (hereinafter referred to as a “monochromatic screen image”) by photographing the monochromatic screen of the electronic device. For example, when a white screen is displayed on the electronic device, the first camera may acquire a first monochromatic screen image by photographing the white screen of the electronic device. While a black screen is displayed on the electronic device, the first camera may acquire a second monochromatic screen image by photographing the black screen of the electronic device. While the electronic device displays a screen of a single color other than white and black (e.g., red, blue, green, etc.), the first camera may acquire a third single-color screen image by photographing the other single-color screen of the electronic device. .

전자 기기 가치 평가 장치(130)는 전자 기기를 촬영하여 획득한 이미지들(예: 하나 이상의 전면 이미지, 하나 이상의 후면 이미지, 하나 이상의 측면 이미지, 하나 이상의 단색 화면 이미지)과 딥러닝 평가 모델들을 기초로 전자 기기에 대한 외관 상태 평가를 수행할 수 있다.The electronic device value evaluation device 130 is based on images acquired by photographing electronic devices (e.g., one or more front images, one or more rear images, one or more side images, and one or more monochromatic screen images) and deep learning evaluation models. Appearance condition evaluation of electronic devices can be performed.

도 1에 도시된 예에서, 전자 기기 가치 평가 장치(130)는 서버(120)에 포함될 수 있다. 도 1에 도시된 예에서, 서버(120)는 무인 매입 장치(110)로부터 전자 기기를 촬영하여 획득한 이미지들을 수신할 수 있고, 수신된 이미지들을 전자 기기 가치 평가 장치(130)로 전달할 수 있다. 앞서 설명한 것과 같이, 전자 기기 내의 제1 어플리케이션은 전자 기기의 내부 상태 평가를 수행할 수 있고, 무인 매입 장치(110)를 통해 서버(120)에 전자 기기의 내부 상태 평가의 결과를 전송할 수 있다. 다른 예로, 제1 어플리케이션은 전자 기기가 서버(120)와 연결되도록 할 수 있고, 전자 기기를 통해 서버(120)에 전자 기기의 내부 상태 평가의 결과를 전송할 수 있다. 전자 기기 가치 평가 장치(130)는 전자 기기의 외관 상태 평가의 결과와 전자 기기의 내부 상태 평가의 결과(예: 제1 어플리케이션이 전자 기기의 내부 상태 평가를 수행한 결과)를 기초로 전자 기기의 가치(예: 가격)를 결정할 수 있다. 전자 기기 가치 평가 장치(130)는 무인 매입 장치(110)에 전자 기기의 가치를 전송할 수 있고, 무인 매입 장치(110)는 사용자에게 전자 기기의 가치를 전달할 수 있다. 사용자는 전자 기기의 가치(예: 가격)를 받아들여 전자 기기를 판매할 것임을 무인 매입 장치(110)에 전달할 수 있고, 무인 매입 장치(110)는 사용자의 전자 기기 판매 결정이 있으면 촬영 박스 내에 안치된 전자 기기를 회수 박스(또는 보관 박스)로 이동시킬 수 있다. 실시 예에 따라, 회수 박스는 무인 매입 장치(110) 내부 또는 외부에 위치할 수 있다. In the example shown in FIG. 1 , the electronic device valuation device 130 may be included in the server 120 . In the example shown in FIG. 1, the server 120 may receive images obtained by photographing an electronic device from the unmanned purchasing device 110, and may transmit the received images to the electronic device value evaluation device 130. . As described above, the first application in the electronic device may perform an evaluation of the internal state of the electronic device and transmit the result of the evaluation of the internal state of the electronic device to the server 120 through the unmanned embedded device 110. As another example, the first application may allow the electronic device to connect to the server 120 and transmit the result of evaluating the internal state of the electronic device to the server 120 through the electronic device. The electronic device value evaluation device 130 evaluates the electronic device based on the result of the external state evaluation of the electronic device and the result of the internal state evaluation of the electronic device (e.g., the result of the first application performing the internal state evaluation of the electronic device). Value (e.g. price) can be determined. The electronic device value evaluation device 130 may transmit the value of the electronic device to the unmanned purchase device 110, and the unmanned purchase device 110 may transmit the value of the electronic device to the user. The user can accept the value (e.g., price) of the electronic device and convey to the unmanned purchasing device 110 that the electronic device will be sold, and the unmanned purchasing device 110 is placed in the shooting box when the user decides to sell the electronic device. Electronic devices can be moved to a recovery box (or storage box). Depending on the embodiment, the recovery box may be located inside or outside the unmanned burial device 110.

도 2에 도시된 예에서, 전자 기기 가치 평가 장치(130)는 무인 매입 장치(110)에 포함될 수 있다. 도 2에 도시된 예에서, 전자 기기 가치 평가 장치(130)는 촬영 박스 내의 카메라들로부터 전자 기기를 촬영하여 획득된 이미지들을 수신할 수 있다. 전자 기기 가치 평가 장치(130)는 제1 어플리케이션으로부터 전자 기기의 내부 상태 평가의 결과를 수신할 수 있다. 전자 기기 가치 평가 장치(130)는 전자 기기의 외관 상태 평가의 결과와 전자 기기의 내부 상태 평가의 결과를 기초로 전자 기기의 가치(예: 가격)를 결정할 수 있다. 전자 기기 가치 평가 장치(130)는 사용자에게 전자 기기의 가치를 전달할 수 있다. 사용자는 전자 기기의 가치(예: 가격)를 받아들여 전자 기기를 판매할 것임을 무인 매입 장치(110)에 전달할 수 있고, 무인 매입 장치(110)는 사용자의 전자 기기 판매 결정이 있으면 촬영 박스 내에 안치된 전자 기기를 회수 박스(또는 보관 박스)로 이동시킬 수 있다. In the example shown in FIG. 2 , the electronic device valuation device 130 may be included in the unmanned purchase device 110 . In the example shown in FIG. 2 , the electronic device value evaluation device 130 may receive images obtained by photographing the electronic device from cameras in a photographing box. The electronic device value evaluation device 130 may receive the result of evaluating the internal state of the electronic device from the first application. The electronic device value evaluation device 130 may determine the value (e.g., price) of the electronic device based on the result of evaluating the external condition of the electronic device and the result of evaluating the internal state of the electronic device. The electronic device value evaluation device 130 can convey the value of the electronic device to the user. The user can accept the value (e.g., price) of the electronic device and convey to the unmanned purchasing device 110 that the electronic device will be sold, and the unmanned purchasing device 110 is placed in the shooting box when the user decides to sell the electronic device. Electronic devices can be moved to a recovery box (or storage box).

도 3을 참조하면, 전자 기기 장치 평가 장치(130)는 메모리(310), 외관 상태 평가 모듈(320), 및 가치 결정 모듈(330)을 포함할 수 있다.Referring to FIG. 3 , the electronic device evaluation device 130 may include a memory 310, an appearance condition evaluation module 320, and a value determination module 330.

일 실시 예에 있어서, 외관 상태 평가 모듈(320) 및 가치 결정 모듈(330)은 하나의 프로세서로 구현될 수 있다. In one embodiment, the appearance condition evaluation module 320 and the value determination module 330 may be implemented with one processor.

일 실시 예에 있어서, 외관 상태 평가 모듈(320) 및 가치 결정 모듈(340) 각각은 별개의 프로세서로 구현될 수 있다. 예를 들어, 제1 프로세서가 외관 상태 평가 모듈(320)을 구현할 수 있고, 제2 프로세서가 가치 결정 모듈(340)을 구현할 수 있다. In one embodiment, the appearance condition evaluation module 320 and the value determination module 340 may each be implemented with separate processors. For example, a first processor may implement the appearance condition evaluation module 320 and a second processor may implement the value determination module 340.

메모리(310)는 복수의 딥러닝 평가 모델들을 저장할 수 있다. 예를 들어, 메모리(310)는 전자 기기의 제1 평가 영역(예: 전면)의 결함을 검출하고 검출된 결함(또는 제1 평가 영역)의 등급을 결정하는 제1 딥러닝 평가 모델, 전자 기기의 제2 평가 영역(예: 후면)의 결함을 검출하고 검출된 결함(또는 제2 평가 영역)의 등급을 결정하는 제2 딥러닝 평가 모델, 전자 기기의 제3 평가 영역(예: 측면(또는 코너))의 결함을 검출하고 검출된 결함(또는 제3 평가 영역)의 등급을 결정하는 제3 딥러닝 평가 모델, 및 전자 기기의 제4 평가 영역(예: 화면)의 결함을 검출하고 검출된 결함(또는 제4 평가 영역)의 등급을 결정하는 제4 딥러닝 평가 모델을 포함할 수 있다. 아래 표 1은 평가 영역들(예: 화면, 전면, 측면(또는 코너), 후면) 각각의 결함의 종류와 등급의 예시를 보여준다. The memory 310 may store a plurality of deep learning evaluation models. For example, the memory 310 may detect a defect in a first evaluation area (e.g., the front) of the electronic device and use a first deep learning evaluation model to determine the grade of the detected defect (or the first evaluation area), the electronic device. A second deep learning evaluation model that detects defects in a second evaluation area (e.g., back side) and determines the grade of the detected defect (or second evaluation area), a third evaluation area (e.g., side (or a third deep learning evaluation model that detects defects in the corner) and determines the grade of the detected defect (or third evaluation area), and detects defects in the fourth evaluation area (e.g., screen) of the electronic device and determines the grade of the detected defect (or third evaluation area) It may include a fourth deep learning evaluation model that determines the grade of the defect (or fourth evaluation area). Table 1 below shows examples of defect types and grades for each of the evaluation areas (e.g. screen, front, side (or corner), rear).

등급Rating	화면 (디스플레이)screen (display)		전면Front	측면(또는 코너)side (or corner)	후면back side	모델 출력model output
DD	백화 3개 이상3 or more white flowers	화면 줄감, 얼룩Screen lines and stains	--	--	--	77
DD	흑점black spot	총알 파손bullet damage	--	--	--	77
DLDL	LCD급 잔상, LCD급 백화LCD-level afterimage, LCD level whitening		--	--	--	66
CC	--		파손,액정 들뜸(예: 강화유리 들뜸)Damage, liquid crystal lifting (e.g. tempered glass lifting)	--	파손, 후면 들뜸, 카메라 유리(또는 렌즈) 파손break, rear lifting, Broken camera glass (or lens)	55
CLCL	강잔상, 백화 2개 이하Strong afterimage, 2 or less white flowers		--	--	--	44
BB	중잔상Afterimage		전면 파손급 흠집,전면 흠집Front level damage, scratches on the front	--	--	33
B+B+	--		--	몸체 흠집body scratches	--	22
AA	깨끗clean		깨끗clean	깨끗clean	깨끗clean	1One

위 표 1에서, 중잔상은, 예를 들어, 전자 기기가 흰색 화면을 표시하지만 사용자에게 화면의 특정 영역(예: 화면 상단의 상태 표시 영역)이 흰색이 아닌 색으로 보여지고 특정 영역에 아이콘이 보여지는 현상을 나타낼 수 있다. 강잔상은, 예를 들어, 전자 기기가 흰색 화면을 표시하지만 사용자에게 화면 전체적으로 흰색이 아닌 다른 색이 보여지는 현상을 나타낼 수 있다. LCD급 잔상은 강잔상보다 잔상의 정도가 심한 상태로, 예를 들어, 전자 기기가 흰색 화면을 표시하지만 사용자에게 화면 전체적으로 흰색이 아닌 다른 색이 보여지고 화면에 아이콘이 보여지는 현상을 나타낼 수 있다. In Table 1 above, medium afterimage is, for example, an electronic device that displays a white screen, but the user sees certain areas of the screen (e.g., the status display area at the top of the screen) as non-white and icons in certain areas. It can represent the visible phenomenon. Strong afterimage, for example, may indicate a phenomenon in which an electronic device displays a white screen, but the user sees a color other than white overall on the screen. LCD-level afterimages are a condition in which the degree of afterimages is worse than strong afterimages. For example, an electronic device displays a white screen, but the user may see a color other than white overall on the screen and an icon may appear on the screen. .

제1 내지 제4 딥러닝 평가 모델들 각각은 주어진 입력 이미지에 이미지 세그멘테이션(image segmentation)을 수행할 수 있다.Each of the first to fourth deep learning evaluation models can perform image segmentation on a given input image.

도 4에 딥러닝 평가 모델들 각각의 기반이 되는 딥 뉴럴 네트워크(Neural Network)의 개략적인 구조가 도시된다. 이하, 설명의 편의를 위하여 딥 뉴럴 네트워크의 구조를 예로 들어 설명하지만, 반드시 이에 한정되는 것은 아니며 다양한 구조의 뉴럴 네트워크들이 딥러닝 평가 모델에 사용될 수 있다. Figure 4 shows the schematic structure of a deep neural network that is the basis for each deep learning evaluation model. Hereinafter, for convenience of explanation, the structure of a deep neural network will be described as an example, but it is not necessarily limited to this and neural networks of various structures can be used in deep learning evaluation models.

딥 뉴럴 네트워크는 뉴럴 네트워크를 구현하는 하나의 방식으로서, 복수의 레이어들(layers)을 포함한다. 딥 뉴럴 네트워크는, 예를 들어, 입력 데이터가 인가되는 입력 레이어(Input Layer)(410), 트레이닝을 바탕으로 입력 데이터에 기반한 예측을 통해 도출된 결과 값을 출력하는 출력 레이어(Output Layer)(440), 및 입력 레이어와 출력 레이어 사이의 다중의 은닉 레이어(Hidden Layer)들(420, 430)을 포함할 수 있다. A deep neural network is a method of implementing a neural network and includes multiple layers. A deep neural network, for example, has an input layer (410) to which input data is applied, and an output layer (440) that outputs a result value derived through prediction based on input data based on training. ), and may include multiple

hidden layers

420 and 430 between the input layer and the output layer.

딥 뉴럴 네트워크는 정보를 처리하기 위해 이용되는 알고리즘에 따라, 컨볼루션 신경망(Convolutional Neural Network), 및 리커런트 신경망(Recurrent Neural Network) 등으로 분류될 수 있다. 이하, 뉴럴 네트워크 분야의 일반적인 관행에 따라 입력 레이어를 최하위 레이어, 출력 레이어를 최상위 레이어라고 부르며, 최상위 레이어인 출력 레이어부터 최하위 레이어인 입력 레이어까지 순차적으로 레이어들의 순위를 지정하여 명명할 수 있다. 도 4에서, 은닉 레이어 2는 은닉 레이어 1 및 입력 레이어보다 상위 레이어이고, 출력 레이어보다는 하위 레이어에 해당할 수 있다. Deep neural networks can be classified into convolutional neural networks, recurrent neural networks, etc., depending on the algorithm used to process information. Hereinafter, according to general practice in the field of neural networks, the input layer is called the lowest layer and the output layer is called the highest layer, and the layers can be named by sequentially ranking them from the output layer, which is the highest layer, to the input layer, which is the lowest layer. In Figure 4, hidden layer 2 is a layer higher than hidden layer 1 and the input layer, and may correspond to a lower layer than the output layer.

딥 뉴럴 네트워크에서 인접한 레이어들 사이에서는 상대적으로 상위인 레이어가, 상대적으로 하위인 레이어의 출력 값에 가중치를 곱하고 바이어스를 적용한 값을 인가 받아 소정의 연산 결과를 출력할 수 있다. 이 때, 출력되는 연산 결과는 해당 레이어에 인접한 상위 레이어에 유사한 방식으로 인가될 수 있다.In a deep neural network, among adjacent layers, a relatively higher layer can output a predetermined calculation result by multiplying the output value of the relatively lower layer by a weight and receiving a biased value. At this time, the output operation result can be applied to the upper layer adjacent to the corresponding layer in a similar manner.

뉴럴 네트워크를 트레이닝하는 방식을 예를 들어, 딥러닝(Deep Learning)이라 하며, 상술한 바와 같이 딥러닝에는 컨볼루션 뉴럴 네트워크, 리커런트 뉴럴 네트워크와 같이 다양한 알고리즘이 이용될 수 있다. For example, a method of training a neural network is called deep learning, and as described above, various algorithms such as convolutional neural networks and recurrent neural networks can be used in deep learning.

"뉴럴 네트워크를 트레이닝한다"는 것은 레이어들 간의 가중치(들) 및 바이어스(들)를 결정하고 갱신하는 것, 및/또는 인접한 레이어들 중 서로 다른 레이어에 속하는 복수의 뉴런들 간의 가중치(들) 및 바이어스(들)를 결정하고 갱신하는 것을 모두 포괄하는 의미로 이해될 수 있다. “Training a neural network” means determining and updating the weight(s) and bias(s) between layers, and/or weight(s) between a plurality of neurons belonging to different layers among adjacent layers, and It can be understood as encompassing both determining and updating bias(es).

복수의 레이어들, 복수의 레이어들 간의 계층적 구조, 뉴런들 간의 가중치 및 바이어스를 모두 총칭하여 뉴럴 네트워크의 "연결성(connectivity)"이라 표현할 수 있다. 이에 따라, "뉴럴 네트워크를 트레이닝한다"는 것은 연결성을 구축하고 트레이닝하는 것으로도 이해될 수 있다. The plurality of layers, the hierarchical structure between the plurality of layers, and the weights and biases between neurons can all be collectively expressed as the “connectivity” of a neural network. Accordingly, “training a neural network” can also be understood as building and training connectivity.

뉴럴 네트워크에서 복수의 레이어들 각각은 복수의 노드들(nodes)을 포함할 수 있다. 노드는 뉴럴 네트워크의 뉴런(neuron)에 해당할 수 있다. 용어 "뉴런"은 "노드"라는 용어와 동일한 의미로 사용될 수 있다. In a neural network, each of a plurality of layers may include a plurality of nodes. Nodes may correspond to neurons in a neural network. The term “neuron” may be used interchangeably with the term “node.”

도 4의 딥 뉴럴 네트워크에서 어느 한 레이어에 포함된 복수의 노드들과 인접한 레이어에 포함된 복수의 노드들의 조합들 간에 모두 연결 관계가 형성된 것을 볼 수 있다. 이와 같이 뉴럴 네트워크의 인접한 레이어들에 포함된 모든 노드들의 조합들이 모두 서로 연결된 것을 "완전 연결(fully-connected)"이라 부를 수 있다. 도 4에 도시된 은닉 레이어 2(430)의 노드 3-1은 은닉 레이어 1(420)의 모든 노드들, 즉, 노드 2-1 내지 노드 2-4 모두와 연결되어 각각의 노드들의 출력 값에 대하여 소정의 가중치를 곱한 값을 입력 받을 수 있다. In the deep neural network of FIG. 4, it can be seen that a connection relationship is formed between a plurality of nodes included in one layer and a combination of a plurality of nodes included in an adjacent layer. In this way, a combination of all nodes included in adjacent layers of a neural network can be called “fully-connected.” Node 3-1 of hidden layer 2 (430) shown in FIG. 4 is connected to all nodes of hidden layer 1 (420), that is, all nodes 2-1 to 2-4, and is connected to the output value of each node. You can input a value multiplied by a predetermined weight.

입력 레이어(410)에 입력된 데이터가 복수의 은닉 레이어들(420, 430)을 거쳐 처리됨으로써 출력 레이어(440)를 통해 출력 값이 출력될 수 있다. 이때, 각 노드의 출력 값에 대해 곱해지는 가중치가 클수록 대응하는 두 개의 노드들 간의 연결성이 강화됨을 의미하고, 가중치가 작을수록 두 개의 노드들 간의 연결성이 약화됨을 의미할 수 있다. 가중치가 0인 경우, 두 노드들 간의 연결성이 없음을 의미할 수 있다.Data input to the input layer 410 is processed through a plurality of

hidden layers

420 and 430, so that an output value may be output through the output layer 440. At this time, a larger weight multiplied by the output value of each node may mean that the connectivity between the two corresponding nodes is strengthened, and a smaller weight may mean that the connectivity between the two nodes is weakened. If the weight is 0, it may mean that there is no connectivity between the two nodes.

도 3으로 돌아와서, 외관 상태 평가 모듈(320)은 전자 기기를 촬영하여 획득된 복수의 이미지들 및 딥러닝 평가 모델들을 기초로 전자 기기에 대한 외관 상태 평가를 수행할 수 있다. 예를 들어, 외관 상태 평가 모듈(320)은 딥러닝 평가 모델들을 통해 이미지들로부터 전자 기기의 제1 내지 제4 평가 영역 각각의 결함 상태를 예측한 마스크를 생성할 수 있다. 외관 상태 평가 모듈(320)은 생성된 각 마스크를 기초로 제1 내지 제4 평가 영역 각각의 결함의 등급을 결정할 수 있다. 외관 상태 평가 모듈(320)은 결정된 각 등급을 통해 전자 기기의 외관 상태에 대한 최종 등급을 결정할 수 있다.Returning to FIG. 3 , the appearance condition evaluation module 320 may perform an appearance condition evaluation on the electronic device based on a plurality of images obtained by photographing the electronic device and deep learning evaluation models. For example, the appearance condition evaluation module 320 may generate a mask predicting the defect state of each of the first to fourth evaluation areas of the electronic device from images through deep learning evaluation models. The appearance condition evaluation module 320 may determine the grade of defects in each of the first to fourth evaluation areas based on each generated mask. The exterior condition evaluation module 320 may determine the final grade of the exterior condition of the electronic device through each determined grade.

도 5에 도시된 예에서, 제1 딥러닝 평가 모델(510)은 전면 이미지를 입력 받을 수 있다. 제1 딥러닝 평가 모델(510)은 전면 이미지를 통해 전자 기기의 전면의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제1 마스크를 생성할 수 있다. 여기서, 결함의 정도는 결함 유형과 관련될 수 있다. 예를 들어, 제1 딥러닝 평가 모델(510)은 전면 이미지에 이미지 세그멘테이션을 수행하여 전면 이미지의 픽셀들 각각을 제1 클래스들 중 어느 하나로 분류할 수 있고, 이러한 분류에 따라 제1 마스크를 생성할 수 있다. 아래 표 2는 제1 클래스들의 예시를 보여준다.In the example shown in FIG. 5, the first deep learning evaluation model 510 may receive a front image as input. The first deep learning evaluation model 510 may generate a first mask predicting the defect state of the front of the electronic device (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) through the front image. there is. Here, the degree of defect may be related to the defect type. For example, the first deep learning evaluation model 510 may perform image segmentation on the front image to classify each pixel of the front image into one of the first classes, and generate a first mask according to this classification. can do. Table 2 below shows examples of first classes.

제1-1 클래스(예: 전면 흠집, 전면 파손급 흠집 등)Class 1-1 (e.g. frontal scratches, frontal major scratches, etc.)

제1-2 클래스(예: 전면 파손, 액정 들뜸 등)Class 1-2 (e.g. front breakage, floating liquid crystal, etc.)

제1-3 클래스(예: 전자 기기가 아닌 부분)Classes 1-3 (e.g. non-electronic devices)

제1-4 클래스(예: 전자 기기의 전면)Classes 1-4 (e.g. front of electronic devices)

앞서 촬영 박스 내의 제1 카메라는 전자 기기의 전면 뿐 아니라 전면의 주변을 촬영할 수 있어, 전면 이미지에는 전자 기기가 아닌 부분을 포함할 수 있다.제1 딥러닝 평가 모델(510)은 전면 이미지의 일부 픽셀들을 제1-1클래스로 분류할 수 있고, 나머지 픽셀들 각각을 제1-2 클래스, 제1-3 클래스, 또는 제1-4 클래스로 분류할 수 있다. 이러한 분류를 통해 제1 딥러닝 평가 모델(510)은 제1 마스크를 생성할 수 있다.Previously, the first camera in the shooting box can photograph not only the front of the electronic device but also the surroundings of the front, so the front image may include parts that are not the electronic device. The first deep learning evaluation model 510 is a part of the front image. Pixels can be classified into a 1-1 class, and each of the remaining pixels can be classified into a 1-2 class, a 1-3 class, or a 1-4 class. Through this classification, the first deep learning evaluation model 510 can generate a first mask.

제1 마스크를 시각적으로 표현한 이미지의 예시가 도 6에 도시된다. An example of an image visually representing the first mask is shown in FIG. 6.

도 6에 도시된 예에서, 검은색 영역들(610-1, 610-2, 610-3, 610-4)은 제1 딥러닝 평가 모델(510)이 전면 이미지의 일부 픽셀들을 제1-3 클래스로 분류한 결과(또는 제1 딥러닝 평가 모델(510)이 전면 이미지의 일부 픽셀들이 전자 기기에 해당하지 않는 것으로 예측한 결과)를 나타낼 수 있다. 영역(620)은 제1 딥러닝 평가 모델(510)이 전면 이미지의 일부 픽셀들을 제1-2 클래스로 분류한 결과(또는 제1 딥러닝 평가 모델(510)이 전면 이미지로부터 전자 기기의 전면에 파손이 있는 것으로 예측한 결과)를 나타낼 수 있다. 영역(630)은 제1 딥러닝 평가 모델(510)이 전면 이미지의 일부 픽셀들을 제1-1 클래스로 분류한 결과(또는 제1 딥러닝 평가 모델(510)이 전면 이미지로부터 전자 기기의 전면에 흠집이 있는 것으로 예측한 결과)를 나타낼 수 있다. 영역(640)은 제1 딥러닝 평가 모델(510)이 전면 이미지의 일부 픽셀들을 제1-4 클래스로 분류한 결과(또는 제1 딥러닝 평가 모델(510)이 전면 이미지에서 전자 기기의 전면을 예측한 결과)를 나타낼 수 있다. In the example shown in FIG. 6, the black areas 610-1, 610-2, 610-3, and 610-4 are the first deep learning evaluation model 510 that selects some pixels of the front image as 1-3. It may represent a result of classification into a class (or a result of the first deep learning evaluation model 510 predicting that some pixels in the front image do not correspond to electronic devices). The area 620 is a result of the first deep learning evaluation model 510 classifying some pixels of the front image into the first and second classes (or the first deep learning evaluation model 510 is located on the front of the electronic device from the front image). (results predicted to be damaged) can be displayed. The area 630 is a result of the first deep learning evaluation model 510 classifying some pixels of the front image into the 1-1 class (or the first deep learning evaluation model 510 is located on the front of the electronic device from the front image). (result predicted to have a flaw) can be displayed. The area 640 is a result of the first deep learning evaluation model 510 classifying some pixels of the front image into classes 1 to 4 (or the first deep learning evaluation model 510 classifies the front of the electronic device in the front image). predicted results).

제1 딥러닝 평가 모델(510)은 제1 마스크를 기초로 전면의 결함에 대한 등급을 결정할 수 있다. 예를 들어, 제1 딥러닝 평가 모델(510)은 전면 이미지를 통해 전자 기기의 전면에 파손과 액정 들뜸 중 적어도 하나가 있는 것으로 예측한 경우, 전자 기기의 전면의 결함의 등급을 C 등급(예: 위 표 1의 C 등급)으로 결정할 수 있다. 제1 딥러닝 평가 모델(510)은 C 등급에 대응되는 점수 5를 출력할 수 있다. 제1 딥러닝 평가 모델(510)은 전면 이미지를 통해 전자 기기의 전면에 파손과 흠집이 있는 것으로 예측한 경우, 전자 기기의 전면의 결함의 등급을 C 등급(예: 위 표 1의 C 등급)으로 결정할 수 있다. 제1 딥러닝 평가 모델(510)은 C 등급에 대응되는 점수 5를 출력할 수 있다. 제1 딥러닝 평가 모델(510)은 전면 이미지를 통해 전자 기기의 전면에 흠집 및 전면 파손급 흠집 중 적어도 하나가 있는 것으로 예측한 경우, 전자 기기의 전면의 결함의 등급을 B 등급(예: 위 표 1의 B 등급)으로 결정할 수 있다. 제1 딥러닝 평가 모델(510)은 B 등급에 대응되는 점수 3을 출력할 수 있다. 제1 딥러닝 평가 모델(510)은 전면 이미지를 통해 전자 기기의 전면이 깨끗한 것(또는 전면에 결함이 없는 것)으로 예측한 경우, 전자 기기의 전면의 결함의 등급을 A 등급(예: 위 표 1의 A 등급)으로 결정할 수 있다. 제1 딥러닝 평가 모델(510)은 A 등급에 대응되는 점수 1을 출력할 수 있다.The first deep learning evaluation model 510 may determine a grade for a defect on the front surface based on the first mask. For example, when the first deep learning evaluation model 510 predicts that there is at least one of damage and floating liquid crystal on the front of the electronic device through the front image, the grade of the defect on the front of the electronic device is graded as C (e.g. : It can be determined as Grade C in Table 1 above). The first deep learning evaluation model 510 may output a score of 5 corresponding to a C grade. When the first deep learning evaluation model 510 predicts that there are damages and scratches on the front of the electronic device through the front image, the grade of the defect on the front of the electronic device is graded as C (e.g., grade C in Table 1 above). can be decided. The first deep learning evaluation model 510 may output a score of 5 corresponding to a C grade. If the first deep learning evaluation model 510 predicts that there is at least one of a scratch and a front damage level scratch on the front of the electronic device through the front image, the grade of the defect on the front of the electronic device is graded as B (e.g., above). It can be determined by grade B in Table 1). The first deep learning evaluation model 510 may output a score of 3 corresponding to grade B. If the first deep learning evaluation model 510 predicts that the front of the electronic device is clean (or has no defects on the front) through the front image, the grade of the defect on the front of the electronic device is graded as A (e.g., above). It can be determined by grade A in Table 1). The first deep learning evaluation model 510 may output a score of 1 corresponding to grade A.

제2 딥러닝 평가 모델(520)은 후면 이미지를 입력받을 수 있다. 제2 딥러닝 평가 모델(520)은 후면 이미지를 통해 전자 기기의 후면의 결함 상태(예: 결함의 위치, 결함의 정류, 및 결함의 정도 중 적어도 하나)를 예측한 제2 마스크를 생성할 수 있다. 예를 들어, 제2 딥러닝 평가 모델(520)은 후면 이미지에 이미지 세그멘테이션을 수행할 수 있고, 후면 이미지의 픽셀들 각각을 제2 클래스들 중 어느 하나로 분류할 수 있으며, 이러한 분류를 통해 제2 마스크를 생성할 수 있다. 아래 표 3은 제2 클래스들의 예시를 보여준다.The second deep learning evaluation model 520 can receive a rear image as input. The second deep learning evaluation model 520 may generate a second mask predicting the defect state (e.g., at least one of defect location, defect rectification, and defect degree) of the back of the electronic device through the back image. there is. For example, the second deep learning evaluation model 520 may perform image segmentation on the back image, and classify each pixel of the back image into one of the second classes. Through this classification, the second deep learning evaluation model 520 may perform image segmentation on the back image. You can create a mask. Table 3 below shows examples of second classes.

제2-1 클래스(예: 파손, 후면 들뜸, 카메라 유지(또는 렌즈) 파손 등)Class 2-1 (e.g. breakage, back lifting, camera retention (or lens) breakage, etc.)

제2-2 클래스(예: 전자 기기가 아닌 부분)Class 2-2 (e.g. non-electronic devices)

제2-3 클래스(예: 전자 기기의 후면)Classes 2-3 (e.g. rear of electronic devices)

제2 딥러닝 평가 모델(520)은 제2 마스크를 기초로 후면의 결함에 대한 등급을 결정할 수 있다. 예를 들어, 제2 딥러닝 평가 모델(520)은 후면 이미지를 통해 전자 기기의 후면에 파손, 후면 들뜸, 및 카메라 렌즈 파손 중 적어도 하나가 있는 것으로 예측한 경우, 전자 기기의 후면의 결함의 등급을 C 등급(예: 위 표 1의 C 등급)으로 결정할 수 있다. 제2 딥러닝 평가 모델(520)은 C 등급에 대응되는 점수 5를 출력할 수 있다. 제2 딥러닝 평가 모델(520)은 후면 이미지를 통해 전자 기기의 후면이 깨끗한 것으로 예측한 경우, 전자 기기의 후면의 결함의 등급을 A 등급(예: 위 표 1의 A 등급)으로 결정할 수 있다. 제2 딥러닝 평가 모델(520)은 A 등급에 대응되는 점수 1을 출력할 수 있다. The second deep learning evaluation model 520 may determine the grade of the defect on the back side based on the second mask. For example, if the second deep learning evaluation model 520 predicts that there is at least one of damage, back lifting, and camera lens damage on the back of the electronic device through the back image, the grade of the defect on the back of the electronic device can be determined as C grade (e.g., C grade in Table 1 above). The second deep learning evaluation model 520 may output a score of 5 corresponding to a C grade. If the second deep learning evaluation model 520 predicts that the back of the electronic device is clean through the back image, the grade of the defect on the back of the electronic device may be determined as Grade A (e.g., Grade A in Table 1 above). . The second deep learning evaluation model 520 may output a score of 1 corresponding to grade A.

제3 딥러닝 평가 모델(530)은 측면 이미지들(또는 코너 이미지들)을 입력받을 수 있다. 제3 딥러닝 평가 모델(530)은 측면 이미지들(또는 코너 이미지들)을 통해 전자 기기의 측면들(또는 코너들)의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제3 마스크를 생성할 수 있다. 예를 들어, 제3 딥러닝 평가 모델(530)은 측면 이미지들(또는 코너 이미지들)에 이미지 세그멘테이션을 수행할 수 있고, 각 측면 이미지의 픽셀들 각각을 제3 클래스들 중 어느 하나로 분류할 수 있으며, 이러한 분류를 통해 제3 마스크를 생성할 수 있다. 아래 표 4는 제3 클래스들의 예시를 보여준다.The third deep learning evaluation model 530 may receive side images (or corner images) as input. The third deep learning evaluation model 530 determines the defect state (e.g., location of defect, type of defect, and degree of defect) of the sides (or corners) of the electronic device through side images (or corner images). A third mask predicting (at least one) can be generated. For example, the third deep learning evaluation model 530 may perform image segmentation on side images (or corner images) and classify each pixel of each side image into one of the third classes. And through this classification, a third mask can be created. Table 4 below shows examples of third classes.

제3-1 클래스(예: 흠집)Class 3-1 (e.g. scratches)

제3-2 클래스(예: 전자 기기가 아닌 부분)Class 3-2 (e.g. non-electronic devices)

제3-3 클래스(예: 전자 기기의 측면(또는 코너))Class 3-3 (e.g. the side (or corner) of an electronic device)

제3 딥러닝 평가 모델(530)은 제3 마스크를 기초로 측면들(또는 코너들)의 결함의 등급을 결정할 수 있다. 예를 들어, 제3 딥러닝 평가 모델(530)은 측면 이미지들(또는 코너 이미지들)을 통해 전자 기기의 제1 측면(또는 제1 코너) 에 흠집이 있는 것으로 예측한 경우, 전자 기기의 측면들(또는 코너들)의 결함에 대한 등급을 B+ 등급(예: 위 표 1의 B+ 등급)으로 결정할 수 있다. 제3 딥러닝 평가 모델(530)은 B+ 등급에 대응되는 점수 2를 출력할 수 있다. 제3 딥러닝 평가 모델(530)은 측면 이미지들(또는 코너 이미지들)을 통해 전자 기기의 측면들(또는 코너들)이 깨끗한 것으로 예측한 경우, 전자 기기의 측면들(또는 코너들)의 결함에 대한 등급을 A 등급(예: 위 표 1의 A 등급)으로 결정할 수 있다. 제3 딥러닝 평가 모델(530)은 A 등급에 대응되는 점수 1을 출력할 수 있다. The third deep learning evaluation model 530 may determine the grade of defects in the sides (or corners) based on the third mask. For example, when the third deep learning evaluation model 530 predicts that there is a scratch on the first side (or first corner) of the electronic device through side images (or corner images), the side of the electronic device The grade for defects in corners (or corners) can be determined as a B+ grade (e.g., B+ grade in Table 1 above). The third deep learning evaluation model 530 may output a score of 2 corresponding to a B+ grade. When the third deep learning evaluation model 530 predicts that the sides (or corners) of the electronic device are clean through the side images (or corner images), the sides (or corners) of the electronic device are defective. The grade for can be determined as grade A (e.g. grade A in Table 1 above). The third deep learning evaluation model 530 may output a score of 1 corresponding to grade A.

제4 딥러닝 평가 모델(540)은 전자 기기에 화면 이미지(예: 단색 화면 이미지)를 입력 받을 수 있다. 제4 딥러닝 평가 모델(540)은 화면 이미지를 통해 전자 기기의 화면의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제4 마스크를 생성할 수 있다. 예를 들어, 제4 딥러닝 평가 모델(540)은 화면 이미지에 이미지 세그멘테이션을 수행할 수 있고, 화면 이미지의 픽셀들 각각을 제4 클래스들 중 어느 하나로 분류할 수 있으며, 이러한 분류를 통해 제4 마스크를 생성할 수 있다. 아래 표 5는 제4 클래스들의 예시를 보여준다.The fourth deep learning evaluation model 540 can receive a screen image (e.g., a single-color screen image) as input to an electronic device. The fourth deep learning evaluation model 540 can generate a fourth mask that predicts the defect state (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) of the screen of the electronic device through the screen image. there is. For example, the fourth deep learning evaluation model 540 can perform image segmentation on the screen image and classify each pixel of the screen image into one of the fourth classes, and through this classification, the fourth class You can create a mask. Table 5 below shows examples of the fourth classes.

제4-1 클래스(예: 백화 3개 이상, 화면 줄감, 얼룩, 흑점, 총알 파손 등)Class 4-1 (e.g. 3 or more white spots, screen lines, stains, black spots, bullet damage, etc.)

제4-2 클래스(예: LCD급 잔상, LCD급 백화 등)Class 4-2 (e.g. LCD-class afterimage, LCD-class whitening, etc.)

제4-3 클래스(예: 강잔상, 백화 2개 이하 등)Class 4-3 (e.g. strong afterimage, 2 or less white flowers, etc.)

제4-4 클래스(예: 중잔상 등)Class 4-4 (e.g. medium afterimage, etc.)

제4-5 클래스(예: 전자 기기가 아닌 부분)Classes 4-5 (e.g. non-electronic devices)

제4-6 클래스(예: 전자 기기의 화면)Class 4-6 (e.g. screens of electronic devices)

제4 딥러닝 평가 모델(540)은 제4 마스크를 기초로 전자 기기의 화면의 결함에 대한 등급을 결정할 수 있다. 예를 들어, 제4 딥러닝 평가 모델(540)은 화면 이미지를 통해 전자 기기의 화면에 백화 3개 이상, 화면 줄감, 흑점, 총알 파손 중 적어도 하나가 있는 것으로 예측한 경우, 전자 기기의 화면의 결함의 등급을 D 등급(예: 위 표 1의 D 등급)으로 결정할 수 있다. 제4 딥러닝 평가 모델(540)은 D 등급에 대응되는 점수 7을 출력할 수 있다. 제4 딥러닝 평가 모델(540)은 화면 이미지를 통해 전자 기기의 화면에 LCD급 잔상 및 LCD급 백화 중 적어도 하나가 있는 것으로 예측한 경우, 전자 기기의 화면의 결함의 등급을 DL 등급(예: 위 표 1의 DL 등급)으로 결정할 수 있다. 제4 딥러닝 평가 모델(540)은 DL 등급에 대응되는 점수 6을 출력할 수 있다. 제4 딥러닝 평가 모델(540)은 화면 이미지를 통해 전자 기기의 화면에 강잔상 및 백화 2개 이하 중 적어도 하나가 있는 것으로 예측한 경우, 전자 기기의 화면의 결함에 대한 등급을 CL 등급(예: 위 표 1의 CL 등급)으로 결정할 수 있다. 제4 딥러닝 평가 모델(540)은 CL 등급에 대응되는 점수 4를 출력할 수 있다. 제4 딥러닝 평가 모델(540)은 화면 이미지를 통해 전자 기기의 화면에 중잔상이 있는 것으로 예측한 경우, 전자 기기의 화면의 결함의 등급을 B 등급(예: 위 표 1의 B 등급)으로 결정할 수 있다. 제4 딥러닝 평가 모델(540)은 B 등급에 대응되는 점수 3을 출력할 수 있다. 제4 딥러닝 평가 모델(540)은 화면 이미지를 통해 전자 기기의 화면이 깨끗한 것으로 예측한 경우, 전자 기기의 화면의 결함의 등급을 A 등급(예: 위 표 1의 A 등급)으로 결정할 수 있다. 제4 딥러닝 평가 모델(540)은 A 등급에 대응되는 점수 1을 출력할 수 있다. The fourth deep learning evaluation model 540 may determine a grade for a defect on the screen of an electronic device based on the fourth mask. For example, if the fourth deep learning evaluation model 540 predicts through the screen image that the screen of the electronic device has at least one of three or more white spots, screen lines, black spots, or bullet damage, the screen of the electronic device The grade of the defect can be determined as grade D (e.g. grade D in Table 1 above). The fourth deep learning evaluation model 540 can output a score of 7 corresponding to the D grade. When the fourth deep learning evaluation model 540 predicts that there is at least one of LCD-class afterimage and LCD-class whitening on the screen of the electronic device through the screen image, the grade of defect on the screen of the electronic device is classified into a DL grade (e.g. It can be determined by the DL grade in Table 1 above). The fourth deep learning evaluation model 540 can output a score of 6 corresponding to the DL grade. If the fourth deep learning evaluation model 540 predicts that there is at least one of two or less strong afterimages and whitening on the screen of the electronic device through the screen image, the grade for the defect on the screen of the electronic device is a CL grade (e.g. : It can be determined by the CL grade in Table 1 above). The fourth deep learning evaluation model 540 can output a score of 4 corresponding to the CL grade. If the fourth deep learning evaluation model 540 predicts that there is a medium afterimage on the screen of the electronic device through the screen image, the defect grade on the screen of the electronic device is graded as B (e.g., grade B in Table 1 above). You can decide. The fourth deep learning evaluation model 540 can output a score of 3 corresponding to grade B. If the fourth deep learning evaluation model 540 predicts that the screen of the electronic device is clean through the screen image, the defect grade of the screen of the electronic device may be determined as grade A (e.g., grade A in Table 1 above). . The fourth deep learning evaluation model 540 may output a score of 1 corresponding to grade A.

도 3으로 돌아와서, 가치 결정 모듈(330)은 전자 기기의 외관 상태 평가의 결과 및/또는 전자 기기의 내부 상태 평가의 결과를 기초로 전자 기기의 가치를 결정할 수 있다. Returning to FIG. 3 , the value determination module 330 may determine the value of the electronic device based on the result of evaluating the external condition of the electronic device and/or the result of evaluating the internal state of the electronic device.

일 실시 예에 있어서, 가치 결정 모듈(330)은 제1 내지 제4 딥러닝 평가 모델(510 내지 540) 각각에 의해 결정된 등급 중 최소 등급을 전자 기기의 외관 상태에 대한 최종 등급으로 결정할 수 있다. 등급 A가 가장 높고 등급 B+는 등급 A보다 낮고 등급 B보다는 높을 수 있다. 등급 CL은 등급 B보다 낮고 등급 C보다 높을 수 있다. 등급 D가 가장 낮을 수 있다. 일례로, 제1 딥러닝 평가 모델(510)에 의해 결정된 등급이 C 등급이고, 제2 딥러닝 평가 모델(520)에 의해 결정된 등급이 B+ 등급이며, 제3 딥러닝 평가 모델(530)에 의해 결정된 등급이 C 등급이고, 제4 딥러닝 평가 모델(540)에 의해 결정된 등급이 CL 등급일 수 있다. 제1 내지 제4 딥러닝 평가 모델(510 내지 540) 각각에 의해 결정된 등급 중 제1 딥러닝 평가 모델(510)에 의해 결정된 C 등급이 최소 등급일 수 있어, 가치 결정 모듈(330)은 전자 기기의 외관 상태에 대한 최종 등급을 C 등급으로 결정할 수 있다. 실시 예에 따라, 등급이 낮을수록 제1 내지 제4 딥러닝 평가 모델(510 내지 540) 각각에 의해 출력되는 점수는 높을 수 있다. 가치 결정 모듈(330)은 제1 내지 제4 딥러닝 평가 모델(510 내지 540) 각각에 의해 출력된 점수 중 최대 점수를 전자 기기의 외관 평가에 대한 최종 점수로 결정할 수 있다.In one embodiment, the value determination module 330 may determine the minimum grade among the grades determined by each of the first to fourth deep learning evaluation models 510 to 540 as the final grade for the external condition of the electronic device. Grade A is the highest, Grade B+ can be lower than Grade A and higher than Grade B. Grade CL may be lower than Grade B and higher than Grade C. Grade D may be the lowest. For example, the grade determined by the first deep learning evaluation model 510 is a grade C, the grade determined by the second deep learning evaluation model 520 is a grade B+, and the grade determined by the third deep learning evaluation model 530 is a grade B+. The determined grade may be a C grade, and the grade determined by the fourth deep learning evaluation model 540 may be a CL grade. Among the grades determined by each of the first to fourth deep learning evaluation models 510 to 540, the C grade determined by the first deep learning evaluation model 510 may be the minimum grade, so the value determination module 330 is an electronic device. The final grade for the appearance condition can be determined as grade C. Depending on the embodiment, the lower the grade, the higher the score output by each of the first to fourth deep learning evaluation models 510 to 540. The value determination module 330 may determine the maximum score among the scores output by each of the first to fourth deep learning evaluation models 510 to 540 as the final score for the appearance evaluation of the electronic device.

일 실시 예에 있어서, 가치 결정 모듈(330)은 제1 내지 제4 딥러닝 평가 모델(510 내지 540) 각각에 의해 결정된 등급(또는 점수)에 가중치를 적용할 수 있고, 각 가중치가 적용된 등급(또는 점수)을 이용하여 전자 기기의 외관 상태에 대한 최종 등급(또는 최종 점수)을 결정할 수 있다. 일례로, 가치 결정 모듈(330)은 제1 딥러닝 평가 모델(510)에 의해 결정된 등급(또는 점수)에 제1 가중치를 적용할 수 있고, 제2 딥러닝 평가 모델(520)에 의해 결정된 등급(또는 점수)에 제2 가중치를 적용할 수 있으며, 제3 딥러닝 평가 모델(530)에 의해 결정된 등급(또는 점수)에 제3 가중치를 적용할 수 있고, 제4 딥러닝 평가 모델(540)에 의해 결정된 등급에 제4 가중치를 적용할 수 있다. 여기서, 제1 가중치 내지 제4 가중치 각각은 0보다 크고 1보다 작을 수 있다. 가치 결정 모듈(330)은 제1 내지 제4 가중치 각각이 적용된 등급(또는 점수)을 합산하여 전자 기기의 외관 상태에 대한 최종 등급(또는 최종 점수)을 결정할 수 있다.In one embodiment, the value determination module 330 may apply weights to the grades (or scores) determined by each of the first to fourth deep learning evaluation models 510 to 540, and the grade to which each weight is applied ( or score) can be used to determine the final grade (or final score) for the external condition of the electronic device. For example, the value determination module 330 may apply a first weight to the grade (or score) determined by the first deep learning evaluation model 510, and the grade determined by the second deep learning evaluation model 520. A second weight may be applied to the (or score), and a third weight may be applied to the grade (or score) determined by the third deep learning evaluation model 530, and the fourth deep learning evaluation model 540 A fourth weight can be applied to the grade determined by . Here, each of the first to fourth weights may be greater than 0 and less than 1. The value determination module 330 may determine the final grade (or final score) for the external condition of the electronic device by adding up the grades (or scores) to which each of the first to fourth weights are applied.

가치 결정 모듈(330)은 전자 기기의 외관 상태 평가의 결과(예: 전자 기기의 외관 상태에 대한 최종 등급(또는 최종 점수))를 기초로 제1 금액을 결정할 수 있고, 전자 기기의 내부 상태 평가의 결과를 기초로 제2 금액을 결정할 수 있다. 가치 결정 모듈(330)은 전자 기기의 기준 가격(예: 전자 기기와 동일 종류의 전자 기기의 가장 높은 중고 가격)에서 제1 금액과 제2 금액을 차감하여 전자 기기의 가격을 산출할 수 있다. 일례로, 가치 결정 모듈(330)은 중고 시세 데이터베이스와 연동하여 전자 기기의 기준 가격을 획득할 수 있다. 가치 결정 모듈(330)은 외관 상태의 등급과 금액이 서로 맵핑된 제1 테이블로부터, 전자 기기의 외관 상태에 대한 최종 등급과 맵핑된 제1 금액을 획득할 수 있다. 가치 결정 모듈(330)은 내부 상태의 등급과 금액이 서로 맵핑된 제2 테이블로부터, 전자 기기의 내부 상태 평가의 결과와 맵핑된 제2 금액을 획득할 수 있다. 가치 결정 모듈(330)은 기준 금액에서 제1 금액 및 제2 금액을 차감하여 전자 기기의 가격을 산출할 수 있다.The value determination module 330 may determine the first amount based on a result of evaluating the external condition of the electronic device (e.g., a final grade (or final score) for the external condition of the electronic device) and evaluating the internal condition of the electronic device. The second amount can be determined based on the results of . The value determination module 330 may calculate the price of the electronic device by subtracting the first amount and the second amount from the reference price of the electronic device (e.g., the highest used price of the same type of electronic device). For example, the value determination module 330 may obtain a standard price of an electronic device by linking it with a used market price database. The value determination module 330 may obtain the final grade of the external condition of the electronic device and the mapped first amount of money from the first table in which the grade of the external condition and the amount are mapped to each other. The value determination module 330 may obtain a second amount of money mapped to the result of evaluating the internal state of the electronic device from a second table in which the level of the internal state and the amount are mapped to each other. The value determination module 330 may calculate the price of the electronic device by subtracting the first amount and the second amount from the standard amount.

가치 결정 모듈(330)은, 도 1에 도시된 예의 경우, 무인 매입 장치(110)로 전자 기기의 가치(예: 가격)를 전송할 수 있다. 무인 매입 장치(110)는 디스플레이를 통해 전자 기기의 가치(예: 가격)를 사용자에게 보여줄 수 있다. In the example shown in FIG. 1, the value determination module 330 may transmit the value (eg, price) of the electronic device to the unmanned purchase device 110. The unmanned purchase device 110 may show the value (eg, price) of the electronic device to the user through a display.

가치 결정 모듈(330)은, 도 2에 도시된 예의 경우, 무인 매입 장치(110)의 디스플레이에 전자 기기의 가치(예: 가격)를 표시할 수 있다. In the example shown in FIG. 2 , the value determination module 330 may display the value (eg, price) of the electronic device on the display of the unmanned purchase device 110 .

일 실시 예에 있어서, 외관 상태 평가 모듈(320)은 이미지들(예: 전면 이미지, 후면 이미지, 측면 이미지들, 화면 이미지) 각각에 결함으로 오인될 하나 이상의 객체가 포함되어 있는지 여부를 판단할 수 있다. 여기서, 객체는 전자 기기의 화면 상의 플로팅 아이콘에 대응되는 제1 객체 및 전자 기기의 부착물(예: 보호 필름, 스티커 등)에 대응되는 제2 객체 중 적어도 하나를 포함할 수 있다. 플로팅 아이콘에 대응되는 제1 객체는 전자 기기의 화면 상의 플로팅 아이콘이 촬영됨으로써 이미지에 포함된 객체를 나타낼 수 있다. 플로팅 아이콘은, 예를 들어, 보조 터치(assistive touch)의 플로팅 아이콘, 특정 태스크를 트리거링 하기 위한 플로팅 아이콘 등을 포함할 수 있으나 이에 제한되지 않는다. 전자 기기의 부착물에 대응되는 제2 객체는 전자 기기의 부착물이 촬영됨으로써 이미지에 포함된 객체를 나타낼 수 있다. In one embodiment, the appearance condition evaluation module 320 may determine whether each of the images (e.g., front image, back image, side image, screen image) includes one or more objects that would be mistaken for a defect. there is. Here, the object may include at least one of a first object corresponding to a floating icon on the screen of the electronic device and a second object corresponding to an attachment (eg, protective film, sticker, etc.) of the electronic device. The first object corresponding to the floating icon may represent an object included in the image by photographing the floating icon on the screen of the electronic device. Floating icons may include, but are not limited to, for example, a floating icon for assistive touch, a floating icon for triggering a specific task, etc. The second object corresponding to the attachment of the electronic device may represent an object included in the image by photographing the attachment of the electronic device.

외관 상태 평가 모듈(320)은 결함으로 오인될 객체가 포함된 이미지가 있는 경우, 객체에 대한 처리를 수행할 수 있다. 일례로, 외관 상태 평가 모듈(320)은 객체에 마스킹(masking) 처리를 수행할 수 있으나 이에 제한되지 않는다. 외관 상태 평가 모듈(320)은 객체가 처리된 이미지, 객체가 포함되지 않은 나머지 이미지들, 및 딥러닝 평가 모델들(510 내지 540)을 기초로 외관 상태 평가를 수행할 수 있다. 외관 상태 평가 모듈(320)은 딥러닝 평가 모델들(510 내지 540)을 통해 객체가 처리된 이미지 및 객체가 포함되지 않은 나머지 이미지들로부터 전자 기기의 평가 영역들 각각의 결함 상태를 예측한 마스크를 생성할 수 있고, 생성된 각 마스크를 기초로 평가 영역들 각각의 결함에 대한 등급을 결정할 수 있으며, 결정된 각 등급을 통해 전자 기기의 외관 상태에 대한 최종 등급을 결정할 수 있다.If there is an image containing an object that would be mistaken for a defect, the appearance condition evaluation module 320 may perform processing on the object. For example, the appearance condition evaluation module 320 may perform masking processing on an object, but is not limited thereto. The appearance condition evaluation module 320 may perform appearance condition evaluation based on the image in which the object has been processed, the remaining images that do not include the object, and the deep learning evaluation models 510 to 540. The appearance state evaluation module 320 creates a mask predicting the defect state of each evaluation area of the electronic device from the image in which the object has been processed and the remaining images without the object through the deep learning evaluation models 510 to 540. can be generated, and a grade for a defect in each of the evaluation areas can be determined based on each generated mask, and a final grade for the external appearance of the electronic device can be determined through each determined grade.

외관 상태 평가 모듈(320)은 전자 기기를 촬영하여 획득된 이미지들 중에서 상술한 객체가 포함된 이미지가 없는 것으로 판단할 수 있다. 이 경우, 위에서 설명한 것과 같이, 외관 상태 평가 모듈(320)은 이미지들과 딥러닝 평가 모델들(510 내지 540)을 기초로 외관 상태 평가를 수행할 수 있다.The appearance condition evaluation module 320 may determine that there is no image including the above-described object among images obtained by photographing an electronic device. In this case, as described above, the appearance condition evaluation module 320 may perform appearance condition evaluation based on images and deep learning evaluation models 510 to 540.

외관 상태 평가 모듈(320)은 전자 기기를 촬영하여 획득된 이미지들 중 딥러닝 평가 모델들 중 하나 이상이 분석하지 못할 정도의 이미지(이하, "모델 분석 불가 이미지"라 지칭함)가 있는지 여부를 판단할 수 있다. 일례로, 외관 상태 평가 모듈(320)은 전자 기기를 촬영하여 획득된 이미지들 중 빛 반사가 일정 수준 이상 존재하는 이미지, 카메라 초점이 맞지 않는 이미지 등을 모델 분석 불가 이미지로 결정할 수 있다. 외관 상태 평가 모듈(320)은 모델 분석 불가 이미지가 있는 경우, 운영자에게 전자 기기의 외관 상태 평가를 요청할 수 있다. The appearance condition evaluation module 320 determines whether there are images that cannot be analyzed by one or more of the deep learning evaluation models (hereinafter referred to as “model-analyzable images”) among the images obtained by photographing the electronic device. can do. For example, the exterior condition evaluation module 320 may determine, among images obtained by photographing an electronic device, images in which light reflection exists above a certain level, images in which the camera is out of focus, etc., as images that cannot be model analyzed. If there is an image that cannot be model analyzed, the exterior condition evaluation module 320 may request the operator to evaluate the exterior condition of the electronic device.

일 실시 예에 있어서, 전자 기기 가치 평가 장치(130)는 바(bar) 타입의 전자 기기의 가치를 평가할 수 있다. 이 경우, 앞서 설명한 것과 같이, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 바 타입의 전자 기기를 촬영하여 획득된 복수의 이미지들 및 제1 내지 제4 딥러닝 평가 모델들(510~540)을 기초로 바 타입의 전자 기기에 대한 외관 상태 평가를 수행할 수 있다.In one embodiment, the electronic device value evaluation device 130 may evaluate the value of a bar-type electronic device. In this case, as described above, the electronic device value evaluation device 130 (or the appearance condition evaluation module 320) uses a plurality of images obtained by photographing a bar-type electronic device and the first to fourth deep learning evaluations. Based on the models 510 to 540, the external condition of the bar-type electronic device can be evaluated.

전자 기기 가치 평가 장치(130)는 형태가 변경 가능한 전자 기기(예: 폴더블, 롤러블 등)의 가치를 평가할 수 있다. 형태가 변경 가능한 전자 기기는 제1 형태(예: 언폴드(unfolded) 형태 또는 축소(contraction) 형태)를 가질 수 있고, 조작에 의해 제2 형태(예: 접힌(folded) 형태 또는 확장(expansion) 형태)로 변경될 수 있다. 일례로, 폴더블 전자 기기는 언폴드 형태에 있을 수 있고, 조작에 의해 형태가 접힌 형태로 변경될 수 있다. 롤러블 전자 기기는 축소 형태에 있을 수 있고, 조작에 의해 형태가 확장 형태로 변경될 수 있다. 축소 형태는 롤러블 디스플레이이가 기기 안으로 롤인(roll in)되는 상태를 나타낼 수 있고 확장 형태는 롤러블 디스플레이가 기기로부터 롤아웃(roll out)되는 상태를 나타낼 수 있다.The electronic device value evaluation device 130 can evaluate the value of electronic devices whose shape can be changed (eg, foldable, rollable, etc.). An electronic device that can change its shape may have a first shape (e.g., an unfolded shape or a contracted shape) and a second shape (e.g., a folded shape or expansion) by manipulation. form) can be changed. For example, a foldable electronic device may be in an unfolded form, and its shape may be changed to a folded form through manipulation. The rollable electronic device may be in a collapsed form, and the shape may be changed to an expanded form by manipulation. The collapsed form may represent a state in which the rollable display is rolled in into the device, and the expanded form may represent a state in which the rollable display is rolled out from the device.

예를 들어, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 언폴드 형태에 있는 폴더블 전자 기기를 촬영하여 획득한 복수의 이미지들 및 제1 내지 제4 딥러닝 평가 모델들(510~540)을 기초로 언폴드 형태에 있는 폴더블 전자 기기의 각 평가 영역의 결함의 등급을 결정할 수 있다. For example, the electronic device value evaluation device 130 (or the external condition evaluation module 320) uses a plurality of images obtained by photographing a foldable electronic device in an unfolded form and the first to fourth deep learning evaluations. Based on the models 510 to 540, the level of defects in each evaluation area of the foldable electronic device in the unfolded form can be determined.

무인 매입 장치(110)는 촬영 박스 내에 있는 폴더블 전자 기기를 언폴드 형태에서 접힌 형태로 변경할 수 있다. 또는 무인 매입 장치(110)는 사용자에게 폴더블 전자 기기를 언폴드 형태에서 접힌 형태로 변경한 뒤 접힌 형태에 있는 전자 기기를 무인 매입 장치(110)에 재투입할 것을 요청할 수 있다. 폴더블 전자 기기가 언폴드 형태에서 접힌 형태로 변경되면 접힌 부분이 측면을 형성할 수 있고, 폴더블 전자 기기의 서브 화면이 활성화될 수 있다. 무인 매입 장치(110)는 촬영 박스 내의 복수의 제3 카메라들 중 하나 이상을 통해 폴더블 전자 기기의 접힌 부분에 해당하는 측면을 촬영함으로써 이미지(이하, 접힌 측면의 이미지)를 획득할 수 있다. 무인 매입 장치(110)는 촬영 박스 내의 제1 카메라를 통해 폴더블 전자 기기의 서브 화면을 촬영함으로써 이미지(이하, 서브 화면 이미지)를 획득할 수 있다.The unmanned purchase device 110 can change the foldable electronic device in the shooting box from the unfolded form to the folded form. Alternatively, the unmanned purchase device 110 may request the user to change the foldable electronic device from the unfolded form to the folded form and then reinsert the electronic device in the folded form into the unmanned purchase device 110. When a foldable electronic device changes from an unfolded form to a folded form, the folded portion may form a side surface, and the sub-screen of the foldable electronic device may be activated. The unmanned embedding device 110 may obtain an image (hereinafter referred to as an image of the folded side) by photographing the side surface corresponding to the folded portion of the foldable electronic device through one or more of the plurality of third cameras in the shooting box. The unmanned embedding device 110 may acquire an image (hereinafter referred to as a sub-screen image) by photographing a sub-screen of the foldable electronic device through the first camera in the capturing box.

전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 접힌 측면의 이미지와 제5 딥러닝 평가 모델을 기초로 폴더블 전자 기기의 제5 평가 영역(예: 접힌 부분에 해당하는 측면)을 평가할 수 있다. 여기서, 제5 딥러닝 평가 모델은 폴더블 전자 기기의 제5 평가 영역의 결함을 검출하고 검출된 결함(또는 제5 평가 영역)의 등급을 결정하는 딥러닝 평가 모델일 수 있다. 일례로, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 접힌 측면의 이미지를 제5 딥러닝 평가 모델에 입력할 수 있다. 제5 딥러닝 평가 모델은 접힌 측면의 이미지를 통해 폴더블 전자 기기의 제5 평가 영역의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제5 마스크를 생성할 수 있다. 제5 딥러닝 평가 모델은 제5 마스크를 기초로 폴더블 전자 기기의 제5 평가 영역의 결함에 대한 등급을 결정할 수 있다.The electronic device value evaluation device 130 (or the appearance condition evaluation module 320) is based on the image of the folded side and the fifth deep learning evaluation model to determine the fifth evaluation area (e.g., corresponding to the folded portion) of the foldable electronic device. side) can be evaluated. Here, the fifth deep learning evaluation model may be a deep learning evaluation model that detects defects in the fifth evaluation area of the foldable electronic device and determines the grade of the detected defect (or fifth evaluation area). For example, the electronic device value evaluation device 130 (or the external condition evaluation module 320) may input an image of the folded side into the fifth deep learning evaluation model. The fifth deep learning evaluation model is a fifth mask that predicts the defect state (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) of the fifth evaluation area of the foldable electronic device through the image of the folded side. can be created. The fifth deep learning evaluation model can determine the grade for defects in the fifth evaluation area of the foldable electronic device based on the fifth mask.

전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 서브 화면 이미지와 제6 딥러닝 평가 모델을 기초로 폴더블 전자 기기의 제6 평가 영역(예: 서브 화면)을 평가할 수 있다. 여기서, 제6 딥러닝 평가 모델은 폴더블 전자 기기의 제6 평가 영역의 결함을 검출하고 검출된 결함(또는 제6 평가 영역)의 등급을 결정하는 딥러닝 평가 모델일 수 있다. 일례로, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 서브 화면 이미지를 제6 딥러닝 평가 모델에 입력할 수 있다. 제6 딥러닝 평가 모델은 서브 화면 이미지를 통해 폴더블 전자 기기의 제6 평가 영역의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제6 마스크를 생성할 수 있다. 제6 딥러닝 평가 모델은 제6 마스크를 기초로 폴더블 전자 기기의 제6 평가 영역의 결함에 대한 등급을 결정할 수 있다. 실시 예에 따라, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 서브 화면 이미지와 위에서 설명한 제4 딥러닝 평가 모델(540)을 기초로 전자 기기의 제6 평가 영역(예: 서브 화면)의 결함의 등급을 결정할 수 있다.The electronic device value evaluation device 130 (or the appearance condition evaluation module 320) can evaluate the sixth evaluation area (e.g., sub-screen) of the foldable electronic device based on the sub-screen image and the sixth deep learning evaluation model. there is. Here, the sixth deep learning evaluation model may be a deep learning evaluation model that detects defects in the sixth evaluation area of the foldable electronic device and determines the grade of the detected defect (or sixth evaluation area). For example, the electronic device value evaluation device 130 (or the external condition evaluation module 320) may input a sub-screen image into the sixth deep learning evaluation model. The sixth deep learning evaluation model uses a sixth mask that predicts the defect state (e.g., at least one of the defect location, defect type, and defect degree) of the sixth evaluation area of the foldable electronic device through the sub-screen image. can be created. The sixth deep learning evaluation model can determine the grade for defects in the sixth evaluation area of the foldable electronic device based on the sixth mask. Depending on the embodiment, the electronic device value evaluation device 130 (or the appearance condition evaluation module 320) is based on the sub-screen image and the fourth deep learning evaluation model 540 described above. The sixth evaluation area ( For example, the grade of the defect (sub screen) can be determined.

전자 기기 가치 평가 장치(130)(또는 가치 결정 모듈(330))은 폴더블 전자 기기의 외관 상태 평가의 결과(예: 제1 내지 제6 딥러닝 평가 모델 각각에 의해 결정된 등급) 및/또는 폴더블 전자 기기의 내부 상태 평가의 결과를 기초로 폴더블 전자 기기의 가치를 결정할 수 있다.The electronic device value evaluation device 130 (or value determination module 330) provides a result of evaluating the appearance condition of the foldable electronic device (e.g., a grade determined by each of the first to sixth deep learning evaluation models) and/or a folder. The value of a foldable electronic device can be determined based on the results of evaluating the internal state of the foldable electronic device.

다른 예를 들어, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 축소 형태의 롤러블 전자 기기를 촬영하여 획득한 복수의 이미지들 및 제1 내지 제4 딥러닝 평가 모델들(510~540)을 기초로 축소 형태의 롤러블 전자 기기의 각 평가 영역의 결함의 등급을 결정할 수 있다. For another example, the electronic device value evaluation device 130 (or the appearance condition evaluation module 320) uses a plurality of images obtained by photographing a miniature rollable electronic device and first to fourth deep learning evaluation models. Based on the fields 510 to 540, the level of defects in each evaluation area of the miniature rollable electronic device can be determined.

무인 매입 장치(110)는 촬영 박스 내에 있는 롤러블 전자 기기를 축소 형태에서 확장 형태로 변경할 수 있다. 또는 무인 매입 장치(110)는 사용자에게 롤러블 전자 기기를 축소 형태에서 확장 형태로 변경한 뒤 확장 형태에 있는 전자 기기를 무인 매입 장치(110)에 재투입할 것을 요청할 수 있다. 롤러블 전자 기기가 축소 형태에서 확장 형태로 변경되면, 화면과 측면이 확장될 수 있다. 무인 매입 장치(110)는 촬영 박스 내의 복수의 제3 카메라들 중 하나 이상을 통해, 확장된 측면을 촬영함으로써 이미지(이하, 확장된 측면의 이미지)를 획득할 수 있다. 무인 매입 장치(110)는 촬영 박스 내의 제1 카메라를 통해 전자 기기의 확장된 화면을 촬영함으로써 이미지(이하, 확장된 화면의 이미지)를 획득할 수 있다.The unmanned embedding device 110 can change the rollable electronic device in the shooting box from a reduced form to an expanded form. Alternatively, the unmanned embedding device 110 may request the user to change the rollable electronic device from a reduced form to an expanded form and then reinsert the electronic device in the expanded form into the unmanned embedding device 110. When a rollable electronic device changes from a reduced form to an expanded form, the screen and sides can be expanded. The unmanned embedding device 110 may acquire an image (hereinafter referred to as an image of the expanded side) by photographing the expanded side through one or more of the plurality of third cameras in the shooting box. The unmanned embedding device 110 may acquire an image (hereinafter referred to as an image of the expanded screen) by photographing the expanded screen of the electronic device through the first camera in the shooting box.

전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 확장된 측면의 이미지와 제7 딥러닝 평가 모델을 기초로 롤러블 전자 기기의 제7 평가 영역(예: 확장된 측면)을 평가할 수 있다. 여기서, 제7 딥러닝 평가 모델은 롤러블 전자 기기의 제7 평가 영역의 결함을 검출하고 검출된 결함(또는 제7 평가 영역)의 등급을 결정하는 딥러닝 평가 모델일 수 있다. 일례로, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 확장된 측면의 이미지를 제7 딥러닝 평가 모델에 입력할 수 있다. 제7 딥러닝 평가 모델은 확장된 측면의 이미지를 통해 롤러블 전자 기기의 제7 평가 영역의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제7 마스크를 생성할 수 있다. 제7 딥러닝 평가 모델은 제7 마스크를 기초로 롤러블 전자 기기의 제7 평가 영역의 결함에 대한 등급을 결정할 수 있다. 실시 예에 따라, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 확장된 측면의 이미지와 제3 딥러닝 평가 모델(530)을 기초로 롤러블 전자 기기의 제7 평가 영역(예: 확장된 측면)을 평가할 수 있다.The electronic device value evaluation device 130 (or the appearance condition evaluation module 320) is a seventh evaluation area (e.g., the expanded side) of the rollable electronic device based on the image of the expanded side and the seventh deep learning evaluation model. can be evaluated. Here, the seventh deep learning evaluation model may be a deep learning evaluation model that detects defects in the seventh evaluation area of the rollable electronic device and determines the grade of the detected defect (or seventh evaluation area). For example, the electronic device value evaluation device 130 (or the external condition evaluation module 320) may input an image of the expanded side surface into the seventh deep learning evaluation model. The seventh deep learning evaluation model predicts the defect state (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) of the seventh evaluation area of the rollable electronic device through the extended side image. You can create a mask. The seventh deep learning evaluation model can determine the grade of a defect in the seventh evaluation area of the rollable electronic device based on the seventh mask. Depending on the embodiment, the electronic device value evaluation device 130 (or the external condition evaluation module 320) performs a seventh evaluation of the rollable electronic device based on the expanded side image and the third deep learning evaluation model 530. Areas (e.g. extended aspects) can be assessed.

전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 확장된 화면의 이미지와 제4 딥러닝 평가 모델(540)을 기초로 롤러블 전자 기기의 제8 평가 영역(예: 확장된 화면)을 평가할 수 있다. 일례로, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 확장된 화면의 이미지를 제4 딥러닝 평가 모델(540)에 입력할 수 있다. 위에서 설명한 것과 같이, 제4 딥러닝 평가 모델(540)은 주어진 화면 이미지에서 화면의 결함 상태를 예측한 마스크를 생성하고 생성된 마스크를 기초로 화면의 결함의 등급을 결정하는 딥러닝 평가 모델일 수 있다. 제4 딥러닝 평가 모델(540)은 확장된 화면의 이미지를 통해 롤러블 전자 기기의 제8평가 영역의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제8 마스크를 생성할 수 있다. 제4 딥러닝 평가 모델(540)은 제8 마스크를 기초로 롤러블 전자 기기의 제8 평가 영역의 결함에 대한 등급을 결정할 수 있다. The electronic device value evaluation device 130 (or the appearance condition evaluation module 320) is based on the image of the expanded screen and the fourth deep learning evaluation model 540 to determine the eighth evaluation area (e.g., expansion) of the rollable electronic device. screen) can be evaluated. For example, the electronic device value evaluation device 130 (or the external condition evaluation module 320) may input an image of the expanded screen into the fourth deep learning evaluation model 540. As described above, the fourth deep learning evaluation model 540 may be a deep learning evaluation model that generates a mask predicting the defect state of the screen from a given screen image and determines the grade of the screen defect based on the generated mask. there is. The fourth deep learning evaluation model 540 predicts the defect state (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) of the eighth evaluation area of the rollable electronic device through the image of the expanded screen. An eighth mask can be created. The fourth deep learning evaluation model 540 may determine the grade of a defect in the eighth evaluation area of the rollable electronic device based on the eighth mask.

전자 기기 가치 평가 장치(130)(또는 가치 결정 모듈(330))은 롤러블 전자 기기의 외관 상태 평가의 결과(예: 제1 내지 제4 딥러닝 평가 모델 및 제7 딥러닝 평가 모델 각각에 의해 결정된 등급) 및/또는 롤러블 전자 기기의 내부 상태 평가의 결과를 기초로 롤러블 전자 기기의 가치를 결정할 수 있다.The electronic device value evaluation device 130 (or value determination module 330) determines the results of the external state evaluation of the rollable electronic device (e.g., by each of the first to fourth deep learning evaluation models and the seventh deep learning evaluation model). The value of the rollable electronic device may be determined based on the determined rating) and/or the results of an evaluation of the internal condition of the rollable electronic device.

일 실시 예에 있어서, 무인 매입 장치(110)는 사용자로부터 웨어러블 기기(예: 스마트 워치)를 투입받을 수 있다. 전자 기기 가치 평가 장치(130)는 웨어러블 기기의 외관(예: 전면, 후면, 측면, 화면)을 평가할 수 있는 딥러닝 평가 모델들을 저장할 수 있다. 전자 기기 가치 평가 장치(130)는 웨어러블 기기를 촬영하여 획득한 이미지들 및 딥러닝 평가 모델들을 기초로 웨어러블 기기에 대한 외관 상태 평가를 수행할 수 있다. 전자 기기 가치 평가 장치(130)는 웨어러블 기기의 외관 상태 평가의 결과 및 웨어러블 기기의 내부 상태 평가의 결과를 기초로 웨어러블 기기의 가치를 결정할 수 있다.In one embodiment, the unmanned purchase device 110 may receive a wearable device (eg, a smart watch) from a user. The electronic device value evaluation device 130 may store deep learning evaluation models that can evaluate the appearance (e.g., front, back, side, screen) of the wearable device. The electronic device value evaluation device 130 may perform an external condition evaluation of the wearable device based on images obtained by photographing the wearable device and deep learning evaluation models. The electronic device value evaluation device 130 may determine the value of the wearable device based on the result of evaluating the external state of the wearable device and the result of evaluating the internal state of the wearable device.

도 7을 참조하면, 단계 710에서, 전자 기기 가치 평가 장치(130)는 전자 기기를 촬영하여 획득된 복수의 이미지들 및 복수의 딥러닝 평가 모델들을 기초로 전자 기기에 대한 외관 상태 평가를 수행할 수 있다. 전자 기기 가치 평가 장치(130)는 딥러닝 평가 모델들(510 내지 540)을 통해 이미지들로부터 전자 기기의 평가 영역들 각각의 결함 상태를 예측한 마스크를 생성할 수 있고, 생성된 각 마스크를 기초로 전자 기기의 평가 영역들 각각의 결함에 대한 등급을 결정할 수 있다. 전자 기기 가치 평가 장치(130)는 결정된 각 등급을 통해 전자 기기의 외관 상태에 대한 최종 등급을 결정할 수 있다. Referring to FIG. 7, in step 710, the electronic device value evaluation device 130 performs an external condition evaluation of the electronic device based on a plurality of images obtained by photographing the electronic device and a plurality of deep learning evaluation models. You can. The electronic device value evaluation device 130 may generate a mask that predicts the defect state of each evaluation area of the electronic device from images through deep learning evaluation models 510 to 540, and may generate a mask based on each generated mask. It is possible to determine the level of defects in each of the evaluation areas of the electronic device. The electronic device value evaluation device 130 may determine the final grade of the external condition of the electronic device through each determined grade.

일 실시 예에 있어서, 전자 기기의 형태가 변경될 수 있다. 위에서 설명한 것과 같이, 전자 기기 가치 평가 장치(130)는 전자 기기를 제1 형태(예: 언폴드 형태 또는 축소 형태)에서 제2 형태(예: 접힌 형태 또는 확장 형태)로 변경할 수 있다. 또는, 전자 기기 가치 평가 장치(130)는 사용자에게 전자 기기를 제1 형태에서 제2 형태로 변경한 뒤 제2 형태의 전자 기기를 무인 매입 장치(110)에 재투입할 것을 요청할 수 있다. 전자 기기 가치 평가 장치(130)는 전자 기기의 형태가 변경된 경우, 딥러닝 평가 모델들(510 내지 540) 이외의 추가 딥러닝 평가 모델(예: 위에서 설명한 제5 딥러닝 평가 모델, 제6 딥러닝 평가 모델, 및 제7 딥러닝 평가 모델 중 적어도 하나)을 통해, 전자 기기의 변경된 형태가 촬영되어 획득된 이미지로부터 전자 기기의 변경된 형태의 평가 영역의 결함 상태를 예측한 마스크(예: 위에서 설명한 제5 마스크, 제6 마스크, 및 제 7 마스크 중 적어도 하나)를 생성할 수 있다. 전자 기기 가치 평가 장치(130)는 변경된 형태의 평가 영역의 결함 상태를 예측한 마스크를 기초로 전자 기기의 변경된 형태의 평가 영역의 결함에 대한 등급을 결정할 수 있다.In one embodiment, the shape of the electronic device may change. As described above, the electronic device valuation device 130 may change the electronic device from a first form (eg, unfolded form or collapsed form) to a second form (eg, folded form or expanded form). Alternatively, the electronic device value evaluation device 130 may request the user to change the electronic device from the first type to the second type and then reinsert the second type electronic device into the unmanned purchase device 110. When the form of the electronic device is changed, the electronic device value evaluation device 130 may use additional deep learning evaluation models other than the deep learning evaluation models 510 to 540 (e.g., the fifth deep learning evaluation model described above, the sixth deep learning evaluation model) an evaluation model, and at least one of the seventh deep learning evaluation model), a mask predicting the defect state of the evaluation area of the changed form of the electronic device from the image obtained by photographing the changed form of the electronic device (e.g., the defect state described above) At least one of the 5th mask, the 6th mask, and the 7th mask) can be generated. The electronic device value evaluation apparatus 130 may determine the grade of a defect in the changed evaluation area of the electronic device based on a mask that predicts the defect state of the changed evaluation area.

상술한 제 5 내지 제7 딥러닝 평가 모델 각각은 주어진 입력 이미지에 이미지 세그멘테이션을 수행할 수 있다.Each of the fifth to seventh deep learning evaluation models described above can perform image segmentation on a given input image.

단계 720에서, 전자 기기 가치 평가 장치(130)는 전자 기기의 외관 상태 평가의 결과 및 전자 기기의 내부 상태 평가의 결과를 기초로 전자 기기의 가치를 결정할 수 있다.In step 720, the electronic device value evaluation device 130 may determine the value of the electronic device based on the results of the external state evaluation of the electronic device and the results of the internal state evaluation of the electronic device.

도 1 내지 도 6을 통해 설명한 사항들은 도 7의 전자 기기 가치 평가 방법에 적용될 수 있다.Matters described with reference to FIGS. 1 to 6 may be applied to the electronic device value evaluation method of FIG. 7 .

도 8에 도시된 단계들 중 적어도 일부 또는 전부는 도 7의 단계 710에 포함될 수 있다.At least some or all of the steps shown in FIG. 8 may be included in step 710 of FIG. 7 .

도 8에 도시된 단계들은 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))에 의해 수행될 수 있다.The steps shown in FIG. 8 may be performed by the electronic device value evaluation device 130 (or the appearance condition evaluation module 320).

도 8을 참조하면, 단계 801에서, 전자 기기 가치 평가 장치(130)는 이미지들에 예외 케이스(exception case)가 존재하는지 여부를 판단할 수 있다. 일 실시 예에 있어서, 예외 케이스는 전자 기기의 플로팅 아이콘에 대응되는 제1 객체, 전자 기기의 부착물에 대응되는 제2 객체, 촬영 조건(예: 카메라 초점 및/또는 조명 밝기)이 만족되지 않은 제1 케이스, 및 전자 기기에 지정되지 않은 화면이 켜진 상황에 해당하는 제2 케이스 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.Referring to FIG. 8, in step 801, the electronic device value evaluation device 130 may determine whether an exception case exists in the images. In one embodiment, the exception case is a first object corresponding to a floating icon of an electronic device, a second object corresponding to an attachment of an electronic device, and an object for which shooting conditions (e.g., camera focus and/or lighting brightness) are not satisfied. It may include at least one of case 1 and a second case corresponding to a situation in which a screen not specified in the electronic device is turned on, or a combination thereof.

도 9에 도시된 이미지(900)는 전자 기기(예: 아이폰(iPhone)®)의 화면 이미지의 예시로, 이미지(900)에는 플로팅 아이콘(예: assistive touch)에 대응되는 제1 객체(910)가 존재할 수 있다. 무인 매입 장치(110)의 촬영 박스 내의 제1 카메라는 플로팅 아이콘(예: assistive touch)이 있는 전자 기기의 단색 화면(예: 흰색 화면)을 촬영함으로써 이미지(900)를 획득할 수 있다. 이에 따라, 이미지(900)에는 플로팅 아이콘(예: assistive touch)에 대응되는 제1 객체(910)가 존재할 수 있다. 플로팅 아이콘(예: assistive touch)은 화면 상에서 위치가 고정되어 있지 않고 다양한 위치에 존재할 수 있다. 제1 객체(910)에 대한 별다른 처리가 없으면, 전자 기기 가치 평가 장치(130)(또는 제4 딥러닝 평가 모델(540))는 제1 객체(910)를 화면 결함(또는 화면 파손)으로 인식(또는 오인)할 수 있다. 전자 기기 가치 평가 장치(130)는 이미지(900)를 제4 딥러닝 평가 모델(540)에 입력하기 전에, 이미지(900)에서 제1 객체(910)를 검출할 수 있다. 예를 들어, 전자 기기 가치 평가 장치(130)는 템플릿 매칭 알고리즘을 이용하여 이미지(900)에서 제1 객체(910)를 검출할 수 있다. 제1 객체(910)를 검출하는 방식은 템플릿 매칭 알고리즘으로 제한되지 않는다. 전자 기기 가치 평가 장치(130)는 후술하겠지만 제1 객체(910)에 마스킹 처리(또는 필터링 처리)를 수행할 수 있다. 전자 기기 가치 평가 장치(130)는 제4 딥러닝 평가 모델(540)이 제1 객체(910)를 화면 결함으로 인식하지 않도록 할 수 있다.The image 900 shown in FIG. 9 is an example of a screen image of an electronic device (e.g., iPhone®), and the image 900 includes a first object 910 corresponding to a floating icon (e.g., assistive touch). may exist. The first camera in the photographing box of the unmanned embedded device 110 may acquire the image 900 by photographing a monochromatic screen (eg, white screen) of an electronic device with a floating icon (eg, assistive touch). Accordingly, a first object 910 corresponding to a floating icon (eg, assistive touch) may exist in the image 900. Floating icons (e.g. assistive touch) do not have a fixed location on the screen and can exist in various locations. If there is no special processing for the first object 910, the electronic device value evaluation device 130 (or the fourth deep learning evaluation model 540) recognizes the first object 910 as a screen defect (or screen breakage). (or may be misunderstood). The electronic device value evaluation device 130 may detect the first object 910 in the image 900 before inputting the image 900 into the fourth deep learning evaluation model 540. For example, the electronic device value evaluation device 130 may detect the first object 910 in the image 900 using a template matching algorithm. The method of detecting the first object 910 is not limited to the template matching algorithm. The electronic device value evaluation device 130 may perform masking processing (or filtering processing) on the first object 910, as will be described later. The electronic device value evaluation device 130 may prevent the fourth deep learning evaluation model 540 from recognizing the first object 910 as a screen defect.

도 10에 도시된 이미지(100)는 전자 기기(예: 삼성전자의 갤럭시 스마트폰)의 화면 이미지의 예시로, 이미지(1000)에는 플로팅 아이콘에 대응되는 제1 객체(1010)가 존재할 수 있다. 무인 매입 장치(110)의 촬영 박스 내의 제1 카메라는 플로팅 아이콘이 있는 전자 기기의 단색 화면(예: 흰색 화면)을 촬영함으로써 이미지(1000)를 획득할 수 있다. 이에 따라, 이미지(1000)에는 플로팅 아이콘에 대응되는 제1 객체(1010)가 존재할 수 있다. 제1 객체(1010)에 대한 별다른 처리가 없으면, 전자 기기 가치 평가 장치(130)(또는 제4 딥러닝 평가 모델(540))는 제1 객체(1010)를 화면 결함(또는 화면 파손)으로 인식(또는 오인)할 수 있다. 전자 기기 가치 평가 장치(130)는 이미지(1000)를 제4 딥러닝 평가 모델(540)에 입력하기 전에, 템플릿 매칭 알고리즘을 이용하여 이미지(1000)에서 제1 객체(1010)를 검출할 수 있고, 제1 객체(1010)에 마스킹 처리(또는 필터링 처리)를 수행할 수 있다. 제1 객체(1010)가 화면 결함으로 인식되지 않도록 할 수 있다.The image 100 shown in FIG. 10 is an example of a screen image of an electronic device (eg, Samsung Electronics' Galaxy smartphone), and a first object 1010 corresponding to a floating icon may exist in the image 1000. The first camera in the photographing box of the unmanned embedded device 110 may acquire the image 1000 by photographing a monochromatic screen (eg, a white screen) of an electronic device with a floating icon. Accordingly, a first object 1010 corresponding to a floating icon may exist in the image 1000. If there is no special processing for the first object 1010, the electronic device value evaluation device 130 (or the fourth deep learning evaluation model 540) recognizes the first object 1010 as a screen defect (or screen breakage). (or may be misunderstood). The electronic device value evaluation device 130 may detect the first object 1010 in the image 1000 using a template matching algorithm before inputting the image 1000 into the fourth deep learning evaluation model 540. , masking processing (or filtering processing) may be performed on the first object 1010. The first object 1010 can be prevented from being recognized as a screen defect.

도 11에 도시된 이미지(1100)는 전자 기기의 후면 이미지의 예시로, 이미지(1100)에는 전자 기기에 부착된 스티커에 대응되는 제2 객체(1110)가 존재할 수 있다. 무인 매입 장치(110)의 촬영 박스 내의 제2 카메라는 스티커가 부착된 전자 기기의 후면을 촬영함으로써 이미지(1100)를 획득할 수 있다. 이에 따라, 이미지(1100)에는 스티커에 대응되는 제2 객체(1110)가 존재할 수 있다. 제2 객체(1110)에 대한 별다른 처리가 없으면, 전자 기기 가치 평가 장치(130)(또는 제2 딥러닝 평가 모델(520))는 전자 기기의 후면을 정확히 평가하는 것이 어려울 수 있다. 전자 기기 가치 평가 장치(130)는 이미지(1100)를 제2 딥러닝 평가 모델(520)에 입력하기 전에, 이미지(1100)에서 제2 객체(1110)를 검출할 수 있다. 예를 들어, 전자 기기 가치 평가 장치(130)는 이미지(1100)에 블러(blur) 처리를 수행할 수 있고, 블러 처리된 이미지(1100)에서 특정 임계값 이내에 있는 픽셀값들을 이용(또는 추출)하여 컨투어(contour)을 찾음으로써 제2 객체(1110)의 위치를 파악할 수 있다. 전자 기기 가치 평가 장치(130)는 제2 객체(1110)에 마스킹 처리(또는 필터링 처리)를 수행할 수 있다. 전자 기기 가치 평가 장치(130)는 제2 객체(1010)가 화면 결함으로 인식되지 않도록 할 수 있다.The image 1100 shown in FIG. 11 is an example of a rear image of an electronic device, and a second object 1110 corresponding to a sticker attached to the electronic device may exist in the image 1100. The second camera in the photographing box of the unmanned embedding device 110 can acquire the image 1100 by photographing the rear of the electronic device to which the sticker is attached. Accordingly, a second object 1110 corresponding to a sticker may exist in the image 1100. Without any special processing on the second object 1110, it may be difficult for the electronic device valuation device 130 (or the second deep learning evaluation model 520) to accurately evaluate the back of the electronic device. The electronic device value evaluation device 130 may detect the second object 1110 in the image 1100 before inputting the image 1100 into the second deep learning evaluation model 520. For example, the electronic device valuation device 130 may perform blur processing on the image 1100 and use (or extract) pixel values within a certain threshold from the blurred image 1100. By finding the contour, the location of the second object 1110 can be determined. The electronic device value evaluation device 130 may perform masking processing (or filtering processing) on the second object 1110. The electronic device value evaluation device 130 may prevent the second object 1010 from being recognized as a screen defect.

도 12에 도시된 이미지(1200)와 도 13에 도시된 이미지(1300)는 전자 기기의 화면 이미지의 예시로, 도 12의 이미지(1200)를 참조하면, 전자 기기에는 지정되지 않은 화면(예: 전자 기기의 홈 화면, 텍스트가 표시된 화면 등)이 켜져(on) 있다. 예를 들어, 전자 기기에 설치된 제1 어플리케이션이 정상적으로 동작하지 않은 경우 전자 기기에는 지정되지 않은 화면이 켜질 수 있다. 전자 기기에 지정되지 않은 화면이 켜진 상태에서 제1 카메라가 전자 기기의 화면을 촬영하면 예를 들어 도 12의 이미지(1200)가 획득될 수 있다. 도 13의 이미지(1300)를 참조하면, 전자 기기에는 지정된 화면(예: 단색 화면)이 켜져 있다. 전자 기기에 설치된 제1 어플리케이션이 정상적으로 동작한 경우 전자 기기에는 지정된 화면이 켜질 수 있다. 전자 기기에 지정된 화면이 켜진 상태에서 제1 카메라가 전자 기기의 화면을 촬영하면 예를 들어 도 13의 이미지(1300)가 획득될 수 있다. 전자 기기 가치 평가 장치(130)(또는 제4 딥러닝 평가 모델(540))는 도 12의 이미지(1200)로부터 전자 기기의 화면에 결함이 있는지 여부를 정확히 판단하는 것이 어려울 수 있다. 전자 기기 가치 평가 장치(130)(또는 제4 딥러닝 평가 모델(540))는 도 13의 이미지(1300)로부터 전자 기기의 화면에 결함이 있는지 여부를 정확히 판단할 수 있다. 전자 기기 가치 평가 장치(130)는 전자 기기에 지정된 화면이 켜져 있는지 여부를 판단하기 위해, 이미지(1200)에서 전자 기기의 화면의 일부 영역(1210)을 크롭(crop)할 수 있다. 전자 기기 가치 평가 장치(130)는 크롭된 영역(1210)의 색상을 제1 색상(예: RGB)에서 제2 색상(예: HSV)으로 변환할 수 있다. 전자 기기 가치 평가 장치(130)는 색상이 변환된 영역의 채도 정보와 밝기 정보를 체크할 수 있고, 채도 정보와 밝기 정보를 합한 값이 일정값(예: 70000) 이상인 경우, 전자 기기에 지정되지 않은 화면이 켜진 상황에 해당하는 제2 케이스가 발생한 것으로 판단할 수 있다. 도 13에 도시된 예와 같이, 전자 기기 가치 평가 장치(130)는 이미지(1300)에서 전자 기기의 화면의 일부 영역(1310)을 크롭할 수 있고, 크롭된 영역(1310)의 색상을 제1 색상에서 제2 색상으로 변환할 수 있으며, 색상이 변환된 영역의 채도 정보와 밝기 정보를 합한 값이 일정값 미만인 경우 제2 케이스가 발생하지 않은 것으로 판단할 수 있다. The image 1200 shown in FIG. 12 and the image 1300 shown in FIG. 13 are examples of screen images of an electronic device. Referring to the image 1200 in FIG. 12, a screen not specified in the electronic device (e.g. The electronic device's home screen, a screen displaying text, etc.) is turned on. For example, if the first application installed on the electronic device does not operate normally, an unspecified screen may be turned on on the electronic device. If the first camera captures the screen of the electronic device while a screen not designated for the electronic device is turned on, for example, image 1200 of FIG. 12 may be obtained. Referring to image 1300 of FIG. 13, a designated screen (eg, a monochromatic screen) is turned on in the electronic device. When the first application installed on the electronic device operates normally, a designated screen may be turned on on the electronic device. If the first camera captures the screen of the electronic device while the screen designated for the electronic device is turned on, for example, the image 1300 of FIG. 13 may be obtained. It may be difficult for the electronic device value evaluation device 130 (or the fourth deep learning evaluation model 540) to accurately determine whether there is a defect in the screen of the electronic device from the image 1200 of FIG. 12. The electronic device value evaluation device 130 (or the fourth deep learning evaluation model 540) can accurately determine whether there is a defect in the screen of the electronic device from the image 1300 of FIG. 13. The electronic device value evaluation device 130 may crop a partial area 1210 of the screen of the electronic device in the image 1200 to determine whether the screen designated for the electronic device is turned on. The electronic device value evaluation device 130 may convert the color of the cropped area 1210 from a first color (eg, RGB) to a second color (eg, HSV). The electronic device value evaluation device 130 can check the saturation information and brightness information of the color converted area, and if the combined value of the saturation information and brightness information is more than a certain value (e.g., 70000), it is not assigned to the electronic device. It may be determined that a second case corresponding to a situation in which an unlit screen is turned on has occurred. As an example shown in FIG. 13, the electronic device value evaluation device 130 may crop a partial area 1310 of the screen of the electronic device in the image 1300, and change the color of the cropped area 1310 to the first color. The color can be converted to a second color, and if the sum of saturation information and brightness information in the color-converted area is less than a certain value, it can be determined that the second case has not occurred.

실시 예에 따라, 전자 기기가 촬영되어 획득된 이미지들 중 적어도 하나에는 아웃 포커싱이 있을 수 있다. 전자 기기 가치 평가 장치(130)는 이미지들 중 촬영 조건(예: 카메라 초점)이 만족되지 않는 제1 케이스(예: 아웃 포커싱)가 있는지 여부를 판단할 수 있다. 예를 들어, 전자 기기 가치 평가 장치(130)는 특정 이미지에서 전자 기기를 포함하는 영역을 크롭할 수 있고, 크롭된 영역에서 엣지(edge)를 검출할 수 있으며, 엣지의 검출 결과를 통해 특정 이미지가 아웃 포커싱되었는지 여부를 판단할 수 있다. 일례로, 전자 기기 가치 평가 장치(130)는 크롭된 영역의 라플라시안(Laplacian)의 분산값을 계산할 수 있고, 계산된 분산값이 임계값(예: 250) 미만인 경우 촬영 조건이 만족되지 않은 제1 케이스(예: 아웃 포커싱)가 있는 것으로 판단할 수 있다.Depending on the embodiment, at least one of the images obtained by photographing an electronic device may have out-of-focusing. The electronic device value evaluation device 130 may determine whether there is a first case (eg, out-focusing) in which the shooting conditions (eg, camera focus) are not satisfied among the images. For example, the electronic device valuation device 130 can crop an area containing an electronic device in a specific image, detect an edge in the cropped area, and determine the specific image through the edge detection result. It can be determined whether is out of focus. For example, the electronic device value evaluation device 130 may calculate the variance of the Laplacian of the cropped area, and if the calculated variance is less than a threshold (e.g., 250), the first shooting condition is not satisfied. It can be determined that there is a case (e.g. out-of-focusing).

실시 예에 따라, 전자 기기가 촬영되어 획득된 이미지들 중 적어도 하나는 조명 밝기(또는 조명 세기)가 일정 수준 이상인 상태에서 촬영되어 획득된 것일 수 있다. 전자 기기 가치 평가 장치(130)는 이미지들 중 촬영 조건(예: 조명 밝기)이 만족되지 않는 제1 케이스(예: 조명 밝기가 일정 수준 초과한 케이스)가 있는지 여부를 판단할 수 있다. 예를 들어, 전자 기기 가치 평가 장치(130)는 특정 이미지의 픽셀값들의 평균을 계산할 수 있다. 전자 기기 가치 평가 장치(130)는 계산된 평균이 일정값(예: 120)을 초과하는 경우, 촬영 조건이 만족되지 않은 제1 케이스(예: 조명 밝기가 일정 수준 초과한 케이스)가 있는 것으로 판단할 수 있다. Depending on the embodiment, at least one of the images obtained by photographing an electronic device may be obtained by photographing while the lighting brightness (or lighting intensity) is above a certain level. The electronic device value evaluation device 130 may determine whether there is a first case (eg, a case where the lighting brightness exceeds a certain level) in which the shooting conditions (eg, lighting brightness) are not satisfied among the images. For example, the electronic device value evaluation device 130 may calculate the average of pixel values of a specific image. If the calculated average exceeds a certain value (e.g., 120), the electronic device value evaluation device 130 determines that there is a first case (e.g., a case in which the lighting brightness exceeds a certain level) in which the shooting conditions are not satisfied. can do.

단계 801에서, 전자 기기 가치 평가 장치(130)는 이미지들에 제1 객체, 제2 객체, 촬영 조건(예: 카메라 초점 및/또는 조명 밝기)이 만족되지 않은 제1 케이스, 및 전자 기기에 지정되지 않은 화면이 켜진 상황에 해당하는 제2 케이스 중 적어도 하나 또는 이들의 조합이 있는지 여부를 판단할 수 있다.In step 801, the electronic device valuation device 130 assigns the images to a first object, a second object, a first case in which shooting conditions (e.g., camera focus and/or lighting brightness) are not met, and an electronic device. It may be determined whether there is at least one or a combination of the second cases corresponding to a situation in which a screen that is not turned on is turned on.

전자 기기 가치 평가 장치(130)는 이미지들에 예외 케이스가 존재하지 않는 경우, 단계 803에서 외관 상태 평가를 수행할 수 있다. 단계 803의 외관 상태 평가에 대해선 위에서 설명한 외관 상태 평가가 적용될 수 있어 상세한 설명을 생략한다.If no exception cases exist in the images, the electronic device value evaluation device 130 may perform appearance condition evaluation in step 803. Regarding the appearance condition evaluation in step 803, the appearance condition evaluation described above can be applied, so detailed description is omitted.

전자 기기 가치 평가 장치(130)는 이미지들 중 하나 이상에 예외 케이스가 존재하는 경우, 단계 805에서, 예외 케이스가 처리 가능한지 여부를 판단할 수 있다. 예를 들어, 전자 기기 가치 평가 장치(130)는 제1 객체 및 제2 객체는 전자 기기 가치 평가 장치(130)에 의해 이미지 처리가 가능한 것으로 판단할 수 있다. 전자 기기 가치 평가 장치(130)는 제1 케이스 및 제2 케이스는 전자 기기 가치 평가 장치(130)에 의해 이미지 처리가 가능하지 않은 것으로 판단할 수 있다. If an exception case exists in one or more of the images, the electronic device value evaluation device 130 may determine whether the exception case can be processed in step 805. For example, the electronic device value evaluation device 130 may determine that image processing of the first object and the second object is possible by the electronic device value evaluation device 130 . The electronic device value evaluation device 130 may determine that image processing is not possible in the first case and the second case by the electronic device value evaluation device 130.

전자 기기 가치 평가 장치(130)는 이미지들 중 하나 이상에 처리 가능한 예외 케이스(예: 제1 객체 및 제2 객체 중 적어도 하나 또는 이들의 조합)이 있는 경우, 단계 807에서 예외 케이스를 처리할 수 있다. 예를 들어, 전자 기기 가치 평가 장치(130)는 전자 기기의 화면 이미지에 제1 객체가 존재하는 경우, 제1 객체에 마스킹 처리(또는 필터링 처리)를 수행할 수 있다. 전자 기기 가치 평가 장치(130)는 전자 기기의 화면 이미지에 제1 객체가 존재하고 전자 기기의 후면 이미지에 제2 객체가 존재하는 경우, 제1 내지 제2 객체 각각에 마스킹 처리(또는 필터링 처리)를 수행할 수 있다.If one or more of the images has an exception case that can be processed (e.g., at least one of the first object and the second object or a combination thereof), the electronic device valuation device 130 may process the exception case in step 807. there is. For example, when the first object exists in the screen image of the electronic device, the electronic device value evaluation device 130 may perform masking processing (or filtering processing) on the first object. When a first object exists in the screen image of the electronic device and a second object exists in the back image of the electronic device, the electronic device value evaluation device 130 performs masking (or filtering) on each of the first and second objects. can be performed.

단계 809에서, 전자 기기 가치 평가 장치(130)는 이미지들 중 예외 케이스가 존재하지 않은 나머지 이미지들, 예외 케이스가 처리된 하나 이상의 이미지, 및 딥러닝 평가 모델들을 이용하여 외관 상태 평가를 수행할 수 있다. 예를 들어, 전자 기기의 화면 이미지에 제1 객체가 존재하여 제1 객체가 마스킹 처리된 경우, 제4 딥러닝 평가 모델(540)은 제1 객체가 마스킹 처리된 화면 이미지에 이미지 세그멘테이션을 수행할 수 있다. 제4 딥러닝 평가 모델(540)은 제1 객체가 마스킹 처리된 화면 이미지의 픽셀들 각각을 위 표 5의 제4 클래스들 중 어느 하나로 분류할 수 있으며, 이러한 분류를 통해 제4 마스크를 생성할 수 있다. 이 때, 위 표 5에는 제4-7 클래스(예: 전자 기기의 예외 화면)가 더 포함되어 있을 수 있고, 제4 딥러닝 평가 모델(540)은 마스킹 처리된 픽셀들을 제4-7 클래스(예: 전자 기기의 예외 화면)로 분류할 수 있다. 제4 딥러닝 평가 모델(540)은 제4 마스크를 기초로 전자 기기의 화면의 결함에 대한 등급을 결정할 수 있다. 전자 기기의 후면 이미지에 제2 객체가 존재하여 제2 객체가 마스킹 처리된 경우, 제2 딥러닝 평가 모델(520)은 제2 객체가 마스킹 처리된 후면 이미지에 이미지 세그멘테이션을 수행할 수 있다. 제2 딥러닝 평가 모델(520)은 제2 객체가 마스킹 처리된 후면 이미지의 픽셀들 각각을 위 표 3의 제2 클래스들 중 어느 하나로 분류할 수 있으며, 이러한 분류를 통해 제2 마스크를 생성할 수 있다. 이 때, 위 표 3에는 제2-4 클래스(예: 전자 기기의 예외 후면)가 더 포함되어 있을 수 있고, 제2 딥러닝 평가 모델(520)은 마스킹 처리된 픽셀들을 제2-4 클래스(예: 전자 기기의 예외 후면)로 분류할 수 있다. 제2 딥러닝 평가 모델(520)은 제2 마스크를 기초로 전자 기기의 후면의 결함에 대한 등급을 결정할 수 있다. In step 809, the electronic device value evaluation device 130 may perform an appearance condition evaluation using the remaining images in which no exception cases exist among the images, one or more images in which the exception cases have been processed, and deep learning evaluation models. there is. For example, when a first object exists in the screen image of an electronic device and the first object is masked, the fourth deep learning evaluation model 540 performs image segmentation on the screen image with the first object masked. You can. The fourth deep learning evaluation model 540 can classify each pixel of the screen image in which the first object has been masked into one of the fourth classes in Table 5 above, and generate a fourth mask through this classification. You can. At this time, Table 5 above may further include the 4-7 class (e.g., exception screen of an electronic device), and the fourth deep learning evaluation model 540 may classify the masked pixels into the 4-7 class ( Example: exception screen of electronic device). The fourth deep learning evaluation model 540 may determine a grade for a defect on the screen of an electronic device based on the fourth mask. If a second object exists in the back image of the electronic device and the second object is masked, the second deep learning evaluation model 520 may perform image segmentation on the back image with the second object masked. The second deep learning evaluation model 520 can classify each pixel of the back image in which the second object is masked into one of the second classes in Table 3 above, and generate a second mask through this classification. You can. At this time, Table 3 above may further include classes 2-4 (e.g., exception rear of electronic devices), and the second deep learning evaluation model 520 classifies the masked pixels into classes 2-4 ( Example: Exception rear of electronic devices). The second deep learning evaluation model 520 may determine the grade of defects on the back of the electronic device based on the second mask.

전자 기기 가치 평가 장치(130)는 이미지들 중 하나 이상에 예외 케이스가 존재하지만 이러한 예외 케이스가 이미지 처리를 통해 처리 가능하지 못한 예외 케이스(예: 제1 케이스 및 제2 케이스 중 적어도 하나)인 경우, 단계 811에서 운영자에게 해당 예외 케이스에 대한 처리를 요청할 수 있다. 전자 기기 가치 평가 장치(130)는 제1 케이스 및 제2 케이스 중 적어도 하나가 존재하는 경우 운영자 처리가 필요한 것으로 판단할 수 있다. 운영자는 촬영 조건이 만족되지 않은 제1 케이스(예: 조명 밝기가 일정 수준 초과한 케이스) 및/또는 전자 기기에 지정되지 않은 화면이 켜진 상황에 해당하는 제2 케이스가 있는 경우 무인 매입 장치(110)에 전자 기기의 재촬영을 지시하거나 운영자가 전자 기기의 외관 상태를 평가할 수 있다. When an exception case exists in one or more of the images, the electronic device valuation device 130 is an exception case that cannot be processed through image processing (e.g., at least one of the first case and the second case). , In step 811, the operator may be requested to handle the exception case. The electronic device value evaluation device 130 may determine that operator processing is necessary when at least one of the first case and the second case exists. If there is a first case where the shooting conditions are not met (e.g., a case where the lighting brightness exceeds a certain level) and/or a second case where an unspecified screen on the electronic device is turned on, the operator must use the unmanned acquisition device (110 ) may be instructed to retake the electronic device, or the operator may evaluate the external condition of the electronic device.

도 14를 참조하면, 딥러닝 모델을 트레이닝하는 컴퓨팅 장치(1400)는 메모리(1410) 및 프로세서(1420)를 포함할 수 있다.Referring to FIG. 14, a computing device 1400 that trains a deep learning model may include a memory 1410 and a processor 1420.

메모리(1410)는 하나 이상의 딥러닝 모델을 저장할 수 있다. 딥러닝 모델은 도 4를 통해 설명한 딥 뉴럴 네트워크에 기반할 수 있다. 딥러닝 모델은 주어진 입력 이미지에 이미지 세그멘테이션을 수행할 수 있다.Memory 1410 may store one or more deep learning models. The deep learning model may be based on the deep neural network described in Figure 4. Deep learning models can perform image segmentation on given input images.

프로세서(1420)는 딥러닝 모델을 트레이닝할 수 있다.The processor 1420 can train a deep learning model.

프로세서(1420)는 결함에 대한 학습 이미지를 딥러닝 모델에 입력할 수 있고, 딥러닝 모델을 통해 학습 이미지로부터 결함의 상태를 예측한 마스크를 생성할 수 있다. The processor 1420 can input a learning image for a defect into a deep learning model and generate a mask predicting the state of the defect from the learning image through the deep learning model.

프로세서(1420)는 생성된 마스크와 결함에 대한 레이블 마스크(labeled mask) 사이의 유사도를 연산할 수 있다.The processor 1420 may calculate the similarity between the generated mask and the labeled mask for the defect.

도 15a 내지 도 15c에 생성된 마스크와 레이블 마스크 각각의 일례가 도시된다. 도 15a 내지 도 15c에서 타겟 마스크는 레이블 마스크를 나타낼 수 있고 예측 마스크는 딥러닝 모델에 의해 생성된 마스크를 나타낼 수 있다.15A to 15C show examples of the generated mask and label mask, respectively. 15A to 15C, the target mask may represent a label mask and the prediction mask may represent a mask generated by a deep learning model.

프로세서(1420)는 연산된 유사도가 임계값 미만인 경우 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(1420)는 연산된 유사도가 임계값 이상인 경우, 딥러닝 모델에 대한 트레이닝을 종료할 수 있다.The processor 1420 may update at least one parameter in the deep learning model when the calculated similarity is less than a threshold. If the calculated similarity is greater than or equal to a threshold, the processor 1420 may end training for the deep learning model.

실시 예에 따라, 프로세서(1420)는 제1 학습 이미지(예: 제1 결함이 있는 전면이 촬영된 전면 이미지)를 제1 딥러닝 모델에 입력한 경우, 제1 딥러닝 모델을 이용하여 제1 학습 이미지로부터 전자 기기의 전면의 결함 상태를 예측한 제1 마스크를 생성할 수 있다. 제1 딥러닝 모델은 제1 학습 이미지에 이미지 세그멘테이션을 수행하여 제1 학습 이미지로부터 전자 기기의 전면의 결함 상태를 예측한 제1 마스크를 생성할 수 있다. 프로세서(1420)는 제1 마스크와 제1 결함에 대한 레이블 마스크 사이의 제1 유사도를 연산할 수 있다. 프로세서(1420)는 연산된 제1 유사도가 임계값 미만인 경우 제1 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(1420)는 연산된 제1 유사도가 임계값 이상인 경우, 제1 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. 트레이닝이 완료된 제1 딥러닝 모델은 제1 딥러닝 평가 모델(510)로서 전자 기기 가치 평가 장치(130)에 탑재될 수 있다.Depending on the embodiment, when the processor 1420 inputs the first learning image (e.g., the front image in which the front surface with the first defect is photographed) into the first deep learning model, the processor 1420 uses the first deep learning model to A first mask that predicts the defect state of the front of the electronic device can be generated from the learning image. The first deep learning model may perform image segmentation on the first learning image to generate a first mask that predicts the defect state of the front of the electronic device from the first learning image. The processor 1420 may calculate a first similarity between the first mask and the label mask for the first defect. The processor 1420 may update at least one parameter in the first deep learning model when the calculated first similarity is less than a threshold. If the calculated first similarity is greater than or equal to the threshold, the processor 1420 may end training for the first deep learning model. The first deep learning model for which training has been completed can be mounted on the electronic device value evaluation device 130 as the first deep learning evaluation model 510.

프로세서(1420)는 제2 학습 이미지(예: 제2 결함이 있는 후면을 촬영한 후면 이미지)를 제2 딥러닝 모델에 입력한 경우, 제2 딥러닝 모델을 이용하여 제2 학습 이미지로부터 전자 기기의 후면의 결함 상태를 예측한 제2 마스크를 생성할 수 있다. 제2 딥러닝 모델은 제2 학습 이미지에 이미지 세그멘테이션을 수행하여 제2 학습 이미지로부터 전자 기기의 후면의 결함 상태를 예측한 제2 마스크를 생성할 수 있다. 프로세서(1420)는 제2 마스크와 제2 결함에 대한 레이블 마스크 사이의 제2 유사도를 연산할 수 있다. 프로세서(1420)는 연산된 제2 유사도가 임계값 미만인 경우 제2 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(1420)는 연산된 제2 유사도가 임계값 이상인 경우, 제2 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. 트레이닝이 완료된 제2 딥러닝 모델은 제2 딥러닝 평가 모델(520)로서 전자 기기 가치 평가 장치(130)에 탑재될 수 있다.When the processor 1420 inputs a second learning image (e.g., a rear image of a rear surface with a second defect) into a second deep learning model, the processor 1420 uses the second deep learning model to select an electronic device from the second learning image. A second mask predicting the defect state of the rear surface can be generated. The second deep learning model may perform image segmentation on the second learning image to generate a second mask that predicts the defect state of the back of the electronic device from the second learning image. The processor 1420 may calculate a second similarity between the second mask and the label mask for the second defect. The processor 1420 may update at least one parameter in the second deep learning model when the calculated second similarity is less than the threshold. If the calculated second similarity is greater than or equal to the threshold, the processor 1420 may end training for the second deep learning model. The second deep learning model for which training has been completed can be mounted on the electronic device value evaluation device 130 as the second deep learning evaluation model 520.

프로세서(1420)는 제3 학습 이미지(예: 제3 결함이 있는 측면(또는 코너)가 촬영된 측면(또는 코너) 이미지)를 제3 딥러닝 모델에 입력한 경우, 제3 딥러닝 모델을 이용하여 제3 학습 이미지로부터 전자 기기의 측면(또는 코너)의 결함 상태를 예측한 제3 마스크를 생성할 수 있다. 제3 딥러닝 모델은 제3 학습 이미지에 이미지 세그멘테이션을 수행하여 제3 학습 이미지로부터 전자 기기의 측면(또는 코너)의 결함 상태를 예측한 제3 마스크를 생성할 수 있다. 프로세서(1420)는 제3 마스크와 제3 결함에 대한 레이블 마스크 사이의 제3 유사도를 연산할 수 있다. 프로세서(1420)는 연산된 제3 유사도가 임계값 미만인 경우 제3 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(1420)는 연산된 제3 유사도가 임계값 이상인 경우, 제3 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. 트레이닝이 완료된 제3 딥러닝 모델은 제3 딥러닝 평가 모델(530)로서 전자 기기 가치 평가 장치(130)에 탑재될 수 있다.When a third learning image (e.g., a side (or corner) image in which a third defective side (or corner) is photographed) is input to the third deep learning model, the processor 1420 uses the third deep learning model. Thus, a third mask that predicts the defect state of the side (or corner) of the electronic device can be generated from the third learning image. The third deep learning model may perform image segmentation on the third learning image to generate a third mask that predicts the defect state of the side (or corner) of the electronic device from the third learning image. The processor 1420 may calculate a third similarity between the third mask and the label mask for the third defect. The processor 1420 may update at least one parameter in the third deep learning model when the calculated third similarity is less than the threshold. If the calculated third similarity is greater than or equal to the threshold, the processor 1420 may end training for the third deep learning model. The third deep learning model for which training has been completed can be mounted on the electronic device value evaluation device 130 as the third deep learning evaluation model 530.

프로세서(1420)는 제4 학습 이미지(예: 제4 결함이 있는 화면이 촬영된 화면 이미지)를 제4 딥러닝 모델에 입력한 경우, 제4 딥러닝 모델을 이용하여 제4 학습 이미지로부터 전자 기기의 화면의 결함 상태를 예측한 제4 마스크를 생성할 수 있다. 제4 딥러닝 모델은 제4 학습 이미지에 이미지 세그멘테이션을 수행하여 제4 학습 이미지로부터 전자 기기의 화면의 결함 상태를 예측한 제4 마스크를 생성할 수 있다. 프로세서(1420)는 제4 마스크와 제4 결함에 대한 레이블 마스크 사이의 제4 유사도를 연산할 수 있다. 프로세서(1420)는 연산된 제4 유사도가 임계값 미만인 경우 제4 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(1420)는 연산된 제4 유사도가 임계값 이상인 경우, 제4 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. 트레이닝이 완료된 제4 딥러닝 모델은 제4 딥러닝 평가 모델(540)로서 전자 기기 가치 평가 장치(130)에 탑재될 수 있다.When a fourth learning image (e.g., a screen image in which a screen with a fourth defect is captured) is input to the fourth deep learning model, the processor 1420 uses the fourth deep learning model to select an electronic device from the fourth learning image. A fourth mask predicting the defect state of the screen can be generated. The fourth deep learning model may perform image segmentation on the fourth learning image to generate a fourth mask that predicts the defect state of the screen of the electronic device from the fourth learning image. The processor 1420 may calculate a fourth similarity between the fourth mask and the label mask for the fourth defect. The processor 1420 may update at least one parameter in the fourth deep learning model when the calculated fourth similarity is less than the threshold. If the calculated fourth similarity is greater than or equal to the threshold, the processor 1420 may end training for the fourth deep learning model. The fourth deep learning model for which training has been completed can be mounted on the electronic device value evaluation device 130 as the fourth deep learning evaluation model 540.

일 실시 예에 있어서, 프로세서(1420)는 제5 학습 이미지(예: 제5 결함이 있는 접힌 측면이 촬영된 이미지)를 제5 딥러닝 모델에 입력한 경우, 제5 딥러닝 모델을 이용하여 제5 학습 이미지로부터 폴더블 전자 기기의 접힌 부분에 해당하는 측면의 결함 상태를 예측한 제5 마스크를 생성할 수 있다. 프로세서(1420)는 제5 마스크와 제5 결함에 대한 레이블 마스크 사이의 제5 유사도를 연산할 수 있다. 프로세서(1420)는 연산된 제5 유사도가 임계값 미만인 경우 제5 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(1420)는 연산된 제5 유사도가 임계값 이상인 경우, 제5 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. 트레이닝이 완료된 제5 딥러닝 모델은 제5 딥러닝 평가 모델로서 전자 기기 가치 평가 장치(130)에 탑재될 수 있다.In one embodiment, when the processor 1420 inputs the fifth learning image (e.g., an image in which the folded side with the fifth defect is photographed) to the fifth deep learning model, the processor 1420 uses the fifth deep learning model to 5 From the learning image, a fifth mask that predicts the defect state of the side corresponding to the folded portion of the foldable electronic device can be generated. The processor 1420 may calculate a fifth similarity between the fifth mask and the label mask for the fifth defect. The processor 1420 may update at least one parameter in the fifth deep learning model when the calculated fifth similarity is less than the threshold. If the calculated fifth similarity is greater than or equal to the threshold, the processor 1420 may end training for the fifth deep learning model. The fifth deep learning model for which training has been completed can be mounted on the electronic device value evaluation device 130 as a fifth deep learning evaluation model.

일 실시 예에 있어서, 프로세서(1420)는 제6 학습 이미지(예: 제6 결함이 있는 서브 화면이 촬영된 이미지)를 제6 딥러닝 모델에 입력한 경우, 제6 딥러닝 모델을 이용하여 제6 학습 이미지로부터 폴더블 전자 기기의 서브 화면의 결함 상태를 예측한 제6 마스크를 생성할 수 있다. 프로세서(1420)는 제6 마스크와 제6 결함에 대한 레이블 마스크 사이의 제6 유사도를 연산할 수 있다. 프로세서(1420)는 연산된 제6 유사도가 임계값 미만인 경우 제6 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(1420)는 연산된 제6 유사도가 임계값 이상인 경우, 제6 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. 트레이닝이 완료된 제6 딥러닝 모델은 제6 딥러닝 평가 모델로서 전자 기기 가치 평가 장치(130)에 탑재될 수 있다.In one embodiment, when the sixth learning image (e.g., an image in which a sub-screen with a sixth defect is captured) is input to the sixth deep learning model, the processor 1420 uses the sixth deep learning model to 6 A sixth mask that predicts the defect state of the sub-screen of the foldable electronic device can be generated from the learning image. The processor 1420 may calculate a sixth similarity between the sixth mask and the label mask for the sixth defect. The processor 1420 may update at least one parameter in the sixth deep learning model when the calculated sixth similarity is less than the threshold. If the calculated sixth similarity is greater than or equal to the threshold, the processor 1420 may end training for the sixth deep learning model. The sixth deep learning model for which training has been completed can be mounted on the electronic device value evaluation device 130 as a sixth deep learning evaluation model.

일 실시 예에 있어서, 프로세서(1420)는 제7 학습 이미지(예: 제7 결함이 있는 확장된 측면이 촬영된 이미지)를 제7 딥러닝 모델에 입력한 경우, 제7 딥러닝 모델을 이용하여 제7 학습 이미지로부터 롤러블 전자 기기의 확장된 측면의 결함 상태를 예측한 제7 마스크를 생성할 수 있다. 프로세서(1420)는 제7 마스크와 제7 결함에 대한 레이블 마스크 사이의 제7 유사도를 연산할 수 있다. 프로세서(1420)는 연산된 제7 유사도가 임계값 미만인 경우 제7 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(1420)는 연산된 제7 유사도가 임계값 이상인 경우, 제7 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. 트레이닝이 완료된 제7 딥러닝 모델은 제7 딥러닝 평가 모델로서 전자 기기 가치 평가 장치(130)에 탑재될 수 있다. 구현에 따라, 프로세서(1420)는 제7 학습 이미지를 통해 위 제3 딥러닝 모델을 트레이닝하여 제3 딥러닝 모델이 제7 마스크를 생성하도록 할 수 있다. In one embodiment, when the processor 1420 inputs the seventh learning image (e.g., an image of the expanded side with the seventh defect) into the seventh deep learning model, the processor 1420 uses the seventh deep learning model to A seventh mask predicting the defect state of the extended side of the rollable electronic device can be generated from the seventh learning image. The processor 1420 may calculate a seventh similarity between the seventh mask and the label mask for the seventh defect. The processor 1420 may update at least one parameter in the seventh deep learning model when the calculated seventh similarity is less than the threshold. If the calculated seventh similarity is greater than or equal to the threshold, the processor 1420 may end training for the seventh deep learning model. The seventh deep learning model for which training has been completed can be mounted on the electronic device value evaluation device 130 as the seventh deep learning evaluation model. Depending on implementation, the processor 1420 may train the third deep learning model using the seventh learning image and allow the third deep learning model to generate the seventh mask.

일 실시 예에 있어서, 프로세서(1420)는 위에서 설명한 트레이닝 방식과 유사하게, 외관에 결함이 있는 웨어러블 기기를 촬영한 학습 이미지들을 기초로 딥러닝 모델들 각각을 트레이닝하여 웨어러블 기기의 외관(예: 전면, 후면, 측면, 화면)을 평가할 수 있는 딥러닝 평가 모델들을 생성할 수 있다. In one embodiment, similar to the training method described above, the processor 1420 trains each of the deep learning models based on learning images taken of a wearable device with defects in the exterior to determine the exterior (e.g., front) of the wearable device. , back, side, and screen) can be created to create deep learning evaluation models.

도 16을 참조하면, 단계 1610에서, 컴퓨팅 장치(1400)는 결함에 대한 학습 이미지를 딥러닝 모델에 입력할 수 있다. Referring to FIG. 16, in step 1610, the computing device 1400 may input a training image for a defect into a deep learning model.

단계 1620에서, 컴퓨팅 장치(1400)는 딥러닝 모델을 통해 학습 이미지로부터 결함의 상태를 예측한 마스크를 생성할 수 있다.In step 1620, the computing device 1400 may generate a mask predicting the state of a defect from a learning image through a deep learning model.

단계 1630에서, 컴퓨팅 장치(1400)는 생성된 마스크와 결함에 대한 레이블 마스크 사이의 유사도를 연산할 수 있다.In step 1630, the computing device 1400 may calculate the similarity between the generated mask and the label mask for the defect.

단계 1640에서, 컴퓨팅 장치(1400)는 연산된 유사도가 임계값보다 작은지 여부를 판단할 수 있다.In step 1640, the computing device 1400 may determine whether the calculated similarity is less than a threshold.

컴퓨팅 장치(1400)는 연산된 유사도가 임계값 미만인 경우 단계 1650에서 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 컴퓨팅 장치(1400)는 단계 1610 내지 단계 1640을 반복 수행할 수 있다.If the calculated similarity is less than the threshold, the computing device 1400 may update at least one parameter in the deep learning model in step 1650. The computing device 1400 may repeatedly perform steps 1610 to 1640.

컴퓨팅 장치(1400)는 연산된 유사도가 임계값 이상인 경우, 단계 1660에서, 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. If the calculated similarity is greater than or equal to the threshold, the computing device 1400 may end training for the deep learning model in step 1660.

도 1 내지 도 15를 통해 기술된 내용은 도 16의 딥러닝 모델 트레이닝 방법에 적용될 수 있다.Contents described through FIGS. 1 to 15 can be applied to the deep learning model training method of FIG. 16.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components. For example, the devices, methods, and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, and a field programmable gate (FPGA). It may be implemented using a general-purpose computer or a special-purpose computer, such as an array, programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software. For ease of understanding, a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include. For example, a processing device may include multiple processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device. Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on a computer-readable recording medium.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. A computer-readable medium may store program instructions, data files, data structures, etc., singly or in combination, and the program instructions recorded on the medium may be specially designed and constructed for the embodiment or may be known and available to those skilled in the art of computer software. there is. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.

위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The hardware devices described above may be configured to operate as one or multiple software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited drawings, those skilled in the art can apply various technical modifications and variations based on this. For example, the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or other components are used. Alternatively, appropriate results may be achieved even if substituted or substituted by an equivalent.

그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments and equivalents of the claims also fall within the scope of the following claims.

Claims

전자 기기 가치 평가 장치에 의해 수행되는 전자 기기 외관 상태 평가 방법에 있어서,In a method of evaluating the appearance condition of an electronic device performed by an electronic device valuation device,

전자 기기를 촬영하여 획득된 복수의 이미지들에 예외 케이스(exception case)가 존재하는지 여부를 판단하는 단계;determining whether an exception case exists in a plurality of images obtained by photographing an electronic device;

상기 이미지들에 상기 예외 케이스가 존재하지 않은 것으로 판단한 경우, 딥러닝 평가 모델들과 상기 이미지들을 이용하여 상기 전자 기기의 외관 상태 평가를 수행하는 단계;When it is determined that the exception case does not exist in the images, evaluating the external state of the electronic device using deep learning evaluation models and the images;

상기 이미지들 중 상기 예외 케이스가 존재하는 대상 이미지가 있는 것으로 판단한 경우, 상기 예외 케이스가 처리 가능한지 여부를 판단하는 단계;When it is determined that there is a target image in which the exception case exists among the images, determining whether the exception case can be processed;

상기 예외 케이스가 처리 가능한 것으로 판단한 경우, 상기 대상 이미지에서 상기 예외 케이스를 처리하는 단계; 및If it is determined that the exception case can be handled, processing the exception case in the target image; and

상기 이미지들 중 상기 대상 이미지를 제외한 나머지 이미지들, 상기 예외 케이스가 처리된 대상 이미지, 및 상기 딥러닝 평가 모델들을 이용하여 상기 외관 상태 평가를 수행하는 단계Performing the appearance state evaluation using the remaining images excluding the target image among the images, the target image for which the exception case has been processed, and the deep learning evaluation models.

를 포함하는,Including,

전자 기기 외관 상태 평가 방법.How to evaluate the appearance condition of electronic devices.
제1항에 있어서, According to paragraph 1,

상기 예외 케이스가 존재하는지 여부를 판단하는 단계는,The step of determining whether the exception case exists is,

상기 전자 기기의 화면이 촬영되어 획득된 화면 이미지에서 플로팅 아이콘에 대응되는 제1 객체가 있는지 여부를 판단하는 단계 Determining whether there is a first object corresponding to a floating icon in the screen image obtained by photographing the screen of the electronic device

를 포함하는,Including,

전자 기기 외관 상태 평가 방법.How to evaluate the appearance of electronic devices.
제1항에 있어서, According to paragraph 1,

상기 예외 케이스가 존재하는지 여부를 판단하는 단계는,The step of determining whether the exception case exists is,

상기 이미지들 중 하나 이상에 상기 전자 기기의 부착물에 대응되는 제2 객체가 있는지 여부를 판단하는 단계 Determining whether there is a second object corresponding to an attachment of the electronic device in one or more of the images

를 포함하는,Including,

전자 기기 외관 상태 평가 방법.How to evaluate the appearance condition of electronic devices.
제1항에 있어서, According to paragraph 1,

상기 예외 케이스가 존재하는지 여부를 판단하는 단계는,The step of determining whether the exception case exists is,

상기 이미지들 중 하나 이상에 촬영 조건이 만족되지 않은 제1 케이스가 있는지 여부를 판단하는 단계Determining whether there is a first case in which the shooting condition is not satisfied in one or more of the images

를 포함하는,Including,

전자 기기 외관 상태 평가 방법.How to evaluate the appearance condition of electronic devices.
제4항에 있어서, According to paragraph 4,

상기 촬영 조건은 카메라 초점 및 조명 밝기 중 적어도 하나를 포함하는,The shooting conditions include at least one of camera focus and lighting brightness,

전자 기기 외관 상태 평가 방법.How to evaluate the appearance condition of electronic devices.
제1항에 있어서, According to paragraph 1,

상기 예외 케이스가 존재하는지 여부를 판단하는 단계는,The step of determining whether the exception case exists is,

상기 이미지들 중 상기 전자 기기의 화면이 촬영되어 획득된 화면 이미지에 색상 변환을 수행하는 단계;performing color conversion on a screen image obtained by photographing the screen of the electronic device among the images;

상기 색상 변환된 화면 이미지의 채도 정보와 밝기 정보를 이용하여 상기 화면이 지정된 화면인지 여부를 판단하는 단계;determining whether the screen is a designated screen using saturation information and brightness information of the color-converted screen image;

상기 화면이 상기 지정된 화면이 아닌 경우, 지정되지 않은 화면이 켜진 상황에 해당하는 제2 케이스가 존재하는 것으로 판단하는 단계 If the screen is not the designated screen, determining that a second case corresponding to a situation in which an undesignated screen is turned on exists.

를 포함하는,Including,

전자 기기 외관 상태 평가 방법.How to evaluate the appearance condition of electronic devices.
제1항에 있어서, According to paragraph 1,

상기 예외 케이스가 처리 가능한지 여부를 판단하는 단계는,The step of determining whether the exception case can be handled is:

상기 전자 기기의 화면이 촬영되어 획득된 화면 이미지에서 플로팅 아이콘에 대응되는 제1 객체 또는 상기 이미지들 중 하나 이상에 상기 전자 기기의 부착물에 대응되는 제2 객체를 상기 예외 케이스로 판단한 경우, 상기 제1 객체 또는 상기 제2 객체는 처리 가능한 것으로 판단하는 단계; 및When a first object corresponding to a floating icon in a screen image obtained by photographing the screen of the electronic device or a second object corresponding to an attachment of the electronic device to one or more of the images is determined to be the exception case, the first object determining that the first object or the second object can be processed; and

상기 이미지들 중 하나 이상에 촬영 조건이 만족되지 않은 제1 케이스 또는 상기 이미지들 중 하나 이상에 지정되지 않은 화면이 켜진 상황에 해당하는 제2 케이스가 있는 것으로 판단한 경우, 상기 제1 케이스 또는 상기 제2 케이스는 상기 전자 기기 가치 평가 장치에 의해 처리 가능하지 않은 것으로 판단 및 운영자 처리가 필요한 것으로 판단하는 단계When it is determined that there is a first case in which the shooting condition is not satisfied in one or more of the images or a second case in which a screen not specified in one or more of the images is turned on, the first case or the second case corresponds to a situation in which a screen not specified in one or more of the images is turned on. 2. Step of determining that the case cannot be processed by the electronic device value evaluation device and that operator processing is necessary.

를 포함하는, Including,

전자 기기 외관 상태 평가 방법.How to evaluate the appearance condition of electronic devices.
제7항에 있어서, In clause 7,

상기 예외 케이스를 처리하는 단계는,The steps for handling the exception case are:

상기 딥러닝 평가 모델들 중 적어도 하나가 상기 제1 객체 또는 상기 제2 객체를 결함으로 오인하지 않도록 상기 제1 객체 또는 상기 제2 객체에 마스킹 처리를 수행하는 단계Performing masking processing on the first object or the second object so that at least one of the deep learning evaluation models does not mistake the first object or the second object as a defect.

를 포함하는,Including,

전자 기기 외관 상태 평가 방법.How to evaluate the appearance condition of electronic devices.
제1항에 있어서, According to paragraph 1,

상기 이미지들에 상기 예외 케이스가 존재하지 않은 것으로 판단한 경우, 상기 딥러닝 평가 모델들과 상기 이미지들을 이용하여 상기 외관 상태 평가를 수행하는 단계는, When it is determined that the exception case does not exist in the images, the step of performing the appearance state evaluation using the deep learning evaluation models and the images includes:

상기 딥러닝 평가 모델들을 통해 상기 이미지들로부터 상기 전자 기기의 평가 영역들 각각의 결함 상태를 예측한 마스크를 생성하고, 상기 생성된 각 마스크를 기초로 상기 평가 영역들 각각의 결함에 대한 등급을 결정하는 단계; 및A mask predicting the defect state of each evaluation area of the electronic device is generated from the images through the deep learning evaluation models, and a grade for a defect in each of the evaluation areas is determined based on the generated mask. steps; and

상기 결정된 각 등급을 통해 상기 전자 기기의 외관 상태에 대한 최종 등급을 결정하는 단계Determining the final grade of the external condition of the electronic device through each determined grade.

를 포함하는,Including,

전자 기기 외관 상태 평가 방법.How to evaluate the appearance condition of electronic devices.
전자 기기 가치 평가 장치에 의해 수행되는 전자 기기 가치 평가 방법에 있어서,In an electronic device valuation method performed by an electronic device valuation device,

전자 기기를 촬영하여 획득된 복수의 이미지들 및 복수의 딥러닝 평가 모델들을 기초로 상기 전자 기기에 대한 외관 상태 평가를 수행하는 단계; 및Evaluating the appearance condition of the electronic device based on a plurality of images obtained by photographing the electronic device and a plurality of deep learning evaluation models; and

상기 외관 상태 평가의 결과 및 상기 전자 기기의 내부 상태 평가의 결과를 기초로 상기 전자 기기의 가치를 결정하는 단계Determining the value of the electronic device based on the results of the external condition evaluation and the results of the internal state evaluation of the electronic device

를 포함하고,Including,

상기 외관 상태 평가를 수행하는 단계는,The step of performing the appearance condition evaluation is,

상기 이미지들에 예외 케이스(exception case)가 존재하는지 여부를 판단하는 단계;determining whether an exception case exists in the images;

상기 이미지들에 상기 예외 케이스가 존재하지 않은 것으로 판단한 경우, 딥러닝 평가 모델들과 상기 이미지들을 이용하여 상기 전자 기기의 외관 상태 평가를 수행하는 단계;When it is determined that the exception case does not exist in the images, evaluating the external state of the electronic device using deep learning evaluation models and the images;

상기 이미지들 중 상기 예외 케이스가 존재하는 대상 이미지가 있는 것으로 판단한 경우, 상기 예외 케이스가 처리 가능한지 여부를 판단하는 단계;When it is determined that there is a target image in which the exception case exists among the images, determining whether the exception case can be processed;

상기 예외 케이스가 처리 가능한 것으로 판단한 경우, 상기 대상 이미지에서 상기 예외 케이스를 처리하는 단계; 및If it is determined that the exception case can be handled, processing the exception case in the target image; and

상기 이미지들 중 상기 대상 이미지를 제외한 나머지 이미지들, 상기 예외 케이스가 처리된 대상 이 미지, 및 상기 딥러닝 평가 모델들을 이용하여 상기 외관 상태 평가를 수행하는 단계Performing the appearance state evaluation using the remaining images excluding the target image among the images, the target image for which the exception case has been processed, and the deep learning evaluation models.

를 포함하는,Including,

전자 기기 가치 평가 방법.How to value electronic devices.
제10항에 있어서, According to clause 10,

상기 예외 케이스가 존재하는지 여부를 판단하는 단계는,The step of determining whether the exception case exists is,

상기 전자 기기의 화면이 촬영되어 획득된 화면 이미지에서 플로팅 아이콘에 대응되는 제1 객체가 있는지 여부를 판단하는 단계 Determining whether there is a first object corresponding to a floating icon in the screen image obtained by photographing the screen of the electronic device

를 포함하는,Including,

전자 기기 가치 평가 방법.How to value electronic devices.
제10항에 있어서, According to clause 10,

상기 예외 케이스가 존재하는지 여부를 판단하는 단계는,The step of determining whether the exception case exists is,

상기 이미지들 중 하나 이상에 상기 전자 기기의 부착물에 대응되는 제2 객체가 있는지 여부를 판단하는 단계 Determining whether there is a second object corresponding to an attachment of the electronic device in one or more of the images

를 포함하는,Including,

전자 기기 가치 평가 방법.How to value electronic devices.
제10항에 있어서, According to clause 10,

상기 예외 케이스가 존재하는지 여부를 판단하는 단계는,The step of determining whether the exception case exists is,

상기 이미지들 중 하나 이상에 촬영 조건이 만족되지 않은 제1 케이스가 있는지 여부를 판단하는 단계Determining whether there is a first case in which the shooting condition is not satisfied in one or more of the images

를 포함하는,Including,

전자 기기 가치 평가 방법.How to value electronic devices.
제13항에 있어서, According to clause 13,

상기 촬영 조건은 카메라 초점 및 조명 밝기 중 적어도 하나를 포함하는,The shooting conditions include at least one of camera focus and lighting brightness,

전자 기기 가치 평가 방법.How to value electronic devices.
제10항에 있어서, According to clause 10,

상기 예외 케이스가 존재하는지 여부를 판단하는 단계는,The step of determining whether the exception case exists is,

상기 이미지들 중 상기 전자 기기의 화면이 촬영되어 획득된 화면 이미지에 색상 변환을 수행하는 단계;performing color conversion on a screen image obtained by photographing the screen of the electronic device among the images;

상기 색상 변환된 화면 이미지의 채도 정보와 밝기 정보를 이용하여 상기 화면이 지정된 화면인지 여부를 판단하는 단계;determining whether the screen is a designated screen using saturation information and brightness information of the color-converted screen image;

상기 화면이 상기 지정된 화면이 아닌 경우, 지정되지 않은 화면이 켜진 상황에 해당하는 제2 케이스가 존재하는 것으로 판단하는 단계 If the screen is not the designated screen, determining that a second case corresponding to a situation in which an undesignated screen is turned on exists.

를 포함하는,Including,

전자 기기 가치 평가 방법.How to value electronic devices.
제10항에 있어서, According to clause 10,

상기 예외 케이스가 처리 가능한지 여부를 판단하는 단계는,The step of determining whether the exception case can be handled is:

상기 전자 기기의 화면이 촬영되어 획득된 화면 이미지에서 플로팅 아이콘에 대응되는 제1 객체 또는 상기 이미지들 중 하나 이상에 상기 전자 기기의 부착물에 대응되는 제2 객체를 상기 예외 케이스로 판단한 경우, 상기 제1 객체 또는 상기 제2 객체는 처리 가능한 것으로 판단하는 단계; 및When a first object corresponding to a floating icon in a screen image obtained by photographing the screen of the electronic device or a second object corresponding to an attachment of the electronic device to one or more of the images is determined to be the exception case, the first object determining that the first object or the second object can be processed; and

상기 이미지들 중 하나 이상에 촬영 조건이 만족되지 않은 제1 케이스 또는 상기 이미지들 중 하나 이상에 지정되지 않은 화면이 켜진 상황에 해당하는 제2 케이스가 있는 것으로 판단한 경우, 상기 제1 케이스 또는 상기 제2 케이스는 상기 전자 기기 장치 평가 장치에 의해 처리 가능하지 않은 것으로 판단 및 운영자 처리가 필요한 것으로 판단하는 단계When it is determined that there is a first case in which the shooting condition is not satisfied in one or more of the images or a second case in which a screen not specified in one or more of the images is turned on, the first case or the second case corresponds to a situation in which a screen not specified in one or more of the images is turned on. 2. Determining that the case cannot be processed by the electronic device evaluation device and that operator processing is necessary.

를 포함하는, Including,

전자 기기 가치 평가 방법.How to value electronic devices.
제16항에 있어서, According to clause 16,

상기 예외 케이스를 처리하는 단계는,The steps for handling the exception case are:

상기 딥러닝 평가 모델들 중 적어도 하나가 상기 제1 객체 또는 상기 제2 객체를 결함으로 오인하지 않도록 상기 제1 객체 또는 상기 제2 객체에 마스킹 처리를 수행하는 단계Performing masking processing on the first object or the second object so that at least one of the deep learning evaluation models does not mistake the first object or the second object as a defect.

를 포함하는,Including,

전자 기기 가치 평가 방법.How to value electronic devices.
제16항에 있어서, According to clause 16,

상기 이미지들에 상기 예외 케이스가 존재하지 않은 것으로 판단한 경우, 상기 딥러닝 평가 모델들과 상기 이미지들을 이용하여 상기 외관 상태 평가를 수행하는 단계는, When it is determined that the exception case does not exist in the images, the step of performing the appearance state evaluation using the deep learning evaluation models and the images includes:

상기 딥러닝 평가 모델들을 통해 상기 이미지들로부터 상기 전자 기기의 평가 영역들 각각의 결함 상태를 예측한 마스크를 생성하고, 상기 생성된 각 마스크를 기초로 상기 평가 영역들 각각의 결함에 대한 등급을 결정하는 단계; 및A mask predicting the defect state of each evaluation area of the electronic device is generated from the images through the deep learning evaluation models, and a grade for a defect in each of the evaluation areas is determined based on the generated mask. steps; and

상기 결정된 각 등급을 통해 상기 전자 기기의 외관 상태에 대한 최종 등급을 결정하는 단계Determining the final grade of the external condition of the electronic device through each determined grade.

를 포함하는,Including,

전자 기기 가치 평가 방법.How to value electronic devices.
복수의 딥러닝 평가 모델들을 저장하는 메모리; 및A memory that stores a plurality of deep learning evaluation models; and

전자 기기를 촬영하여 획득된 복수의 이미지들에 예외 케이스(exception case)가 존재하는지 여부를 판단하고, 상기 이미지들에 상기 예외 케이스가 존재하지 않은 것으로 판단한 경우, 상기 딥러닝 평가 모델들과 상기 이미지들을 이용하여 상기 전자 기기의 외관 상태 평가를 수행하며, 상기 이미지들 중 상기 예외 케이스가 존재하는 대상 이미지가 있는 것으로 판단한 경우, 상기 예외 케이스가 처리 가능한지 여부를 판단하고, 상기 예외 케이스가 처리 가능한 것으로 판단한 경우, 상기 대상 이미지에서 상기 예외 케이스를 처리하고, 상기 이미지들 중 상기 대상 이미지를 제외한 나머지 이미지들, 상기 예외 케이스가 처리된 대상 이미지, 및 상기 딥러닝 평가 모델들을 이용하여 상기 외관 상태 평가를 수행하는 외관 상태 평가 모듈Determine whether an exception case exists in a plurality of images obtained by photographing an electronic device, and if it is determined that the exception case does not exist in the images, the deep learning evaluation model and the image Evaluating the external state of the electronic device using When determined, the exception case is processed in the target image, and the appearance state is evaluated using the remaining images excluding the target image among the images, the target image for which the exception case has been processed, and the deep learning evaluation models. Appearance condition evaluation module that performs

을 포함하는,Including,

전자 기기 가치 평가 장치. Electronic device valuation device.