KR20220160789A - Performance evaluation method and system for multiple classification models - Google Patents

Performance evaluation method and system for multiple classification models Download PDF

Info

Publication number
KR20220160789A
KR20220160789A KR1020210068859A KR20210068859A KR20220160789A KR 20220160789 A KR20220160789 A KR 20220160789A KR 1020210068859 A KR1020210068859 A KR 1020210068859A KR 20210068859 A KR20210068859 A KR 20210068859A KR 20220160789 A KR20220160789 A KR 20220160789A
Authority
KR
South Korea
Prior art keywords
performance
classification model
evaluation
data
confusion matrix
Prior art date
Application number
KR1020210068859A
Other languages
Korean (ko)
Other versions
KR102585919B1 (en
Inventor
최강선
정범채
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020210068859A priority Critical patent/KR102585919B1/en
Publication of KR20220160789A publication Critical patent/KR20220160789A/en
Application granted granted Critical
Publication of KR102585919B1 publication Critical patent/KR102585919B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1916—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

The present invention relates to a method and system for evaluating the performance of a multiclassification model. Moreover, the method for evaluating the performance of a multiclassification model includes: an input step of receiving ground truth data labeled with an engraving area constituting a stroke of an inscription and a background area constituting a background and prediction data outputted from a multiclassification model; a weight setting step of extracting information on vertices located in the engraving area from the inputted ground truth data and setting a weight for each of the vertices according to positions of the extracted vertices; and an evaluation step of generating a confusion matrix by reflecting the set weight to a comparison result between the ground truth data and the prediction data and evaluating the performance of the multiclassification model based on the generated confusion matrix. Therefore, the present invention is capable of providing an evaluation result similar to a subjective evaluation of a person during the evaluation on the performance of the multiclassification model, and providing a more accurate evaluation result on the multiclassification model.

Description

다중 분류 모델의 성능 평가 방법 및 시스템{Performance evaluation method and system for multiple classification models}Performance evaluation method and system for multiple classification models

본 발명은 다중 분류 모델의 성능 평가 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for evaluating the performance of a multi-classification model.

컴퓨터 그래픽과 컴퓨터비전 분야의 발전과 함께 응용 범위가 넓어짐에 따라 문화 유적 조사와 복원 분야에 3차원 분석 기술이 적극적으로 활용되고 있다.As the scope of application widens with the development of computer graphics and computer vision, 3D analysis technology is actively used in the field of cultural heritage investigation and restoration.

일 예로, 비석에 새겨진 비문을 판독하는 경우, 기존에 주로 사용되던 탁본은 탁본의 숙련도에 따라 결과물이 달라질 수 있고 탁본을 얻기 위해서 비석 표면에 직접 접촉해야 하기 때문에 비석을 훼손할 수 있는 우려가 있지만, 3차원으로 스캔한 비석 데이터를 이용하여 비문을 추출하게 되면, 비석의 표면을 훼손할 우려가 없고, 스캔을 통해 비석에 새겨진 문자와 배경을 고유하게 식별할 수 있으며, 비석에서 획득한 모든 정보를 디지털 데이터로 저장할 수 있다.For example, in the case of reading an inscription engraved on a tombstone, rubbing, which has been mainly used in the past, may have different results depending on the skill of the rubbing, and since direct contact with the surface of the tombstone is required to obtain a rubbing, there is a concern that the tombstone may be damaged. , If the inscription is extracted using the data of the tombstone scanned in 3D, there is no risk of damaging the surface of the tombstone, and the text and background engraved on the tombstone can be uniquely identified through scanning, and all information obtained from the tombstone can be stored as digital data.

그리고, 종래에는 다중 분류 모델을 이용하여 비석 데이터로부터 비문의 획을 구성하는 새김 영역과 배경을 구성하는 배경 영역을 분류하는 방식으로 비문을 추출하고 있는데, 이에 사용되는 다중 분류 모델이 다양하기 때문에, 각각의 다중 분류 모델에 의한 비문 추출 성능을 객관적으로 비교하고 평가할 필요가 있었다.In addition, conventionally, inscriptions are extracted by using a multi-classification model to classify the inscription area constituting the stroke of the epitaph and the background area constituting the background from tombstone data. Since the multi-classification model used for this is diverse, It was necessary to objectively compare and evaluate the inscription extraction performance by each multi-classification model.

따라서, 종래에는 비문 추출에 대해 텍스트 추출이나 영상 분할과 유사한 분류 작업으로 간주하여 종래의 성능 평가 지표인 F1 score, 재현율(recall) 및 정밀도plrecision)을 활용하였다.Therefore, in the past, inscription extraction was regarded as a classification task similar to text extraction or image segmentation, and conventional performance evaluation indicators such as F1 score, recall, and precision were used.

그러나, 비석 데이터의 경우에는 일반적인 텍스트나 영상과 다르게 클래스 분포가 편향되어, 글자 획을 나타내는 새김 영역이 배경 영역보다 훨씬 작은 특징을 갖는데, 이런 클래스 불균형에 의해 종래의 성능 평가 지표에 의한 평가 결과가 사람의 주관적 평가와 크게 달라지는 문제점이 있다.However, in the case of tombstone data, the class distribution is biased unlike general text or video, and the inscribed area representing the character stroke has a feature that is much smaller than the background area. There is a problem that differs greatly from human subjective evaluation.

예를 들어, 종래의 성능 평가 지표에 의한 평가 결과와 사람의 주관적 평가 간의 차이를 나타내는 도 1을 참조하면, 1-1 내지 3-5에 각각 도시된 3개의 비문에 대해 종래의 성능 평가 지표인 F1 score, 재현율(recall) 및 정밀도plrecision)에 의한 평가 결과는, 주관적 평가 기법인 MOS(Mean opinion score)의 평가 결과와 상이한 차이가 있었으며, 예외적으로, 2-1의 비문과 3-2의 비문에 대해서만 유사한 평과 결과가 나타난 것을 확인할 수 있다.For example, referring to FIG. 1 showing the difference between the evaluation result by the conventional performance evaluation index and the subjective evaluation of a person, for the three inscriptions shown in 1-1 to 3-5, respectively, the conventional performance evaluation index The evaluation results by the F1 score, recall, and precision (plrecision) were different from the evaluation results of the subjective evaluation technique, MOS (Mean Opinion Score), with the exception of 2-1 and 3-2. It can be seen that similar evaluation results appeared only for .

참고로, 전술한 MOS는 다중 분류 모델에 의한 비문 추출 성능을 여러 평가자가 각각 점수를 매기고, 여러 평가자의 점수를 평균화한 것이다.For reference, the above-described MOS is obtained by averaging the scores of several evaluators after each evaluator scores the inscription extraction performance by the multi-classification model.

이를 해결하고자, 비석 데이터에서 추출한 글자의 품질을 측정할 때 사람의 주관적 요인을 고려하여 주관적 평가와 유사한 결과를 보여주는 추출 비문 인식 지수(Segmented Inscription Recognition Index, SIRI)가 제시되었으나, 종래의 추출 비문 인식 지수는 획의 중심 영역과 경계 영역, 주 영역으로만 나누어 가중치를 설정하기 때문에, 같은 영역 안에서는 획의 두께 변화와 관계없이 동일한 가중치가 설정된다. In order to solve this problem, the Segmented Inscription Recognition Index (SIRI), which shows results similar to subjective evaluations by considering the subjective factors of people when measuring the quality of letters extracted from tombstone data, has been proposed, but conventional extracted inscription recognition Since the index sets the weight by dividing only the central area, border area, and main area of the stroke, the same weight is set regardless of the change in stroke thickness within the same area.

즉, 종래의 추출 비문 인식 지수는 사람의 주관적 인식에서 글자의 두께가 얇아지거나 두꺼워지는 경우에는 주관적 평가의 차이가 크지 않으나, 획이 사라지거나 잡음이 지저분하게 발생될 때 평가가 매우 낮아진다는 점을 반영하지 못하므로, 최종적인 평가 결과가 여전히 사람의 주관적 평가와 달라질 수 있는 문제점이 있다.That is, the conventional extraction inscription recognition index does not show a large difference in subjective evaluation when the thickness of letters becomes thin or thick in human subjective recognition, but the evaluation becomes very low when strokes disappear or noise is generated messy. Since it is not reflected, there is a problem in that the final evaluation result may still differ from the subjective evaluation of a person.

본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 비석 데이터에서 비문을 추출하는 다중 분류 모델의 성능을 평가하되, 사람의 주관적 평가와 유사한 평가 결과를 제공할 수 있는 다중 분류 모델의 성능 평가 방법 및 시스템을 제공하는데 그 목적이 있다.The present invention has been devised in view of the above problems, and a method for evaluating the performance of a multi-classification model that extracts inscriptions from tombstone data, but can provide evaluation results similar to those of human subjective evaluation. and to provide a system for its purpose.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

상기와 같은 목적을 달성하기 위한 본 발명은 비문의 획을 구성하는 새김 영역과 배경을 구성하는 배경 영역으로 라벨링된 실측(Ground Truth) 데이터와, 다중 분류 모델에서 출력된 예측 데이터를 입력받는 입력 단계; 상기 입력된 실측 데이터로부터 새김 영역에 위치하는 점(vertex)에 대한 정보를 추출하고, 상기 추출된 점의 위치에 따라 각각의 점에 가중치를 설정하는 가중치 설정 단계; 및 실측 데이터와 예측 데이터의 비교 결과에 상기 설정된 가중치를 반영하여 혼동 행렬을 생성하고, 상기 생성된 혼동 행렬을 기초로 다중 분류 모델의 성능을 평가하는 평가 단계;를 포함하는, 다중 분류 모델의 성능 평가 방법을 제공한다.The present invention for achieving the above object is an input step of receiving ground truth data labeled with an engraved area constituting the stroke of an inscription and a background area constituting the background, and prediction data output from a multi-classification model ; a weight setting step of extracting information on vertices located in an engraving area from the input actual measurement data and setting a weight for each vertex according to the location of the extracted vertex; and an evaluation step of generating a confusion matrix by reflecting the set weights on the comparison result between the actual data and the predicted data, and evaluating the performance of the multi-classification model based on the generated confusion matrix. Provides an evaluation method.

바람직한 실시예에 있어서, 상기 가중치 설정 단계는, 레벨셋 알고리즘을 이용하여 가중치를 설정하되, 점의 위치가 획의 중앙에 가까울수록 높은 가중치를 설정한다.In a preferred embodiment, in the weight setting step, weights are set using a level set algorithm, and higher weights are set as the position of a dot is closer to the center of a stroke.

바람직한 실시예에 있어서, 상기 평가 단계는, 혼동 행렬(confusion matrix)에 따른 재현율(recall)과 정밀도(precision)의 조화평균을 계산하여 다중 분류 모델의 성능을 평가한다.In a preferred embodiment, in the evaluation step, the performance of the multi-classification model is evaluated by calculating a harmonic average of recall and precision according to a confusion matrix.

바람직한 실시예에 있어서, 상기 평가 단계는, 다중 분류 모델의 성능 평가 이전에, 사전에 설정된 파라미터를 반영하여 혼동 행렬의 참-양성(True Positive, TP), 거짓-양성(False Positive, FP) 및 거짓-음성(False Negative, FN)에 대한 중요도를 서로 다르게 조정한다.In a preferred embodiment, in the evaluation step, prior to the performance evaluation of the multi-classification model, the true positive (TP), false positive (FP) and false positive (FP) and Differently adjust the importance for False Negative (FN).

또한, 본 발명은 프로세서; 및 상기 프로세서에 의해 실행 가능한 하나 이상의 인스트럭션을 저장하는 메모리;를 포함하고, 상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 비문의 획을 구성하는 새김 영역과 배경을 구성하는 배경 영역으로 라벨링된 실측(Ground Truth) 데이터와, 다중 분류 모델에서 출력된 예측 데이터를 입력받고, 상기 입력된 실측 데이터로부터 새김 영역에 위치하는 점(vertex)에 대한 정보를 추출하고, 상기 추출된 점의 위치에 따라 각각의 점에 가중치를 설정하며, 실측 데이터와 예측 데이터의 비교 결과에 상기 설정된 가중치를 반영하여 혼동 행렬을 생성하고, 상기 생성된 혼동 행렬을 기초로 다중 분류 모델의 성능을 평가하는, 다중 분류 모델의 성능 평가 시스템을 제공한다.In addition, the present invention is a processor; and a memory storing one or more instructions executable by the processor, wherein the processor, by executing the one or more instructions, measures actual measurements labeled as engraved areas constituting the stroke of the inscription and background areas constituting the background. (Ground Truth) data and prediction data output from the multi-classification model are received, information on vertices located in the engraving area is extracted from the input actual measurement data, and each is obtained according to the location of the extracted points. A multi-classification model that sets weights at the points of , creates a confusion matrix by reflecting the set weights on the comparison result between actual data and predicted data, and evaluates the performance of the multi-classification model based on the generated confusion matrix. Provides a performance evaluation system.

전술한 과제해결 수단에 의해 본 발명은 사전에 설정된 파라미터를 반영하여 혼동 행렬의 참-양성(True Positive, TP), 거짓-양성(False Positive, FP) 및 거짓-음성(False Negative, FN)의 중요도를 조정하고, 중요도가 조정된 혼동 행렬을 기초로 다중 분류 모델의 성능을 평가함으로써, 다중 분류 모델의 성능 평가 시 사람의 주관적 평가와 유사한 평가 결과를 제공할 수 있는 효과가 있다.By the above-described problem solving means, the present invention reflects the preset parameters to determine the true positive (TP), false positive (FP) and false negative (FN) of the confusion matrix. By adjusting the importance and evaluating the performance of the multi-classification model based on the confusion matrix adjusted for the importance, it is possible to provide an evaluation result similar to a subjective human evaluation when evaluating the performance of the multi-classification model.

또한, 본 발명은 새김 영역에 위치하는 점의 위치에 따라 가중치를 설정하고, 설정된 가중치를 실측 데이터와 예측 데이터의 비교 결과에 반영하여 혼동 행렬을 생성함으로써, 다중 분류 모델에 대해 보다 정확한 평가 결과를 제공할 수 있는 효과가 있다.In addition, the present invention sets weights according to the positions of points located in the engraving area and generates a confusion matrix by reflecting the set weights to the comparison result of measured data and predicted data, thereby providing more accurate evaluation results for multi-classification models. There are effects that can be provided.

도 1은 종래의 성능 평가 지표에 의한 평가 결과와 사람의 주관적 평가 간의 차이를 나타내는 도면.
도 2는 본 발명의 일실시예에 따른 성능 평가 시스템을 설명하기 위한 도면.
도 3은 본 발명의 일실시예에 따른 성능 평가 시스템의 프로세서에 의해 수행되는 기능을 설명하기 위한 블록도.
도 4는 가중치가 설정된 새김 영역을 나타내는 도면.
도 5는 혼동 행렬에 따른 참-양성(TP), 거짓-양성(FP), 참-음성(TN) 및 거짓-음성(FN)을 설명하기 위한 도면.
도 6은 본 발명의 일실시예에 따른 성능 평가 방법을 설명하기 위한 도면.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a diagram showing a difference between an evaluation result by a conventional performance evaluation index and a subjective human evaluation.
2 is a diagram for explaining a performance evaluation system according to an embodiment of the present invention;
3 is a block diagram for explaining functions performed by a processor of a performance evaluation system according to an embodiment of the present invention;
Fig. 4 is a diagram showing an engraved area in which weights are set;
5 is a diagram for explaining true-positive (TP), false-positive (FP), true-negative (TN), and false-negative (FN) according to confusion matrices;
6 is a diagram for explaining a performance evaluation method according to an embodiment of the present invention;

하기의 설명에서 본 발명의 특정 상세들이 본 발명의 전반적인 이해를 제공하기 위해 나타나 있는데, 이들 특정 상세들 없이 또한 이들의 변형에 의해서도 본 발명이 용이하게 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.In the following description, specific details of the invention are set forth to provide a thorough understanding of the invention, but it is common knowledge in the art that the invention may readily be practiced without and with variations thereof. It will be self-evident to those who have

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도 2 내지 도 6을 참조하여 상세히 설명하되, 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 설명한다.Hereinafter, a preferred embodiment according to the present invention will be described in detail with reference to the accompanying FIGS. 2 to 6, but the description will focus on the parts necessary for understanding the operation and action according to the present invention.

도 2는 본 발명의 일실시예에 따른 성능 평가 시스템을 설명하기 위한 도면이다.2 is a diagram for explaining a performance evaluation system according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일실시예에 따른 성능 평가 시스템(100)은 퍼스널 컴퓨터 및 노트북을 포함하는 범용통신단말에 탑재되거나, 해당 범용통신단말에 설치되는 프로그램으로 구현될 수 있다.Referring to FIG. 2 , the performance evaluation system 100 according to an embodiment of the present invention may be implemented as a program installed in a general-purpose communication terminal including a personal computer and a laptop computer or installed in the general-purpose communication terminal.

이러한, 본 발명의 일실시예에 따른 성능 평가 시스템(100)은 비석 데이터로부터 비문의 획을 구성하는 새김 영역과 배경을 구성하는 배경 영역을 분류하여 비문을 추출하는 다중 분류 모델의 성능을 평가하기 위한 것으로, 실측(Ground Truth) 데이터와 다중 분류 모델에서 출력된 예측 데이터를 비교하여 다중 분류 모델의 성능을 평가할 수 있다.The performance evaluation system 100 according to an embodiment of the present invention classifies the engraved area constituting the stroke of the inscription and the background area constituting the background from tombstone data to evaluate the performance of a multi-classification model for extracting the inscription For this purpose, the performance of the multi-classification model can be evaluated by comparing the ground truth data and the predicted data output from the multi-classification model.

특히, 본 발명의 일실시예에 따른 성능 평가 시스템(100)은 다중 분류 모델의 성능 평가 시 사람의 주관적 평가와 유사한 평가 결과를 제공할 수 있으며, 종래의 성능 평가 지표인 F1 score, 재현율(recall) 및 정밀도plrecision)에 비해 상대적으로 정확한 평가 결과를 제공할 수 있다.In particular, the performance evaluation system 100 according to an embodiment of the present invention can provide evaluation results similar to human subjective evaluation when evaluating the performance of a multi-classification model, and the conventional performance evaluation index F1 score, recall ) and precision) can provide relatively accurate evaluation results.

참고로, 전술한 실측 데이터는 사람이 컴퓨터를 이용하여 비문의 획을 구성하는 새김 영역과 배경을 구성하는 배경 영역으로 라벨링한 것이다.For reference, the above-mentioned actual measurement data is labeled by a person using a computer as an engraved area constituting a stroke of an inscription and a background area constituting a background.

한편, 본 발명의 일실시예에 따른 성능 평가 시스템(100)은 하드웨어 구성으로, 프로세서(110) 및 메모리(120)를 포함하여 구성될 수 있다.Meanwhile, the performance evaluation system 100 according to an embodiment of the present invention may include a processor 110 and a memory 120 as a hardware configuration.

프로세서(110)는 하나 이상으로 포함될 수 있고, 메모리(120)에 저장된 하나 이상의 인스트럭션 또는 프로그램들을 실행할 수 있으며, 아울러, 성능 평가 시스템(100)의 전반적인 동작을 제어할 수도 있다.One or more processors 110 may be included, execute one or more instructions or programs stored in the memory 120, and may also control overall operations of the performance evaluation system 100.

메모리(120)는 프로세서(110)에 의해 실행 가능한 하나 이상의 인스트럭션을 저장하거나 프로세서(110)에 의해 실행되는 프로그램들을 저장할 수 있고, 입/출력되는 데이터들을 저장할 수도 있다.The memory 120 may store one or more instructions executable by the processor 110, programs executed by the processor 110, or input/output data.

구체적으로, 메모리(120)는 프로세서(110)의 적어도 하나의 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 메모리(120)는 소프트웨어 및/또는 프로그램을 저장할 수 있다. 메모리(120)는 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API), 및/또는 어플리케이션 프로그램 등을 포함할 수 있다. 커널, 미들웨어, 또는 API의 적어도 일부는, 운영 시스템으로 지칭될 수 있다. 커널은, 예를 들면, 다른 프로그램들(예: 미들웨어, API, 또는 어플리케이션 프로그램)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스, 프로세서(110), 또는 메모리(120) 등)을 제어 또는 관리할 수 있다. 또한, 커널은 미들웨어, API, 또는 어플리케이션 프로그램에서 서버의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.Specifically, the memory 120 may store instructions or data related to at least one component of the processor 110 . Memory 120 may store software and/or programs. The memory 120 may include a kernel, middleware, application programming interface (API), and/or application programs. At least part of a kernel, middleware, or API may be referred to as an operating system. The kernel is, for example, system resources (eg, a bus, processor 110, or memory 120) used to execute operations or functions implemented in other programs (eg, middleware, APIs, or application programs). ), etc.) can be controlled or managed. In addition, the kernel may provide an interface capable of controlling or managing system resources by accessing individual components of the server in middleware, API, or application programs.

이하에서는, 본 발명의 일실시예에 따른 성능 평가 시스템(100)에서 프로세서(110)에 의해 수행되는 기능들을 구체적으로 설명한다.Hereinafter, functions performed by the processor 110 in the performance evaluation system 100 according to an embodiment of the present invention will be described in detail.

도 3은 본 발명의 일실시예에 따른 성능 평가 시스템의 프로세서에 의해 수행되는 기능을 설명하기 위한 블록도이고, 도 4는 가중치가 설정된 새김 영역을 나타내는 도면이며, 도 5는 혼동 행렬에 따른 참-양성(TP), 거짓-양성(FP), 참-음성(TN) 및 거짓-음성(FN)을 설명하기 위한 도면이다.3 is a block diagram for explaining functions performed by a processor of a performance evaluation system according to an embodiment of the present invention, FIG. 4 is a diagram showing an engraved area in which weights are set, and FIG. 5 is a reference diagram according to a confusion matrix. -It is a diagram for explaining positive (TP), false-positive (FP), true-negative (TN) and false-negative (FN).

참고로, 도 3에 도시된 블록들의 일부 또는 전부는, 특정 기능을 실행하는 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 도 3에 도시된 블록들이 수행하는 기능들은, 하나 이상의 마이크로프로세서에 의해 구현되거나, 해당 기능을 위한 회로 구성들에 의해 구현될 수 있다. 도 3에 도시된 블록들의 일부 또는 전부는 프로세서(110)에서 실행되는 다양한 프로그래밍 언어 또는 스크립트 언어로 구성된 소프트웨어 모듈일 수 있다.For reference, some or all of the blocks shown in FIG. 3 may be implemented as hardware and/or software components that perform specific functions. Functions performed by the blocks shown in FIG. 3 may be implemented by one or more microprocessors or circuit configurations for the function. Some or all of the blocks shown in FIG. 3 may be software modules configured in various programming languages or script languages that are executed in the processor 110 .

먼저, 도 3을 참조하면, 본 발명의 일실시예에 따른 성능 평가 시스템(100)의 프로세서(110)는 입력부(111), 가중치 설정부(112) 및 평가부(113)를 포함할 수 있다.First, referring to FIG. 3 , the processor 110 of the performance evaluation system 100 according to an embodiment of the present invention may include an input unit 111, a weight setting unit 112, and an evaluation unit 113. .

상기 입력부(111)는 비문의 획을 구성하는 새김 영역과 배경을 구성하는 배경 영역으로 라벨링된 실측(Ground Truth) 데이터와, 다중 분류 모델에서 출력된 예측 데이터를 입력받는다.The input unit 111 receives ground truth data labeled with an engraved area constituting a stroke of an inscription and a background area constituting a background, and prediction data output from a multi-classification model.

이를 위한, 입력부(111)는 실측 데이터의 입력을 위한 유저 인터페이스(User Interface, UI)와 예측 데이터의 입력을 위한 유저 인터페이스를 제공할 수도 있다.To this end, the input unit 111 may provide a user interface (UI) for inputting actual measurement data and a user interface for inputting predicted data.

상기 가중치 설정부(112)는 새김 영역에 위치한 점을 대상으로 가중치를 설정한다.The weight setting unit 112 sets weights for points located in the engraving area.

이러한, 가중치 설정부(112)는 입력부(111)에 입력된 실측 데이터를 기준으로 하여 새김 영역에 대한 정보를 추출하고, 추출된 새김 영역에 위치한 점에 가중치를 설정할 수 있다.The weight setting unit 112 may extract information about the engraved area based on the measured data input to the input unit 111 and set weights to points located in the extracted engraved area.

이때, 가중치 설정부(112)는 레벨셋(level set) 알고리즘을 이용하여 새김 영역의 점에 가중치를 설정할 수 있는데, 특히, 새김 영역의 경계에 인접한 점에는 상대적으로 낮은 가중치를 설정하고, 새김 영역의 중앙, 즉, 획의 중앙에 가까울수록 높은 가중치를 설정하도록 구비될 수 있다.At this time, the weight setting unit 112 may set weights to points in the engraved area using a level set algorithm. In particular, relatively low weights are set for points adjacent to the boundaries of the engraved area, and It may be provided to set a higher weight as it is closer to the center of the stroke, that is, the center of the stroke.

예컨대, 도 4의 (a)에는 새김 영역과 배경 영역으로 구분된 실측 데이터가 도시되어 있는데, 이를 대상으로 가중치를 설정하면, 도 4의 (b)에 도시된 바와 같이, 획의 중앙에는 ‘8’에 해당하는 가중치가 설정되어 노란 색상으로 표시되고, 새김 영역의 경계에 인접하면 ‘0’ 내지 ‘4’에 해당하는 가중치가 설정될 수 있다.For example, in (a) of FIG. 4, actual measurement data divided into an engraved area and a background area is shown. If a weight is set for this, as shown in (b) of FIG. 4, '8' is displayed in the center of the stroke. A weight corresponding to ' is set and displayed in yellow color, and a weight corresponding to '0' to '4' may be set when adjacent to the boundary of the engraved area.

또한, 전술한 레벨셋 알고리즘은 새김 영역의 경계를 추적하고 새김 영역의 경계에 위치한 점에서 멀수록 가중치가 증가하게 함으로써, 새김 영역 내에서 획의 중앙에 위치한 점에 상대적으로 높은 가중치를 설정할 수 있다. 참고로, 전술한 레벨셋 알고리즘은 이미 알려진 기술이므로 더 자세한 설명은 생략한다.In addition, the level set algorithm described above tracks the boundary of the engraved region and increases the weight as the distance from the boundary of the engraved region increases, so that a relatively high weight can be set for a point located at the center of a stroke in the engraved region. . For reference, since the level set algorithm described above is a known technology, a detailed description thereof will be omitted.

상기 평가부(113)는 실측 데이터와 예측 데이터를 비교하여 다중 분류 모델의 성능을 평가한다.The evaluation unit 113 compares measured data and predicted data to evaluate the performance of the multi-classification model.

여기서, 평가부(113)는 실측 데이터와 예측 데이터의 비교 결과에 가중치 설정부(112)에 의해 설정된 가중치를 반영하여 혼동 행렬(confusion matrix)을 생성하고, 생성된 혼동 행렬을 기초로 다중 분류 모델의 성능을 평가할 수 있다.Here, the evaluator 113 generates a confusion matrix by reflecting the weight set by the weight setting unit 112 on the comparison result between the actual data and the predicted data, and generates a multi-classification model based on the generated confusion matrix. performance can be evaluated.

또한, 평가부(113)는 실측 데이터와 예측 데이터의 비교 결과에 따라 참-양성(True Positive, TP), 거짓-양성(False Positive, FP), 참-음성(True Negative, TN) 및 거짓-음성(False Negative, FN)으로 구분되는 혼동 행렬을 생성할 수 있다.In addition, the evaluation unit 113 evaluates true-positive (TP), false-positive (FP), true-negative (TN), and false-positive values according to the comparison result between the actual data and the predicted data. It is possible to generate a confusion matrix classified as false negative (FN).

참고로, 도 5에 도시된 바와 같이, 참-양성은 글자 획을 올바르게 추정한 것을 나타내고(1), 거짓-양성은 배경을 글자 획으로 잘못 추정한 것을 나타내며(3), 참-음성은 배경을 올바르게 추정한 것을 나타내고(4), 거짓-음성은 글자 획을 배경으로 잘못 추정한 것을 나타낸다(2).For reference, as shown in FIG. 5, true-positive indicates that the character stroke was correctly estimated (1), false-positive indicates that the background was incorrectly estimated as the character stroke (3), and true-negative indicates that the background indicates a correct estimation of (4), and false-negative indicates an incorrect estimation of the character stroke in the background (2).

그리고, 평가부(113)는 혼동 행렬이 생성되면, 실험을 통해 사람의 주관적인 평가 결과를 근거로 사전에 설정한 파라미터를 반영하여 참-양성, 거짓-양성 및 거짓-음성에 대한 중요도를 서로 다르게 조정할 수 있다.Then, when the confusion matrix is generated, the evaluation unit 113 reflects parameters set in advance based on subjective evaluation results of people through experiments, and sets the importance of true-positive, false-positive, and false-negative values differently. can be adjusted

또한, 평가부(113)는 아래의 수학식 1을 이용하여 참-양성, 거짓-양성 및 거짓-음성에 파라미터를 적용할 수 있다.In addition, the evaluation unit 113 may apply parameters to true-positive, false-positive, and false-negative parameters using Equation 1 below.

[수학식 1][Equation 1]

Figure pat00001
Figure pat00001

여기서, TPω는 가중된 참-양성 값이고, TP는 본래의 참-양성 값이며, FPω는 가중된 거짓-양성 값이고, FP는 본래의 거짓-양성 값이며, ωFP는 거짓-양성 값에 적용되는 파라미터이고, FNω는 가중된 거짓-음성 값이며, ωFN은 거짓-음성 값에 적용되는 파라미터이고, FN은 본래의 거짓-음성 값이다.where TP ω is the weighted true-positive value, TP is the original true-positive value, FP ω is the weighted false-positive value, FP is the original false-positive value, and ω FP is the false-positive is the parameter applied to the value, FN ω is the weighted false-negative value, ω FN is the parameter applied to the false-negative value, and FN is the original false-negative value.

즉, 평가부(113)는 노이즈에 해당하는 거짓-양성이 획과의 거리와 관계없이 사람에 의한 주관적인 평가에 악영향을 주는 점을 반영하여 거짓-양성의 중요도를 조정하고, 획의 끊김에 해당하는 거짓-음성의 경우에도 사람에 의한 주관적인 평가에 악영향을 주므로, 기설정된 파라미터를 적용하여 거짓-음성에 대한 중요도를 조정하도록 구비된다.That is, the evaluation unit 113 adjusts the importance of false-positives by reflecting the fact that false-positives corresponding to noise adversely affect the subjective evaluation by a person regardless of the distance from the stroke, and corresponds to the break in the stroke. Even in the case of false-negatives, which adversely affect subjective evaluation by a person, it is provided to adjust the importance of false-negatives by applying a preset parameter.

그리고, 평가부(113)는 중요도를 조정된 혼동 행렬에 기반하여, 재현율(recall)과 정밀도(precision)의 조화평균을 계산하고 계산된 조화평균 값을 다중 분류 모델의 성능을 평가하는 평가 결과로서 출력할 수 있다.Then, the evaluation unit 113 calculates the harmonic mean of recall and precision based on the confusion matrix adjusted for importance, and uses the calculated harmonic mean value as an evaluation result for evaluating the performance of the multi-classification model. can be printed out.

또한, 평가부(113)는 아래의 수학식 2를 이용하여 조화평균을 계산할 수 있다.In addition, the evaluation unit 113 may calculate the harmonic average using Equation 2 below.

[수학식 2][Equation 2]

Figure pat00002
Figure pat00002

여기서, SIRI는 다중 분류 모델의 성능에 대한 조화평균 값이고, TPω는 가중된 참-양성 값이며, FPω는 가중된 거짓-양성 값이고, FNω는 가중된 거짓-음성 값이다.where SIRI is the harmonic mean value of the performance of the multiple classification model, TP ω is the weighted true-positive value, FP ω is the weighted false-positive value, and FN ω is the weighted false-negative value.

즉, 본 발명의 일실시예에 따른 성능 평가 시스템(100)은 사람의 주관적인 평가 결과를 근거로 설정된 파라미터를 적용하여 혼동 행렬의 중요도를 조정하고, 중요도가 조정된 혼동 행렬을 기초로 다중 분류 모델의 성능을 평가하기 때문에, 다중 분류 모델의 성능 평가 시 사람의 주관적 평가와 유사한 평가 결과를 제공할 수 있다.That is, the performance evaluation system 100 according to an embodiment of the present invention adjusts the importance of the confusion matrix by applying a parameter set based on a subjective evaluation result of a person, and a multi-classification model based on the confusion matrix with the adjusted importance. Since it evaluates the performance of the multi-classification model, it is possible to provide evaluation results similar to human subjective evaluation when evaluating the performance of a multi-classification model.

또한, 본 발명의 일실시예에 따른 성능 평가 시스템(100)은 새김 영역에 위치하는 점의 위치에 따라 가중치를 설정하고, 설정된 가중치를 실측 데이터와 예측 데이터의 비교 결과에 반영하여 혼동 행렬을 생성하기 때문에, 다중 분류 모델에 대한 정확한 평가 결과를 제공할 수 있다.In addition, the performance evaluation system 100 according to an embodiment of the present invention sets weights according to the positions of points located in the engraving area, and generates a confusion matrix by reflecting the set weights to the comparison result between measured data and predicted data. Therefore, it is possible to provide accurate evaluation results for multi-classification models.

이와 같은, 본 발명은 프로세서(110)가 메모리(120)에 저장된 적어도 하나의 실행 가능한 명령어 또는 적어도 하나의 실행 가능한 프로그램을 실행함으로써 구현될 수 있으며, 후술하는 본 발명의 일실시예에 따른 성능 평가 방법의 경우에도 동일하게, 메모리(120)에 저장된 적어도 하나의 실행 가능한 명령어 또는 적어도 하나의 실행 가능한 프로그램을 프로세서(110)가 실행함으로써 구현될 수 있다.As such, the present invention can be implemented by the processor 110 executing at least one executable command or at least one executable program stored in the memory 120, and performance evaluation according to an embodiment of the present invention described later. Similarly, in the case of the method, at least one executable instruction or at least one executable program stored in the memory 120 may be implemented by the processor 110 executing it.

도 3은 본 발명의 일실시예에 따른 성능 평가 방법을 설명하기 위한 도면이다.3 is a diagram for explaining a performance evaluation method according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일실시예에 따른 성능 평가 시스템(100)의 프로세서(110)는, 먼저, 비문의 획을 구성하는 새김 영역과 배경을 구성하는 배경 영역으로 라벨링된 실측(Ground Truth) 데이터와, 다중 분류 모델에서 출력된 예측 데이터를 입력받는다(S100).Referring to FIG. 3 , the processor 110 of the performance evaluation system 100 according to an embodiment of the present invention first measures the actual measurement (Ground) labeled with the engraved area constituting the stroke of the inscription and the background area constituting the background. Truth) data and prediction data output from the multi-classification model are received (S100).

그 다음, 프로세서(110)는 입력된 실측 데이터로부터 새김 영역에 위치하는 점(vertex)에 대한 정보를 추출하고, 추출된 점의 위치에 따라 각각의 점에 가중치를 설정한다(S200).Next, the processor 110 extracts information about vertices located in the engraving area from the input actual measurement data, and sets a weight for each vertex according to the position of the extracted vertex (S200).

또한, S200 단계에서 프로세서(110)는, 레벨셋 알고리즘을 이용하여 가중치를 설정하되, 점의 위치가 획의 중앙에 가까울수록 높은 가중치를 설정하도록 구비될 수 있다.Also, in step S200, the processor 110 may set weights using a level set algorithm, but set higher weights as the position of a dot is closer to the center of a stroke.

그 다음, 프로세서(110)는 실측 데이터와 예측 데이터를 비교하여 다중 분류 모델의 성능을 평가한다(S300).Then, the processor 110 compares the measured data with the predicted data to evaluate the performance of the multi-classification model (S300).

또한, 프로세서(110)는 실측 데이터와 예측 데이터의 비교 결과에 상기 설정된 가중치를 반영하여 혼동 행렬을 생성하고(S310), 사전에 설정된 파라미터를 반영하여 혼동 행렬의 참-양성(True Positive, TP), 거짓-양성(False Positive, FP) 및 거짓-음성(False Negative, FN)에 대한 중요도를 서로 다르게 조정하며(S320), 중요도가 조정된 혼동 행렬을 기초로 다중 분류 모델의 성능을 평가할 수 있다(S330).In addition, the processor 110 generates a confusion matrix by reflecting the set weights on the comparison result between the actual data and the predicted data (S310), and reflects the preset parameters to obtain true positives (True Positive, TP) of the confusion matrix , the importance of false positive (FP) and false negative (FN) is adjusted differently (S320), and the performance of the multi-classification model can be evaluated based on the confusion matrix with the adjusted importance. (S330).

아울러, S330 단계에서 프로세서(110)는 혼동 행렬(confusion matrix)에 따른 재현율(recall)과 정밀도(precision)의 조화평균을 계산하고, 계산된 조화평균 값을 다중 분류 모델의 성능을 평가하는 평가 결과로서 출력할 수 있다.In addition, in step S330, the processor 110 calculates the harmonic average of recall and precision according to the confusion matrix, and evaluates the performance of the multi-classification model using the calculated harmonic average value. can be output as

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다.Steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, implemented in a software module executed by hardware, or implemented by a combination thereof.

소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독 가능한 저장 매체에 상주할 수 있다.A software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It can reside in any form of computer readable storage medium well known in the art to which this invention pertains.

본 발명의 구성 요소들은 비일시적 저장매체에 저장되고, 프로세서를 포함하는 컴퓨터에서 실행되어 전술한 방법 또는 알고리즘의 단계들을 수행하며, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 컴퓨터 프로그램(또는 애플리케이션)으로 구현되어 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.The components of the present invention are stored in a non-transitory storage medium, executed on a computer including a processor to perform the steps of the method or algorithm described above, and implemented as a computer program (or application) to be executed in combination with a computer that is hardware. and can be stored in a computer readable storage medium. Components of the present invention may be implemented as software programming or software elements, and similarly, embodiments may include various algorithms implemented as data structures, processes, routines, or combinations of other programming constructs, such as C, C++ , Java (Java), can be implemented in a programming or scripting language such as assembler (assembler). Functional aspects may be implemented in an algorithm running on one or more processors.

이상에서는 본 발명의 바람직한 실시예를 예시적으로 설명하였으나, 본 발명의 범위는 이와 같은 특정 실시예에만 한정되는 것은 아니며, 특허청구범위에 기재된 범주 내에서 적절하게 변경 가능한 것이다.In the above, preferred embodiments of the present invention have been described by way of example, but the scope of the present invention is not limited only to these specific embodiments, and can be appropriately changed within the scope described in the claims.

100 : 성능 평가 시스템
110 : 프로세서 111 : 입력부
112 : 가중치 설정부 113 : 평가부
120 : 메모리100: performance evaluation system
110: processor 111: input unit
112: weight setting unit 113: evaluation unit
120: memory

Claims (5)

비문의 획을 구성하는 새김 영역과 배경을 구성하는 배경 영역으로 라벨링된 실측(Ground Truth) 데이터와, 다중 분류 모델에서 출력된 예측 데이터를 입력받는 입력 단계;
상기 입력된 실측 데이터로부터 새김 영역에 위치하는 점(vertex)에 대한 정보를 추출하고, 상기 추출된 점의 위치에 따라 각각의 점에 가중치를 설정하는 가중치 설정 단계; 및
실측 데이터와 예측 데이터의 비교 결과에 상기 설정된 가중치를 반영하여 혼동 행렬을 생성하고, 상기 생성된 혼동 행렬을 기초로 다중 분류 모델의 성능을 평가하는 평가 단계;를 포함하는, 다중 분류 모델의 성능 평가 방법.
an input step of receiving ground truth data labeled with an engraving area constituting a stroke of an inscription and a background area constituting a background, and prediction data output from a multi-classification model;
a weight setting step of extracting information on vertices located in an engraving area from the input actual measurement data and setting a weight for each vertex according to the location of the extracted vertex; and
An evaluation step of generating a confusion matrix by reflecting the set weight on the comparison result between the actual data and the predicted data, and evaluating the performance of the multi-classification model based on the generated confusion matrix; Way.
 제 1항에 있어서,
상기 가중치 설정 단계는,
레벨셋 알고리즘을 이용하여 가중치를 설정하되, 점의 위치가 획의 중앙에 가까울수록 높은 가중치를 설정하는 것을 특징으로 하는, 다중 분류 모델의 성능 평가 방법.
According to claim 1,
In the weight setting step,
A method for evaluating the performance of a multi-classification model, wherein weights are set using a level set algorithm, and higher weights are set as the position of a point is closer to the center of a stroke.
 제 1항에 있어서,
상기 평가 단계는,
혼동 행렬(confusion matrix)에 따른 재현율(recall)과 정밀도(precision)의 조화평균을 계산하여 다중 분류 모델의 성능을 평가하는 것을 특징으로 하는, 다중 분류 모델의 성능 평가 방법.
According to claim 1,
In the evaluation step,
A method for evaluating the performance of a multi-classification model, characterized in that the performance of the multi-classification model is evaluated by calculating the harmonic average of recall and precision according to a confusion matrix.
 제 3항에 있어서,
상기 평가 단계는,
다중 분류 모델의 성능 평가 이전에, 사전에 설정된 파라미터를 반영하여 혼동 행렬의 참-양성(True Positive, TP), 거짓-양성(False Positive, FP) 및 거짓-음성(False Negative, FN)에 대한 중요도를 서로 다르게 조정하는 것을 특징으로 하는, 다중 분류 모델의 성능 평가 방법.
According to claim 3,
In the evaluation step,
Prior to the performance evaluation of the multiclass classification model, the confusion matrix was evaluated for true positive (TP), false positive (FP) and false negative (FN) values by reflecting the preset parameters. A method for evaluating the performance of a multi-classification model, characterized in that the importance is differently adjusted.
 프로세서; 및
상기 프로세서에 의해 실행 가능한 하나 이상의 인스트럭션을 저장하는 메모리;를 포함하고,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
비문의 획을 구성하는 새김 영역과 배경을 구성하는 배경 영역으로 라벨링된 실측(Ground Truth) 데이터와, 다중 분류 모델에서 출력된 예측 데이터를 입력받고,
상기 입력된 실측 데이터로부터 새김 영역에 위치하는 점(vertex)에 대한 정보를 추출하고, 상기 추출된 점의 위치에 따라 각각의 점에 가중치를 설정하며,
실측 데이터와 예측 데이터의 비교 결과에 상기 설정된 가중치를 반영하여 혼동 행렬을 생성하고, 상기 생성된 혼동 행렬을 기초로 다중 분류 모델의 성능을 평가하는, 다중 분류 모델의 성능 평가 시스템.processor; and
A memory for storing one or more instructions executable by the processor; includes,
The processor, by executing the one or more instructions,
Receive ground truth data labeled with the engraving area constituting the stroke of the inscription and the background area constituting the background, and prediction data output from the multi-classification model as input,
Extracting information on vertices located in the engraving area from the input actual measurement data, and setting weights for each vertex according to the position of the extracted vertex;
A multi-classification model performance evaluation system that generates a confusion matrix by reflecting the set weight on a comparison result between actual data and predicted data, and evaluates performance of the multi-classification model based on the generated confusion matrix.
KR1020210068859A 2021-05-28 2021-05-28 Performance evaluation method and system for multiple classification models KR102585919B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210068859A KR102585919B1 (en) 2021-05-28 2021-05-28 Performance evaluation method and system for multiple classification models

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210068859A KR102585919B1 (en) 2021-05-28 2021-05-28 Performance evaluation method and system for multiple classification models

Publications (2)

Publication Number Publication Date
KR20220160789A true KR20220160789A (en) 2022-12-06
KR102585919B1 KR102585919B1 (en) 2023-10-05

Family

ID=84406812

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210068859A KR102585919B1 (en) 2021-05-28 2021-05-28 Performance evaluation method and system for multiple classification models

Country Status (1)

Country Link
KR (1) KR102585919B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117235270A (en) * 2023-11-16 2023-12-15 中国人民解放军国防科技大学 Text classification method and device based on belief confusion matrix and computer equipment

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Heo Eui-ju et al. "Comparison of 3D data processing methods for reading epigraphs", 2018 Electronic Engineering Society of Korea Summer Conference, 2018.06 605 - 607 (3 pages) *
Park Dong-ryeol et al. "Lithograph engraving identification algorithm using spin images", 2018 Electronics Engineers Society of Korea Summer Conference, 2018.06 612 - 614 (3 pages) *
박동렬 외. "스핀 영상을 이용한 3차원 비석 새김 추출 기법" 전자공학회논문지 제56권 제5호(통권 제498호), 2019.05 52 - 59 (8page). *
정현우 외. "레벨 셋 기법을 이용한 문서 영상의 텍스트 라인 검출 알고리즘" 2020년도 대한전자공학회 추계학술대회 논문집, 2020.11 418 - 420 (3page). *
허의주 외. "Relief Extraction from Stone Monuments", IEIE Transactions on Smart Processing & Computing Vol.7 No.4, 2018.8 321 - 324 (4page). *
허의주 외. "다항 회귀 분석을 이용한 3차원 비석 데이터 내 글자 새김 추출법" 전자공학회논문지 제56권 제3호(통권 제496호), 2019.03 73 - 80 (8page). *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117235270A (en) * 2023-11-16 2023-12-15 中国人民解放军国防科技大学 Text classification method and device based on belief confusion matrix and computer equipment
CN117235270B (en) * 2023-11-16 2024-02-02 中国人民解放军国防科技大学 Text classification method and device based on belief confusion matrix and computer equipment

Also Published As

Publication number Publication date
KR102585919B1 (en) 2023-10-05

Similar Documents

Publication Publication Date Title
JP5047005B2 (en) Image processing method, pattern detection method, pattern recognition method, and image processing apparatus
JP5363591B2 (en) Character recognition method, character recognition device, and character recognition program
US20230237841A1 (en) Occlusion Detection
CN110991649A (en) Deep learning model building method, device, equipment and storage medium
EP3214579B1 (en) Image processing device, character recognition device, image processing method, and program
CN112464829B (en) Pupil positioning method, pupil positioning equipment, storage medium and sight tracking system
RU2581786C1 (en) Determination of image transformations to increase quality of optical character recognition
JP2013020617A (en) Grayscale character image normalization device and method
CN114663904A (en) PDF document layout detection method, device, equipment and medium
CN113034514A (en) Sky region segmentation method and device, computer equipment and storage medium
JP2018092612A (en) Valuation device of complexity of classification task and method
US9824289B2 (en) Exploiting color for license plate recognition
KR102585919B1 (en) Performance evaluation method and system for multiple classification models
CN113516144A (en) Target detection method and device and computing equipment
CN114240925A (en) Method and system for detecting document image definition
CN111553431A (en) Picture definition detection method and device, computer equipment and storage medium
CN113313092B (en) Handwritten signature recognition method, and claims settlement automation processing method, device and equipment
JP2004246618A (en) Method, device, and program for generating image used for collating in pattern recognition and pattern recognition using the image
CN110751013A (en) Scene recognition method, device and computer-readable storage medium
US10127483B2 (en) Image processing apparatus and image processing method for estimating time required for print processing
CN115439734A (en) Quality evaluation model training method and device, electronic equipment and storage medium
CN113591066A (en) Equipment identity identification method and device
JP5005633B2 (en) Image search apparatus, image search method, information processing program, and recording medium
CN111783519A (en) Image processing method, image processing device, electronic equipment and storage medium
CN111242047A (en) Image processing method and apparatus, electronic device, and computer-readable storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant