KR102589129B1

KR102589129B1 - Quantification method of damage state of soiled banknotes

Info

Publication number: KR102589129B1
Application number: KR1020180173804A
Authority: KR
Inventors: 최의선; 이용철; 김종우; 고한석; 이강휴; 곽정기; 기븐
Original assignee: 효성티앤에스 주식회사; 고려대학교 산학협력단
Priority date: 2018-12-31
Filing date: 2018-12-31
Publication date: 2023-10-16
Also published as: KR20200082831A

Abstract

본 발명은 낡은 지폐 훼손도 정량화 방법에 관한 것으로서, 더욱 상세하게는 다수의 지폐이미지에 대해 컨볼루셔널 인공신경망(CNN)을 통해 학습을 수행하고, 수행된 학습을 바탕으로 지폐의 훼손도를 정량화하는데 최적화된 파라미터들을 추출하여, 추출된 파라미터들에 근거한 CNN을 통해 지폐의 훼손 정도를 정량화함으로써, 사람이 객관적으로 판단하기 어려운 지폐의 훼손 정도를 객관적인 수치로 제공받을 수 있어, 투입된 지폐 이미지의 훼손 정도를 정량적 수치로 용이하게 파악 가능하며, 지폐훼손 판별의 허용범위를 유동적으로 설정할 수 있어 국가별 및 모델별로 각각 다른 금융자동화기기의 지폐훼손 판별 기준을 효율적으로 설정할 수 있는 낡은 지폐 훼손도 정량화 방법에 관한 것이다.The present invention relates to a method for quantifying the degree of damage to old banknotes. More specifically, it involves learning through a convolutional artificial neural network (CNN) on multiple banknote images and quantifying the degree of damage to the banknote based on the learned learning. By extracting parameters optimized for processing and quantifying the degree of damage to the banknote through CNN based on the extracted parameters, the degree of damage to the banknote that is difficult for humans to objectively judge can be provided as an objective value, thereby damaging the image of the input banknote. A method of quantifying damage to old banknotes that allows the degree to be easily determined in quantitative numbers, and the allowable range for determining banknote damage can be set flexibly, allowing the standard for determining banknote damage for banknote damage for each country and model to be efficiently set. It's about.

Description

낡은 지폐 훼손도 정량화 방법{Quantification method of damage state of soiled banknotes}Quantification method of damage state of soiled banknotes}

지폐 식별 장치는 금융자동화기기 등에 장착되어 유입되는 지폐를 식별하는 기기이다. 통상적인 지폐 식별 장치는 투입구로 사용자가 지폐를 밀어 넣으면, 롤러에 의해 지폐를 내부로 유입시키고, 유입된 지폐를 센서에 의해 감지하여 지폐권종 및 진위여부를 판별하도록 되어 있다. 또한, 지폐가 훼손되어 인식할 수 없거나, 지폐가 아닌 종이를 삽입할 경우에는 롤러가 역회전하여 지폐를 반환한다. A banknote identification device is a device installed in automated financial machines, etc. to identify incoming banknotes. In a typical banknote identification device, when a user pushes a banknote into an input slot, a roller causes the banknote to flow inside, and the introduced banknote is detected by a sensor to determine the banknote type and authenticity. Additionally, if the bill is damaged and cannot be recognized, or if paper other than a bill is inserted, the roller rotates in reverse and returns the bill.

종래의 지폐 식별 장치에는 고객으로부터 투입되는 지폐의 권종, 진위 및/또는 지폐의 손상 여부 등을 감별하기 위한 감별부가 구비되며, 이러한 감별부에서의 감별 결과에 따라 투입된 지폐를 식별 및 분류하여 저장하게 된다. 통상의 감별부는, 고객이 투입한 지폐가 손상이 심하거나 낡은 경우, 이러한 지폐가 다시 환류되지 않도록 리젝트박스에 분리하여 보관한다.The conventional banknote identification device is equipped with a discrimination unit to determine the denomination, authenticity, and/or damage to the banknotes input from the customer, and identifies, classifies, and stores the banknotes input according to the discrimination results from this identification unit. do. In a typical discrimination department, if the bills inserted by the customer are severely damaged or worn out, they are separated and stored in a reject box to prevent them from being returned.

한국공개특허공보 제2016-0077671호에는 투입된 지폐를 인식하여 권종, 위폐여부 및 훼손 여부 등을 파악하고, 인식결과에 따라 배출부에 구비된 하나 또는 둘 이상의 적재 포켓들에 분리되어 배출되는 기술이 제안되어 있다. 상기 한국공개특허공보 제2016-0077671호에 기재된 바와 같이, 종래에는 투입된 지폐에 초음파 센서를 통해 지폐에 테이프가 부착되어 있는 등의 훼손 여부와, 컨텍 이미지 센서를 이용하여 찢어지거나 구멍난 지폐를 검출하거나, 자외선 센서를 통해 물에 빠진 지폐를 검출하거나, 적외선 센서를 이용해 낙서가 되어 있는 지폐를 검출하는 방식으로 훼손지폐를 식별하였다.Korean Patent Publication No. 2016-0077671 discloses a technology that recognizes inserted banknotes, determines the denomination, whether they are counterfeit, and whether they are damaged, and discharges them separately into one or two or more loading pockets provided in the discharge unit according to the recognition results. It is proposed. As described in Korean Patent Publication No. 2016-0077671, conventionally, an ultrasonic sensor is used to determine whether a bill is damaged, such as a tape attached to the bill, and torn or holed bills are detected using a contact image sensor. Alternatively, damaged bills were identified by detecting bills that had fallen into water using an ultraviolet sensor, or by detecting bills with graffiti on them using an infrared sensor.

하지만, 지폐가 손상되거나 훼손되지 않았더라도, 오랜시간 사용됨에 따라 지폐에 인쇄된 원색의 잉크가 퇴색 및 농도가 옅어지거나 오염된 지폐 역시 고객에게 다시 출금되지 않도록 분리하여 보관할 필요가 있으나, 지폐의 낡은 정도를 효과적으로 정확하게 파악할 수 있는 기술 및 방법이 없어 심하게 낡은 지폐의 경우 위폐 또는 의심권으로 판별되거나 또는 환류가 중지되어야 할 정도의 낡은 지폐도 정상지폐로 처리되어 환류되는 문제점이 있었다.However, even if the banknote is not damaged or damaged, as the primary color ink printed on the banknote fades, becomes lighter in density, or is contaminated as it is used for a long time, it is necessary to separate and store the banknote to prevent it from being withdrawn again to the customer. As there was no technology or method to effectively and accurately determine the degree, there was a problem in that severely worn bills were judged to be counterfeit or questionable, or even bills that were old enough to stop being circulated were treated as normal bills and returned.

이러한 문제점을 해결하기 위해, 한국등록특허 제1,830,769호에는 금융자동화기기에 투입된 지폐의 이미지를 획득하고, 획득된 지폐 이미지의 각 픽셀들을 영상의 밝기 분포에 따라 밝은 영역과 어두운 영역으로 나눈 후, 두 영역의 밝기 평균의 차이값을 산출하여 미리 설정된 기준값과 비교를 통해 환류 중지를 위한 지폐의 낡음 유무를 판단하는 기술이 개시되었다.In order to solve this problem, Korean Patent No. 1,830,769 obtains an image of a banknote inserted into a financial automated machine, divides each pixel of the obtained banknote image into a bright area and a dark area according to the brightness distribution of the image, and divides them into two areas. A technology has been disclosed to determine whether a banknote is worn or not in order to stop circulation by calculating the difference value of the average brightness of the area and comparing it with a preset reference value.

그러나, 상기 한국등록특허 제1,830,769호는 단순히 지폐의 밝기값만을 이용하여 지폐의 낡음 정도를 판단함에 따라, 지폐의 훼손도를 더욱 효과적으로 판단할 수 있는 다른 조건들의 적용이 어려웠으며, 사전에 설정된 기준값과의 비교를 통해 환류 중지를 위한 지폐 낡음의 유무만을 판별할 수 있음에 따라, 해당 지폐가 어느 정도 훼손되었는지 판단할 수 있는 정량적 수치를 산출하기 어려웠다.However, as Korean Patent No. 1,830,769 simply used only the brightness value of the bill to determine the degree of wear of the bill, it was difficult to apply other conditions that could more effectively determine the degree of damage to the bill, and it was difficult to apply other conditions that could more effectively determine the degree of damage to the bill. As only the presence or absence of worn-out banknotes to stop circulation can be determined through comparison with , it was difficult to calculate quantitative values that could determine the extent to which the relevant banknotes were damaged.

또한, 지폐 낡음 유무를 판단하기 위한 기준값 설정에 있어서도, 지폐의 종류, 국가별 및 금융자동화기기 모델별로 각기 다른 기준값이 적용되어야 하나, 이와 같이 각기 다른 기준값을 적용하기 위해서는 지폐의 훼손도를 정량적으로 산출할 수 있는 방법이 필요하며, 이를 위한 다양한 훼손 지폐 이미지 데이터베이스 확보가 필요한 실정이다. In addition, in setting the standard value for determining whether a banknote is worn or not, different standard values should be applied depending on the type of banknote, country, and automated financial machine model. However, in order to apply these different standard values, the degree of damage to the banknote must be quantitatively measured. A method that can calculate this is needed, and it is necessary to secure a database of images of various damaged banknotes.

1. 한국공개특허 제2016-0077671호(공개일 : 2016. 7. 4) "지폐 처리 장치 및 그의 동작 제어 방법"1. Korean Patent Publication No. 2016-0077671 (Publication date: July 4, 2016) “Bill processing device and method for controlling its operation” 2. 한국등록특허 제1,830,769호(등록일 : 2018. 2. 13) "낡은 지폐 식별 방법 및 그 방법이 적용된 금융자동화기기"2. Korean Patent No. 1,830,769 (registration date: February 13, 2018) “Method for identifying old banknotes and automated financial device to which the method is applied”

본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위한 것이다. 즉, 본 발명의 목적은, 다수의 지폐이미지에 대해 컨볼루셔널 인공신경망(CNN)을 통해 학습을 수행하고, 수행된 학습을 바탕으로 지폐의 훼손도를 정량화하는데 최적화된 파라미터들을 추출하여, 추출된 파라미터들에 근거한 CNN을 통해 지폐의 훼손 정도를 정량화함으로써, 사람이 객관적으로 판단하기 어려운 지폐의 훼손 정도를 객관적인 수치로 제공받을 수 있어, 투입된 지폐 이미지의 훼손 정도를 정량적 수치로 용이하게 파악 가능하며, 지폐훼손 판별의 허용범위를 유동적으로 설정할 수 있어 국가별 및 모델별로 각각 다른 금융자동화기기의 지폐훼손 판별 기준을 효율적으로 설정할 수 있는 낡은 지폐 훼손도 정량화 방법을 제공함에 있다.The present invention is intended to solve the problems caused by the prior art described above. In other words, the purpose of the present invention is to perform learning through a convolutional artificial neural network (CNN) on a number of banknote images, and extract parameters optimized for quantifying the degree of damage to banknotes based on the performed learning. By quantifying the degree of damage to banknotes through CNN based on parameters, the degree of damage to banknotes that is difficult for humans to judge objectively can be provided as objective values, making it possible to easily determine the degree of damage to the image of the input banknote in quantitative numbers. In addition, the allowable range for determining banknote damage can be set flexibly, providing a method for quantifying damage to old banknotes that can efficiently set standards for determining damage to banknotes of automated financial machines that differ by country and model.

상기의 목적을 달성하기 위한 기술적 사상으로서 본 발명은, 정상지폐와 훼손지폐가 포함된 다수의 지폐이미지에 대해 컨볼루셔널 인공신경망(CNN)에 기반한 학습 과정을 통해, 지폐의 훼손도 정량화에 최적화된 파라미터들을 추출하고, 추출된 파라미터들이 적용된 CNN을 통해 투입되는 지폐의 이미지 데이터로부터 지폐 훼손도 정량화를 위한 2차원 벡터를 산출하여, 산출된 2차원 벡터와 지폐 훼손도 정량화를 위해 미리 산출된 기준값과의 비교를 통해 투입된 지폐의 훼손도를 정량적으로 산출하는 것을 특징으로 하는 낡은 지폐 훼손도 정량화 방법을 제공한다.As a technical idea to achieve the above object, the present invention optimizes the quantification of damage to banknotes through a learning process based on a convolutional artificial neural network (CNN) for a number of banknote images including normal and damaged banknotes. The parameters are extracted, a two-dimensional vector for quantifying the damage to the banknote is calculated from the image data of the banknote input through a CNN to which the extracted parameters are applied, and the calculated two-dimensional vector and a pre-calculated reference value for quantifying the damage to the banknote are calculated. It provides a method for quantifying damage to old banknotes, which is characterized by quantitatively calculating the damage to the input banknotes through comparison with .

본 발명에 따른 낡은 지폐 훼손도 정량화 방법은, 사람이 객관적으로 판단하기 어려운 지폐의 훼손 정도를 객관적인 수치로 제공받을 수 있어, 투입된 지폐 이미지의 훼손 정도를 정량적 수치로 용이하게 파악 가능하며, 지폐훼손의 판별을 위한 기준범위를 유동적으로 설정할 수 있어, 지폐 종류별, 국가별로 각각 다른 금융자동화기기의 지폐훼손 판별 기준을 효율적으로 설정할 수 있다.The method for quantifying the degree of damage to old banknotes according to the present invention can provide objective numerical values for the degree of damage to banknotes that are difficult for humans to objectively judge, making it possible to easily determine the degree of damage to the image of the input banknote in quantitative numbers, and Since the standard range for discrimination can be set flexibly, it is possible to efficiently set the standard for judging damage to banknotes of automated financial machines, which are different for each banknote type and country.

도 1은 본 발명의 일실시예에 따른 낡은 지폐 훼손도 정량화 방법을 순차적으로 도시한 도면이다.Figure 1 is a diagram sequentially showing a method for quantifying damage to old banknotes according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다.Since the present invention can be subject to various changes and have various forms, specific embodiments will be illustrated in the drawings and described in detail in the text.

그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명 될 수 있다.However, this is not intended to limit the present invention to a specific disclosed form, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention. Terms such as first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, a first component may be referred to as a second component without departing from the scope of the present invention, and similarly, the second component may also be referred to as a first component.

본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in this application are merely used to describe specific embodiments and are not intended to limit the invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features or It should be understood that this does not exclude in advance the possibility of the presence or addition of numbers, steps, operations, components, parts, or combinations thereof.

이하, 본 발명의 바람직한 실시예를 첨부 도면에 의거하여 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail based on the accompanying drawings.

도 1에 도시된 바와 같이, 본 발명은 먼저 깨끗한 지폐(정상지폐) 및 낡은 지폐(훼손지폐)를 포함하는 다양한 지폐이미지를 컨볼루션 신경망 구조(Convolutional Neural Network, 이하 CNN)를 통해 학습하여(S110), 수행된 학습을 바탕으로 지폐의 훼손도를 정량화하는데 최적화된 파라미터들을 추출한다(S120).As shown in Figure 1, the present invention first learns various banknote images, including clean banknotes (normal banknotes) and old banknotes (damaged banknotes), through a convolutional neural network (CNN) (S110). ), parameters optimized for quantifying the degree of damage to banknotes are extracted based on the performed learning (S120).

딥러닝(Deep Learning)기술은, 컴퓨터가 사람처럼 새각하고 배울수 있도록 하는 인공지능(AI) 기술로서, 인공신경망 이론을 기반으로 복잡한 비선형 문제를 기계가 스스로 학습해결 할 수 있도록 한다. 인공신경망(Neural network)은 각 레이어(layer)의 노드들이 각각의 중점(weight)을 가지고 서로 연결되어 있으며, 이러한 레이어들이 적층되어 쌓아짐으로써 이미지 분류와 같은 고차원의 비선형 문제를 해결할 수 있게 된다. Deep Learning technology is an artificial intelligence (AI) technology that allows computers to think and learn like humans. It allows machines to learn and solve complex non-linear problems on their own based on artificial neural network theory. In an artificial neural network, the nodes of each layer are connected to each other with their own weight, and by stacking these layers, it is possible to solve high-dimensional nonlinear problems such as image classification.

인공신경망을 통해 산출된 결과값 또는 예측값은 정답 레이블과 비교되어 손실함수(cost function 또는 loss function)로 산출되며, 인공신경망은 이러한 예측값과 정답의 차이, 즉, 손실함수를 줄이는 방향으로 학습을 진행한다. 이를 위해서는 역전파 신경망(back propagation)이 사용되는데, 역전파는 연쇄법칙(chain rule)을 이용해 경사하강(gradient decent)을 수행하는 것으로, 마지막 레이어인 손실함수층(loss function layer)으로부터 입력층까지 역으로 거슬러 올라가면서 가중치(기울기)와 편향(bias)을 계산하고 업데이트 한다. 이러한 학습 과정을 통해 인공신경망은 손실함수(loss function)가 최소값을 갖도록 하는 특징(parameter)들을 추출할 수 있게 되며, 해당 각 레이어들의 특징(parameter)들은 학습과정을 거치면서 인식이나 분류 등에 적합하도록 학습된 학습정보를 갖게 된다.The result or predicted value calculated through the artificial neural network is compared with the correct answer label and calculated as a loss function (cost function or loss function), and the artificial neural network proceeds with learning to reduce the difference between these predicted values and the correct answer, that is, the loss function. do. For this purpose, back propagation is used. Back propagation uses the chain rule to perform gradient descent, from the last layer, the loss function layer, to the input layer. Going back, the weights (slope) and bias are calculated and updated. Through this learning process, the artificial neural network is able to extract features that ensure that the loss function has the minimum value, and the features of each layer are adjusted to be suitable for recognition or classification through the learning process. You will have learned learning information.

본 발명에서는 이러한 인공신경망 알고리즘 중에서 컨볼루셔널 인공신경망(Convolutional Neural Network, 이하 CNN)을 이용하여 정상지폐와 훼손지폐에 대한 학습을 수행한다. 즉, 정상지폐 및 훼손지폐가 포함된 다수의 지폐이미지들 중에서 랜덤으로 두개의 지폐이미지 데이터를 하나의 CNN에 입력한 후, 산출되는 출력벡터 간의 거리를 통해 손실함수(loss function)가 최소화되는 방향으로 학습을 수행하며, 수행된 학습을 통해 손실함수를 최소화시키는 다양한 파라미터들을 추출한다.In the present invention, among these artificial neural network algorithms, Convolutional Neural Network (CNN) is used to learn about normal and damaged bills. That is, after randomly inputting two banknote image data from a number of banknote images containing normal and damaged banknotes into one CNN, the loss function is minimized through the distance between the calculated output vectors. Learning is performed, and various parameters that minimize the loss function are extracted through the performed learning.

이를 위해, 본 발명에서는 적외선 센서, 컨텍 이미지 센서 등 다양한 센서를 통해 지폐이미지를 획득하고, 획득된 지폐이미지를 미리 설정된 크기로 리사이징시킨 후 CNN에 입력시킨다. 본 발명의 실시예에서는 지폐이미지의 RGB값을 이용하여, 64×64×3의 크기로 리사이징하여 CNN에 입력하였다. 또한, 본 발명의 실시예에서는 CNN을 총 7개의 레이어로 구성하였으며, 이러한 7개의 레이어는 6개의 Convolution-BatchNorm-ReLU층으로 이루어져 있으며, 마지막층에는 max pooling을 통해 크기를 2배씩 줄이도록 구성하였다. For this purpose, in the present invention, banknote images are acquired through various sensors such as infrared sensors and contact image sensors, and the obtained banknote images are resized to a preset size and then input into the CNN. In an embodiment of the present invention, the RGB values of the banknote image were used, resized to a size of 64 × 64 × 3, and input into the CNN. In addition, in the embodiment of the present invention, the CNN is composed of a total of 7 layers, and these 7 layers are composed of 6 Convolution-BatchNorm-ReLU layers, and the last layer is configured to reduce the size by 2 times through max pooling. .

또한, 각 층의 컨볼루션 필터의 개수는 처음에는 32개를 가지고 각 층마다 2배씩 늘어나 마지막 레이어에서는 512개의 컨볼루션 필터를 가지도록 구성하였으며, 컨볼루션 필터의 크기는 처음에는 9×9에서 가로와 세로 각각 2씩 점점 작아져 마지막 두개의 층에선 1×1 컨볼루션 연산을 수행하도록 구성하였다.In addition, the number of convolutional filters in each layer was initially 32 and doubled for each layer, so that the last layer had 512 convolutional filters, and the size of the convolutional filters was initially 9×9 horizontally. and 2 each vertically, and the last two layers were configured to perform a 1×1 convolution operation.

이에 따라, 본 발명의 실시예에 따른 64×64×3의 지폐이미지는 CNN을 거치면서 2차원의 벡터로 바뀌고, 입력된 두개의 이미지를 통한 두 벡터 사이의 거리가 손실함수(loss function)에 반영되어, 손실함수(loss function)가 최소화 되는 방향으로 학습을 수행함으로써, 손실함수를 최소화시키는 다양한 파라미터들을 추출할 수 있게 된다.Accordingly, the 64×64×3 banknote image according to the embodiment of the present invention is converted into a two-dimensional vector through CNN, and the distance between the two vectors through the two input images is expressed in the loss function. By reflecting this and performing learning in a direction that minimizes the loss function, it is possible to extract various parameters that minimize the loss function.

이때, CNN과 같은 학습을 통해 학습정보의 정확도를 높이기 위해서는 다양한 조건을 갖는 지폐이미지가 구축되어 있어야 한다. 본 발명에서는 GAN(generative adversarial networks)을 이용하여 황변, 낙서, 얼룩 등 다양한 훼손 정보가 조합된 지폐이미지의 생성을 통해 데이터 확대를 수행한다.At this time, in order to increase the accuracy of learning information through learning such as CNN, banknote images with various conditions must be constructed. In the present invention, data expansion is performed by using GAN (generative adversarial networks) to generate banknote images that combine various damage information such as yellowing, graffiti, and stains.

GAN은 딥러닝 알고리즘의 한 종류로 두개의 네트워크인 생성기(Generator)와 판별기(Discriminaor)로 구성된다. 생성기는 렌덤 노이즈 벡터(random noise vector)를 입력으로 받아 진짜와 유사한 가짜 이미지를 생성하며, 판별기는 실제 데이터와 생성기가 만들어낸 가짜 이미지를 구분하는 역할을 한다. 학습 초기에는 생성기가 노이즈에 가까운 이미지를 만들어내기 때문에 판별기가 쉽게 구분할 수 있지만, 학습이 점점 진행될 수록 생성기는 실제와 비슷한 이미지를 만들어내고, 결국 판별기가 실제 이미지와 가짜 이미지를 구별해 낼 확률은 1/2로 수렴하게 된다. 따라서 학습이 모두 끝난 후에 생성기에 렌덤 노이즈를 입력으로 주면 실제 데이터와 구분하기 힘든 유사 이미지(fake image)를 얻을 수 있다.GAN is a type of deep learning algorithm and consists of two networks, a generator and a discriminator. The generator receives a random noise vector as input and generates a fake image similar to the real one, and the discriminator serves to distinguish between real data and the fake image created by the generator. At the beginning of learning, the generator creates images close to noise, so the discriminator can easily distinguish them, but as learning progresses, the generator creates images similar to the real thing, and eventually the probability that the discriminator will be able to distinguish real images from fake images is 1. It converges to /2. Therefore, if random noise is input to the generator after all learning is completed, a fake image that is difficult to distinguish from real data can be obtained.

본 발명에서는 수정된 GAN(modified generative adversarial networks)을 이용하여, 지폐 이미지의 모양과 형태적 차이점에 기반하는 형상 차이 정보(content loss)와 색감, 질감 등의 스타일적 차이점에 기반하는 스타일 차이 정보(style loss)의 조합을 통해 다양한 지폐 이미지들을 생성한다. 이를 위해, 본 발명에서는 정상지폐와 훼손지폐로 이루어진 다수 지폐이미지들을 CNN을 통해 학습시켜 형상 차이 정보를 추출하며, 훼손지폐로만 이루어진 지폐이미지들을 CNN을 통해 학습시켜 스타일 차이 정보를 추출한다. In the present invention, modified generative adversarial networks (GAN) are used to generate shape difference information (content loss) based on the shape and morphological differences of banknote images and style difference information (content loss) based on stylistic differences such as color and texture. Various banknote images are generated through a combination of style loss. For this purpose, in the present invention, shape difference information is extracted by learning multiple banknote images consisting of normal and damaged banknotes through CNN, and style difference information is extracted by learning banknote images consisting only of damaged banknotes through CNN.

이에 따라, 정상지폐 및 훼손지폐들과 유사한 형상정보를 가지면서, 색감, 질감 등의 스타일이 변경된 새로운 지폐이미지를 생성할 수 있게 된다. 이러한, 형상 차이 정보는 하기의 [수학식 1]로 획득되며, 스타일 차이 정보는 하기의 [수학식 2]로 획득된다.Accordingly, it is possible to create a new banknote image with similar shape information to normal and damaged banknotes, and with changed styles such as color and texture. Such shape difference information is obtained using [Equation 1] below, and style difference information is obtained using [Equation 2] below.

상기 [수학식 1] 및 [수학식 2]에서 j는 j번째 레이어를 나타내고, C, H, W는 각각 CNN을 통해 얻어지는 특징맵(feature map)의 개수, 특징맵(feature map)의 세로와 가로 길이를 나타낸다.In [Equation 1] and [Equation 2], j represents the jth layer, C, H, and W are the number of feature maps obtained through CNN, the length of the feature map, and Indicates the horizontal length.

이와 같이, 획득된 형상 차이 정보와 스타일 차이 정보를 이용하여 훼손 지폐이미지를 생성하기 위한 수학식은 하기의 [수학식 3]과 같다. 여기서,

와

는 각각 형상 차이 정보와, 스타일 차이 정보를 얼마나 반영할지 결정하는 변수이다.In this way, the equation for generating a damaged banknote image using the obtained shape difference information and style difference information is as follows [Equation 3]. here,

and

are variables that determine how much shape difference information and style difference information are reflected, respectively.

앞서 상술한 바와 같이 정상지폐와 훼손지폐를 포함하는 다양한 지폐이미지를 CNN을 통해 학습시키면, 64×64×3의 지폐이미지는 CNN을 거치면서 2차원의 벡터로 바뀌게 된다. 이와 같이, CNN을 통해 얻어지는 벡터들의 값을 X축으로 하여 프로젝션(projection)하면, 가장 깨끗한 지폐와 가장 훼손된 지폐 사이에 CNN을 거쳐 얻어진 벡터들이 위치하게 되는데, 일반적으로 같은 클래스로 뭉치도록 다른 클래스는 떨어지는 방향으로 학습되기 때문에, 학습이 모두 끝난 뒤에는 클래스별로 유사한(같은 클래스) 이미지들끼리 서로 가깝게 매핑된다.As described above, when various banknote images, including normal and damaged banknotes, are trained through CNN, the 64×64×3 banknote image is converted into a two-dimensional vector as it passes through the CNN. In this way, when the values of the vectors obtained through CNN are projected onto the Because it is learned in the falling direction, after all learning is completed, similar (same class) images for each class are mapped closely to each other.

이에 따라, 정상지폐들은 정상지폐끼리 매우 밀접하게 밀집하게 되고, 훼손지폐들 역시 훼손지폐들끼리 매우 밀접하게 밀집함으로써, 정상지폐 클래스와 훼손지폐 클래스 사이가 멀어져, 지폐의 훼손도를 순차적으로 정량화된 결과로 도출하기 어렵다.Accordingly, normal banknotes are clustered very closely together, and damaged banknotes are also clustered very closely together, so that the normal banknote class and the damaged banknote class become distant, and the degree of damage to the banknote is sequentially quantified. It is difficult to derive results.

이를 위해, 본 발명에서는 CNN 학습을 통해 지폐의 훼손도가 고르게 분포될 수 있도록 최적화된 파라미터를 추출할 수 있는 방법을 도출하였다. 즉, 정상지폐 및 훼손지폐가 포함된 다수의 지폐이미지들 중에서 랜덤으로 두개의 지폐이미지 데이터를 하나의 CNN에 입력한 후, 산출되는 출력벡터 간의 거리를 하기의 [수학식 4]의 손실함수에 반영하여 학습한다. 이때, 학습은 하기의 [수학식 4]의 손실함수가 최소화 되는 방향으로 학습을 수행한다.To this end, the present invention derived a method to extract optimized parameters so that the degree of damage to banknotes could be evenly distributed through CNN learning. That is, after randomly inputting two banknote image data from a plurality of banknote images containing normal and damaged banknotes into one CNN, the distance between the calculated output vectors is calculated using the loss function of [Equation 4] below. Learn by reflecting. At this time, learning is performed in a direction that minimizes the loss function of [Equation 4] below.

여기서,

는 두 벡터로부터 얻어지는 손실함수 값,here,

is the loss function value obtained from the two vectors,

Dw는 두 벡터 사이의 거리, Dw is the distance between two vectors,

Y는 랜덤으로 추출된 두 지폐이미지의 동일 클래스 여부(둘 다 정상지폐이거나 훼손지폐일 경우 : 0, 아닐 경우 : 1),Y is whether the two randomly extracted banknote images are of the same class (if both are normal or damaged bills: 0, otherwise: 1),

X는 같은 클래스의 입력이 들어왔을 때, 정상지폐일 경우 0, 반대로 훼손지폐일 경우 1을 가지며,When an input of the same class is received,

h는 두 지폐이미지의 Hue값의 평균을 나타낸다.h represents the average of the Hue values of the two banknote images.

이와 같은 학습을 통해, CNN을 통해 얻어지는 벡터들의 값을 X축으로 하여 프로젝션(projection)하면(S130), 가장 깨끗한 지폐와 가장 훼손된 지폐 사이에 CNN을 통과한 벡터들이 고르게 분포되며, 이와 같이 획득된 지폐들의 훼손도 정량화를 기반으로, 새로 투입되는 지폐의 정량적인 훼손도를 산출할 수 있게 된다(S140).Through this learning, if the values of the vectors obtained through CNN are projected onto the Based on the quantification of damage to banknotes, it is possible to calculate the quantitative damage of newly introduced banknotes (S140).

즉, 새로 투입된 지폐이미지 데이터를 상기와 같은 학습을 통해 얻어진 파라미터들이 반영된 CNN을 통과시키면, 그 결과로 얻어지는 2차원의 벡터들은 지폐의 훼손 정도에 따라 깨끗한 지폐와 훼손도가 높은 지폐가 상대적으로 고른 분포를 형성하며 분산되게 되고, 이에 따라 각각의 개별 지폐의 훼손 정도를 효과적으로 정량화하여 구별할 수 있게 된다.In other words, when newly input banknote image data is passed through a CNN reflecting the parameters obtained through learning as above, the resulting two-dimensional vectors are relatively evenly divided between clean bills and highly damaged bills depending on the degree of damage to the banknote. It forms a distribution and is dispersed, making it possible to effectively quantify and distinguish the degree of damage to each individual banknote.

이어서, 이렇게 얻어지는 각각의 개별 지폐에 대한 지폐의 훼손도는 하기의 [수학식 5]를 통해 산출될 수 있다.Subsequently, the degree of damage to each individual banknote obtained in this way can be calculated through [Equation 5] below.

여기서,

는 해당 지폐의 지폐 훼손도(%)이고,here,

is the degree of damage (%) of the corresponding banknote,

는 해당 지폐의 지폐이미지로부터 CNN을 통해 얻어진 2차원 벡터 값이고,

is a two-dimensional vector value obtained through CNN from the banknote image of the corresponding banknote,

는 기존의 학습과정에서의 가장 깨끗한 지폐이미지의 벡터 값,

is the vector value of the cleanest banknote image in the existing learning process,

은 기존의 학습과정에서의 가장 훼손이 심한 지폐이미지의 벡터 값이다.

is the vector value of the most damaged banknote image in the existing learning process.

이와 같은 방법을 통해, 본 발명에서는 감별을 위해 투입되는 지폐에 대한 지폐 훼손 정도의 정량적 수치화를 통해 금융자동화기기의 지폐 투입 거부 임계점을 유동적으로 설정할 수 있게 된다. 즉, 금융자동화기를 사용하는 지역적 문화적 차이에 맞춰서 지폐의 거부 여부를 결정할 수 있게 된다. 예를 들어, 상대적으로 통용되는 지폐의 훼손도가 심한 루피를 사용하는 인도의 경우, 금융자동화기기의 임계점을 높게 설정하여 훼손 정도가 상대적으로 조금 심하더라도 지폐 투입이 승인되도록 설정할 수 있으며, 상대적으로 통용되는 지폐의 훼손도가 덜 한 유로의 경우, 금융자동화기기의 임계점을 낮게 설정할 수 있다.Through this method, the present invention makes it possible to flexibly set the threshold for rejecting banknote input in an automated financial machine through quantitative quantification of the degree of damage to banknotes input for identification. In other words, it is possible to decide whether or not to reject banknotes in accordance with regional cultural differences in the use of automated teller machines. For example, in the case of India, where the rupee currency is relatively damaged, the threshold of the automated financial machine can be set high so that the input of banknotes is approved even if the damage is relatively severe. In the case of euros, which are less damaged banknotes, the threshold for automated financial systems can be set low.

또한, 지폐의 훼손도에 따라 금융자동화기기 내에서 비슷한 훼손도끼리 분류가 가능해지며, 다양한 훼손지폐 이미지에 대한 데이터베이스를 확보할 수 있게 된다. In addition, depending on the degree of damage to the bills, it is possible to classify similar degrees of damage within the automated financial machine, and a database of various images of damaged bills can be secured.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백하다 할 것이다.The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and various substitutions, modifications, and changes are possible without departing from the technical spirit of the present invention in the technical field to which the present invention pertains. It would be obvious to those with ordinary knowledge.

Claims

낡은 지폐의 훼손도를 정량화하는 방법에 있어서,
정상지폐와 훼손지폐가 포함된 다수의 지폐이미지에 대해 컨볼루셔널 인공신경망(CNN)에 기반한 학습 과정을 통해, 지폐의 훼손도 정량화에 최적화된 파라미터들을 추출하고,
추출된 파라미터들이 적용된 CNN을 통해 투입되는 지폐의 이미지 데이터로부터 지폐 훼손도 정량화를 위한 2차원 벡터를 산출하여,
산출된 2차원 벡터와 지폐 훼손도 정량화를 위해 미리 산출된 기준값과의 비교를 통해 투입된 지폐의 훼손도를 정량적으로 산출하도록 구성되되,
상기 지폐의 훼손도 정량화에 최적화된 파라미터들을 추출하기 위한 CNN을 통한 학습과정에서는,
정상지폐와 훼손지폐가 포함된 다수의 지폐이미지 중에서 랜덤으로 두개의 지폐이미지를 추출하여,
CNN을 통해 산출되는 두 지폐의 출력벡터 간의 거리를 나타내는 손실함수 값이 최소화되도록 학습을 반복 수행하는 것을 특징으로 하는 낡은 지폐 훼손도 정량화 방법.
In the method of quantifying the degree of damage to old banknotes,
Through a learning process based on a convolutional artificial neural network (CNN) on multiple banknote images including normal and damaged banknotes, parameters optimized for quantifying damage to banknotes are extracted,
A two-dimensional vector for quantifying damage to banknotes is calculated from the image data of banknotes input through CNN to which the extracted parameters are applied,
It is configured to quantitatively calculate the degree of damage to the input banknote by comparing the calculated two-dimensional vector with a standard value calculated in advance to quantify the damage to the banknote,
In the learning process through CNN to extract parameters optimized for quantifying the damage to the banknote,
Two banknote images are randomly extracted from a number of banknote images containing normal and damaged banknotes,
A method for quantifying damage to old banknotes, characterized by repeating learning to minimize the loss function value representing the distance between the output vectors of two banknotes calculated through CNN.

삭제delete

제 1항에 있어서,
상기 CNN을 통해 산출되는 출력벡터는,
투입되는 지폐로부터 얻어지는 64×64×3의 크기의 이미지데이터를 2차원 벡터로 리사이징하여 산출되는 것을 특징으로 하는 낡은 지폐 훼손도 정량화 방법.
According to clause 1,
The output vector calculated through the CNN is,
A method for quantifying damage to old banknotes, which is calculated by resizing image data of size 64 × 64 × 3 obtained from input banknotes into a two-dimensional vector.

제 1항에 있어서,
상기 손실함수는,
하기의 [수학식 6]을 통해 계산되는 것을 특징으로 하는 낡은 지폐 훼손도 정량화 방법.
[수학식 6]

여기서,

는 두 벡터로부터 얻어지는 손실함수 값,
Dw는 두 벡터 사이의 거리,
Y는 랜덤으로 추출된 두 지폐이미지의 동일 클래스 여부(둘 다 정상지폐이거나 훼손지폐일 경우 : 0, 아닐 경우 : 1),
X는 같은 클래스의 입력이 들어왔을 때, 정상지폐일 경우 0, 반대로 훼손지폐일 경우 1을 가지며,
h는 두 지폐이미지의 Hue값의 평균을 나타냄.
According to clause 1,
The loss function is,
A method for quantifying damage to old banknotes, which is calculated using Equation 6 below.
[Equation 6]

here,

is the loss function value obtained from the two vectors,
Dw is the distance between two vectors,
Y is whether the two randomly extracted banknote images are of the same class (if both are normal or damaged bills: 0, otherwise: 1),
When an input of the same class is received,
h represents the average of the Hue values of the two banknote images.

제 1항에 있어서,
상기 산출된 2차원 벡터와 미리 산출된 기준값과의 비교를 통해 투입된 지폐의 훼손도를 정량적으로 산출함에 있어서는,
하기의 [수학식 7]이 적용되는 것을 특징으로 하는 낡은 지폐 훼손도 정량화 방법.
[수학식 7]

여기서,

는 해당 지폐이미지의 지폐 훼손도(%)이고,

는 미리 산출된 가장 깨끗한 지폐의 2차원 벡터 값이고,

은 미리 산출된 가장 훼손도가 높은 지폐의 2차원 벡터 값.
According to clause 1,
In quantitatively calculating the degree of damage to the input banknote by comparing the calculated two-dimensional vector with a pre-calculated reference value,
A method for quantifying damage to old banknotes, characterized in that [Equation 7] below is applied.
[Equation 7]

here,

is the degree of banknote damage (%) of the corresponding banknote image,

is the two-dimensional vector value of the cleanest banknote calculated in advance,

is the 2D vector value of the banknote with the highest degree of damage calculated in advance.

제 1항에 있어서,
상기 정상지폐와 훼손지폐가 포함된 다수의 지폐이미지에 대해 컨볼루셔널 인공신경망(CNN)에 기반한 학습과정을 수행함에 있어서는,
GAN을 이용하여 훼손지폐에 대한 지폐이미지 생성을 통해 데이터 확대를 수행하는 것을 특징으로 하는 낡은 지폐 훼손도 정량화 방법.
According to clause 1,
In performing a learning process based on a convolutional artificial neural network (CNN) on a number of banknote images including normal and damaged banknotes,
A method for quantifying damage to old banknotes, characterized by performing data augmentation by generating banknote images for damaged banknotes using GAN.

제 6항에 있어서,
훼손지폐에 대한 지폐이미지 생성을 통해 데이터 확대를 수행함에 있어서는,
지폐이미지의 모양과 형태적 차이점에 기반하는 형상 차이 정보와 색감 및 질감의 스타일적 차이점에 기반하는 스타일 차이 정보를 조합하여 훼손지폐에 대한 지폐이미지를 생성하는 것을 특징으로 하는 낡은 지폐 훼손도 정량화 방법.
According to clause 6,
When performing data expansion through generating banknote images for damaged banknotes,
A method for quantifying damage to old banknotes, characterized by generating a banknote image for a damaged banknote by combining shape difference information based on shape and morphological differences in the banknote image and style difference information based on stylistic differences in color and texture. .

제 7항에 있어서,
상기 형상 차이 정보는,
하기의 [수학식 8]이 적용되는 것을 특징으로 하는 낡은 지폐 훼손도 정량화 방법.
[수학식 8]

여기서, j는 j번째 레이어
C, H, W는 각각 CNN을 통과한 특징맵(feature map)의 개수, 특징맵(feature map)의 세로와 가로 길이를 나타냄.
According to clause 7,
The shape difference information is,
A method for quantifying damage to old banknotes, characterized in that [Equation 8] below is applied.
[Equation 8]

Here, j is the jth layer
C, H, and W represent the number of feature maps that passed the CNN and the vertical and horizontal lengths of the feature maps, respectively.

제 7항에 있어서,
상기 스타일 차이 정보는,
하기의 [수학식 9]가 적용되는 것을 특징으로 하는 낡은 지폐 훼손도 정량화 방법.
[수학식 9]

여기서, j는 j번째 레이어
C, H, W는 각각 CNN을 통과한 특징맵(feature map)의 개수, 특징맵(feature map)의 세로와 가로 길이를 나타냄.
According to clause 7,
The style difference information is,
A method for quantifying damage to old banknotes, characterized in that [Equation 9] below is applied.
[Equation 9]

Here, j is the jth layer
C, H, and W represent the number of feature maps that passed the CNN and the vertical and horizontal lengths of the feature maps, respectively.

제 7항에 있어서,
상기 훼손지폐에 대한 지폐이미지 생성은,
하기의 [수학식 10]이 적용되는 것을 특징으로 하는 낡은 지폐 훼손도 정량화 방법.
[수학식 10]

여기서,

와

는 각각 형상 차이 정보와, 스타일 차이 정보를 얼마나 반영할지 결정하는 변수.According to clause 7,
To create a banknote image for the damaged banknote,
A method for quantifying damage to old banknotes, characterized in that [Equation 10] below is applied.
[Equation 10]

here,

and