KR101965751B1 - Device and method for multi-national banknote classification based on convolutional neural network - Google Patents

Device and method for multi-national banknote classification based on convolutional neural network Download PDF

Info

Publication number
KR101965751B1
KR101965751B1 KR1020170088546A KR20170088546A KR101965751B1 KR 101965751 B1 KR101965751 B1 KR 101965751B1 KR 1020170088546 A KR1020170088546 A KR 1020170088546A KR 20170088546 A KR20170088546 A KR 20170088546A KR 101965751 B1 KR101965751 B1 KR 101965751B1
Authority
KR
South Korea
Prior art keywords
image
banknote
layer
size
denomination
Prior art date
Application number
KR1020170088546A
Other languages
Korean (ko)
Other versions
KR20190007290A (en
Inventor
박강령
홍형길
팜단투엔
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020170088546A priority Critical patent/KR101965751B1/en
Publication of KR20190007290A publication Critical patent/KR20190007290A/en
Application granted granted Critical
Publication of KR101965751B1 publication Critical patent/KR101965751B1/en

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/06Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using wave or particle radiation
    • G07D7/12Visible light, infrared or ultraviolet radiation
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D11/00Devices accepting coins; Devices accepting, dispensing, sorting or counting valuable papers
    • G07D11/10Mechanical details
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D11/00Devices accepting coins; Devices accepting, dispensing, sorting or counting valuable papers
    • G07D11/20Controlling or monitoring the operation of devices; Data handling

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Inspection Of Paper Currency And Valuable Securities (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 본 발명은 다국가 권종 분류 장치 및 방법에 관한 것으로, 더욱 상세하게는 가시광 환경에서 촬영된 다국가 지폐 영상을 회선 신경망을 기반으로 국가와 권종을 식별하는 장치 및 방법에 관한 것이다. 본 발명은 딥러닝 방식 중 하나인 회선 신경망 구조를 이용하여 다국가 권종을 국가별로 분류하지 않고서도 자동으로 투입된 지폐들의 국가와 권종을 동시에 식별할 수 있다.The present invention relates to a multinational classifying apparatus and method, and more particularly, to a multinational banknote image photographed in a visible light environment and an apparatus and method for identifying a country and a class based on a circuit neural network. The present invention can simultaneously identify the countries and the types of bills that are automatically inserted without classifying the multi-national countries by country by using the line neural network structure, which is one of the deep learning methods.

Description

회선 신경망 기반 다국가 권종 분류 장치 및 방법{DEVICE AND METHOD FOR MULTI-NATIONAL BANKNOTE CLASSIFICATION BASED ON CONVOLUTIONAL NEURAL NETWORK}BACKGROUND OF THE INVENTION Field of the Invention [0001] The present invention relates to a device and a method for classifying multi-

본 발명은 다국가 권종 분류 장치 및 방법에 관한 것으로, 더욱 상세하게는 가시광 환경에서 촬영된 다국가 지폐 영상을 회선 신경망을 기반으로 국가와 권종을 식별하는 장치 및 방법에 관한 것이다.The present invention relates to a multi-country classifying apparatus and method, and more particularly, to an apparatus and a method for identifying a multi-national banknote image photographed in a visible light environment based on a circuit neural network.

일반적인 권종 분류 장치는 권종별로 지폐를 스캔하여 권종의 특징을 추출하고, 이를 기억장치에 저장된 권종 정보와 대조하여 권종을 판단한다. 그러나, 국가별로 다양한 권종이 존재하기 때문에, 권종 분류 장치는 식별할 지폐의 종류가 많아질수록 급격하게 신뢰성이 저하되는 문제점이 있다. 또한, 기존의 권종 분류 장치는 다국가 권종들이 섞여있는 경우에는 수작업으로 국가를 분류하여 투입된 지폐와 저장된 지폐 정보들의 유사도를 대조해야 하는 불편함이 있다.The general class sorting apparatus scans bills for each denomination, extracts characteristics of the denomination, and compares the denomination with the denomination information stored in the storage device to determine the denomination. However, since there are various types of countries depending on the country, there is a problem in that the class classification apparatus sharply decreases in reliability as the kinds of bills to be discriminated become larger. In addition, the existing class classification apparatus is inconvenient to classify the countries by hand when the multi-national countries are mixed, and to check the similarity between the inputted paper money and the stored paper money information.

본 발명의 배경기술은 대한민국 공개특허 제 2005-0075153호(2005. 07. 20 공개, 지폐식별장치)에 개시되어 있다.BACKGROUND ART [0002] The background art of the present invention is disclosed in Korean Patent Laid-Open Publication No. 2005-0075153 (published on July 20, 2005).

상술한 문제점을 해결하기 위해, 본 발명은 딥러닝 방식 중 하나인 회선 신경망 구조를 이용하여 다국가 권종을 국가별로 분류하지 않고서도 자동으로 투입된 지폐들의 국가와 권종을 동시에 식별할 수 있는 다국가 권종 분류 장치 및 방법을 제공하는 것이다. In order to solve the above-mentioned problems, the present invention provides a multi-country machine which can simultaneously identify the countries and the types of bills which are automatically inserted without classifying the multi- And to provide a classification apparatus and method.

본 발명의 일 측면에 따르면, 다국가 권종 분류 장치가 제공된다.According to an aspect of the present invention, a multi-country classification apparatus is provided.

본 발명의 일 실시 예에 따른 다국가 권종 분류 장치는 가시광 라인 센서 및 발광 다이오드를 통해 투입된 지폐를 촬상하여 지폐 영상의 앞면 및 뒷면 이미지를 생성하는 지폐 영상 생성부, 지폐 영상에서 코너 검출 알고리즘을 사용하여 배경을 제외한 지폐 영역을 검출하고, 지폐 영역의 회전 및 변위(displacement)를 보정하여 전처리하는 지폐 영상 전처리부, 전처리된 지폐 영상을 상기 지폐 영상의 크기에 따라 기 설정된 n개(n은 자연수)의 그룹 중 하나로 분류하는 지폐 크기 식별부, 분류된 지폐 영상의 크기를 정규화하는 지폐 영상 정규화부, 정규화된 지폐 영상의 앞면과 뒷면 이미지 각각에 지폐 영상의 크기에 따라 기 학습한 회선 신경망 모델을 적용하여 권종 특징을 추출하고, 추출한 권종 특징으로 국가별 권종을 식별하는 권종 식별부 및 스코어 레벨 퓨전(Score Level Fusion) 방법을 통해 지폐 영상의 앞면 및 뒷면 이미지를 식별한 결과를 결합하고, 소프트맥스 함수(Softmax Function)를 이용하여 최종적으로 국가별 권종을 분류하는 권종 분류부를 포함할 수 있다.The multi-country classifying apparatus according to an embodiment of the present invention includes a bill image generating unit for generating a front and back image of a bill image by capturing a bill inserted through a visible light line sensor and a light emitting diode, (N is a natural number) according to the size of the banknote image, a banknote image pre-processing unit for detecting a banknote area excluding a background and correcting rotation and displacement of the banknote area, A banknote image normalizing unit for normalizing the sizes of the classified banknote images, and a line-by-line neural network model based on the sizes of the banknote images on the front and back images of the normalized banknote images, respectively And extracts the denomination characteristic, extracts the denomination identifying unit and the scoop May include a denomination classifier that finally combines the results of identifying the front and back image of the paper currency image through a score fusion technique and finally classifies the denomination by country using a Softmax Function .

본 발명의 다른 일 측면에 따르면, 다국가 권종 분류 방법 및 이를 실행하는 컴퓨터 프로그램이 제공된다.According to another aspect of the present invention, a multinational class classification method and a computer program for executing the method are provided.

본 발명의 일 실시 예에 따른 다국가 권종 분류 방법 및 이를 실행하는 컴퓨터 프로그램은 가시광 라인 센서 및 발광 다이오드를 통해 투입된 지폐를 촬상하는 단계, 촬상한 지폐 영상의 앞면 및 뒷면 이미지를 생성하는 단계, 코너 검출 알고리즘을 사용하여 지폐 영상의 앞면 및 뒷면 이미지에서 배경을 제외한 지폐 영역을 검출하고, 지폐 영역의 회전 및 변위(displacement)를 보정하여 전처리하는 단계, 전처리된 지폐 영상의 크기에 따라 기 설정된 n개(n은 자연수)의 그룹 중 하나로 분류하는 단계, 분류된 지폐 영상의 크기를 정규화하는 단계, 지폐 영상의 크기 그룹별 학습된 회선 신경망 모델을 적용하여 정규화된 지폐 영상의 앞면과 뒷면 이미지 각각에 대해 국가별 권종을 식별하는 단계, 스코어 레벨 퓨전(Score Level Fusion) 방법을 통해 지폐 영상의 앞면 및 뒷면 이미지를 식별한 결과를 결합하는 단계 및 소프트맥스 함수(Softmax Function)를 이용하여 최종적으로 국가별 권종을 분류하는 단계를 포함할 수 있다.A multi-country classification method and a computer program for executing the same according to an embodiment of the present invention include a step of capturing a bill inserted through a visible light line sensor and a light emitting diode, a step of generating a front side image and a back side image of a picked- Detecting a banknote area excluding the background from the front and back images of the banknote image by using a detection algorithm and correcting the rotation and displacement of the banknote area by preprocessing, (n is a natural number), normalizing the size of the classified banknote image, applying a learned line neural network model for each size group of banknote images to each of the front and back images of the normalized banknote image Identifying country-specific denominations, Score Level Fusion method, Combining the results of identifying face and back images, and finally classifying the country category using a Softmax Function.

본 발명은 딥러닝 방식 중 하나인 회선 신경망 구조를 이용하여 다국가 권종을 국가별로 분류하지 않고서도 자동으로 투입된 지폐들의 국가와 권종을 동시에 식별할 수 있다.The present invention can simultaneously identify the countries and the types of bills that are automatically inserted without classifying the multi-national countries by country by using the line neural network structure, which is one of the deep learning methods.

도 1 내지 도 4는 본 발명의 일 실시 예에 따른 다국가 권종 분류 장치를 설명하기 위한 도면들.
도 5 내지 도 9는 본 발명의 일 실시예에 따른 다국가 권종 분류 방법을 설명하기 위한 도면들.
도 10은 본 발명의 일 실시 예에 따른 회선 신경망 기반의 학습을 통한 다국가 권종 분류 방법의 분류 결과를 나타낸 도면.
1 to 4 are views for explaining a multi-country classification apparatus according to an embodiment of the present invention.
5 to 9 are views for explaining a multi-country classification method according to an embodiment of the present invention.
10 is a diagram showing classification results of a multi-country class classification method through learning based on a line neural network according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.While the present invention has been described in connection with certain exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and similarities. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. In addition, the singular phrases used in the present specification and claims should be interpreted generally to mean " one or more " unless otherwise stated.

이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals refer to like or corresponding components throughout. .

도 1 내지 도 4는 본 발명의 일 실시 예에 따른 다국가 권종 분류 장치를 설명하기 위한 도면들이다.1 to 4 are views for explaining a multi-country classification apparatus according to an embodiment of the present invention.

도 1을 참조하면, 다국가 권종 분류 장치(100)는 투입된 지폐를 가시광 환경에서 촬상하여 지폐의 앞면과 뒷면 이미지를 생성하고, 이를 회선 신경망을 이용하여 국가와 권종을 식별한다. 다국가 권종 분류 장치(100)는 지폐를 촬상하는 1차원 가시광 라인 센서, 발광 다이오드(LED), 영상처리를 수행하는 프로세서, 영상데이터의 입출력을 담당하는 입출력 인터페이스, 데이터와 프로그램을 저장하는 메모리 및 다국가 권종 식별 결과를 표시하는 표시부를 포함할 수 있다. Referring to FIG. 1, a multi-country classifying apparatus 100 images an inserted paper currency in a visible light environment to generate front and back image of a paper currency, and identifies a country and a denomination using a line network. The multi-country classifying apparatus 100 includes a one-dimensional visible light line sensor for capturing banknotes, a light emitting diode (LED), a processor for performing image processing, an input / output interface for inputting and outputting image data, a memory for storing data and programs, And may include a display unit for displaying the result of discriminating the multi-national flag.

도 2를 참조하면, 다국가 권종 분류 장치(100)는 지폐 영상 생성부(110), 지폐 영상 전처리부(120), 지폐 크기 식별부(130), 지폐 영상 정규화부(140), 권종 식별부(150), 권종 분류부(160)를 포함한다. 2, the multi-country classifying apparatus 100 includes a bill image generating unit 110, a bill image preprocessing unit 120, a bill size identifying unit 130, a bill image normalizing unit 140, (150), and a denomination classifying section (160).

지폐 영상 생성부(110)는 가시광 라인 센서 및 발광 다이오드를 통해 투입된 지폐를 촬상하여 지폐 영상의 앞면 및 뒷면 이미지를 생성한다. 지폐 영상 생성부(110)는 투입되는 지폐가 어느 방향으로 투입되는지 알 수 없기 때문에 지폐 앞면의 정방향, 지폐 앞면의 역방향, 지폐 뒷면의 정방향, 지폐 뒷면의 역방향 등 모든 경우의 수에 대해 지폐 영상을 생성할 수 있다. 이때, 지폐 영상의 크기는 1584 × 464 픽셀 크기일 수 있다.The bill image generating unit 110 images the bill inserted through the visible light line sensor and the light emitting diode to generate front and back image of the bill image. Since the bill image generating unit 110 can not know in which direction the bill is input, the bill image can be generated for every number of cases such as the forward direction of the front face of the bill, the reverse direction of the front face of the bill, the forward direction of the back face, Can be generated. At this time, the size of the banknote image may be 1584 × 464 pixels.

지폐 영상 전처리부(120)는 코너 검출 알고리즘을 사용하여 지폐 영상에서 배경을 제외한 지폐 영역을 검출하고, 지폐 영역의 회전 및 변위(displacement)를 보정하여 전처리한다. The banknote image preprocessing unit 120 detects a banknote area excluding a background from a banknote image using a corner detection algorithm and preprocesses by correcting the rotation and displacement of the banknote area.

지폐 크기 식별부(130)는 전처리된 지폐 영상의 크기에 따라 기 설정된 n개(n은 자연수)의 그룹 중 하나로 분류한다. 일반적으로 지폐 영상의 크기는 국가와 권종에 따라 상이하다. 이에, 다국가 권종 분류 장치(100)는 권종 크기 식별부(130)에서 지폐 영상의 크기를 대략적으로 분류하는 과정을 통해 1차적으로 국가를 식별함으로써 권종 분류 성능을 향상 시킬 수 있다.The banknote size identification unit 130 classifies the banknote size into one of n predetermined groups (n is a natural number) according to the size of the preprocessed banknote image. Generally, the size of the banknote image varies depending on the country and the type of currency. Thus, the multi-national classifying apparatus 100 can improve the class classification performance by firstly identifying the country through the process of roughly classifying the sizes of the banknote images in the denomination size identifying unit 130. [

지폐 영상 정규화부(140)는 분류된 지폐 영상의 크기를 정규화한다. 예를 들면, 이미지 정규화부(140)는 하나 이상의 지폐 영상을 115×51 픽셀의 크기로 정규화하고, 이를 권종 식별부(150)에서 회선 신경망 모델의 입력값으로 사용할 수 있다.The banknote image normalizing unit 140 normalizes the sizes of the banknote images classified. For example, the image normalization unit 140 may normalize one or more banknote images to a size of 115 × 51 pixels, and use the banknote image as an input value of the circuit neural network model in the denomination identifying unit 150.

권종 식별부(150)는 정규화된 지폐 영상의 앞면과 뒷면 이미지 각각에서 지폐 영상의 크기에 따라 기 학습한 회선 신경망 모델을 적용하여 권종 특징을 추출하고, 추출한 권종 특징으로 국가별 권종을 식별한다. 도 3 및 도 4를 참조하면, 권종 식별부(150)는 이미지 입력 레이어, 특징 추출 레이어 및 분류 레이어를 포함한다.The denomination identifying unit 150 extracts the denomination feature by applying a preliminarily learned line neural network model according to the size of the denomination of the paper money image on the front face and the back face image of the normalized paper currency image, and identifies the denomination of the denomination by the extracted denomination feature. 3 and 4, the denomination identifying unit 150 includes an image input layer, a feature extraction layer, and a classification layer.

이미지 입력 레이어는 미리 설정한 스케일의 지폐 영상을 입력한다. 이미지 입력 레이어는 그레이-스케일(gray-scale)의 이미지를 이용할 수 있으며 115×51 픽셀의 크기일 수 있다. The image input layer inputs a banknote image of a predetermined scale. The image input layer may use a gray-scale image and may be 115 x 51 pixels in size.

특징 추출 레이어는 입력한 지폐 영상에 회선 신경망 모델을 적용하여 특징을 추출한다. 특징 추출 레이어는 (1) 5개의 콘벌루션 레이어들을 포함할 수 있고, (2) 각각의 콘벌루션 레이어들은 교정 선형 유닛((Rectified Linear Unit); 이하 ReLU) 레이어와 함께 하고, (3) 교차 채널 정규화((Cross Channel Normalization); 이하 'CCN') 레이어 및 (4) 맥스 풀링(Max pooling) 레이어를 포함할 수 있다. The feature extraction layer extracts features by applying a line neural network model to the input banknote images. The feature extraction layer may include (1) five convolution layers, (2) each convolution layer with a Rectified Linear Unit (ReLU) layer, and (3) (&Quot; CCN ") layer and (4) Max pooling layer.

(1) 5개의 콘벌루션 레이어들 중에서 제1 콘벌루션 레이어는 115×51×1 픽셀의 이미지가 입력되며, 크기 7×7×1 크기의 96개의 필터를 이용하여 2 픽셀 간격으로 콘벌루션화될 수 있다. 이 경우 필터당 가중치 크기는 7×7×1=49이고, 제1 콘벌루션 레이어에서 전체 파라미터의 수는(49+1)×96 = 4800이며, 여기서, 1은 바이어스(bias)를 나타낸다. 제1 콘벌루션 레이어에서 특징 맵의 크기는 55×23×96이고, 55 및 23은 출력 높이 및 너비이다. 출력 높이(또는 너비)는 입력 높이(또는 너비) - 필터 높이(또는 너비) + 2 × 패딩)/스트라이드 +1 의 식을 이용하여 산출될 수 있다. 출력들은 ReLU 레이어 및 CCN 레이어를 거친다. 여기서, ReLU 레이어는 식(1)에 나타낸 바와 같이, 0을 기준으로 입력된 값이 0보다 작을 경우는 모두 0으로 설정하는 임계 연산을 수행한다. 이에, ReLU 레이어는 연산을 단순화하여 심층 네트워크의 학습 속도를 증가시키는데 도움이 된다.(1) Of the five convolution layers, the first convolution layer receives 115 × 51 × 1 pixels of images and is convoluted at intervals of 2 pixels using 96 filters of size 7 × 7 × 1 . In this case, the weight per filter size is 7 x 7 x 1 = 49, and the total number of parameters in the first convolution layer is (49 + 1) x 96 = 4800, where 1 represents a bias. The size of the feature map in the first convolution layer is 55 x 23 x 96, and 55 and 23 are the output height and width. The output height (or width) can be computed using the input height (or width) - filter height (or width) + 2 × padding) / stride +1. The outputs go through the ReLU layer and the CCN layer. Here, as shown in equation (1), the ReLU layer performs a threshold operation in which all 0s are set to 0 when the input value is less than 0. Thus, the ReLU layer helps simplify the operation and increase the learning speed of the deep network.

Figure 112017066758396-pat00001
Figure 112017066758396-pat00001

CCN 레이어는 식(2)을 통해 구현할 수 있다. 본 발명의 실시 예에 따른 CCN 레이어는 식(2)에서

Figure 112017066758396-pat00002
Figure 112017066758396-pat00003
의 값을 1, 0.0001 및 0.75으로 설정함으로써 정규화된 출력값을 구할 수 있다. The CCN layer can be implemented through Equation (2). The CCN layer according to the embodiment of the present invention is expressed by Equation (2)
Figure 112017066758396-pat00002
And
Figure 112017066758396-pat00003
The normalized output value can be obtained by setting the values of 1, 0.0001, and 0.75, respectively.

Figure 112017066758396-pat00004
Figure 112017066758396-pat00004

CCN 레이어의 출력맵은 제1 맥스 풀링 레이어에 의해 3×3×1 크기의 1개의 필터를 이용하여 2 픽셀 간격으로 처리된 후 다운샘플링된다. 제1 맥스 풀링 레이어에서의 출력은 출력 높이(또는 너비)= 입력 높이(또는 너비)- 필터 높이(또는 너비) + 2 × 패딩)/스트라이드 +1 등식에 의해 27(=((55 - 3 + 2×0)/2+1))×11(= ((23- 3+ 2×0)/2+1))×96로 계산된다. The output map of the CCN layer is processed by the first Max-Pulling layer at intervals of 2 pixels using one filter of 3x3x1 size and then down-sampled. The output from the first max-pulling layer is 27 (= ((55 - 3 + 2)) by the output height (or width) = input height (or width) - filter height (or width) + 2 × padding) / stride + 2 + 0) / 2 + 1)) 占 11 (= ((23-3 + 2 占 0) / 2 + 1)) 占 96.

이후, 제2 콘벌루션 레이어에서 5×5×1 크기의 128개의 필터를 이용하여 1 픽셀 간격으로 2패딩씩 콘벌루션화하고, ReLU 레이어 및 CCN 레이어를 거쳐 3×3 크기의 필터를 가지는 제2 맥스 풀링 레이어를 적용하여 2 픽셀 간격으로 특징 맵의 크기를 축소한다. Then, in the second convolution layer, 128 pels of 5 × 5 × 1 size are used to convolve 2 padding at intervals of 1 pixel, and through the ReLU layer and the CCN layer, Apply the Max-Pulling layer to reduce the size of the feature map at 2-pixel intervals.

제3 콘벌루션 레이어 및 제4 콘벌루션 레이어는 3×3×1 크기의 필터 256개를 이용하여 1 픽셀 간격으로 1 패딩씩 콘벌루션화하고, ReLU 레이어를 적용한다. The third convolution layer and the fourth convolution layer are convolutionized by 1 padding at intervals of one pixel using 256 3 × 3 × 1 filters and apply the ReLU layer.

다음 제5 콘벌루션 레이어가 1 픽셀 간격으로 1패딩씩 3×3×1 크기의 필터를 128개 적용하여 6×2×128 픽셀 크기의 출력맵을 출력한다. Next, the fifth convolution layer applies 128 3 × 3 × 1 filters with 1 padding at intervals of 1 pixel to output an output map of 6 × 2 × 128 pixels.

또한, 특징 추출 레이어는 콘벌루션 레이어들 다음으로 3개의 완전 연결(Fully connected) 레이어 집합들을 더 포함할 수 있다. 여기서 완전 연결 레이어는 이전 레이어 연산 결과를 1차원 행렬이 되도록 복수의 노드로 연결하여 권종 특징을 축소한다. 제1 완전 연결 레이어 집합들에는 완전 연결 레이어 및 ReLU 레이어를 포함할 수 있고, 제2 완전 연결 레이어 집합은 완전 연결 레이어, ReLU 레이어 및 드롭아웃(Drop out) 레이어가 삽입될 수 있고, 제3 완전 연결 레이어 집합은 완전 연결 레이어 뒤에 소프트맥스(Softmax) 레이어를 포함할 수 있다. 이 때, 제1 완전 연결 레이어는 384 및 4096 노드들을 입력 및 출력으로 각각 가질 수 있다. 제2 완전 연결 레이어는 4096 및 2048 노드들을 입력 및 출력으로 각각 가질 수 있다. 제3 완전 연결 레이어 전에는 드롭아웃 기술이 적용되며, 이는 무작위로 미리 설정된 확률에 기초하여 각각의 숨겨진 노드의 출력을 0으로 설정할 수 있다. 여기서, 미리 설정된 확률은 0.65일 수 있다. 다음 제3 완전 연결 레이어는 2048 개의 입력 노드와 국가, 권종의 명칭 및 지폐 입력 방향에 따라 n개(n은 자연수)의 출력 노드를 가질 수 있다. 본 발명의 일 실시예에 따른 다국가 권종 인식 장치(100)는 지폐 크기에 따라 1차적으로 분류된 클래스 별로 상이하게 학습된 회선 신경망 모델을 이용하여 지폐의 권종 및 방향을 보다 정확하게 식별할 수 있다.In addition, the feature extraction layer may further comprise three fully connected layer sets next to the convolution layers. Here, the complete connection layer reduces the block feature by connecting the result of the previous layer operation to a plurality of nodes so as to be a one-dimensional matrix. The first fully-connected layer sets may include a full-connect layer and a ReLU layer, the second fully-connected layer set may include a full-connect layer, a ReLU layer, and a drop-out layer, The connection layer set can include a Softmax layer behind the full connection layer. At this time, the first complete connection layer may have 384 and 4096 nodes as input and output, respectively. The second complete connection layer may have 4096 and 2048 nodes as input and output, respectively. Prior to the third complete connection layer, a dropout technique is applied, which may set the output of each hidden node to zero based on a randomly predetermined probability. Here, the preset probability may be 0.65. The following third complete connection layer can have n (n is a natural number) output nodes according to 2048 input nodes and country, denomination name, and paper currency input direction. The multi-national currency recognition apparatus 100 according to an embodiment of the present invention can more accurately identify the denomination and direction of a banknote using a line-by-line neural network model that is learned differently for each class classified as a banknote .

분류 레이어는 제3 완전 연결 레이어에서 출력된 권종 특징을 소프트맥스(Softmax) 레이어를 통해 미리 설정된 수의 권종으로 분류한다.The classification layer classifies the denominator features output from the third complete connection layer into a predetermined number of denominations through a softmax layer.

권종 분류부(160)는 스코어 레벨 퓨전(Score Level Fusion) 방법을 통해 지폐 영상의 앞면 및 뒷면 이미지를 식별한 결과를 결합하고, 소프트맥스 함수(Softmax Function)를 이용하여 최종적으로 국가별 권종을 분류한다.The denomination classification unit 160 combines the results of identifying the front and back image of the banknote image by a score level fusion method and finally classifies the denomination of each country using a softmax function do.

Figure 112017066758396-pat00005
Figure 112017066758396-pat00005

여기서, 스코어 레벨 퓨전 방법은 식(3)과 같다. 식(3)에서 sfisbi 각각은 지폐 영상의 앞면 및 뒷면이 i번째 클래스에 속할 점수(Score)이고, i 는 1~N개(N은 자연수)이며, Sisfisbi의 평균값이다.Here, the score level fusion method is expressed by Equation (3). In the equation (3), sfi and sbi are the scores (Score) in which the front and back sides of the paper currency image belong to the i- th class, i is 1 to N (N is a natural number), and Si is the average value of sfi and sbi .

소프트맥스 함수는 식(4)와 같다. 식(4)에서 Pi는 i~N개의 클래스에 대응하는 Si값을 정규화함으로써 산출할 수 있다. The soft max function is shown in Equation (4). Pi in Equation (4) can be calculated by normalizing Si values corresponding to i to N classes.

Figure 112017066758396-pat00006
Figure 112017066758396-pat00006

권종 분류부(160)는 식(4)에서 Pi값이 최대가 되는 경우에 해당하는 클래스를 입력된 지폐 영상이 해당하는 국가와 권종으로 분류할 수 있다.The denomination classifying unit 160 classifies the class corresponding to the case in which the value Pi is maximized in Equation (4) into a country and a denomination corresponding to the inputted paper money image.

도 5 내지 도 9는 본 발명의 일 실시예에 따른 다국가 권종 분류 방법을 설명하기 위한 도면들이다. 5 to 9 are views for explaining a multi-country classification method according to an embodiment of the present invention.

도 5를 참조하면, 단계 S510에서 다국가 권종 분류 장치(100)는 가시광 라인 센서 및 발광 다이오드를 통해 투입된 지폐를 촬상한다. Referring to FIG. 5, in step S510, the multi-country classifying apparatus 100 images a bill inserted through a visible light line sensor and a light emitting diode.

단계 S520에서 다국가 권종 분류 장치(100)는 촬상한 지폐 영상의 앞면 및 뒷면 이미지를 생성한다. In step S520, the multi-country classifying apparatus 100 generates front and back images of the picked-up banknote images.

도 6을 참조하면, 다국가 권종 분류 장치(100)는 투입되는 지폐가 어느 방향으로 투입되는지 알 수 없기 때문에 (a)지폐 앞면의 정방향, (b)지폐 앞면의 역방향, (c)지폐 뒷면의 정방향, (d)지폐 뒷면의 역방향 등 모든 경우의 수에 대해 지폐 영상을 생성할 수 있다. 예를 들면, 다국가 권종 분류 장치(100)는 투입된 지폐 방향에 따라 지폐 앞면의 정방향과 지폐 뒷면의 정방향을 한쌍으로, 또는 지폐 앞면의 역방향과 지폐 뒷면의 역방향을 한쌍으로 대응하여 지폐 영상을 생성할 수 있다.Referring to FIG. 6, since the multi-country classifying apparatus 100 can not know in which direction the inputted banknote is fed, (a) the forward direction of the front face of the banknote, (b) the reverse direction of the front face of the banknote, (c) Forward direction, (d) reverse direction of the back side of the banknote, and the like. For example, the multi-country classifying apparatus 100 generates a banknote image by pairing the forward direction of the front face of the banknote and the forward direction of the back face of the banknote, or a pair of the reverse direction of the front face of the banknote and the reverse direction of the back face of the banknote, can do.

단계 S530에서 다국가 권종 분류 장치(100)는 코너 검출 알고리즘을 사용하여 지폐 영상의 앞면 및 뒷면 이미지에서 배경을 제외한 지폐 영역을 검출하고, 지폐 영역의 회전 및 변위(displacement)를 보정하여 전처리한다. In step S530, the multi-country classifying apparatus 100 detects a banknote area excluding the background from the front and back images of the banknote image using a corner detection algorithm, and preprocesses by correcting rotation and displacement of the banknote area.

도 7을 참조하면, 다국가 권종 분류 장치(100)는 배경이 포함된 지폐 영상에서 지폐 영역만을 검출하고, 회전 및 변위가 보정된 지폐 영상을 취득할 수 있다.Referring to FIG. 7, the multi-country classifying apparatus 100 can detect only a banknote region in a banknote image including a background, and obtain a banknote image in which rotation and displacement are corrected.

단계 S540에서 다국가 권종 분류 장치(100)는 전처리된 지폐 영상의 크기에 따라 기 설정된 n개(n은 자연수)의 그룹 중 하나로 분류한다. In step S540, the multi-country classifying apparatus 100 classifies the image into one of n groups (n is a natural number) predetermined according to the size of the preprocessed banknote image.

도 8을 참조하면, 지폐의 크기는 국가마다 권종의 크기가 서로 상이함을 확인할 수 있다. 도 8에서 (a)는 위안화(CNY), (b)는 유로화(EUR), (c)는 엔화(JPY), (d)는 원화(KRW), (e)는 루블(RUB), (f)는 달러(USD)의 크기를 픽셀단위로 나타낸 것이다. Referring to FIG. 8, it can be seen that the sizes of banknotes differ from country to country. 8, (a), (b) and (e) show the CNY, the EUR, the JPY, the KRW, the RUB, ) Is the size of the dollar (USD) in pixels.

도 9를 참조하면, 본 발명의 일 실시 예에 따른 다국가 권종 분류 장치(100)는 사전에 국가별 지폐의 크기를 픽셀 단위로 측정하고, 지폐의 크기를 5개의 그룹으로 분류한다. 이를 통해, 다국가 권종 분류 장치(100)는 전처리된 지폐 영상의 크기에 따라 기 설정된 5개의 그룹 중 하나로 분류함으로써, 권종 분류 성능을 향상시킬 수 있다.Referring to FIG. 9, the multi-country classifying apparatus 100 according to an embodiment of the present invention measures the size of banknotes in each country in advance and classifies banknotes into five groups. Accordingly, the multi-national classifying apparatus 100 can classify the class into one of the five predetermined groups according to the size of the preprocessed paper currency image, thereby improving the class classification performance.

단계 S550에서 다국가 권종 분류 장치(100)는 분류된 지폐 영상의 크기를 정규화한다. 예를 들면, 다국가 권종 분류 장치(100)는 투입된 하나 이상의 지폐 영상을 115×51 픽셀의 크기로 정규화할 수 있다.In step S550, the multi-country classifying device 100 normalizes the size of the classified banknote images. For example, the multi-national classifying apparatus 100 may normalize the inputted one or more paper money images to a size of 115 × 51 pixels.

단계 S560에서 다국가 권종 분류 장치(100)는 지폐 영상의 크기 그룹별 학습된 회선 신경망 모델을 적용하여 정규화된 지폐 영상의 앞면과 뒷면 이미지 각각에 대해 국가별 권종을 식별한다. 여기서 회선 신경망 모델은 앞서 도 3 및 도 4에서 설명한 바와 같다.In step S560, the multi-country classifying apparatus 100 identifies the denomination of each country for each of the front and back images of the normalized banknote image by applying the learned line neural network model for each size group of banknote images. Here, the circuit neural network model is as described above with reference to FIG. 3 and FIG.

단계 S570에서 다국가 권종 분류 장치(100)는 스코어 레벨 퓨전(Score Level Fusion) 방법을 통해 지폐 영상의 앞면 및 뒷면 이미지를 식별한 결과를 결합한다.In step S570, the multi-country classifying apparatus 100 combines the result of identifying the front side image and the back side image of the banknote image through a score level fusion method.

단계 S580에서 다국가 권종 분류 장치(100)는 소프트맥스 함수(Softmax Function)를 이용하여 최종적으로 국가별 권종을 분류한다.In step S580, the multi-country classifier 100 finally classifies the countries by country using a softmax function.

도 10은 본 발명의 일 실시 예에 따른 회선 신경망 기반의 학습을 통한 다국가 권종 분류 방법의 분류 결과를 나타낸 도면이다.FIG. 10 is a diagram showing classification results of a multi-country class classification method through learning based on a line neural network according to an embodiment of the present invention.

표 1을 참조하면, 본 발명은 성능 평가를 위해 6개 국가의 지폐 영상이 총64,668장으로 구성된 데이터 셋을 이용하였다. 여기서 데이터 셋은 국가, 권종 및 지폐 투입 방향이 고려된 총248개의 클래스로 구성되었다.Referring to Table 1, the present invention uses a data set having a total of 64,668 banknote images of six countries for performance evaluation. The data set consisted of 248 classes, which included the direction of country, currency, and bills.

CurrencyCurrency Number of ImagesNumber of Images Number of ClassesNumber of Classes CNYCNY 626626 4040 EUREUR 4,3244,324 4444 JPYJPY 1,4621,462 2828 KRWKRW 536536 2828 RUBRUB 12,14612,146 4040 USDUSD 45,57445,574 6868 TotalTotal 64,66864,668 248248

학습 및 검증은 Intel® Core™ i7-6700 CPU @ 3.40 GHz (4 CPUs), 64 GB 메모리 및 12 GB의 메모리를 가진 그래픽 카드 NVIDIA GeForce GTX TITAN X (3,072 CUDA cores) 컴퓨팅 장치가 이용되었다.The learning and validation was done using a NVIDIA GeForce GTX TITAN X (3,072 CUDA cores) computing device with an Intel® Core ™ i7-6700 CPU @ 3.40 GHz (4 CPUs), 64 GB memory and 12 GB of memory.

다국가 권종 분류 장치(100)는 지폐 크기에 따라 분류한 5개의 그룹별 회선 신경망 모델을 학습시켰으며, 1584×464 픽셀 크기 이미지를 바이리니어 보간법에 의해 8비트 그레이의 115×51 픽셀 크기로 최종적으로 변경하여 학습 및 검증에 이용하였다. 여기서, 회선 신경망 모델의 학습은 앞 서 도 3 및 도 4를 참조하여 설명한 방법과 같다. The multi-national classifier 100 learned five group-by-group neural network models classified according to the paper currency size. The 1584 × 464 pixel size image was converted to a 115 × 51 pixel size of 8 bits gray by bilinear interpolation, And used for learning and verification. Here, learning of the circuit neural network model is the same as the method described with reference to Figs. 3 and 4 above.

검증은 데이터 셋을 2개의 그룹으로 나누고, 식(5)를 이용하여 2회의 교차 검증(cross validation)를 수행하였다. 식(5)에서 ACC는 평균 검증 정확도, GA1 및 GA2 는 1차 검증 결과 및 2차 검증 결과를 나타낸다. Verification divides the dataset into two groups and performs two cross validations using Equation (5). In Equation (5), ACC represents the average verification accuracy, and GA1 and GA2 represent the first verification result and the second verification result.

Figure 112017066758396-pat00007
Figure 112017066758396-pat00007

도 10을 참조하면, 본 발명에 따른 다국가 권종 분류 장치(100)는 다국가 권종의 지폐가 투입되었을 때, 지폐 크기에 따라 분류한 5개의 그룹별 학습한 회선 신경망 모델을 이용하여 지폐의 국가, 권종, 지폐 입력 방향을 분류한 결과, 100%의 정확도를 보였다.Referring to FIG. 10, the multi-country classifying apparatus 100 according to the present invention calculates the number of banknotes of a banknote using a five-group learned neural network model classified according to a banknote size, , The type of denomination, and the input direction of the paper money, the accuracy was 100%.

본 발명의 실시 예에 따른 눈 개폐 분류 방법은 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. The eye open / closed classification method according to an embodiment of the present invention can be implemented in the form of a program command which can be executed through a computer means and recorded in a computer-readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. Program instructions to be recorded on a computer-readable medium may be those specially designed and constructed for the present invention or may be available to those skilled in the computer software arts. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Includes hardware devices specifically configured to store and execute program instructions such as magneto-optical media and ROM, RAM, flash memory, and the like.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The embodiments of the present invention have been described above. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.


100: 다국가 권종 분류 장치
110: 지폐 영상 생성부
120: 지폐 영상 전처리부
130: 지폐 크기 식별부
140: 지폐 영상 정규화부
150: 권종 식별부
160: 권종 분류부

100: Multi-country classification system
110: banknote image generating section
120: banknote image preprocessing section
130: banknote size identification unit
140: banknote image normalization unit
150:
160:

Claims (8)

다국가 권종 분류 장치에 있어서,
가시광 라인 센서 및 발광 다이오드를 통해 투입된 지폐를 촬상하여 지폐 영상의 앞면 및 뒷면 이미지를 생성하는 지폐 영상 생성부;
상기 지폐 영상에서 코너 검출 알고리즘을 사용하여 배경을 제외한 지폐 영역을 검출하고, 상기 지폐 영역의 회전 및 변위(displacement)를 보정하여 전처리하는 지폐 영상 전처리부;
전처리된 지폐 영상을 상기 지폐 영상의 크기에 따라 기 설정된 n개(n은 자연수)의 그룹 중 하나로 분류하는 지폐 크기 식별부;
분류된 지폐 영상의 크기를 정규화하는 지폐 영상 정규화부;
정규화된 지폐 영상의 앞면과 뒷면 이미지 각각에 지폐 영상의 크기에 따라 기 학습한 회선 신경망 모델을 적용하여 권종 특징을 추출하고, 추출한 권종 특징으로 국가별 권종을 식별하는 권종 식별부; 및
스코어 레벨 퓨전(Score Level Fusion) 방법을 통해 지폐 영상의 앞면 및 뒷면 이미지를 식별한 결과를 결합하고, 소프트맥스 함수(Softmax Function)를 이용하여 최종적으로 국가별 권종을 분류하는 권종 분류부를 포함하는 다국가 권종 분류 장치.
In multi-country classifiers,
A bill image generator for generating a front side image and a rear side image of a bill image by picking up a bill inserted through a visible light line sensor and a light emitting diode;
A banknote image pre-processing unit for detecting a banknote area excluding the background by using a corner detection algorithm in the banknote image, and correcting rotation and displacement of the banknote area and performing preprocessing;
A banknote size identification unit for classifying the preprocessed banknote images into one of n groups (n is a natural number) predetermined according to the size of the banknote image;
A banknote image normalizing unit for normalizing the size of the classified banknote images;
A denomination discriminating unit for discriminating denomination denominations in each denomination characteristic by extracting denomination characteristics by applying a learned linear neural network model to each of the front face image and the back face image of the normalized paper currency image according to the size of the paper money image; And
And a denomination classification unit which finally combines the result of discriminating the front and back image of the banknote image by a score level fusion method and finally classifies the denomination of each country by using a softmax function National classification system.
제1항에 있어서,
상기 권종 식별부는
미리 설정한 스케일의 지폐 영상을 입력하는 이미지 입력 레이어;
입력한 지폐 영상에 회선 신경망 모델을 적용하여 특징을 추출하는 특징 추출 레이어; 및
상기 추출한 특징에 의해 미리 설정된 수의 권종으로 분류하는 분류 레이어를 포함하는 다국가 권종 분류 장치.
The method according to claim 1,
The denomination identifying unit
An image input layer for inputting a banknote image of a predetermined scale;
A feature extraction layer for extracting features by applying a line neural network model to the input banknote images; And
And a classification layer which classifies the selected class into a predetermined number of classes according to the extracted characteristic.
제2항에 있어서,
상기 특징 추출 레이어는
5개의 콘벌루션 레이어 집합 및 3개의 완전 연결 레이어 집합을 포함하는 다국가 권종 분류 장치.
3. The method of claim 2,
The feature extraction layer
A multinational classifier that includes five convolution layer sets and three fully connected layer sets.
제3항에 있어서,
상기 5개의 콘벌루션 레이어 집합은
115×51×1 픽셀의 이미지가 입력되며, 크기 7×7×1 크기의 96개의 필터를 이용하여 2 픽셀 간격으로 콘벌루션화하는 제1 콘벌루션 레이어, 교정 선형 유닛(Rectified Linear Unit) 레이어, 교차 채널 정규화(Cross Channel Normalization) 레이어 및 3×3×1 크기의 필터를 1개를 2 픽셀 간격으로 적용하여 27×11×96 픽셀의 특징맵을 출력하는 제1 맥스 풀링 레이어로 구성된 제1 콘벌루션 레이어 집합;
상기 제1 콘벌루션 레이어 집합에서 출력된 27×11×96 픽셀의 특징맵에 5×5×1 크기의 128개의 필터를 1 픽셀 간격으로 2패딩씩 콘벌루션화하는 제2 콘벌루션 레이어, 교정 선형 유닛 레이어, 교차 채널 정규화 레이어 및 3×3×1 크기의 필터를 1개를 2 픽셀 간격으로 적용하여 13×5×128 픽셀의 특징맵을 출력하는 제2 맥스 풀링 레이어로 구성된 제2 콘벌루션 레이어 집합;
상기 제2 콘벌루션 레이어 집합에서 출력된 13×5×128 픽셀의 특징맵에 3×3×1 크기의 필터 256개를 이용하여 1 픽셀 간격으로 1 패딩씩 콘벌루션화하는 제3 콘벌루션 레이어 및 교정 선형 유닛 레이어로 구성된 제3 콘벌루션 레이어 집합;
상기 제3 콘벌루션 레이어에서 출력된 13×5×128 픽셀의 특징맵에 3×3×1 크기의 필터 256개를 이용하여 1 픽셀 간격으로 1 패딩씩 콘벌루션화하는 제4 콘벌루션 레이어 및 교정 선형 유닛 레이어로 구성된 제4 콘벌루션 레이어 집합; 및
상기 제4 콘벌루션 레이어 집합에서 출력된 13×5×256 픽셀의 특징맵에 픽셀의 특징맵에 3×3×1 크기의 128개의 필터를 1 픽셀 간격으로 1패딩씩 콘벌루션화하는 제5 콘벌루션 레이어 및 교정 선형 유닛 레이어로 구성된 제5 콘벌루션 레이어 집합을 포함하는 다국가 권종 분류 장치.
The method of claim 3,
The five convolution layer sets
A first convolution layer for inputting an image of 115 × 51 × 1 pixels and convoluting at intervals of 2 pixels using 96 filters of size 7 × 7 × 1, a rectified linear unit layer, A first convolution block composed of a first Max-Pulling layer for applying a cross channel normalization layer and a 3 × 3 × 1-size filter at intervals of two pixels to output a feature map of 27 × 11 × 96 pixels Solution layer set;
A second convolution layer for convolutionizing 128 filters of 5x5x1 size by 2 padding at intervals of one pixel in a feature map of 27x11x96 pixels output from the first convolution layer set, A second convolution layer composed of a second max-pooling layer for applying a unit layer, a cross-channel normalization layer, and a 3 × 3 × 1-size filter at intervals of two pixels to output a feature map of 13 × 5 × 128 pixels set;
A third convolution layer for convoluting the feature maps of 13 x 5 x 128 pixels output from the second convolution layer set by one padding at intervals of one pixel using 256 3 x 3 x 1 filters; A third convolution layer set consisting of a calibration linear unit layer;
A fourth convolution layer for convolutionizing the feature maps of 13 x 5 x 128 pixels output from the third convolution layer by one padding at intervals of one pixel using 256 3 × 3 × 1 filters, A fourth convolution layer set composed of a linear unit layer; And
In the characteristic map of 13 × 5 × 256 pixels output from the fourth convolution layer set, 128 filters of 3 × 3 × 1 size are convoluted by 1 padding at intervals of 1 pixel, And a fifth convolution layer set consisting of a first layer, a second layer, a second layer, a second layer, and a second layer.
제3항에 있어서,
상기 3개의 완전 연결 레이어 집합은
384 및 4096 노드들을 각각 입력 및 출력으로 하는 제1 완전 연결 레이어;
4096 및 2048 노드들을 각각 입력 및 출력으로 하는 제2 완전 연결 레이어; 및
2048 및 N개(N은 자연수) 노드들을 각각 입력 및 출력으로 하는 제3 완전 연결 레이어를 포함하는 다국가 권종 분류 장치.
The method of claim 3,
The three fully connected layer sets
A first full connection layer having 384 and 4096 nodes as inputs and outputs, respectively;
A second full connection layer having 4096 and 2048 nodes as inputs and outputs, respectively; And
2048, and a third complete connection layer having N (N is a natural number) nodes as inputs and outputs, respectively.
다국가 권종 분류 방법에 있어서,
가시광 라인 센서 및 발광 다이오드를 통해 투입된 지폐를 촬상하는 단계;
촬상한 지폐 영상의 앞면 및 뒷면 이미지를 생성하는 단계;
코너 검출 알고리즘을 사용하여 지폐 영상의 앞면 및 뒷면 이미지에서 배경을 제외한 지폐 영역을 검출하고, 상기 지폐 영역의 회전 및 변위(displacement)를 보정하여 전처리하는 단계;
전처리된 지폐 영상의 크기에 따라 기 설정된 n개(n은 자연수)의 그룹 중 하나로 분류하는 단계;
분류된 지폐 영상의 크기를 정규화하는 단계;
지폐 영상의 크기에 따라 기 학습된 회선 신경망 모델을 적용하여 정규화된 지폐 영상의 앞면과 뒷면 이미지 각각에 대해 국가별 권종을 식별하는 단계;
상기 지폐 영상의 앞면 및 뒷면 이미지를 식별한 결과를 스코어 레벨 퓨전(Score Level Fusion) 방법을 통해 결합하는 단계; 및
결합된 식별 결과를 소프트맥스 함수(Softmax Function)를 이용하여 최종적인 국가별 권종을 분류하는 단계를 포함하는 다국가 권종 분류 방법.
In the multi-national classification method,
Imaging a banknote charged through a visible light line sensor and a light emitting diode;
Generating a front side image and a rear side image of the picked-up banknote image;
Detecting a banknote region excluding a background from front and back image of the banknote image by using a corner detection algorithm and correcting rotation and displacement of the banknote region and performing preprocessing;
Classifying the image into one of n groups (n is a natural number) predetermined according to the size of the preprocessed banknote image;
Normalizing the size of the classified banknote images;
Identifying a country-specific denomination for each of a front side image and a back side image of the normalized banknote image by applying a pre-learned line neural network model according to the size of the banknote image;
Combining the results of identifying the front and back images of the banknote images through a score-level fusion method; And
And classifying the final identification country category using the Softmax Function.
제6항에 있어서,
상기 지폐 영상의 크기에 따라 기 학습된 회선 신경망 모델을 적용하여 정규화된 지폐 영상의 앞면과 뒷면 이미지 각각에 대해 국가별 권종을 식별하는 단계는
데이터 세트에 포함된 국가별 지폐 영상을 지폐 영상의 크기에 따라 미리 설정된 수의 그룹으로 분류하고, 분류된 그룹별 지폐 영상을 학습한 회선 신경망 모델을 이용하여 권종 특징을 추출하는 것을 포함하는 다국가 권종 분류 방법.
The method according to claim 6,
The step of identifying a country-specific denomination for each of the front side image and the back side image of the normalized banknote image by applying the pre-learned line neural network model according to the size of the banknote image
Classifying the banknote images of the countries included in the data set into a predetermined number of groups according to the sizes of the banknote images, and extracting denominator characteristics by using the line neural network model that has learned the classified banknote images. Classification method.
제6항 내지 제7항 중 어느 하나의 다국가 권종 분류 방법을 실행하고 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.A computer program for executing the multi-national classification method according to any one of claims 6 to 7 and recorded on a computer-readable recording medium.
KR1020170088546A 2017-07-12 2017-07-12 Device and method for multi-national banknote classification based on convolutional neural network KR101965751B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170088546A KR101965751B1 (en) 2017-07-12 2017-07-12 Device and method for multi-national banknote classification based on convolutional neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170088546A KR101965751B1 (en) 2017-07-12 2017-07-12 Device and method for multi-national banknote classification based on convolutional neural network

Publications (2)

Publication Number Publication Date
KR20190007290A KR20190007290A (en) 2019-01-22
KR101965751B1 true KR101965751B1 (en) 2019-04-04

Family

ID=65287899

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170088546A KR101965751B1 (en) 2017-07-12 2017-07-12 Device and method for multi-national banknote classification based on convolutional neural network

Country Status (1)

Country Link
KR (1) KR101965751B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102163107B1 (en) * 2019-02-28 2020-10-07 주식회사 푸른기술 Bill discrimination system using deep learning
CN112347994B (en) * 2020-11-30 2022-04-22 四川长虹电器股份有限公司 Invoice image target detection and angle detection method based on deep learning

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060041506A1 (en) 2004-08-18 2006-02-23 Mason James G Validating negotiable documents using public document validation profiles
KR101388551B1 (en) 2012-12-28 2014-04-24 동국대학교 산학협력단 Method for determinating fitness and unfitness of banknote

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101164566B1 (en) * 2011-07-04 2012-07-13 기산전자 주식회사 Bill counting method for discriminating multi-currency automatically
KR101740592B1 (en) * 2015-03-03 2017-05-29 한세대학교 산학협력단 Method for recoginizing universal bill

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060041506A1 (en) 2004-08-18 2006-02-23 Mason James G Validating negotiable documents using public document validation profiles
KR101388551B1 (en) 2012-12-28 2014-04-24 동국대학교 산학협력단 Method for determinating fitness and unfitness of banknote

Also Published As

Publication number Publication date
KR20190007290A (en) 2019-01-22

Similar Documents

Publication Publication Date Title
EP2602771A1 (en) Valuable file identification method and identification system, device thereof
CN110998598A (en) Detection of manipulated images
Tessfaw et al. Ethiopian banknote recognition and fake detection using support vector machine
CN106408037A (en) Image recognition method and apparatus
Li et al. DeepHSV: User-independent offline signature verification using two-channel CNN
KR101965751B1 (en) Device and method for multi-national banknote classification based on convolutional neural network
Kruthi et al. Offline signature verification using support vector machine
Sharan et al. Detection of counterfeit Indian currency note using image processing
US20230147685A1 (en) Generalized anomaly detection
JP2010067252A (en) Object region extraction device and object region extraction program
Zarin et al. A hybrid fake banknote detection model using OCR, face recognition and hough features
CN108460775A (en) A kind of forge or true or paper money recognition methods and device
KR101903437B1 (en) Device and method for classifying open and close eyes based on deep residual learning
KR101988339B1 (en) Device and method for banknote recognition based on genetic algorithm
US20230069960A1 (en) Generalized anomaly detection
KR102394894B1 (en) Banknote and coin detection device and method based on deep learning
Pujiputra et al. Ultraviolet rupiah currency image recognition using Gabor wavelet
CN115205882A (en) Intelligent identification and processing method for expense voucher in medical industry
Rajalingam Text Segmentation and Recognition for Enhanced Image Spam Detection: An Integrated Approach
Abraham Digital image forgery detection approaches: A review and analysis
Jadhav et al. GM,“Forged Multinational Currency Identification and Detection System using Deep Learning Algorithm,”
KR102095511B1 (en) Device and method for determining banknote fitness based on deep learning
Rahman et al. Writer-independent Offline Handwritten Signature Verification using Novel Feature Extraction Techniques
Una et al. Classification technique for face-spoof detection in artificial neural networks using concepts of machine learning
Al-Frajat Selection of Robust Features for Coin Recognition and Counterfeit Coin Detection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right