KR102371446B1 - Method and apparatus for recognizing the delivery address printed on mailings - Google Patents
Method and apparatus for recognizing the delivery address printed on mailings Download PDFInfo
- Publication number
- KR102371446B1 KR102371446B1 KR1020200057685A KR20200057685A KR102371446B1 KR 102371446 B1 KR102371446 B1 KR 102371446B1 KR 1020200057685 A KR1020200057685 A KR 1020200057685A KR 20200057685 A KR20200057685 A KR 20200057685A KR 102371446 B1 KR102371446 B1 KR 102371446B1
- Authority
- KR
- South Korea
- Prior art keywords
- delivery address
- area
- address
- barcode
- angle
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013135 deep learning Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 238000010200 validation analysis Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000001010 compromised effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/146—Methods for optical code recognition the method including quality enhancement steps
-
- G06Q50/32—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/60—Business processes related to postal services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Character Discrimination (AREA)
- Sorting Of Articles (AREA)
Abstract
우편물에 인쇄된 배송지 주소를 인식하는 방법 및 장치가 개시된다. 본 발명의 일실시예에 따른 배송지 주소 인식 방법은, 상기 우편물에 인쇄된 송장이 촬영된 영상을 획득하는 단계, 상기 촬영된 영상으로부터 배송지 주소 영역 및 바코드 영역을 검출하는 단계, 상기 바코드 영역의 기울어진 각도를 이용하여 상기 촬영된 영상의 기울기를 수평으로 교정하는 단계, 상기 기울기가 교정된 영상으로부터 배송지 주소 영역 및 바코드 영역을 재검출하는 단계 및 상기 재검출된 배송지 주소 영역에 대하여 문자인식을 수행하여 상기 배송지 주소를 인식하는 단계를 포함한다.A method and apparatus for recognizing a delivery address printed on a postal item are disclosed. The method for recognizing a delivery address according to an embodiment of the present invention includes the steps of: acquiring an image in which an invoice printed on the mail is photographed; detecting a delivery address area and a barcode area from the photographed image; Correcting the tilt of the photographed image horizontally using a true angle, re-detecting a delivery address area and a barcode area from the tilt-corrected image, and performing character recognition on the re-detected delivery address area and recognizing the delivery address.
Description
본 발명은 문자 인식 기술에 관한 것으로, 특히 우편물에서 배송지 주소를 촬영하여 자동으로 인식하기 위한 기술에 관한 것이다.The present invention relates to a character recognition technology, and more particularly, to a technology for automatically recognizing a delivery address by photographing the mail.
온라인 쇼핑의 대중화 및 급격한 수요 증가로 인해 우편물 발송량이 기하급수적으로 증가하고 있다. 주문자에 의해 잘못 쓰여진 배송지 주소, 인쇄과정에서 요청된 주소와 다른 주소지 출력과 같은 오류로 인해 배송과정에서 반송이 될 경우, 시간 및 비용이 낭비된다. 물류센터로 우편물이 이송되기 전에 배송 주소지 오류를 검출할 경우, 이런 불필요한 비용 절감이 가능하다. 다른 측면으로, 일반적으로 다량으로 우편물을 발송하는 업체들은 운송장을 출력하는 운송장출력기를 이용하여 편리하게 우편물을 발송하고 있다. 한편, 물류센터에서는 물류업체에 접수된 우편물의 운송장에 포함된 바코드를 판독하여 행선지 별로 분류함으로써, 우편물이 자동으로 분류된다. 이와 같이 물류센터에서는 우편물 구분 시스템이 구축되어 있지만, 운송장출력기의 고장으로 바코드가 잘못 인쇄되어 인식이 되지 않는 경우, 우편물이 걸러지게 된다. 이 때, 걸러진 우편물은 수작업장으로 옮겨져 수작업으로 처리되어 시간 및 인력을 소모하게 된다. 예를 들어, 물류센터(우편물집중국)에서 일일 평균처리량이 20만건이라고 가정하고 약 2% 정도가 바코드 불량으로 인해 걸러지게 된다고 가정한다면, 약 4000건으로 한 명이 이를 수작업으로 지역을 구분하는데 걸리는 시간은 2시간 내지 3시간 정도가 소요된다. 즉, 바코드가 인식되지 않는 우편물은 다수의 인력이 동원되어 수작업으로 우편물을 구분해야 하는 문제점이 있다.Due to the popularity of online shopping and the rapid increase in demand, the amount of mail sent is increasing exponentially. Time and money will be wasted if the product is returned during the delivery process due to errors such as an incorrect delivery address written by the orderer or an address different from the one requested during the printing process. If an error in the delivery address is detected before the mail is delivered to the distribution center, such unnecessary cost savings are possible. On the other hand, in general, companies that send mail in large quantities conveniently send mail by using a waybill printer that prints a waybill. On the other hand, the distribution center reads the barcode included in the waybill of the mail received by the distribution company and classifies it by destination, so that the mail is automatically classified. In this way, although a mail sorting system is established in the distribution center, if the barcode is incorrectly printed and not recognized due to a failure of the waybill printer, the mail is filtered. At this time, the filtered mail is moved to a manual workshop and processed manually, consuming time and manpower. For example, if it is assumed that the average daily throughput of a distribution center (postal box office) is 200,000, and that about 2% of the cases are filtered out due to bad barcodes, the time it takes for one person to manually classify these areas is about 4,000. It takes about 2 to 3 hours. That is, postal mail whose barcode is not recognized has a problem in that a large number of manpower is mobilized to manually classify the mail.
싱기와 같은 문제점을 해결하기 위한 일 예로, 한국등록특허 제10-1615306호 (등록일: 2016년 4월 19일) "운송장의 문자를 인식하여 배송지를 검출하는 운송장 문자인식시스템"에는 운송장에 기재된 문자를 인식하여 배송지를 검출하는 기술이 공개된 바 있다. 하지만, 이러한 기술은 우편물에 송장이 수평으로 부착되지 않은 경우에는 문자의 인식률이 저하된다는 한계가 있다.As an example to solve the problem such as singgi, in Korea Patent No. 10-1615306 (registration date: April 19, 2016) "a waybill character recognition system that detects the delivery address by recognizing the characters of the waybill", the characters written on the waybill A technology for detecting a delivery destination by recognizing However, this technique has a limitation in that the recognition rate of characters is lowered when the invoice is not horizontally attached to the mail.
본 발명의 목적은 자동화된 배송지 유효성 검사를 통해 우편물이 반송되는 경우를 줄임으로써 이에 따른 비용을 절감함에 있다.It is an object of the present invention to reduce costs by reducing the number of cases in which mail is returned through automated delivery address validation.
본 발명의 다른 목적은 우편물에 운송장이 수평으로 부착되지 않은 경우에도 운송장에 기재된 문자를 정확하게 인식하여 배송지를 검출하기 위함에 있다.Another object of the present invention is to detect a delivery address by accurately recognizing characters written on a waybill even when the waybill is not horizontally attached to the postal mail.
본 발명의 일 양태에 따르면, 우편물에 인쇄된 배송지 주소를 인식하는 방법이 제공된다. 상기 배송지 주소 인식 방법은 우편물로부터 송장을 포함하는 영역이 촬영된 영상을 획득하는 단계, 상기 촬영된 영상으로부터 배송지 주소 영역 및 바코드 영역을 검출하는 단계, 상기 바코드 영역의 기울어진 각도를 이용하여 상기 촬영된 영상의 기울기를 수평으로 교정하는 단계, 상기 기울기가 교정된 영상으로부터 배송지 주소 영역 및 바코드 영역을 재검출하는 단계, 및 상기 재검출된 배송지 주소 영역에 대하여 문자인식을 수행하여 상기 배송지 주소를 인식하는 단계를 포함하여 구현된다.According to one aspect of the present invention, there is provided a method for recognizing a delivery address printed on a postal matter. The method of recognizing the delivery address includes: acquiring an image in which an area including an invoice is photographed from the mail; detecting a delivery address area and a barcode area from the photographed image; and the photographing using an inclined angle of the barcode area Horizontally correcting the tilt of the image, re-detecting the delivery address area and barcode area from the tilt-corrected image, and recognizing the delivery address by performing character recognition on the re-detected delivery address area It is implemented including the steps of
본 발명의 다른 양태에 따르면, 상기 배송지 주소 영역 및 바코드 영역을 검출하는 단계는, 딥러닝 기반 객체 검출 및 분할 기술을 이용하여 상기 배송지 주소 영역 및 바코드 영역을 검출하여 구현된다.According to another aspect of the present invention, the step of detecting the delivery address area and the barcode area is implemented by detecting the delivery address area and the barcode area using a deep learning-based object detection and segmentation technology.
본 발명의 또 다른 양태에 따르면, 상기 촬영된 영상의 각도를 교정하는 단계는, 상기 검출된 배송지 주소 영역 및 바코드 영역으로부터 바코드 영역을 분리하여 추출하는 단계, 상기 추출된 바코드 영역으로부터 촬영된 영상의 각도를 계산하는 단계, 및 상기 계산된 각도를 이용하여 촬영된 영상의 기울기를 수평으로 교정하는 단계를 포함하여 구현된다.According to another aspect of the present invention, the step of correcting the angle of the photographed image includes the steps of separating and extracting a barcode area from the detected delivery address area and the barcode area; It is implemented including calculating the angle, and horizontally correcting the inclination of the photographed image using the calculated angle.
본 발명의 또 다른 양태에 따르면, 상기 문자인식을 수행하여 배송지 주소를 인식하는 단계는, 딥러닝 기반 문자인식 엔진을 이용하여 문자인식을 수행하여 구현된다.According to another aspect of the present invention, the step of recognizing the delivery address by performing the character recognition is implemented by performing character recognition using a deep learning-based character recognition engine.
본 발명의 또 다른 양태에 따르면, 상기 배송지 주소 인식 방법은, 공개된 주소 API를 이용하여 상기 인식된 배송지 주소의 유효성을 검증하는 단계를 더 포함하여 구현된다.According to another aspect of the present invention, the method for recognizing a delivery address is implemented by further comprising verifying the validity of the recognized delivery address using a public address API.
본 발명의 또 다른 양태에 따르면, 상기 배송지 주소의 유효성을 검증하는 단계는, 공개된 주소 API를 이용하여 상기 인식된 배송지 주소에 대한 검색을 수행하여 상기 인식된 배송지 주소가 검색되지 않는 경우, 상기 인식된 배송지 주소로부터 단어를 하나씩 제거하여 배송지 주소에 대한 검색을 수행함으로써 상기 배송지 주소의 유효성을 검증하여 구현된다.According to another aspect of the present invention, in the step of verifying the validity of the delivery address, when the recognized delivery address is not searched by performing a search for the recognized delivery address using a public address API, the It is implemented by verifying the validity of the delivery address by removing words one by one from the recognized delivery address and performing a search for the delivery address.
본 발명의 또 다른 양태에 따르면, 우편물에 인쇄된 배송지 주소를 인식하는 장치가 제공된다. 상기 배송지 주소 인식 장치는 우편물로부터 송장을 포함하는 영역이 촬영된 영상을 획득하는 송수신부, 상기 촬영된 영상으로부터 배송지 주소 영역 및 바코드 영역을 검출하고, 상기 바코드 영역의 기울어진 각도를 이용하여 상기 촬영된 영상의 기울기를 수평으로 교정하고, 상기 기울기가 교정된 영상으로부터 배송지 주소 영역 및 바코드 영역을 재검출하고, 상기 재검출된 배송지 주소 영역에 대하여 문자인식을 수행하여 상기 배송지 주소를 인식하는 프로세서, 및 상기 촬영된 영상, 상기 검출된 배송지 주소 영역 및 바코드 영역, 상기기울기가 교정된 영상, 상기 재검출된 배송지 주소 영역 및 바코드 영역, 상기 문자인식된 배송지 주소 중 적어도 하나를 저장하는 메모리를 포함하여 구현된다.According to another aspect of the present invention, there is provided an apparatus for recognizing a delivery address printed on a postal matter. The delivery address recognizing device includes a transceiver for acquiring an image in which an area including an invoice is photographed from the mail, a delivery address area and a barcode area from the photographed image, and the photographing using an inclined angle of the barcode area A processor for recognizing the delivery address by horizontally correcting the tilt of the image, re-detecting the delivery address area and barcode area from the tilt-corrected image, and performing character recognition on the re-detected delivery address area; and a memory for storing at least one of the photographed image, the detected delivery address area and barcode area, the tilt-corrected image, the re-detected delivery address area and barcode area, and the character-recognized delivery address is implemented
본 발명의 또 다른 양태에 따르면, 상기 프로세서는, 상기 배송지 주소 영역 및 바코드 영역을 검출할 때, 딥러닝 기반 객체 검출 및 분할 기술을 이용하여 상기 배송지 주소 영역 및 바코드 영역을 검출하여 구현된다.According to another aspect of the present invention, the processor, when detecting the delivery address area and the barcode area, is implemented by detecting the delivery address area and the barcode area using a deep learning-based object detection and segmentation technology.
본 발명의 또 다른 양태에 따르면, 상기 프로세서는, 상기 촬영된 영상의 각도를 교정할 때, 상기 검출된 배송지 주소 영역 및 바코드 영역으로부터 바코드 영역을 분리하여 추출하고, 상기 추출된 바코드 영역으로부터 촬영된 영상의 각도를 계산하고, 상기 계산된 각도를 이용하여 촬영된 영상의 기울기를 수평으로 교정하여 구현된다.According to another aspect of the present invention, the processor, when correcting the angle of the photographed image, separates and extracts the barcode area from the detected delivery address area and the barcode area, and extracts the barcode area from the extracted barcode area. It is implemented by calculating the angle of the image and horizontally correcting the inclination of the photographed image using the calculated angle.
본 발명의 또 다른 양태에 따르면, 상기 프로세서는, 상기 문자인식을 수행하여 배송지 주소를 인식할 때, 딥러닝 기반 문자인식 엔진을 이용하여 문자인식을 수행하여 구현된다.According to another aspect of the present invention, the processor is implemented by performing character recognition using a deep learning-based character recognition engine when recognizing a delivery address by performing the character recognition.
본 발명의 또 다른 양태에 따르면, 상기 프로세서는, 공개된 주소 API를 이용하여 상기 인식된 배송지 주소의 유효성을 검증하여 구현된다.According to another aspect of the present invention, the processor is implemented by verifying the validity of the recognized delivery address using a public address API.
본 발명의 또 다른 양태에 따르면, 상기 프로세서는, 상기 배송지 주소의 유효성을 검증할 때, 공개된 주소 API를 이용하여 상기 인식된 배송지 주소에 대한 검색을 수행하여 상기 인식된 배송지 주소가 검색되지 않는 경우, 상기 인식된 배송지 주소로부터 단어를 하나씩 제거하여 배송지 주소에 대한 검색을 수행함으로써 상기 배송지 주소의 유효성을 검증하여 구현된다.According to another aspect of the present invention, when verifying the validity of the delivery address, the processor performs a search for the recognized delivery address using a public address API so that the recognized delivery address is not searched. In this case, it is implemented by verifying the validity of the delivery address by removing words one by one from the recognized delivery address and performing a search for the delivery address.
본 발명에 따르면, 자동화된 배송지 유효성 검사를 통해 우편물 반송되는 경우를 줄임으로써 이에 따른 비용을 절감할 수 있다.According to the present invention, it is possible to reduce the cost associated with reducing the number of cases in which mail is returned through the automated delivery address validation.
또한, 우편물에 운송장이 수평으로 부착되지 않은 경우에도 운송장에 기재된 문자를 정확하게 인식하여 배송지를 검출할 수 있다.In addition, even when the waybill is not horizontally attached to the mail, the delivery address can be detected by accurately recognizing the characters written on the waybill.
도 1은 본 발명의 일실시예에 따른 배송지 주소 인식 방법에 의해 검출 가능한 운송장의 바코드 영역 및 배송지 주소 영역의 일예를 나타낸다.
도 2는 본 발명의 일실시예에 따른 배송지 주소 인식 방법의 동작 순서를 나타낸다.
도 3은 본 발명의 다른 일실시예에 따른 배송지 주소 인식 방법의 동작 순서를 나타내는 흐름도이다.
도 4는 각도에 따른 객체검출의 정확도 실험 결과를 비교하여 나타낸다.
도 5는 본 발명의 일실시예에 따른 배송지 주소 인식 장치를 나타낸 블록도이다.1 shows an example of a barcode area and a delivery address area of a waybill detectable by the delivery address recognition method according to an embodiment of the present invention.
2 shows an operation sequence of a method for recognizing a delivery address according to an embodiment of the present invention.
3 is a flowchart illustrating an operation sequence of a method for recognizing a delivery address according to another embodiment of the present invention.
4 shows comparison results of an object detection accuracy test according to angles.
5 is a block diagram illustrating an apparatus for recognizing a delivery address according to an embodiment of the present invention.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will be described in detail with reference to the accompanying drawings as follows. Here, repeated descriptions, well-known functions that may unnecessarily obscure the gist of the present invention, and detailed descriptions of configurations will be omitted. The embodiments of the present invention are provided in order to more completely explain the present invention to those of ordinary skill in the art. Accordingly, the shapes and sizes of elements in the drawings may be exaggerated for clearer description.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
일반적으로, 물류배송에서 송장이 우편물의 포장지에 부착되어 사용된다. 물류배송에서 오류를 최소화하기 위하여 송장 정보를 검증하는 것은 매우 중요하다. 본 발명은 기계학습을 이용하여 다양한 종류의 송장을 인식하고 검증하는 방법에 관한 것이다. 본 발명을 적용함에 있어서, 컨베이어 벨트를 지나가는 포장물에 부착된 송장의 촬영물이 이용된다. 이 때, 촬영된 송장의 각도는 일정하지 않을 수 있으며, 이는 자동화된 송장정보 인식의 정확도를 저해한다. 본 발명은 이러한 문제를 해결하고, 본 발명을 통하여 효율적이고, 높은 정확성으로 인식된 배송지 정보의 유효성 검사를 통하여 주소를 잘못 기재(인쇄, 훼손)하여 물품이 반송되는 빈도를 줄임으로써 시간적 손실, 비용적 손실 등의 불필요한 손실을 줄이고, 물류회사에 대한 신뢰도가 저해되는 것을 방지할 수 있다. 이러한 손실을 막기 위해서는 물류 배송 프로세스 이전에 효율적이고 정확한 배송지의 유효성 검사가 이루어져야 한다. 본 발명에서는 송장이 출력된 이후의 검사방법에 관하여 다룬다. 송장을 촬영한 영상은 컴퓨터 비전 및 딥러닝 기술을 이용하여 검사할 수 있다. 종래의 광학적 문자 인식(Optical Character Recognition) 알고리즘만으로는 컨베이어 벨트에 놓인 각도의 오차 등에 민감하여 문자추출에 실패하거나, 일정한 각도 촬영이 가능한 보조기술을 추가하여야 하는 한계가 있다. 반면, 본 발명에 따르면, 각도의 오차를 보정하면서 문자추출을 자동으로 할 수 있어서, 문자인식 성공률을 높힐 수 있다. 본 발명에서는 최근의 송장에 바코드가 같이 출력되는 점을 고려하여, 직사각형 형태의 바코드를 통해 각도를 보정한 후 주소를 인식하고, 공개된 지도 API를 통해 주소의 유효성을 검증하는 배송지 주소 인식 방법에 관하여 설명한다.In general, in logistics delivery, an invoice is attached to the wrapping paper of the mail and used. It is very important to verify invoice information in order to minimize errors in logistics delivery. The present invention relates to a method for recognizing and verifying various types of invoices using machine learning. In applying the present invention, a photograph of an invoice attached to a package passing through a conveyor belt is used. In this case, the angle of the photographed invoice may not be constant, which impairs the accuracy of automated invoice information recognition. The present invention solves this problem and reduces the frequency of items being returned due to incorrect address writing (printing, damage) through the validation of delivery address information recognized efficiently and with high accuracy through the present invention, resulting in time loss and cost It is possible to reduce unnecessary losses such as personal losses and prevent the credibility of the logistics company from being compromised. In order to prevent such loss, efficient and accurate delivery address validation must be performed before the logistics delivery process. The present invention deals with the inspection method after the invoice is printed. Images of invoices can be inspected using computer vision and deep learning technologies. Conventional optical character recognition (Optical Character Recognition) algorithm alone has a limitation in that it is sensitive to errors in angles placed on the conveyor belt, so character extraction fails, or an auxiliary technology capable of capturing a certain angle must be added. On the other hand, according to the present invention, it is possible to automatically extract the characters while correcting the error of the angle, it is possible to increase the success rate of character recognition. In the present invention, in consideration of the fact that barcodes are also printed on recent invoices, the address is recognized after correcting the angle through the rectangular barcode, and the validity of the address is verified through the open map API. explain about it.
도 1은 본 발명의 일실시예에 따른 배송지 주소 인식 방법에 의해 검출 가능한 운송장의 바코드 영역 및 배송지 주소 영역의 일예를 나타낸다.1 shows an example of a barcode area and a delivery address area of a waybill detectable by a delivery address recognition method according to an embodiment of the present invention.
도 1a, 1b, 1c는 각각 본 발명의 일실시예에 따른 배송지 주소 인식 방법에 의해 검출 가능한 서로 다른 운송장의 일예를 나타낸다. 도 1a의 운송장에서는 1개의 배송지 주소 영역(110) 및 3개의 바코드 영역(120, 130, 140)이 검출될 수 있으며, 도 1b의 운송장에서는 1개의 배송지 주소 영역(150) 및 2개의 바코드 영역(160, 170)이 검출될 수 있다. 또한, 도 1c의 운송장에서는 1개의 배송지 주소 영역(180) 및 1개의 바코드 영역(190)이 검출될 수 있다.1A, 1B, and 1C each show an example of a different waybill that can be detected by the method for recognizing a delivery address according to an embodiment of the present invention. In the waybill of FIG. 1A, one
도 2는 본 발명의 일실시예에 따른 배송지 주소 인식 방법의 동작 순서를 나타낸다.2 shows an operation sequence of a method for recognizing a delivery address according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일실시예에 따른 배송지 주소 인식 방법은 송장을 포함하는 영역이 촬영된 영상을 입력받는 단계(S210)를 포함한다. 송장을 포함하는 영역이 촬영된 영상은 하나의 배송지 주소 영역과 적어도 하나 이상의 바코드 영역을 포함할 수 있다. Referring to FIG. 2 , the method for recognizing a delivery address according to an embodiment of the present invention includes receiving an image of a region including an invoice ( S210 ). The image in which the area including the invoice is captured may include one delivery address area and at least one barcode area.
본 발명의 일실시예에 따른 배송지 주소 인식 방법은 배송지 주소 영역 및 바코드 영역을 검출하는 단계(S220)를 포함한다. 이 때, 배송지 주소 및 바코드 영역의 검출에는 객체 검출(Object Detection) 알고리즘이 적용될 수 있으며, 딥러닝 기반 객체 검출 및 분할(Segmentation)이 이용될 수 있다. 다만, 이 때 사용되는 객체 검출 및 분할 알고리즘은 딥러닝 기반 알고리즘에 한정되지 않는다.The method for recognizing a delivery address according to an embodiment of the present invention includes detecting a delivery address area and a barcode area (S220). In this case, an object detection algorithm may be applied to the detection of the delivery address and barcode area, and deep learning-based object detection and segmentation may be used. However, the object detection and segmentation algorithm used at this time is not limited to the deep learning-based algorithm.
또한, 본 발명의 일실시예에 따른 배송지 주소 인식 방법은 검출된 배송지 주소 및 바코드 영역의 각도를 보정하는 단계(S230)를 포함한다. 배송지 주소 및 바코드 영역이 정확히 검출 및 분할되었다고 하더라도 배송지 주소가 수평하게 놓여 있지 않으면 문자인식의 정확도가 떨어진다. 시스템에서 송장이 카메라와 수직으로 놓여 있지 않은 경우에는 배송지 주소가 수평하지 않아 문자인식의 정확도가 떨어지는 일이 빈번히 발생될 수 있다. 송장에 주소 출력 시, 배송지 주소와 바코드는 같은 각도로 인쇄되는 점과, 바코드는 직육면체인 점에서 착안하여, 바코드 영역만을 추출(crop)하여 촬영된 영상의 각도를 계산할 수 있다. 이 때, 각도 계산에는 허프 변환(Hough tramsform)과 같은 라인 검출 알고리즘이 이용될 수 있으나, 이에 한정되는 것은 아니다.In addition, the delivery address recognition method according to an embodiment of the present invention includes correcting the detected delivery address and the angle of the barcode area (S230). Even if the delivery address and barcode area are correctly detected and divided, if the delivery address is not placed horizontally, the accuracy of character recognition is lowered. If the invoice is not placed vertically with the camera in the system, the accuracy of character recognition may be lowered frequently because the delivery address is not horizontal. When the address is printed on the invoice, the angle of the captured image can be calculated by cropping only the barcode area, paying attention to the point that the delivery address and the barcode are printed at the same angle and that the barcode is a rectangular parallelepiped. In this case, a line detection algorithm such as a Hough tramsform may be used for calculating the angle, but is not limited thereto.
또한, 본 발명의 일실시예에 따른 배송지 주소 인식 방법은 각도가 교정된 영상에서 주소 영역 및 바코드 영역을 검출하는 단계(S240)를 포함한다. 이 때, 단계 S230에서의 각도 보정으로 인하여, 단계 S220에서 검출되지 않은 영역까지도 검출될 수 있다. 또한, 문자 인식의 정확도가 높아져 주소 영역의 주소지 인식의 정확도가 높아질 수 있다.In addition, the delivery address recognition method according to an embodiment of the present invention includes the step of detecting the address area and the barcode area in the image with the corrected angle (S240). In this case, due to the angle correction in step S230, even an area not detected in step S220 may be detected. In addition, since the accuracy of character recognition is increased, the accuracy of address recognition of the address area may be increased.
또한, 본 발명의 일실시예에 따른 배송지 주소 인식 방법은 문자인식 엔진을 이용해 주소지를 인식하는 단계(S250)를 포함한다. 이 때, 문자인식 엔진에는 딥러닝 기반 문자인식 엔진이 이용될 수 있으나, 이에 한정되는 것은 아니다.In addition, the delivery address recognition method according to an embodiment of the present invention includes the step of recognizing the address using a character recognition engine (S250). In this case, a deep learning-based character recognition engine may be used as the character recognition engine, but is not limited thereto.
또한, 본 발명의 일실시예에 따른 배송지 주소 인식 방법은 공개된 지도 API를 이용하여 주소의 유효성을 검증하는 단계(S260)를 포함한다. 이 때, 공개된 지도 API에는 구글맵이 이용될 수 있으나, 이에 한정되는 것은 아니다. 이 때, 인식된 배송지 주소가 유효하지 않거나 검색되지 않으면, '유효하지 않은 주소'로 판단될 수 있다. 유효성을 검증할 때, 이전 단계에서 배송지또는 기타 정보가 같이 인식되어 주소의 유효성 검증에 오류가 발생하는 것을 방지하기 위하여, 인식된 문자열에서 단어를 순차적으로 제거하면서 유효성을 검증할 수 있다.In addition, the method for recognizing a delivery address according to an embodiment of the present invention includes the step of verifying the validity of the address by using the published map API (S260). In this case, Google Maps may be used as the open map API, but is not limited thereto. At this time, if the recognized delivery address is invalid or is not searched, it may be determined as an 'invalid address'. When verifying the validity, in order to prevent an error from occurring in the validation of the address because the delivery address or other information is recognized together in the previous step, the validity can be verified while sequentially removing words from the recognized string.
도 3은 본 발명의 다른 일실시예에 따른 배송지 주소 인식 방법의 동작 순서를 나타내는 흐름도이다.3 is a flowchart illustrating an operation sequence of a method for recognizing a delivery address according to another embodiment of the present invention.
도 3을 참조하면, 송장을 포함하는 영역이 촬영된 영상을 획득한다(S310). 이 때, 상기 송장을 포함하는 영역이 촬영된 영상은 하나의 배송지 주소 영역과 적어도 하나 이상의 바코드 영역을 포함할 수 있다. Referring to FIG. 3 , an image in which an area including an invoice is captured is acquired ( S310 ). In this case, the image in which the area including the invoice is captured may include one delivery address area and at least one barcode area.
다음으로, 촬영된 영상으로부터 배송지 주소 영역 및 바코드 영역을 검출한다(S320). 이 때, 촬영된 영상으로부터 배송지 주소 영역 및 바코드 영역을 검출하고, 이들의 영역을 서로 분할할 수 있다. 이 때, 배송지 주소 영역 및 바코드 영역의 검출에는 객체 검출(Object Detection) 알고리즘이 적용될 수 있다. 이 때, 객체의 검출 및 분할에 딥러닝 기반 객체 검출 및 분할(segmentation) 알고리즘이 적용될 수 있으나, 이에 한정되는 것은 아니다.Next, a delivery address area and a barcode area are detected from the captured image (S320). In this case, the delivery address area and the barcode area may be detected from the captured image, and these areas may be divided. In this case, an object detection algorithm may be applied to the detection of the delivery address area and the barcode area. In this case, a deep learning-based object detection and segmentation algorithm may be applied to the detection and segmentation of the object, but is not limited thereto.
다음으로, 바코드 영역의 기울어진 각도를 이용하여 촬영된 영상의 기울기를 교정한다(S330). 도 1a 내지 도 1c에 도시된 바코드들(120, 130, 140, 160, 170, 190)을 참조하면, 바코드들의 외곽선을 연결하면 직사각형의 형태를 가지며, 일반적으로 운송장의 배송지 주소 영역의 글자들과 바코드 영역의 바코드는 수평을 이루어 인쇄되기 때문에, 운송장의 바코드 영역의 직사각형 기울기는 배송지 주소 영역의 글자들의 기울기와 동일한 각도로 기울어져 있다. 예를 들어, 운송장의 바코드 영역의 직사각형이 15도 각도로 기울어져 있다면, 배송지 주소 영역의 글자들 또한 15도 각도로 기울어져 있다. 이 때, 운송장의 바코드 영역의 기울기를 배송지 주소 영역과 함께 반대편으로 15도 각도만큼 회전시킴으로써 배송지 주소 영역의 글자를 수평으로 보정할 수 있다.Next, the inclination of the captured image is corrected using the inclination angle of the barcode area (S330). Referring to the
다음으로, 기울기가 교정된 영상으로부터 배송지 주소 영역 및 바코드 영역을 재검출한다(S340). 이 때, 단계 S330에서의 각도 보정으로 인하여, 단계 S320에서 검출되지 않은 영역이 새로 검출될 수도 있다.Next, the delivery address area and the barcode area are re-detected from the tilt-corrected image (S340). In this case, due to the angle correction in step S330, a region not detected in step S320 may be newly detected.
다음으로, 재검출된 배송지 주소 영역에 대하여 문자인식을 수행하여 배송지 주소를 인식한다(S350). 이 때, 문자인식은 딥러닝 기반 문자인식 엔진을 이용하여 문자인식을 수행할 수 있으며, 이에 한정되는 것은 아니다.Next, character recognition is performed on the re-detected delivery address area to recognize the delivery address (S350). In this case, character recognition may be performed using a deep learning-based character recognition engine, but is not limited thereto.
다음으로, 공개된 주소 API를 이용하여 배송지 주소의 유효성을 검증한다(S360). 이 때, 공개된 주소 API에는 구글맵이 이용될 수 있으나, 이에 한정되는 것은 아니다. 이 때, 인식된 배송지 주소가 유효하지 않거나 검색되지 않으면, '유효하지 않은 주소'로 판단될 수 있다. 유효성을 검증할 때, 이전 단계에서 배송지또는 기타 정보가 같이 인식되어 주소의 유효성 검증에 오류가 발생하는 것을 방지하기 위하여, 인식된 문자열에서 단어를 순차적으로 제거하면서 유효성을 검증할 수 있다.Next, the validity of the delivery address is verified using the public address API (S360). In this case, Google Maps may be used as the public address API, but is not limited thereto. At this time, if the recognized delivery address is invalid or is not searched, it may be determined as an 'invalid address'. When verifying the validity, in order to prevent an error from occurring in the validation of the address because the delivery address or other information is recognized together in the previous step, the validity can be verified while sequentially removing words from the recognized string.
실시예(송장 데이터의 문자 인식)Example (character recognition of invoice data)
본 명세서에서 제안된 주소 인식 방법을 이용하여, 수집된 25개의 상이한 송장 데이터를 이용하여 테스트를 수행하였다. 송장 데이터는 라틴 알파벳(Latin alphabet)으로 이루어진 송장과 한글로 이루어진 송장의 2개의 그룹의 송장으로 분류될 수 있다. 데이터셋은 송장영상, 바코드와 배송지 주소로 이루어진 위치 정보, 실제 배송지 주소 정보를 포함한다. 테스트에는 10-폴드 교차검증(10-Fold Cross Validation) 방법이 사용되었다. 또한, 각도교정 효과를 입증하기 위하여 각도를 10도 기울인 이미지, 각도를 20도 기울인 이미지를 이용하였다. 성능은 각도교정 전후의 영역분할과 문자인식 정확도를 기준으로 측정하였다. 영역분할 및 문자인식 정확도는 딥러닝 방법(YOLO)과 종래 기술 중 하나인 EAST 방법을 사용하여 비교하였다. Using the address recognition method proposed herein, a test was performed using 25 different invoice data collected. Invoice data may be classified into two groups of invoices: an invoice in the Latin alphabet and an invoice in Korean. The dataset includes an invoice image, location information consisting of barcode and delivery address, and actual delivery address information. A 10-fold cross validation method was used for testing. In addition, an image tilted by 10 degrees and an image tilted by 20 degrees were used to prove the effect of angle correction. Performance was measured based on area division before and after angle correction and character recognition accuracy. Region segmentation and character recognition accuracy were compared using the deep learning method (YOLO) and the EAST method, which is one of the prior art.
도 4는 각도에 따른 객체검출의 정확도 실험 결과를 비교하여 나타낸다.4 shows comparison results of an object detection accuracy test according to angles.
도 4에서 좌측 8개의 막대는 한글로 이루어진 송장과 라틴 알파벳으로 이루어진 송장을 구분없이 사용하여 측정한 문자 인식률을 나타내고, 중간 8개의 막대는 한글로 이루어진 송장만을 사용하여 측정한 문자 인식률을 나타내며, 우측 8개의 막대는 라틴 알파벳으로 이루어진 송장만을 사용하여 측정한 문자 인식률을 나타낸다. 8개의 막대는 차례대로, 수평의 송장의 문자를 YOLO 딥러닝을 사용하여 인식한 경우의 인식률, 10도 기울인 송장을 YOLO 딥러닝을 사용하여 인식한 경우의 인식률, 20도 기울인 송장을 YOLO 딥러닝을 사용하여 인식한 경우의 인식률, 수평의 송장의 문자를 EAST 기술을 사용한 경우의 인식률, 10도 기울인 송장을 EAST 기술을 사용한 경우의 인식률, 20도 기울인 송장을 EAST 기술을 사용한 경우의 인식률, 10도 기울인 송장의 각도를 보정하여 YOLO 딥러닝을 사용하여 인식한 경우의 인식률, 20도 기울인 송장의 각도를 보정하여 YOLO 딥러닝을 사용하여 인식한 경우의 인식률을 나타낸다.In Fig. 4, the left eight bars represent the character recognition rate measured using an invoice made of Hangul and the invoice made of the Latin alphabet without distinction, and the middle eight bars represent the character recognition rate measured using only the invoice made of Hangul, the right The eight bars represent the character recognition rate measured using only invoices made of the Latin alphabet. The eight bars are sequentially, the recognition rate when the characters of the horizontal invoice were recognized using YOLO deep learning, the recognition rate when the invoice tilted at 10 degrees was recognized using YOLO deep learning, and the invoice tilted at 20 degrees was recognized by YOLO deep learning. Recognition rate when using EAST technology for horizontal invoice characters, recognition rate when using EAST technology for invoices tilted at 10 degrees, recognition rate when using EAST technology for invoices tilted at 20 degrees, 10 The recognition rate when the angle of the invoice tilted by 20 degrees was corrected and recognized using YOLO deep learning, and the recognition rate when the angle of the invoice tilted by 20 degrees was corrected and recognized using YOLO deep learning.
도 4를 참조하면, YOLO-AC(각도교정 후 딥러닝 적용), YOLO(딥러닝), EAST(종래기술)의 3가지 방법은 주소지 정보가 수평이거나 10도 기울어진 경우에는 비슷한 성능을 보이지만, 20도 기울어진 경우에는 많은 차이를 보인다. YOLO-AC가 20도 기울어진 경우 가장 좋은 성능을 나타낸다. 또한, YOLO의 경우 각도교정을 하는 경우 정확도가 현저히 높아짐을 알 수 있다. EAST의 경우, 라틴 알파벳 송장의 주소인식이 각도교정이 없으면 90% 이하로 정확도가 낮아지지만, YOLO로 각도가 교정되는 경우 정확도가 95% 이상을 나타냄을 알 수 있다. 한글 송장의 경우, YOLO-AC가 다른 경우에 비해 12% 이상 높은 정확도를 보인다. 다만, 문자인식으로 이용된 Tesseract의 한계로 인하여 한글 송장의 경우 라틴 알파벳 송장에 비하여 문자 인식률이 낮은 정확도를 보인다.Referring to Figure 4, the three methods YOLO-AC (deep learning applied after angle correction), YOLO (deep learning), and EAST (prior art) show similar performance when the address information is horizontal or inclined by 10 degrees, If it is tilted 20 degrees, it shows a lot of difference. YOLO-AC shows the best performance when tilted by 20 degrees. Also, in the case of YOLO, it can be seen that the accuracy is significantly improved when the angle is corrected. In the case of EAST, it can be seen that the accuracy of address recognition of Latin alphabet invoices is lower than 90% without angle correction, but when the angle is corrected with YOLO, the accuracy is more than 95%. In the case of Korean invoices, YOLO-AC shows more than 12% higher accuracy than other cases. However, due to the limitations of Tesseract used for character recognition, in the case of a Korean invoice, the character recognition rate is lower than that of the Latin alphabet invoice.
도 5는 본 발명의 일실시예에 따른 배송지 주소 인식 장치를 나타낸 블록도이다.5 is a block diagram illustrating an apparatus for recognizing a delivery address according to an embodiment of the present invention.
도 5를 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다. 도 5에 도시된 바와 같이, 배송지 주소 인식 장치는 송수신부(510), 프로세서(530), 메모리(550)를 포함한다.Referring to FIG. 5 , an embodiment of the present invention may be implemented in a computer system such as a computer-readable recording medium. As shown in FIG. 5 , the apparatus for recognizing a delivery address includes a transceiver 510 , a processor 530 , and a memory 550 .
송수신부(510)는 프로세서(530)와 연결되어, 배송지 주소 인식 방법에 필요한 정보를 송신 및/또는 수신한다. 예를 들어, 송수신부(510)는 외부 장치 또는 외부 서버로부터 송장을 포함하는 영역이 촬영된 영상을 수신하고, 외부 장치 또는 외부 서버에 배송지 주소 정보를 전송한다.The transceiver 510 is connected to the processor 530 to transmit and/or receive information required for a method of recognizing a delivery address. For example, the transceiver 510 receives an image of a region including an invoice from an external device or an external server, and transmits delivery address information to the external device or external server.
프로세서(530)는 ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다. 프로세서(530)는 본 명세서에서 제안된 배송지 주소 인식 방법을 구현한다. 프로세서(530)는 구체적으로 본 명세서에서 게시된 실시예에서 설명된 배송지 주소 인식 방법의 모든 동작을 구현하며, 도 2 또는 도 3에 따른 배송지 주소 인식 방법의 모든 동작을 수행한다.The processor 530 may include an application-specific integrated circuit (ASIC), other chipsets, logic circuits, and/or data processing devices. The processor 530 implements the shipping address recognition method proposed in this specification. The processor 530 specifically implements all the operations of the delivery address recognition method described in the embodiment published herein, and performs all operations of the delivery address recognition method according to FIG. 2 or FIG. 3 .
예를 들어, 프로세서(530)는 송장을 촬영한 영상으로부터 배송지 주소 영역 및 바코드 영역을 검출하고, 상기 바코드 영역의 기울어진 각도를 이용하여 상기 촬영된 영상의 기울기를 수평으로 교정하고, 상기 기울기가 교정된 영상으로부터 배송지 주소 영역 및 바코드 영역을 재검출하고, 상기 재검출된 배송지 주소 영역에 대하여 문자인식을 수행하여 상기 배송지 주소를 인식한다.For example, the processor 530 detects the delivery address area and the barcode area from the image of the invoice, corrects the inclination of the photographed image horizontally using the inclination angle of the barcode area, and the inclination is The delivery address area and the barcode area are re-detected from the corrected image, and the re-detected delivery address area is subjected to character recognition to recognize the delivery address.
이 때, 프로세서(530)는 상기 배송지 주소 영역 및 바코드 영역을 검출할 때, 딥러닝 기반 객체 검출 기술을 이용하여 상기 배송지 주소 영역 및 바코드 영역을 검출할 수 있다.At this time, when detecting the delivery address area and the barcode area, the processor 530 may detect the delivery address area and the barcode area by using a deep learning-based object detection technology.
이 때, 프로세서(530)는 상기 촬영된 영상의 각도를 교정할 때, 상기 검출된 배송지 주소 영역 및 바코드 영역으로부터 바코드 영역을 분리하여 추출하고, 상기 추출된 바코드 영역으로부터 촬영된 영상의 각도를 계산하고, 상기 계산된 각도를 이용하여 촬영된 영상의 기울기를 수평으로 교정할 수 있다.At this time, the processor 530 separates and extracts the barcode area from the detected delivery address area and the barcode area when correcting the angle of the photographed image, and calculates the angle of the photographed image from the extracted barcode area. and horizontally correcting the inclination of the photographed image using the calculated angle.
이 때, 프로세서(530)는 상기 문자인식을 수행하여 배송지 주소를 인식할 때, 딥러닝 기반 문자인식 엔진을 이용하여 문자인식을 수행할 수 있다.In this case, the processor 530 may perform character recognition using a deep learning-based character recognition engine when recognizing a delivery address by performing the character recognition.
이 때, 프로세서(530)는 공개된 주소 API를 이용하여 상기 인식된 배송지 주소의 유효성을 검증할 수 있다.In this case, the processor 530 may verify the validity of the recognized delivery address using the public address API.
이 때, 프로세서(530)는 상기 배송지 주소의 유효성을 검증할 때, 상기 배송지 주소가 유효하지 않거나 상기 공개된 주소 API로부터 상기 인식된 배송지 주소가 검색되지 않는 경우, 상기 인식된 배송지 주소의 문자열로부터 단어를 하나씩 제거하여 배송지 주소에 대한 검색을 수행함으로써 상기 배송지 주소의 유효성을 검증할 수 있다.In this case, when the processor 530 verifies the validity of the delivery address, if the delivery address is not valid or the recognized delivery address is not retrieved from the public address API, from the recognized delivery address string By removing the words one by one and performing a search for the delivery address, the validity of the delivery address may be verified.
메모리(550)는 ROM(read-only memory), RAM(random access memory), 플래시 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다. 메모리(730)는 촬영된 영상, 검출된 배송지 주소 영역 및 바코드 영역, 기울기가 교정된 영상, 재검출된 배송지 주소 영역 및 바코드 영역, 문자인식된 배송지 주소 중 적어도 하나를 저장한다.Memory 550 may include read-only memory (ROM), random access memory (RAM), flash memory, memory cards, storage media, and/or other storage devices. The memory 730 stores at least one of a photographed image, a detected delivery address area and barcode area, a tilt-corrected image, a redetected delivery address area and barcode area, and a character-recognized delivery address.
이상에서와 같이 본 발명에 따른 우편물에 인쇄된 배송지 주소를 인식하는 방법 및 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, in the method and apparatus for recognizing the delivery address printed on the mail according to the present invention, the configuration and method of the embodiments described above are not limitedly applicable, but the embodiments may be subjected to various modifications. All or part of each embodiment may be selectively combined and configured.
Claims (12)
상기 우편물에 인쇄된 송장이 촬영된 영상을 획득하는 단계;
상기 촬영된 영상으로부터 배송지 주소 영역 및 바코드 영역을 검출하는 단계;
상기 바코드 영역의 기울어진 각도를 이용하여 상기 촬영된 영상의 기울기를 수평으로 교정함으로써 상기 주소 영역의 각도를 수평으로 보정하는 단계;
상기 기울기가 교정된 영상으로부터 배송지 주소 영역 및 바코드 영역을 재검출하는 단계;
상기 각도가 수평으로 보정되고 재검출된 배송지 주소 영역에 대하여 문자인식을 수행하여 상기 배송지 주소를 인식하는 단계; 및
공개된 주소 API를 이용하여 상기 인식된 배송지 주소의 유효성을 검증하는 단계
를 포함하되, 상기 배송지 주소의 유효성을 검증하는 단계는,
상기 배송지 주소가 유효하지 않거나 상기 공개된 주소 API로부터 상기 인식된 배송지 주소가 검색되지 않는 경우, 상기 인식된 배송지 주소의 문자열로부터 단어를 하나씩 제거하여 배송지 주소에 대한 검색을 수행함으로써 상기 배송지 주소의 유효성을 검증하는 것을 특징으로 하는 배송지 주소 인식 방법.In the method of recognizing the delivery address printed on the mail,
obtaining an image of the invoice printed on the mail;
detecting a delivery address area and a barcode area from the captured image;
correcting the angle of the address area horizontally by horizontally correcting the inclination of the photographed image using the inclination angle of the barcode area;
re-detecting a delivery address area and a barcode area from the tilt-corrected image;
recognizing the delivery address by performing character recognition on the re-detected delivery address area in which the angle is horizontally corrected; and
Verifying the validity of the recognized shipping address using the public address API
Including, but verifying the validity of the delivery address,
When the delivery address is invalid or the recognized delivery address is not retrieved from the public address API, the validity of the delivery address is performed by removing words one by one from the string of the recognized delivery address and performing a search for the delivery address. Shipping address recognition method, characterized in that for verifying.
상기 배송지 주소 영역 및 바코드 영역을 검출하는 단계는,
딥러닝 기반 객체 검출 기술을 이용하여 상기 배송지 주소 영역 및 바코드 영역을 검출하는 것을 특징으로 하는 배송지 주소 인식 방법.The method of claim 1,
The step of detecting the delivery address area and the barcode area,
A delivery address recognition method, characterized in that the delivery address area and the barcode area are detected using a deep learning-based object detection technology.
상기 촬영된 영상의 각도를 교정하는 단계는,
상기 검출된 배송지 주소 영역 및 바코드 영역으로부터 바코드 영역을 분리하여 추출하는 단계;
상기 추출된 바코드 영역으로부터 촬영된 영상의 각도를 계산하는 단계; 및
상기 계산된 각도를 이용하여 촬영된 영상의 기울기를 수평으로 교정하는 단계
를 포함하는 것을 특징으로 하는 배송지 주소 인식 방법.The method of claim 1,
The step of correcting the angle of the captured image,
separating and extracting a barcode area from the detected delivery address area and barcode area;
calculating the angle of the captured image from the extracted barcode area; and
Correcting the inclination of the photographed image horizontally using the calculated angle
Shipping address recognition method comprising a.
상기 문자인식을 수행하여 배송지 주소를 인식하는 단계는,
딥러닝 기반 문자인식 엔진을 이용하여 문자인식을 수행하는 것을 특징으로 하는 배송지 주소 인식 방법.The method of claim 1,
The step of recognizing the delivery address by performing the character recognition,
A delivery address recognition method, characterized in that the character recognition is performed using a deep learning-based character recognition engine.
상기 우편물에 인쇄된 송장이 촬영된 영상을 획득하는 송수신부;
상기 촬영된 영상으로부터 배송지 주소 영역 및 바코드 영역을 검출하고,
상기 바코드 영역의 기울어진 각도를 이용하여 상기 촬영된 영상의 기울기를 수평으로 교정함으로써 상기 주소 영역의 각도를 수평으로 보정하고,
상기 기울기가 교정된 영상으로부터 배송지 주소 영역 및 바코드 영역을 재검출하고,
상기 각도가 수평으로 보정되고 재검출된 배송지 주소 영역에 대하여 문자인식을 수행하여 상기 배송지 주소를 인식하고,
공개된 주소 API를 이용하여 상기 인식된 배송지 주소의 유효성을 검증하는 프로세서; 및
상기 촬영된 영상, 상기 검출된 배송지 주소 영역 및 바코드 영역, 상기기울기가 교정된 영상, 상기 재검출된 배송지 주소 영역 및 바코드 영역, 상기 문자인식된 배송지 주소 중 적어도 하나를 저장하는 메모리
를 포함하되,
상기 프로세서는, 상기 배송지 주소의 유효성을 검증할 때, 상기 배송지 주소가 유효하지 않거나 상기 공개된 주소 API로부터 상기 인식된 배송지 주소가 검색되지 않는 경우, 상기 인식된 배송지 주소의 문자열로부터 단어를 하나씩 제거하여 배송지 주소에 대한 검색을 수행함으로써 상기 배송지 주소의 유효성을 검증하는 것을 특징으로 하는 배송지 주소 인식 장치.A device for recognizing a delivery address printed on mail, comprising:
a transceiver for obtaining an image of the invoice printed on the mail;
Detecting the delivery address area and barcode area from the captured image,
Correcting the angle of the address area horizontally by horizontally correcting the inclination of the photographed image using the inclination angle of the barcode area,
Re-detecting the delivery address area and barcode area from the image with the tilt corrected,
The angle is corrected horizontally and character recognition is performed on the redetected delivery address area to recognize the delivery address,
a processor that verifies the validity of the recognized delivery address using the public address API; and
A memory for storing at least one of the photographed image, the detected delivery address area and barcode area, the tilt-corrected image, the re-detected delivery address area and barcode area, and the character-recognized delivery address
including,
When the processor validates the validity of the delivery address, if the delivery address is not valid or the recognized delivery address is not retrieved from the public address API, the processor removes words one by one from the string of the recognized delivery address to verify the validity of the delivery address by performing a search for the delivery address.
상기 배송지 주소 영역 및 바코드 영역을 검출할 때,
딥러닝 기반 객체 검출 기술을 이용하여 상기 배송지 주소 영역 및 바코드 영역을 검출하는 것을 특징으로 하는 배송지 주소 인식 장치.The method of claim 7, wherein the processor comprises:
When detecting the delivery address area and barcode area,
A delivery address recognition device, characterized in that the delivery address area and the barcode area are detected by using a deep learning-based object detection technology.
상기 촬영된 영상의 각도를 교정할 때,
상기 검출된 배송지 주소 영역 및 바코드 영역으로부터 바코드 영역을 분리하여 추출하고, 상기 추출된 바코드 영역으로부터 촬영된 영상의 각도를 계산하고, 상기 계산된 각도를 이용하여 촬영된 영상의 기울기를 수평으로 교정하는 것을 특징으로 하는 배송지 주소 인식 장치.The method of claim 7, wherein the processor comprises:
When correcting the angle of the captured image,
Separating and extracting the barcode area from the detected delivery address area and the barcode area, calculating the angle of the photographed image from the extracted barcode area, and horizontally correcting the tilt of the photographed image using the calculated angle Shipping address recognition device, characterized in that.
상기 문자인식을 수행하여 배송지 주소를 인식할 때,
딥러닝 기반 문자인식 엔진을 이용하여 문자인식을 수행하는 것을 특징으로 하는 배송지 주소 인식 장치.The method of claim 7, wherein the processor comprises:
When recognizing the delivery address by performing the character recognition,
A delivery address recognition device, characterized in that it performs character recognition using a deep learning-based character recognition engine.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200057685A KR102371446B1 (en) | 2020-05-14 | 2020-05-14 | Method and apparatus for recognizing the delivery address printed on mailings |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200057685A KR102371446B1 (en) | 2020-05-14 | 2020-05-14 | Method and apparatus for recognizing the delivery address printed on mailings |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210140914A KR20210140914A (en) | 2021-11-23 |
| KR102371446B1 true KR102371446B1 (en) | 2022-03-07 |
Family
ID=78694934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200057685A KR102371446B1 (en) | 2020-05-14 | 2020-05-14 | Method and apparatus for recognizing the delivery address printed on mailings |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102371446B1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230170498A (en) * | 2022-06-10 | 2023-12-19 | 렉스젠(주) | System, server, terminal, method and computer program for supporting delivery service by providing simplified shipping address |
| KR102575981B1 (en) * | 2023-06-01 | 2023-09-08 | 주식회사 에이셉익스프레스 | Point-to-Point delivery system and server based on integrated and managed high-speed traffic data |
| KR102608368B1 (en) * | 2023-06-01 | 2023-12-01 | 주식회사 에이셉익스프레스 | Point-to-Point delivery system and server supporting delivery route analysis and optimized vehicle allocation |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120019706A (en) * | 2010-08-26 | 2012-03-07 | 대성엘앤에이 주식회사 | System for recognizing adress of mailings |
| KR101615306B1 (en) | 2015-08-10 | 2016-04-25 | (주)이씨에이시스템 | A COD recognition system that recognizes the characters on the COD and detects the COD |
| KR20190080275A (en) * | 2017-12-28 | 2019-07-08 | 한화에어로스페이스 주식회사 | Barcode detecting apparatus and barcode detecting method using the apparatus |
| KR102114496B1 (en) * | 2018-09-05 | 2020-06-02 | 전남대학교산학협력단 | Method, terminal unit and server for providing task assistance information in mixed reality |
| KR20190103088A (en) * | 2019-08-15 | 2019-09-04 | 엘지전자 주식회사 | Method and apparatus for recognizing a business card using federated learning |
-
2020
- 2020-05-14 KR KR1020200057685A patent/KR102371446B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210140914A (en) | 2021-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102371446B1 (en) | Method and apparatus for recognizing the delivery address printed on mailings | |
| CN109657665B (en) | Invoice batch automatic identification system based on deep learning | |
| US6360001B1 (en) | Automatic location of address information on parcels sent by mass mailers | |
| US20130195315A1 (en) | Identifying regions of text to merge in a natural image or video frame | |
| JP6139658B2 (en) | Character recognition method and character recognition system | |
| KR101081086B1 (en) | Bar code processing apparatus and bar code processing method | |
| CN110490190B (en) | Structured image character recognition method and system | |
| JP6852518B2 (en) | Destination recognition device, automatic parcel sorting system, destination recognition method and program | |
| Deodhare et al. | Preprocessing and Image Enhancement Algorithms for a Form-based Intelligent Character Recognition System. | |
| CN111814673A (en) | Method, device and equipment for correcting text detection bounding box and storage medium | |
| KR102391068B1 (en) | Document recognition system and method | |
| CN114445843A (en) | Card image character recognition method and device of fixed format | |
| JP5407485B2 (en) | Article sorting machine, article sorting method, and article sorting program | |
| CN109299628B (en) | Bar code decoding method and device | |
| US20040024716A1 (en) | Mail sorting processes and systems | |
| CN110852994B (en) | Visual detection method and system for jet printing card | |
| JP6795936B2 (en) | Delivery processing equipment | |
| TW202226157A (en) | Printing inspection device, printing inspection method and program | |
| JP5911702B2 (en) | Video coding system, form inclination correction program, and parcel processing apparatus | |
| JP3022459B2 (en) | Form identification registration device | |
| JP6039944B2 (en) | Form type discriminating apparatus and form type discriminating method | |
| CN113822196B (en) | OMR (object management record) transportation surface sheet manufacturing and identifying method convenient for reproduction and propagation | |
| JP5006250B2 (en) | Image correction apparatus, image correction method, image correction program, and recording medium | |
| CN114169352A (en) | Bar code information identification method and electronic equipment | |
| JPH0793466A (en) | Device for discriminating character kind and method therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |