KR102388781B1 - Method and server for providing document processing service using artificial intelligence deep learning - Google Patents

Method and server for providing document processing service using artificial intelligence deep learning Download PDF

Info

Publication number
KR102388781B1
KR102388781B1 KR1020220018332A KR20220018332A KR102388781B1 KR 102388781 B1 KR102388781 B1 KR 102388781B1 KR 1020220018332 A KR1020220018332 A KR 1020220018332A KR 20220018332 A KR20220018332 A KR 20220018332A KR 102388781 B1 KR102388781 B1 KR 102388781B1
Authority
KR
South Korea
Prior art keywords
document
personal information
user
server
type
Prior art date
Application number
KR1020220018332A
Other languages
Korean (ko)
Inventor
최명수
Original Assignee
(주)소프트제국
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)소프트제국 filed Critical (주)소프트제국
Priority to KR1020220047015A priority Critical patent/KR102643368B1/en
Application granted granted Critical
Publication of KR102388781B1 publication Critical patent/KR102388781B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19113—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/418—Document matching, e.g. of document images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Bioethics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Provided is a method for a server to provide a document processing service using artificial intelligence deep learning. The method includes the following steps of: acquiring an image including the document; applying optical character recognition (OCR) to the image to recognize characters; identifying the type of the document by using an artificial intelligence deep learning model; identifying personal information including the document based on the recognized characters; matching and storing the personal information with user information stored in a user database; masking at least some of the personal information included in the document as an output request for the document is identified; and providing the masked document. Therefore, the present invention is capable of enhancing the protection of the personal information included in the document.

Description

인공지능 딥러닝을 이용한 문서 처리 서비스를 제공하는 방법 및 서버{METHOD AND SERVER FOR PROVIDING DOCUMENT PROCESSING SERVICE USING ARTIFICIAL INTELLIGENCE DEEP LEARNING}Method and server for providing document processing service using artificial intelligence deep learning

본 개시는 인공지능 딥러닝을 이용하여 문서 처리 서비스를 제공하는 서버 및 그 동작 방법에 관한 것이다.The present disclosure relates to a server that provides a document processing service using artificial intelligence deep learning and an operating method thereof.

최근 들어 다양한 서비스를 제공하는 회사들이 증가하고 있으며 회사 간의 협업을 진행하는 경우가 증가하고 있다.Recently, companies that provide various services are increasing, and the cases of collaboration between companies are increasing.

회사 별로 협업을 진행할 때 문서의 양식과 종류가 동일한 경우, 일을 처리하는 시간과 비용의 발생이 적다. 그러나, 회사 별로 사용하는 문서의 종류와 형태가 다양한 경우, 협업을 진행할 때 문서의 내용 별로 분류해야 하고, 각 문서의 양식이 다양함으로 인해 문서의 내용을 개별로 판단하여야 함함에 따라 많은 시간과 비용이 발생한다.When a company collaborates with each other, if the form and type of documents are the same, processing time and costs are less. However, when the types and forms of documents used by each company are diverse, it is necessary to classify the documents by content when conducting collaboration, and due to the variety of forms of each document, the content of each document must be judged individually, resulting in a lot of time and money This happens.

따라서, 다양한 종류의 문서에서 글씨나 이미지를 자동으로 인식하여 문서의 종류와 내용을 판단할 수 있는 방법이 필요하다.Accordingly, there is a need for a method capable of automatically recognizing text or images in various types of documents to determine the type and content of the document.

공개특허공보 제10-2019-0110873호 (공개일자: 2019년10월01일)Laid-open Patent Publication No. 10-2019-0110873 (published date: October 01, 2019)

개시된 실시예들은, 다양한 형식의 문서에 상관없이 텍스트와 이미지를 인식하여 문서의 종류와 내용을 판단하는 방법을 제공하고, 사용자의 권한에 따라 차등적으로 마스킹된 문서를 제공할 수 있다.The disclosed embodiments may provide a method of recognizing text and images to determine the type and content of a document regardless of document types of various types, and may provide a differentially masked document according to a user's authority.

본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present disclosure are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

본 개시의 일 측면에 따르면, 서버가 인공지능 딥러닝을 이용하여 문서 처리 서비스를 제공하는 방법을 제공할 수 있다. 상기 방법은, 상기 문서가 포함되는 이미지를 획득하는 단계; 상기 이미지에 광학 문자 인식(Optical Character Recognition; OCR)을 적용하여 글자를 인식하는 단계; 상기 인공지능 딥러닝 모델을 이용하여 상기 문서의 종류를 식별하는 단계; 상기 인식된 글자를 기반으로 상기 문서에 포함되는 개인정보를 식별하는 단계; 상기 개인정보를 사용자 데이터베이스 내에 저장된 사용자 정보와 매칭시켜 저장하는 단계; 상기 문서의 출력 요청이 식별됨에 따라, 상기 문서에 포함된 상기 개인정보의 적어도 일부를 마스킹처리하는 단계; 및 상기 마스킹처리된 문서를 제공하는 단계를 포함할 수 있다.According to one aspect of the present disclosure, a method for a server to provide a document processing service using artificial intelligence deep learning may be provided. The method includes: acquiring an image including the document; Recognizing characters by applying Optical Character Recognition (OCR) to the image; identifying the type of the document using the artificial intelligence deep learning model; identifying personal information included in the document based on the recognized characters; storing the personal information by matching it with user information stored in a user database; masking at least a portion of the personal information included in the document as the output request of the document is identified; and providing the masked document.

상기 문서의 종류는, 개인정보를 포함하는 카드, 신분증, 명함, 등본, 각종 증명서, 영수증, 전표 및 전자문서 중 적어도 하나이고, 상기 저장하는 단계는, 상기 문서를 종류별로 분류하여 저장하는 단계를 포함할 수 있다.The type of the document is at least one of a card including personal information, an identification card, a business card, a certified copy, various certificates, a receipt, a slip, and an electronic document, and the storing includes the steps of classifying and storing the document by type may include

상기 저장하는 단계는, 상기 사용자 데이터베이스 내에 상기 개인정보와 매칭되는 사용자 정보가 없는 경우, 새로운 사용자 정보를 생성하여 상기 사용자 데이터베이스에 저장하는 단계를 더 포함할 수 있다.The storing may further include generating new user information and storing it in the user database when there is no user information matching the personal information in the user database.

상기 방법은, 상기 개인정보의 종류를 식별하는 단계; 및 상기 개인정보의 종류에 기초하여 상기 개인정보의 민감 등급을 결정하는 단계를 더 포함할 수 있다.The method includes the steps of identifying a type of the personal information; and determining the sensitivity level of the personal information based on the type of the personal information.

상기 방법은, 상기 개인정보의 민감 등급에 기초하여, 상기 문서의 보안 등급을 결정하는 단계를 더 포함할 수 있다.The method may further include determining a security level of the document based on the sensitivity level of the personal information.

상기 방법은, 상기 문서 처리 서비스를 이용하는 상기 사용자의 사용 이력에 기초하여, 사용자 데이터베이스 내에 저장된 사용자의 보안 등급을 동적으로 조정하는 단계를 더 포함할 수 있다.The method may further include dynamically adjusting a security level of a user stored in a user database based on a usage history of the user using the document processing service.

상기 사용 이력은, 사용자가 이전에 열람했던 문서들 중에서, 보안 등급이 소정 등급 이상인 문서의 비율 및 사용자가 이전에 열람했던 문서들에 포함되는 개인정보 중에서 민감 등급이 소정 등급 이상인 문서의 비율 중 적어도 하나를 포함할 수 있다.The use history is at least among the documents previously read by the user, the ratio of the documents having the security level above the predetermined level, and the ratio of the documents having the sensitivity level above the predetermined level among the personal information included in the documents previously read by the user. may contain one.

상기 마스킹하는 단계는, 상기 문서의 출력을 요청한 사용자의 보안 등급에 기초하여 마스킹 영역을 결정하는 단계를 포함할 수 있다.The masking may include determining a masking area based on a security level of a user who has requested the output of the document.

본 개시의 일 측면에 따르면, 인공지능 딥러닝을 이용하여 문서 처리 서비스를 제공하는 서버를 제공할 수 있다. 상기 서버는, 통신 인터페이스; 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 문서가 포함되는 이미지를 획득하고, 상기 이미지에 광학 문자 인식(Optical Character Recognition; OCR)을 적용하여 글자를 인식하고, 상기 인공지능 딥러닝 모델을 이용하여 상기 문서의 종류를 식별하고, 상기 인식된 글자를 기반으로 상기 문서에 포함되는 개인정보를 식별하고, 상기 개인정보를 사용자 데이터베이스 내에 저장된 사용자 정보와 매칭시켜 저장하고, 상기 문서의 출력 요청이 식별됨에 따라, 상기 문서에 포함된 상기 개인정보의 적어도 일부를 마스킹처리하고, 상기 마스킹처리된 문서를 제공할 수 있다.According to one aspect of the present disclosure, it is possible to provide a server that provides a document processing service using artificial intelligence deep learning. The server may include a communication interface; a memory storing one or more instructions; and a processor executing the one or more instructions stored in the memory, wherein the processor obtains an image including the document by executing the one or more instructions, and performs optical character recognition on the image; OCR) to recognize characters, identify the type of document using the artificial intelligence deep learning model, identify personal information included in the document based on the recognized character, and store the personal information as a user It is possible to match and store the user information stored in the database, and when the output request of the document is identified, at least a portion of the personal information included in the document may be masked, and the masked document may be provided.

이 외에도, 본 개시의 문서 처리 서비스를 제공하는 방법을 실행하기 위한 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.In addition to this, a computer program stored in a computer-readable recording medium for executing the method of providing a document processing service of the present disclosure may be further provided.

이 외에도, 본 개시의 문서 처리 서비스를 제공하는 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition to this, a computer-readable recording medium recording a computer program for executing the method of providing a document processing service of the present disclosure may be further provided.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.

본 개시의 전술한 과제 해결 수단에 의하면, 다양한 형식의 문서에 상관없이 텍스트와 이미지를 인식하여 문서의 종류와 내용을 판단하는 방법을 제공함으로써 문서의 종류와 내용을 판단하는데 시간과 비용을 절감할 수 있는 효과를 제공한다. 또한, 사용자의 권한에 따라 차등적으로 마스킹된 문서를 제공함으로써, 문서에 포함된 개인정보의 보호를 강화할 수 있다.According to the above-described problem solving means of the present disclosure, it is possible to reduce time and cost in determining the type and content of a document by providing a method for determining the type and content of a document by recognizing text and images regardless of document types of various formats. provide possible effects. In addition, by providing the document differentially masked according to the user's authority, the protection of personal information included in the document can be strengthened.

본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present disclosure are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 개시의 일 실시예에 따른 서버의 동작을 개략적으로 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시예에 따른 서버의 구성을 도시한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 서버의 동작을 설명하기 위한 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 서버가 문서가 포함된 이미지를 인식하는 동작을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시예에 따른 서버가 생성하는 데이터베이스를 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따른 서버가 개인정보의 민감 등급을 결정하는 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 서버가 문서의 보안 등급을 결정하는 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 서버가 사용자의 보안 등급을 결정하는 동작을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 서버가 보안 등급에 따라 문서를 마스킹하는 동작을 설명하기 위한 도면이다.1 is a diagram schematically illustrating an operation of a server according to an embodiment of the present disclosure.
2 is a block diagram illustrating a configuration of a server according to an embodiment of the present disclosure.
3 is a flowchart illustrating an operation of a server according to an embodiment of the present disclosure.
4 is a diagram for explaining an operation of a server recognizing an image including a document according to an embodiment of the present disclosure.
5 is a diagram for explaining a database generated by a server according to an embodiment of the present disclosure.
6 is a diagram for explaining an operation in which a server determines a sensitivity level of personal information according to an embodiment of the present disclosure.
7 is a diagram for describing an operation in which a server determines a security level of a document according to an embodiment of the present disclosure.
8 is a diagram for explaining an operation in which a server determines a user's security level according to an embodiment of the present disclosure.
9 is a diagram for explaining an operation of a server masking a document according to a security level according to an embodiment of the present disclosure.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.Terms used in this specification will be briefly described, and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present invention have been selected as currently widely used general terms as possible while considering the functions in the present invention, which may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.In the entire specification, when a part "includes" a certain element, this means that other elements may be further included, rather than excluding other elements, unless otherwise stated. In addition, terms such as “unit” and “module” described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한, 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭할 수 있으나, 동일한 구성요소가 다른 도면에서 다른 참조 부호를 사용하여 설명될 수 있다.Hereinafter, with reference to the accompanying drawings, the embodiments of the present invention will be described in detail so that those of ordinary skill in the art can easily implement them. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification. Also, throughout the specification, the same reference numerals may refer to the same components, but the same components may be described using different reference numerals in different drawings.

도 1은 본 개시의 일 실시예에 따른 서버의 동작을 개략적으로 설명하기 위한 도면이다.1 is a diagram schematically illustrating an operation of a server according to an embodiment of the present disclosure.

일 실시예에 따른 서버(1000)는 사용자에게 문서 처리 서비스를 제공할 수 있다.The server 1000 according to an embodiment may provide a document processing service to a user.

일 실시예에서, 서버(1000)는 사용자(110)로부터 문서 입력 요청에 따라 문서를 처리할 수 있다. 서버(1000)는 문서가 포함된 이미지를 획득하고, OCR 및 인공지능 딥러닝 모델 중 적어도 하나를 이용하여 문서를 분석할 수 있다. 이 경우, 문서는 개인정보를 포함하는 문서로써, 카드, 신분증, 명함, 등본, 각종 증명서, 영수증, 전표 및 전자문서 중 적어도 하나를 촬영한 이미지일 수 있다. 서버(1000)는 문서가 포함된 이미지를 분석하여, 문서의 종류, 문서에 포함된 개인정보 등을 식별하고, 데이터베이스에 저장할 수 있다.In an embodiment, the server 1000 may process a document according to a document input request from the user 110 . The server 1000 may acquire an image including a document and analyze the document using at least one of OCR and an artificial intelligence deep learning model. In this case, the document is a document including personal information, and may be an image obtained by photographing at least one of a card, an identification card, a business card, a certified copy, various certificates, a receipt, a slip, and an electronic document. The server 1000 may analyze the image including the document, identify the type of the document, personal information included in the document, and the like, and store it in the database.

일 실시예에서, 서버(1000)는 사용자(110)로부터 문서 열람/출력 요청에 따라 문서를 처리할 수 있다. 서버(1000)는 사용자(110)의 보안 등급을 식별하고, 사용자(110)의 보안 등급에 따라 문서에 대한 개인정보 보호 처리를 차등적으로 적용할 수 있다. 예를 들어, 사용자(110)가 주민등록증(120)의 열람을 요청한 경우, 서버(1000)는 사용자(110)의 보안 등급에 기초하여 주민등록증(120)에 포함되는 개인정보 중에서, 주민번호 뒷자리, 주소 등을 마스킹(125)하여 사용자(110)에게 제공할 수 있다.In an embodiment, the server 1000 may process a document according to a document viewing/output request from the user 110 . The server 1000 may identify the security level of the user 110 and differentially apply personal information protection processing to the document according to the security level of the user 110 . For example, when the user 110 requests to view the resident registration card 120, the server 1000 based on the security level of the user 110 from among the personal information included in the resident registration card 120, the last digit of the resident registration number, the address Masking 125 of the back may be provided to the user 110 .

본 개시의 서버(1000)가 제공하는 문서 처리 동작의 일련의 과정들은, 후술하는 도면들과 그에 대응하는 설명들을 참조하면 보다 상세하게 이해될 것이다.A series of processes of a document processing operation provided by the server 1000 of the present disclosure will be understood in more detail with reference to drawings and corresponding descriptions to be described later.

도 2는 본 개시의 일 실시예에 따른 서버의 구성을 도시한 블록도이다2 is a block diagram illustrating the configuration of a server according to an embodiment of the present disclosure;

도 2를 참조하면, 일 실시예에 따른 서버(1000)는 통신 인터페이스(1100), 메모리(1200) 및 프로세서(1300)를 포함할 수 있다.Referring to FIG. 2 , the server 1000 according to an embodiment may include a communication interface 1100 , a memory 1200 , and a processor 1300 .

통신 인터페이스(1100)는 프로세서(1300)의 제어에 의해 외부 전자 장치(예를 들어, 사용자 디바이스)들과 데이터 통신을 수행할 수 있다.The communication interface 1100 may perform data communication with external electronic devices (eg, user devices) under the control of the processor 1300 .

통신 인터페이스는(1100), 예를 들어, 유선 랜, 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), 적외선 통신(IrDA, infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Alliances, WiGig) 및 RF 통신을 포함하는 데이터 통신 방식 중 적어도 하나를 이용하여 전자 장치(1000)와 외부 디바이스들 간의 데이터 통신을 수행할 수 있다.Communication interface 1100, for example, wired LAN, wireless LAN (Wireless LAN), Wi-Fi (Wi-Fi), Bluetooth (Bluetooth), Zigbee (zigbee), WFD (Wi-Fi Direct), infrared communication (IrDA) , infrared Data Association), BLE (Bluetooth Low Energy), NFC (Near Field Communication), WiBro (Wireless Broadband Internet, Wibro), WiMAX (World Interoperability for Microwave Access, WiMAX), SWAP (Shared Wireless Access Protocol), Wi-Fi Data communication between the electronic apparatus 1000 and external devices may be performed using at least one of a data communication method including wireless gigabit alliances (WiGig) and RF communication.

일 실시예에 따른 통신 인터페이스(1100)는 서버(1000)가 문서 처리 서비스를 제공하기 위한 데이터를 외부 디바이스(예를 들어, 사용자 디바이스, 외부 서버 등)와 송수신할 수 있다. 예를 들어, 통신 인터페이스(1100)는 문서가 포함된 이미지, 문서 입력/출력을 포함하는 문서 처리 요청, 사용자 정보 등을 외부 디바이스로부터 수신할 수 있다. 통신 인터페이스(1100)는 문서 인식 결과, 문서 입력/출력을 포함하는 문서 처리 결과, 보안을 위해 개인정보 영역이 마스킹된 문서 등을 외부 디바이스로 전송할 수 있다.The communication interface 1100 according to an embodiment may transmit/receive data for the server 1000 to provide a document processing service with an external device (eg, a user device, an external server, etc.). For example, the communication interface 1100 may receive an image including a document, a document processing request including a document input/output, user information, and the like from an external device. The communication interface 1100 may transmit a document recognition result, a document processing result including document input/output, a document in which a personal information area is masked for security, and the like to an external device.

메모리(1200)는 프로세서(1300)가 판독할 수 있는 명령어들, 데이터 구조, 및 프로그램 코드(program code)가 저장될 수 있다. 개시된 실시예들에서, 프로세서(1300)가 수행하는 동작들은 메모리(1200)에 저장된 프로그램의 명령어들 또는 코드들을 실행함으로써 구현될 수 있다.The memory 1200 may store instructions, data structures, and program codes that the processor 1300 can read. In the disclosed embodiments, operations performed by the processor 1300 may be implemented by executing instructions or codes of a program stored in the memory 1200 .

메모리(1200)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등)를 포함할 수 있으며, 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나를 포함하는 비 휘발성 메모리 및 램(RAM, Random Access Memory) 또는 SRAM(Static Random Access Memory)과 같은 휘발성 메모리를 포함할 수 있다.The memory 1200 includes a flash memory type, a hard disk type, a multimedia card micro type, and a card type memory (eg, SD or XD memory). Non-volatile memory including at least one of ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk, and optical disk and volatile memory such as random access memory (RAM) or static random access memory (SRAM).

일 실시예에 따른 메모리(1200)는 서버(1000)가 문서 처리 서비스를 제공하기 위해 동작하도록 하는 하나 이상의 인스트럭션 또는 프로그램을 저장할 수 있다. 예를 들어, 메모리(1200)에는 문서 처리 서비스를 제공하기 위한 다양한 소프트웨어 모듈 및/또는 데이터들이 저장될 수 있다. 메모리(1200)는 데이터 관리 모듈(1210), 문서 인식 모듈(1220) 및 문서 처리 모듈(1230)을 포함할 수 있다.The memory 1200 according to an embodiment may store one or more instructions or programs that cause the server 1000 to operate to provide a document processing service. For example, various software modules and/or data for providing a document processing service may be stored in the memory 1200 . The memory 1200 may include a data management module 1210 , a document recognition module 1220 , and a document processing module 1230 .

프로세서(1300)는 서버(1000)의 전반적인 동작들을 제어할 수 있다. 예를 들어, 프로세서(1300)는 메모리(1200)에 저장된 프로그램의 하나 이상의 명령어들을 실행함으로써, 서버(1000)가 문서 처리 서비스를 제공하기 위한 전반적인 동작들을 제어할 수 있다.The processor 1300 may control overall operations of the server 1000 . For example, the processor 1300 may control overall operations for the server 1000 to provide a document processing service by executing one or more instructions of a program stored in the memory 1200 .

프로세서(1300)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 처리 장치(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 애플리케이션 프로세서(Application Processor), 신경망 처리 장치(Neural Processing Unit) 또는 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계된 인공지능 전용 프로세서 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다.Processor 1300 is, for example, a central processing unit (Central Processing Unit), microprocessor (microprocessor), graphic processing unit (Graphic Processing Unit), ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs ( Digital Signal Processing Devices), Programmable Logic Devices (PLDs), Field Programmable Gate Arrays (FPGAs), Application Processors, Neural Processing Units, or artificial intelligence designed with a hardware structure specialized for processing artificial intelligence models. It may be configured as at least one of dedicated processors, but is not limited thereto.

프로세서(1300)는 메모리(1200)에 저장된 하나 이상의 모듈을 실행할 수 있다.The processor 1300 may execute one or more modules stored in the memory 1200 .

일 실시예에서, 프로세서(1300)는 데이터 관리 모듈(1210)을 실행하여, 문서 처리 서비스를 제공하기 위한 데이터들을 관리, 처리할 수 있다. 데이터 관리 모듈(1210)은 데이터베이스(예를 들어, 사용자 데이터베이스, 개인정보 데이터베이스 등)를 포함할 수 있다. 프로세서(1300)는 문서로부터 획득된 텍스트, 이미지, 문서의 종류를 저장하고 관리할 수 있다. 프로세서(1300)는 문서로부터 식별된 개인정보를 사용자와 매칭시켜 저장하고 관리할 수 있다. 프로세서(1300)는 개인정보의 민감 등급, 문서의 보안 등급, 사용자의 보안 등급을 결정할 수 있다.In an embodiment, the processor 1300 may execute the data management module 1210 to manage and process data for providing a document processing service. The data management module 1210 may include a database (eg, a user database, a personal information database, etc.). The processor 1300 may store and manage texts, images, and types of documents obtained from documents. The processor 1300 may store and manage the personal information identified from the document by matching it with the user. The processor 1300 may determine the sensitivity level of personal information, the security level of the document, and the security level of the user.

일 실시예에서, 프로세서(1300)는 문서 인식 모듈(1220)을 실행하여, 문서에 포함되는 데이터들을 추출할 수 있다. 프로세서(1300)는 인공지능 딥러닝 모델을 이용하여, 문서에 포함되는 텍스트, 이미지, 문서의 종류를 인식할 수 있다.In an embodiment, the processor 1300 may execute the document recognition module 1220 to extract data included in the document. The processor 1300 may recognize the type of text, image, and document included in the document by using the artificial intelligence deep learning model.

일 실시예에서, 프로세서(1300)는 문서 처리 모듈(1230)을 실행하여, 사용자의 요청에 따른 문서를 처리할 수 있다. 프로세서(1300)는 사용자의 보안 등급을 확인하고, 사용자의 보안 등급에 따라 문서에 대하여 차등적으로 개인정보 보호 처리를 할 수 있다.In an embodiment, the processor 1300 may execute the document processing module 1230 to process a document according to a user's request. The processor 1300 may check the user's security level, and differentially process personal information protection for documents according to the user's security level.

도 3은 본 개시의 일 실시예에 따른 서버의 동작을 설명하기 위한 흐름도이다.3 is a flowchart illustrating an operation of a server according to an embodiment of the present disclosure.

단계 S310에서, 일 실시예에 따른 서버(1000)는 문서가 포함되는 이미지를 획득한다. 서버(1000)는 외부 전자 장치(예를 들어, 사용자 디바이스, 복합기, 스캐너 등)로부터 문서가 포함되는 이미지를 수신할 수 있다. 문서는, 카드, 신분증, 명함, 등본, 각종 증명서, 영수증, 전표 및 전자문서 중 적어도 하나를 포함한 개인정보를 포함할 수 있는 모든 문서를 지칭한다. 또한, 문서가 포함되는 이미지는, 다양한 종류와 형식의 문서에 대한 이미지, 사진, 스캔 문서 등을 포함할 수 있다.In step S310, the server 1000 according to an embodiment acquires an image including a document. The server 1000 may receive an image including a document from an external electronic device (eg, a user device, a multifunction device, a scanner, etc.). The document refers to any document that may contain personal information including at least one of a card, identification card, business card, certified copy, various certificates, receipts, slips, and electronic documents. Also, the image including the document may include images, photos, and scan documents of various types and formats of documents.

단계 S320에서, 일 실시예에 따른 서버(1000)는 이미지에 광학 문자 인식(Optical Character Recognition; OCR)을 적용하여 글자를 인식한다.In step S320, the server 1000 according to an embodiment recognizes characters by applying optical character recognition (OCR) to the image.

일 실시예에서, 서버(1000)는 이미지에 OCR을 적용하여 이미지에 포함된 한글, 영문, 숫자, 일부 특수 기호 등을 인식할 수 있으며, 인식된 텍스트의 위치를 식별할 수 있다.In an embodiment, the server 1000 may recognize Hangul, English, numbers, and some special symbols included in the image by applying OCR to the image, and may identify the position of the recognized text.

일부 실시예에서, 서버(1000)는 텍스트 검출 모델을 이용하여 이미지 내의 텍스트를 검출할 수 있다. 텍스트 검출 모델은 예를 들어, 컨볼루션 신경망 (Convolutional Neural Network; CNN) 모델일 수 있으나, 이에 한정되는 것은 아니다. 서버(1000)는 텍스트 인식 모델을 이용하여 검출된 텍스트의 글자를 인식할 수 있다. 텍스트 인식 모델은 예를 들어, 순환 신경망(Recurrent Neural Network; RNN)일 수 있으나, 이에 한정되는 것은 아니다.In some embodiments, the server 1000 may detect text in an image using a text detection model. The text detection model may be, for example, a convolutional neural network (CNN) model, but is not limited thereto. The server 1000 may recognize characters of the detected text using a text recognition model. The text recognition model may be, for example, a recurrent neural network (RNN), but is not limited thereto.

단계 S330에서, 일 실시예에 따른 서버(1000)는 인공지능 딥러닝 모델을 통해 문서의 종류를 식별한다. 서버(1000)는 카드, 신분증, 명함, 등본, 각종 증명서, 영수증, 전표 및 전자문서 중 적어도 하나의 이미지에 포함된 문서의 종류가 어떤 것인지를 식별할 수 있다. 인공지능 딥러닝 모델은, 문서의 종류를 식별하기 위한 다양한 방식의 알고리즘으로 구현될 수 있다. 예를 들어, 인공지능 딥러닝 모델은 CNN, RNN 또는 이들의 결합으로 구현될 수 있으나, 이에 한정되는 것은 아니다.In step S330, the server 1000 according to an embodiment identifies the type of document through the artificial intelligence deep learning model. The server 1000 may identify the type of document included in the image of at least one of a card, an identification card, a business card, a certified copy, various certificates, a receipt, a slip, and an electronic document. The artificial intelligence deep learning model may be implemented with various algorithms for identifying the type of document. For example, the AI deep learning model may be implemented as CNN, RNN, or a combination thereof, but is not limited thereto.

단계 S340에서, 일 실시예에 따른 서버(1000)는 인식된 글자를 기반으로 문서에 포함되는 개인정보를 식별한다. 서버(1000)는 예를 들어, 주민번호 앞자리, 주민번호 뒷자리, 전화 번호, 카드, 이름, 성별, 직업, 주소지 등의 개인정보를 식별하여 분류할 수 있다. 일부 실시예에서, 서버(1000)는 문서가 포함된 이미지로부터 획득된 이미지 데이터를 기반으로 문서에 포함되는 개인정보를 식별할 수 있다. 예를 들어, 서버(1000)는 얼굴, 지문 등의 개인정보를 식별하여 분류할 수 있다.In step S340, the server 1000 according to an embodiment identifies personal information included in the document based on the recognized characters. The server 1000 may identify and classify personal information such as, for example, a front digit of a resident number, a rear digit of a resident number, a phone number, a card, name, gender, occupation, and address. In some embodiments, the server 1000 may identify personal information included in a document based on image data obtained from an image including the document. For example, the server 1000 may identify and classify personal information such as a face and a fingerprint.

단계 S350에서, 일 실시예에 따른 서버(1000)는 개인정보를 사용자 데이터베이스 내에 저장된 사용자 정보와 매칭시켜 저장한다. 일 실시예에서, 식별된 개인정보가 서버(1000)는 사용자 데이터베이스 내에 저장된 사용자 정보와 매칭되는지 여부를 검색할 수 있다. 사용자 데이터베이스 내에 저장된 사용자 정보가 검색되는 경우, 서버(1000)는 개인정보를 사용자 데이터베이스 내에 저장된 사용자 정보와 매칭시켜 저장할 수 있다. 사용자 데이터베이스 내에 저장된 사용자 정보가 검색되지 않는 경우, 서버(1000)는 새로운 사용자 정보를 생성하여 사용자 데이터베이스에 저장하고, 개인정보를 새로운 사용자 정보와 매칭시켜 저장할 수 있다.In step S350, the server 1000 according to an embodiment matches and stores the personal information with the user information stored in the user database. In an embodiment, the server 1000 may search for whether the identified personal information matches user information stored in the user database. When user information stored in the user database is searched for, the server 1000 may match and store personal information with user information stored in the user database. When the user information stored in the user database is not searched, the server 1000 may generate new user information and store it in the user database, and match the personal information with the new user information and store it.

단계 S360에서, 일 실시예에 따른 서버(1000)는 문서의 출력 요청이 식별됨에 따라, 문서에 포함된 개인정보의 적어도 일부를 마스킹처리한다.In step S360, the server 1000 according to an embodiment masks at least a portion of the personal information included in the document as the request for outputting the document is identified.

일 실시예에서, 서버(1000)는 문서의 종류에 기초하여 개인정보의 적어도 일부를 마스킹처리할 수 있다. 예를 들어, 문서의 종류가 신분증인 경우, 서버(1000)는 신분증에 표기되는 개인정보를 마스킹처리하여 출력할 수 있다.In an embodiment, the server 1000 may mask at least a part of the personal information based on the type of the document. For example, when the type of document is an ID, the server 1000 may mask and output personal information displayed on the ID.

일 실시예에서, 서버(1000)는 문서의 출력을 요청한 사용자의 보안 등급에 따라 개인정보의 적어도 일부를 마스킹처리할 수 있다. 예를 들어, 서버(1000)는 문서의 출력을 요청한 사용자의 보안 등급의 높고 낮음에 따라, 주민번호 뒷자리만 마스킹할 지 여부, 주민번호 전체를 마스킹할 지 여부, 주소를 마스킹할 지 여부를 서로 다르게 결정할 수 있다.In an embodiment, the server 1000 may mask at least a portion of the personal information according to the security level of the user who requested the output of the document. For example, the server 1000 determines whether to mask only the last digit of the resident number, whether to mask the entire resident number, and whether to mask the address, depending on the high and low security level of the user who requested to print the document. can be decided differently.

단계 S370에서, 일 실시예에 따른 서버(1000)는 마스킹처리된 문서를 제공한다. 서버(1000)는 마스킹처리된 문서를 외부 디바이스(예를 들어, 사용자 디바이스)로 전송하여, 문서가 개인정보 보호처리되어 반출될 수 있도록 할 수 있다.In step S370, the server 1000 according to an embodiment provides the masked document. The server 1000 may transmit the masked document to an external device (eg, a user device) so that the document may be exported after processing for personal information protection.

도 4는 본 개시의 일 실시예에 따른 서버가 문서가 포함된 이미지를 인식하는 동작을 설명하기 위한 도면이다.4 is a diagram for explaining an operation of a server recognizing an image including a document according to an embodiment of the present disclosure.

도 4를 참조하면, 일 실시예에 따른 서버(1000)는 문서가 포함된 이미지(400)를 획득하고, 문서가 포함된 이미지(400)로부터 데이터를 추출할 수 있다.Referring to FIG. 4 , the server 1000 according to an embodiment may obtain an image 400 including a document and extract data from the image 400 including a document.

일 실시예에서, 서버(1000)는 문서가 포함된 이미지(400)에 OCR(410)을 적용하여, 텍스트(420)를 획득할 수 있다. 서버(1000)는 예를 들어, 문서 내에 포함된 개인정보인 주민번호 앞자리, 주민번호 뒷자리, 전화 번호, 카드, 이름, 성별, 직업, 주소지 등을 텍스트 형태로 획득할 수 있다.In an embodiment, the server 1000 may obtain the text 420 by applying the OCR 410 to the image 400 including the document. The server 1000 may obtain, for example, the front digit of the resident number, the last digit of the resident number, phone number, card, name, gender, occupation, address, and the like, included in the document in text form.

일 실시예에서, 서버(1000)는 인공지능 딥러닝 모델(430)을 이용하여, 문서의 종류를 식별할 수 있다.In an embodiment, the server 1000 may identify the type of document by using the artificial intelligence deep learning model 430 .

일 실시예에서, 인공지능 딥러닝 모델(430)은 문서가 포함된 이미지(400)를 입력 받아, 문서의 종류(440)를 식별하는 인공지능 모델일 수 있다. 이 경우, 인공지능 딥러닝 모델(430)은 이미지 처리에 적합한 네트워크(예를 들어, CNN 등)를 이용하여 구현될 수 있다. 일부 실시예에서, 인공지능 딥러닝 모델(430)은 문서의 외관(예를 들어, 카드 템플릿, 신분증 템플릿, 명함 템플릿, 주민등록등본, 영수증, 카드전표 등의 템플릿 등)의 특징에 기초하여, 문서의 종류(440)를 분류할 수 있다. 일부 실시예에서, 인공지능 딥러닝 모델(430)은 문서 내 이미지의 유무 및 위치(예를 들어, 주민등록증, 면허증 내 사진 또는 뒷면의 지문 이미지 등)에 기초하여, 문서의 종류(440)를 분류할 수 있다.In an embodiment, the artificial intelligence deep learning model 430 may be an artificial intelligence model that receives an image 400 including a document and identifies the type 440 of the document. In this case, the artificial intelligence deep learning model 430 may be implemented using a network (eg, CNN, etc.) suitable for image processing. In some embodiments, the artificial intelligence deep learning model 430 is based on the characteristics of the appearance of the document (eg, a card template, an identification card template, a business card template, a template such as a resident registration copy, a receipt, a card slip, etc.), A type 440 of may be classified. In some embodiments, the artificial intelligence deep learning model 430 classifies the type 440 of the document based on the presence and location of the image in the document (eg, a photo in a national ID card, a photo in a driver's license, or a fingerprint image on the back, etc.) can do.

일 실시예에서, 인공지능 딥러닝 모델(430)은 문서가 포함된 이미지(400)로부터 검출된 텍스트(420)를 입력 받아, 문서의 종류(440)를 식별하는 인공지능 모델일 수 있다. 이 경우, 인공지능 딥러닝 모델(430)은 텍스트 처리에 적합한 네트워크(예를 들어, RNN 등)를 이용하여 구현될 수 있다. 인공지능 딥러닝 모델(430)은 문서 내 글자들의 패턴(예를 들어, 주민등록번호 배열, 카드 번호 배열, 주소지(도로명 주소, 지번 주소) 등)의 특징에 기초하여, 문서의 종류(440)를 분류할 수 있다.In an embodiment, the artificial intelligence deep learning model 430 may be an artificial intelligence model that receives the text 420 detected from the image 400 including the document and identifies the type 440 of the document. In this case, the artificial intelligence deep learning model 430 may be implemented using a network (eg, RNN, etc.) suitable for text processing. The artificial intelligence deep learning model 430 classifies the document type 440 based on the characteristics of the pattern of characters in the document (eg, resident registration number arrangement, card number arrangement, address (street name address, lot number address), etc.) can do.

일 실시예에서, 인공지능 딥러닝 모델(430)은 문서가 포함된 이미지(400) 및 문서가 포함된 이미지(400)로부터 검출된 텍스트(420)를 입력 받아, 문서의 종류(440)를 식별하는 인공지능 모델일 수 있다. 이 경우, 인공지능 딥러닝 모델(430)은 이미지를 처리하는 서브 네트워크 및 텍스트를 처리하는 서브네트워크를 이용하여 연산을 수행하고, 획득된 특징들을 병합하는, 멀티모달 인공지능 모델일 수 있다.In one embodiment, the artificial intelligence deep learning model 430 receives the image 400 including the document and the text 420 detected from the image 400 including the document, and identifies the type 440 of the document. It may be an artificial intelligence model that In this case, the artificial intelligence deep learning model 430 may be a multi-modal artificial intelligence model that performs calculations using a subnetwork for processing images and a subnetwork for processing text, and merging the acquired features.

일 실시예에 따른 서버(1000)는 획득된 텍스트(420) 및 문서의 종류(440)에 기초하여, 데이터들을 가공/분류함으로써 데이터베이스(450)를 생성할 수 있다. 이는, 도 5를 참조하여 더 설명한다.The server 1000 according to an embodiment may generate the database 450 by processing/classifying data based on the acquired text 420 and the document type 440 . This will be further described with reference to FIG. 5 .

도 5는 본 개시의 일 실시예에 따른 서버가 생성하는 데이터베이스를 설명하기 위한 도면이다.5 is a diagram for explaining a database generated by a server according to an embodiment of the present disclosure.

일 실시예에서, 서버(1000)는 사용자 데이터베이스(510) 및 개인정보 데이터베이스(520)를 생성하고 관리할 수 있다.In an embodiment, the server 1000 may create and manage the user database 510 and the personal information database 520 .

일 실시예에서, 사용자 데이터베이스(510)는 사용자의 기본적인 정보(예를 들어, 이름, 생년월일 등)만을 포함할 수 있으며, 사용자의 민감한 개인정보(예를 들어, 주민번호 앞자리, 주민번호 뒷자리, 전화 번호, 카드 번호 등)를 포함할 수 있다.In one embodiment, the user database 510 may include only basic information of the user (eg, name, date of birth, etc.), and sensitive personal information of the user (eg, the front digit of the social security number, the last digit of the social security number, and the phone number). number, card number, etc.).

일 실시예에서, 서버(1000)는 문서가 포함된 이미지로부터 텍스트를 추출하고 문서의 종류를 식별한 후, 문서에 포함되는 개인정보를 추출하여 사용자와 매칭시켜 저장할 수 있다. 추출된 개인정보는 텍스트 및/또는 이미지일 수 있다.In an embodiment, the server 1000 may extract text from an image including a document and identify the type of the document, then extract personal information included in the document, match it with the user, and store it. The extracted personal information may be text and/or images.

일부 실시예에서, 서버(1000)는 사용자 데이터베이스(510) 내에 저장된 사용자 정보와 매칭되는지 여부를 검색할 수 있다. 예를 들어, 문서의 종류가 등본, 주민등록증, 면허증 등인 경우, 서버(1000)는 등본, 주민등록증, 면허증 등에 포함된 주민번호와 사용자 데이터베이스(510) 내의 사용자의 주민번호를 비교할 수 있다. 다른 예에서, 문서의 종류가 카드인 경우, 서버(1000)는 카드에 포함된 카드의 영문 이름과 사용자 데이터베이스(510)에 포함된 영문 이름을 비교할 수 있다. 다른 예에서, 문서의 종류가 영수증인 경우, 서버(1000)는 영수증에 포함된 카드번호와 사용자 데이터베이스(510) 내의 사용자의 카드번호를 비교할 수 있다. 다른 예에서, 문서의 종류가 주민등록증, 면허증 등인 경우, 서버(1000)는 주민등록증, 면허증에 포함된 얼굴 사진과 사용자 데이터베이스(510)에 포함된 얼굴 사진을 비교할 수 있다. 이 경우, 얼굴 인식 알고리즘이 이용될 수 있다.In some embodiments, the server 1000 may search for a match with user information stored in the user database 510 . For example, when the type of document is a certified copy, resident registration card, or driver's license, the server 1000 may compare the resident number of the user in the user database 510 with the resident number included in the certified copy, resident registration card, or driver's license. In another example, when the type of document is a card, the server 1000 may compare the English name of the card included in the card with the English name included in the user database 510 . In another example, when the type of document is a receipt, the server 1000 may compare the card number included in the receipt with the user's card number in the user database 510 . In another example, when the type of document is a resident registration card, a driver's license, or the like, the server 1000 may compare the face photo included in the resident registration card or the driver's license with the face photo included in the user database 510 . In this case, a face recognition algorithm may be used.

일 실시예에 따른 서버(1000)는 사용자 데이터베이스(510) 내에 저장된 사용자 정보가 검색되는 경우, 서버(1000)는 개인정보를 사용자 데이터베이스(510) 내에 저장된 사용자 정보와 매칭시켜 저장할 수 있다. 예를 들어, 인식된 문서가 카드이고, 사용자 데이터베이스(510) 내에 일치하는 사용자가 존재하면, 서버(1000)는 검색된 사용자의 카드 정보를 매칭시켜 저장할 수 있다.When user information stored in the user database 510 is searched for, the server 1000 according to an embodiment may match the personal information with the user information stored in the user database 510 and store it. For example, if the recognized document is a card and a matching user exists in the user database 510 , the server 1000 may match and store the searched user's card information.

일 실시예에 따른 서버(1000)는, 문서의 종류가 영수증, 청구서, 계약서 등의 비정형 데이터인 경우에도, 이미지로부터 텍스트, 이미지 등 개인정보와 관련된 데이터를 추출하고 정형화하여, 사용자 데이터베이스(510)를 업데이트함으로써, 사용자의 개인정보를 효율적으로 관리하고 빠른 검색이 가능하도록 할 수 있다.The server 1000 according to an embodiment extracts and formalizes data related to personal information such as text and images from the image even when the type of document is atypical data such as a receipt, bill, contract, etc., and the user database 510 By updating the user's personal information, it is possible to efficiently manage the user's personal information and to enable a quick search.

일 실시예에서, 사용자 데이터베이스 내에 저장된 사용자 정보가 검색되지 않는 경우, 서버(1000)는 새로운 사용자 정보를 생성하여 사용자 데이터베이스에 저장하고, 개인정보를 새로운 사용자 정보와 매칭시켜 저장할 수 있다.In an embodiment, when the user information stored in the user database is not searched, the server 1000 may generate new user information and store it in the user database, and match the personal information with the new user information and store it.

도 6은 본 개시의 일 실시예에 따른 서버가 개인정보의 민감 등급을 결정하는 동작을 설명하기 위한 도면이다.6 is a diagram for explaining an operation in which a server determines a sensitivity level of personal information according to an embodiment of the present disclosure.

일 실시예에서, 서버(1000)는 개인정보(600)의 종류를 식별할 수 있다. 서버(1000)는 개인정보(600)를 기설정된 기준에 따라 분류하여, 개인정보(600)의 민감 등급을 결정할 수 있다.In an embodiment, the server 1000 may identify the type of personal information 600 . The server 1000 may classify the personal information 600 according to preset criteria to determine the sensitivity level of the personal information 600 .

일 실시예에서, 서버(1000)는 개인을 직접적으로 특정 가능한 정보로, 가장 민감한 개인정보 종류에 해당하는 개인정보들을 S등급(610)으로 결정할 수 있다. 예를 들어, 개인정보(600)가 주민번호 뒷자리, 카드 번호, 지문 등인 경우, 서버(1000)는 개인정보(600)의 민감 등급을 가장 높은 민감 등급인 S등급(610)으로 결정할 수 있다.In an embodiment, the server 1000 may determine the personal information corresponding to the most sensitive type of personal information as information capable of directly specifying an individual as the S grade 610 . For example, when the personal information 600 is the last digit of the resident number, card number, fingerprint, etc., the server 1000 may determine the sensitivity level of the personal information 600 as the highest sensitivity level S level 610 .

일 실시예에서, 서버(1000)는 개인을 간접적으로 특정 가능한 정보로, S등급(610)의 개인정보보다는 덜 민감한 개인정보 종류에 해당하는 개인정보들을 A등급(620)으로 결정할 수 있다. 예를 들어, 개인정보(600)가 주민번호 앞자리, 전화 번호, 얼굴, 이름, 등인 경우, 서버(1000)는 개인정보(600)의 민감 등급을, S등급(610) 다음으로 높은 민감 등급인 A등급(620)으로 결정할 수 있다.In an embodiment, the server 1000 may determine the personal information corresponding to the type of personal information less sensitive than the personal information of the S grade 610 as the A grade 620 as information capable of indirectly specifying an individual. For example, if the personal information 600 is the front digit of the resident number, phone number, face, name, etc., the server 1000 sets the sensitivity level of the personal information 600, It can be determined as grade A (620).

일 실시예에서, 서버(1000)는 기타 다른 민감도의 개인정보(600)를 B등급(630)으로 결정할 수 있다. 예를 들어, 개인정보(600)가 성별, 직업, 주소지 등인 경우, 서버(1000)는 개인정보(600)의 민감 등급을, A등급(620) 다음으로 높은 민감 등급인 B등급(630)으로 결정할 수 있다. 같은 방식으로, 서버(1000)는 개인정보(600)의 종류에 따라 개인정보(600)의 민감 등급을 다양한 등급(예를 들어, C등급, D등급 등)으로 결정할 수 있다.In an embodiment, the server 1000 may determine the personal information 600 of other sensitivity as the B grade 630 . For example, when the personal information 600 is gender, occupation, address, etc., the server 1000 sets the sensitivity level of the personal information 600 to the B level 630, which is the next highest sensitivity level after the A level 620. can decide In the same way, the server 1000 may determine the sensitivity level of the personal information 600 into various grades (eg, C grade, D grade, etc.) according to the type of personal information 600 .

도 7은 본 개시의 일 실시예에 따른 서버가 문서의 보안 등급을 결정하는 동작을 설명하기 위한 도면이다.7 is a diagram for describing an operation in which a server determines a security level of a document according to an embodiment of the present disclosure.

일 실시예에서, 서버(1000)는 개인정보의 민감 등급에 기초하여 문서(700)의 보안 등급을 결정할 수 있다. 문서(700)의 보안 등급이란, 주민등록증, 운전면허증, 계약서 등 문서 자체의 보안 등급으로, 문서에 포함되는 개인정보의 민감 등급과는 구별된다.In an embodiment, the server 1000 may determine the security level of the document 700 based on the sensitivity level of personal information. The security level of the document 700 is a security level of the document itself, such as a resident registration card, a driver's license, and a contract, and is distinguished from the sensitive level of personal information included in the document.

일 실시예에서, 서버(1000)는 문서(700)에 포함되는 개인정보들의 민감 등급에 기초하여, 문서(700)의 보안 등급을 결정할 수 있다.In an embodiment, the server 1000 may determine the security level of the document 700 based on the sensitivity level of personal information included in the document 700 .

예를 들어, 서버(1000)는 문서(700) 내 민감한 개인 정보 항목이 제1 임계값 이상인 경우, 문서(700)의 보안 등급을 중요 보안 문서(710)로 결정할 수 있다. 제1 임계값의 보다 구체적인 예를 들면, 제1 임계값 이상인 경우란, 문서(700)에 S등급 개인정보 수가 3가지 이상 또는 A등급 개인정보 수가 7가지 이상인 경우일 수 있다.For example, when the sensitive personal information item in the document 700 is equal to or greater than the first threshold, the server 1000 may determine the security level of the document 700 as the important security document 710 . As a more specific example of the first threshold value, the case of equal to or greater than the first threshold value may be a case in which the number of S-class personal information is three or more or the number of A-class personal information is seven or more in the document 700 .

또한, 서버(1000)는 문서(700) 내 민감한 개인정보 항목이 제1 임계값 미만이고, 제2 임계값 이상인 경우, 문서(700)의 보안 등급을 보안 문서(720)로 결정할 수 있다. 제2임계값의 보다 구체적인 예를 들면, 제2 임계값 이상인 경우란, 문서(700)에 S등급 개인정보 수가 2가지 이상 또는, A등급 개인정보 수가 5가지 이상인 경우일 수 있다.In addition, when the sensitive personal information item in the document 700 is less than the first threshold and greater than or equal to the second threshold, the server 1000 may determine the security level of the document 700 as the security document 720 . As a more specific example of the second threshold value, the second threshold or higher may be a case in which the number of S-class personal information is two or more or the number of A-class personal information is five or more in the document 700 .

또한, 서버(1000)는 문서(700) 내 민감한 개인정보 항목이 제2 임계값 미만이고, 제3 임계값 이상인 경우, 문서(700)의 보안 등급을 일반 문서(730)로 결정할 수 있다. 제3 임계값의 보다 구체적인 예를 들면, 제3 임계값 이상인 경우란, 문서(700)에 S등급 개인정보 수가 1가지 이상 또는, A등급 개인정보 수가 3가지 이상인 경우일 수 있다.In addition, when the sensitive personal information item in the document 700 is less than the second threshold and greater than or equal to the third threshold, the server 1000 may determine the security level of the document 700 as the general document 730 . As a more specific example of the third threshold value, the case where the third threshold value is greater than or equal to the third threshold value may be a case in which the number of S-grade personal information is one or more or the number of A-grade personal information is three or more in the document 700 .

같은 방식으로, 서버(1000)는 문서(700)에 포함된 개인정보의 민감 등급에따라 문서(700)의 보안 등급을 다양한 등급으로 결정할 수 있다.In the same way, the server 1000 may determine the security level of the document 700 into various levels according to the sensitivity level of the personal information included in the document 700 .

도 8은 본 개시의 일 실시예에 따른 서버가 사용자의 보안 등급을 결정하는 동작을 설명하기 위한 도면이다.8 is a diagram for explaining an operation in which a server determines a user's security level according to an embodiment of the present disclosure.

일 실시예에서, 서버(1000)는 기설정된 조건에 따라 사용자(110)의 보안 등급을 결정 및 업데이트 할 수 있다.In an embodiment, the server 1000 may determine and update the security level of the user 110 according to a preset condition.

일 실시예에서, 사용자(110)의 보안 등급이란 사용자(110)가 문서의 열람/입력/출력 등 문서를 처리하기 위한 권한의 정도를 나타낼 수 있다. 예를 들어, 사용자(110)의 보안 등급은 관리 등급, 일반 등급, 주의 등급을 포함할 수 있으나, 이에 한정되는 것은 아니다. 구체적으로, 관리 등급은 서버의 관리자 수준의 보안 등급으로, 관리 등급의 경우 문서에 포함되는 개인정보에 마스킹 없이 문서의 모든 정보를 열람 가능한 등급일 수 있다. 또한, 일반 등급은 문서에 포함되는 개인정보 중 민감 등급이 S급 이상인 개인정보에 대해서는 개인정보 보호를 위해 마스킹처리된 상태로 열람 가능한 등급일 수 있다. 또한, 주의 등급은 문서에 포함되는 개인 정보 중 모든 개인정보가 개인정보 보호를 위해 마스킹처리된 상태로 열람 가능한 등급일 수 있다.In an embodiment, the security level of the user 110 may indicate a degree of authority for the user 110 to process a document, such as reading/input/output of a document. For example, the security level of the user 110 may include a management level, a general level, and a caution level, but is not limited thereto. Specifically, the management level is a security level of the server administrator level, and in the case of the management level, all information of the document can be viewed without masking the personal information included in the document. In addition, the general grade may be a grade that can be read in a masked state for personal information protection for personal information with a sensitivity grade of S grade or higher among personal information included in the document. In addition, the attention level may be a level that can be viewed in a state in which all personal information among personal information included in the document is masked to protect personal information.

일 실시예에서, 서버(1000)는 사용자(110)의 초기 보안 등급을 결정할 수 있다. 예를 들어, 서버(1000)는 사용자(110)의 초기 보안 등급을 전술한 예시들인 관리 등급, 일반 등급 및 주의 등급 중 어느 하나로 결정할 수 있다.In an embodiment, the server 1000 may determine the initial security level of the user 110 . For example, the server 1000 may determine the initial security level of the user 110 as any one of the above-described examples of a management level, a general level, and a caution level.

일 실시예에 따른 서버(1000)는 문서 처리 서비스를 이용하는 사용자(110)의 사용 이력에 기초하여, 사용자의 보안 등급을 결정할 수 있다. 사용자(110)의 사용 이력이란, 사용자(110)가 서버(1000)에 접속하여 문서 처리 서비스를 사용한 이력을 말한다. 예를 들어, 사용 이력은 사용자(1000)가 이미지를 입력하여 어떠한 문서를 분류했는지, 사용자(110)가 분류한 문서 내에 어느 정도의 개인정보가 포함되어 있는지, 사용자(110)가 출력한 문서 내에 얼마만큼의 개인정보가 포함되어 있는지 등을 포함할 수 있다.The server 1000 according to an embodiment may determine the user's security level based on the usage history of the user 110 who uses the document processing service. The usage history of the user 110 refers to a history of the user 110 accessing the server 1000 and using the document processing service. For example, the usage history includes what kind of documents the user 1000 inputted and classified, how much personal information is included in the documents classified by the user 110 , and in the documents output by the user 110 . It may include how much personal information is included.

일부 실시예에서, 서버(1000)는 사용자 및/또는 관리자의 설정에 의해 초기 보안 등급을 관리 등급으로 결정할 수 있다. 또는, 서버(1000)는 사용 이력이 없는 사용자(110)에 대해서 보안 등급을 일반 등급으로 결정할 수 있다. 또는, 서버(1000)는 사용자(110)의 사용 이력에서 사용자(110)가 이전에 열람한 문서 중 ‘보안문서’에 해당되는 비율이 일정 비율(예를 들어, 70%) 이상이거나, S등급 개인정보를 포함하는 문서의 비율이 일정 비율(예를 들어, 90%) 이상인 경우, 사용자(110)의 문서 열람 권한을 조정하기 위하여 사용자(110)의 보안 등급을 주의 등급으로 결정할 수 있다.In some embodiments, the server 1000 may determine the initial security level as the management level according to a setting of a user and/or an administrator. Alternatively, the server 1000 may determine the security level as a general level for the user 110 without a use history. Alternatively, in the server 1000, a ratio corresponding to a 'security document' among documents previously read by the user 110 in the usage history of the user 110 is a certain ratio (eg, 70%) or more, or an S grade When the proportion of documents including personal information is greater than or equal to a certain percentage (eg, 90%), the security level of the user 110 may be determined as a caution level in order to adjust the document reading authority of the user 110 .

일 실시예에서, 서버(1000)는 기설정된 조건에 기초하여 사용자(110)의 보안 등급을 동적으로 조정할 수 있다.In an embodiment, the server 1000 may dynamically adjust the security level of the user 110 based on a preset condition.

일부 실시예에서, 기설정된 제1 조건(810)은 일정 시간마다 일 수 있다. 서버(1000)는 제1 조건(810)에 기초하여, 주기적으로 사용자(110)의 보안 등급 및 사용 이력을 확인하고, 사용자(110)의 사용 이력에 따라 사용자의 보안 등급을 조정할 수 있다. 예를 들어, 서버(1000)가 제1 조건(810)에 따라 일정 시간이 지난 후, 보안 등급이 일반 등급인 사용자(110)의 사용 이력을 분석한 결과, 사용자(110)의 문서 출력 이력이 없는 경우, 사용자(110)의 보안 등급을 일반 등급으로 유지할 수 있다.In some embodiments, the preset first condition 810 may be every predetermined time. The server 1000 may periodically check the security level and usage history of the user 110 based on the first condition 810 , and adjust the user's security level according to the usage history of the user 110 . For example, as a result of the server 1000 analyzing the usage history of the user 110 whose security level is the general level after a certain period of time has elapsed according to the first condition 810 , the document output history of the user 110 is If not, the security level of the user 110 may be maintained as a general level.

일부 실시예에서, 기설정된 제2 조건(820)은 사용자가 문서를 출력을 요청한 경우일 수 있다. 서버(1000)는 제2 조건(820)에 기초하여, 사용자(110)의 보안 등급 및 사용 이력을 확인하고, 사용자(110)의 사용 이력에 따라 사용자의 보안 등급을 조정할 수 있다. 예를 들어, 서버(1000)가 제2 조건(810)이 발생함에 따라 문서 출력을 요청한 사용자(110)의 사용 이력을 분석한 결과, 사용자(110)가 이전에 열람한 문서 중 ‘보안문서’에 해당되는 비율이 일정 비율(예를 들어, 70%) 이상이거나, S등급 개인정보를 포함하는 문서의 비율이 일정 비율(예를 들어, 90%) 이상이어서 사용자(110)의 문서 열람 권한의 조정이 필요한 경우, 사용자(110)의 보안 등급을 주의 등급으로 결정할 수 있다.In some embodiments, the preset second condition 820 may be a case in which a user requests to output a document. The server 1000 may check the security level and usage history of the user 110 based on the second condition 820 , and adjust the user's security level according to the usage history of the user 110 . For example, as a result of the server 1000 analyzing the usage history of the user 110 who requested the document output as the second condition 810 occurs, the 'security document' among the documents previously read by the user 110 If the ratio corresponding to is higher than a certain percentage (for example, 70%), or the ratio of documents containing S-grade personal information is greater than a certain percentage (for example, 90%), the user 110's document viewing right If adjustment is necessary, the security level of the user 110 may be determined as a caution level.

일 실시예에 따른 서버(1000)는 사용자의 보안 등급에 따라 처리된 문서를 사용자에게 제공할 수 있다. 이는 도 9를 참조하여 더 설명한다.The server 1000 according to an embodiment may provide a document processed according to the user's security level to the user. This will be further explained with reference to FIG. 9 .

도 9는 본 개시의 일 실시예에 따른 서버가 보안 등급에 따라 문서를 마스킹하는 동작을 설명하기 위한 도면이다.9 is a diagram for explaining an operation of a server masking a document according to a security level according to an embodiment of the present disclosure.

일 실시예에서, 서버(1000)는 사용자의 보안 등급을 식별하고, 사용자의 보안 등급에 따라 문서에 대한 개인정보 보호 처리를 차등적으로 적용할 수 있다.In an embodiment, the server 1000 may identify the user's security level, and differentially apply personal information protection processing to the document according to the user's security level.

일 실시예에서, 보안 등급이 관리 등급(910)인 사용자가 문서 출력을 요청하는 경우, 서버(1000)는 관리 등급에 대응하는 문서 처리 결과인 원본 문서(915)를 관리 등급(910)의 사용자에게 제공할 수 있다.In one embodiment, when a user whose security level is the management level 910 requests to output a document, the server 1000 returns the original document 915 that is a document processing result corresponding to the management level to the user of the management level 910 . can be provided to

일 실시예에서, 보안 등급이 일반 등급(920)인 사용자가 문서 출력을 요청하는 경우, 서버(1000)는 일반 등급에 대응하는 문서 처리 결과인, 개인정보 일부가 마스킹된 문서(925)를 일반 등급(920)의 사용자에게 제공할 수 있다.In an embodiment, when a user whose security level is a general level 920 requests a document output, the server 1000 generalizes a document 925 in which a part of personal information is masked, which is a document processing result corresponding to the general level. It can be provided to the user of the rating 920 .

일 실시예에서, 보안 등급이 주의 등급(930)인 사용자가 문서 출력을 요청하는 경우, 서버(1000)는 주의 등급에 대응하는 문서 처리 결과인, 개인정보 전부가 마스킹된 문서(935)를 주의 등급(930)의 사용자에게 제공할 수 있다. 일부 실시예에서, 주의 등급(930)의 사용자가 문서 출력을 요청하는 경우, 서버(1000)는 관리 등급(910)의 사용자에게 주의 등급(930)의 사용자가 문서 출력을 요청하고 있음을 나타내는 알림을 전송할 수 있다. 이 경우, 서버(1000)는 관리 등급(910) 사용의 승인을 획득함에따라 주의 등급(930)의 사용자에게 문서를 제공할 수 있다.In one embodiment, when a user whose security level is the caution level 930 requests to output a document, the server 1000 pays attention to the document 935 in which all of the personal information is masked, which is a document processing result corresponding to the caution level It can be provided to the user of the grade 930 . In some embodiments, when the user of the attention level 930 requests the document output, the server 1000 notifies the user of the management level 910 that the user of the attention level 930 is requesting the document output can be transmitted. In this case, the server 1000 may provide the document to the user of the attention level 930 as it obtains permission to use the management level 910 .

일 실시예에 따른 서버(1000)는 사용자가 개인정보가 포함된 문서를 열람/입력/출력 등의 문서 처리 요청시, 사용자의 보안 등급에 따라 문서에 대하여 차등적으로 개인정보 보호 처리를 할 수 있다. 일부 실시예에서, 서버(1000)는 주의 등급의 사용자의 문서 처리 요청에 대하여, 별도의 추가 인증 절차(예를 들어, 관리자 승인, 본인 인증 등)를 요청할 수 있다.The server 1000 according to an embodiment may differentially process personal information protection for documents according to the user's security level when a user requests a document processing such as reading/inputting/outputting a document containing personal information. there is. In some embodiments, the server 1000 may request a separate additional authentication procedure (eg, administrator approval, user authentication, etc.) in response to a document processing request of a user with a caution level.

한편, 개시된 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 컴퓨터 판독 가능 매체는, 비일시적(non-transitory) 기록매체의 형태로 제공될 수 있다. 여기서, 비일시적 기록매체는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 기록매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.On the other hand, the disclosed embodiments may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, magnetic-type disks such as floppy disks. Included are magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The computer-readable medium may be provided in the form of a non-transitory recording medium. Here, the non-transitory recording medium is a tangible device and only means that it does not contain a signal (eg, electromagnetic wave), and this term means that data is semi-permanently stored on the recording medium and temporarily stored It does not distinguish between cases where For example, the 'non-transitory storage medium' may include a buffer in which data is temporarily stored.

이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.Although the embodiments have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements by those skilled in the art using the basic concept of the present invention as defined in the following claims are also included in the scope of the present invention. belongs to

Claims (10)

서버가 인공지능 딥러닝 모델을 이용하여 문서 처리 서비스를 제공하는 방법에 있어서,
상기 문서가 포함되는 이미지를 획득하는 단계;
상기 이미지에 광학 문자 인식(Optical Character Recognition; OCR)을 적용하여 글자를 인식하는 단계;
상기 인공지능 딥러닝 모델을 이용하여 상기 문서의 종류를 식별하는 단계;
상기 인식된 글자를 기반으로 상기 문서에 포함되는 개인정보를 식별하는 단계;
상기 개인정보를 사용자 데이터베이스 내에 저장된 사용자 정보와 매칭시켜 저장하는 단계;
상기 문서의 출력 요청이 식별됨에 따라, 상기 문서에 포함된 상기 개인정보의 적어도 일부를 마스킹처리하는 단계; 및
상기 마스킹처리된 문서를 제공하는 단계를 포함하고,
상기 문서의 종류는,
상기 개인정보를 포함하는 카드, 신분증, 명함, 등본, 각종 증명서, 영수증, 전표 및 전자문서 중 적어도 하나이고,
상기 저장하는 단계는,
상기 문서를 종류별로 분류하여 저장하는 단계를 포함하고,
상기 저장하는 단계는,
상기 사용자 데이터베이스 내에 상기 개인정보와 매칭되는 사용자 정보가 없는 경우, 새로운 사용자 정보를 생성하여 상기 사용자 데이터베이스에 저장하는 단계를 더 포함하고,
상기 문서 처리 서비스를 제공하는 방법은,
상기 개인정보의 종류를 식별하는 단계; 및
상기 개인정보의 종류에 기초하여 상기 개인정보의 민감 등급을 결정하는 단계를 더 포함하고,
상기 문서 처리 서비스를 제공하는 방법은,
상기 개인정보의 민감 등급에 기초하여, 상기 문서의 보안 등급을 결정하는 단계를 더 포함하는, 문서 처리 서비스를 제공하는 방법.In a method for a server to provide a document processing service using an artificial intelligence deep learning model,
obtaining an image including the document;
Recognizing characters by applying Optical Character Recognition (OCR) to the image;
identifying the type of the document using the artificial intelligence deep learning model;
identifying personal information included in the document based on the recognized characters;
storing the personal information by matching it with user information stored in a user database;
masking at least a portion of the personal information included in the document as the output request of the document is identified; and
providing the masked document;
The type of document is
At least one of a card, identification card, business card, certified copy, various certificates, receipts, slips, and electronic documents containing the personal information;
The storing step is
classifying and storing the document by type;
The storing step is
When there is no user information matching the personal information in the user database, the method further comprising the step of creating new user information and storing it in the user database,
A method of providing the document processing service,
identifying the type of personal information; and
Further comprising the step of determining the sensitivity level of the personal information based on the type of personal information,
A method of providing the document processing service,
Based on the sensitivity level of the personal information, further comprising the step of determining the security level of the document, the method of providing a document processing service. 삭제delete 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 문서 처리 서비스를 제공하는 방법은,
상기 문서 처리 서비스를 이용하는 사용자의 사용 이력에 기초하여, 사용자 데이터베이스 내에 저장된 사용자의 보안 등급을 동적으로 조정하는 단계를 더 포함하는, 문서 처리 서비스를 제공하는 방법.According to claim 1,
A method of providing the document processing service,
The method of claim 1, further comprising: dynamically adjusting a security level of a user stored in a user database based on a usage history of the user who uses the document processing service. 제6항에 있어서,
상기 사용 이력은,
사용자가 이전에 열람했던 문서들 중에서, 보안 등급이 소정 등급 이상인 문서의 비율 및 사용자가 이전에 열람했던 문서들에 포함되는 개인정보 중에서 민감 등급이 소정 등급 이상인 문서의 비율 중 적어도 하나를 포함하는 것인, 문서 처리 서비스를 제공하는 방법.7. The method of claim 6,
The usage history is
Including at least one of the proportion of documents having a security level higher than or equal to a predetermined level among documents previously viewed by the user and the proportion of documents having a higher level of sensitivity among personal information included in documents previously viewed by the user In, how to provide document processing services. 제7항에 있어서,
상기 마스킹하는 단계는,
상기 문서의 출력을 요청한 사용자의 보안 등급에 기초하여 마스킹 영역을 결정하는 단계를 포함하는, 문서 처리 서비스를 제공하는 방법.8. The method of claim 7,
The masking step is
and determining a masking area based on a security level of a user who has requested the output of the document. 제1항, 제6항 내지 제8항 중 어느 한 항의 문서 처리 서비스를 제공하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium in which a program for executing the method of providing a document processing service according to any one of claims 1 to 8 on a computer is recorded. 인공지능 딥러닝 모델을 이용하여 문서 처리 서비스를 제공하는 서버에 있어서,
통신 인터페이스;
하나 이상의 인스트럭션을 저장하는 메모리; 및
상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 문서가 포함되는 이미지를 획득하고,
상기 이미지에 광학 문자 인식(Optical Character Recognition; OCR)을 적용하여 글자를 인식하고,
상기 인공지능 딥러닝 모델을 이용하여 상기 문서의 종류를 식별하고,
상기 인식된 글자를 기반으로 상기 문서에 포함되는 개인정보를 식별하고,
상기 개인정보를 사용자 데이터베이스 내에 저장된 사용자 정보와 매칭시켜 저장하고,
상기 문서의 출력 요청이 식별됨에 따라, 상기 문서에 포함된 상기 개인정보의 적어도 일부를 마스킹처리하고,
상기 마스킹처리된 문서를 제공하며,
상기 문서의 종류는,
상기 개인정보를 포함하는 카드, 신분증, 명함, 등본, 각종 증명서, 영수증, 전표 및 전자문서 중 적어도 하나이고,
상기 프로세서는,
상기 문서를 종류별로 분류하여 저장하고,
상기 사용자 데이터베이스 내에 상기 개인정보와 매칭되는 사용자 정보가 없는 경우, 새로운 사용자 정보를 생성하여 상기 사용자 데이터베이스에 저장하고,
상기 개인정보의 종류를 식별하고, 상기 개인정보의 종류에 기초하여 상기 개인정보의 민감 등급을 결정하고,
상기 개인정보의 민감 등급에 기초하여, 상기 문서의 보안 등급을 결정하는, 문서 처리 서비스를 제공하는 서버.In a server that provides a document processing service using an artificial intelligence deep learning model,
communication interface;
a memory storing one or more instructions; and
a processor executing the one or more instructions stored in the memory;
The processor, by executing the one or more instructions,
Obtaining an image including the document,
Recognize letters by applying Optical Character Recognition (OCR) to the image,
Identify the type of the document using the artificial intelligence deep learning model,
Identifies personal information included in the document based on the recognized characters,
Matching and storing the personal information with user information stored in a user database,
As the output request of the document is identified, at least a portion of the personal information included in the document is masked,
Provide the masked document,
The type of document is
At least one of a card, identification card, business card, certified copy, various certificates, receipts, slips, and electronic documents containing the personal information,
The processor is
Classify and store the documents by type;
When there is no user information matching the personal information in the user database, new user information is created and stored in the user database,
Identify the type of personal information, determine the sensitivity level of the personal information based on the type of personal information,
Based on the sensitivity level of the personal information, the server for providing a document processing service to determine the security level of the document.
KR1020220018332A 2021-02-24 2022-02-11 Method and server for providing document processing service using artificial intelligence deep learning KR102388781B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220047015A KR102643368B1 (en) 2021-02-24 2022-04-15 Method and server for automatic document processing for privacy protection based on artificial intelligence

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210024630 2021-02-24
KR20210024630 2021-02-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220047015A Division KR102643368B1 (en) 2021-02-24 2022-04-15 Method and server for automatic document processing for privacy protection based on artificial intelligence

Publications (1)

Publication Number Publication Date
KR102388781B1 true KR102388781B1 (en) 2022-04-20

Family

ID=81395546

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020220018332A KR102388781B1 (en) 2021-02-24 2022-02-11 Method and server for providing document processing service using artificial intelligence deep learning
KR1020220047015A KR102643368B1 (en) 2021-02-24 2022-04-15 Method and server for automatic document processing for privacy protection based on artificial intelligence

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220047015A KR102643368B1 (en) 2021-02-24 2022-04-15 Method and server for automatic document processing for privacy protection based on artificial intelligence

Country Status (1)

Country Link
KR (2) KR102388781B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102668190B1 (en) * 2023-09-18 2024-05-23 주식회사 피앤피시큐어 JavaScript engine checksum method and system for reducing personal information detection errors in personal information monitoring systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070016621A (en) * 2005-08-04 2007-02-08 삼성전자주식회사 Apparatus and method for displaying program rating and rating on the basis of viewer ages
KR101585029B1 (en) * 2015-05-13 2016-01-13 (주)코드원시스템 Recognition and classification system of document
KR20160059001A (en) * 2014-11-17 2016-05-26 주식회사 제니스에스티 Electronic Document Management System for Trade Secret based on Document Controll Module and Method thereof
KR20180099180A (en) * 2017-02-28 2018-09-05 주식회사 소원네트웍스 Method and server for information security of electronic document
KR20190110873A (en) 2018-03-21 2019-10-01 주식회사 피앤피소프트 Method and apparatus for extraciting text data from nonlinear text image

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150027567A (en) * 2013-09-04 2015-03-12 주식회사 마크애니 Integrated document management system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070016621A (en) * 2005-08-04 2007-02-08 삼성전자주식회사 Apparatus and method for displaying program rating and rating on the basis of viewer ages
KR20160059001A (en) * 2014-11-17 2016-05-26 주식회사 제니스에스티 Electronic Document Management System for Trade Secret based on Document Controll Module and Method thereof
KR101585029B1 (en) * 2015-05-13 2016-01-13 (주)코드원시스템 Recognition and classification system of document
KR20180099180A (en) * 2017-02-28 2018-09-05 주식회사 소원네트웍스 Method and server for information security of electronic document
KR20190110873A (en) 2018-03-21 2019-10-01 주식회사 피앤피소프트 Method and apparatus for extraciting text data from nonlinear text image

Also Published As

Publication number Publication date
KR102643368B1 (en) 2024-03-05
KR20220121223A (en) 2022-08-31

Similar Documents

Publication Publication Date Title
US11973877B2 (en) Systems and methods for secure tokenized credentials
CN111886842B (en) Remote user authentication using threshold-based matching
US10482280B2 (en) Structured text and pattern matching for data loss prevention in object-specific image domain
US20200184210A1 (en) Multi-modal document feature extraction
US20200104834A1 (en) Using a customer id in a mobile wallet to make a transaction
EP3850508A1 (en) Remotely verifying an identity of a person
US11721116B2 (en) Managing camera actions
KR102388781B1 (en) Method and server for providing document processing service using artificial intelligence deep learning
KR101607622B1 (en) Print management server for security of mobile printing environment and control method thereof
US9965753B2 (en) Scanner image routing (SIR)
US20200302076A1 (en) Document processing apparatus and non-transitory computer readable medium
WO2023192808A1 (en) Authentication of age, gender, and other biometric data from live images of users
CN113888760B (en) Method, device, equipment and medium for monitoring violation information based on software application
KR101557031B1 (en) Method and system for performing image contents registration service
KR20230030907A (en) Method for fake video detection and apparatus for executing the method
KR20210150999A (en) Quarantine management using qr codes and the controlling method thereof
Rajalingam Text Segmentation and Recognition for Enhanced Image Spam Detection: An Integrated Approach
CN110674847A (en) Card classification storage method and device, computer equipment and storage medium
US20240112486A1 (en) Fake Signature Detection
US11645372B2 (en) Multifactor handwritten signature verification
KR20230036221A (en) Apparatus and method for protecting personal information for web services
US11436853B1 (en) Document authentication
US20220405499A1 (en) Method and system for extracting information from a document
Аміргалієв et al. Automating the customer verification process in a car sharing system based on machine learning methods
KR20220169231A (en) Generating file of distinct writer based on handwriting text

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant