KR20230040626A - Apparatus, system and method for authenticating a driver using facial recognition - Google Patents

Abstract

An embodiment of the present invention provides a method for authenticating a vehicle driver through a communication connection between a server and a terminal. The method includes the steps of: acquiring, by a terminal, a current driver's license image of a driver; obtaining, by the terminal, a current facial image of the driver; and determining whether the facial image included in the license image matched with the vehicle and stored in a server, the facial image included in the current license image, and the current facial image of the driver match. Therefore, it is possible to prevent an unauthorized driver from driving.

Description

안면 인식을 이용한 운전자 인증 장치, 시스템 및 방법{APPARATUS, SYSTEM AND METHOD FOR AUTHENTICATING A DRIVER USING FACIAL RECOGNITION}Apparatus, system and method for driver authentication using facial recognition

본 발명은 안면 인식을 이용한 운전자 인증 장치, 시스템 및 방법에 관한 것으로, 더욱 상세하게는, 차량 내 단말에 의해 인식되는 면허증 사진과 상기 차량에 매칭되어 서버에 기저장된 면허증 사진 및 상기 단말을 이용하여 상기 차량의 운전자의 안면을 촬영하여 획득한 안면 이미지를 토대로 안면 인식 기술을 이용하여 이미지들 각각에 나타난 인물이 동일인인지 여부를 판단하여 운전자의 인증을 수행하도록 구성되는 운전자 인증 장치, 시스템 및 방법에 관한 것이다.The present invention relates to an apparatus, system, and method for driver authentication using facial recognition, and more particularly, by using a driver's license photo recognized by an in-vehicle terminal and a driver's license photo previously stored in a server that is matched with the vehicle and the terminal. A driver authentication device, system, and method configured to perform driver authentication by determining whether a person appearing in each of the images is the same person using face recognition technology based on a face image obtained by photographing the face of the driver of the vehicle. it's about

자동차 구입비, 세금, 보험료, 주유비 등 자동차를 소유할 경우에 발생하는 부대비용과 주차장 문제, 환경오염 문제 등 자동차 운행에 수반되는 문제들이 나날이 증가하고 있다. 이에 따라, 차량 수요자들이 자동차를 개별적으로 소유하는 것이 아니라 렌트, 카쉐어링 등 필요한 경우에만 자동차를 사용할 수 있는 자동차 공유 서비스가 점차 많아지고 있다. Problems associated with driving a car, such as incidental expenses incurred when owning a car, such as car purchase costs, taxes, insurance premiums, and fuel costs, parking problems, and environmental pollution problems, are increasing day by day. Accordingly, there are gradually increasing number of car sharing services in which car demanders can use cars only when necessary, such as rental or car sharing, rather than individually owning cars.

종래에는 차량 공유 서비스 이용자가 전화 또는 대면 예약을 진행한 후 차량 공유 서비스 제공자로부터 차키를 전달 받아 지정된 차량을 이용하는 방식으로 서비스가 이루어졌다. 그러나, 최근 IT 기술의 발달과 사용자 편의성 및 안전성 등을 고려하여 비대면 방식으로 차량 공유 서비스가 이루어지고 있다. 예컨대, 차량 공유 서비스 이용자는 어플리케이션 등을 통해 온라인 예약을 진행하고, 어플리케이션에 구비된 디지털키 또는 스마트키 등의 기능을 이용하여 지정된 차량을 사용할 수 있다.Conventionally, service has been performed in such a way that a vehicle sharing service user makes a phone or face-to-face reservation, receives a car key from a vehicle sharing service provider, and uses a designated vehicle. However, in recent years, vehicle sharing services have been implemented in a non-face-to-face manner in consideration of the development of IT technology and user convenience and safety. For example, a vehicle sharing service user may make an online reservation through an application or the like and use a designated vehicle by using functions such as a digital key or a smart key provided in the application.

한편, 위와 같은 비대면 방식을 통해 차량 공유 서비스를 사용함에 따라 무면허자의 운전 사례, 운전 면허 도용을 통한 운전 사례가 발생하고 있다. 특히, 미성년자가 부모님의 면허증을 이용하여 별도의 인증 수단 없이 차량 공유 서비스를 이용하는 사례와 면허증을 도용하여 차량 공유 서비스를 범죄에 이용하는 사례가 증가하고 있다. 따라서, 차량을 운전할 수 있는 권한을 가진 자만이 차량을 운전할 수 있도록 하는 인증 기술이 필요한 실정이다. On the other hand, as the vehicle sharing service is used through the above non-face-to-face method, cases of driving by unlicensed persons and cases of driving through theft of driver's licenses are occurring. In particular, cases of minors using car sharing services using their parents' licenses without a separate authentication method and cases of stealing licenses and using car sharing services for crimes are increasing. Therefore, there is a need for an authentication technology that allows only a person with authority to drive a vehicle to drive the vehicle.

본 발명은 전술한 문제점을 해결하기 위한 것으로, 차량 내 단말에 의해 인식되는 면허증 사진과 상기 차량에 매칭되어 서버에 기저장된 면허증 사진 및 상기 단말을 이용하여 상기 차량의 운전자의 안면을 촬영하여 획득한 안면 이미지를 토대로 안면 인식 기술을 이용하여 이미지들 각각에 나타난 인물이 동일인인지 여부를 판단하여 운전자의 인증을 수행하도록 구성되는 운전자 인증 장치, 시스템 및 방법을 제공하는 것을 일 기술적 과제로 한다. The present invention is intended to solve the above-mentioned problems, and a license photo recognized by a terminal in a vehicle is matched with the vehicle and obtained by photographing the driver's face of the vehicle using the driver's license photo previously stored in the server and the terminal. It is a technical task to provide a driver authentication device, system, and method configured to perform driver authentication by determining whether a person appearing in each of the images is the same person using face recognition technology based on a face image.

본 발명이 이루고자 하는 기술적 과제들은 상기한 기술적 과제로 제한되지 않으며, 이하의 설명으로부터 본 발명의 또 다른 기술적 과제들이 도출될 수 있다.The technical problems to be achieved by the present invention are not limited to the above technical problems, and other technical problems of the present invention can be derived from the following description.

상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 발명의 제1 측면에 따른 실시예는, 서버와 단말의 통신 연결을 통해 차량의 운전자를 인증하는 방법을 제공한다. 본 방법은, 상기 단말이 상기 운전자의 현재 면허증 이미지를 획득하는 단계, 상기 단말이 상기 운전자의 현재 안면 이미지를 획득하는 단계, 그리고, 상기 차량과 매칭되어 상기 서버에 저장된 면허증 이미지에 포함된 안면 이미지, 상기 현재 면허증 이미지에 포함된 안면 이미지 및 상기 운전자의 현재 안면 이미지의 일치 여부를 판단하는 단계를 포함한다. As a technical means for solving the above technical problem, an embodiment according to the first aspect of the present invention provides a method for authenticating a driver of a vehicle through a communication connection between a server and a terminal. The method includes the steps of obtaining, by the terminal, a current driver's license image of the driver, the step of obtaining, by the terminal, a current facial image of the driver, and the facial image included in the driver's license image matched with the vehicle and stored in the server. , determining whether the facial image included in the current driver's license image and the driver's current facial image match.

또한, 본 발명의 제2 측면에 따른 실시예는, 서버와의 통신 연결을 통해 차량의 운전자를 인증하는 장치를 제공한다. 본 장치는, 상기 서버와의 정보 송수신을 수행하는 통신 모듈, 운전자 인식 프로그램을 저장하는 메모리, 상기 운전자의 면허증을 인식하는 인식 모듈, 상기 운전자의 안면 이미지를 획득하는 카메라 모듈, 그리고, 상기 메모리에 저장된 운전자 인식 프로그램을 실행하는 프로세서를 포함한다. 상기 프로세서는 상기 운전자 인식 프로그램을 실행하여, 상기 인식 모듈을 이용하여 상기 운전자의 현재 면허증 이미지를 획득하고, 상기 카메라 모듈을 이용하여 상기 운전자의 현재 안면 이미지를 획득하고, 그리고, 상기 차량과 매칭되어 상기 서버에 저장된 면허증 이미지에 포함된 안면 이미지, 상기 현재 면허증 이미지에 포함된 안면 이미지 및 상기 운전자의 현재 안면 이미지의 일치 여부를 판단하도록 구성된다. In addition, an embodiment according to a second aspect of the present invention provides an apparatus for authenticating a driver of a vehicle through a communication connection with a server. The device includes a communication module for transmitting and receiving information with the server, a memory for storing a driver recognition program, a recognition module for recognizing the driver's license, a camera module for acquiring the driver's face image, and and a processor that executes the stored driver recognition program. The processor executes the driver recognition program, obtains a current driver's license image of the driver using the recognition module, obtains a current facial image of the driver using the camera module, and is matched with the vehicle. It is configured to determine whether a facial image included in a driver's license image stored in the server, a facial image included in the current driver's license image, and the driver's current facial image match.

또한, 본 발명의 제3 측면에 따른 실시예는, 단말과의 통신 연결을 통해 차량의 운전자를 인증하는 시스템을 제공한다. 본 시스템은, 상기 단말과의 정보 송수신을 수행하는 통신 모듈, 운전자 인증 프로그램을 저장하는 메모리, 상기 메모리에 저장된 운전자 인증 프로그램을 실행하는 프로세서를 포함한다. 상기 프로세서는 상기 운전자 인증 프로그램을 실행하여, 상기 통신 모듈을 통해 상기 단말이 획득한 상기 운전자의 현재 면허증 이미지를 획득하고, 상기 통신 모듈을 통해 상기 단말이 획득한 상기 운전자의 현재 안면 이미지를 획득하고, 그리고, 상기 차량과 매칭되어 상기 메모리에 저장된 면허증 이미지에 포함된 안면 이미지, 상기 현재 면허증 이미지에 포함된 안면 이미지 및 상기 운전자의 현재 안면 이미지의 일치 여부를 판단하도록 구성된다. In addition, an embodiment according to a third aspect of the present invention provides a system for authenticating a driver of a vehicle through a communication connection with a terminal. The system includes a communication module for transmitting and receiving information with the terminal, a memory for storing a driver authentication program, and a processor for executing the driver authentication program stored in the memory. the processor executes the driver authentication program, obtains a current driver's license image obtained by the terminal through the communication module, and acquires a current facial image of the driver obtained by the terminal through the communication module; And, it is configured to determine whether a face image included in a driver's license image matched with the vehicle and stored in the memory, a face image included in the current driver's license image, and the driver's current face image match.

본 발명에 따르면, 차량 내 단말을 이용하여 상기 차량의 운전자의 면허증 사진을 인식할 수 있고, 상기 차량 내 단말의 카메라 모듈을 이용하여 상기 차량의 운전자의 안면 촬영 이미지를 획득할 수 있으며, 상기 차량에 매칭되어 서버에 기저장된 면허증 사진과 상기 단말이 획득한 이미지들을 토대로 안면 인식 기술을 이용하여 이미지들 각각에 나타난 인물이 동일인인지 여부를 판단할 수 있다. According to the present invention, a driver's license photo of the driver of the vehicle may be recognized using a terminal in the vehicle, and a face photographed image of the driver of the vehicle may be obtained using a camera module of the in-vehicle terminal, and the vehicle It is possible to determine whether the person appearing in each of the images is the same person by using face recognition technology based on the driver's license photo pre-stored in the server and the images acquired by the terminal.

또한, 본 발명에 따르면, 공유 차량 서비스를 이용하여 차량을 대여한 자에 대해 운전자 인증을 수행할 수 있으며, 이를 통해, 미인증 운전자의 운전을 방지할 수 있다. Further, according to the present invention, driver authentication may be performed on a person who rents a vehicle using a shared vehicle service, and through this, driving by an unauthorized driver may be prevented.

또한, 본 발명에 따르면. 차량에 운전자 인증을 위한 단말을 설치하는 방식을 통해 이미 출고된 차량에도 운전자 인증 기능을 손쉽게 적용할 수 있다. Also, according to the present invention. By installing a terminal for driver authentication in a vehicle, the driver authentication function can be easily applied to vehicles that have already been shipped.

본 발명의 효과들은 상술한 효과들로 제한되지 않으며, 이하의 기재로부터 이해되는 모든 효과들을 포함한다. The effects of the present invention are not limited to the effects described above, and include all effects understood from the following description.

도 1은 발명은 본 발명의 일 실시예에 따른 운전자 인증 시스템 및 이와 통신 연결된 운전자 인증 장치를 도시한 도면이다.
도 2는 도 1에 도시된 운전자 인증 시스템의 구성을 도시한 도면이다.
도 3은 도 1에 도시된 운전자 인증 장치를 도시한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 운전자 인증 방법의 순서를 도시한 흐름도이다.
도 5 내지 도 7은 도 4에 도시된 운전자 인증 방법의 세부 단계들을 도시한 도면이다. 1 is a diagram illustrating a driver authentication system and a driver authentication device communicatively connected thereto according to an embodiment of the present invention.
2 is a diagram showing the configuration of the driver authentication system shown in FIG. 1 ;
FIG. 3 is a diagram illustrating the driver authentication device shown in FIG. 1 .
4 is a flowchart illustrating a sequence of a driver authentication method according to another embodiment of the present invention.
5 to 7 are diagrams illustrating detailed steps of the driver authentication method shown in FIG. 4 .

이하에서는 첨부한 도면을 참조하여 본 발명을 상세히 설명하기로 한다. 다만, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예들로 한정되는 것은 아니다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않는다. 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미로 해석되어야 한다. 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 추가적으로 갖는 것으로 해석되어야 하며, 별도로 정의되지 않는 한 매우 이상적이거나 제한적인 의미로 해석되지 않는다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. However, the present invention may be implemented in many different forms, and is not limited to the embodiments described herein. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in this specification, and the technical ideas disclosed in this specification are not limited by the accompanying drawings. All terms including technical terms and scientific terms used herein should be interpreted as meanings commonly understood by those of ordinary skill in the art to which the present invention belongs. The terms defined in the dictionary should be interpreted as having additional meanings corresponding to the related technical literature and the currently disclosed content, and are not interpreted in a very ideal or limiting sense unless otherwise defined.

도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 도면에 나타난 각 구성요소의 크기, 형태, 형상은 다양하게 변형될 수 있다. 명세서 전체에 대하여 동일/유사한 부분에 대해서는 동일/유사한 도면 부호를 붙였다. In order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and the size, shape, and shape of each component shown in the drawings may be variously modified. Same/similar reference numerals are assigned to the same/similar parts throughout the specification.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 “부” 등은 명세서 작성의 용이함만이 고려되어 부여 되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하였다.The suffixes "module" and "unit" for the components used in the following description are given or used interchangeably in consideration of ease of writing the specification, and do not have meanings or roles that are distinguished from each other by themselves. In addition, in describing the embodiments disclosed in this specification, if it is determined that a detailed description of related known technologies may obscure the gist of the embodiments disclosed in this specification, the detailed description is omitted.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉 또는 결합)"되어 있다고 할 때, 이는 "직접적으로 연결(접속, 접촉 또는 결합)"되어 있는 경우뿐만 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결 (접속, 접촉 또는 결합)"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함(구비 또는 마련)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 "포함(구비 또는 마련)"할 수 있다는 것을 의미한다. Throughout the specification, when a part is said to be “connected (connected, contacted, or combined)” with another part, this is not only the case where it is “directly connected (connected, contacted, or coupled)”, but also has other members in the middle. It also includes the case of being "indirectly connected (connected, contacted, or coupled)" between them. In addition, when a part "includes (provides or provides)" a certain component, it does not exclude other components, but "includes (provides or provides)" other components unless otherwise specified. means you can

본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 나타내는 용어들은 하나의 구성 요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 구성 요소들의 순서나 관계를 제한하지 않는다. 예를 들어, 본 발명의 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소도 제1구성 요소로 명명될 수 있다. 본 명세서에서 사용되는 단수 표현의 형태들은 명백히 반대의 의미를 나타내지 않는 한 복수 표현의 형태들도 포함하는 것으로 해석되어야 한다. Terms indicating ordinal numbers such as first and second used in this specification are used only for the purpose of distinguishing one element from another, and do not limit the order or relationship of elements. For example, a first element of the present invention may be termed a second element, and similarly, the second element may also be termed a first element. Singular forms used herein should be construed to include plural forms as well, unless the meaning is clearly indicated to the contrary.

본 명세서 상에서 설명되는 통신 모듈은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치를 포함할 수 있다. 메모리는 통신 모듈로 입력되는 데이터, 프로세서에 의해 수행되는 기능에 필요한 데이터 및 프로세서의 실행에 따라 생성된 데이터 중 적어도 어느 하나를 저장할 수 있다. 메모리는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력을 필요로 하는 휘발성 저장장치를 통칭하는 것으로 해석되어야 한다. 또한, 메모리는 프로세서가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 메모리는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 프로세서는 데이터를 제어 및 처리하는 다양한 종류의 장치들을 포함할 수 있다. 프로세서는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 일 예에서, 프로세서는 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 형태로 구현될 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. The communication module described herein may include a device including hardware and software necessary for transmitting and receiving a signal such as a control signal or a data signal to and from another network device through a wired or wireless connection. The memory may store at least one of data input to the communication module, data necessary for functions performed by the processor, and data generated according to execution of the processor. Memory should be interpreted as collectively referring to a non-volatile storage device that continuously retains stored information even when power is not supplied and a volatile storage device that requires power to maintain stored information. Also, the memory may temporarily or permanently store data processed by the processor. The memory may include magnetic storage media or flash storage media in addition to volatile storage devices that require power to maintain stored information, but the scope of the present invention is not limited thereto. A processor may include various types of devices that control and process data. A processor may refer to a data processing device embedded in hardware having a physically structured circuit to perform functions expressed by codes or instructions included in a program. In one example, the processor includes a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated circuit (ASIC), and a field programmable gate (FPGA). array), etc., but the scope of the present invention is not limited thereto.

도 1은 발명은 본 발명의 일 실시예에 따른 운전자 인증 시스템(100) 및 이와 통신 연결된 운전자 인증 장치(200)를 도시한 도면이고, 도 2는 운전자 인증 시스템(100)의 구성을 도시한 도면이며, 도 3은 운전자 인증 장치(200)를 도시한 도면이다. 이하에서, 도 1 내지 도 3을 참조하여 본 발명의 실시예들을 상세하게 설명하도록 한다. 1 is a diagram showing a driver authentication system 100 according to an embodiment of the present invention and a driver authentication device 200 communicatively connected thereto, and FIG. 2 is a diagram showing the configuration of the driver authentication system 100 3 is a diagram showing the driver authentication device 200. Hereinafter, embodiments of the present invention will be described in detail with reference to FIGS. 1 to 3 .

도 1을 참조하면, 운전자 인증 시스템(100)은 운전자 인증 장치(200)와 통신 연결되어 운전자 인증 및 실시간 운전 모니터링을 수행할 수 있다. 일 예에서, 운전자 인증 시스템(100)은 운전자 인증 장치(200)로 운전자 인증을 수행하라는 명령을 전송할 수 있고, 운전자 인증이 수해되기 전까지 차량의 시동 제어와 연동된 운전자 인증 시스템(100) 및 운전자 인증 장치(200) 중 적어도 어느 하나 이상에 의해 차량의 시동이 걸리지 않도록 설정될 수 있다. 운전자 인증 장치(200)는 운전자 인증 시스템(100)으로 운전자의 면허증 사진과 운전자의 현재 안면 이미지를 전송할 수 있다. 이 ‹š, 안면 인식 기술이 사용될 수 있다. 다른 예에서, 차량의 내부에 설치된 운전자 인증 장치(200)가 운전자의 운행 시작을 위해 운전 모니터링 시스템(100)에게 운행 시작을 요청하면, 운전자 인증 시스템(100)은 운전자의 인증 사진을 전송할 것을 운전자 인증 장치(200)에 요청하고, 운전자 인증 장치(200)는 운전자의 안면 인식을 수행할 수 있다. 운전자 인증 장치(200)는 차량 내부 대시보드 또는 차량 룸미러에 부착될 수 있다. 상술한 내용을 포함하여 이하에서 설명되는 “운전자”라는 단어는 모두 같은 사용자를 나타내고 “차량” 역시 모두 같은 차량을 나타낸다. Referring to FIG. 1 , the driver authentication system 100 is communicatively connected to the driver authentication device 200 to perform driver authentication and real-time driving monitoring. In one example, the driver authentication system 100 may transmit a command to perform driver authentication to the driver authentication device 200, and the driver authentication system 100 interlocked with vehicle start control until the driver authentication is accepted, and the driver It may be set so that the vehicle is not started by at least one of the authentication devices 200 . The driver authentication device 200 may transmit the driver's license photo and the driver's current face image to the driver authentication system 100 . In this , facial recognition technology can be used. In another example, when the driver authentication device 200 installed inside the vehicle requests the driving monitoring system 100 to start driving, the driver authentication system 100 transmits an authentication photo of the driver to the driver. A request is made to the authentication device 200, and the driver authentication device 200 may perform facial recognition of the driver. The driver authentication device 200 may be attached to a vehicle interior dashboard or a vehicle room mirror. Including the above, the word "driver" described below all denotes the same user, and "vehicle" also denotes the same vehicle.

본 발명의 실시예에 따라 운전자 인증 시스템(100)과 운전자 인증 장치(200)를 이용하여, 운전자 인증 장치(200)에 삽입된 면허증의 운전자 사진과, 운전자 인증 시스템(100)에 기 저장된 해당 운전자의 사진과 운전자 인증 장치(200)가 운전자의 안면 인식을 수행한 결과의 일치 여부를 토대로 운전자 인증을 수행할 수 있다. 운전자 인증이 완료되면 운전자 인증 시스템(100) 및 운전자 인증 장치(200)는 운전자의 운행을 허가할 수 있다. 또한, 다른 예에서, 본 발명의 실시예에 따라 운전자 인증 시스템(100)과 운전자 인증 장치(200)를 이용하여, 운전자 인증 시스템(100)이 운전자의 이상 행동을 감지하도록 운전자 인증 장치(200)에 요청하면, 운전자 인증 장치(200)는 실시간으로 운전자의 행동과 패턴, 성향 정보 등을 식별 및 파악하여 운전자 인증 시스템(100)에 해당 정보를 전송할 수 있으며, 운전자 인증 시스템(100)은 운전자 인증 장치(200)로부터 전송 받은 정보를 이용하여 운전자의 이상 상태를 판단하고 차량을 관제할 수 있다.According to an embodiment of the present invention, by using the driver authentication system 100 and the driver authentication device 200, the driver's photo of the driver's license inserted into the driver authentication device 200 and the corresponding driver pre-stored in the driver authentication system 100 Driver authentication may be performed based on whether the photo of the user matches the result of facial recognition of the driver by the driver authentication apparatus 200 . When driver authentication is completed, the driver authentication system 100 and the driver authentication apparatus 200 may permit the driver to drive. In another example, the driver authentication system 100 detects the driver's abnormal behavior by using the driver authentication system 100 and the driver authentication device 200 according to an embodiment of the present invention. Upon request, the driver authentication device 200 can identify and understand the driver's behavior, pattern, propensity information, etc. in real time and transmit the corresponding information to the driver authentication system 100, which can then authenticate the driver. Using the information transmitted from the device 200, the driver's abnormal state may be determined and the vehicle may be controlled.

운전자 인증 시스템(100)은 서버 또는 단말과 같은 장치 형태로 형성될 수 있고, SaaS (Software as a Service), PaaS (Platform as a Service) 또는 IaaS (Infrastructure as a Service)와 같은 클라우드 컴퓨팅 서비스 모델에서 동작 할 수 있다. 또한, 운전자 인증 시스템(100) 사설(private) 클라우드, 공용(public) 클라우드 또는 하이브리드(hybrid) 클라우드 시스템과 같은 형태로 구축될 수 있다. 운전자 인증 시스템(100)과 운전자 인증 장치(200)의 통신 연결에 사용되는 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다. The driver authentication system 100 may be formed in the form of a device such as a server or a terminal, and in a cloud computing service model such as Software as a Service (SaaS), Platform as a Service (PaaS), or Infrastructure as a Service (IaaS). can work In addition, the driver authentication system 100 may be built in the form of a private cloud, public cloud, or hybrid cloud system. The network used for communication connection between the driver authentication system 100 and the driver authentication device 200 is a local area network (LAN), a wide area network (WAN), or a value added network (VAN). It can be implemented in all types of wireless networks, such as wired networks, mobile radio communication networks, or satellite communication networks.

도 2를 참조하면, 운전자 모니터링 시스템(100)은 운전자 인증 장치(200)와의 정보 송수신을 수행하는 통신 모듈(110), 운전자 인증 프로그램을 저장하는 메모리(120) 및 메모리(120)에 저장된 운전자 인증 프로그램을 실행하는 프로세서를 포함할 수 있다. 프로그램의 명칭은 설명의 편의를 위해 설정된 것으로, 명칭 그 자체로 프로그램의 기능을 제한하는 것은 아니다.Referring to FIG. 2 , the driver monitoring system 100 includes a communication module 110 that transmits and receives information with the driver authentication device 200, a memory 120 that stores a driver authentication program, and driver authentication stored in the memory 120. It may include a processor that executes a program. The name of the program is set for convenience of explanation, and the name itself does not limit the function of the program.

프로세서(130)는 운전자 인증 프로그램을 실행하여 다음과 같은 기능 및 절차들을 수행하도록 구성된다. 프로세서(130)는 통신 모듈(110)을 통해 운전자 인증 장치(200)가 획득한 운전자의 현재 면허증 이미지를 획득한다. 프로세서(130)는 통신 모듈(110)을 통해 운전자 인증 장치(200)가 획득한 운전자의 현재 안면 이미지를 획득한다. 그리고, 프로세서(130)는 차량과 매칭되어 메모리(120)에 저장된 면허증 이미지에 포함된 안면 이미지, 현재 면허증 이미지에 포함된 안면 이미지 및 운전자의 현재 안면 이미지의 일치 여부를 판단하도록 구성된다. 프로그램의 명칭은 설명의 편의를 위해 설정된 것으로, 명칭 그 자체로 프로그램의 기능을 제한하는 것은 아니다.The processor 130 is configured to execute the driver authentication program and perform the following functions and procedures. The processor 130 acquires the driver's current driver's license image acquired by the driver authentication device 200 through the communication module 110 . The processor 130 obtains the driver's current face image acquired by the driver authentication device 200 through the communication module 110 . The processor 130 is configured to determine whether the face image included in the driver's license image matched with the vehicle and stored in the memory 120 matches the face image included in the driver's license image and the driver's current face image. The name of the program is set for convenience of explanation, and the name itself does not limit the function of the program.

프로세서(130)는 차량과 매칭되어 메모리(120)에 저장된 면허증 이미지에 포함된 안면 이미지, 현재 면허증 이미지에 포함된 안면 이미지 및 운전자의 현재 안면 이미지가 일치하는 경우, 운전자 인증 장치(200)에게 운전자에 대하여 차량의 운전을 허용하도록 하는 명령을 전송할 수 있다. 프로세서(130)는 차량과 매칭되어 메모리(120)에 저장된 면허증 이미지에 포함된 안면 이미지, 현재 면허증 이미지에 포함된 안면 이미지 및 운전자의 현재 안면 이미지가 일치하지 않는 경우, 운전자 인증 장치(200)에게 운전자에 대하여 차량의 운전을 허용하지 않도록 하는 명령을 전송할 수 있다. 운전자 인증 장치(200)는 프로세서(130)로부터 운전을 허용하는 명령을 전송 받는 경우 차량의 시동이 걸리도록 제어할 수 있고, 운전을 허용하지 않는 명령을 전송 받는 경우 차량의 시동이 걸리지 않도록 제어할 수 있다. The processor 130 sends the driver authentication device 200 to the driver authentication device 200 when the face image included in the license image matched with the vehicle and stored in the memory 120 matches the face image included in the current license image and the current face image of the driver. It is possible to transmit a command to permit driving of the vehicle. When the processor 130 does not match the facial image included in the license image matched with the vehicle and stored in the memory 120, the facial image included in the current license image, and the current facial image of the driver, to the driver authentication device 200 A command not to permit driving of the vehicle may be transmitted to the driver. The driver authentication device 200 may control the vehicle to start when receiving a command to allow driving from the processor 130, and control not to start the vehicle when receiving a command not to allow driving. can

도 3을 참조하면, 운전자 인증 장치(200)는 운전자 인증 시스템(100)과의 정보 송수신을 수행하는 통신 모듈(210), 운전자 인식 프로그램을 저장하는 메모리(220), 운전자의 면허증을 인식하는 인식 모듈(230), 운전자의 안면 이미지를 획득하는 카메라 모듈(250), 메모리(220)에 저장된 운전자 인식 프로그램을 실행하는 프로세서(260)를 포함한다. 카메라 모듈(250)은 차량 내부에 설치되며 운전자를 향하도록 배치될 수 있다. Referring to FIG. 3 , the driver authentication device 200 includes a communication module 210 for transmitting and receiving information with the driver authentication system 100, a memory 220 for storing a driver recognition program, and recognition for recognizing a driver's license. A module 230, a camera module 250 that acquires a facial image of the driver, and a processor 260 that executes a driver recognition program stored in the memory 220. The camera module 250 is installed inside the vehicle and may be disposed facing the driver.

프로세서(260)는 운전자 인식 프로그램을 실행하여, 다음과 같은 기능 및 절차들을 수행하도록 구성될 수 있다. The processor 260 may be configured to execute the driver recognition program and perform the following functions and procedures.

프로세서(260)는 인식 모듈(230)을 이용하여 운전자의 현재 면허증 이미지를 획득한다. 프로세서(260)는 카메라 모듈(250)을 이용하여 운전자의 현재 안면 이미지를 획득한다. 그리고, 프로세서(260)는 차량과 매칭되어 서버에 저장된 면허증 이미지에 포함된 안면 이미지, 현재 면허증 이미지에 포함된 안면 이미지 및 운전자의 현재 안면 이미지의 일치 여부를 판단하도록 구성된다. 또한, 프로세서(260)는 현재 면허증 이미지로부터 면허 번호, 면허 일자, 운전자의 이름, 운전자의 주민번호 및 운전자의 거주지 중 적어도 어느 하나 이상을 포함하는 면허 정보를 추출하고, 그리고, 추출된 면허 정보를 토대로 운전자의 면허증의 진위 여부를 판단할 수 있다. 운전자 인증 장치(200)는 안면 인식 기술을 이용하여 운전자의 안면을 인식할 수 있으며, 이를 통해, 운전자의 현재 안면 이미지를 획득할 수 있다.The processor 260 uses the recognition module 230 to obtain the driver's current driver's license image. The processor 260 obtains a current face image of the driver using the camera module 250 . And, the processor 260 is configured to determine whether the face image included in the driver's license image matched with the vehicle and stored in the server matches the face image included in the current driver's license image and the driver's current face image. In addition, the processor 260 extracts license information including at least one of a license number, a license date, a driver's name, a driver's social security number, and a driver's residence from the current driver's license image, and extracts the extracted license information Based on this, it is possible to determine the authenticity of the driver's license. The driver authentication device 200 may recognize the driver's face using face recognition technology, and through this, obtain a current face image of the driver.

운전자 인증 장치(200)는 운전자의 면허증의 앞면과 결합하는 결합 모듈(240)을 더 포함할 수 있다. 결합 모듈(240)은, 면허증이 삽입되는 삽입구(241)를 포함할 수 있다. 프로세서(260)는 인식 모듈(230)을 통해 결합 모듈(240)에 결합된 운전자의 면허증 앞면으로부터 현재 면허증 이미지와 현재 면허증 이미지에 포함된 안면 이미지를 획득할 수 있다. The driver authentication device 200 may further include a coupling module 240 coupled to the front side of the driver's license. The coupling module 240 may include an insertion port 241 into which a driver's license is inserted. The processor 260 may obtain a current driver's license image and a face image included in the driver's license image from the front side of the driver's license coupled to the coupling module 240 through the recognition module 230 .

프로세서(260)는 카메라 모듈(250)을 통해 획득한 운전자의 현재 안면 이미지를 토대로 운전자 안면 인식 학습을 수행하여 입력되는 운전자의 현재 안면 이미지로부터 운전자가 차량의 운전이 허여된 운전자인지 판단하는 인공지능 모델을 생성할 수 있다. The processor 260 performs driver face recognition learning based on the driver's current face image acquired through the camera module 250, and artificial intelligence determines whether the driver is a driver permitted to drive the vehicle from the input driver's current face image. model can be created.

운전자 인증 장치(200)는 입출력 모듈(270)을 더 포함할 수 있다. 예컨대, 입출력 모듈(270)은 터치 스크린, 터치 패드, 디스플레이, 스피커, 마이크와 같은 장치들을 포함할 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다. The driver authentication device 200 may further include an input/output module 270 . For example, the input/output module 270 may include devices such as a touch screen, a touch pad, a display, a speaker, and a microphone, but the scope of the present invention is not limited thereto.

운전자 인증 장치(200)는 차량의 시동을 제어하도록 차량과 연동될 수 있다. 운전자 인증 장치(200)는 운전자 인증이 모두 수행되기 전까지 차량의 시동이 걸리지 않도록 제어할 수 있다. The driver authentication device 200 may interwork with the vehicle to control starting of the vehicle. The driver authentication device 200 may control the vehicle not to be started until all driver authentication is performed.

프로세서(260)는 차량과 매칭되어 운전자 인증 시스템(100)에 저장된 면허증 이미지에 포함된 안면 이미지, 현재 면허증 이미지에 포함된 안면 이미지 및 운전자의 현재 안면 이미지가 일치하는 경우, 입출력 모듈(270)을 통해 운전자에 대하여 차량의 운전을 허용하는 알림을 제공할 수 있다. 이 때, 프로세서(260)는 차량의 시동이 걸리도록 설정할 수 있다. 프로세서(260)는 차량과 매칭되어 운전자 인증 시스템(100)에 저장된 면허증 이미지에 포함된 안면 이미지, 현재 면허증 이미지에 포함된 안면 이미지 및 운전자의 현재 안면 이미지 중 적어도 어느 하나가 일치하지 않는 경우, 입출력 모듈(270)을 통해 운전자에 대하여 차량의 운전을 허용하지 않는 알림을 제공할 수 있다. 이 때, 프로세서(260)는, 차량의 시동이 걸리지 않도록 제어할 수 있다. 알림은 문자메시지 또는 음성메시지 형태로 구현될 수 있다. The processor 260 outputs the input/output module 270 when the face image included in the license image stored in the driver authentication system 100 matched with the vehicle, the face image included in the current license image, and the driver's current face image match. Through this, a notification permitting driving of the vehicle may be provided to the driver. At this time, the processor 260 may be set to start the vehicle. When at least one of the face image included in the license image matched with the vehicle and stored in the driver authentication system 100, the face image included in the current license image, and the current face image of the driver does not match, the processor 260 performs input/output Module 270 may provide a notification to the driver not to allow driving of the vehicle. At this time, the processor 260 may control not to start the vehicle. Notification may be implemented in the form of a text message or voice message.

일 예로서, 상술한 본 발명의 실시예들이 적용될 수 있는 예시로서 운전자가 차량을 대여한 경우를 설명하도록 한다. 운전자가 대여한 차량에는 운전자 인증 장치(200)가 장착되어 있을 수 있고, 차량을 대여한 운전자의 면허 정보는 운전자가 차량을 대여하는 과정에서 운전자 인증 장치(200)와 연동된 운전자 인증 시스템(100)에 저장될 수 있다. 운전자는 차량의 운전석에 탑승하여 자신의 면허증을 운전자 인증 장치(200)에 인식시킬 수 있다. 이 때 운전자는 운전자 인증 장치(200)에 자신의 면허증을 부착 또는 삽입시킴으로써 상술한 인식 과정을 수행할 수 있다. 운전자 인증 장치(200)는 운전석에 탑승한 운전자의 안면을 인식하여 운전자의 현재 안면 이미지를 획득한다. 운전자 인증 장치(200)는 인식한 운전자의 면허증 사진에 포함된 안면 이미지와, 운전자의 현재 안면 이미지 및 운전자 인증 시스템(100)에 저장된 운전자의 면허 정보에 포함된 안면 이미지의 일치 여부를 판단한다. 운전자 인증 장치(200)는 차량의 시동 제어부와 연동되어 상술한 운전자 인증 과정이 모두 완료되기 전까지는 차량의 시동이 걸리지 않도록 설정할 수 있다. 운전자 인증 장치(200)는 상술한 안면 이미지들에 포함된 얼굴이 모두 일치한다고 판단한 경우 운전자의 운전을 허용하는 알림을 제공하면서 차량의 시동이 걸리도록 설정할 수 있고, 일치하지 않는다고 판단한 경우 운전을 허용하지 않는 알림을 제공하면서 차량의 시동이 걸리지 않도록 설정할 수 있다. As an example, as an example to which the above-described embodiments of the present invention can be applied, a case where a driver rents a vehicle will be described. The driver authentication device 200 may be installed in the vehicle rented by the driver, and license information of the driver who rented the vehicle is linked to the driver authentication device 200 in the course of the driver renting the vehicle. ) can be stored in The driver can get into the driver's seat of the vehicle and have the driver authentication device 200 recognize his or her driver's license. At this time, the driver can perform the above-described recognition process by attaching or inserting his or her driver's license into the driver authentication device 200 . The driver authentication device 200 acquires a current face image of the driver by recognizing the face of the driver sitting in the driver's seat. The driver authentication device 200 determines whether the face image included in the recognized driver's license photo matches the current face image of the driver and the face image included in the driver's license information stored in the driver authentication system 100. The driver authentication device 200 may be interlocked with a vehicle start control unit so that the vehicle does not start until the above-described driver authentication process is completed. When the driver authentication device 200 determines that all of the faces included in the above-described facial images match, the driver authentication device 200 may set the vehicle to start while providing a notification allowing the driver to drive, and allow driving when it is determined that they do not match. It can be set not to start the vehicle while providing a notification not to do so.

이와 같이, 본 발명의 실시예들에 따르면, 차량 내 설치되는 단말 형태의 운전자 인증 장치(200)를 이용하여 차량의 운전자의 면허증 사진을 인식할 수 있고, 차량의 운전자의 안면 촬영 이미지를 획득할 수 있으며, 차량에 매칭되어 운전자 인증 시스템(100)에 기저장된 면허증 사진과 상기 단말이 획득한 이미지들을 토대로 안면 인식 기술을 이용하여 이미지들 각각에 나타난 인물이 동일인인지 여부를 판단할 수 있다. 또한, 본 발명의 실시예들에 따르면, 공유 차량 서비스를 이용하여 차량을 대여한 자에 대해 운전자 인증을 수행할 수 있으며, 이를 통해, 미인증 운전자의 운전을 방지할 수 있고, 차량에 운전자 인증 장치(200)를 설치하는 방식을 통해 이미 출고된 차량에도 운전자 인증 기능을 손쉽게 적용할 수 있다. In this way, according to the embodiments of the present invention, a driver's license photo of a driver of a vehicle can be recognized using the driver authentication device 200 in the form of a terminal installed in a vehicle, and a face photographed image of the driver of the vehicle can be obtained. It is possible to determine whether the person appearing in each of the images is the same person by using face recognition technology based on the driver's license photo previously stored in the driver authentication system 100 matched with the vehicle and the images acquired by the terminal. In addition, according to embodiments of the present invention, driver authentication may be performed on a person who rents a vehicle using a shared vehicle service, and through this, driving by an uncertified driver may be prevented and driver authentication may be performed on the vehicle. Through the method of installing the device 200, the driver authentication function can be easily applied to vehicles that have already been shipped.

도 4는 본 발명의 다른 실시예에 따른 운전자 인증 방법의 순서를 도시한 흐름도이고, 도 5 내지 도 7은 도 4에 도시된 운전자 인증 방법의 세부 단계들을 도시한 도면이다. 이하에서 설명될 운전자 인증 방법은 앞서 도 1 내지 도 3을 참조하여 설명한 운전자 인증 시스템(100) 및 운전자 인증 장치(200) 중 적어도 어느 하나 이상에 의해 수행될 수 있다. 따라서, 앞서 도 1 내지 도 3을 참조하여 설명한 본 발명의 실시예에 대한 내용은 이하에서 설명될 실시예에도 동일하게 적용될 수 있으며, 이하에서 상술한 설명과 중복되는 내용은 생략하도록 한다. 이하에서 설명되는 단계들은 반드시 순서대로 수행되어야 하는 것은 아니고, 단계들의 순서는 다양하게 설정될 수 있으며, 단계들은 거의 동시에 수행될 수도 있다.4 is a flowchart illustrating a sequence of a driver authentication method according to another embodiment of the present invention, and FIGS. 5 to 7 are diagrams illustrating detailed steps of the driver authentication method shown in FIG. 4 . A driver authentication method to be described below may be performed by at least one of the driver authentication system 100 and the driver authentication device 200 described above with reference to FIGS. 1 to 3 . Therefore, the contents of the embodiments of the present invention described above with reference to FIGS. 1 to 3 can be equally applied to the embodiments to be described below, and descriptions overlapping with those described above will be omitted. The steps described below do not necessarily have to be performed in order, the order of the steps may be set in various ways, and the steps may be performed almost simultaneously.

도 4를 참조하면, 본 실시예에 따른 운전자 인증 방법은, 서버와 단말의 통신 연결을 통해 차량의 운전자를 인증하는 방법에 있어서, 현재 면허증 이미지 획득 단계(S120), 현재 안면 이미지 획득 단계(S130), 운전자 인증 단계(S140)를 포함하며, 면허 정보 저장 단계(S110)를 더 포함할 수 있다. 여기서, 서버는 도 1의 운전자 인증 시스템(도 1의 100)일 수 있고. 단말은 도 1의 운전자 인증 장치(도 1의 200)일 수 있다. Referring to FIG. 4 , in the driver authentication method according to the present embodiment, in the method of authenticating a driver of a vehicle through a communication connection between a server and a terminal, a current driver's license image acquisition step (S120) and a current facial image acquisition step (S130) ), a driver authentication step (S140), and may further include a license information storage step (S110). Here, the server may be the driver authentication system of FIG. 1 ( 100 of FIG. 1 ). The terminal may be the driver authentication device ( 200 in FIG. 1 ) of FIG. 1 .

면허 정보 저장 단계(S110)는 서버가 차량과 매칭되는 면허증 이미지를 서버의 메모리에 저장하는 단계이다. 현재 면허증 이미지 획득 단계(S120)는 단말이 운전자의 현재 면허증 이미지를 획득하는 단계이다. 현재 안면 이미지 획득 단계(S130)는 단말이 운전자의 현재 안면 이미지를 획득하는 단계이다. 운전자 인증 단계(S140)는, 차량과 매칭되어 서버에 저장된 면허증 이미지에 포함된 안면 이미지, 현재 면허증 이미지에 포함된 안면 이미지 및 운전자의 현재 안면 이미지의 일치 여부를 판단하는 단계이다. The license information storage step ( S110 ) is a step in which the server stores the license image matched with the vehicle in the memory of the server. Acquisition of the current driver's license image (S120) is a step in which the terminal acquires the driver's current driver's license image. In the current face image acquisition step (S130), the terminal acquires the driver's current face image. The driver authentication step (S140) is a step of determining whether a face image included in a license image matched with a vehicle and stored in a server, a face image included in a current license image, and a current face image of the driver match.

단말은, 운전자의 면허증의 앞면을 인식하는 인식 모듈, 운전자의 면허증의 앞면과 결합하는 결합 모듈, 차량 내부에 설치되며 운전자를 향하도록 배치되는 카메라 모듈을 포함할 수 있다. 결합 모듈은 면허증이 삽입되는 삽입구를 포함할 수 있다. 또한, 단말은 차량의 시동을 제어하도록 차량과 연동될 수 있다. 여기서, 인식 모듈, 결합 모듈 및 카메라 모듈은 각각 도 3에 도시된 인식 모듈(도 3의 230), 결합 모듈(도 3의 240) 및 카메라 모듈(도 3의 250)일 수 있다. The terminal may include a recognition module for recognizing the front side of the driver's license, a coupling module for coupling with the front side of the driver's license, and a camera module installed inside the vehicle and facing the driver. The coupling module may include an insertion port into which a driver's license is inserted. Also, the terminal may be interlocked with the vehicle to control starting of the vehicle. Here, the recognition module, the combination module, and the camera module may be the recognition module (230 in FIG. 3), the combination module (240 in FIG. 3), and the camera module (250 in FIG. 3) shown in FIG. 3, respectively.

도 5를 참조하면, 현재 면허증 이미지 획득 단계(S120)는 이미지 획득 단계(S121), 정보 추출 단계(S122) 및 진위 여부 판단 단계(S123)를 포함할 수 있다. 이미지 획득 단계(S121)는 인식 모듈이 운전자의 면허증으로부터 현재 면허증 이미지와 현재 면허증 이미지에 포함된 안면 이미지를 획득하는 단계를 의미한다. 일 예에서, 이미지 획득 단계(S121)는 인식 모듈이 결합 모듈에 결합된 운전자의 면허증 앞면으로부터 현재 면허증 이미지와 현재 면허증 이미지에 포함된 안면 이미지를 획득하는 단계일 수 있다. 정보 추출 단계(S122)는 현재 면허증 이미지로부터 면허 번호, 면허 일자, 운전자의 이름, 운전자의 주민번호 및 운전자의 거주지 중 적어도 어느 하나 이상을 포함하는 면허 정보를 추출하는 단계를 의미한다. 진위 여부 판단 단계(S123)는 추출된 면허 정보를 토대로 운전자의 면허증의 진위 여부를 판단하는 단계를 의미한다. Referring to FIG. 5 , the current driver's license image acquisition step (S120) may include an image acquisition step (S121), an information extraction step (S122), and an authenticity determination step (S123). The image acquisition step ( S121 ) refers to a step in which the recognition module acquires a current driver's license image and a face image included in the driver's driver's license image from the driver's driver's license. In one example, the image acquisition step ( S121 ) may be a step of acquiring a current driver's license image and a face image included in the current driver's license image from the driver's driver's license front face coupled to the coupling module by the recognition module. The information extraction step (S122) refers to a step of extracting license information including at least one of a license number, a license date, a driver's name, a driver's resident registration number, and a driver's residence from the current driver's license image. The authenticity determination step (S123) means a step of determining the authenticity of the driver's license based on the extracted license information.

도 6을 참조하면, 현재 안면 이미지 획득 단계(S130)는 안면 이미지 획득 단계(S131), 학습 단계(S132) 및 모델 생성 단계(S133)를 포함할 수 있다. 안면 이미지 획득 단계(S131)는 카메라 모듈이 운전자의 현재 모습을 촬영하여 운전자의 현재 안면 이미지를 획득하는 단계를 의미한다. 학습 단계(S132)는 운전자의 현재 안면 이미지를 토대로 운전자 안면 인식 학습을 수행하는 단계를 의미한다. 모델 생성 단계(S133)는 입력되는 운전자의 현재 안면 이미지로부터 운전자가 차량의 운전이 허여된 운전자인지 판단하는 인공지능 모델을 생성하는 단계를 의미한다. Referring to FIG. 6 , the current face image acquisition step ( S130 ) may include a face image acquisition step ( S131 ), a learning step ( S132 ), and a model generation step ( S133 ). The facial image acquisition step (S131) refers to a step in which the camera module captures the driver's current face image and acquires the driver's current face image. The learning step ( S132 ) means a step of performing driver face recognition learning based on the driver's current face image. The model generating step (S133) means a step of generating an artificial intelligence model for determining whether the driver is a driver permitted to drive the vehicle from the current facial image of the driver.

도 7을 참조하면, 운전자 인증 단계(S140)는 일치 여부 판단 단계(S141), 알림 제공 단계(S142) 및 시동 제어 단계(S143)를 포함할 수 있다. 일치 여부 판단 단계(S141)는 차량과 매칭되어 서버에 저장된 면허증 이미지에 포함된 안면 이미지, 현재 면허증 이미지에 포함된 안면 이미지 및 운전자의 현재 안면 이미지가 일치하는지 일치하지 않는지 판단하는 단계를 의미한다. Referring to FIG. 7 , the driver authentication step (S140) may include a match determination step (S141), a notification providing step (S142), and an ignition control step (S143). Matching decision step (S141) means a step of determining whether the face image included in the driver's license image matched with the vehicle, the face image included in the current driver's license image, and the current face image of the driver do not match.

알림 제공 단계(S142)는 차량과 매칭되어 서버에 저장된 면허증 이미지에 포함된 안면 이미지, 현재 면허증 이미지에 포함된 안면 이미지 및 운전자의 현재 안면 이미지가 일치하는 경우, 단말이 운전자에 대하여 차량의 운전을 허용하는 알림을 제공하고, 차량과 매칭되어 서버에 저장된 면허증 이미지에 포함된 안면 이미지, 현재 면허증 이미지에 포함된 안면 이미지 및 운전자의 현재 안면 이미지 중 적어도 어느 하나가 일치하지 않는 경우, 단말이 운전자에 대하여 차량의 운전을 허용하지 않는 알림을 제공하는 단계를 의미한다. 시동 제어 단계(S143)는 차량과 매칭되어 서버에 저장된 면허증 이미지에 포함된 안면 이미지, 현재 면허증 이미지에 포함된 안면 이미지 및 운전자의 현재 안면 이미지 중 적어도 어느 하나가 일치하지 않는 경우, 단말이 차량의 시동이 걸리지 않도록 제어하는 단계를 의미한다.In the step of providing a notification (S142), if the face image included in the license image stored in the server matched with the vehicle, the face image included in the current license image, and the driver's current face image match, the terminal permits the driver to drive the vehicle. If at least one of the driver's current facial image and the facial image included in the license image matched with the vehicle and stored in the server, the facial image included in the current driver's license image do not match, the terminal informs the driver. This means a step of providing a notification not allowing the vehicle to drive against the vehicle. In the starting control step (S143), if at least one of the face image included in the license image matched with the vehicle and stored in the server, the face image included in the current license image, and the current face image of the driver does not match, the terminal controls the vehicle It means the step of controlling not to start.

이상에서 설명한 운전자 인증 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. The driver authentication method described above may be implemented in the form of a recording medium including instructions executable by a computer, such as program modules executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer readable media may include computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 상술한 설명을 기초로 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해되어야만 한다. 본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. 본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.Those skilled in the art to which the present invention pertains will be able to understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention based on the above description. Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. The scope of the present invention is indicated by the following claims, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts should be interpreted as being included in the scope of the present invention. The scope of the present application is indicated by the following claims rather than the detailed description above, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts thereof should be construed as being included in the scope of the present application.

Claims (20)

서버와 단말의 통신 연결을 통해 차량의 운전자를 인증하는 방법에 있어서,
a) 상기 단말이 상기 운전자의 현재 면허증 이미지를 획득하는 단계;
b) 상기 단말이 상기 운전자의 현재 안면 이미지를 획득하는 단계; 및
c) 상기 차량과 매칭되어 상기 서버에 저장된 면허증 이미지에 포함된 안면 이미지, 상기 현재 면허증 이미지에 포함된 안면 이미지 및 상기 운전자의 현재 안면 이미지의 일치 여부를 판단하는 단계를 포함하는, 운전자 인증 방법. A method for authenticating a driver of a vehicle through a communication connection between a server and a terminal,
a) obtaining, by the terminal, a current driver's license image;
b) obtaining, by the terminal, a current facial image of the driver; and
c) determining whether a facial image included in a driver's license image matched with the vehicle and stored in the server, a facial image included in the current driver's license image, and a current facial image of the driver are matched. 제1항에 있어서,
상기 서버가 상기 차량과 매칭되는 면허증 이미지를 상기 서버의 메모리에 저장하는 단계를 더 포함하는, 운전자 인증 방법.According to claim 1,
and storing, by the server, a driver's license image matched with the vehicle in a memory of the server. 제1항에 있어서,
상기 단말은, 상기 운전자의 면허증의 앞면을 인식하는 인식 모듈을 포함하고, 그리고,
상기 a) 단계는, 상기 인식 모듈이 상기 운전자의 면허증으로부터 상기 현재 면허증 이미지와 상기 현재 면허증 이미지에 포함된 안면 이미지를 획득하는 단계를 포함하는, 운전자 인증 방법.According to claim 1,
The terminal includes a recognition module for recognizing the front side of the driver's license, and
The step a) includes acquiring, by the recognition module, the current driver's license image and a face image included in the current driver's license image from the driver's driver's license. 제3항에 있어서,
상기 a) 단계는,
상기 현재 면허증 이미지로부터 면허 번호, 면허 일자, 상기 운전자의 이름, 상기 운전자의 주민번호 및 상기 운전자의 거주지 중 적어도 어느 하나 이상을 포함하는 면허 정보를 추출하는 단계; 및
추출된 면허 정보를 토대로 상기 운전자의 면허증의 진위 여부를 판단하는 단계를 더 포함하는, 운전자 인증 방법.According to claim 3,
In step a),
extracting license information including at least one of a license number, a license date, a driver's name, a resident registration number of the driver, and a residence of the driver from the current driver's license image; and
Further comprising determining whether the driver's license is authentic based on the extracted license information, the driver authentication method. 제3항에 있어서,
상기 단말은, 상기 운전자의 면허증의 앞면과 결합하는 결합 모듈을 더 포함하고, 그리고,
상기 a) 단계는, 상기 인식 모듈이 상기 결합 모듈에 결합된 상기 운전자의 면허증 앞면으로부터 상기 현재 면허증 이미지와 상기 현재 면허증 이미지에 포함된 안면 이미지를 획득하는 단계를 포함하는, 운전자 인증 방법.According to claim 3,
The terminal further includes a coupling module coupled to the front side of the driver's license, and
Wherein the step a) includes obtaining, by the recognition module, the current driver's license image and a face image included in the current driver's license image from a front side of the driver's driver's license coupled to the coupling module. 제5항에 있어서,
상기 결합 모듈은 상기 면허증이 삽입되는 삽입구를 포함하는, 운전자 인증 방법.According to claim 5,
The combination module includes an insertion hole into which the driver's license is inserted. 제1항에 있어서,
상기 단말은 상기 차량 내부에 설치되며 상기 운전자를 향하도록 배치되는 카메라 모듈을 더 포함하고, 그리고,
상기 b) 단계는, 상기 카메라 모듈이 상기 운전자의 현재 모습을 촬영하여 상기 운전자의 현재 안면 이미지를 획득하는 단계를 포함하는, 운전자 인증 방법.According to claim 1,
The terminal further includes a camera module installed inside the vehicle and disposed to face the driver, and
The step b) includes acquiring a current facial image of the driver by photographing the current appearance of the driver by the camera module. 제7항에 있어서,
상기 b) 단계는,
상기 운전자의 현재 안면 이미지를 토대로 운전자 안면 인식 학습을 수행하여 입력되는 운전자의 현재 안면 이미지로부터 운전자가 상기 차량의 운전이 허여된 운전자인지 판단하는 인공지능 모델을 생성하는 단계를 더 포함하는, 운전자 인증 방법.According to claim 7,
In step b),
Driver authentication further comprising performing driver face recognition learning based on the current face image of the driver and generating an artificial intelligence model for determining whether the driver is a driver permitted to drive the vehicle from the input current face image of the driver. method. 제1항에 있어서,
상기 c) 단계는,
상기 차량과 매칭되어 상기 서버에 저장된 면허증 이미지에 포함된 안면 이미지, 상기 현재 면허증 이미지에 포함된 안면 이미지 및 상기 운전자의 현재 안면 이미지가 일치하는 경우, 상기 단말이 상기 운전자에 대하여 상기 차량의 운전을 허용하는 알림을 제공하고, 그리고, 상기 차량과 매칭되어 상기 서버에 저장된 면허증 이미지에 포함된 안면 이미지, 상기 현재 면허증 이미지에 포함된 안면 이미지 및 상기 운전자의 현재 안면 이미지 중 적어도 어느 하나가 일치하지 않는 경우, 상기 단말이 상기 운전자에 대하여 상기 차량의 운전을 허용하지 않는 알림을 제공하는 단계를 포함하는, 운전자 인증 방법. According to claim 1,
In step c),
When the facial image included in the license image stored in the server matched with the vehicle, the facial image included in the current license image, and the driver's current facial image match, the terminal permits the driver to drive the vehicle Provides a notice allowing, and, if at least one of the face image included in the driver's license image matched with the vehicle and stored in the server, the face image included in the current driver's license image, and the driver's current face image does not match If so, providing, by the terminal, a notification not allowing the driver to drive the vehicle. 제1항에 있어서,
상기 단말은 상기 차량의 시동을 제어하도록 상기 차량과 연동되고,
상기 c) 단계는,
상기 차량과 매칭되어 상기 서버에 저장된 면허증 이미지에 포함된 안면 이미지, 상기 현재 면허증 이미지에 포함된 안면 이미지 및 상기 운전자의 현재 안면 이미지 중 적어도 어느 하나가 일치하지 않는 경우, 상기 단말이 상기 차량의 시동이 걸리지 않도록 제어하는 단계를 포함하는, 운전자 인증 방법.According to claim 1,
The terminal is interlocked with the vehicle to control starting of the vehicle,
In step c),
When at least one of the facial image included in the license image matched with the vehicle and stored in the server, the facial image included in the current license image, and the current facial image of the driver does not match, the terminal starts the vehicle A driver authentication method comprising the step of controlling not to be caught. 서버와의 통신 연결을 통해 차량의 운전자를 인증하는 장치에 있어서,
상기 서버와의 정보 송수신을 수행하는 통신 모듈;
운전자 인식 프로그램을 저장하는 메모리;
상기 운전자의 면허증을 인식하는 인식 모듈;
상기 운전자의 안면 이미지를 획득하는 카메라 모듈; 및
상기 메모리에 저장된 운전자 인식 프로그램을 실행하는 프로세서를 포함하고,
상기 프로세서는 상기 운전자 인식 프로그램을 실행하여,
상기 인식 모듈을 이용하여 상기 운전자의 현재 면허증 이미지를 획득하고, 상기 카메라 모듈을 이용하여 상기 운전자의 현재 안면 이미지를 획득하고, 그리고, 상기 차량과 매칭되어 상기 서버에 저장된 면허증 이미지에 포함된 안면 이미지, 상기 현재 면허증 이미지에 포함된 안면 이미지 및 상기 운전자의 현재 안면 이미지의 일치 여부를 판단하도록 구성되는, 운전자 인증 장치.An apparatus for authenticating a driver of a vehicle through a communication connection with a server,
a communication module for transmitting and receiving information with the server;
a memory for storing driver recognition programs;
a recognition module for recognizing the driver's license;
a camera module acquiring a face image of the driver; and
a processor executing a driver recognition program stored in the memory;
The processor executes the driver recognition program,
Obtaining the driver's current driver's license image using the recognition module, acquiring the driver's current facial image using the camera module, and matching the vehicle to the facial image included in the driver's license image stored in the server , Driver authentication device configured to determine whether the facial image included in the current driver's license image and the driver's current facial image match. 제11항에 있어서,
상기 프로세서는 상기 운전자 인식 프로그램을 실행하여,
상기 현재 면허증 이미지로부터 면허 번호, 면허 일자, 상기 운전자의 이름, 상기 운전자의 주민번호 및 상기 운전자의 거주지 중 적어도 어느 하나 이상을 포함하는 면허 정보를 추출하고, 그리고, 추출된 면허 정보를 토대로 상기 운전자의 면허증의 진위 여부를 판단하는 것을 더 수행하도록 구성되는, 운전자 인증 장치.According to claim 11,
The processor executes the driver recognition program,
Extracting license information including at least one of license number, license date, driver's name, driver's social security number, and driver's residence from the current license image, and based on the extracted license information, the driver The driver authentication device, configured to further perform judging authenticity of the driver's license. 제12항에 있어서,
상기 운전자의 면허증의 앞면과 결합하는 결합 모듈을 더 포함하고,
상기 프로세서는 상기 운전자 인식 프로그램을 실행하여,
상기 인식 모듈을 통해 상기 결합 모듈에 결합된 상기 운전자의 면허증 앞면으로부터 상기 현재 면허증 이미지와 상기 현재 면허증 이미지에 포함된 안면 이미지를 획득하는 것을 더 수행하도록 구성되는, 운전자 인증 장치.According to claim 12,
Further comprising a coupling module coupled to the front side of the driver's license,
The processor executes the driver recognition program,
and obtaining the current driver's license image and the face image included in the current driver's license image from the front side of the driver's driver's license coupled to the coupling module through the recognition module. 제13항에 있어서,
상기 결합 모듈은, 상기 면허증이 삽입되는 삽입구를 포함하는 것인, 운전자 인증 장치.According to claim 13,
The coupling module includes an insertion hole into which the driver's license is inserted. 제11항에 있어서,
상기 카메라 모듈은 상기 차량 내부에 설치되며 상기 운전자를 향하도록 배치되는 것인, 운전자 인증 장치.According to claim 11,
Wherein the camera module is installed inside the vehicle and is disposed to face the driver. 제15항에 있어서,
상기 프로세서는 상기 운전자 인식 프로그램을 실행하여,
상기 카메라 모듈을 통해 획득한 상기 운전자의 현재 안면 이미지를 토대로 운전자 안면 인식 학습을 수행하여 입력되는 운전자의 현재 안면 이미지로부터 운전자가 상기 차량의 운전이 허여된 운전자인지 판단하는 인공지능 모델을 생성하는 것을 더 수행하도록 구성되는, 운전자 인증 방법.According to claim 15,
The processor executes the driver recognition program,
Performing driver face recognition learning based on the driver's current face image acquired through the camera module to generate an artificial intelligence model for determining whether the driver is a driver permitted to drive the vehicle from the input driver's current face image The driver authentication method, configured to perform further. 제11항에 있어서,
입출력 모듈을 더 포함하고,
상기 프로세서는 상기 운전자 인식 프로그램을 실행하여,
상기 차량과 매칭되어 상기 서버에 저장된 면허증 이미지에 포함된 안면 이미지, 상기 현재 면허증 이미지에 포함된 안면 이미지 및 상기 운전자의 현재 안면 이미지가 일치하는 경우, 상기 입출력 모듈을 통해 상기 운전자에 대하여 상기 차량의 운전을 허용하는 알림을 제공하고, 그리고,
상기 차량과 매칭되어 상기 서버에 저장된 면허증 이미지에 포함된 안면 이미지, 상기 현재 면허증 이미지에 포함된 안면 이미지 및 상기 운전자의 현재 안면 이미지 중 적어도 어느 하나가 일치하지 않는 경우, 상기 입출력 모듈을 통해 상기 운전자에 대하여 상기 차량의 운전을 허용하지 않는 알림을 제공하는 것을 더 수행하도록 구성되는, 운전자 인증 장치. According to claim 11,
Further comprising an input/output module,
The processor executes the driver recognition program,
When the facial image included in the license image stored in the server matched with the vehicle, the facial image included in the current license image, and the driver's current facial image match, the vehicle's provide a reminder to allow driving; and
If at least one of the facial image included in the license image matched with the vehicle and stored in the server, the facial image included in the current license image, and the current facial image of the driver does not match, the driver through the input/output module , the driver authentication device is configured to further perform providing a notification not allowing driving of the vehicle. 제11항에 있어서,
상기 운전자 인증 장치는 상기 차량의 시동을 제어하도록 상기 차량과 연동되고,
상기 프로세서는 상기 운전자 인식 프로그램을 실행하여,
상기 차량과 매칭되어 상기 서버에 저장된 면허증 이미지에 포함된 안면 이미지, 상기 현재 면허증 이미지에 포함된 안면 이미지 및 상기 운전자의 현재 안면 이미지 중 적어도 어느 하나가 일치하지 않는 경우, 상기 차량의 시동이 걸리지 않도록 제어하는 것을 더 수행하도록 구성되는, 운전자 인증 장치.According to claim 11,
The driver authentication device is interlocked with the vehicle to control starting of the vehicle,
The processor executes the driver recognition program,
If at least one of the face image included in the license image matched with the vehicle and stored in the server, the face image included in the current license image, and the current face image of the driver does not match, the vehicle is not started A driver authentication device, configured to further perform controlling. 단말과의 통신 연결을 통해 차량의 운전자를 인증하는 시스템에 있어서,
상기 단말과의 정보 송수신을 수행하는 통신 모듈;
운전자 인증 프로그램을 저장하는 메모리;
상기 메모리에 저장된 운전자 인증 프로그램을 실행하는 프로세서를 포함하고,
상기 프로세서는 상기 운전자 인증 프로그램을 실행하여,
상기 통신 모듈을 통해 상기 단말이 획득한 상기 운전자의 현재 면허증 이미지를 획득하고, 상기 통신 모듈을 통해 상기 단말이 획득한 상기 운전자의 현재 안면 이미지를 획득하고, 그리고, 상기 차량과 매칭되어 상기 메모리에 저장된 면허증 이미지에 포함된 안면 이미지, 상기 현재 면허증 이미지에 포함된 안면 이미지 및 상기 운전자의 현재 안면 이미지의 일치 여부를 판단하도록 구성되는, 운전자 인증 시스템. A system for authenticating a driver of a vehicle through a communication connection with a terminal,
a communication module for transmitting and receiving information with the terminal;
a memory for storing a driver authentication program;
A processor executing a driver authentication program stored in the memory;
The processor executes the driver authentication program,
Acquire the current driver's license image acquired by the terminal through the communication module, acquire the current facial image of the driver obtained by the terminal through the communication module, and match with the vehicle to store in the memory A driver authentication system configured to determine whether a facial image included in a stored license image, a facial image included in the current driver's license image, and a current facial image of the driver match. 제1항에 따른 운전자 인증 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 비일시적 컴퓨터 판독가능 기록매체.A non-transitory computer-readable recording medium on which a computer program for performing the driver authentication method according to claim 1 is recorded.

Images