KR20240043314A - Video contract management server and video contract management system - Google Patents

Abstract

실시예에 따라 화상 계약 관리 서버는,
계약자가 보유하는 계약자 단말과 피계약자가 보유하는 피계약자 단말을 연결하여 화상 계약이 수행되도록 지원하는 화상 계약 연결부;
상기 화상 계약의 수행 내역이 기록된 동영상을 획득하기 위한 동영상 획득부;
상기 동영상으로부터 음성데이터를 분리하는 분리부;
상기 음성데이터로부터 상기 화상 계약의 수행과 관련된 키워드가 인식되었는지 여부를 판단하는 키워드 인식 판단부; 및
상기 키워드 인식 판단부에 의해 상기 화상 계약의 수행과 관련된 키워드가 인식된 것으로 판단되면, 기 저장된 계약 문서를 독출하고, 상기 계약 문서에 서명 기능을 하는 상기 동영상을 결합하여 동영상 서명된 계약 문서를 생성하는 동영상 서명된 계약 문서 생성부;를 포함할 수 있다.According to the embodiment, the video contract management server,
A video contract connection unit that supports the performance of a video contract by connecting a contractor terminal owned by the contractor and a contractee terminal owned by the contractee;
a video acquisition unit for acquiring a video recording performance details of the video contract;
a separation unit that separates audio data from the video;
a keyword recognition determination unit that determines whether a keyword related to performance of the video contract is recognized from the voice data; and
If it is determined by the keyword recognition determination unit that a keyword related to performance of the video contract is recognized, a pre-stored contract document is read, and the contract document is combined with the video serving as a signature to generate a video signed contract document. The video may include a signed contract document generation unit;

Description

화상 계약 관리 서버 및 화상 계약 관리 시스템{Video contract management server and video contract management system} Video contract management server and video contract management system {Video contract management server and video contract management system}

본 발명은 화상 계약 관리 서버 및 화상 계약 관리 시스템에 관한 것으로, 보다 구체적으로 비대면 화상 계약이 수행될 수 있는 환경을 제공하고, 이를 통해 계약의 투명성이 보장되고 신뢰도가 향상될 수 있도록 하는 방법을 제공하기 위한, 화상 계약 관리 서버 및 화상 계약 관리 시스템에 관한 것이다. The present invention relates to a video contract management server and a video contract management system. More specifically, it provides an environment in which non-face-to-face video contracts can be performed, and a method to ensure contract transparency and improve reliability through this. It relates to a video contract management server and a video contract management system for providing.

종래에는 계약 주체들이 직접 대면하여 종이 계약서를 작성하거나, 계약 주체들이 각각 작성된 종이 계약서를 개인 증명 자료들과 함께 우편으로 주고 받으면서 계약을 완성하였다. In the past, contracting parties either met face-to-face and completed a paper contract, or each contracting subject completed the contract by sending and receiving the written paper contract by mail along with personal verification materials.

하지만, 현대에 이르러 계약 주체들의 생활 반경이 넓어짐에 따라 비대면 서비스들이 증대하고 있을 뿐만 아니라 정보 통신의 기술이 급속도로 발전함에 따라, 휴대폰이나 컴퓨터 등을 이용하여 비대면 전자 계약서를 통해 However, in modern times, as the life range of contract subjects has expanded, non-face-to-face services are increasing, and as information and communication technology has developed rapidly, non-face-to-face electronic contracts can be entered into using mobile phones or computers.

계약을 성사시키고자 하는 요구들이 증대되고 있다. Demands to close contracts are increasing.

예를 들어, 종이 계약서 작성의 경우, 불투명한 계약 경위로 인한 분쟁이 발생하는 경우가 많고, 특히, 고령층이 계약 주체인 경우에는 이러한 문제가 더욱 증대되며, 계약이 진행되는 데 상당히 많은 시간이 소요되는 불편함이 존재하였다. For example, in the case of writing a paper contract, disputes often arise due to unclear contract details. In particular, this problem is further increased when the contracting party is elderly, and it takes a considerable amount of time to proceed with the contract. There was some inconvenience.

이에 따라 온라인을 통해 계약서를 작성할 수 있는 다양한 형태의 전자 계약 서비스 제공에 대한 니즈가 증대되고 있는 실정이다. Accordingly, the need for providing various types of electronic contract services that allow contracts to be written online is increasing.

본 발명은 전술한 필요성에 의해 도출된 것으로, 비대면 화상 계약이 수행될 수 있는 환경을 제공하고, 이를 통해 계약의 투명성이 보장되고 신뢰도가 향상될 수 있도록 하는 방법을 제공하도록 하는 것을 목적으로 한다. The present invention was derived from the above-described need, and its purpose is to provide an environment in which non-face-to-face video contracts can be performed, and to provide a method to ensure contract transparency and improve reliability through this. .

이와 더불어, 화상 계약이 수행되는 동안 동영상을 기록 및 해당 동영상이 서명 기능을 갖도록 하는 효과를 가져오도록 하는 방법을 제공하는 것을 목적으로 한다. In addition, the purpose is to provide a method to record a video while a video contract is being performed and to have the effect of allowing the video to have a signature function.

실시예에 따라 화상 계약 관리 서버는, According to the embodiment, the video contract management server,

계약자가 보유하는 계약자 단말과 피계약자가 보유하는 피계약자 단말을 연결하여 화상 계약이 수행되도록 지원하는 화상 계약 연결부; A video contract connection unit that supports the performance of a video contract by connecting a contractor terminal owned by the contractor and a contractee terminal owned by the contractee;

상기 화상 계약의 수행 내역이 기록된 동영상을 획득하기 위한 동영상 획득부; a video acquisition unit for acquiring a video recording performance details of the video contract;

상기 동영상으로부터 음성데이터를 분리하는 분리부; a separation unit that separates audio data from the video;

상기 음성데이터로부터 상기 화상 계약의 수행과 관련된 키워드가 인식되었는지 여부를 판단하는 키워드 인식 판단부; 및 a keyword recognition determination unit that determines whether a keyword related to performance of the video contract is recognized from the voice data; and

상기 키워드 인식 판단부에 의해 상기 화상 계약의 수행과 관련된 키워드가 인식된 것으로 판단되면, 기 저장된 계약 문서를 독출하고, 상기 계약 문서에 서명 기능을 하는 상기 동영상을 결합하여 동영상 서명된 계약 문서를 생성하는 동영상 서명된 계약 문서 생성부;를 포함할 수 있다.If it is determined by the keyword recognition determination unit that a keyword related to performance of the video contract is recognized, a pre-stored contract document is read, and a video signed contract document is generated by combining the contract document with the video that functions as a signature. The video may include a signed contract document generation unit;

상기 화상 계약의 수행과 관련된 키워드는, Keywords related to the performance of the above video contract are:

상기 화상 계약의 내용을 나타내는 키워드, 상기 계약자와 상기 피계약자를 포함하는 계약당사자 관련 정보를 나타내는 키워드, 및 상기 화상 계약의 체결을 나타내는 키워드 중 적어도 하나를 포함할 수 있다. It may include at least one of a keyword indicating the contents of the video contract, a keyword indicating information related to contracting parties including the contractee and the contractee, and a keyword indicating conclusion of the video contract.

상기 키워드 인식 판단부는, 상기 화상 계약의 수행과 관련된 키워드가 인식되지 않은 것으로 판단되면, 상기 화상 계약이 유효하게 성립되지 않았음을 나타내는 메시지, 계약당사자 관련 정보의 누락 상태를 나타내는 메시지, 및 상기 화상 계약이 유효하게 체결되지 않았음을 나타내는 메시지 중 적어도 하나를 전송할 수 있다.If the keyword recognition determination unit determines that the keyword related to performance of the video contract is not recognized, the keyword recognition determination unit sends a message indicating that the video contract has not been validly established, a message indicating a missing state of information related to the contracting party, and the image. At least one of the messages indicating that the contract has not been validly concluded may be transmitted.

상기 기 저장된 계약 문서는 상기 화상 계약의 수행과 관련된 키워드를 포함할 수 있다.The pre-stored contract document may include keywords related to performance of the video contract.

상기 동영상 서명된 계약 문서 생성부는,The video signed contract document generation unit,

상기 계약 문서와 상기 서명 기능을 하는 상기 동영상을 하드 코딩의 방식을 이용한 결합으로 상기 동영상 서명된 계약 문서를 생성할 수 있다. The contract document signed by the video can be created by combining the contract document and the video serving as the signature using hard coding.

상기 분리부는 상기 동영상으로부터 영상데이터를 더 분리하고, The separation unit further separates video data from the video,

상기 키워드 인식 판단부의 동작 수행 전에, 상기 영상데이터를 기초로 한 상기 동영상의 위변조 여부를 판단하는 제1 위변조 여부 판단부;를 더 포함할 수 있다. Before performing the operation of the keyword recognition determination unit, a first forgery determination unit that determines whether the video based on the video data has been forged or altered may be further included.

상기 분리부는 상기 동영상으로부터 영상데이터를 더 분리하고, The separation unit further separates video data from the video,

상기 키워드 인식 판단부의 동작 수행 전에, 상기 영상데이터와 신분증 영상의 비교를 통한 상기 동영상의 위변조 여부를 판단하는 제2 위변조 여부 판단부;를 더 포함할 수 있다. Before performing the operation of the keyword recognition determination unit, it may further include a second forgery determination unit that determines whether the video has been forged or altered by comparing the image data with the identification card image.

상기 분리부는 상기 동영상으로부터 영상데이터를 더 분리하고, The separation unit further separates video data from the video,

상기 키워드 인식 판단부에 의해 상기 화상 계약의 수행과 관련된 키워드가 인식된 것으로 판단되면, 상기 음성데이터가 변환된 음성 단위 및 상기 영상데이터의 입술 영역을 기초로 판단된 음성 단위의 비교를 통한 상기 동영상의 위변조 여부를 판단하는 제3 위변조 여부 판단부;를 더 포함할 수 있다. If it is determined by the keyword recognition determination unit that a keyword related to performance of the video contract is recognized, the video is compared with the voice unit into which the voice data is converted and the voice unit determined based on the lip area of the video data. It may further include a third forgery determination unit that determines whether the forgery or alteration has been forged.

실시예에 따라 화상 계약 관리 시스템은, 계약자가 보유하며 제1 사용자 인터페이스부를 포함하는 계약자 단말; According to an embodiment, a video contract management system includes: a contractor terminal owned by a contractor and including a first user interface unit;

피계약자가 보유하며 제2 사용자 인터페이스부를 포함하는 피계약자 단말; 및 A contractee terminal owned by the contractee and including a second user interface unit; and

상기 계약자 단말과 상기 피계약자 단말을 연결해 화상 계약이 수행되도록 지원하는 화상 계약 관리 서버;를 포함하고, It includes a video contract management server that connects the contractor terminal and the contractee terminal to support the performance of a video contract,

상기 화상 계약 관리 서버는, The video contract management server is,

상기 화상 계약의 수행 내역이 기록된 동영상을 획득하기 위한 동영상 획득부; a video acquisition unit for acquiring a video recording performance details of the video contract;

상기 동영상으로부터 음성데이터를 분리하는 분리부; a separation unit that separates audio data from the video;

상기 음성데이터로부터 상기 화상 계약의 수행과 관련된 키워드가 인식되었는지 여부를 판단하는 키워드 인식 판단부; 및 a keyword recognition determination unit that determines whether a keyword related to performance of the video contract is recognized from the voice data; and

상기 키워드 인식 판단부에 의해 상기 화상 계약의 수행과 관련된 키워드가 인식된 것으로 판단되면, 기 저장된 계약 문서를 독출하고, 상기 계약 문서에 서명 기능을 하는 상기 동영상을 결합하여 동영상 서명된 계약 문서를 생성하는 동영상 서명된 계약 문서 생성부;를 포함할 수 있다.If it is determined by the keyword recognition determination unit that a keyword related to performance of the video contract is recognized, a pre-stored contract document is read, and a video signed contract document is generated by combining the contract document with the video that functions as a signature. The video may include a signed contract document generation unit;

상기 제1 사용자 인터페이스부의 화면 및 상기 제2 사용자 인터페이스부의 화면 중 적어도 하나는 동영상 서명 시작 버튼을 포함하고, At least one of the screen of the first user interface unit and the screen of the second user interface unit includes a video signature start button,

상기 계약자 단말 및 상기 피계약자 단말 중 적어도 하나는, At least one of the contractor terminal and the contractee terminal,

상기 계약자 및 상기 피계약자 중 적어도 하나로부터 상기 동영상 서명 시작 버튼에 대한 터치 입력이 가해지면, 상기 제1 사용자 인터페이스부의 화면 및 상기 제2 사용자 인터페이스부의 화면 중 적어도 하나를 통해 화상 계약의 수행 내역을 출력하기 위한 제3 윈도우를 더 출력하며, When a touch input to the video signature start button is applied from at least one of the contractor and the contractee, the performance details of the video contract are output through at least one of the screen of the first user interface unit and the screen of the second user interface unit. A third window is further output for

상기 제3 윈도우는 상기 제1 사용자 인터페이스부의 화면 및 상기 제2 사용자 인터페이스부의 화면 중 적어도 하나의 최상위 층에 배치될 수 있다. The third window may be placed on the top layer of at least one of the screen of the first user interface unit and the screen of the second user interface unit.

본 발명에 따르면, 화상 계약의 수행 내역이 기록된 동영상이 소정의 조건을 만족하는 경우, 해당 동영상에 서명 기능을 부여하여 전자 서명으로서 기능을 하도록 할 수 있다. 즉, 종래의 일반적인 전자 서명이 아닌 해당 동영상을 계약 문서에 결합함으로써, 서명 및 인증의 효과를 보다 극대화할 수 있다. According to the present invention, when a video recording the execution details of a video contract satisfies predetermined conditions, a signature function can be given to the video to function as an electronic signature. In other words, the effectiveness of signing and authentication can be maximized by combining the video with the contract document, rather than a conventional electronic signature.

또한, 본 발명에 따르면 기 저장된 계약 문서에 서명 기능을 하는 동영상을 결합해 동영상 서명된 계약 문서를 생성할 때, 기 저장된 계약 문서도 화상 계약의 수행과 관련된 키워드를 포함하도록 하고, 동영상도 화상 계약의 수행과 관련된 키워드를 포함하도록 구현함으로써, 이중 인증(문서를 통한 인증 및 동영상을 통한 인증)의 효과를 가져올 수 있다. In addition, according to the present invention, when creating a video-signed contract document by combining a video that functions as a signature with a pre-stored contract document, the pre-stored contract document is also made to include keywords related to the performance of the video contract, and the video is also included in the video contract. By implementing it to include keywords related to the performance of , the effect of two-factor authentication (authentication through document and authentication through video) can be achieved.

또한, 본 발명에 따르면, 동영상을 구성하는 음성과 영상 각각에 대해 위변조 여부가 되었는지 여부를 지속적으로 반복하여 판단하도록 함으로써, 동영상 서명된 계약 문서의 보안성을 보다 향상시킬 수 있게 된다.In addition, according to the present invention, the security of a contract document signed in a video can be further improved by continuously and repeatedly determining whether each of the audio and video constituting the video has been forged or altered.

즉, 키워드 인식 판단부(116)의 동작을 통해 구체적으로 해당 동영상이 화상 계약과 관련된 키워드를 가지고 있는지 여부를 판단하기 전에, 미리 해당 동영상의 위변조 여부를 반복하여 판단하며, 또한, 키워드 인식 판단부(116)가 동작한 후에도 해당 동영상의 위변조 여부를 판단함으로써, 해당 동영상이 위변조되지 않은 것이 확실히 검증된 경우에만 해당 동영상을 계약 문서에 결합시키도록 함으로써 동영상 서명된 계약 문서의 보안성을 보다 향상시킬 수 있다.In other words, before determining whether the video has a keyword related to the video contract specifically through the operation of the keyword recognition determination unit 116, it is repeatedly determined whether the video has been forged or altered in advance, and the keyword recognition determination unit 116 By determining whether the video has been forged or altered even after (116) operates, the video can be combined with the contract document only when it is clearly verified that the video has not been forged, thereby further improving the security of the contract document signed by the video. You can.

또한, 계약 내용이 요약된 동영상 서명된 계약 문서를 계약자나 피계약자가 제공받을 수 있도록 함으로써, 계약자나 피계약자는 계약 내용을 손쉽고 빠르게 확인할 수 있다. In addition, by allowing the contractor or contractee to receive a video signed contract document summarizing the contract details, the contractee or contractee can easily and quickly check the contract details.

그리고, 암호화한 파일을 계약자 및/또는 피계약자가 확인(활용)할 수 있도록 함으로써, 암호화한 파일이 계약 문서의 보조적인 참고 자료에 그치지 않고, 암호화한 파일 자체만으로도 독립적인 계약 증빙 자료로써 기능을 할 수 있게 된다. 이로써, 계약 문서에 기재되지 않은 내용까지도 실제로 화상 계약을 통해 합의된 내용은 계약 내용으로 성립될 수 있게 된다. In addition, by allowing the contractor and/or contractee to check (use) the encrypted file, the encrypted file is not limited to an auxiliary reference material for the contract document, but the encrypted file itself functions as independent contract evidence. You can do it. As a result, content actually agreed upon through a video contract, even content not written in the contract document, can be established as contract content.

또한, 향후 법적인 분쟁 발생시, 암호화된 파일을 이용해 계약 내용을 증빙할 수 있고, 실시예에 따라, 블록체인 상의 기록을 이용해 계약 내용이 수정되지 않은 부분을 객관적으로 입증 및 민사 소송의 주요 증거 자료로 이용할 수도 있다.In addition, in the event of a legal dispute in the future, the contents of the contract can be proven using encrypted files, and depending on the embodiment, records on the blockchain can be used to objectively prove that the contract contents have not been modified and serve as key evidence in civil lawsuits. You can also use it.

이외에도, 계약 내용의 흠결 사유, 보완 요청 등에 대해 계약자나 피계약자가 실시간 제공받을 수 있도록 함으로써, 계약자나 피계약자에 대한 흠결 보완이 용이하고 신속하게 이루어질 수 있으며, 이로서, 계약 내용의 정확도와 신뢰도가 보다 향상될 수 있게 된다. In addition, by allowing the contractor or contractee to receive real-time information on the reasons for defects in the contract and requests for supplementation, defects can be corrected easily and quickly for the contractor or contractee. As a result, the accuracy and reliability of the contract content is improved. It can be further improved.

도 1은 실시예에 따른 화상 계약 관리 시스템의 시스템도이다.
도 2는 실시예에 따른 화상 계약 관리 서버(1)의 블록도이다.
도 3은 실시예에 따른 계약자 단말(2) 및/또는 피계약자 단말(3)의 블록도이다.
도 4는 실시예에 따른 화상 계약 관리 서버(1)의 동작을 설명하기 위한 순서도이고, 도 5a 내지 도 5b는 도 4의 동작을 구체화한 순서도이고, 도 6 내지 도 7은 실시예에 따른 피계약자 단말(3) 및/또는 계약자 단말(2)의 사용자 인터페이스부(32)(22)의 화면에 대한 참조도이다.
도 8은 실시예에 따른 제1 위변조 여부 판단부(114)의 동작을 설명하기 위한 블록도이다.
도 9는 실시예에 따른 제2 위변조 여부 판단부(115)의 동작을 설명하기 위한 순서도이다.
도 10은 실시예에 따른 키워드 인식 판단부(116)의 동작을 설명하기 위한 순서도이다.
도 11은 실시예에 따른 제3 위변조 여부 판단부(117)의 동작을 설명하기 위한 순서도이다.
도 12는 실시예에 따른 동영상 서명된 계약 문서 생성부(118)의 동작을 설명하기 위해 참조되는 도면이다.1 is a system diagram of a video contract management system according to an embodiment.
Figure 2 is a block diagram of a video contract management server 1 according to an embodiment.
Figure 3 is a block diagram of the contractor terminal 2 and/or the contractee terminal 3 according to an embodiment.
Figure 4 is a flowchart for explaining the operation of the video contract management server 1 according to an embodiment, Figures 5A to 5B are flowcharts specifying the operation of Figure 4, and Figures 6 to 7 are blood diagrams according to the embodiment. This is a reference diagram for the screen of the user interface unit 32 (22) of the contractor terminal 3 and/or the contractor terminal 2.
Figure 8 is a block diagram for explaining the operation of the first forgery and alteration determination unit 114 according to an embodiment.
Figure 9 is a flowchart for explaining the operation of the second forgery and alteration determination unit 115 according to an embodiment.
Figure 10 is a flowchart for explaining the operation of the keyword recognition determination unit 116 according to an embodiment.
Figure 11 is a flowchart for explaining the operation of the third forgery and alteration determination unit 117 according to an embodiment.
FIG. 12 is a diagram referenced to explain the operation of the video signed contract document generator 118 according to an embodiment.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. The detailed description of the present invention described below refers to the accompanying drawings, which show by way of example specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different from one another but are not necessarily mutually exclusive. For example, specific shapes, structures and characteristics described herein with respect to one embodiment may be implemented in other embodiments without departing from the spirit and scope of the invention. Additionally, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the invention. Accordingly, the detailed description that follows is not intended to be taken in a limiting sense, and the scope of the invention is limited only by the appended claims, together with all equivalents to what those claims assert, if properly described. Similar reference numbers in the drawings refer to identical or similar functions across various aspects.

참고로, 본 발명의 각 순서도에 있어서, 각 단계는 일예이며, 각 순서를 다르게 변경 및/또는 조합한 경우에도 본 발명이 동일/유사하게 적용될 수 있다.For reference, in each flow chart of the present invention, each step is an example, and the present invention can be applied in the same/similar manner even when each order is changed and/or combined differently.

도 1은 실시예에 따른 화상 계약 관리 시스템의 시스템도이다.1 is a system diagram of a video contract management system according to an embodiment.

실시예에 따른 화상 계약 관리 시스템은 화상 계약 관리 서버(1), 계약자 단말(2), 피계약자 단말(3), 및 데이터 저장 서버(4)를 포함할 수 있다.The video contract management system according to the embodiment may include a video contract management server (1), a contractor terminal (2), a contractee terminal (3), and a data storage server (4).

여기서, 각 구성 장치는 유/무선 형태의 일반 네트워크 또는 블록체인 네트워크를 통해 연결될 수 있다.Here, each component device can be connected through a general wired/wireless network or a blockchain network.

여기에서, 일반 네트워크(N1)는 유선 및 무선 등과 같은 다양한 통신망을 통해 구성될 수 있고, 예를 들면, 근거리 통신망 (LAN: Local Area Network), 도시권 통신망(MAN: Metropolitan Area Network), 광역 통신망(WAN: Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. Here, the general network (N1) may be configured through various communication networks such as wired and wireless, for example, a local area network (LAN), a metropolitan area network (MAN), a wide area network ( It can be composed of various communication networks such as WAN (Wide Area Network).

또한, 하나 이상의 P2P(Peer-to-Peer) 네트워크 구조를 형성하는 복수의 블록체인 노드들이 블록체인 네트워크(N2)를 통해 연동될 수 있다. 예를 들면, 화상 계약 관리 서버(1), 계약자 단말(2), 피계약자 단말(3), 및 데이터 저장 서버(4) 중 적어도 일부는 블록체인 네트워크(N2)를 통해 복수의 블록체인 네트워크 구조를 형성하여 각각이 분산된 블록체인 노드로서 상호 작용할 수 있다.Additionally, multiple blockchain nodes forming one or more P2P (Peer-to-Peer) network structures can be linked through a blockchain network (N2). For example, at least some of the video contract management server 1, contractor terminal 2, contractee terminal 3, and data storage server 4 have a plurality of blockchain network structures through the blockchain network N2. By forming a , each can interact as a distributed blockchain node.

블록체인 네트워크(N2)를 통해 연동된 각 노드들은 각 노드들의 정보를 블록 원장에 저장하여 하나의 블록으로 생성하고, 블록 체인에 연결된 다른 연관된 노드들에 합의를 통해 상기 생성된 블록을 전송함으로써, 복수의 나머지 노드가 동일한 블록을 가질 수 있게 된다.Each node linked through the blockchain network (N2) stores the information of each node in the block ledger, creates one block, and transmits the created block through consensus to other related nodes connected to the blockchain, Multiple remaining nodes can have the same block.

화상 계약 관리 서버(1)는 계약자가 보유하는 계약자 단말(2)과 피계약자가 보유하는 피계약자 단말(3)을 연결하여 화상 계약이 수행되도록 지원하고, 상기 화상 계약의 수행 내역이 기록된 동영상을 획득하며, 해당 동영상으로부터 음성데이터를 분리하고, 음성데이터로부터 상기 화상 계약의 수행과 관련된 키워드가 인식되었는지 여부를 판단하며, 상기 화상 계약의 수행과 관련된 키워드가 인식된 것으로 판단되면, 상기 기 저장된 계약 문서를 독출하고, 상기 계약 문서에 서명 기능을 하는 상기 동영상을 결합하여 동영상 서명된 계약 문서를 생성할 수 있다.The video contract management server (1) supports the performance of a video contract by connecting the contractor terminal (2) owned by the contractor and the contractee terminal (3) owned by the contractee, and a video recording the performance details of the video contract. Obtains, separates audio data from the video, determines whether keywords related to performance of the video contract are recognized from the audio data, and if it is determined that keywords related to performance of the video contract are recognized, the pre-stored A contract document can be read, and a video signed contract document can be created by combining the contract document with the video that functions as a signature.

실시예에 따르면, 화상 계약은, 부동산 매매 계약, 부동산 임대차 계약, 근로 계약, 보험 계약 등 모든 형태의 온라인 상의 비대면 계약을 포함할 수 있다.According to the embodiment, the video contract may include all types of online non-face-to-face contracts, such as a real estate sales contract, a real estate rental contract, an employment contract, and an insurance contract.

화상 계약 관리 서버(1)는 앱을 계약자 단말(2)과 피계약자 단말(3)에 제공하거나, 앱을 제공하지 않고도 계약자 단말(2)과 피계약자 단말(3)은 화상 계약 관리 서버(1)의 웹페이지에 접속할 수 있다.The video contract management server (1) provides the app to the contractor terminal (2) and the contractee terminal (3), or the contractor terminal (2) and the contractee terminal (3) provide the app to the contractee terminal (2) and the contractee terminal (3) through the video contract management server (1) ) You can access the web page.

실시예에 따른 계약자와 피계약자는 개인과 개인, 개인과 법인, 법인과 법인 등을 포함할 수 있다. Contractors and contractees according to embodiments may include individuals and individuals, individuals and corporations, corporations and corporations, etc.

실시예에 따라, 계약자 단말(2)은 화상 계약의 성립을 통해 관련 서비스를 제공하고자 하는 계약자가 보유하는 단말일 수 있다. 예를 들어, 부동산 임대차 계약의 경우, 임대인이 보유하는 단말일 수 있고, 보험 계약의 경우 보험사가 보유하는 단말일 수 있다.Depending on the embodiment, the contractor terminal 2 may be a terminal owned by a contractor who wishes to provide related services through the establishment of a video contract. For example, in the case of a real estate lease contract, it may be a terminal owned by the lessor, and in the case of an insurance contract, it may be a terminal owned by an insurance company.

실시예에 따라, 피계약자 단말(3)은 화상 계약의 성립을 통해 관련 서비스를 제공받고자 하는 피계약자가 보유하는 단말일 수 있다. 예를 들어, 부동산 임대차 계약의 경우, 임차인이 보유하는 단말일 수 있고, 보험 계약의 경우 피보험자가 보유하는 단말일 수 있다.Depending on the embodiment, the contractee terminal 3 may be a terminal owned by a contractee who wishes to receive related services through the establishment of a video contract. For example, in the case of a real estate lease contract, it may be a terminal owned by the lessee, and in the case of an insurance contract, it may be a terminal owned by the insured.

계약자 단말(2)은, 스마트폰, PC, 노트북, 태블릿 등 화상 계약을 진행하기 위한 앱 또는 일반 프로그램을 구비하거나 화상 계약 관리 서버(1)에 연결될 수 있으며, 이를 통해 피계약자 단말(3)과 화상 계약을 진행할 수 있는 모든 종류의 기기를 포함할 수 있다.The contractor terminal (2) may be equipped with an app or general program for conducting a video contract, such as a smartphone, PC, laptop, or tablet, or may be connected to the video contract management server (1), and through this, the contractee terminal (3) and It can include all types of devices that can conduct video contracts.

피계약자 단말(3)은, 스마트폰, PC, 노트북, 태블릿 등 화상 계약을 진행하기 위한 앱 또는 일반 프로그램을 구비하거나 화상 계약 관리 서버(1)에 연결될 수 있으며, 이를 통해 계약자 단말(2)과 화상 계약을 진행할 수 있는 모든 종류의 기기를 포함할 수 있다.The contractee terminal (3) may be equipped with an app or general program for conducting a video contract, such as a smartphone, PC, laptop, or tablet, or may be connected to the video contract management server (1), and through this, the contractee terminal (2) and It can include all types of devices that can conduct video contracts.

계약자 단말(2) 및/또는 피계약자 단말(3)은 화상 계약의 수행과 관련된 정보를 생성하여 화상 계약 관리 서버(1)로 전송할 수 있다. 예를 들어, 계약자가 촬영된 동영상 및/또는 피계약자 촬영된 동영상 기록, 그리고 화상 계약이 유효하게 성립되기 위해 필요한 신분증 영상(정지 영상)을 생성하여 화상 계약 관리 서버(1)로 전송할 수 있다. The contractor terminal 2 and/or the contractee terminal 3 may generate information related to performance of the video contract and transmit it to the video contract management server 1. For example, a video recorded by the contractee and/or a video record filmed by the contractee, and an identification card image (still image) necessary for the video contract to be effectively established can be created and transmitted to the video contract management server 1.

실시예에 따라 계약자 단말(2) 및/또는 피계약자 단말(3)은 화상 계약 관리 서버(1)로부터 동영상 서명된 계약 문서를 수신하거나, 동영상 서명된 계약 문서가 암호화된 파일의 저장 경로를 수신하여, 계약자 및/또는 피계약자는 해당 저장 경로를 이용해 동영상 서명된 계약 문서를 확인할 수 있다.Depending on the embodiment, the contractor terminal 2 and/or the contractee terminal 3 receives a video signed contract document from the video contract management server 1, or receives a storage path of a file in which the video signed contract document is encrypted. Thus, the contractor and/or contractee can check the video signed contract document using the corresponding storage path.

실시예에 따라 계약자 단말(2) 및/또는 피계약자 단말(3)은 화상 계약 관리 서버(1)로부터 화상 계약이 유효하게 수행되지 않았음을 나타내는 메시지, 화상 계약 수행의 흠결 보완을 요청하는 메시지, 및/또는 화상 계약 수행에 흠결이 존재하는 이유를 나타내는 메시지를 수신하여 사용자 인터페이스부(22,32)의 화면을 통해 출력함으로써 계약자 및/또는 피계약자에게 제공할 수 있다.Depending on the embodiment, the contractor terminal 2 and/or the contractee terminal 3 may receive a message from the video contract management server 1 indicating that the video contract has not been validly performed, or a message requesting correction of defects in the performance of the video contract. , and/or a message indicating the reason why there is a defect in the performance of the video contract may be received and output through the screen of the user interface unit 22 and 32, thereby providing the message to the contractor and/or contractee.

계약자 단말(2)은 피계약자의 모습이 출력되는 사용자 인터페이스부(22)의 화면과 계약자의 모습을 촬영하여 피계약자 단말(2)로 전송할 수 있는 카메라부(24)와 음성을 수집하여 피계약자와 대화를 주고받을 수 있는 마이크(25) 및 스피커(미도시)가 적어도 구비되어야 한다. The contractor terminal 2 has a screen of the user interface unit 22 on which the contractee's appearance is displayed, a camera unit 24 that can take pictures of the contractor and transmit them to the contractee terminal 2, and collects voice to send the contractee's image to the contractee terminal (2). At least a microphone 25 and a speaker (not shown) that can communicate with each other must be provided.

피계약자 단말(3)은 계약자의 모습이 출력되는 사용자 인터페이스부(22)의 화면과 피계약자의 모습을 촬영하여 계약자 단말(2)로 전송할 수 있는 카메라부(34)와 음성을 수집하여 계약자와 대화를 주고받을 수 있는 마이크(35) 및 스피커(미도시)가 적어도 구비되어야 한다.The contractee terminal 3 has a screen of the user interface unit 22 on which the contractee's appearance is displayed, a camera unit 34 that can take pictures of the contractee and transmit them to the contractor terminal 2, and collects voice to communicate with the contractor. At least a microphone 35 and a speaker (not shown) that can exchange conversations must be provided.

계약자 단말(2) 및 피계약자 단말(3)은 화상 계약을 수행할 수 있도록 카메라부(24), 사용자 인터페이스부(22), 스피커, 마이크(25) 등을 지원하는 앱을 각각 구비할 수 있으며, 앱은 앱스토어 등에서 다운로드를 통해 구비되거나 화상 계약 관리 서버(1)로부터 제공받아 실행되도록 할 수도 있다. The contractor terminal (2) and the contractee terminal (3) may each be equipped with an app that supports a camera unit (24), a user interface unit (22), a speaker, a microphone (25), etc. to perform a video contract. , the app can be downloaded from the App Store, etc., or can be provided and executed from the video contract management server (1).

데이터 저장 서버(4)는 대용량 데이터를 저장할 수 있는 클라우드 서버일 수 있다. 데이터 저장 서버(4)는 화상 계약 관리 서버(1)로부터 동영상 서명된 계약 문서 및/또는 화상 계약의 수행과 관련된 정보가 암호화된 파일을 수신하여 저장하고, 해당 암호화된 파일의 저장 경로를 생성해 화상 계약 관리 서버(1)로 전송할 수 있다.The data storage server 4 may be a cloud server capable of storing large amounts of data. The data storage server 4 receives and stores a video signed contract document and/or a file in which information related to the performance of the video contract is encrypted from the video contract management server 1, and creates a storage path for the encrypted file. It can be transmitted to the video contract management server (1).

도 2는 실시예에 따른 화상 계약 관리 서버(1)의 블록도이고, 실시예에 따른 화상 계약 관리 서버(1)는 제어부(11), 저장부(12), 및 통신부(13)를 포함하고, 제어부(11)는 화상 계약 연결부(111), 동영상 서명 시작 관리부(112), 분리부(113), 제1 위변조 여부 판단부(114), 제2 위변조 여부 판단부(115), 키워드 인식 판단부(116), 제3 위변조 여부 판단부(117), 동영상 서명된 계약 문서 생성부(118), 및 암호화 적용부(119)를 포함할 수 있다.Figure 2 is a block diagram of a video contract management server 1 according to an embodiment, and the video contract management server 1 according to an embodiment includes a control unit 11, a storage unit 12, and a communication unit 13. , the control unit 11 includes a video contract connection unit 111, a video signature start management unit 112, a separation unit 113, a first forgery determination unit 114, a second forgery determination unit 115, and a keyword recognition determination unit. It may include a unit 116, a third forgery determination unit 117, a video signed contract document generation unit 118, and an encryption application unit 119.

도 2를 구성하는 각 요소에 대해서는 도 4를 참조해 후술한다.Each element constituting FIG. 2 will be described later with reference to FIG. 4 .

참고로, 통신부(13)는 화상 계약 관리 서버(1)와 계약자 단말(2), 피계약자 단말(3), 및/또는 데이터 저장 서버(4)와의 데이터 송수신을 수행할 수 있다.For reference, the communication unit 13 may transmit and receive data between the video contract management server 1 and the contractor terminal 2, the contractee terminal 3, and/or the data storage server 4.

도 3은 실시예에 따른 계약자 단말(2) 및/또는 피계약자 단말(3)의 블록도이며, 실시예에 따른 계약자 단말(2) 및/또는 피계약자 단말(3)은 제어부(21,31), 사용자 인터페이스부(22,32), 통신부(23,33), 및 카메라부(24, 34)를 포함할 수 있다.3 is a block diagram of the contractor terminal 2 and/or the contractee terminal 3 according to the embodiment, and the contractor terminal 2 and/or the contractee terminal 3 according to the embodiment include the control units 21 and 31. ), user interface units 22 and 32, communication units 23 and 33, and camera units 24 and 34.

실시예에 따른 계약자 단말(2) 및/또는 피계약자 단말(3)의 각 대응되는 동일 구성요소는 동일/유사하게 동작할 수 있다.Each corresponding identical component of the contractor terminal 2 and/or the contractee terminal 3 according to the embodiment may operate identically/similarly.

제어부(21, 31)는 계약자 단말(2) 및/또는 피계약자 단말(3)의 각 동작을 전체적으로 제어할 수 있다.The control units 21 and 31 can overall control each operation of the contractor terminal 2 and/or the contractee terminal 3.

실시예에 따라, 카메라부(24)(34)는 계약자 및/또는 피계약자를 촬영한 각 영상을 획득할 수 있고, 특히, 각 영상은 2D 영상과 3D 영상을 포함할 수 있다.Depending on the embodiment, the camera units 24 and 34 may acquire each image captured by the contractor and/or the contractee, and in particular, each image may include a 2D image and a 3D image.

카메라부(24)(34)는 일반적인 2D 카메라를 통해 2D 영상을 획득할 수 있고, 구조광, TOF(Time of Flight) 또는 스테레오비전 등의 3D 카메라를 통해 3D 영상(3D 거리 정보)을 획득할 수 있다.The camera units 24 and 34 can acquire 2D images through a general 2D camera, and acquire 3D images (3D distance information) through 3D cameras such as structured light, TOF (Time of Flight), or stereo vision. You can.

실시예에 따라 카메라부(24)(34)는 사용자의 좌우 스테레오 영상을 동시에 획득할 수 있는 스테레오 카메라를 포함할 수 있다.Depending on the embodiment, the camera units 24 and 34 may include a stereo camera capable of simultaneously acquiring left and right stereo images of the user.

실시예에 따라, 카메라부(24)(34)는 복수 개로 구현될 수 있다.Depending on the embodiment, the camera units 24 and 34 may be implemented in plural numbers.

실시예에 따라, 카메라부(24)(34)는 계약자 및/또는 피계약자의 신분증을 촬영하여 신분증 영상을 획득할 수 있다.Depending on the embodiment, the camera units 24 and 34 may obtain an ID image by photographing the ID card of the contractor and/or contractee.

실시예에 따라, 사용자 인터페이스부(22)(32)의 신분증 제시창(w2)을 통해 계약자 및/또는 피계약자가 신분증을 제시하면, 카메라부(24)(34)를 이를 인식해 신분증 영상을 획득할 수 있다.Depending on the embodiment, when the contractor and/or contractee presents an ID card through the ID presentation window (w2) of the user interface unit (22) (32), the camera unit (24) (34) recognizes this and displays the ID image. It can be obtained.

이 경우, 실시예에 따라 카메라부(24)(34)는 계약자 단말(2) 및/또는 피계약자 단말(3)의 전면에 배치될 수 있다.In this case, depending on the embodiment, the camera units 24 and 34 may be placed in the front of the contractor terminal 2 and/or the contractee terminal 3.

마이크(25)(35)는 계약자 및/또는 피계약자 각각의 음성을 획득할 수 있다. The microphones 25 and 35 can acquire the voices of each contractor and/or contractee.

카메라부(24)(34)가 획득한 영상 및 마이크(25)(35)가 획득한 음성은 제어부(21)(31)에 의해 동영상으로 각각 합성되어 화상 계약 관리 서버(1)로 전송될 수 있으며, 합성 기술은 공지의 다양한 알고리즘이 적용될 수 있다.The video acquired by the camera unit (24) (34) and the voice acquired by the microphone (25) (35) can be synthesized into a video by the control unit (21) (31) and transmitted to the video contract management server (1). And various known algorithms can be applied to the synthesis technology.

사용자 인터페이스부(22)(32)는 계약자 및/또는 피계약자로부터 소정의 입력을 수신하여 제어부(21)로 전송하고, 소정의 입력에 대한 처리 결과를 제어부(21)로부터 전송받아 사용자 인터페이스부(22)(32)의 화면을 통해 출력할 수 있다. The user interface units 22 and 32 receive a predetermined input from the contractor and/or contractee and transmit it to the control unit 21, and receive the processing result for the predetermined input from the control unit 21, and receive the user interface unit ( 22) It can be output through the screen at (32).

사용자 인터페이스부(22)(32)는 터치 입력을 수신하는 터치스크린으로 구현될 수 있다.The user interface units 22 and 32 may be implemented as a touch screen that receives touch input.

실시예에 따라, 피계약자 단말(3)의 사용자 인터페이스부(32)의 화면은 도 6의 (a)와 같이 피계약자가 촬영된 영상이 출력되는 제1-1윈도우(w1-1), 계약자가 촬영된 영상이 출력되는 제1-2 윈도우(w1-2), 신분증 제시창(w2), 및 동영상 서명 시작 버튼을 포함할 수 있다. Depending on the embodiment, the screen of the user interface unit 32 of the contractee terminal 3 is a 1-1 window (w1-1) where the video captured by the contractee is output, as shown in (a) of FIG. It may include a first-second window (w1-2) where the captured video is output, an ID presentation window (w2), and a video signature start button.

실시예에 따라, 계약자 단말(2)의 사용자 인터페이스부(22)의 화면은 도 6의 (b)와 같이 피계약자가 촬영된 영상이 출력되는 제1-1윈도우(w1-1), 계약자가 촬영된 영상이 출력되는 제1-2 윈도우(w1-2), 신분증 제시창(w2), 및 동영상 서명 시작 버튼을 포함할 수 있다. Depending on the embodiment, the screen of the user interface unit 22 of the contractor terminal 2 is a 1-1 window (w1-1) where the image captured by the contractor is output, as shown in (b) of FIG. It may include a first-second window (w1-2) where the captured video is output, an ID presentation window (w2), and a video signature start button.

실시예에 따라, 피계약자 단말(3)의 사용자 인터페이스부(32)의 신분증 제시창(w2)은 피계약자가 촬영된 영상이 출력되는 제1-1윈도우(w1-1)에 인접하여 위치(예> 하부)하고, 실시예에 따라, 계약자 단말(2)의 사용자 인터페이스부(22)의 신분증 제시창(w2)은 계약자가 촬영된 영상이 출력되는 제1-1윈도우(w1-2) 에 인접하여 위치할 수 있다.Depending on the embodiment, the ID presentation window (w2) of the user interface unit 32 of the contractee terminal 3 is located adjacent to the 1-1 window (w1-1) where the video captured by the contractee is output ( Example> bottom) and, depending on the embodiment, the ID presentation window (w2) of the user interface unit 22 of the contractor terminal 2 is in the 1-1 window (w1-2) where the image captured by the contractor is output. Can be located adjacent to each other.

실시예에 따라, 피계약자 단말(3)의 사용자 인터페이스부(32)의 화면은 도 7의 (a)와 같이 제3 윈도우(w3)를 더 포함하고, 계약자 단말(2)의 사용자 인터페이스부(22)의 화면은 도 7의 (b)와 같이 제3 윈도우(w3)를 더 포함할 수 있다.According to the embodiment, the screen of the user interface unit 32 of the contractor terminal 3 further includes a third window w3 as shown in (a) of FIG. 7, and the user interface unit of the contractor terminal 2 ( The screen of 22) may further include a third window w3, as shown in (b) of FIG. 7.

실시예에 따라 제3윈도우(w3)는 사용자 인터페이스부(22)(32)의 화면에서 가장 최상층에 배치될 수 있다. 즉, 사용자 인터페이스부(22)(32)의 화면을 구성하는 다른 요소들보다 가장 최상층에 배치될 수 있다.Depending on the embodiment, the third window w3 may be placed on the top layer of the screen of the user interface unit 22 (32). That is, it can be placed on the highest layer above other elements constituting the screen of the user interface unit 22 (32).

실시예에 따라, 제1-1윈도우(w1-1) 및/또는 제1-2 윈도우(w1-2)는 화상 계약의 수행 내역이 기록되기 전, 즉, 화상 계약의 준비를 위한 연결 단계에서 피계약자가 촬영된 영상 및/또는 계약자가 촬영된 영상이 출력되는 영역에 대응되고, 제3 윈도우(w3)는 화상 계약의 수행 내역을 기록 및 해당 동영상이 획득되는 단계에서, 피계약자가 촬영된 영상 및/또는 계약자가 촬영된 영상이 출력되는 영역에 대응될 수 있다.Depending on the embodiment, the 1-1 window (w1-1) and/or the 1-2 window (w1-2) are displayed before the performance details of the video contract are recorded, that is, in the connection stage for preparation of the video contract. It corresponds to the area where the image captured by the contractee and/or the image captured by the contractor is output, and the third window (w3) records the performance details of the video contract and records the video captured by the contractee at the stage of obtaining the video. It may correspond to an area where images and/or images captured by a contractor are output.

통신부(23)(33)는 계약자 단말(2) 및 피계약자 단말(3)과 화상 계약 관리 서버(1) 및 데이터 저장 서버(4)와의 데이터 송수신을 수행할 수 있다.The communication units 23 and 33 can transmit and receive data between the contractor terminal 2 and the contractee terminal 3 and the video contract management server 1 and the data storage server 4.

도 4는 실시예에 따른 화상 계약 관리 서버(1)의 동작을 설명하기 위한 순서도이고, 도 5a 내지 도 5b는 도 4의 동작을 구체화한 순서도이고, 도 6 내지 도 7은 실시예에 따른 피계약자 단말(3) 및/또는 계약자 단말(2)의 사용자 인터페이스부(32)(22)의 화면에 대한 참조도이다.Figure 4 is a flowchart for explaining the operation of the video contract management server 1 according to an embodiment, Figures 5A to 5B are flowcharts specifying the operation of Figure 4, and Figures 6 to 7 are blood diagrams according to the embodiment. This is a reference diagram for the screen of the user interface unit 32 (22) of the contractor terminal 3 and/or the contractor terminal 2.

도 8은 실시예에 따른 제1 위변조 여부 판단부(114)의 동작을 설명하기 위한 블록도이다. Figure 8 is a block diagram for explaining the operation of the first forgery and alteration determination unit 114 according to an embodiment.

도 9는 실시예에 따른 제2 위변조 여부 판단부(115)의 동작을 설명하기 위한 순서도이다.Figure 9 is a flowchart for explaining the operation of the second forgery and alteration determination unit 115 according to an embodiment.

도 10은 실시예에 따른 키워드 인식 판단부(116)의 동작을 설명하기 위한 순서도이다. Figure 10 is a flowchart for explaining the operation of the keyword recognition determination unit 116 according to an embodiment.

도 11은 실시예에 따른 제3 위변조 여부 판단부(117)의 동작을 설명하기 위한 순서도이다. Figure 11 is a flowchart for explaining the operation of the third forgery and alteration determination unit 117 according to an embodiment.

도 12는 실시예에 따른 동영상 서명된 계약 문서 생성부(118)의 동작을 설명하기 위해 참조되는 도면이다.FIG. 12 is a diagram referenced to explain the operation of the video signed contract document generator 118 according to an embodiment.

이하, 도 2 내지 도 12를 참조하여 실시예에 따른 화상 계약 관리 시스템의 동작을 설명한다.Hereinafter, the operation of the video contract management system according to the embodiment will be described with reference to FIGS. 2 to 12.

도 4에 도시한 바와 같이, 실시예에 따르면, 화상 계약 연결부(111)는 계약자 단말(2)과 피계약자 단말(3)을 연결하여 화상 계약이 수행되도록 지원할 수 있다(s1). 이때, 화상 계약 연결부(111)는 계약자 단말(2) 및 피계약자 단말(3)의 연결 요청을 통해 상호 연결 시킴으로써 화상 계약을 진행하거나, 화상 계약 어플리케이션 구동을 통해 연결되는 계약자 단말(2) 및 피계약자 단말(3)이 연결되도록 할 수도 있다.As shown in FIG. 4, according to the embodiment, the video contract connection unit 111 may support the performance of a video contract by connecting the contractee terminal 2 and the contractee terminal 3 (s1). At this time, the video contract connection unit 111 proceeds with the video contract by interconnecting the contractor terminal 2 and the contractee terminal 3 through connection requests, or connects the contractor terminal 2 and the contractee terminal 3 by running the video contract application. The contractor terminal 3 can also be connected.

실시예에 따라, s1과 같은 화상 계약의 수행을 위한 준비 단계에서, 계약자 단말(2)의 제어부(21) 및/또는 피계약자 단말(3)의 제어부(31)는 도 6과 같은 사용자 인터페이스부(22)(32)의 화면 상의 제1-1윈도우(w1-1) 및/또는 제1-2 윈도우(w1-2)를 통해 피계약자가 촬영된 영상과 계약자가 촬영된 영상을 출력할 수 있다.Depending on the embodiment, in the preparation stage for performing a video contract such as s1, the control unit 21 of the contractor terminal 2 and/or the control unit 31 of the contractee terminal 3 may use a user interface unit as shown in FIG. 6. (22) The image captured by the contractee and the image captured by the contractor can be output through the 1-1 window (w1-1) and/or the 1-2 window (w1-2) on the screen of (32). there is.

실시예에 따라, 동영상 획득부(112)는 화상 계약의 수행 내역이 기록된 동영상을 획득할 수 있다(s2).Depending on the embodiment, the video acquisition unit 112 may acquire a video recording the execution details of the video contract (s2).

실시예에 따라, 화상 계약의 수행 내역이 기록된 동영상은 계약자 단말(2)로부터 수신한 동영상 및/또는 피계약자 단말(3)로부터 수신한 동영상을 포함할 수 있다.Depending on the embodiment, the video recording the performance details of the video contract may include a video received from the contractor terminal 2 and/or a video received from the contractee terminal 3.

실시예에 따라, 화상 계약의 수행 내역이 기록된 동영상은 화상 계약이 수행되는 동안 실시간 기록된 피계약자 및/또는 계약자의 음성데이터(예> 대화 내역), 그리고, 피계약자 및/또는 계약자의 영상데이터(예> 안면을 확인할 수 있는 내역)를 포함할 수 있다. Depending on the embodiment, the video recording the performance of the video contract may include voice data (e.g., conversation history) of the contractee and/or contractor recorded in real time while the video contract is being performed, and video of the contractee and/or contractor. It may include data (e.g., details that can be used to identify the face).

예를 들어, 계약의 형태가 보험 계약인 경우, 피계약자의 정보(예> 신원, 계약 성립 요소 등)만 요구되므로, 화상 계약의 수행 내역이 기록된 동영상은 피계약자 단말(3)로부터 수신한 동영상만을 포함할 수 있다. 한편, 계약의 형태가 임대차 계약인 경우, 계약자의 정보와 피계약자의 정보가 모두 요구(예> 임대인, 임차인 각각의 신원, 및 계약 성립 요소 등)되므로, 화상 계약의 수행 내역이 기록된 동영상은 계약자 단말(2)로부터 수신한 동영상과 피계약자 단말(3)로부터 수신한 동영상을 함께 포함할 수 있다.For example, if the form of the contract is an insurance contract, only the contractee's information (e.g. identity, contract establishment elements, etc.) is required, so the video recording the performance details of the video contract is received from the contractee terminal 3. Can only contain video. On the other hand, if the form of the contract is a rental contract, both the contractor's information and the contractee's information are required (e.g., the identity of each lessor and lessee, and elements of the contract, etc.), so a video recording the performance of the video contract is required. The video received from the contractor terminal (2) and the video received from the contractee terminal (3) may be included together.

실시예에 따라, 계약자 단말(2)의 제어부(21) 및/또는 피계약자 단말(3)의 제어부(31)는 계약자 및/또는 피계약자로부터 도 6과 같은 사용자 인터페이스부(22, 32)를 통한 동영상 서명 시작 버튼에 대한 터치 입력을 수신하면, 계약자 단말(2)에서 생성된 동영상 및/또는 피계약자 단말(3)에서 생성된 동영상을 화상 계약 관리 서버(1)로 전송하고, 동영상 획득부(112)는 계약자 단말(2)에서 생성된 동영상 및/또는 피계약자 단말(3)에서 생성된 동영상을 기초로 화상 계약의 수행 내역이 기록된 동영상을 획득할 수 있다.Depending on the embodiment, the control unit 21 of the contractor terminal 2 and/or the control unit 31 of the contractee terminal 3 receives the user interface units 22 and 32 as shown in FIG. 6 from the contractor and/or contractee. Upon receiving a touch input for the video signature start button through (112) may obtain a video recording the performance details of the video contract based on the video generated by the contractor terminal 2 and/or the video generated by the contractee terminal 3.

실시예에 따라, 화상 계약 관리 서버(1)는 화상 계약의 수행 내역이 기록된 동영상이 소정의 조건을 만족하는 경우, 해당 동영상에 서명 기능을 부여하여 전자 서명으로서 기능을 하도록 할 수 있다. 즉, 종래의 일반적인 전자 서명이 아닌 해당 동영상을 계약 문서에 결합함으로써, 서명 및 인증의 효과를 보다 극대화할 수 있다. 실시예에 따른 소정의 조건은 s4 내지 s7 각각의 모든 단계를 포함할 수 있으며, 이에 대한 자세한 설명은 후술한다.Depending on the embodiment, the video contract management server 1 may grant a signature function to the video in which the video contract performance details are recorded if it satisfies a predetermined condition, allowing it to function as an electronic signature. In other words, the effectiveness of signing and authentication can be maximized by combining the video with the contract document, rather than a conventional electronic signature. Predetermined conditions according to the embodiment may include all steps s4 to s7, and a detailed description thereof will be provided later.

실시예에 따라, s2와 같은 화상 계약의 수행 내역을 기록 및 해당 동영상을 획득하는 단계에서, 계약자 단말(2)의 제어부(21) 및/또는 피계약자 단말(3)의 제어부(31)는 도 7과 같은 사용자 인터페이스부(22)(32)의 화면 상의 제3윈도우(w3)를 통해 계약자가 촬영된 영상 및/또는 피계약자가 촬영된 영상을 출력할 수 있다.Depending on the embodiment, in the step of recording the performance details of a video contract such as s2 and acquiring the corresponding video, the control unit 21 of the contract terminal 2 and/or the control unit 31 of the contractee terminal 3 may be used as shown in FIG. Images captured by the contractor and/or images captured by the contractee can be output through the third window w3 on the screen of the user interface units 22 and 32 as shown in 7.

실시예에 따라, 계약자 단말(2)의 제어부(21) 및/또는 피계약자 단말(3)의 제어부(31)는 계약자 및/또는 피계약자로부터 도 6과 같은 사용자 인터페이스부(22, 32)를 통한 동영상 서명 시작 버튼에 대한 터치 입력을 수신하면, 사용자 인터페이스부(22, 32)의 화면 상의 제3윈도우(w3)를 통해 계약자가 촬영된 영상 및/또는 피계약자가 촬영된 영상을 출력할 수 있다.Depending on the embodiment, the control unit 21 of the contractor terminal 2 and/or the control unit 31 of the contractee terminal 3 receives the user interface units 22 and 32 as shown in FIG. 6 from the contractor and/or contractee. Upon receiving a touch input for the video signature start button, the video captured by the contractor and/or the video captured by the contractee can be output through the third window (w3) on the screen of the user interface unit 22, 32. there is.

실시예에 따라, 분리부(113)는 동영상 획득부(112)로부터 수신한 동영상로부터 음성데이터 및/또는 영상데이터를 분리할 수 있다(s3). Depending on the embodiment, the separation unit 113 may separate audio data and/or video data from the video received from the video acquisition unit 112 (s3).

실시예에 따라, 저장부(12)는 동영상을 처리하기 위한 프로그램을 미리 저장하고, 분리부(113)는 해당 프로그램을 이용해 동영상으로부터 음성데이터 및/또는 영상데이터를 분리할 수 있다.Depending on the embodiment, the storage unit 12 may pre-store a program for processing a video, and the separation unit 113 may separate audio data and/or video data from the video using the program.

실시예에 따라 동영상을 처리하기 위한 프로그램은 안드로이드용 개발 킷(Native Development Kit, NDK)을 이용하여 안드로이드 운용체제에 접목(porting)된 공개 멀티미디어 제어 프로그램인 FFmpeg을 포함할 수 있다. Depending on the embodiment, the program for processing video may include FFmpeg, a public multimedia control program ported to the Android operating system using a native development kit (NDK) for Android.

실시예에 따라, 상기 FFmpeg에 포함된 다양한 멀티미디어용 공개 소프트웨어를 분리부(113)에서 이용할 수 있다. 예를 들면, 다중화/역다중화(mux/demux) 프로그램인 libavformat, 인코더/디코더 프로그램인 libavcodec, 비디오 픽셀의 포맷 변환을 위한 libswscale 및 동영상 구동을 위한 FFplay와 같은 다양한 프로그램들이 FFmepg의 라이브러리로서 구동될 수 있다.Depending on the embodiment, various open software for multimedia included in FFmpeg can be used in the separation unit 113. For example, various programs such as libavformat, a multiplexing/demultiplexing (mux/demux) program, libavcodec, an encoder/decoder program, libswscale for format conversion of video pixels, and FFplay for video operation can be run as libraries of FFmepg. there is.

실시예에 따라, 분리부(113)는 libavformat 라이브러리를 이용해 동영상을 역다중화(demux)하여 동영상으로부터 음성데이터 및/또는 영상데이터를 분리할 수 있다. Depending on the embodiment, the separation unit 113 may demultiplex the video using the libavformat library to separate audio data and/or video data from the video.

다만, 이는 실시예이며, 동영상으로부터 음성데이터 및/또는 영상데이터를 분리하는 공지의 모든 종류의 알고리즘이 본 발명에 동일/유사하게 적용될 수 있다. However, this is an example, and all types of known algorithms for separating audio data and/or video data from video can be applied equally/similarly to the present invention.

실시예에 따라, 제1 위변조 여부 판단부(114)는 분리부(113)로부터 수신한 영상데이터를 기초로 화상 계약의 수행 내역이 기록된 동영상의 위변조 여부를 1차로 판단할 수 있다(s4). Depending on the embodiment, the first forgery and alteration determination unit 114 may first determine whether the video recording the execution details of the video contract has been forged or altered based on the image data received from the separation unit 113 (s4). .

도 8을 함께 참조하면, 실시예에 따라, 분리부(113)로부터 계약자 및/또는 피계약자의 영상데이터를 수신하는 영상 수신부(1141), 영상데이터에 포함된 2D 영상 정보를 이용하여 화상 계약 당사자인 계약자 및/또는 피계약자의 얼굴 영역을 검출하고, 상기 검출한 얼굴 영역을 이용하여 얼굴의 위치 및 포즈 정보를 획득하는 얼굴 영역 검출부(1143), 상기 검출한 얼굴 영역에 대응하는 상기 3D 영상 정보에 대해서 실세계 좌표 변환하여 3D 얼굴을 생성하며, 상기 얼굴의 위치 및 포즈 정보를 이용하여 상기 3D 얼굴을 시점 변환하는 3D 얼굴 생성 및 시점 변환부(1144), 그리고 상기 시점 변환된 3D 얼굴을 소정의 얼굴 템플릿과 비교하여, 위조 얼굴 여부를 판별하는 3D 특징 추출 및 비교부(1146)를 포함할 수 있다. Referring to FIG. 8 together, depending on the embodiment, an image receiving unit 1141 receives image data of the contractor and/or contractee from the separation unit 113, and uses 2D image information included in the image data to send images to the contracting parties. A face area detection unit 1143 that detects the face area of the contractor and/or contractee and obtains location and pose information of the face using the detected face area, and the 3D image information corresponding to the detected face area. A 3D face generation and viewpoint conversion unit 1144 generates a 3D face by converting real world coordinates, converts the viewpoint of the 3D face using the position and pose information of the face, and converts the viewpoint converted 3D face into a predetermined position. It may include a 3D feature extraction and comparison unit 1146 that compares the face template to determine whether the face is a fake.

실시예에 따라, 제1 위변조 여부 판단부(114)는 상기 시점 변환된 3D 얼굴을 이용하여 얼굴의 실제 크기를 계산하며, 상기 계산한 얼굴의 실제 크기를 소정의 크기와 비교하여 위조 얼굴 여부를 판별하는 얼굴 크기 확인부(1145)를 더 포함할 수 있다. According to the embodiment, the first forgery determination unit 114 calculates the actual size of the face using the viewpoint converted 3D face, and compares the calculated actual size of the face with a predetermined size to determine whether the face is a forgery. It may further include a face size confirmation unit 1145 that determines the face size.

실시예에 따라, 상기 2D 영상 정보와 상기 3D 영상 정보를 서로 정합하는 영상 정합부(1142)를 더 포함할 수 있다. Depending on the embodiment, it may further include an image matching unit 1142 that matches the 2D image information and the 3D image information.

실시예에 따라, 영상 정합부(1142)는 2D 영상과 3D 영상을 서로 정합할 수 있다. 예를 들어, 2D 영상을 센싱하는 2D 카메라(미도시)와 3D 영상을 센싱하는 3D 카메라(미도시)는 설치 위치가 서로 다르며 화각(FOV, field of view)이 서로 다르다. 이로 인해, 2D 영상과 3D 영상 내의 객체가 서로 정합이 맞지 않게 된다. 영상 정합부(1142)는 서로 맞지 않는 영상 내의 객체에 대해서 정합을 수행할 수 있다. 2D 영상과 3D 영상을 정합시키는 방법은 공지의 다양한 알고리즘을 적용할 수 있다. Depending on the embodiment, the image registration unit 1142 may match the 2D image and the 3D image. For example, a 2D camera (not shown) that senses 2D images and a 3D camera (not shown) that senses 3D images have different installation locations and different fields of view (FOV). As a result, objects in the 2D image and 3D image do not match each other. The image matching unit 1142 can perform matching on objects in images that do not match each other. Various known algorithms can be applied to the method of matching 2D images and 3D images.

실시예에 따라, 얼굴 영역 검출부(1143)는 2D 영상을 이용하여 얼굴 영역(2D 얼굴 영역)을 검출하고, 검출한 얼굴 영역(2D 얼굴 영역)을 이용하여 얼굴의 위치 및 포즈 정보를 획득할 수 있다. 여기서, 얼굴의 위치는 영상 내에서 얼굴이 차지하는 사각형의 좌표 값을 나타내며, 포즈 정보는 얼굴의 회전 각도(yaw, pitch, roll)를 나타낼 수 있다. 2D 영상에서 얼굴 영역을 검출하고, 얼굴 영역에서 얼굴의 위치 및 포즈를 획득하는 것은 공지의 다양한 알고리즘을 적용할 수 있다. Depending on the embodiment, the face area detection unit 1143 may detect a face area (2D face area) using a 2D image, and obtain position and pose information of the face using the detected face area (2D face area). there is. Here, the position of the face represents the coordinate value of the square occupied by the face in the image, and the pose information may represent the rotation angle (yaw, pitch, roll) of the face. Various known algorithms can be applied to detect the face area in a 2D image and obtain the position and pose of the face in the face area.

실시예에 따라, 3D 얼굴 생성 및 시점 변환부(1144)는 2D 얼굴 영역에 대응하는 3D 영상에 대해서 실세계 좌표 변환을 수행함으로써, 해당 영역의 3D 얼굴을 생성하고, 얼굴의 위치 및 포즈 정보를 이용하여 생성한 3D 얼굴을 원하고자 하는 시점(view point)으로 변환할 수 있다. Depending on the embodiment, the 3D face generation and viewpoint conversion unit 1144 performs real-world coordinate transformation on the 3D image corresponding to the 2D face area, thereby generating a 3D face in the corresponding area and using the position and pose information of the face. You can convert the created 3D face to the desired view point.

구체적으로, 3D 카메라(미도시)의 화각 정보와 얼굴 영역 검출부(1143)가 검출한 얼굴 위치 정보를 이용하여, 2D 얼굴 영역에 대응하는 3D 영상에 대해 각 픽셀의 위치 값(x, y, Z)을 실세계 좌표(X, Y, Z)로 변환하여 3D 얼굴을 생성할 수 있다. Specifically, using the angle of view information of the 3D camera (not shown) and the face position information detected by the face area detection unit 1143, the position values (x, y, Z) of each pixel for the 3D image corresponding to the 2D face area ) can be converted to real-world coordinates (X, Y, Z) to create a 3D face.

그리고, 3D 얼굴 생성 및 시점 변환부(1144)는 회전된 얼굴인 경우, 얼굴 영역 검출부(1143)가 획득한 얼굴의 위치 및 포즈 정보를 이용하여 원하는 시점(view point)로 변환, 즉 뷰포트 변환(viewport transformation)을 수행할 수 있다. 여기서, 원하는 시점으로 변환하는 방법은 각 정보간의 거리를 유지시킬 수 있는 유클리디안 변환이 사용될 수 있다. In addition, in the case of a rotated face, the 3D face generation and viewpoint conversion unit 1144 converts it to a desired viewpoint (view point) using the position and pose information of the face acquired by the face area detection unit 1143, that is, viewport conversion ( viewport transformation) can be performed. Here, the method of converting to the desired viewpoint can be Euclidean transformation, which can maintain the distance between pieces of information.

실시예에 따라, 3D 얼굴 생성 및 시점 변환부(1144)는 시점 변환으로서 정면 변환 또는 윗면 변환 한 후 얼굴의 깊이감을 재구성할 수 있다. 옆 얼굴로부터 정면 얼굴로 시점을 변환한 후 코를 중심으로 깊이감을 계산하여 정면 얼굴을 생성할 수 있다. 또는, 옆 얼굴로부터 윗면 얼굴로 시점을 변환한 후 머리 중심(정수리)으로 깊이감을 계산하여 윗면 얼굴을 생성할 수 있다.Depending on the embodiment, the 3D face generation and viewpoint conversion unit 1144 may reconstruct the sense of depth of the face after front or top conversion as viewpoint conversion. After converting the viewpoint from a side face to a front face, a front face can be created by calculating depth centered on the nose. Alternatively, the top face can be created by converting the viewpoint from the side face to the top face and then calculating the depth based on the center of the head (crown).

실시예에 따라, 얼굴 크기 확인부(1145)는 시점 변환된 3D　얼굴을 이용하여,　얼굴의 실제 크기를 계산할 수 있다. 3D　얼굴에 대한 정보는 실세계 좌표 값을 포함하고 있으므로, 카메라로부터의 거리 z에 관계 없이　얼굴의 실제 크기를 계산할 수 있다. 　계약자 및/또는 피계약자의 얼굴 크기의 범위는 경험적으로(heuristic) 소정의 범위의 크기를 가지고, 실제 계약자 및/또는 피계약자가 아니라 사진을 통한 위조 얼굴인 경우의 얼굴의 크기는 상기 범위에서 벗어나게 된다. 따라서, 얼굴 크기 확인부(1145)는 계산한 실제 크기가 경험적으로 알고 있는 계약자 및/또는 피계약자의 얼굴 크기의 범위인지를 통해 위조 얼굴임을 판별할 수 있다. Depending on the embodiment, the face size confirmation unit 1145 may calculate the actual size of the face using the viewpoint-converted 3D face. Since information about the 3D face includes real-world coordinate values, the actual size of the face can be calculated regardless of the distance z from the camera. The range of the face size of the contractor and/or contractee is heuristically within a predetermined range, and if the face is not an actual contractor and/or contractee but a fake face through a photo, the size of the face may deviate from the above range. do. Accordingly, the face size confirmation unit 1145 can determine that the face is a fake face by determining whether the calculated actual size is within the range of the empirically known face size of the contractor and/or contractee.

3D 특징 추출 및 비교부(1146)는 3D 얼굴 생성 및 시점 변환부(1144)에서 생성된 시점 변환된 3D 얼굴에 대해서 3D 특징을 추출하고 추출한 3D 특징과 소정의 특징을 비교하여 얼굴 위조 여부를 판별할 수 있다. 여기서, 3D 특징을 추출하고 소정의 특징을 비교하는 방법은 아래의 3가지 방법이 사용될 수 있다.The 3D feature extraction and comparison unit 1146 extracts 3D features from the viewpoint-converted 3D face generated by the 3D face generation and viewpoint conversion unit 1144 and compares the extracted 3D features with predetermined features to determine whether the face is forged. can do. Here, the following three methods can be used to extract 3D features and compare predetermined features.

실시예에 따라, 컨투어 맵(contour map)을 이용할 수 있다. 실시예에 따라, 3D 특징 추출 및 비교부(1146)는 시점 변환된 3D 얼굴을 이용하여, 동일한 거리 값을 갖는 등고선 지도(컨투어 맵)를 생성할 수 있다. 위조 얼굴의 경우, 등고선의 형태가 실제 얼굴과는 다르다. 그리고 3D 특징 추출 및 비교부(1146)는 생성한 등고선 지도와 실제 얼굴 템플릿의 컨투어맵간에 모멘트 비교(moments matching)를 통해 특징을 비교할 수 있다. 즉, 모멘트 비교를 통해 계산한 모멘트 비교 값이 사전에 학습된 임계치보다 클 경우, 실제의 얼굴이 아니고 위조 얼굴임을 판별할 수 있다.Depending on the embodiment, a contour map may be used. Depending on the embodiment, the 3D feature extraction and comparison unit 1146 may generate a contour map (contour map) with the same distance value using the viewpoint-converted 3D face. In the case of fake faces, the shape of the contour lines is different from the real face. Additionally, the 3D feature extraction and comparison unit 1146 can compare features through moment matching between the generated contour map and the contour map of the actual face template. In other words, if the moment comparison value calculated through moment comparison is greater than the previously learned threshold, it can be determined that it is a fake face and not a real face.

실시예에 따라, 측지거리맵(geodesic distance map) 또는 벡터(vector)를 이용할 수 있다. 3D 특징 추출 및 비교부(1146)는 시점 변환된 3D 얼굴을 이용하여 시점에 가장 가까운 점(기준점)으로부터의 측지거리맵을 생성할 수 있다. 그리고 측지거리맵을 하나의 벡터로 표현하여 특징을 계산할 수 있다. 시점 변환된 3D 얼굴이 정면 얼굴인 경우에는 기준점은 코에서 가장 높은 점(예를 들면, 콧등)이 된다. 한편, 측정거리는 각 픽셀의 기준점으로부터 그래프 탐색을 통해 구현될 수 있다. Depending on the embodiment, a geodesic distance map or vector may be used. The 3D feature extraction and comparison unit 1146 can generate a geodetic distance map from the point (reference point) closest to the viewpoint using the viewpoint-converted 3D face. And features can be calculated by expressing the geodetic distance map as a vector. If the viewpoint-converted 3D face is a frontal face, the reference point is the highest point on the nose (for example, the bridge of the nose). Meanwhile, the measurement distance can be implemented through graph search from the reference point of each pixel.

3D 특징 추출 및 비교부(1146)는 상호 상관(cross correlation) 또는 놈(norm)을 통해 특징을 비교할 수 있다. 즉, 3D 특징 추출 및 비교부(1146)는 3D 얼굴을 통해 생성한 측지거리맵과 사전에 학습된 얼굴 템플릿(실제 얼굴 템플릿)에 대한 측지거리맵 간에 상호상관을 통해 특징을 비교할 수 있다. 여기서, 3D 특징 추출 및 비교부(1146)는 비교한 값이 임계치 보다 클 경우 위조 얼굴로서 판별할 수 있다. 그리고 3D 특징 추출 및 비교부(1146)는 측지거리맵을 하나의 벡터로 표현한 값과 사전에 학습된 얼굴 템플릿에 대한 측지거리맵을 하나의 벡터로 표현한 값 사이에서, 두 벡터간의 거리를 구할 수 있다. 3D 특징 추출 및 비교부(1146)는 두 벡터간의 거리가 임계치보다 클 경우 위조 얼굴로서 판별할 수 있다. The 3D feature extraction and comparison unit 1146 may compare features through cross correlation or norm. That is, the 3D feature extraction and comparison unit 1146 can compare features through cross-correlation between the geodetic distance map generated from the 3D face and the geodetic distance map for the pre-learned face template (actual face template). Here, the 3D feature extraction and comparison unit 1146 can determine the face as a fake if the compared value is greater than the threshold. And the 3D feature extraction and comparison unit 1146 can obtain the distance between the two vectors between the value expressing the geodetic distance map as one vector and the value expressing the geodetic distance map for the pre-learned face template as one vector. there is. The 3D feature extraction and comparison unit 1146 can determine the face as a fake if the distance between the two vectors is greater than the threshold.

실시예에 따라, 제1 위변조 여부 판단부(114)는 해당 동영상이 위변조되지 않은 것으로 판단하면, 신분증 영상 확인을 위한 메시지를 계약자 단말(2) 및/또는 피계약자 단말(3)로 전송할 수 있다(s4-1, s4-2). 반면, 해당 동영상이 위변조된 것으로 판단하면, 위변조 검출 메시지를 계약자 단말(2) 및/또는 피계약자 단말(3)로 전송할 수 있다(E). Depending on the embodiment, if the first forgery determination unit 114 determines that the video has not been forged or altered, it may transmit a message for confirming the ID card video to the contractor terminal 2 and/or the contractee terminal 3. (s4-1, s4-2). On the other hand, if it is determined that the video has been forged or altered, a forgery detection message can be transmitted to the contractor terminal (2) and/or the contractee terminal (3) (E).

실시예에 따라, 제1 위변조 여부 판단부(114)로부터 신분증 영상 확인을 위한 메시지를 수신한 계약자 단말(2) 및/또는 피계약자 단말(3)은 사용자 인터페이스부(22)(32)의 화면을 통해 해당 메시지를 출력하고, 계약자 및/또는 피계약자로부터 신분증 영상을 획득해 화상 계약 관리 서버(1)로 전송할 수 있다.Depending on the embodiment, the contractor terminal 2 and/or the contractee terminal 3 that has received the message for confirming the ID card image from the first forgery determination unit 114 may be displayed on the screen of the user interface unit 22 (32). You can output the corresponding message, obtain an ID card video from the contractor and/or contractee, and transmit it to the video contract management server (1).

이와 같은 본 발명의 실시예에 따르면, 2D 영상 정보와 3D 거리 정보를 이용함으로써, 신뢰성이 높고 적은 연산 시간으로서 위조얼굴을 판별할 수 있다. 또한, 본 발명의 실시예에 따르면, 2차원 얼굴검출 정보와 3차원 얼굴 특징 추출을 통해 위조 얼굴을 판별 한 후 사용자를 인증하면, 인증의 정확성 및 신뢰성을 높일 수 있는 장점이 있다. According to this embodiment of the present invention, by using 2D image information and 3D distance information, a counterfeit face can be identified with high reliability and a short calculation time. In addition, according to an embodiment of the present invention, if a fake face is identified through 2D face detection information and 3D facial feature extraction and then the user is authenticated, the accuracy and reliability of authentication can be improved.

한편, 이외에도, 영상의 위변조를 감지할 수 있는 공지의 다양한 알고리즘인 경우에도 본 발명에 동일/유사하게 적용될 수 있다.Meanwhile, in addition, various known algorithms that can detect forgery and alteration of images can be equally/similarly applied to the present invention.

실시예에 따라, 제2 위변조 여부 판단부(115)는 분리부(113)로부터 수신한 영상데이터와 신분증 영상을 기초로 화상 계약의 수행 내역이 기록된 동영상의 위변조 여부를 2차로 판단할 수 있다(s5). Depending on the embodiment, the second forgery and alteration determination unit 115 may secondarily determine whether the video recording the performance details of the video contract has been forged or altered based on the video data received from the separation unit 113 and the ID card image. (s5).

실시예에 따라, 제2 위변조 여부 판단부(115)는 분리부(113)로부터 수신한 계약자 및/또는 피계약자의 영상데이터와 계약자 및/또는 피계약자의 신분증 영상을 비교하여 해당 동영상의 위변조 여부를 2차로 판단할 수 있다.Depending on the embodiment, the second forgery determination unit 115 compares the video data of the contractor and/or contractee received from the separation unit 113 with the ID card image of the contractor and/or contractee to determine whether the video has been forged or altered. can be judged secondarily.

실시예에 따라, 신분증 영상은 제2 위변조 여부 판단부(115)가 계약자 단말(2) 및/또는 피계약자 단말(3)로부터 수신한 것일 수 있다.Depending on the embodiment, the ID card image may be received by the second forgery determination unit 115 from the contractor terminal 2 and/or the contractee terminal 3.

실시예에 따라, 도 9를 참조하면, 제2 위변조 여부 판단부(115)는 계약자 및/또는 피계약자의 영상데이터에 포함된 각 2D 영상으로부터 계약자 및/또는 피계약자의 얼굴 영역을 검출하고, 계약자 및/또는 피계약자의 얼굴 영역으로부터 적어도 하나의 제1 얼굴 특징점을 추출하고, 계약자 및/또는 피계약자의 신분증 영상으로부터 계약자 및/또는 피계약자의 신분증 사진 영역을 검출하며, 계약자 및/또는 피계약자의 신분증 사진 영역으로부터 적어도 하나의 제2 얼굴 특징점을 추출하고, 상기 적어도 하나의 제1 얼굴 특징점과 상기 적어도 하나의 제2 얼굴 특징점에 기초해 2차적으로 해당 동영상의 위변조 여부를 재 판단할 수 있다.According to the embodiment, referring to FIG. 9, the second forgery determination unit 115 detects the face area of the contractor and/or the contractee from each 2D image included in the image data of the contractee and/or the contractee, Extracting at least one first facial feature point from the facial area of the contractor and/or contractee, detecting an ID photo area of the contractor and/or contractee from the ID card image of the contractor and/or contractee, and At least one second facial feature point can be extracted from the contractor's ID photo area, and secondarily re-determination whether the video has been forged or altered based on the at least one first facial feature point and the at least one second facial feature point. there is.

실시예에 따라, 적어도 하나의 제1 얼굴 특징점 및/또는 제2 얼굴 특징점 각각은 두 눈의 좌표, 적어도 하나의 얼굴 굴곡점, 얼굴 굴곡점들 사이의 위치 관계에 관한 정보 등 사용자의 얼굴 이미지의 변화를 특정하는 데 사용될 수 있는 다양한 기준과 정보가 포함될 수 있다. Depending on the embodiment, each of the at least one first facial feature point and/or the second facial feature point may include information about the positional relationship between the coordinates of two eyes, at least one facial curve point, and the positional relationship between the facial curve points. A variety of criteria and information can be included that can be used to specify changes.

실시예에 따라, 영상으로부터 얼굴 영역 검출 및/또는 신분증 영상으로부터 신분증 사진 영역 검출은 공지의 다양한 알고리즘이 적용될 수 있다.Depending on the embodiment, various known algorithms may be applied to detecting the face area from the image and/or detecting the ID photo area from the ID card image.

얼굴 특징점의 추출 방법은 공지의 다양한 알고리즘이 적용될 수 있다.Various known algorithms may be applied as a method for extracting facial feature points.

실시예에 따라, 제1 얼굴 특징점과 제2 얼굴 특징점의 일치값이 소정의 임계치 이상인 경우 위변조되지 않은 것으로 판단할 수 있다. Depending on the embodiment, if the match value between the first facial feature point and the second facial feature point is greater than or equal to a predetermined threshold, it may be determined that there has been no forgery or alteration.

실시예에 따라, 제2 위변조 여부 판단부(115)는 상기 영상데이터와 상기 신분증 영상을 비교한 결과 해당 동영상이 위변조되지 않은 것으로 판단한 경우, 영상데이터가 위변조되지 않았음을 나타내는 메시지를 계약자 단말(2) 및/또는 피계약자 단말(3)로 전송할 수 있다(s5-2). 반면, 해당 동영상이 위변조된 것으로 판단하면, 위변조 검출 메시지(예> “신분증과 영상의 얼굴이 불일치 합니다”)를 계약자 단말(2) 및/또는 피계약자 단말(3)로 전송할 수 있다(E).Depending on the embodiment, when the second forgery determination unit 115 determines that the video has not been forged or altered as a result of comparing the video data with the ID card video, it sends a message indicating that the video data has not been forged or altered to the contractor terminal ( 2) and/or can be transmitted to the contractee terminal (3) (s5-2). On the other hand, if it is determined that the video has been forged or altered, a forgery detection message (e.g., “The face on the ID card and the video does not match”) can be transmitted to the contractor terminal (2) and/or the contractee terminal (3) (E) .

실시예에 따라, 키워드 인식 판단부(116)는 분리부(113)로부터 수신한 음성데이터로부터 화상 계약의 수행과 관련된 키워드가 인식되었는지 여부를 판단할 수 있다(s6).Depending on the embodiment, the keyword recognition determination unit 116 may determine whether a keyword related to performance of a video contract has been recognized from the voice data received from the separation unit 113 (s6).

구체적으로, 키워드 인식 판단부(116)는 음성데이터로부터 음향학적 특징(acoustic feature)을 추출하고, 음향학적 특징과 상기 키워드의 음향 모델(acoustic model) 사이의 유사도에 기초해 기 설정된 키워드의 인식을 판별할 수 있다.Specifically, the keyword recognition determination unit 116 extracts acoustic features from voice data and recognizes preset keywords based on the similarity between the acoustic features and the acoustic model of the keyword. It can be determined.

실시예에 따라, 상기 음향학적 특징은 음성 인식에 필요한 기본적인 정보들을 의미할 수 있다. 키워드 인식 판단부(116)는 음성데이터를 기 설정된 길이의 프레임으로 분할하고, 각 프레임의 주파수 대역에 따른 에너지 분포 등의 정보를 상기 음향학적 특징으로써 추출할 수 있다. 바람직한 실시예에 따르면, 상기 주파수 대역에 따른 정보는 벡터 수치화될 수 있다. 또는, 상기 음향학적 특징은 피치(pitch), 포먼트(formant)일 수 있다.Depending on the embodiment, the acoustic characteristics may mean basic information necessary for voice recognition. The keyword recognition determination unit 116 divides the voice data into frames of a preset length and extracts information such as energy distribution according to the frequency band of each frame as the acoustic characteristic. According to a preferred embodiment, information according to the frequency band can be converted into vector values. Alternatively, the acoustic characteristic may be pitch or formant.

실시예에 따라, 상기 음향학적 특징을 추출하는 방법으로 LPC(Linear Predictive Coding) Cepstrum, PLP(Perceptual Linear Prediction) Cepstrum, Mel Frequency Cepstral Coefficient (MFCC), 필터뱅크 에너지 분석(Filter Bank Energy Analysis) 등이 사용될 수 있다. 그리고, 키워드 인식 판단부(116)는 상기 음향학적 특징에 대응되는 언어의 기본 단위를 판별할 수 있다. 여기서 상기 언어의 기본 단위는 음성의 음소, 음절, 단어 등이 될 수 있다. 예를 들어, 키워드 인식 판단부(116)는 영어 음성 'tea'에 포함된 음성 신호의 음향학적 특징이 단어 'tea'의 음소인 /t/, /i:/의 각 음향 모델에 대응되는지 또는 상기 음향학적 특징이 상기 각 음소의 음향 모델과 얼마나 유사한지 등을 비교할 수 있다.Depending on the embodiment, methods for extracting the acoustic features include LPC (Linear Predictive Coding) Cepstrum, PLP (Perceptual Linear Prediction) Cepstrum, Mel Frequency Cepstral Coefficient (MFCC), Filter Bank Energy Analysis, etc. can be used Additionally, the keyword recognition determination unit 116 may determine the basic unit of language corresponding to the acoustic characteristic. Here, the basic units of the language may be phonemes, syllables, words, etc. of speech. For example, the keyword recognition determination unit 116 determines whether the acoustic characteristics of the speech signal included in the English voice 'tea' correspond to each acoustic model of /t/, /i:/, which are phonemes of the word 'tea', or It is possible to compare how similar the acoustic characteristics are to the acoustic model of each phoneme.

실시예에 따라, 상기 음향 모델은 적어도 하나의 가우시안 분포(Gaussian distribution)를 포함하는 혼합 모델(mixture model)일 수 있다. 실시예에 따라, 키워드 인식 판단부(116)는 상기 음향학적 특징과 적어도 하나의 상기 음향 모델 간의 유사도를 판별할 수 있으며, 특정 음향학적 특징에 대하여 가장 높은 유사도를 나타내는 음향 모델을 상기 특정 음향학적 특징에 대응되는 음향 모델인 것으로 판별할 수 있다. 키워드 인식 판단부(116)는 상기 음향학적 특징에 대응되는 음향 모델에 연관된 언어의 기본 단위에 기초하여 상기 음향학적 특징을 포함하는 음성 신호가 기 설정된 키워드를 포함하는지 여부를 판별할 수 있다.Depending on the embodiment, the acoustic model may be a mixture model including at least one Gaussian distribution. Depending on the embodiment, the keyword recognition determination unit 116 may determine the similarity between the acoustic feature and the at least one acoustic model, and select the acoustic model showing the highest similarity for the specific acoustic feature as the specific acoustic feature. It can be determined that it is an acoustic model corresponding to the feature. The keyword recognition determination unit 116 may determine whether a voice signal including the acoustic feature includes a preset keyword based on the basic unit of language associated with the acoustic model corresponding to the acoustic feature.

실시예에 따라, 기 설정된 키워드는 키워드 인식 판단부(116)의 인식의 대상인 단어 또는 문장을 의미할 수 있다. 즉, 실시예에 따른 키워드 인식 판단부(116)는 음성 신호의 음향학적 특징과 적어도 하나의 상기 키워드에 대응되는 음향 모델을 상호 비교하고, 상기 음성 신호에 상기 키워드가 포함되어있는지 여부를 판별할 수 있다. 예를 들어, 키워드 인식 판단부(116)는 음성 신호와 키워드 '체결합시다', '임대차계약' 등에 대응하는 음향 모델을 상호 비교할 수 있으며, 상기 음성 신호의 음향학적 특징이 키워드 '체결합시다', '임대차계약' 에 대응하는 음향 모델과 유사한 경우, 상기 음성 신호에 키워드 '체결합시다', '임대차계약'이 포함되어있는 것으로 판별할 수 있다.Depending on the embodiment, the preset keyword may mean a word or sentence that is the target of recognition by the keyword recognition determination unit 116. That is, the keyword recognition determination unit 116 according to the embodiment compares the acoustic characteristics of the voice signal with the acoustic model corresponding to at least one keyword, and determines whether the voice signal includes the keyword. You can. For example, the keyword recognition determination unit 116 may compare a voice signal with an acoustic model corresponding to the keywords 'let's sign', 'lease contract', etc., and the acoustic characteristics of the voice signal may be changed to the keywords 'let's sign', 'lease contract', etc. If it is similar to the sound model corresponding to 'lease contract', it can be determined that the voice signal contains the keywords 'let's conclude' and 'lease contract'.

실시예에 따라, 도 10을 참조하면, 기 설정된 화상 계약의 수행과 관련된 키워드는, 상기 화상 계약의 내용을 나타내는 키워드, 상기 계약자와 상기 피계약자를 포함하는 계약당사자 관련 정보를 나타내는 키워드, 및/또는 상기 화상 계약의 체결을 나타내는 키워드를 포함할 수 있다. Depending on the embodiment, referring to FIG. 10, keywords related to performance of a preset video contract include keywords indicating the contents of the video contract, keywords indicating information related to contract parties including the contractee and the contractee, and/ Alternatively, it may include a keyword indicating conclusion of the video contract.

실시예에 따라, 계약 유형은 매매계약, 근로계약, 임대차계약 등을 포함하고, 화상 계약의 내용을 나타내는 키워드는 계약 대상물, 계약 일시, 계약 조건(기간, 금액 등), 특약 사항 등을 포함할 수 있다. Depending on the embodiment, the contract type includes a sales contract, employment contract, lease contract, etc., and keywords representing the contents of the video contract may include the contract object, contract date and time, contract conditions (period, amount, etc.), special provisions, etc. You can.

실시예에 따라, 키워드 인식 판단부(116)는 음성데이터가 화상 계약의 내용을 나타내는 키워드를 포함하는 것으로 판단하면 s62 단계로 넘어가고, 포함하지 않는 것으로 판단하면, 화상 계약이 유효하게 '성립'되지 않았음을 나타내는 메시지 및/또는 화상 계약이 유효하게 '성립'되지 않은 이유를 나타내는 메시지를 계약자 단말(2) 및/또는 피계약자 단말(3)로 전송할 수 있다(E'-1). Depending on the embodiment, if the keyword recognition determination unit 116 determines that the voice data includes a keyword representing the contents of the video contract, it proceeds to step s62, and if it determines that it does not include the keyword, the video contract is effectively 'established'. A message indicating that the video contract has not been established and/or a message indicating the reason why the video contract has not been validly 'established' may be transmitted to the contractor terminal (2) and/or the contractee terminal (3) (E'-1).

실시예에 따라, 계약당사자 관련 정보를 나타내는 키워드는 법인과 관련된 법인명, 법인등록번호, 업종 종류, 개인과 관련된 성명, 성별, 생년월일, 주민등록번호 등을 포함할 수 있다. Depending on the embodiment, keywords representing information related to the contracting party may include the corporate name, corporate registration number, type of industry, name, gender, date of birth, resident registration number, etc. related to the individual.

실시예에 따라, 키워드 인식 판단부(116)는 음성데이터가 상기 계약자와 상기 피계약자를 포함하는 계약당사자 관련 정보를 나타내는 키워드를 포함하는 것으로 판단하면 s63 단계로 넘어가고, 포함하지 않는 것으로 판단하면, 계약당사자 관련 정보의 누락 상태를 나타내는 메시지를 계약자 단말(2) 및/또는 피계약자 단말(3)로 전송할 수 있다(E'-2). Depending on the embodiment, if the keyword recognition determination unit 116 determines that the voice data includes a keyword representing information related to the contracting parties including the contractor and the contractee, the keyword recognition determination unit 116 proceeds to step s63, and if it determines that it does not contain the keyword, , a message indicating the missing state of information related to the contracting party can be transmitted to the contractor terminal (2) and/or the contractee terminal (3) (E'-2).

실시예에 따라, 화상 계약의 체결을 나타내는 키워드는 '해당 조건으로 진행합시다' '체결합시다' 등을 포함할 수 있다. Depending on the embodiment, keywords indicating the conclusion of a video contract may include 'let's proceed with the relevant conditions', 'let's conclude', etc.

실시예에 따라, 키워드 인식 판단부(116)는 음성데이터가 화상 계약의 체결을 나타내는 키워드를 포함하는 것으로 판단하면 s7 단계로 넘어가고, 포함하지 않는 것으로 판단하면 화상 계약이 유효하게 '체결'되지 않았음을 나타내는 메시지 및/또는 화상 계약이 유효하게 '체결'되지 않은 이유를 나타내는 메시지를 계약자 단말(2) 및/또는 피계약자 단말(3)로 전송할 수 있다(E'-3). Depending on the embodiment, if the keyword recognition determination unit 116 determines that the voice data includes a keyword indicating the conclusion of a video contract, it proceeds to step s7, and if it determines that it does not contain a keyword, the video contract is not validly 'concluded'. A message indicating that the video contract has not been validly concluded and/or a message indicating the reason why the video contract has not been validly 'concluded' may be transmitted to the contractor terminal (2) and/or the contractee terminal (3) (E'-3).

즉, 실시예에 따라 음성데이터가 위 세가지 종류의 키워드를 모두 포함하는 것으로 판단하면, 키워드 인식 판단부(116)는 해당 동영상이 동영상 서명된 계약 문서를 생성하기에 적합한 것으로 판단하고(즉, 유효하게 화상 계약이 성립된 것으로 판단하고) s7 단계로 넘어갈 수 있다. That is, according to the embodiment, if it is determined that the voice data includes all of the above three types of keywords, the keyword recognition determination unit 116 determines that the video is suitable for generating a contract document signed by the video (i.e., valid It is determined that the video contract has been established and you can proceed to step s7.

실시예에 따라, 제3 위변조 여부 판단부(117)는 분리부(113)로부터 분리된 음성데이터와 분리된 영상데이터를 수신하고, 음성데이터로부터 변환된 음성 단위 및 영상데이터의 입술 영역을 기초로 판단된 음성 단위의 비교를 통해 해당 동영상이 위변조되었는지 여부를 3차로 판단할 수 있다(s7).According to the embodiment, the third forgery determination unit 117 receives the separated audio data and the separated video data from the separator 113, and based on the audio unit converted from the audio data and the lip area of the video data, By comparing the determined audio units, it is possible to thirdly determine whether the video has been forged or altered (s7).

실시예에 따라, 음성 단위는 단어, 음절, 음소, 및/또는 문장을 포함할 수 있다.Depending on the embodiment, a phonetic unit may include words, syllables, phonemes, and/or sentences.

실시예에 따라, 음성데이터로부터 변환된 음성 단위는 제3 위변조 여부 판단부(117)에 의해, 음성데이터에 대해 발화 시작 시간, 종료 시간, 길이, 자막 등을 생성함으로써 획득될 수 있다. 이 때, 음성데이터에 대해 전처리 단계로 잡음을 제거하고, 너무 크거나 작은 신호에 대해 적절한 크기로 조절하고, 연속된 발화 중에서 음성 구간만을 검출하며, 최종 검출된 음성 구간의 음성을 STT(speech to text) 기술을 이용해 텍스트로 변환할 수 있다.Depending on the embodiment, the voice unit converted from voice data may be obtained by generating utterance start time, end time, length, subtitles, etc. for the voice data by the third forgery determination unit 117. At this time, noise is removed as a preprocessing step for the voice data, signals that are too large or too small are adjusted to an appropriate size, only the voice section is detected among continuous speech, and the voice of the finally detected voice section is STT (speech to speech). It can be converted to text using text) technology.

실시예에 따라, 음성데이터로부터 변환된 음성 단위는 자연어 처리(NLP, natural language processing)를 이용하여 다수의 단어들(키워드들)을 인식할 수 있다. 자연어 처리(NLP)에는 자연어 분석, 자연어 이해, 자연어 생성 등의 기술이 사용될 수 있다. 자연어 분석은 그 정도에 따라 개체 분석, 형태소 분석(morphological analysis), 통사 분석(syntactic analysis), 의미 분석(semantic analysis), 감정 분석(Sentiment analysis), 화용(話用) 분석(pragmatic analysis) 등을 포함할 수 있으며, 이외에도 다양한 방식이 이용될 수 있다.Depending on the embodiment, a voice unit converted from voice data may recognize multiple words (keywords) using natural language processing (NLP). Natural language processing (NLP) can use technologies such as natural language analysis, natural language understanding, and natural language generation. Depending on the degree, natural language analysis includes entity analysis, morphological analysis, syntactic analysis, semantic analysis, sentiment analysis, and pragmatic analysis. It can be included, and various other methods can be used.

실시예에 따라, 영상데이터의 입술 영역을 기초로 판단된 음성 단위는, 제3 위변조 여부 판단부(117)에 의해 계약자 및/또는 피계약자의 영상데이터에서 얼굴 영역 및 입술 영역을 검출하고(s71), 상기 입술 영역의 내외의 복수의 특징점의 위치를 통해 3차원의 입술 모양 특징을 추출하며(s72), 상기 입술 영역의 밝기값의 기울기 또는 기울기의 방향 분포를 통해 2차원의 입술 텍스쳐 특징을 추출하고(s73), 기 저장된 음성 단위별 입술 모양 특징과 입술 텍스쳐 특징 정보로부터, 상기 추출된 입술 모양 특징 및 상기 입술 텍스쳐 특징을 함께 가지는 상기 음성 단위를 추출하여 인식할 수 있다(s74).Depending on the embodiment, the voice unit determined based on the lip area of the image data detects the face area and lip area in the image data of the contractor and/or contractee by the third forgery determination unit 117 (s71) ), three-dimensional lip shape features are extracted through the positions of a plurality of feature points inside and outside the lip area (s72), and two-dimensional lip texture features are extracted through the slope of the brightness value of the lip area or the distribution of the direction of the slope. Extracted (s73), and from the previously stored lip shape features and lip texture feature information for each speech unit, the speech unit having both the extracted lip shape features and the lip texture features can be extracted and recognized (s74).

실시예에 따라, s71의 경우, 제3 위변조 여부 판단부(117)는 영상데이터에서 아다부스트(Adaboost) 얼굴 검출 알고리즘 등 종래의 다양한 알고리즘을 통해 얼굴 영역을 검출할 수 있다. Depending on the embodiment, in the case of s71, the third forgery determination unit 117 may detect the face area in the image data through various conventional algorithms such as the Adaboost face detection algorithm.

실시예에 따라, s71의 경우, 검출된 얼굴 영역에서 수직 방향 에지(edge) 성분을 프로젝션(projection)한 값에서 x축의 중심을 기준으로 좌우 최대치를 각각 구하여 얼굴의 좌우 경계선을 찾고, 수평 방향 에지 성분을 y축에 프로젝션한 값에서 y축의 중심을 기준으로 하위 범위 내에서 최대치를 찾아 입술의 초기 영역을 선택할 수 있다.Depending on the embodiment, in the case of s71, the left and right maximum values are respectively calculated based on the center of the x-axis from the projection value of the vertical edge component in the detected face area, the left and right boundaries of the face are found, and the horizontal edge You can select the initial area of the lips by finding the maximum value within the subrange based on the center of the y-axis from the projection of the component onto the y-axis.

실시예에 따라, s71의 경우, 입술의 초기 영역 내 영상에서 RGB 색 공간을 비선형적 색 공간으로 변환할 수 있는 LUX(Simplified Logarithmic Hue Extension) 방법을 적용하고 적응적 임계값(adaptive threshold)에 따라 입술영역의 정확한 위치를 찾아낼 수 있다.According to the embodiment, in the case of s71, the LUX (Simplified Logarithmic Hue Extension) method, which can convert the RGB color space to a non-linear color space in the image within the initial region of the lips, is applied and according to an adaptive threshold. The exact location of the lip area can be found.

실시예에 따라, s72의 경우, 제3 위변조 여부 판단부(117)는 사전 학습된 입술 모양 모델을 이용해 복수의 특징점의 위치로부터 3차원의 입술 모양 특징을 추출할 수 있다. 예를 들어, 입술 모양 모델은 사용자를 대상으로 취득된 특징점들의 좌표값으로 구성된 데이터베이스가 취득되면, 학습 과정을 통해 다양한 입술의 움직임을 표현할 수 있는, 즉, 음성 단위별 입술 움직임에 대한 정보를 추출하기 위한 모델일 수 있다. 실시예에 따라, 3차원 입술 모양 모델링에는 PCA 알고리즘 등 다양한 알고리즘을 적용할 수 있다.Depending on the embodiment, in the case of s72, the third forgery determination unit 117 may extract three-dimensional lip shape features from the positions of a plurality of feature points using a pre-learned lip shape model. For example, the lip shape model can express various lip movements through a learning process when a database consisting of coordinate values of feature points acquired for the user is acquired, that is, information about lip movements for each voice unit is extracted. This may be a model for doing so. Depending on the embodiment, various algorithms, such as the PCA algorithm, can be applied to 3D lip shape modeling.

실시예에 따라, s73의 경우, 제3 위변조 여부 판단부(117)는 사용자의 영상으로부터 찾아진 입술 영역 전체 또는 일부의 밝기값의 기울기 또는 그의 방향의 분포 특징을 HOG (Histogram of Orientation Gradient) 방법으로 추출하여 입술 텍스쳐 특징으로 선정할 수 있다.Depending on the embodiment, in the case of s73, the third forgery/falsification determination unit 117 determines the gradient of the brightness value of the entire or part of the lip area found from the user's image or the distribution characteristics of its direction using the HOG (Histogram of Orientation Gradient) method. It can be extracted and selected as a lip texture feature.

사전 학습 과정을 통해 음성 단위별 입술 텍스쳐 특징은 미리 저장부(12)에 저장되어 있을 수 있다.Lip texture features for each voice unit may be stored in advance in the storage unit 12 through a pre-learning process.

실시예에 따라, s74의 경우, 제3 위변조 여부 판단부(117)는 추출된 입술 모양 특징과 입술 텍스쳐 특징을 이용해 음성 단위를 인식할 수 있다. 실시예에 따르면, 제3 위변조 여부 판단부(117)는 HMM(Hidden Markov Model), SVM(Support Vector Machine), ANN(Artificial Neural Networks)와 같은 음성인식을 위한 패턴분류기(pattern classifier)를 포함할 수 있다.Depending on the embodiment, in the case of s74, the third forgery determination unit 117 may recognize the voice unit using the extracted lip shape features and lip texture features. According to the embodiment, the third forgery determination unit 117 may include a pattern classifier for voice recognition such as HMM (Hidden Markov Model), SVM (Support Vector Machine), and ANN (Artificial Neural Networks). You can.

실시예에 따라, 저장부(12)에는 학습과정을 통해 추출된 입술 모양 특징과 입술 텍스쳐 특징이 통합된 음성 단위별 통합 입술 특징이 저장되어 있으며, 제3 위변조 여부 판단부(117)는 저장부(12)에 저장된 음성 단위별 통합 입술 특징으로부터 상기 s74단계에서 추출된 입술 모양 특징과 입술 텍스쳐 특징이 통합된 통합 입술 특징을 가지는 음성 단위를 추출하여 인식할 수 있다.Depending on the embodiment, the storage unit 12 stores integrated lip features for each voice unit that integrate lip shape features and lip texture features extracted through a learning process, and the third forgery determination unit 117 is a storage unit. From the integrated lip features for each speech unit stored in (12), a speech unit having integrated lip features that integrate the lip shape features and lip texture features extracted in step s74 can be extracted and recognized.

한편, 제3 위변조 여부 판단부(117)는 음성데이터로부터 변환된 음성 단위 및 영상데이터의 입술 영역을 기초로 판단된 음성 단위의 비교를 통해, 각 음성 단위의 일치도가 소정의 임계치 이상인 경우, 해당 동영상이 위변조되지 않은 것으로 판단하고 동영상 서명 완료 메시지를 계약자 단말(2) 및/또는 피계약자 단말(3)로 전송할 수 있다(s7-1,s7-2). 반면, 각 음성 단위의 일치도가 소정의 임계치 미만인 경우, 해당 동영상이 위변조된 것으로 판단하고 위변조 검출 메시지(예> “입모양과 음성이 불일치하여 영상이나 음성의 위변조 가능성이 있습니다.”)를 계약자 단말(2) 및/또는 피계약자 단말(3)로 전송할 수 있다.(E)Meanwhile, the third forgery/falsification determination unit 117 compares the voice unit converted from voice data and the voice unit determined based on the lip area of the image data, and if the degree of consistency of each voice unit is greater than a predetermined threshold, the It is determined that the video has not been forged and altered, and a video signature completion message can be transmitted to the contractor terminal (2) and/or the contractee terminal (3) (s7-1, s7-2). On the other hand, if the consistency of each audio unit is less than a predetermined threshold, the video is judged to have been forged and a forgery detection message (e.g., “The mouth shape and voice do not match, so there is a possibility of video or audio forgery.”) is sent to the contractor terminal. (2) and/or can be transmitted to the contractee terminal (3). (E)

실시예에 따라, 도 12에 도시한 바와 같이, 동영상 서명된 계약 문서 생성부(118)는 기 저장된 계약 문서를 독출하고, 상기 계약 문서에 서명 기능을 하는 상기 동영상을 결합하여 동영상 서명된 계약 문서를 생성할 수 있다(s8).According to the embodiment, as shown in FIG. 12, the video signed contract document generator 118 reads a pre-stored contract document and combines the video that functions as a signature with the contract document to create a video signed contract document. can be created (s8).

저장부(12)는 계약 문서를 미리 저장할 수 있다. 실시예에 따라, 계약 문서는 일종의 전자 문서일 수 있다. The storage unit 12 may store contract documents in advance. Depending on the embodiment, the contract document may be a type of electronic document.

실시예에 따라 계약 문서는, 화상 계약의 수행과 관련된 키워드가 미리 조합 및/또는 템플릿화되어 생성 및 저장부(12)에 저장된 것일 수 있다. 또는, 다른 실시예에 따라 계약 문서를 외부 장치(미도시)로부터 수신함으로써 획득할 수 있다.Depending on the embodiment, the contract document may be created and stored in the storage unit 12 by combining and/or templated keywords related to the performance of the video contract in advance. Alternatively, according to another embodiment, the contract document may be obtained by receiving it from an external device (not shown).

실시예에 따라, 화상 계약의 수행과 관련된 키워드는, 상기 화상 계약의 내용을 나타내는 키워드, 상기 계약자와 상기 피계약자를 포함하는 계약당사자 관련 정보를 나타내는 키워드, 및/또는 상기 화상 계약의 체결을 나타내는 키워드를 포함할 수 있다. Depending on the embodiment, keywords related to the performance of the video contract may include keywords indicating the contents of the video contract, keywords indicating information related to contracting parties including the contractor and the contractee, and/or keywords indicating conclusion of the video contract. May contain keywords.

실시예에 따라, 화상 계약의 내용을 나타내는 키워드는 계약 대상물, 계약 일시, 계약 조건(기간, 금액 등), 특약 사항 등을 포함할 수 있다. Depending on the embodiment, keywords representing the contents of the video contract may include the contract object, contract date and time, contract conditions (period, amount, etc.), special contract terms, etc.

실시예에 따라, 계약당사자 관련 정보를 나타내는 키워드는 법인과 관련된 법인명, 법인등록번호, 업종 종류, 개인과 관련된 성명, 성별, 생년월일, 주민등록번호 등을 포함할 수 있다. Depending on the embodiment, keywords representing information related to the contracting party may include the corporate name, corporate registration number, type of industry, name, gender, date of birth, resident registration number, etc. related to the individual.

실시예에 따라, 화상 계약의 체결을 나타내는 키워드는 '해당 조건으로 진행합시다' '체결합시다' 등을 포함할 수 있다. Depending on the embodiment, keywords indicating the conclusion of a video contract may include 'let's proceed with the relevant conditions', 'let's conclude', etc.

실시예에 따라, 상기 서명 기능을 하는 동영상은 전술한 s2 단계에서 언급한 소정의 조건(s4 내지 s7 모두)을 만족하여, 계약 문서와 결합됨으로써, 일종의 서명 기능을 부여하는 효과를 가져올 수 있게 된다. Depending on the embodiment, the video performing the signature function satisfies the predetermined conditions (both s4 to s7) mentioned in the above-described step s2 and is combined with the contract document, thereby resulting in the effect of granting a type of signature function. .

실시예에 따라, 동영상 서명된 계약 문서 생성부(118)는 계약 문서와 서명 기능을 하는 상기 동영상을 하드 코딩의 방식을 이용한 결합으로 동영상 서명된 계약 문서를 생성할 수 있다. Depending on the embodiment, the video signed contract document generator 118 may generate a video signed contract document by combining the contract document and the video that functions as a signature using a hard coding method.

실시예에 따라, 동영상 서명된 계약 문서 생성부(118)는 기초 소스코드 내 계약 문서와 서명 기능을 하는 상기 동영상을 하드코딩시켜, 기초 소스코드 내 하드코딩된 계약 문서와 상기 동영상이 결합된 소스코드파일을 상기 동영상 서명된 계약 문서로 생성할 수 있다. According to the embodiment, the video signed contract document generation unit 118 hard-codes the contract document in the basic source code and the video that functions as a signature, thereby creating a source code in which the hard-coded contract document in the basic source code and the video are combined. A code file can be created with the video signed contract document.

실시예에 따라, 계약 문서는 PDF, WORD, HWP 등의 파일을 포함하고, 동영상은 MP4, MKV 등의 파일을 포함할 수 있다. Depending on the embodiment, the contract document may include files such as PDF, WORD, and HWP, and the video may include files such as MP4 and MKV.

실시예에 따라, 기초 소스코드는 HTML, JAVA SCRIPT 등 다양한 종류의 언어로 작성될 수 있으며, 미리 저장부(12)에 정의 및/또는 저장되거나, 외부 장치(미도시)로부터 수신할 수 있다. Depending on the embodiment, the basic source code may be written in various types of languages such as HTML and JAVA SCRIPT, and may be defined and/or stored in the storage unit 12 in advance or received from an external device (not shown).

실시예에 따라, 동영상 서명된 계약 문서 생성부(118)는 동영상 서명된 계약 문서를 계약자 단말(2) 및/또는 피계약자 단말(3)로 전송할 수 있다. Depending on the embodiment, the video signed contract document generator 118 may transmit the video signed contract document to the contractor terminal 2 and/or the contractee terminal 3.

실시예에 따라, 암호화 적용부(119)는 생성된 동영상 서명된 계약 문서에 암호화 기술을 적용할 수 있다(s9). Depending on the embodiment, the encryption application unit 119 may apply encryption technology to the generated video signed contract document (s9).

실시예에 따라, 암호화 적용부(119)는 동영상 서명된 계약 문서에 해쉬 알고리즘을 적용(예> SHA256, RSA256)해 고유한 해시값을 획득하여 저장부(12)에 저장할 수 있다. 이후, 위변조가 의심되는 외부 파일이 있을 경우, 해당 외부 파일에도 상기 해쉬 알고리즘을 적용하여 해시값을 획득하며, 두 해시값을 비교해, 일치하는 지 여부를 판단해 위변조 여부를 판단할 수 있다. Depending on the embodiment, the encryption application unit 119 may apply a hash algorithm (e.g., SHA256, RSA256) to the video signed contract document to obtain a unique hash value and store it in the storage unit 12. Afterwards, if there is an external file suspected of being forged or altered, the hash algorithm can be applied to the external file to obtain a hash value, and the two hash values can be compared to determine whether they match to determine whether the file has been forged or altered.

실시예에 따라, 암호화 적용부(119)는 암호화 기술이 적용된 동영상 서명된 계약 문서를 계약자 단말(2) 및/또는 피계약자 단말(3)로 전송할 수 있다. Depending on the embodiment, the encryption application unit 119 may transmit a video signed contract document to which encryption technology is applied to the contractor terminal 2 and/or the contractee terminal 3.

실시예에 따르면, 암호화 적용부(119)는 암호화된 동영상 서명된 계약 문서를 데이터 저장 서버(4)로 전송하고, 데이터 저장 서버(4)에 의해, 암호화된 동영상 서명된 계약 문서의 저장 경로(예> 링크, QR코드 등)가 생성되고, 해당 암호화된 동영상 서명된 계약 문서의 저장 경로가 화상 계약 관리 서버(1) 또는 계약자 단말(2) 및 피계약자 단말(3) 중 적어도 하나로 전송됨으로써, 계약자 단말(2) 및/또는 피계약자 단말(3)은 실시간 계약 내용을 확인할 수 있게 된다. According to the embodiment, the encryption application unit 119 transmits the encrypted video signed contract document to the data storage server 4, and the storage path of the encrypted video signed contract document is set by the data storage server 4 ( Example> link, QR code, etc.) is created and the storage path of the encrypted video signed contract document is transmitted to the video contract management server (1) or at least one of the contractor terminal (2) and the contractee terminal (3), The contractor terminal (2) and/or the contractee terminal (3) can check contract details in real time.

실시예에 따라, 데이터 저장 서버(4)는 암호화된 동영상 서명된 계약 문서를 블록체인 상에 기록할 수 있다. Depending on the embodiment, the data storage server 4 may record the encrypted video signed contract document on the blockchain.

실시예에 따라, 데이터 저장 서버(4)는 암호화된 동영상 서명된 계약 문서를 저장하고, 상기 암호화된 동영상 서명된 계약 문서와 관련된 암호메타정보를 생성하여 블록체인 상에 기록할 수 있다.Depending on the embodiment, the data storage server 4 may store the encrypted video signed contract document, generate cryptographic meta information related to the encrypted video signed contract document, and record it on the blockchain.

실시예에 따라, 암호화된 동영상 서명된 계약 문서와 관련된 암호메타정보는 암호화된 파일의 생성 및 저장 이력, 암호화한 파일의 저장 경로, 및/또는 화상 계약 관리 서버(1)의 식별 정보를 포함할 수 있다.Depending on the embodiment, the cryptographic meta information associated with the encrypted video signed contract document may include the creation and storage history of the encrypted file, the storage path of the encrypted file, and/or identification information of the video contract management server 1. You can.

실시예에 따라, 데이터 저장 서버(4)는 암호화된 파일에 NFT 기술을 적용해 블록체인 상에 기록할 수 있다. 예를 들어, 암호화된 파일에 대한 계약자와 피계약자의 분할 소유권에 대응되는 NFT(대체불가토큰)를 발행하고, 계약자 ID와 피계약자 ID를 암호메타정보와 함께 거래 이력에 포함시켜 블록체인 상에 기록할 수 있다. Depending on the embodiment, the data storage server 4 may apply NFT technology to the encrypted file and record it on the blockchain. For example, a non-fungible token (NFT) corresponding to the split ownership of the encrypted file between the contractee and the contractee is issued, and the contractee ID and contractee ID are included in the transaction history along with cryptographic meta information to be stored on the blockchain. It can be recorded.

본 발명에 따르면, 암호화한 파일을 계약자 및/또는 피계약자가 확인(활용)할 수 있도록 함으로써, 암호화한 파일이 계약 문서의 보조적인 참고 자료에 그치지 않고, 암호화한 파일 자체만으로도 독립적인 계약 증빙 자료로써 기능을 할 수 있게 된다. 이로써, 계약 문서에 기재되지 않은 내용까지도 실제로 화상 계약을 통해 합의된 내용은 계약 내용으로 성립될 수 있게 된다. 특히, 암호화된 파일이나 암호메타정보가 블록체인 상에 기록됨으로써 데이터 위변조가 불가능해진다.According to the present invention, by allowing the contractor and/or contractee to check (utilize) the encrypted file, the encrypted file is not limited to auxiliary reference material for the contract document, and the encrypted file itself is independent proof of contract. This allows it to function. As a result, content actually agreed upon through a video contract, even content not written in the contract document, can be established as contract content. In particular, data forgery and falsification become impossible because encrypted files or cryptographic meta information are recorded on the blockchain.

또한, 향후 법적인 분쟁 발생시, 암호화된 파일을 이용해 계약 내용을 증빙할 수 있고, 실시예에 따라, 블록체인 상의 기록을 이용해 계약 내용이 수정되지 않은 부분을 객관적으로 입증 및 민사 소송의 주요 증거 자료로 이용할 수도 있다.In addition, in the event of a legal dispute in the future, the contents of the contract can be proven using encrypted files, and depending on the embodiment, records on the blockchain can be used to objectively prove that the contract contents have not been modified and serve as key evidence in civil lawsuits. You can also use it.

또한, 본 발명에 따르면, 동영상을 구성하는 음성과 영상 각각에 대해 위변조 여부가 되었는지 여부를 지속적으로 반복하여 판단하도록 함으로써, 동영상 서명된 계약 문서의 보안성을 보다 향상시킬 수 있게 된다.In addition, according to the present invention, the security of a contract document signed in a video can be further improved by continuously and repeatedly determining whether each of the audio and video constituting the video has been forged or altered.

즉, 키워드 인식 판단부(116)의 동작을 통해 구체적으로 해당 동영상이 화상 계약과 관련된 키워드를 가지고 있는지 여부를 판단하기 전에, 미리 해당 동영상의 위변조 여부를 반복하여 판단하며, 또한, 키워드 인식 판단부(116)가 동작한 후에도 해당 동영상의 위변조 여부를 판단함으로써, 해당 동영상이 위변조되지 않은 것이 확실히 검증된 경우에만 해당 동영상을 계약 문서에 결합시키도록 함으로써 동영상 서명된 계약 문서의 보안성을 보다 향상시킬 수 있다.In other words, before determining whether the video has a keyword related to the video contract specifically through the operation of the keyword recognition determination unit 116, it is repeatedly determined whether the video has been forged or altered in advance, and the keyword recognition determination unit 116 By determining whether the video has been forged or altered even after (116) operates, the video can be combined with the contract document only when it is clearly verified that the video has not been forged, thereby further improving the security of the contract document signed by the video. You can.

이상 설명된 실시 형태는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터로 판독가능한 기록매체에 기록될 수 있다. 상기 컴퓨터로 판독가능한 기록매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. The embodiments described above can be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc., singly or in combination.

상기 컴퓨터로 판독가능한 기록매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention or may be known and usable by those skilled in the computer software field.

컴퓨터로 판독가능한 기록매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 실행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. optical media), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include not only machine language code such as that created by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to carry out processing according to the invention and vice versa.

본 명세서의 양상들은 전체적으로 하드웨어, 전체적으로 소프트웨어 (펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함 함) 또는 컴퓨터 판독 가능 프로그램 코드가 구현 된 하나 이상의 컴퓨터 판독 가능 매체에 구현 된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.Aspects herein may take the form of a computer program product embodied entirely in hardware, entirely in software (including firmware, resident software, microcode, etc.), or on one or more computer-readable media having computer-readable program code embodied thereon. .

이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.The features, structures, effects, etc. described in the embodiments above are included in one embodiment of the present invention and are not necessarily limited to only one embodiment. Furthermore, the features, structures, effects, etc. illustrated in each embodiment can be combined or modified and implemented in other embodiments by a person with ordinary knowledge in the field to which the embodiments belong. Therefore, contents related to such combinations and modifications should be construed as being included in the scope of the present invention.

또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.In addition, although the above description has been made focusing on the examples, this is only an example and does not limit the present invention, and those skilled in the art will understand the above examples without departing from the essential characteristics of the present embodiment. You will be able to see that various modifications and applications are possible. For example, each component specifically shown in the examples can be modified and implemented. And these variations and differences in application should be construed as being included in the scope of the present invention as defined in the appended claims.

Claims (10)

계약자가 보유하는 계약자 단말과 피계약자가 보유하는 피계약자 단말을 연결하여 화상 계약이 수행되도록 지원하는 화상 계약 연결부;
상기 화상 계약의 수행 내역이 기록된 동영상을 획득하기 위한 동영상 획득부;
상기 동영상으로부터 음성데이터를 분리하는 분리부;
상기 음성데이터로부터 상기 화상 계약의 수행과 관련된 키워드가 인식되었는지 여부를 판단하는 키워드 인식 판단부; 및
상기 키워드 인식 판단부에 의해 상기 화상 계약의 수행과 관련된 키워드가 인식된 것으로 판단되면, 기 저장된 계약 문서를 독출하고, 상기 계약 문서에 서명 기능을 하는 상기 동영상을 결합하여 동영상 서명된 계약 문서를 생성하는 동영상 서명된 계약 문서 생성부;를 포함하는,
화상 계약 관리 서버.
A video contract connection unit that supports the performance of a video contract by connecting a contractor terminal owned by the contractor and a contractee terminal owned by the contractee;
a video acquisition unit for acquiring a video recording performance details of the video contract;
a separation unit that separates audio data from the video;
a keyword recognition determination unit that determines whether a keyword related to performance of the video contract is recognized from the voice data; and
If it is determined by the keyword recognition determination unit that a keyword related to performance of the video contract is recognized, a pre-stored contract document is read, and a video signed contract document is generated by combining the contract document with the video that functions as a signature. A video that generates a signed contract document;
Video contract management server.
제 1항에 있어서,
상기 화상 계약의 수행과 관련된 키워드는,
상기 화상 계약의 내용을 나타내는 키워드, 상기 계약자와 상기 피계약자를 포함하는 계약당사자 관련 정보를 나타내는 키워드, 및 상기 화상 계약의 체결을 나타내는 키워드 중 적어도 하나를 포함하는,
화상 계약 관리 서버.
According to clause 1,
Keywords related to the performance of the above video contract are:
Containing at least one of a keyword indicating the contents of the video contract, a keyword indicating information related to contracting parties including the contractor and the contractee, and a keyword indicating conclusion of the video contract,
Video contract management server.
제 1항에 있어서,
상기 키워드 인식 판단부는, 상기 화상 계약의 수행과 관련된 키워드가 인식되지 않은 것으로 판단되면, 상기 화상 계약이 유효하게 성립되지 않았음을 나타내는 메시지, 계약당사자 관련 정보의 누락 상태를 나타내는 메시지, 및 상기 화상 계약이 유효하게 체결되지 않았음을 나타내는 메시지 중 적어도 하나를 전송하는,
화상 계약 관리 서버.
According to clause 1,
If the keyword recognition determination unit determines that the keyword related to performance of the video contract is not recognized, the keyword recognition determination unit sends a message indicating that the video contract has not been validly established, a message indicating a missing state of information related to the contracting party, and the image. Sending at least one of the following messages indicating that the contract has not been validly concluded,
Video contract management server.
제 1항에 있어서,
상기 기 저장된 계약 문서는 상기 화상 계약의 수행과 관련된 키워드를 포함하는,
화상 계약 관리 서버.
According to clause 1,
The pre-stored contract document includes keywords related to performance of the video contract,
Video contract management server.
제 1항에 있어서,
상기 동영상 서명된 계약 문서 생성부는,
상기 계약 문서와 상기 서명 기능을 하는 상기 동영상을 하드 코딩의 방식을 이용한 결합으로 상기 동영상 서명된 계약 문서를 생성하는,
화상 계약 관리 서버.
According to clause 1,
The video signed contract document generation unit,
Generating the video-signed contract document by combining the contract document and the video serving the signature function using a hard coding method,
Video contract management server.
제 1항에 있어서,
상기 분리부는 상기 동영상으로부터 영상데이터를 더 분리하고,
상기 키워드 인식 판단부의 동작 수행 전에, 상기 영상데이터를 기초로 한 상기 동영상의 위변조 여부를 판단하는 제1 위변조 여부 판단부;를 더 포함하는,
화상 계약 관리 서버.
According to clause 1,
The separation unit further separates video data from the video,
Before performing the operation of the keyword recognition determination unit, a first forgery determination unit that determines whether the video based on the video data has been forgery or alteration,
Video contract management server.
제 1항에 있어서,
상기 분리부는 상기 동영상으로부터 영상데이터를 더 분리하고,
상기 키워드 인식 판단부의 동작 수행 전에, 상기 영상데이터와 신분증 영상의 비교를 통한 상기 동영상의 위변조 여부를 판단하는 제2 위변조 여부 판단부;를 더 포함하는,
화상 계약 관리 서버.
According to clause 1,
The separation unit further separates video data from the video,
Before performing the operation of the keyword recognition determination unit, a second forgery determination unit that determines whether the video has been forged or altered by comparing the image data with the identification card image, further comprising;
Video contract management server.
제 1항에 있어서,
상기 분리부는 상기 동영상으로부터 영상데이터를 더 분리하고,
상기 키워드 인식 판단부에 의해 상기 화상 계약의 수행과 관련된 키워드가 인식된 것으로 판단되면, 상기 음성데이터가 변환된 음성 단위 및 상기 영상데이터의 입술 영역을 기초로 판단된 음성 단위의 비교를 통한 상기 동영상의 위변조 여부를 판단하는 제3 위변조 여부 판단부;를 더 포함하는,
화상 계약 관리 서버.
According to clause 1,
The separation unit further separates video data from the video,
If it is determined by the keyword recognition determination unit that a keyword related to performance of the video contract is recognized, the video is compared with the voice unit into which the voice data is converted and the voice unit determined based on the lip area of the video data. It further includes a third forgery determination unit that determines whether the forgery or alteration has been forged.
Video contract management server.
계약자가 보유하며 제1 사용자 인터페이스부를 포함하는 계약자 단말;
피계약자가 보유하며 제2 사용자 인터페이스부를 포함하는 피계약자 단말; 및
상기 계약자 단말과 상기 피계약자 단말을 연결해 화상 계약이 수행되도록 지원하는 화상 계약 관리 서버;를 포함하고,
상기 화상 계약 관리 서버는,
상기 화상 계약의 수행 내역이 기록된 동영상을 획득하기 위한 동영상 획득부;
상기 동영상으로부터 음성데이터를 분리하는 분리부;
상기 음성데이터로부터 상기 화상 계약의 수행과 관련된 키워드가 인식되었는지 여부를 판단하는 키워드 인식 판단부; 및
상기 키워드 인식 판단부에 의해 상기 화상 계약의 수행과 관련된 키워드가 인식된 것으로 판단되면, 기 저장된 계약 문서를 독출하고, 상기 계약 문서에 서명 기능을 하는 상기 동영상을 결합하여 동영상 서명된 계약 문서를 생성하는 동영상 서명된 계약 문서 생성부;를 포함하는,
화상 계약 관리 시스템.
a contractor terminal owned by the contractor and including a first user interface unit;
A contractee terminal owned by the contractee and including a second user interface unit; and
It includes a video contract management server that connects the contractor terminal and the contractee terminal to support the performance of a video contract,
The video contract management server is,
a video acquisition unit for acquiring a video recording performance details of the video contract;
a separation unit that separates audio data from the video;
a keyword recognition determination unit that determines whether a keyword related to performance of the video contract is recognized from the voice data; and
If it is determined by the keyword recognition determination unit that a keyword related to performance of the video contract is recognized, a pre-stored contract document is read, and a video signed contract document is generated by combining the contract document with the video that functions as a signature. A video that generates a signed contract document;
Video contract management system.
제 9항에 있어서,
상기 제1 사용자 인터페이스부의 화면 및 상기 제2 사용자 인터페이스부의 화면 중 적어도 하나는 동영상 서명 시작 버튼을 포함하고,
상기 계약자 단말 및 상기 피계약자 단말 중 적어도 하나는,
상기 계약자 및 상기 피계약자 중 적어도 하나로부터 상기 동영상 서명 시작 버튼에 대한 터치 입력이 가해지면, 상기 제1 사용자 인터페이스부의 화면 및 상기 제2 사용자 인터페이스부의 화면 중 적어도 하나를 통해 화상 계약의 수행 내역을 출력하기 위한 제3 윈도우를 더 출력하며,
상기 제3 윈도우는 상기 제1 사용자 인터페이스부의 화면 및 상기 제2 사용자 인터페이스부의 화면 중 적어도 하나의 최상위 층에 배치되는,
화상 계약 관리 시스템.

According to clause 9,
At least one of the screen of the first user interface unit and the screen of the second user interface unit includes a video signature start button,
At least one of the contractor terminal and the contractee terminal,
When a touch input to the video signature start button is applied from at least one of the contractor and the contractee, the performance details of the video contract are output through at least one of the screen of the first user interface unit and the screen of the second user interface unit. A third window is further output for
The third window is disposed on the uppermost layer of at least one of the screen of the first user interface unit and the screen of the second user interface unit,
Video contract management system.