KR102259457B1

KR102259457B1 - 개인정보 비식별화 처리 방법, 검증 방법 및 시스템

Info

Publication number: KR102259457B1
Application number: KR1020200139280A
Authority: KR
Inventors: 송인준
Original assignee: (주)와토시스
Priority date: 2020-08-21
Filing date: 2020-10-26
Publication date: 2021-06-02
Also published as: WO2022039319A1

Abstract

본 발명의 비식별화 검증 방법은, 개인정보 영역에 대해 비식별화 처리된 제1 비식별화 데이터를 수신하는 단계; 상기 제1비식별화 데이터에 대해 비식별화 미처리 객체가 존재하는지를 확인하는 단계; 확인 결과 비식별화 미처리 객체가 존재하는 경우, 비식별화 처리를 수행한 제2 비식별화 데이터를 생성하는 단계; 상기 제2 비식별화 데이터에 대해 상위 개념 객체를 인지하는 단계; 상기 상위 개념 객체 중 비식별화 미처리 상위 객체가 존재하는지를 확인하는 단계; 및 확인결과, 상기 비식별화 미처리 상위 객체가 존재하는 경우, 상기 비식별화 미처리 상위 객체에 대해 사용자 입력에 따라 비식별화를 추가로 수행한 제3 비식별화 데이터를 생성하는 단계;를 포함한다.

Description

개인정보 비식별화 처리 방법, 검증 방법 및 시스템{METHOD FOR DE-IDENTIFYING PERSONAL INFORMATION, METHOD FOR VERYFYING DE-IDENTIFIED INFORMATION AND SYSTEM THEREOF}

본 발명은 비식별화 처리 방법과 검증 방법 및 그 시스템에 관한 것으로, 보다 상세하게는 영상 데이터에서 사람 얼굴, 차량 번호 등의 개인정보 영역에 대해 비식별화 방법과 수행한 비식별화를 검증하는 방법 및 시스템에 관한 것이다.

자율주행차는 인간의 운전없이 자동으로 주행할 수 있는 자동차이다. 무인자동차는 레이더, LIDAR(light detection and ranging), GPS, 카메라로 주위의 환경을 인식하여 목적지를 지정하는 것만으로 자율적으로 주행한다. 이미 실용화되고 있는 무인자동차로는 이스라엘 군에서 운용되는 미리 설정된 경로를 순찰하는 무인 차량과 국외 광산이나 건설 현장 등에서 운용되고 있는 덤프 트럭 등의 무인 운행 시스템이 있다.

자율주행차에 장착된 카메라는 차량 주행 동안 외부 영상을 촬영하게 되는데, 이때 보행자, 차량, 신호등, 차선, 표지판, 간판 등 다양한 영상을 실시간 촬영하여 처리하거나 네트워크를 통해 영상을 전송하게 된다. 촬영된 영상에는 사람 얼굴, 차량번호, 간판의 전화번호 등 다양한 개인 정보가 포함될 수 있다. 차량 블랙박스, 드론 카메라나 CCTV 등에서도 이런 개인정보가 포함된 영상이 촬영될 수 있다.

한편, 개인정보호를 위한 법적 요구에 따라 영상 데이터는 비식별화 처리를 거쳐 저장, 관리, 이용, 전송되어야 한다. 여기서, 비식별화는 특정 개인을 식별할 수 없도록 개인정보의 일부 또는 전부를 변환하는 일련의 과정을 의미한다. 비식별화 방법으로는 식별 요소 중 다른 값으로 대체하는 가명처리, 데이터의 총합 값만 보여주고 개별 데이터는 보여주지 않는 총계처리, 일부 식별 요소를 지우는 데이터 삭제, 데이터 정확한 값은 감추고 범주 값으로 변환하는 범주화, 중요 식별자가 보이지 않게 하는 데이터 마스킹 방법 등이 있다.

이처럼 자율주행차, CCTV 등에서 촬영한 영상 데이터의 비식별화는 법적으로 요구되는 매우 중요한 과정이다. 비식별화 처리를 위해 일반적으로 영상 데이터에서 프레임별로 개인정보 영역을 추출하고 추출된 개인정보 영역을 마스킹 처리하고 이후 암호화 또는 인코딩하여 저장하거나 외부 장치로 전송하게 된다.

그런데 고속으로 이루어지는 이러한 비식별화 처리가 제대로 이루어지지 않는다면 개인정보가 노출되는 상황이 있을 수 있어, 이에 대한 해결책이 필요하다.

(특허문헌 1) KR10-2020-0036656 A

본 발명은 상기 문제점을 해결하여 개인정보 비식별화 처리가 오류 없이 이루어지도록 검증함으로써 비식별화 처리의 품질을 향상하고자 한다.

본 발명은 수집된 영상 데이터 비식별화 처리의 효율적이면서 동시에 정확도가 높은 검증 방법을 제공하는 것을 목적으로 한다.

상기 과제를 해결하기 위해, 본 발명의 일 측면에 의한 비식별화 검증 방법은, 개인정보 영역에 대해 비식별화 처리된 제1 비식별화 데이터를 수신하는 단계; 상기 제1비식별화 데이터에 대해 비식별화 미처리 객체가 존재하는지를 확인하는 단계; 확인 결과 비식별화 미처리 객체가 존재하는 경우, 비식별화 처리를 수행한 제2 비식별화 데이터를 생성하는 단계; 상기 제2 비식별화 데이터에 대해 상위 개념 객체를 인지하는 단계; 상기 상위 개념 객체 중 비식별화 미처리 상위 객체가 존재하는지를 확인하는 단계; 및 확인결과, 상기 비식별화 미처리 상위 객체가 존재하는 경우, 상기 비식별화 미처리 상위 객체에 대해 사용자 입력에 따라 비식별화를 추가로 수행한 제3 비식별화 데이터를 생성하는 단계;를 포함한다.

상기 제2 비식별화 데이터, 상기 제3 비식별화 데이터를 상기 프라이버시 영역을 탐지하기 위한 딥러닝 알고리즘에 학습 데이터로서 입력하는 단계를 추가로 포함한다.

비식별화 미처리 객체가 존재하는 지를 판단하는 단계는, 상기 제1 비식별화 데이터 중 얼굴, 차량번호판, 숫자, 문자 중 적어도 하나 이상의 객체가 인식되는 경우 상기 비식별화 미처리 객체가 존재하는 것으로 판단한다.

확인결과, 상기 비식별화 미처리 객체가 존재하지 않는 경우, 상기 제1 비식별화 데이터를 인코딩하여 외부로 전송한다.

확인결과, 상기 비식별화 미처리 상위 객체가 존재하지 않는 경우, 상기 제2 비식별화 데이터를 인코딩하여 외부로 전송한다.

본 발명의 일 실시예에 의하면, 개인정보 비식별화 처리를 검증함으로써 비식별화 처리의 품질이 향상되고 영상 데이터의 개인정보 보호가 확보된다.

본 발명에 의하면, 수집된 영상 데이터 비식별화 처리에 대한 효율적이면서 동시에 정확도가 향상된 검증이 가능하다.

도 1은 본 발명의 일 실시예에 의한 개인정보 비식별화 장치의 개략 구조도이다.
도 2는 본 발명의 일 실시예에 의한 영상 데이터의 개인정보 비식별화 방법의 개략적인 순서도이다.
도 3는 본 발명의 다른 실시예에 의한 개인정보 비식별화 방법의 개략적인 순서도이다.
도 4은 본 발명의 일 실시예에 의한 개인정보 비식별화 처리 및 검증 방법의 상세한 순서도이다.
도 5는 본 발명의 일 실시예에 의한 비식별화 처리 및 검증 방법에 의해 원본 영상 프레임이 처리되는 과정의 일 예를 나타낸 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

일반적으로 자율주행차의 카메라, 드론 카메라, CCTV 등에서 획득된 영상 이미지 데이터는 비식별화 처리를 거쳐서 외부 서버를 포함한 다른 장치로 전송되거나 메모리에 저장, 관리된다. 프레임별로 개인정보영역 검출과 비식별화 처리를 거친 영상 데이터는 암호화 및 인코딩(encoding)를 거쳐 저장, 관리, 활용, 전송된다. 검출과 비식별화를 포함한 데이터 처리는 자율주행자의 카메라에 내장된 프로세서에 의해 수행될 수 있으나, 이에 한정되지 않고 차량 내에 장착된 별도의 장치 또는 차량 외부 서버 등에서 실행될 수도 있다.

비식별화 처리 대상은 얼굴, 차량번호와 같은 개인정보 영역이고, 개인 정보 영역의 검출은 인공지능 학습모델 또는 얼굴 인식 엔진이나 숫자 인식 엔진 등 다양한 알고리즘에 의해 이루어진다.

한편, 사람 얼굴이나 차량 번호판 등 개인정보 영역이 검출되면 비식별화 처리가 프로세서에 의해 이루어지는데 마스킹, 블러링, 범주화, 대체, 삭제 등의 다양한 방식으로 이루어질 수 있다. 그런데 비식별화 처리가 적절하지 않거나 또는 애초에 개인정보 영역의 검출이 적절히 수행되지 않은 경우 개인정보가 노출될 수 있다. 개인정보노출 방지를 확실히 하기 위해, 비식별화 데이터에 대한 검증이 필요하다.

본 실시예에 따른 비식별화 시스템은 영상 획득 장치(미도시), 비식별화 장치(100), 학습 장치(미도시)를 포함하나(도 1 참조), 비식별화 시스템에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다. 또한 영상 획득 장치와 비식별화 장치(100)는 물리적으로 단일 장치로 구현될 수 있으나, 각기 별개 장치일 수 있다. 또한 학습장치는 인공지능 학습 모델을 생성하기 위한 인공지능 학습이 실행되는 신경망을 포함하고, 비식별화 장치의 일부일 수도 있으나, 외부 장치일 수도 있다. 학습장치는 비식별화 장치, 영상 획득 장치와 유선 또는 무선 통신으로 연결될 수 있다.

비식별화 장치(100), 학습 장치에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다. 비식별화 장치(100), 학습 장치의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.

비식별화 장치(100)와 학습 장치는 (1) 각종 기기 또는 유무선 네트워크와 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, (2) 각종 프로그램과 데이터를 저장하기 위한 메모리, (3) 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치이다. 적어도 일 실시예에 따르면, 메모리는 램(Random Access Memory: RAM), 롬(Read Only Memory: ROM), 플래시 메모리, 광 디스크, 자기 디스크, 솔리드 스테이트 디스크(Solid State Disk: SSD) 등의 컴퓨터로 판독 가능한 기록/저장매체일 수 있다. 일 실시예에 따르면, 마이크로프로세서는 명세서상에 기재된 동작과 기능을 하나 이상 선택적으로 수행하도록 프로그램될 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 전체 또는 부분적으로 특정한 구성의 주문형반도체(Application Specific Integrated Circuit: ASIC), CPU, GPU, DSP(digital signal processor), FPGA(field programmable gate array) 등의 하드웨어 또는 하드웨어의 조합으로 구현될 수 있다.

영상 획득 장치는 영상(예컨대, 도로 주행 영상)을 획득하는 장치로서, 자율주행차의 카메라, 일반차량의 블랙박스 카메라, CCTV 등일 수 있으나, 물리적으로 분리된 타 장치에서 촬영된 영상을 유무선 통신에 의해 수집하는 장치일 수도 있다. 영상 획득 장치는 CCD 같은 이미지 센서모듈, 메모리, 프로세서, 유선 또는 무선 통신모듈을 포함할 수 있다.

이하 도 1을 참조하여 본 발명의 일 실시예를 설명한다.

도 1은 본 발명의 일 실시예에 따른 비식별화 시스템의 비식별화 장치(100)의 개략 구조도이다. 비식별화 장치(100)는 통신모듈, 전처리부, 개인정보영역 추출부, 비식별화 처리부, 인코딩부, 메모리, 검증부(200), 학습데이터 생성부(미도시)를 포함한다. 검증부(200)는 1차 검증부, 2차 검증부 중 적어도 하나를 포함한다.

도 1, 2에 의하면, 본 발명의 일 실시예에 의한 영상 데이터의 개인정보 비식별화 처리 방법은, 영상 인식 및 객체 검출 단계, 객체 중 선별된 영역에 대한 비식별화 처리(데이터 마스킹) 단계 및 비식별화 처리에 대한 검증 단계를 포함한다.

추가로, 비식별화 처리된 영역에 대한 암호화 단계를 포함할 수 있고, 이렇게 비식별화 및 암호화된 영상 데이터를 조건에 따라 복호화하여 비식별화 데이터를 복원할 수 있다.

개인정보영역 추출부에 의해, 영상 데이터의 각 프레임에서 차선, 차량, 사람(운전자, 탑승자, 보행자), 사람 얼굴, 차량번호판, 표지판, 가로등, 간판, 전봇대 등의 다양한 객체가 추출될 수 있다. 개인정보영역 추출부는 추출된 상기 객체들 중에서 차량 번호판, 사람의 얼굴 등을 개인정보영역으로 선별한다. 개인정보보호를 위해, 비식별화처리부는 비식별화 처리를 수행할 수 있다. 이후 검증부에 의해 비식별화가 적절히 수행되었는지 검증 과정이 수행된 후, 최종적으로 비식별화 처리된 영상 데이터는 비식별화 정보(비식별화처리된 개인정보 영역의 좌표 등)와 암호화 정보를 메타 데이터로 포함하여 함께 저장되거나 전송된다. 비식별화 단계에서 암호화가 함께 수행될 수 있으나 암호화 없이 비식별화만 수행될 수도 있다.

이처럼 개인정보영역이 포함된 각각의 프레임에 대한 비식별화, 암호화 처리가 된 영상 데이터는 인코딩되어 메모리에 저장되고, 통신모듈에 의해 전송될 수 있다.

도 3을 참조하여 본 발명의 일 실시예에 의한 영상 데이터의 비식별화 처리 방법을 보다 상세히 설명한다.

본 발명의 일 실시예에 의한 영상 데이터의 비식별화 처리 방법은, 수신된 영상 데이터를 전처리하는 전처리 단계; Deep learning 기반의 객체 검출기를 이용하여 상기 전처리된 영상 데이터에서 개인정보영역을 인식하고 추출하는 개인정보영역 추출 단계; 상기 추출된 개인정보영역에 대한 비식별화 처리(데이터 마스킹) 단계; 및 비식별화 처리된 데이터에 대한 검증 단계; 및 검증된 비식별화 데이터를 인코딩하여 저장 또는 전송하는 단계를 포함한다.

전처리된 영상 데이터에서 개인정보영역을 인식하고 추출하는 단계에서는, 딥러닝기반 얼굴 검출기, 딥러닝기반 차량번호판 검출기, 숫자 문자 검출기 등을 포함하는 Deep learning 기반의 객체 검출기가, 비식별화 대상 객체(사람 얼굴, 차량 번호판, 기타 개인정보와 관련된 영역)를 검출하고 선별한다. 딥러닝 기반 객체 검출기는 MLP(multilayer perceptron), CNN(convolutional newral network) 또는 RNN(recurrent newral network) 등의 방법에 의해 구성된 다층 구조의 인공지능신경망으로 구현된다.

비식별화부에서, 비식별화 대상 객체(개인정보영역)에 대한 비식별화 처리를 거쳐 제1 비식별화 데이터가 생성된다. 제1 비식별화 데이터는 비식별화된 영상 데이터와, 비식별화정보(비식별화된 객체 좌표 정보, 암호화 키 값 등)가 포함된 메타 데이터를 포함한다.

검증부는 상기 제1 비식별화 데이터에 대해 비식별화 미처리 영역을 검출한다. 즉, 비식별화 처리가 되지 않은 개인정보영역인 비식별화 대상 객체가 탐지되는지 여부가 확인된다. 이 때 검증은 얼굴, 번호판 인식 알고리즘(비식별화 대상 객체 검출 알고리즘)과, 차량, 사람 등의 상위 객체를 딥러닝 기반 검출기에 의해 검출하는 상위 객체 검출법을 혼용한 방법으로, 비식별화 미처리 영역을 탐지하는 과정을 포함한다. 구체적인 검증 과정에 대해서는 후술한다.

도 1, 4, 5를 참조하여 본 발명의 다른 실시예에 의한 비식별화 방법을 상세히 설명한다. 전처리 단계, 개인정보영역 추출 단계, 비식별화 처리 단계 등은 앞에서 설명한 바와 같으므로 자세한 설명을 생략한다. 비식별화 처리에 대한 검증은 얼굴, 번호판 인식 알고리즘과 차량, 사람의 객체 검출 딥러닝 기술을 혼용하여 비식별화 미처리 영역 탐지를 통해 수행된다. 본 발명의 일 측면에 따르면, 검증 과정은 1차 검증과 2차 검증 중 적어도 하나 이상의 검증 단계를 포함한다.

이하, 비식별화 및 그 검증 과정을 상세히 설명한다. 이러한 비식별화 과정은 프로세서에 의해 수행된다.

1단계: 수집한 영상 이미지 데이터에 대해 비식별화 대상 객체를 검출하고 마스킹 등의 비식별화 처리를 수행한다. 이 때 개인정보영역인 사람 얼굴이나 차량번호판을 이미지로부터 검출하는 것은 딥러닝 기반 제1 객체 검출기로 비식별화 대상 객체를 검출한다. 검출된 비식별화 대상 객체는 사람 얼굴, 차량번호판 등으로 해당 객체 영역에 대한 비식별화 처리를 통해 제1 비식별화 데이터를 생성한다.

2단계: 1단계에서 비식별화처리된 제1 비식별화 데이터에 대한 비식별화 검증은 1차 검증부에 의해 실행된다. 이때는 1단계에서 이용한 딥러닝 기반 제1 객체 검출기와 다른 알고리즘을 가지는, 딥러닝 기반이 아닌 제2 객체 검출기를 이용하여 비식별화 대상 객체를 검출한다.

1차 검증 단계에서 1차 검증부의 제2 객체 검출기는, 상기 제1 비식별화 데이터에서 비식별화 대상 객체(얼굴, 차량 번호판)를 추출한다. 비식별화 대상 객체를 추출하기 위해 이용되는 알고리즘(제2 객체 검출기)은, 전처리된 영상 데이터(raw data)에서 비식별화 대상 객체를 추출하기 위해 사용한 딥러닝 기반 제1 객체 검출기와 상이한 검출 알고리즘이다. 예를 들어, 하르유사특징(Haar-like feature), 국부 이진 패턴(local binary pattern, LBP), Modified Census transform 등의 특징을 boosting으로 선택하는 얼굴 검출 알고리즘, 숫자문자 검출 알고리즘을 이용할 수 있다.

이처럼 제1 비식별화 데이터의 생성을 위한 개인정보영역 추출 시의 검출기와 상이한 검출기를 1차 검증 단계에서 이용함으로써 검증의 정확도를 높일 수 있다.

1차 검증 단계에서 만약 얼굴이나 숫자, 문자, 차량번호판이 검출되었다면 1차 검증기는 비식별화 미처리 객체가 존재하는 것으로 간주하고 자동으로 비식별화(마스킹) 처리를 수행하여 제2 비식별화 데이터를 생성한다. 1차 검증기가 제1 비식별화 데이터에 대한 비식별화 처리를 직접 수행할 수도 있으나, 이에 한정되지 않고 비식별화 처리부가 비식별화를 수행하도록 하는 것도 가능하다.

비식별화 처리와 함께 암호화를 수행된 결과 데이터(제2 비식별화 데이터)가 인코딩된 후 전송 또는 저장된다.

만약 1차 검증 단계에서 비식별화 처리 대상 객체가 검출되지 않는다면 제1 비식별화 데이터를 제2 비식별화 데이터로 저장한이후 암호화 내지 인코딩 과정을 거친 영상 데이터를 출력/전송한다.

대안적으로는 상기 1차 검증 후 암호화 및 인코딩 대신 후술할 3단계 및/또는 4단계(2차 검증 단계)를 진행할 수도 있다.

3단계: 이때 2단계에서 검출된 개인정보영역은 1단계에서의 딥러닝 기반 검출기에 의해 추출되지 않은 것이므로, 해당 딥러닝 기반 검출기의 학습을 위한 학습데이터로서 생성되어 학습 장치로 전송된다. 이에 따라 객체 검출기의 인공지능 학습을 위한 학습 데이터의 업데이트가 이루어지고, 학습장치에서 딥러닝 기반 객체 검출기의 학습 후에는 딥러닝 기반 검출기가 업데이트된다. 상기 학습데이터는 상기 비식별화 장치(100)의 학습데이터 생성부(미도시)에 의해 생성되고 통신모듈을 통해 외부 학습 장치로 전송된다.

4단계: 1차 검증 수행 후 2차 검증기에 의해 수행되는 2차 검증 단계는 제3 객체 검출기에 의해 상위 객체를 인지하는 단계, 상기 상위 객체 중 비식별화 미처리 상위 객체가 존재하는지 여부를 확인하는 단계, 비식별화 미처리 상위 객체가 존재하는 경우 상위 객체에 대해 사용자 입력에 따라 비식별화를 추가로 수행한 제3 비식별화 데이터를 생성하는 단계를 포함한다.

상위 객체를 인지하는 단계는 제3 객체 검출기에 의해 수행되고, 제3 객체 검출기는 제2 비식별화 데이터에 대해 “사람, 차량＂등의 상위 객체를 검출한다. 상위 객체는 비식별화 대상 객체인 얼굴, 번호판에 대한 상위 개념인 사람, 차량 등의 객체이다. 제3 객체 검출기는 제1 객체 검출기와 마찬가지로 딥러닝 기반 검출기이나 상이한 학습 모델인 것이 바람직하지만 이에 한정되지 않는다.

검출된 상위 객체 중에서 비식별화 미처리 영역이 존재하지 않는 경우에는 비식별화 처리가 적절히 수행된 것으로 간주하여 제2 비식별화 데이터를 인코딩하여 저장하고 전송한다.

검출된 상위 객체 중에서 비식별화 미처리 영역이 존재하는 경우에는 미처리 영역을 가지는 상위 객체를 사용자 인터페이스를 통해 표시하여, 사용자 또는 관리자가 해당 상위 객체에서 개인정보영역(비식별화 대상 객체)인 얼굴이나 번호판에 대해 비식별화 처리가 필요한지 여부를 판단할 수 있도록 한다.

사용자 인터페이스(터치스크린, 디스플레이 등)에서 해당 상위 객체에 비식별화 처리가 필요한 경우인지 아니면 필요하지 않은 경우인지 관리자가 선택할 수 있도록 터치 버튼 등의 선택 수단이 제공될 수 있다.

사용자가 터치 등의 방법으로 상기 선택 수단을 통한 신호가 입력되면 그에 따라 후속 처리가 이루어진다. 비식별화가 필요하다는 신호가 입력되면, 입력 신호에 기초하여 선택 영역에 대해 비식별화 처리를 하여 제3 비식별화 데이터가 생성된다. 그리고, 제3 비식별화 데이터의 선택된 영역 정보에 기초한 학습 데이터가 생성되어, 딥러닝 기반 제1 객체 검출기의 추가 학습이 수행되고, 추가 학습에 기초하여 딥러닝 기반 제1 객체 검출기에 대한 업데이트가 이루어진다.

즉, 상위 객체에서 비식별화 처리 영역이 없을 경우, 해당 영역에 대한 식별을 위해 사용자 확인을 위한 사용자 인터페이스를 제공하는 프로세스가 생성된다. 사용자는 검출된 상위 객체를 사용자 인터페이스를 통해 확인하고, 만약 비식별화가 필요한 영역이 있을 경우 마스킹 지시 영역을 선택하는 입력을 할 수 있고, 해당 영역을 포함한 원본 영상 데이터는 학습데이터로 생성되어 인공지능 학습에 제공된다.

사용자 개입을 통한 비식별화 후작업 및 해당 영역 학습데이터 생성 후에는 딥러닝 기반 검출기에 의한 검출 및 비식별화 처리의 1단계부터 다시 반복 수행하고 1차 및 2차 검증 단계를 거쳐 최종 비식별화 영역 미검출시 결과 영상 데이터가 전송(저장)된다.

다만, 이러한 사용자 개입이 필수적인 것은 아니고 검출된 상위 객체 중에서 적어도 하나의 비식별화 미처리 객체가 존재할 경우, 해당 객체에 대한 비식별화 처리가 필요한 것으로 간주될 수도 있다. 이 경우에는 해당 상위 객체에 대해 추가로 비식별화 처리를 하고 학습 데이터 생성 및 업데이트 처리를 수행한다.

본 발명의 또 다른 실시예에 의하면, 1차 검증 단계를 생략하고 바로 2차 검증 단계를 수행할 수도 있다.

도 5는 본 발명의 일 실시예의 방법에 의해 원본 영상의 특정 프레임이 처리되는 과정을 예시적으로 나타낸 도면이다. 이하, 도 5를 참조하여 본 발명의 비식별화 처리 과정을 구체적인 예를 들어 설명한다.

원본 영상 프레임에 해당하는 원본 데이터 (A)에서 제1 객체 검출기에 의해 비식별화 대상 객체를 검출하고, 1차 검출기는 검출된 비식별화 대상 객체(여자 얼굴)를 비식별화 처리하여 제1 비식별화 데이터(B)를 생성한다. 도 5 (B)에 의하면, 검출 오류 또는 처리 오류에 의해 남자의 얼굴과 차량 번호판에 대해서는 비식별화 처리가 되지 않았음을 확인할 수 있다. 검증 과정을 거치지 않는 종래의 비식별화 방법에 의하면 (B)의 영상 데이터가 저장, 전송되므로 개인정보가 일부 노출될 수 있다. 그러나, 본 발명의 방법에 의하면 검증 과정을 거치므로 개인정보 노출 가능성이 줄어든다.

도 5를 참조하여 본 발명의 검증 방법을 추가로 설명한다. 제1 비식별화 데이터(B)에서, 제2 객체 검출기를 이용하여 하위 객체를 다시 검출한 결과, 차량번호판이 검출되어 이에 대한 비식별화 처리를 통해 제2 비식별화 데이터(C)를 생성한다. 제2 비식별화 데이터(C)를 살펴보면, 제2 객체 검출기는 하위 객체인 얼굴, 차량번호판 등을 검출하기 위한 것으로, 남자 얼굴은 오류로 검출하지 못한 상황이다(이미 비식별화 처리된 여자 얼굴은 검출되지 않음).

다음 단계에서 오류를 개선하기 위해 추가적인 검증이 이루어질 수 있다. 상위 객체인 사람, 자동차를 검출하는 제3 객체 검출기는 제2 비식별화 데이터로부터 도 5의 (D)와 같이 상위 객체(사람, 차량)를 검출한다. 여기서 상위 객체는 그 둘레가 점선으로 표시되어 있다.

2차 검증부는 검출된 상위 객체인 사람, 자동차 중에서 비식별화 미처리 객체가 존재하는지 여부를 확인한다. 도 5의 (D)에서 화살표로 표시된 사람(상위 객체)에 대해서는 비식별화 처리 영역이 존재하지 않는다. 즉, 검출된 상위 객체 중에서 비식별화 미처리 객체가 존재하므로, 사용자에 의한 확인을 요청하는 프로세스가 생성되어 사용자 인터페이스를 통해 제공된다.

사용자의 확인 입력에 따라, 추가적으로 제2 비식별화 데이터에 대해 비식별화 처리가 수행되어 제3 비식별화 데이터(E)가 생성된다.

한편, 제2 객체 검출기에 의해서 검출된 차량번호판, 제3 객체 검출기에 의해 검출된 사람의 얼굴을 학습 데이터로 이용하여 딥러닝 기반 비식별화 대상 검출기의 학습이 이루어진다. 상기 학습 결과에 의해 제1 객체 검출기의 업데이트가 이루어진다.

상기 검증 과정을 거침으로써 비식별화 대상 객체 중 일부가 비식별화 처리되지 않아 개인정보가 노출되는 위험을 줄인다. 동시에 비식별화 대상 객체 검출을 위한 딥러닝 기반 검출 알고리즘에 대한 효과적인 학습이 이루어져 객체 검출의 정확도가 향상된다.

100: 비식별화 장치

Claims

비식별화 장치에 의해 실행되는 영상 데이터의 비식별화 처리 방법으로서,
딥러닝(Deep learning) 기반의 제1 객체 검출기를 이용하여 영상 데이터에서 비식별화 대상 객체를 인식하고 추출하는 비식별화 대상 객체 검출 단계;
비식별화처리부가, 검출된 비식별화 대상 객체를 비식별화 처리하여 상기 영상 데이터로부터 제1 비식별화 데이터를 생성하는 비식별화 단계; 및
상기 제1비식별화 데이터에 대해, 비식별화 처리를 검증하는 검증 단계;를 포함하고,
검증부에 의해 실행되는 상기 검증 단계는,
제2 객체 검출기에 의해 제1 비식별화 데이터에서 비식별화 대상 객체를 추출하고,
비식별화 대상 객체가 추출되면 비식별화 미처리 객체가 존재하는 것으로 간주되어 자동으로 상기 비식별화 미처리 객체에 대해 비식별화 처리를 수행한 제2 비식별화 데이터를 생성하는 1차 검증 단계;를 포함하고,
상기 제2 객체 검출기는 상기 비식별화 대상 객체를 검출하는 알고리즘으로, 딥러닝 기반 상기 제1 객체 검출기와 상이한 것을 특징으로 하는 영상 데이터의 비식별화 처리 방법.
제1항에 있어서,
상기 검증 단계는 2차 검증 단계를 더 포함하고,
2차 검증 단계는,
제3 객체 검출기가 상기 제2 비식별화 데이터에서 상위 객체를 검출하는 2차 검출 단계; 및
상위 객체 중 비식별화 미처리 상위 객체가 존재하는지 여부를 확인하는 단계; 및
비식별화 미처리 상위 객체가 존재하는 경우, 상기 비식별화 미처리 상위 객체에 대한 비식별화를 추가로 수행한 제3 비식별화 데이터를 생성하는 단계;를 포함하며,
상기 비식별화 대상 객체는 사람 얼굴, 차량번호판, 숫자, 문자 중 하나 이상을 포함하고,
상기 상위 객체는 비식별화 대상 객체에 대한 상위 개념의 객체인 것을 특징으로 하는 영상 데이터의 비식별화 처리 방법.
제2항에 있어서,
학습데이터 생성부가 제2 객체 검출기에 의해 검출된 비식별화 대상 객체 또는 제3 객체 검출기에 의해 검출되고 선별된 비식별화 대상 객체로부터 학습 데이터를 생성하고,
상기 학습 데이터를 이용하여 제1 객체 검출기의 인공지능 학습 데이터에 업데이트가 이루어지는 것을 특징으로 하는 영상 데이터의 비식별화 처리 방법.
제1항에 있어서,
상기 검증부에 의해 비식별화 미처리 객체가 존재하는지 판단하는 단계를 포함하고,
비식별화 미처리 객체가 존재하는지 판단하는 단계는, 제2 객체 검출기에 의해 상기 제1 비식별화 데이터 중 얼굴, 차량번호판, 숫자, 문자 중 적어도 하나 이상의 객체가 인식되는 경우 상기 비식별화 미처리 객체가 존재하는 것으로 판단하고,
상기 비식별화 미처리 객체가 존재하지 않는 경우, 상기 제1 비식별화 데이터를 인코딩하여 전송하는 것을 특징으로 하는 영상 데이터의 비식별화 처리 방법.
제2항에 있어서,
상기 상위 개념의 객체는 사람 또는 차량인 것을 특징으로 하는 영상 데이터의 비식별화 처리 방법.
비식별화 처리장치의 검증부에 의해 실행되는 비식별화 검증 방법으로서,
영상 데이터의 개인정보영역이 비식별화 처리된 제1 비식별화 데이터를 수신하는 단계; 및
상기 제1 비식별화 데이터에 대해 개인정보영역이 존재하는지 여부를 확인하고, 개인정보영역이 존재하는 경우, 확인된 개인정보영역에 대해 비식별화 처리를 수행하는 검증 단계;를 포함하고,
상기 검증 단계는,
제2 객체 검출기에 의해 제1 비식별화 데이터에서 비식별화 대상 객체를 추출하고,
비식별화 대상 객체가 추출되면 비식별화 미처리 객체가 존재하는 것으로 간주되어 자동으로 상기 비식별화 미처리 객체에 대해 비식별화 처리를 수행한 제2 비식별화 데이터를 생성하는 1차 검증 단계;를 포함하고,
상기 제2 객체 검출기는 상기 비식별화 대상 객체를 검출하는 알고리즘으로, 상기 영상 데이터로부터 개인정보영역을 추출하기 위한 제1 객체 검출기와 상이한 검출 알고리즘인 것을 특징으로 하는 비식별화 검증 방법.
제6항에 있어서,
상기 제1 비식별화 데이터 중 얼굴, 차량번호판, 숫자, 문자 중 적어도 하나 이상의 비식별화 대상 객체가 인식되는 경우 상기 비식별화 미처리 객체가 존재하는 것으로 판단하는 것을 특징으로 하는 비식별화 검증 방법.
제7항에 있어서,
제2 비식별화 데이터에서 상위 객체를 검출하는 단계;
상기 상위 객체 중 비식별화 미처리 상위 객체가 존재하는지를 확인하는 단계; 및
확인결과, 상기 비식별화 미처리 상위 객체가 존재하는 경우, 상기 비식별화 미처리 상위 객체에 대해 비식별화를 추가로 수행한 제3 비식별화 데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 비식별화 검증 방법.
제6항에 있어서,
상기 검증 단계는,
상기 제2 비식별화 데이터에서 상위 객체를 검출하는 2차 검출 단계;
상기 상위 객체 중 비식별화 미처리 상위 객체가 존재하는지를 확인하는 단계; 및
확인 결과, 상기 비식별화 미처리 상위 객체가 존재하는 경우, 상기 비식별화 미처리 상위 객체에 대해 사용자 입력에 따라 비식별화를 추가로 수행한 제3 비식별화 데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 비식별화 검증 방법.
제6항에 있어서,
검증 단계에서 확인된 개인정보영역에 기초한 학습 데이터가 생성되고, 딥러닝 기반 제1 객체 검출기에 대한 추가 학습이 수행되고 업데이트되는 것을 특징으로 하는 비식별화 검증 방법.
영상 데이터의 비식별화 처리 장치에 있어서,
영상 데이터에서 비식별화 대상 객체를 인식하고 추출하는 딥러닝(Deep learning) 기반의 제1 객체 검출기를 포함하는 개인정보영역 추출부;
검출된 비식별화 대상 객체를 비식별화 처리하여 상기 영상 데이터로부터 제1 비식별화 데이터를 생성하는 비식별화처리부; 및
상기 제1비식별화 데이터에 대한 비식별화 처리를 검증하는 검증부;를 포함하고,
상기 비식별화 대상 객체는 사람 얼굴, 차량번호판, 숫자, 문자 중 하나 이상을 포함하며,
상기 검증부는 1차 검증부를 포함하고,
상기 1차 검증부는, 제1비식별화 데이터에서 비식별화 대상 객체를 검출하는 제2 객체 검출기를 포함하고, 제2 객체 검출기에 의해 비식별화 대상 객체가 추출되면 비식별화 미처리 객체가 존재하는 것으로 간주하여 자동으로 상기 비식별화 미처리 객체에 대해 비식별화 처리를 수행한 제2 비식별화 데이터를 생성하며,
제2 객체 검출기는 상기 비식별화 대상 객체를 검출하는 알고리즘으로, 상기 제1 객체 검출기와 상이한 것을 특징으로 하는 영상 데이터의 비식별화 처리 장치.
제11항에 있어서,
상기 검증부는 2차 검증부를 더 포함하고,
2차 검증부는 상기 제2 비식별화 데이터에서 상위 객체를 검출하는 제3 객체 검출기를 포함하고, 상기 상위 객체의 영역에 대한 비식별화 처리 유무를 확인하고, 비식별화 미처리 상위 객체가 존재하는 경우, 상기 비식별화 미처리 상위 객체에 대한 사용자 입력에 따라 비식별화를 추가로 수행한 제3 비식별화 데이터를 생성하고,
상기 상위 객체는 비식별화 대상 객체에 대한 상위 개념의 객체인 것을 특징으로 하는 영상 데이터의 비식별화 처리 장치.