KR102678533B1 - A method and a device for blurring objects in images using artifactual intelligence - Google Patents

Abstract

본 발명의 실시 예에 따른 방법은, 컴퓨터 장치에 의해 실행되는 영상 내 객체 블러링 방법에 있어서, 소셜 네트워킹 서비스상에 공유되는 영상으로부터 하나 이상의 이미지를 획득하는 단계; 상기 하나 이상의 이미지로부터 개인 정보 또는 민감 정보를 포함하는 하나 이상의 블러링 후보 영역을 검출하는 단계; 상기 블러링 후보 영역에 대응하는 화질 개선 보정을 처리하는 단계; 상기 화질 개선 보정 처리된 블러링 후보 영역별 세부 객체 인식을 수행하는 단계; 및 상기 세부 객체 인식에 대응하는 사용자 인터페이스 입력 정보에 기초하여, 상기 블러링 후보 영역 중 선택된 영역에 대한 객체 블러링을 처리하는 단계를 포함한다.A method according to an embodiment of the present invention includes the steps of: acquiring one or more images from an image shared on a social networking service; detecting one or more blurring candidate areas containing personal information or sensitive information from the one or more images; Processing image quality improvement correction corresponding to the blurring candidate area; performing detailed object recognition for each blurring candidate area that has undergone image quality improvement correction; and processing object blurring for a selected area among the blurring candidate areas based on user interface input information corresponding to the detailed object recognition.

Description

인공지능을 이용한 영상 내 객체 블러링 방법 및 그 장치{A METHOD AND A DEVICE FOR BLURRING OBJECTS IN IMAGES USING ARTIFACTUAL INTELLIGENCE}Method and device for blurring objects in an image using artificial intelligence {A METHOD AND A DEVICE FOR BLURRING OBJECTS IN IMAGES USING ARTIFACTUAL INTELLIGENCE}

본 발명은 영상 내 객체 블러링 방법 및 그 장치에 관한 것이다. 보다 구체적으로, 본 발명은 인공지능을 이용한 영상 내 객체 블러링 방법 및 그 장치에 관한 것이다.The present invention relates to a method and device for object blurring in an image. More specifically, the present invention relates to a method and device for object blurring in an image using artificial intelligence.

스마트 폰(Smart Phone), 태블릿 PC(Tablet PC), PMP(Portable Multimedia Player), PDA(Personal Digital Assistant), 랩탑 PC(Laptop Personal Computer) 및 손목 시계(Wrist watch), HMD(Head-Mounted Display)와 같은 전자 컴퓨팅 장치는 이미지로 구성되는 영상 정보를 저장 및 출력할 수 있다.Smart Phone, Tablet PC, Portable Multimedia Player (PMP), Personal Digital Assistant (PDA), Laptop Personal Computer and Wrist Watch, Head-Mounted Display (HMD) Electronic computing devices such as can store and output image information consisting of images.

그리고, 최근에는 이러한 컴퓨팅 장치의 영상 정보를 구성하는 이미지의 전송 및 출력 기능을 이용하여, SNS(Social Network Service)와 같은 외부 시스템과 공유함에 따라, 영상 소통이 가능한 다양한 어플리케이션 서비스들이 제공되고 있다. 예를 들어, 영상 공유, 영상 통화, 실시간 방송, 영상 기반 질의 응답 서비스 등, 영상 정보는 다양한 기기를 경유하여 공유되는 기본적인 커뮤니케이션 데이터로서 활용되고 있다.Recently, various application services that enable video communication have been provided by using the transmission and output functions of images constituting the video information of these computing devices and sharing them with external systems such as SNS (Social Network Service). For example, video information is used as basic communication data shared through various devices, such as video sharing, video calls, real-time broadcasting, and video-based question and answer services.

하지만, 초고속, 대용량 무선 통신이 보편화되면서, 고화질 원본 이미지(예를 들어 로우(RAW) 이미지)들도 공유되는데, 사용자의 의도와는 무관하게 개인 정보나 민감 정보(예를 들어, 사생활, 범죄, 욕설, 신체 노출 등)가 타인에게 노출 또는 유출될 우려가 있다. 예컨대, 고화질 이미지는 사용자의 공유를 원치 않는 개인 정보(예를 들어, 얼굴 정보, 전화 번호, 주민 번호, 주소 정보, 지문 정보, 홍채 정보 등)나 민감 정보를 포함할 수 있다.However, as high-speed, high-capacity wireless communication becomes more common, high-definition original images (e.g., RAW images) are also shared, and personal or sensitive information (e.g., privacy, crime, etc.) is shared regardless of the user's intention. There is a risk that abusive language, body exposure, etc.) may be exposed or leaked to others. For example, high-definition images may contain personal information (e.g., face information, phone number, resident registration number, address information, fingerprint information, iris information, etc.) or sensitive information that the user does not want to share.

이러한 개인 정보나 민감 정보의 무단 유출은 사용자에게 큰 피해를 초래할 수 있으며, 제3자에게도 불의의 피해를 줄 수 있는 바, 현재는 이를 방지하고자 이미지상에서 개인 정보나 민감 정보가 확인되면, 사용자가 이미지 편집을 통해 검은 이미지 등으로 마스킹 또는 모자이크 등을 이용해 블러링(BLURRING)하여, 제거하는 방식 등이 주로 이용되고 있다.Unauthorized leakage of such personal information or sensitive information can cause great damage to users and unexpected damage to third parties. Currently, in order to prevent this, if personal information or sensitive information is identified in the image, the user Image editing is mainly used to remove black images by masking them or blurring them using mosaics.

그러나, 먼저 사용자가 영상마다 직접 확인 및 블러링하는 방식은 상당한 시간 및 노력이 소요되는 문제점이 있다.However, the method in which the user directly checks and blurs each image has the problem of requiring considerable time and effort.

또한, 최근에는 인공지능 등을 활용한 블러링 방식도 모색되고 있으나, 소셜 네트워크상에서 공유되는 영상 이미지는 정형화되어 있지 않으며, 특히 영상에서의 개별 프레임 이미지는 모션으로 인해 손상되어 있는 경우가 많기 때문에, 인공지능을 활용하더라도, 현재까지의 객체 인식 기술로는 현실적인 실시간 처리 서비스를 제공하기에는 어려움이 있다.In addition, blurring methods using artificial intelligence, etc. have been explored recently, but video images shared on social networks are not standardized, and in particular, individual frame images in videos are often damaged due to motion. Even if artificial intelligence is used, it is difficult to provide realistic real-time processing services with current object recognition technology.

나아가, 인공지능의 경우, 그 처리과정을 사용자가 중간에 직접 개입하거나 컨트롤하기도 어려운 문제점도 존재한다.Furthermore, in the case of artificial intelligence, there are problems in which it is difficult for users to directly intervene or control the processing process.

본 발명은 상기한 바와 같은 과제를 해결하고자 안출된 것으로, 소셜 네트워크 서비스상에 공유되는 이미지에 대응하여, 1차적인 블러링 후보 영역 검출에 대응하는 별도의 2차적인 세부 객체 인식 처리과정을 통해, 보다 정확하면서도 실시간적인 개인 정보 및 민감 정보의 인공지능 기반 블러링 처리가 가능하며, 처리 과정에 대응하는 실시간 사용자 인터페이싱을 제공하여, 사용자의 의도에 따른 컨트롤도 용이하게 되는 인공지능을 이용한 영상 내 객체 블러링 방법 및 그 장치를 제공하는 데 그 목적이 있다.The present invention was developed to solve the problems described above. In response to images shared on social network services, a separate secondary detailed object recognition process corresponding to primary blurring candidate area detection is performed. , AI-based blurring processing of personal and sensitive information is possible in a more accurate and real-time manner, and real-time user interfacing corresponding to the processing process is provided, making it easier to control according to the user's intention. The purpose is to provide an object blurring method and device.

상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 컴퓨터 장치에 의해 실행되는 영상 내 객체 블러링 방법에 있어서, 소셜 네트워킹 서비스상에 공유되는 영상으로부터 하나 이상의 이미지를 획득하는 단계; 상기 하나 이상의 이미지로부터 개인 정보 또는 민감 정보를 포함하는 하나 이상의 블러링 후보 영역을 검출하는 단계; 상기 블러링 후보 영역에 대응하는 화질 개선 보정을 처리하는 단계; 상기 화질 개선 보정 처리된 블러링 후보 영역별 세부 객체 인식을 수행하는 단계; 및 상기 세부 객체 인식에 대응하는 사용자 인터페이스 입력 정보에 기초하여, 상기 블러링 후보 영역 중 선택된 영역에 대한 객체 블러링을 처리하는 단계를 포함한다.A method according to an embodiment of the present invention for solving the above-described problem is an object blurring method in an image executed by a computer device, comprising the steps of acquiring one or more images from an image shared on a social networking service. ; detecting one or more blurring candidate areas containing personal information or sensitive information from the one or more images; Processing image quality improvement correction corresponding to the blurring candidate area; performing detailed object recognition for each blurring candidate area that has undergone image quality improvement correction; and processing object blurring for a selected area among the blurring candidate areas based on user interface input information corresponding to the detailed object recognition.

또한 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 상기 방법을 컴퓨터에서 실행시키기 위해 컴퓨터 판독 가능한 매체에 저장되는 컴퓨터프로그램으로 구현될 수 있다.Additionally, the method according to an embodiment of the present invention for solving the above-mentioned problems may be implemented as a computer program stored in a computer-readable medium to execute the method on a computer.

또한, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 장치는, 소셜 네트워킹 서비스상에 공유되는 영상으로부터 하나 이상의 이미지를 획득하는 이미지 정보 획득부; 상기 하나 이상의 이미지로부터 개인 정보 또는 민감 정보를 포함하는 하나 이상의 블러링 후보 영역을 검출하는 블러링 후보 영역 식별부; 상기 블러링 후보 영역에 대응하는 화질 개선 보정을 처리하는 화질 개선 보정부; 상기 화질 개선 보정 처리된 블러링 후보 영역별 세부 객체 인식을 수행하는 세부 객체 인식부; 및 상기 세부 객체 인식에 대응하는 사용자 인터페이스 입력 정보에 기초하여, 상기 블러링 후보 영역 중 선택된 영역에 대한 객체 블러링을 처리하는 객체 블러링 처리부를 포함한다.In addition, an apparatus according to an embodiment of the present invention for solving the problems described above includes an image information acquisition unit that acquires one or more images from an image shared on a social networking service; a blurring candidate area identification unit that detects one or more blurring candidate areas containing personal information or sensitive information from the one or more images; an image quality improvement correction unit that processes image quality improvement correction corresponding to the blurring candidate area; a detailed object recognition unit that performs detailed object recognition for each blurring candidate area that has undergone image quality improvement correction; and an object blurring processing unit that processes object blurring for a selected area among the blurring candidate areas based on user interface input information corresponding to the detailed object recognition.

본 발명의 실시 예에 따르면, 컴퓨팅 장치가, 소셜 네트워킹 서비스상에 영상 등으로 공유되는 하나 이상의 이미지로부터, 인공지능 기반의 개인 정보 또는 민감 정보를 포함하는 하나 이상의 블러링 후보 영역을 1차적으로 검출하되, 블러링 후보 영역에 대응하는 화질 개선 보정을 수행한 뒤 세부 객체 인식을 2차적으로 수행하게 함으로써, 보다 정확하면서도 실시간적인 개인 정보 및 민감 정보의 인공지능 기반 블러링 처리를 수행하는 실시간 소셜 네트워킹 서비스를 용이하게 제공할 수 있게 된다.According to an embodiment of the present invention, a computing device primarily detects one or more blurring candidate areas containing artificial intelligence-based personal information or sensitive information from one or more images shared as videos, etc. on a social networking service. However, real-time social networking that performs more accurate and real-time artificial intelligence-based blurring processing of personal and sensitive information by performing image quality improvement correction corresponding to the blurring candidate area and then performing detailed object recognition secondarily. Services can be provided easily.

또한, 본 발명의 실시 예에 따르면, 블러링 영역 및 세부 인식 객체에 대응하는 실시간 사용자 인터페이스를 제공하고, 사용자 입력에 따라 블러링 영역 선택 또는 인식된 객체의 블러링이 처리되도록 제공함으로써, 손상된 모션 프레임 이미지등의 경우에도 정확한 인식을 통한 선택적 블러링이 가능하며, 이에 따라 인공지능 처리 과정에 대하여 사용자의 의도에 따른 컨트롤도 용이하게 이루어지는 장점이 있다.In addition, according to an embodiment of the present invention, a real-time user interface corresponding to the blurring area and the detailed recognized object is provided, and the blurring area is selected or the blurring of the recognized object is processed according to the user input, thereby preventing damaged motion. Even in the case of frame images, selective blurring is possible through accurate recognition, and this has the advantage of easily controlling the artificial intelligence processing process according to the user's intention.

이에 따라, 본 발명은 소셜 네트워크 서비스 기반의 영상 공유, 실시간 방송, 영상 기반 질의 응답 서비스, 영상 통화 등 다양한 영상 기반의 커뮤니케이션 어플리케이션 및 서비스를 통해 제공됨으로써, 개인 정보나 민감 정보에 대한 누출 없이도 안전하고 편리한 서비스가 제공될 수 있다.Accordingly, the present invention is provided through various video-based communication applications and services such as social network service-based video sharing, real-time broadcasting, video-based question and answer service, and video calls, and is safe and secure without leaking personal or sensitive information. Convenient services can be provided.

도 1은 본 명세서의 일 실시 예에 따른 시스템의 동작 환경의 예를 도시한 도면이다.
도 2는 본 명세서의 일 실시 예에 있어서 컴퓨팅 장치의 내부 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 실시 예에 따른 서비스 처리부 및 그 구성을 설명하기 위한 블록도이다.
도 4는 본 발명의 실시 예에 따른 세부 객체 인식부를 보다 구체적으로 도시한 블록도이다.
도 5 및 도 6은 본 발명의 실시 예에 따라 블러링 처리된 이미지 및 인식 결과를 예시하기 위한 도면들이다.
도 7 및 도 8은 본 발명의 실시 예에 따른 사용자 인터페이스 및 그 동작을 설명하기 위한 예시도이다.
도 9는 본 발명의 실시 예에 따른 컴퓨팅 장치의 동작 방법을 설명하기 위한 흐름도이다.1 is a diagram illustrating an example of an operating environment of a system according to an embodiment of the present specification.
FIG. 2 is a block diagram for explaining the internal configuration of a computing device according to an embodiment of the present specification.
Figure 3 is a block diagram for explaining the service processing unit and its configuration according to an embodiment of the present invention.
Figure 4 is a block diagram illustrating in more detail a detailed object recognition unit according to an embodiment of the present invention.
Figures 5 and 6 are diagrams illustrating blurred images and recognition results according to an embodiment of the present invention.
7 and 8 are exemplary diagrams for explaining the user interface and its operation according to an embodiment of the present invention.
Figure 9 is a flowchart for explaining a method of operating a computing device according to an embodiment of the present invention.

본 명세서의 실시예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 실시예의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 명세서의 실시예에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. In describing the embodiments of the present specification, if it is determined that a detailed description of a known configuration or function may obscure the gist of the embodiments of the present specification, the detailed description thereof will be omitted. In addition, in the drawings, parts that are not related to the description of the embodiments of the present specification are omitted, and similar parts are given similar reference numerals.

본 명세서의 실시예에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다. In the embodiments of the present specification, when a component is said to be “connected,” “coupled,” or “connected” to another component, this refers not only to a direct connection relationship, but also to an indirect relationship where another component exists in between. Connection relationships may also be included. In addition, when a component is said to “include” or “have” another component, this does not mean excluding the other component, but may further include another component, unless specifically stated to the contrary. .

본 명세서의 실시예에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 명세서의 실시예의 범위 내에서 실시예에서의 제1 구성요소는 다른 실시예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 실시예에서의 제2 구성요소를 다른 실시예에서 제1 구성요소라고 칭할 수도 있다. In the embodiments of this specification, terms such as first, second, etc. are used only for the purpose of distinguishing one component from other components, and do not limit the order or importance of components unless specifically mentioned. No. Therefore, within the scope of the embodiments of the present specification, the first component in an embodiment may be referred to as a second component in other embodiments, and similarly, the second component in the embodiment may be referred to as the first component in other embodiments. It may also be called.

본 명세서의 실시예에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시예도 본 명세서의 실시예의 범위에 포함된다. In the embodiments of the present specification, distinct components are intended to clearly explain each feature, and do not necessarily mean that the components are separated. That is, a plurality of components may be integrated to form one hardware or software unit, or one component may be distributed to form a plurality of hardware or software units. Therefore, even if not specifically mentioned, such integrated or distributed embodiments are also included in the scope of the embodiments of the present specification.

본 명세서에서 네트워크는 유무선 네트워크를 모두 포함하는 개념일 수 있다. 이때, 네트워크는 디바이스와 시스템 및 디바이스 상호 간의 데이터 교환이 수행될 수 있는 통신망을 의미할 수 있으며, 특정 네트워크로 한정되는 것은 아니다. In this specification, a network may be a concept that includes both wired and wireless networks. At this time, the network may refer to a communication network in which data exchange between devices, systems, and devices can be performed, and is not limited to a specific network.

본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "장치" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 본 명세서에서 부, 모듈, 장치 또는 시스템 등은 실행중인 프로세스, 프로세서, 객체(object), 실행 파일(executable), 실행 스레드(thread of execution), 프로그램(program), 및/또는 컴퓨터(computer)일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서의 부, 모듈, 장치 또는 시스템 등에 해당할 수 있다. Embodiments described herein may have aspects that are entirely hardware, partly hardware and partly software, or entirely software. In this specification, “unit,” “device,” or “system” refers to computer-related entities such as hardware, a combination of hardware and software, or software. For example, in this specification, a part, module, device, or system refers to a running process, processor, object, executable, thread of execution, program, and/or computer. It may be a (computer), but is not limited thereto. For example, both an application running on a computer and the computer may correspond to a part, module, device, or system in the present specification.

또한, 본 명세서에서 디바이스는 스마트폰, 태블릿 PC, 웨어러블 디바이스 및 HMD(Head Mounted Display)와 같이 모바일 디바이스뿐만 아니라, PC나 디스플레이 기능을 구비한 가전처럼 고정된 디바이스일 수 있다. 또한, 일 예로, 디바이스는 차량 내 클러스터 또는 IoT (Internet of Things) 디바이스일 수 있다. 즉, 본 명세서에서 디바이스는 어플리케이션 동작이 가능한 기기들을 지칭할 수 있으며, 특정 타입으로 한정되지 않는다. 하기에서는 설명의 편의를 위해 어플리케이션이 동작하는 기기를 디바이스로 지칭한다.Additionally, in this specification, the device may be a mobile device such as a smartphone, tablet PC, wearable device, and HMD (Head Mounted Display), as well as a fixed device such as a PC or a home appliance with a display function. Additionally, as an example, the device may be a cluster within a vehicle or an Internet of Things (IoT) device. That is, in this specification, a device may refer to devices capable of operating an application, and is not limited to a specific type. In the following, for convenience of explanation, the device on which the application runs is referred to as a device.

본 명세서에 있어서 네트워크의 통신 방식은 제한되지 않으며, 각 구성요소간 연결이 동일한 네트워크 방식으로 연결되지 않을 수도 있다. 네트워크는, 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망, 위성망 등)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크는, 객체와 객체가 네트워킹 할 수 있는 모든 통신 방법을 포함할 수 있으며, 유선 통신, 무선 통신, 3G, 4G, 5G, 혹은 그 이외의 방법으로 제한되지 않는다. 예를 들어, 유선 및/또는 네트워크는 LAN(Local Area Network), MAN(Metropolitan Area Network), GSM(Global System for Mobile Network), EDGE(Enhanced Data GSM Environment), HSDPA(High Speed Downlink Packet Access), W-CDMA(Wideband Code Division Multiple Access), CDMA(Code Division Multiple Access), TDMA(Time Division Multiple Access), 블루투스(Bluetooth), 지그비(Zigbee), 와이-파이(Wi-Fi), VoIP(Voice over Internet Protocol), LTE Advanced, IEEE802.16m, WirelessMAN-Advanced, HSPA+, 3GPP Long Term Evolution (LTE), Mobile WiMAX (IEEE 802.16e), UMB (formerly EV-DO Rev. C), Flash-OFDM, iBurst and MBWA (IEEE 802.20) systems, HIPERMAN, Beam-Division Multiple Access (BDMA), Wi-MAX(World Interoperability for Microwave Access) 및 초음파 활용 통신으로 이루어진 군으로부터 선택되는 하나 이상의 통신 방법에 의한 통신 네트워크를 지칭할 수 있으나, 이에 한정되는 것은 아니다.In this specification, the network communication method is not limited, and connections between each component may not be connected through the same network method. The network may include not only a communication method using a communication network (for example, a mobile communication network, wired Internet, wireless Internet, broadcasting network, satellite network, etc.), but also short-range wireless communication between devices. For example, a network can include objects and any communication method through which they can network, and is not limited to wired communication, wireless communication, 3G, 4G, 5G, or other methods. For example, wired and/or networks include Local Area Network (LAN), Metropolitan Area Network (MAN), Global System for Mobile Network (GSM), Enhanced Data GSM Environment (EDGE), High Speed Downlink Packet Access (HSDPA), W-CDMA (Wideband Code Division Multiple Access), CDMA (Code Division Multiple Access), TDMA (Time Division Multiple Access), Bluetooth, Zigbee, Wi-Fi, VoIP (Voice over Internet Protocol), LTE Advanced, IEEE802.16m, WirelessMAN-Advanced, HSPA+, 3GPP Long Term Evolution (LTE), Mobile WiMAX (IEEE 802.16e), UMB (formerly EV-DO Rev. C), Flash-OFDM, iBurst and It may refer to a communication network using one or more communication methods selected from the group consisting of MBWA (IEEE 802.20) systems, HIPERMAN, Beam-Division Multiple Access (BDMA), Wi-MAX (World Interoperability for Microwave Access), and ultrasonic communication. However, it is not limited to this.

다양한 실시예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 실시예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 명세서의 실시예의 범위에 포함된다. 또한, 다양한 실시예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시예도 본 명세서의 실시예의 범위에 포함된다.Components described in various embodiments do not necessarily mean essential components, and some may be optional components. Accordingly, embodiments consisting of a subset of the elements described in the embodiments are also included in the scope of the embodiments of the present specification. In addition, embodiments that include other components in addition to the components described in the various embodiments are also included in the scope of the embodiments of the present specification.

이하에서, 도면을 참조하여 본 명세서의 실시예들에 대하여 상세히 살펴본다.Hereinafter, embodiments of the present specification will be examined in detail with reference to the drawings.

도 1은 본 명세서의 일실시예에 따른 시스템의 동작 환경의 예를 도시한 도면이다. 도 1을 참조하면 사용자 디바이스(110), 하나 이상의 서버(120, 130, 140)가 네트워크(1)를 통해 연결되어 있다. 이러한 도 1은 발명의 설명을 위한 일례로 사용자 디바이스의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다.1 is a diagram illustrating an example of the operating environment of a system according to an embodiment of the present specification. Referring to FIG. 1, a user device 110 and one or more servers 120, 130, and 140 are connected through a network 1. Figure 1 is an example for explaining the invention, and the number of user devices or servers is not limited as in Figure 1.

사용자 디바이스(110)는 컴퓨터 시스템으로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 사용자 디바이스(110)는 예를 들면, 스마트폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC, 게임 콘솔(game console), 웨어러블 디바이스(wearable device), IoT(internet of things) 디바이스, VR(virtual reality) 디바이스, AR(augmented reality) 디바이스 등이 있다. 일례로 실시예들에서 사용자 디바이스(110)는 실질적으로 무선 또는 유선 통신 방식을 이용하여 네트워크(1)를 통해 다른 서버들(120 - 140)과 통신할 수 있는 다양한 물리적인 컴퓨터 시스템들 중 하나를 의미할 수 있다.The user device 110 may be a fixed terminal implemented as a computer system or a mobile terminal. The user device 110 includes, for example, a smart phone, a mobile phone, a navigation device, a computer, a laptop, a digital broadcasting terminal, a Personal Digital Assistant (PDA), a Portable Multimedia Player (PMP), a tablet PC, or a game console. consoles, wearable devices, IoT (internet of things) devices, VR (virtual reality) devices, AR (augmented reality) devices, etc. For example, in embodiments, user device 110 may be one of a variety of physical computer systems capable of communicating with other servers 120 - 140 over network 1 using substantially wireless or wired communication methods. It can mean.

각 서버는 사용자 디바이스(110)와 네트워크(1)를 통해 통신하여 명령, 코드, 파일, 콘텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 서버는 네트워크(1)를 통해 접속한 사용자 디바이스(110)로 각각의 서비스를 제공하는 시스템일 수 있다. 보다 구체적인 예로, 서버는 사용자 디바이스(110)에 설치되어 구동되는 컴퓨터 프로그램으로서의 어플리케이션을 통해, 해당 어플리케이션이 목적하는 서비스(일례로, 정보 제공 등)를 사용자 디바이스(110)로 제공할 수 있다. 다른 예로, 서버는 상술한 어플리케이션의 설치 및 구동을 위한 파일을 사용자 디바이스(110)로 배포하고 사용자 입력 정보를 수신해 대응하는 서비스를 제공할 수 있다.Each server may be implemented as a computer device or a plurality of computer devices that communicate with the user device 110 and the network 1 to provide commands, codes, files, content, services, etc. For example, the server may be a system that provides each service to the user device 110 connected through the network 1. As a more specific example, the server may provide the user device 110 with a service (for example, information provision, etc.) targeted by the application through an application as a computer program installed and running on the user device 110. As another example, the server may distribute files for installing and running the above-described application to the user device 110, receive user input information, and provide a corresponding service.

도 2는 본 명세서의 일실시예에 있어서 컴퓨팅 장치(200)의 내부 구성을 설명하기 위한 블록도이다. 이러한 컴퓨팅 장치(200)는 도1을 참조하여 상술한 사용자 디바이스(110) 또는 서버(120-140)에 적용될 수 있으며, 각 장치와 서버들은 일부 구성요소를 더 하거나 제외하여 구성됨으로써 동일하거나 유사한 내부 구성을 가질 수 있다. Figure 2 is a block diagram for explaining the internal configuration of the computing device 200 in one embodiment of the present specification. This computing device 200 can be applied to the user device 110 or the server 120-140 described above with reference to FIG. 1, and each device and server is configured by adding or excluding some components to have the same or similar internal structure. It can have a configuration.

도 2를 참조하면 컴퓨팅 장치(200)는 메모리(210), 프로세서(220), 통신 모듈(230) 그리고 송수신부(240)를 포함할 수 있다. 메모리(210)는 비-일시적인 컴퓨터 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory) 등과 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM, SSD, 플래시 메모리, 디스크 드라이브 등과 같은 비소멸성 대용량 저장 장치는 메모리(210)와는 구분되는 별도의 영구 저장 장치로서 상술한 장치나 서버에 포함될 수도 있다. 또한, 메모리(210)에는 운영체제와 적어도 하나의 프로그램 코드(일례로 사용자 디바이스(110) 등에 설치되어 구동되는 브라우저나 특정 서비스의 제공을 위해 사용자 디바이스(110) 등에 설치된 어플리케이션 등을 위한 코드)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(210)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. Referring to FIG. 2 , the computing device 200 may include a memory 210, a processor 220, a communication module 230, and a transceiver 240. The memory 210 is a non-transitory computer-readable recording medium, and is a non-perishable large capacity device such as random access memory (RAM), read only memory (ROM), disk drive, solid state drive (SSD), flash memory, etc. It may include a permanent mass storage device. Here, non-perishable mass storage devices such as ROM, SSD, flash memory, disk drive, etc. may be included in the above-mentioned device or server as a separate persistent storage device that is distinct from the memory 210. In addition, the memory 210 stores an operating system and at least one program code (for example, code for a browser installed and running on the user device 110, etc., or an application installed on the user device 110 to provide a specific service, etc.). It can be. These software components may be loaded from a computer-readable recording medium separate from the memory 210. Such separate computer-readable recording media may include computer-readable recording media such as floppy drives, disks, tapes, DVD/CD-ROM drives, and memory cards.

다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 모듈(230)을 통해 메모리(210)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템(일례로, 상술한 서버)이 네트워크(1)를 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램(일례로 상술한 어플리케이션)에 기반하여 메모리(210)에 로딩될 수 있다.In another embodiment, software components may be loaded into the memory 210 through the communication module 230 rather than a computer-readable recording medium. For example, at least one program is a computer program (for example, installed by files provided through the network 1) by developers or a file distribution system (for example, the server described above) that distributes the installation file of the application. It may be loaded into the memory 210 based on the above-described application).

프로세서(220)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(210) 또는 통신 모듈(230)에 의해 프로세서(220)로 제공될 수 있다. 예를 들어 프로세서(220)는 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.The processor 220 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations. Commands may be provided to the processor 220 by the memory 210 or the communication module 230. For example, processor 220 may be configured to execute received instructions according to program code stored in a recording device such as memory 210.

통신 모듈(230)은 네트워크(1)를 통해 사용자 기기(110)와 서버(120 -140)가 서로 통신하기 위한 기능을 제공할 수 있으며, 장치(110) 및/또는 서버(120 - 140) 각각이 다른 전자 기기와 통신하기 위한 기능을 제공할 수 있다. The communication module 230 may provide a function for the user device 110 and the servers 120 - 140 to communicate with each other through the network 1, and the device 110 and/or the servers 120 - 140, respectively. This can provide functions for communicating with other electronic devices.

송수신부(240)는 외부 입력/출력장치(미도시)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 외부 입력장치는 키보드, 마우스, 마이크로폰, 카메라 등의 장치를, 그리고 외부 출력 장치는 디스플레이, 스피커, 햅틱 피드백 디바이스(haptic feedback device) 등과 같은 장치를 포함할 수 있다. The transceiver unit 240 may be a means for interfacing with an external input/output device (not shown). For example, external input devices may include devices such as a keyboard, mouse, microphone, and camera, and external output devices may include devices such as a display, speaker, and haptic feedback device.

다른 예로 송수신부(240)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. As another example, the transceiver 240 may be a means for interfacing with a device that integrates input and output functions, such as a touch screen.

또한, 다른 실시예들에서 컴퓨팅 장치(200)는 적용되는 장치의 성질에 따라서 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 예를 들어, 컴퓨팅 장치(200)가 사용자 디바이스(110)에 적용되는 경우 상술한 입출력 장치 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다. 보다 구체적인 예로, 사용자 디바이스가 스마트폰인 경우, 일반적으로 스마트폰이 포함하고 있는 가속도 센서나 자이로 센서, 카메라 모듈, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 더 포함되도록 구현될 수 있다.Additionally, in other embodiments, computing device 200 may include more components than those of FIG. 2 depending on the nature of the device to which it is applied. For example, when the computing device 200 is applied to the user device 110, it is implemented to include at least some of the above-described input/output devices, or a transceiver, a Global Positioning System (GPS) module, a camera, various sensors, It may further include other components such as a database, etc. As a more specific example, if the user device is a smartphone, the smartphone generally includes various devices such as acceleration sensors, gyro sensors, camera modules, various physical buttons, buttons using a touch panel, input/output ports, and vibrators for vibration. It can be implemented to include more components.

도 3은 본 발명의 실시 예에 따른 서비스 처리부 및 그 구성을 설명하기 위한 블록도이다.Figure 3 is a block diagram for explaining the service processing unit and its configuration according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시 예에 따른 컴퓨팅 장치(200)는, 서비스 처리부(250)를 더 포함할 수 있다. 서비스 처리부(250)는, 프로세서(220)에서 처리되는 로직 및 입출력 연산 중 본 발명의 실시 예에 따른 이미지의 객체 블러링 데이터 처리를 위한 다양한 서비스 프로세스를 수행하는 프로세서 모듈로 구성될 수 있다. 컴퓨팅 장치(200)는, 프로세서(220) 내부에 서비스 처리부(250)를 구성하거나, 서비스 처리부(250)가 외부 프로세서로 구비된 장치로부터 처리된 데이터를 이용하여 서비스 처리를 수행함으로써, 생성된 이미지의 객체 블러링 데이터를 사용자 디바이스(110) 또는 하나 이상의 서버(120, 130, 140)로 제공할 수 있다.Referring to FIG. 3, the computing device 200 according to an embodiment of the present invention may further include a service processing unit 250. The service processing unit 250 may be composed of a processor module that performs various service processes for processing object blurring data of an image according to an embodiment of the present invention among logic and input/output operations processed by the processor 220. The computing device 200 configures the service processing unit 250 inside the processor 220, or the service processing unit 250 performs service processing using data processed from a device equipped with an external processor, thereby creating an image. Object blurring data may be provided to the user device 110 or one or more servers 120, 130, and 140.

이러한 처리에 따라, 사용자 디바이스(110) 또는 하나 이상의 서버(120, 130, 140)는 본 발명의 실시 예에 따른 서비스 처리부(250) 동작에 의해 구성된 이미지의 객체 블러링 데이터를 제공받아 디스플레이 장치를 통해 출력하거나, 외부 네트워크를 통해 데이터를 송수신하는 데 이용할 수 있다.According to this processing, the user device 110 or one or more servers 120, 130, 140 receives the object blurring data of the image constructed by the operation of the service processing unit 250 according to an embodiment of the present invention and displays the display device. It can be used to output data or send and receive data through an external network.

보다 구체적으로, 도 3을 참조하면, 서비스 처리부(250)는 이미지 정보 획득부(251), 블러링 후보 영역 식별부(252), 화질 개선 보정부(253), 세부 객체 인식부(254), 사용자 인터페이스부(255) 및 객체 블러링 처리부(256)를 포함할 수 있으며, 이러한 각 처리부의 연계 동작을 통해 소셜 네트워크 서비스를 통해 공유되는 영상의 이미지별 개인 정보 객체 인식 또는 민감 객체 인식에 따른 블러링 프로세스를 수행할 수 있다. More specifically, referring to FIG. 3, the service processing unit 250 includes an image information acquisition unit 251, a blurring candidate area identification unit 252, an image quality improvement correction unit 253, a detailed object recognition unit 254, It may include a user interface unit 255 and an object blurring processing unit 256, and through the linked operation of each of these processing units, blurring according to personal information object recognition or sensitive object recognition for each image of a video shared through a social network service A ring process can be performed.

이를 위해, 서비스 처리부(250)는, 사용자 디바이스(110) 또는 하나 이상의 서버(120, 130, 140)를 통해, 소셜 네트워킹 서비스상에 공유되는 다양한 영상을 수집할 수 있으며, 수집된 영상으로부터 하나 이상의 원본 이미지를 획득하며, 상기 하나 이상의 원본 이미지로부터 개인 정보 또는 민감 정보를 포함하는 하나 이상의 블러링 후보 영역을 검출할 수 있다.To this end, the service processing unit 250 may collect various images shared on a social networking service through the user device 110 or one or more servers 120, 130, and 140, and may collect one or more images from the collected images. An original image may be acquired, and one or more blurring candidate areas containing personal information or sensitive information may be detected from the one or more original images.

여기서, 개인 정보는 이미지로부터 사람 또는 기계 인식 가능한 텍스트 정보, 얼굴 정보, 지문 정보, 홍채 정보 등이 예시될 수 있으며, 민감 정보는 사용자가 공유를 원하지 않거나 제3자에게 공유되는 것이 적합하지 않은 정보로서, 사생활, 범죄, 욕설, 신체 노출 및 기타 공유에 부적절한 정보들이 예시될 수 있다. 즉 블러링 후보 영역은 사람에 제한되는 것은 아니라 동물 또는 사물 등 다양한 형태의 표현형태일 수 있다.Here, personal information may include text information that can be recognized by a person or machine from an image, face information, fingerprint information, iris information, etc., and sensitive information is information that the user does not want to share or that is not appropriate to be shared with a third party. Examples include privacy, crime, profanity, body exposure, and other information that is inappropriate for sharing. In other words, candidate areas for blurring are not limited to humans but can be various types of phenotypes such as animals or objects.

그리고, 서비스 처리부(250)는, 상기 블러링 후보 영역이 검출된 경우, 상기 원본 이미지에 대응하는 화질 개선 보정을 처리하며, 상기 화질 개선 보정 처리된 블러링 후보 영역별 세부 객체 인식을 수행할 수 있는 바, 상기 세부 객체 인식에 대응하는 사용자 인터페이스 입력 정보에 기초하여, 상기 블러링 후보 영역 중 선택된 영역에 대한 객체 블러링을 처리할 수 있다.In addition, when the blurring candidate area is detected, the service processing unit 250 processes image quality improvement correction corresponding to the original image and performs detailed object recognition for each blurring candidate area that has undergone image quality improvement correction. As such, object blurring for a selected area among the blurring candidate areas may be processed based on user interface input information corresponding to the detailed object recognition.

여기서, 객체 블러링은 영상 내 특정 객체가 식별되지 않도록 제거하는 방식으로서, 사용자 인터페이스 입력에 따라 그 대상 및 방식이 개별적으로 설정될 수 있다. 이러한 블러링(BLURRING) 기반 개인 정보나 민감 정보를 제거하는 방식은 블러링 영역의 부분 이미지에 대한 선명도를 크게 낮추어 흐릿하게 처리하거나 다른 문자 또는 이미지를 오버랩하여 표시하는 방식으로서, 영상의 미관을 해치지 않으면서도 개인 정보와 민감 정보 등이 제거될 수 있어 소셜 네트워킹 서비스에 바람직한 개인 정보와 민감 정보 제거방식으로 이용될 수 있다. 여기서 블러링 대상 객체에 오버랩되는 다른 문자 또는 이미지는 블러링 대상 객체의 색상, 종류, 형태에 따라서 결정되거나, 사용자가 직접 선택하도록 제공될 수도 있다.Here, object blurring is a method of removing a specific object in an image so that it cannot be identified, and the object and method can be individually set according to user interface input. This BLURRING-based method of removing personal or sensitive information significantly lowers the clarity of the partial image in the blurring area, making it blurry or displaying it by overlapping other characters or images, without damaging the aesthetics of the image. Since personal information and sensitive information can be removed without removing personal information, it can be used as a desirable method of removing personal information and sensitive information in social networking services. Here, other characters or images that overlap the blurring target object may be determined according to the color, type, and shape of the blurring target object, or may be provided for the user to directly select.

이러한 객체 블러링 처리된 이미지는, 소셜 네트워크 서비스를 통해 상기 원본 이미지를 대체하는 블러링된 이미지로서 대체 공유되도록 이용될 수 있는 바, 이를 위해, 프로세서(220)는 상기 이미지를 외부 장치, 네트워크 등으로 출력할 수 있다.This object-blurred image can be used to be shared as a blurred image that replaces the original image through a social network service. For this purpose, the processor 220 sends the image to an external device, network, etc. It can be output as .

이에 따라, 앞서 설명한 바와 같은 종래기술의 문제점에 따른 영상 이미지의 인식 정확도를 개선할 수 있으며, 사용자 인터페이스를 제공하여 객체 블러링에 대한 사용자 편의성을 향상시킬 수 있다.Accordingly, the recognition accuracy of video images according to the problems of the prior art as described above can be improved, and user convenience regarding object blurring can be improved by providing a user interface.

하기에서는, 이러한 일련의 처리를 각 처리부의 구성 및 동작을 통해 보다 구체적으로 설명하고자 한다.In the following, this series of processing will be explained in more detail through the configuration and operation of each processing unit.

먼저, 이미지 정보 획득부(251)는, 소셜 네트워킹 서비스상에 공유되는 영상으로부터 하나 이상의 원본 이미지를 획득한다.First, the image information acquisition unit 251 acquires one or more original images from images shared on a social networking service.

여기서, 상기 소셜 네트워킹 서비스상에 공유되는 영상은, 다양한 영상 정보 기반의 서비스 제공을 위해 공유되는 이벤트별 영상 데이터를 포함하며, 각 이벤트에 따른 영상 공유, 실시간 방송, 영상 기반 질의 응답 서비스, 영상 통화 등, 영상을 이용하여 커뮤니케이션을 수행하는 다양한 어플리케이션 데이터에 포함될 수 있다.Here, the video shared on the social networking service includes video data for each event shared to provide various video information-based services, including video sharing, real-time broadcasting, video-based question and answer service, and video call according to each event. etc., can be included in various application data that performs communication using video.

이에 따라, 이미지 정보 획득부(251)는 이러한 소셜 네트워킹 서비스상의 공유 데이터 또는 사용자 디바이스(110)의 처리 데이터로부터 소셜 네트워킹 서비스상에 공유되는 영상 데이터를 획득하고, 획득된 영상으로부터 하나 이상의 원본 이미지를 획득할 수 있다.Accordingly, the image information acquisition unit 251 acquires image data shared on the social networking service from the shared data on the social networking service or the processed data of the user device 110, and creates one or more original images from the acquired image. It can be obtained.

그리고, 블러링 후보 영역 식별부(252)는, 상기 하나 이상의 이미지로부터 개인 정보 또는 민감 정보를 포함하는 하나 이상의 블러링 후보 영역을 검출한다.Then, the blurring candidate area identification unit 252 detects one or more blurring candidate areas containing personal information or sensitive information from the one or more images.

보다 구체적으로, 블러링 후보 영역 식별부(252)는, 학습 이미지에 대응하여, 개인 정보 또는 민감 정보의 각 영역별 카테고리가 기계학습 처리된 제1 인공지능 학습 모델을 이용하여, 상기 블러링 후보 영역을 검출할 수 있다.More specifically, the blurring candidate area identification unit 252 uses a first artificial intelligence learning model in which categories for each area of personal information or sensitive information are machine learned in response to the learning image, and identifies the blurring candidate. The area can be detected.

이러한 제1 인공지능 학습 모델의 기계학습 처리 방식은, 예를 들어 컨볼루션 신경망(Convolutional Neural Network, CNN)을 활용하여 이미지 내에서 개인 정보 및 민감 정보를 검출하는 방식이 예시될 수 있다. 다만, 블러링 후보 영역 식별부(252)는, 후술할 세부 객체 인식부(254)에서의 세부적 객체 인식 처리와는 상이하게, 개인 정보 또는 민감 정보의 존재 가능성 및 예측을 통해, 블러링 후보 영역만을 판별하여도 무방한 바, 이는 실시간 처리를 위한 연산과정을 단축시킬 수 있다.The machine learning processing method of this first artificial intelligence learning model may be, for example, a method of detecting personal information and sensitive information in an image using a convolutional neural network (CNN). However, unlike the detailed object recognition processing in the detailed object recognition unit 254, which will be described later, the blurring candidate area identification unit 252 identifies the blurring candidate area through the possibility and prediction of the presence of personal information or sensitive information. It is okay to only determine the number, which can shorten the calculation process for real-time processing.

또한, 이러한 블러링 후보 영역 식별부(252)는, 특정 이벤트에 대응하는 영상의 적어도 일부의 프레임 이미지에 대응하여, 블러링 후보 영역을 검출할 수 있다. 예를 들어, 블러링 후보 영역 식별부(252)는, 제1 인공지능 학습 모델을 이용하여, 영상 내 특정 이미지에서 개인 정보가 식별가능한 사람이 존재하는 경우, 사람의 피부색인 객체가 소정의 면적 또는 형태(예를 들어, 욕설, 신체 노출 등)를 가지는 것이 존재하는 경우, 신분증 또는 그와 유사한 객체가 존재하는 경우 등을 식별하고, 이에 따른 블러링 후보 영역을 검출할 수 있다.Additionally, the blurring candidate area identification unit 252 may detect a blurring candidate area in response to at least some frame images of an image corresponding to a specific event. For example, the blurring candidate area identification unit 252 uses the first artificial intelligence learning model to identify a person whose personal information can be identified in a specific image in the video, by dividing the object with the person's skin color into a predetermined area. Alternatively, if something with a form (e.g., profanity, body exposure, etc.) exists, or if an ID card or similar object exists, etc. can be identified, and a blurring candidate area can be detected accordingly.

이후, 화질 개선 보정부(253)는, 블러링 후보 영역이 검출된 원본 이미지에 대응하여, 화질 개선 보정 처리를 수행한다.Thereafter, the image quality improvement correction unit 253 performs image quality improvement correction processing in response to the original image in which the blurring candidate area was detected.

여기서, 화질 개선 보정 처리는, 블러링 후보 영역에 대응하는 객체 인식의 정확도를 향상시키기 위한 기술로서, 인공지능 기반의 디블러링 생성 모델 기반 화질 개선 기술이 이용될 수 있다.Here, the image quality improvement correction processing is a technique for improving the accuracy of object recognition corresponding to the blurring candidate area, and an artificial intelligence-based deblurring generation model-based image quality improvement technique may be used.

이러한 디블러링 생성 모델은, 예를 들어 알려진 DeblurGAN 네트워크 기반의 경쟁적 생성적 신경망(Generative Adversarial Network, GAN)을 활용하여 구현될 수 있다. DeblurGAN은 GAN 기반의 디블러링 생성 모델로 구현되며, 훼손 이미지를 복원하는 모델과, 복원된 이미지가 원본 학습 이미지와 상이한지 판별하는 모델을 경쟁적으로 학습시킴에 따라, 원본 이미지보다도 더 선명한 이미지를 예측하게 함에 따른 화질 개선된 이미지를 생성하게 한다.This deblurring generative model can be implemented using, for example, a generative adversarial network (GAN) based on the known DeblurGAN network. DeblurGAN is implemented as a GAN-based deblurring generation model. It competitively trains a model to restore damaged images and a model to determine whether the restored image is different from the original training image, producing images that are clearer than the original image. By making predictions, images with improved quality are generated.

이와 같이 화질 개선 보정 처리된 이미지는, 본 발명의 실시 예에 따른 블러링 후보 영역의 객체 인식 정확도를 향상시킬 수 있게 된다.The image that has been subjected to image quality improvement correction in this way can improve object recognition accuracy in the blurring candidate area according to an embodiment of the present invention.

이에 따라, 세부 객체 인식부(254)는, 상기 화질 개선 보정 처리된 블러링 후보 영역별 세부 객체 인식을 수행한다.Accordingly, the detailed object recognition unit 254 performs detailed object recognition for each blurring candidate area that has undergone the image quality improvement correction.

여기서, 도 4는 본 발명의 실시 예에 따른 세부 객체 인식부를 보다 구체적으로 도시한 블록도로서, 도 4를 참조하면, 세부 객체 인식부(254)는, 상기 화질 개선 보정 처리된 블러링 후보 영역의 카테고리를 식별하고, 상기 카테고리에 대응하는 이미지 객체 인식용 기계학습이 독립적으로 개별 처리된, 카테고리별 이미지 객체 인식용 인공지능 학습 모델을 이용하여, 상기 블러링 후보 영역 별 세부 객체 인식을 각각 수행할 수 있다.Here, FIG. 4 is a block diagram illustrating in more detail a detailed object recognition unit according to an embodiment of the present invention. Referring to FIG. 4, the detailed object recognition unit 254 selects the blurring candidate area that has undergone the image quality improvement correction. Identify the categories, and perform detailed object recognition for each blurring candidate area using an artificial intelligence learning model for image object recognition for each category, in which machine learning for image object recognition corresponding to the category is independently and individually processed. can do.

이를 위해, 세부 객체 인식부(254)는, 텍스트 인식부(2541), 얼굴 인식부(2542), 민감 객체 인식부(2543)를 포함할 수 있으며, 또다른 카테고리별 객체 인식용 기계학습 모델들이 추가적으로 더 포함될 수도 있다.To this end, the detailed object recognition unit 254 may include a text recognition unit 2541, a face recognition unit 2542, and a sensitive object recognition unit 2543, and machine learning models for object recognition for each category may be used. Additional information may be included.

이러한 세부 객체 인식부(254)는, 전술한 제1 인공지능 학습 모델보다는 각 세부 영역별 인식된 객체의 예측 정확도가 임계치 이상으로 학습된 카테고리별 인식 모델들을 이용하여, 각각의 객체 인식을 처리할 수 있다.This detailed object recognition unit 254 processes each object recognition using category-specific recognition models in which the prediction accuracy of the recognized object in each detailed area has been learned to be higher than the threshold rather than the above-described first artificial intelligence learning model. You can.

보다 구체적으로, 텍스트 인식부(2541)는 화질 개선 보정된 이미지로부터, 텍스트 기반의 객체 인식을 개별적으로 수행할 수 있는 CRNN 기반의 인공지능 학습 모델을 이용하여, 개인 정보 또는 민감 정보가 포함된 텍스트 객체 인식을 수행할 수 있다. 이러한 학습 모델의 경우, Baseline model로서 속도가 빠르고, 사용되는 computing power에 비해 정확도가 높은 것으로 알려진 None-VGG-BiLSTM-CTC 알고리즘이 사용되는 것이 바람직할 수 있다.More specifically, the text recognition unit 2541 uses a CRNN-based artificial intelligence learning model that can individually perform text-based object recognition from images corrected to improve image quality, and uses text containing personal information or sensitive information. Object recognition can be performed. In the case of such a learning model, it may be desirable to use the None-VGG-BiLSTM-CTC algorithm, which is known to be fast as a baseline model and has high accuracy compared to the computing power used.

또한, 텍스트 인식부(2541)의 학습 모델은 특정 언어별 손글씨 학습 데이터나 문서 인식을 위한 공공기관 OCR 인식 데이터 등을 이용하여, 텍스트 인식 정확도를 향상시키도록 사전 학습 처리될 수 있다.Additionally, the learning model of the text recognition unit 2541 may be pre-trained to improve text recognition accuracy using handwriting learning data for a specific language or public institution OCR recognition data for document recognition.

한편, 얼굴 인식부(2542)는, 보다 구체적으로, 화질 개선 보정된 이미지로부터, 얼굴 이미지 기반의 객체 인식을 개별적으로 수행할 수 있는 인공지능 학습 모델을 이용하여, 개인 정보가 포함된 얼굴 객체 인식을 수행할 수 있다.Meanwhile, the face recognition unit 2542, more specifically, recognizes face objects containing personal information using an artificial intelligence learning model that can individually perform object recognition based on face images from images corrected to improve image quality. can be performed.

이러한 얼굴 인식은 딥러닝 기반의 신경망 중 하나인 MTCNN(Multi-task Cascaded Convolutional Networks)과 같은 알고리즘 등을 활용하여 구현될 수 있는 바, 다단계적인 접근 방식으로 얼굴을 탐지하고 랜드마크를 추출하여 개별적인 얼굴 이미지를 인식하며, 이를 통해 화질 개선 보정이 이루어진 이미지 내의 얼굴 영역에서 개인 정보가 포함된 얼굴 객체를 효과적으로 인식할 수 있다.Such face recognition can be implemented using algorithms such as MTCNN (Multi-task Cascaded Convolutional Networks), which is one of the deep learning-based neural networks. It detects faces using a multi-step approach and extracts landmarks to identify individual faces. The image is recognized, and through this, facial objects containing personal information can be effectively recognized in the facial area within the image where image quality improvement correction has been made.

그리고, 민감 객체 인식부(2543)는, 텍스트 또는 얼굴의 개인 정보와는 상이한 기타 민감 객체를 인식하게 위한 카테고리별 학습이 사전 처리된 인공지능 학습 모델을 이용하여, 이미지상의 민감 정보가 포함된 객체 인식을 수행할 수 있다. 여기서, 이미지상의 민감 정보는 예를 들어, 전술한 바와 같은 신체 노출, 욕설 행위, 범죄 행위 등과 같은 이미지 기반 부적절한 정보가 예시될 수 있다. 이러한 민감 객체 인식 학습을 위해 CNN 기반의 민감 객체 인식용 학습 모델 등이 민감 객체 카테고리별로 사전 구축될 수 있다.In addition, the sensitive object recognition unit 2543 uses an artificial intelligence learning model with pre-processed category-specific learning to recognize other sensitive objects that are different from the personal information of text or face, and uses an artificial intelligence learning model to recognize sensitive objects containing sensitive information in images. Recognition can be performed. Here, the sensitive information on the image may be, for example, image-based inappropriate information such as body exposure, profanity, criminal activity, etc. as described above. To learn such sensitive object recognition, a CNN-based learning model for sensitive object recognition can be pre-built for each sensitive object category.

한편, 다시 도 3을 참조하면, 사용자 인터페이스부(255)는, 상기 세부 객체 인식에 대응하는 객체별 블러 여부 및 블러링 타입을 결정할 수 있는 사용자 인터페이스를 생성하여 출력한다.Meanwhile, referring again to FIG. 3, the user interface unit 255 generates and outputs a user interface that can determine whether there is blur and a blurring type for each object corresponding to the detailed object recognition.

여기서, 사용자 인터페이스는 사용자 디바이스(110) 또는 하나 이상의 서버(120, 130, 140)의 출력장치를 통해 출력될 수 있으며, 그래픽 사용자 인터페이스의 포맷을 가질 수 있는 바, 사용자는 시각적으로 표시된 사용자 인터페이스에 대응하는 사용자 입력 정보를 사용자 디바이스(110) 또는 하나 이상의 서버(120, 130, 140)를 통해 입력할 수 있다.Here, the user interface may be output through the output device of the user device 110 or one or more servers 120, 130, and 140, and may have the format of a graphical user interface, and the user may use the visually displayed user interface. Corresponding user input information may be input through the user device 110 or one or more servers 120, 130, and 140.

이러한 사용자 인터페이스는, 상기 블러링 후보 영역 중 선택된 영역에 대한 객체 블러링을 처리하기 위한 선택 정보를 입력받기 위해 구성될 수 있으며, 이를 위한 세부 객체 인식 정보를 식별하여, 사용자 인터페이스의 화면 구성을 조정할 수 있다.This user interface can be configured to receive selection information for processing object blurring for a selected area among the blurring candidate areas, identify detailed object recognition information for this, and adjust the screen configuration of the user interface. You can.

보다 구체적으로, 사용자 인터페이스부(255)는, 상기 세부 객체 인식에 대응하는 하나 이상의 섬네일(Thumbnail) 이미지를 생성할 수 있으며, 상기 섬네일 이미지를 포함하는 상기 사용자 인터페이스를 출력하고, 상기 사용자 인터페이스에 대응하는 사용자 선택 입력에 따라, 블러링 대상 객체를 선택할 수 있다.More specifically, the user interface unit 255 may generate one or more thumbnail images corresponding to the detailed object recognition, output the user interface including the thumbnail image, and correspond to the user interface. Depending on the user's selection input, the object to be blurred can be selected.

또한, 사용자 인터페이스부(255)는, 상기 사용자 인터페이스에 대응하는 사용자 입력에 따라, 블러링 대상 객체별 블러링 타입을 결정할 수 있으며, 상기 객체별 블러링 타입은, 객체 내 블러 영역의 형태, 크기, 블러 방식 중 적어도 하나를 상이하게 설정하는 설정 정보를 포함할 수 있다.In addition, the user interface unit 255 may determine the blurring type for each object to be blurred according to the user input corresponding to the user interface, and the blurring type for each object is determined by the shape and size of the blur area within the object. , may include setting information for setting at least one of the blur methods differently.

이와 같은 사용자 인터페이스부(255)의 처리를 통해, 블러링 후보 영역에 대응하는 블러링 대상 객체가 선택될 수 있으며, 각 블러링 대상 객체별 블러링 타입 정보가 설정될 수 있다.Through this processing of the user interface unit 255, a blurring target object corresponding to the blurring candidate area can be selected, and blurring type information for each blurring target object can be set.

그리고, 객체 블러링 처리부(256)는, 선택된 블러링 대상 객체에 대응하여, 블러링 대상 객체별 블러링 타입 정보에 따른 블러링 처리를 선택적으로 수행한다.Additionally, the object blurring processing unit 256 selectively performs blurring processing according to blurring type information for each blurring target object, corresponding to the selected blurring target object.

여기서, 블러링 처리는, 개인 정보 또는 민감 정보를 제거하기 위한 다양한 블러링 처리 방식이 예시될 수 있다. 예를 들어, 가우시안 블러(Gaussian Blur)와 같은 전통적인 블러링 방법을 활용하여 이미지의 특정 영역을 흐리게 처리할 수 있다. 또한, 픽셀화(pixelization) 등의 방식을 통해 이미지 내의 세부 정보를 모자이크 처리하여 개인 정보나 민감 정보를 제거할 수도 있다. 또는 움직임 블러(motion blur)를 적용하여 이미지에 동적인 효과를 주면서 동시에 민감한 정보를 숨길 수도 있다. 더 나아가, 딥러닝을 활용한 블러링 기술로서 pix2pix와 같은 모델을 이용하여 개인 정보를 효과적으로 블러 처리할 수 있는 방식도 활용될 수 있다. 본 발명의 실시 예에 따르면, 이러한 다양한 블러링 처리 방식은 제한되지 않으며, 이미지 내의 개인 정보 또는 민감 정보를 제거하기 위한 다양한 방식들이 이용될 수 있다.Here, blurring processing may include various blurring processing methods for removing personal information or sensitive information. For example, you can blur specific areas of an image using traditional blurring methods such as Gaussian Blur. Additionally, personal or sensitive information can be removed by mosaicizing detailed information in the image through methods such as pixelization. Alternatively, you can apply motion blur to give a dynamic effect to the image while hiding sensitive information. Furthermore, a method of effectively blurring personal information using a model such as pix2pix can also be used as a blurring technology using deep learning. According to an embodiment of the present invention, these various blurring processing methods are not limited, and various methods for removing personal information or sensitive information in an image can be used.

그리고, 객체 블러링 처리부(256)는, 객체 블러링 처리된 이미지를 상기 원본 이미지를 대체하는 이미지로서, 상기 소셜 네트워킹 서비스를 통해 공유되도록 처리할 수 있다. 예를 들어, 객체 블러링 처리부(256)에서 처리된 이미지는 원본 이미지가 공유되기 이전에 상기 원본 이미지를 획득하여, 개인 정보와 민감 정보가 사전 필터링된 이미지로서 상기 객체 블러링 처리된 이미지가 대체 공유되도록 처리할 수 있다.Additionally, the object blurring processing unit 256 may process the object blurred image to be shared through the social networking service as an image replacing the original image. For example, the image processed in the object blurring processing unit 256 obtains the original image before it is shared, and the object blurred image is replaced with an image in which personal information and sensitive information have been pre-filtered. It can be processed to be shared.

이에 따라, 블러링 후보 영역에 대응하는 선택적 객체 블러링이 신속하게 처리될 수 있는 바, 보다 정확하면서도 실시간적인 개인 정보 및 민감 정보의 인공지능 기반 블러링 처리를 수행하는 실시간 소셜 네트워킹 서비스를 용이하게 제공할 수 있으며, 사용자 인터페이스의 사용자 입력에 따라 블러링 영역 선택 또는 인식된 객체의 블러링이 처리되도록 제공함으로써, 인공지능 처리 과정에 대한 사용자의 의도에 따른 개인 정보 또는 민감 정보의 선택적 블러링 컨트롤도 용이하게 이루어지게 된다.Accordingly, selective object blurring corresponding to the blurring candidate area can be processed quickly, facilitating a real-time social networking service that performs more accurate and real-time artificial intelligence-based blurring processing of personal and sensitive information. It can provide selective blurring control of personal information or sensitive information according to the user's intention for the artificial intelligence processing process by providing blurring area selection or blurring of recognized objects according to user input in the user interface. It can also be easily accomplished.

도 5 및 도 6은 본 발명의 실시 예에 따라 블러링 처리된 이미지 및 인식 결과를 예시하기 위한 도면들이다.Figures 5 and 6 are diagrams illustrating blurred images and recognition results according to an embodiment of the present invention.

도 5를 참조하면, 도 5는 본 발명의 실시 예에 따라 소셜 네트워킹 서비스를 통해 공유될 영상의 원본 이미지상에서 검출된 블러링 후보 영역 중 선택된 영역들(201)에 대응하는 객체 블러링이 처리된 이미지가, 대체 이미지로서 공유되는 공유 화면을 예시한다. 예를 들어, 도 5에 도시된 바와 같이, 컴퓨팅 장치(200)는, 소셜 네트워크 서비스상에서 얼굴 정보 등의 개인 정보가 노출되는 것을 사용자 선택에 따라 미리 설정하게 할 수 있는 바, 이에 따른 객체 블러링이 실시간으로 처리되고, 처리된 이미지가 원본 이미지를 대체하여 상기 소셜 네트워크 서비스상에서 공유될 수 있게 된다.Referring to FIG. 5, FIG. 5 shows object blurring corresponding to selected areas 201 among the blurring candidate areas detected on the original image of the video to be shared through a social networking service according to an embodiment of the present invention. This illustrates a shared screen where an image is shared as a replacement image. For example, as shown in FIG. 5, the computing device 200 can preset exposure of personal information such as face information on a social network service according to user selection, and object blurring accordingly. This is processed in real time, and the processed image replaces the original image and can be shared on the social networking service.

한편, 도 6은 종래 기술과 비교한 인식 정확도 및 결과를 예시한 것으로, 도 6(A)를 참조하면, 종래 기술에서의 영상 내 객체 인식 기술의 경우, 특히 이미지의 모션 효과 등으로 인해 인식률이 50%, 30% 정도로 낮은 결과를 나타내는 바, 실시간 인식이나 소셜 네트워킹 서비스 제공에는 현실적으로 부적합한 문제점을 가지고 있다.Meanwhile, Figure 6 illustrates the recognition accuracy and results compared to the prior art. Referring to Figure 6(A), in the case of the object recognition technology in the image in the prior art, the recognition rate is particularly low due to the motion effect of the image. It shows results as low as 50% or 30%, which makes it realistically unsuitable for providing real-time recognition or social networking services.

이에 반해, 도 6(B)를 참조하면, 본 발명의 실시 예에 따른 컴퓨팅 장치(200)는, 인공지능 알고리즘을 기반으로, 화질이 개선 보정된 이미지를 이용해 카테고리별 세부 객체 인식을 수행하는 바, 보다 정확한 사람 이미지 등에 대한 인식률을 69% 등으로 향상시킬 수 있으며, 나아가 종래기술에서는 인식하지 못하였던 객체 등도 추가로 인식할 수 있고, 이에 대한 사용자의 선택에 따른 선택적 객체 인식을 지원할 수 있으므로, 서비스 활용도를 높일 수 있는 장점이 있다.On the other hand, referring to FIG. 6(B), the computing device 200 according to an embodiment of the present invention performs detailed object recognition by category using images whose image quality has been improved and corrected based on an artificial intelligence algorithm. , the recognition rate for more accurate human images, etc. can be improved to 69%, and furthermore, objects that were not recognized in the prior art can be additionally recognized, and selective object recognition according to the user's selection can be supported, It has the advantage of increasing service utilization.

한편, 도 7 및 도 8은 본 발명의 실시 예에 따른 사용자 인터페이스 및 그 동작을 설명하기 위한 예시도이다.Meanwhile, Figures 7 and 8 are illustrative diagrams for explaining the user interface and its operation according to an embodiment of the present invention.

먼저, 도 7을 참조하면, 본 발명의 실시 예에 따른 사용자 인터페이스부(255)는, 도 7(A)와 같은 원본 이미지 또는 화질 개선된 이미지에 대응하여, 도 7(B)와 같이 세부 인식된 객체 정보별 선택적 객체 블러링을 처리할 수 있는 블러링 인터페이스(202)를 포함하는 사용자 인터페이스를 화면 데이터로 구성하고, 사용자 디바이스(110) 또는 하나 이상의 서버(120, 130, 140)를 통해 이를 출력할 수 있다.First, referring to FIG. 7, the user interface unit 255 according to an embodiment of the present invention performs detailed recognition as in FIG. 7(B) in response to the original image or image with improved quality as shown in FIG. 7(A). A user interface including a blurring interface 202 capable of processing selective object blurring for each object information is configured with screen data, and is displayed through the user device 110 or one or more servers 120, 130, and 140. Can be printed.

보다 구체적으로, 도 7(B)에 도시된 바와 같이, 블러링 인터페이스(202)는, 상기 사용자 인터페이스에 대응하는 사용자 입력에 따라, 블러링 대상 객체별 블러링 타입을 결정할 수 있는 화면 인터페이스 구성을 포함할 수 있다. 예를 들어, 블러링 인터페이스(202)는 블러링 여부 또는 블러링 방식을 선택적으로 입력할 수 있도록 구성되는 바, 얼굴 이미지의 개인 정보에 따라 인식된 제1 객체, 제2 객체, 제3 객체에 대응하는 섬네일(Thumbnail) 이미지가 각각 표시될 수 있다.More specifically, as shown in FIG. 7(B), the blurring interface 202 has a screen interface configuration that can determine the blurring type for each object to be blurred according to the user input corresponding to the user interface. It can be included. For example, the blurring interface 202 is configured to selectively input blurring or a blurring method, and is configured to selectively input blurring to the first, second, and third objects recognized according to the personal information of the face image. Corresponding thumbnail images may be displayed, respectively.

또한, 사용자 인터페이스는, 표시된 섬네일 이미지에 대응하는 사용자 입력에 따라 각각의 부분 블러 설정(블러 강도, 블러 범위, 블러 위치 등), 전부 블러 설정 또는 블러링 미적용 설정 등이 선택 입력되도록 하는 그래픽 인터페이스를 포함할 수 있다. 이러한 그래픽 인터페이스는 예를 들어, 버튼 기반 입력 인터페이스 또는 터치 기반 입력 인터페이스 등이 예시될 수 있다.In addition, the user interface is a graphical interface that allows selection of partial blur settings (blur intensity, blur range, blur position, etc.), full blur settings, or non-blurring settings according to user input corresponding to the displayed thumbnail image. It can be included. Such a graphic interface may be, for example, a button-based input interface or a touch-based input interface.

따라서, 상기 객체별 블러링 타입은, 블러링 인터페이스(202) 입력에 따라 결정되는 객체 내 블러 영역의 형태, 크기, 블러 방식 중 적어도 하나를 상이하게 설정하는 설정 정보로서 구성될 수 있다.Accordingly, the blurring type for each object may be configured as setting information that differently sets at least one of the shape, size, and blur method of the blur area within the object determined according to the input of the blurring interface 202.

이에 따라, 객체 블러링 처리부(256)는, 도 7(B)와 같이 각 결정된 블러링 대상 객체별 블러링 타입에 따른 객체 블러링을 각각 처리할 수 있다.Accordingly, the object blurring processing unit 256 can process object blurring according to the blurring type for each determined blurring target object, as shown in FIG. 7(B).

한편, 도 8은 본 발명의 실시 예에 따른 블러링 처리를 위한 사용자 인터페이스의 다른 일 예로서, 상기 사용자 인터페이스는, 상기 블러링 대상 객체별 블러링 처리 여부를 선택할 수 있는 그래픽 토글(TOGGLE) 스위치 인터페이스를 포함할 수 있다.Meanwhile, Figure 8 is another example of a user interface for blurring processing according to an embodiment of the present invention, and the user interface includes a graphic toggle (TOGGLE) switch that can select whether to perform blurring processing for each object to be blurred. May contain interfaces.

도 8에 도시된 바와 같이, 그래픽 토글(TOGGLE) 스위치 인터페이스는, 세부 객체 인식부(254)의 세부 객체 인식 정보의 카테고리에 따라 선택적으로 구성될 수 있다.As shown in FIG. 8, the graphic toggle (TOGGLE) switch interface can be selectively configured according to the category of detailed object recognition information of the detailed object recognition unit 254.

예를 들어, 도 8에서는 영상의 이미지로부터 인식되는 세부 객체 인식 정보의 인식 대상 카테고리로서, 사람 또는 글자가 선택적으로 설정될 수 있도록 하는 카테고리 설정 인터페이스(203)가 상단에 출력될 수 있음이 도시되어 있다.For example, in Figure 8, it is shown that a category setting interface 203 that allows people or letters to be selectively set as a recognition target category of detailed object recognition information recognized from a video image can be output at the top. there is.

또한, 도 8을 참조하면 본 발명의 실시 예에 따른 블러링 처리를 위한 사용자 인터페이스에는, 각 선택된 카테고리별 인식 객체에 대응하여, 그래픽 토글(TOGGLE) 스위치 인터페이스(204)가 표시될 수 있는 바, 온(ON) 또는 오프(OFF) 설정 가능한 그래픽 스위치 인터페이스의 형태로 구성되는 것이 예시될 수 있다.In addition, referring to FIG. 8, in the user interface for blurring processing according to an embodiment of the present invention, a graphic toggle switch interface 204 may be displayed corresponding to the recognition object for each selected category, For example, it may be configured in the form of a graphic switch interface that can be set to ON or OFF.

이에 따라, 사용자는 편리하게 자신이 원하는 방식으로 인공지능 기반으로 인식된 객체별 블러링 대상과 타입을 조정할 수 있으며, 이러한 설정 정보는 각 영상 이벤트에 따라 미리 설정될 수도 있으며, 실시간으로 변경 설정될 수도 있다.Accordingly, users can conveniently adjust the blurring target and type for each object recognized based on artificial intelligence in the way they want, and this setting information can be set in advance according to each video event, and can be changed in real time. It may be possible.

특히, 상기 소셜 네트워킹 서비스상에 공유되는 제1 영상이 실시간 프레임 이미지를 포함하는 실시간 방송 또는 영상 통화 등에 해당하는 경우, 사용자가 별도로 추가 입력하지 않는 한 객체 블러링 처리부(256)는, 상기 실시간 프레임 이미지 중 획득된 제1 이미지에 대응하여 설정된 블러링 대상 객체별 블러링 타입을, 이후 획득되는 하나 이상의 제2 이미지에 대응하여도 동일하게 적용하여 객체 블러링을 처리할 수 있다.In particular, if the first video shared on the social networking service corresponds to a real-time broadcast or video call including a real-time frame image, the object blurring processor 256 will Object blurring can be processed by equally applying the blurring type for each object to be blurred, which is set to correspond to the first image acquired among the images, to one or more second images acquired later.

이와 같은 처리에 따라, 블러링 대상 객체별 블러링 타입이 설정되면, 일정 시간 동안 연속하여 공유되는 프레임 이미지상에서 블러링 처리되어 있다가 없어진 객체가, 다시 등장하는 경우에도 다시 사전 설정된 블러링 타입에 따른 블러 처리가 적용될 수 있게 된다. According to this processing, when the blurring type for each object to be blurred is set, even if an object that has been blurred and disappears in a frame image that is continuously shared for a certain period of time reappears, it is set again to the preset blurring type. Blur processing can be applied accordingly.

도 9는 본 발명의 실시 예에 따른 컴퓨팅 장치의 동작 방법을 설명하기 위한 흐름도이다.Figure 9 is a flowchart for explaining a method of operating a computing device according to an embodiment of the present invention.

도 9를 참조하면, 컴퓨팅 장치(200)는, 소셜 네트워킹 서비스상에 공유되는 영상으로부터 하나 이상의 원본 이미지를 획득한다(S101).Referring to FIG. 9, the computing device 200 obtains one or more original images from an image shared on a social networking service (S101).

그리고, 컴퓨팅 장치(200)는, 상기 하나 이상의 이미지로부터 개인 정보 또는 민감 정보를 포함하는 하나 이상의 블러링 후보 영역을 검출한다(S103).Then, the computing device 200 detects one or more blurring candidate areas containing personal information or sensitive information from the one or more images (S103).

이후, 컴퓨팅 장치(200)는, 상기 블러링 후보 영역에 대응하는 화질 개선 보정을 처리한다(S105).Thereafter, the computing device 200 processes image quality improvement correction corresponding to the blurring candidate area (S105).

그리고, 컴퓨팅 장치(200)는, 상기 화질 개선 보정 처리된 블러링 후보 영역별 세부 객체 인식을 수행한다(S107).Then, the computing device 200 performs detailed object recognition for each blurring candidate area that has undergone the image quality improvement correction (S107).

이후, 컴퓨팅 장치(200)는, 상기 세부 객체 인식에 대응하는 사용자 인터페이스 입력 정보에 기초하여, 상기 블러링 후보 영역 중 선택된 영역에 대한 객체별 블러링 타입을 결정한다(S109).Thereafter, the computing device 200 determines a blurring type for each object for a selected area among the blurring candidate areas, based on user interface input information corresponding to the detailed object recognition (S109).

그리고, 컴퓨팅 장치(200)는, 결정된 블러링 타입에 따른 이미지 내 객체 블러링을 선택적으로 수행한다(S111).Then, the computing device 200 selectively performs object blurring in the image according to the determined blurring type (S111).

여기서, 상기 블러링 대상 이미지는, 상기 원본 이미지이거나 상기 화질 개선 보정 처리된 이미지 중 어느 하나일 수 있다.Here, the blurring target image may be either the original image or an image that has undergone image quality improvement correction.

그리고, 컴퓨팅 장치(200)는, 상기 객체 블러링 처리된 이미지를 출력하는 바, 출력된 이미지는 원본 이미지에 대응하여 개인 정보 또는 민감 정보가 제거된 대체 이미지로서 이용될 수 있다(S113).Additionally, the computing device 200 outputs the image with the object blurring process, and the output image can be used as a replacement image from which personal information or sensitive information has been removed corresponding to the original image (S113).

이상에서 설명한 실시예들은 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.The embodiments described above can be implemented at least partially as a computer program and recorded on a computer-readable recording medium. Computer-readable recording media on which programs for implementing the embodiments are recorded include all types of recording devices that store data that can be read by a computer. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, and optical data storage devices. Additionally, computer-readable recording media may be distributed across computer systems connected to a network, and computer-readable codes may be stored and executed in a distributed manner. Additionally, functional programs, codes, and code segments for implementing this embodiment can be easily understood by those skilled in the art to which this embodiment belongs.

이상에서 살펴본 본 명세서는 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 명세서의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 명세서의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해서 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 포함하도록 정해져야 할 것이다.Although the above-described specification has been described with reference to the embodiments shown in the drawings, these are merely illustrative examples, and those skilled in the art will understand that various modifications and modifications of the embodiments are possible therefrom. However, such modifications should be considered within the scope of technical protection of this specification. Therefore, the true technical protection scope of the present specification should be determined to include other implementations, other embodiments, and those equivalent to the claims according to the technical spirit of the appended claims.

Claims (10)

컴퓨터 장치에 의해 실행되는 영상 내 객체 블러링 방법에 있어서,
소셜 네트워킹 서비스상에 공유되는 영상으로부터 하나 이상의 이미지를 획득하는 단계;
제1 인공지능 학습 모델을 이용하여, 상기 하나 이상의 이미지로부터 개인 정보 또는 민감 정보를 포함하는 하나 이상의 블러링 후보 영역을 검출하는 단계;
상기 블러링 후보 영역이 검출된 경우, 상기 이미지에 대응하는 화질 개선 보정을 처리하는 단계;
제2 인공지능 학습 모델을 이용하여, 상기 화질 개선 보정 처리된 이미지의 블러링 후보 영역별 세부 객체 인식을 수행하는 단계; 및
상기 세부 객체 인식에 대응하는 사용자 인터페이스 입력 정보에 기초하여, 선택된 이미지 부분에 대한 객체 블러링을 처리하는 단계를 포함하되,
상기 객체 블러링을 처리하는 단계는,
상기 세부 객체 인식에 대응하는 하나 이상의 섬네일(Thumbnail) 이미지를 생성하는 단계;
상기 섬네일 이미지를 포함하는 상기 사용자 인터페이스를 상기 영상 내 일 부분에 오버랩하여 출력하는 단계;
상기 사용자 인터페이스에 대응하는 사용자 선택 입력에 따라, 블러링 대상 객체를 선택하는 단계; 및
상기 선택된 블러링 대상 객체에 대응하는 선택적 객체 블러링을 처리하는 단계를 포함하는
객체 블러링 방법.
In a method of object blurring in an image executed by a computer device,
Obtaining one or more images from a video shared on a social networking service;
Detecting one or more blurring candidate areas containing personal information or sensitive information from the one or more images using a first artificial intelligence learning model;
When the blurring candidate area is detected, processing image quality improvement correction corresponding to the image;
Using a second artificial intelligence learning model, performing detailed object recognition for each blurring candidate area of the image that has undergone image quality improvement correction processing; and
Processing object blurring for the selected image portion based on user interface input information corresponding to the detailed object recognition,
The step of processing the object blurring is,
generating one or more thumbnail images corresponding to the detailed object recognition;
outputting the user interface including the thumbnail image by overlapping it with a portion of the video;
selecting an object to be blurred according to a user selection input corresponding to the user interface; and
Comprising the step of processing selective object blurring corresponding to the selected blurring target object.
Object blurring method.
제1항에 있어서,
상기 블러링 후보 영역을 검출하는 단계는,
학습 이미지에 대응하여, 개인 정보 또는 민감 정보의 존재 가능성이 기계학습 처리된 상기 제1 인공지능 학습 모델을 이용하여, 상기 블러링 후보 영역을 검출하는 단계를 포함하는
객체 블러링 방법.According to paragraph 1,
The step of detecting the blurring candidate area is,
In response to the learning image, the possibility of the presence of personal information or sensitive information includes detecting the blurring candidate area using the first artificial intelligence learning model in which the possibility of the presence of personal information or sensitive information has been processed through machine learning.
Object blurring method. 제2항에 있어서,
상기 세부 객체 인식을 수행하는 단계는,
상기 화질 개선 보정 처리된 블러링 후보 영역의 카테고리를 식별하는 단계; 및
상기 카테고리에 대응하는 이미지 객체 인식용 기계학습이 독립적으로 개별 처리된, 카테고리별 이미지 객체 인식용 상기 제2 인공지능 학습 모델을 이용하여, 상기 블러링 후보 영역 별 세부 객체 인식을 각각 수행하는 단계를 포함하는
객체 블러링 방법.According to paragraph 2,
The step of performing the detailed object recognition is,
identifying a category of the blurring candidate area that has undergone image quality improvement correction; and
A step of performing detailed object recognition for each blurring candidate area using the second artificial intelligence learning model for image object recognition for each category, in which machine learning for image object recognition corresponding to the category is independently and individually processed. containing
Object blurring method. 제3항에 있어서,
상기 블러링 후보 영역의 카테고리는 텍스트 기반 개인 정보, 얼굴 기반 개인 정보, 민감 정보 중 적어도 하나를 포함하는
객체 블러링 방법.According to paragraph 3,
The category of the blurring candidate area includes at least one of text-based personal information, face-based personal information, and sensitive information.
Object blurring method. 삭제delete 제1항에 있어서,
상기 선택적 객체 블러링을 처리하는 단계는,
상기 사용자 인터페이스에 대응하는 사용자 입력에 따라, 블러링 대상 객체별 블러링 타입을 결정하는 단계; 및
상기 결정된 블러링 대상 객체별 블러링 타입에 따른 객체 블러링을 처리하는 단계를 포함하고,
상기 객체별 블러링 타입은, 객체 내 블러 영역의 형태, 크기, 블러 방식 중 적어도 하나를 상이하게 설정하는 설정 정보를 포함하는
객체 블러링 방법.According to paragraph 1,
The step of processing the selective object blurring is,
determining a blurring type for each object to be blurred according to a user input corresponding to the user interface; and
Comprising the step of processing object blurring according to the blurring type for each blurring target object determined,
The blurring type for each object includes setting information for differently setting at least one of the shape, size, and blur method of the blur area within the object.
Object blurring method. 제6항에 있어서,
상기 소셜 네트워킹 서비스상에 공유되는 제1 영상은 실시간 프레임 이미지를 포함하고,
상기 객체 블러링을 처리하는 단계는,
상기 실시간 프레임 이미지 중 획득된 제1 이미지에 대응하여 설정된 블러링 대상 객체별 블러링 타입을, 이후 획득되는 하나 이상의 제2 이미지에 대응하여도 동일하게 적용하여 객체 블러링을 처리하는 단계를 더 포함하는
객체 블러링 방법.According to clause 6,
The first video shared on the social networking service includes a real-time frame image,
The step of processing the object blurring is,
Further comprising processing object blurring by equally applying the blurring type for each object to be blurred, which is set to correspond to the first image acquired among the real-time frame images, to one or more second images acquired thereafter. doing
Object blurring method. 제6항에 있어서,
상기 사용자 인터페이스는, 상기 블러링 대상 객체별 블러링 처리 여부를 선택할 수 있는 그래픽 토글(TOGGLE) 스위치 인터페이스를 포함하는
객체 블러링 방법.According to clause 6,
The user interface includes a graphic toggle (TOGGLE) switch interface that can select whether to perform blurring for each object to be blurred.
Object blurring method. 제1항 내지 제4항 및 제6항 내지 제8항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위해 컴퓨터 판독 가능한 매체에 저장되는 컴퓨터프로그램.A computer program stored in a computer-readable medium to execute the method according to any one of claims 1 to 4 and 6 to 8 on a computer. 컴퓨터 장치에 있어서,
소셜 네트워킹 서비스상에 공유되는 영상으로부터 하나 이상의 이미지를 획득하는 이미지 정보 획득부;
제1 인공지능 학습 모델을 이용하여, 상기 하나 이상의 이미지로부터 개인 정보 또는 민감 정보를 포함하는 하나 이상의 블러링 후보 영역을 검출하는 블러링 후보 영역 식별부;
상기 블러링 후보 영역에 대응하는 화질 개선 보정을 처리하는 화질 개선 보정부;
제2 인공지능 학습 모델을 이용하여, 상기 화질 개선 보정 처리된 블러링 후보 영역별 세부 객체 인식을 수행하는 세부 객체 인식부; 및
상기 세부 객체 인식에 대응하는 사용자 인터페이스 입력 정보에 기초하여, 상기 블러링 후보 영역 중 선택된 영역에 대한 객체 블러링을 처리하는 객체 블러링 처리부를 포함하되,
상기 블러링 처리부는,
상기 세부 객체 인식에 대응하는 하나 이상의 섬네일(Thumbnail) 이미지를 생성하고;
상기 섬네일 이미지를 포함하는 상기 사용자 인터페이스를 상기 영상 내 일 부분에 오버랩하여 출력하고;
상기 사용자 인터페이스에 대응하는 사용자 선택 입력에 따라, 블러링 대상 객체를 선택하고;
상기 선택된 블러링 대상 객체에 대응하는 선택적 객체 블러링을 처리하는,
컴퓨팅 장치.In computer devices,
an image information acquisition unit that acquires one or more images from a video shared on a social networking service;
a blurring candidate area identification unit that detects one or more blurring candidate areas containing personal information or sensitive information from the one or more images using a first artificial intelligence learning model;
an image quality improvement correction unit that processes image quality improvement correction corresponding to the blurring candidate area;
a detailed object recognition unit that uses a second artificial intelligence learning model to perform detailed object recognition for each blurring candidate area that has undergone image quality improvement correction; and
An object blurring processing unit that processes object blurring for a selected area among the blurring candidate areas based on user interface input information corresponding to the detailed object recognition,
The blurring processing unit,
generating one or more thumbnail images corresponding to the detailed object recognition;
outputting the user interface including the thumbnail image by overlapping it with a portion of the video;
select a blurring target object according to a user selection input corresponding to the user interface;
Processing selective object blurring corresponding to the selected blurring target object,
Computing device.

Images