KR102678533B1 - 인공지능을 이용한 영상 내 객체 블러링 방법 및 그 장치 - Google Patents

Abstract

본 발명의 실시 예에 따른 방법은, 컴퓨터 장치에 의해 실행되는 영상 내 객체 블러링 방법에 있어서, 소셜 네트워킹 서비스상에 공유되는 영상으로부터 하나 이상의 이미지를 획득하는 단계; 상기 하나 이상의 이미지로부터 개인 정보 또는 민감 정보를 포함하는 하나 이상의 블러링 후보 영역을 검출하는 단계; 상기 블러링 후보 영역에 대응하는 화질 개선 보정을 처리하는 단계; 상기 화질 개선 보정 처리된 블러링 후보 영역별 세부 객체 인식을 수행하는 단계; 및 상기 세부 객체 인식에 대응하는 사용자 인터페이스 입력 정보에 기초하여, 상기 블러링 후보 영역 중 선택된 영역에 대한 객체 블러링을 처리하는 단계를 포함한다.

Description

인공지능을 이용한 영상 내 객체 블러링 방법 및 그 장치{A METHOD AND A DEVICE FOR BLURRING OBJECTS IN IMAGES USING ARTIFACTUAL INTELLIGENCE}

본 발명은 영상 내 객체 블러링 방법 및 그 장치에 관한 것이다. 보다 구체적으로, 본 발명은 인공지능을 이용한 영상 내 객체 블러링 방법 및 그 장치에 관한 것이다.

스마트 폰(Smart Phone), 태블릿 PC(Tablet PC), PMP(Portable Multimedia Player), PDA(Personal Digital Assistant), 랩탑 PC(Laptop Personal Computer) 및 손목 시계(Wrist watch), HMD(Head-Mounted Display)와 같은 전자 컴퓨팅 장치는 이미지로 구성되는 영상 정보를 저장 및 출력할 수 있다.

그리고, 최근에는 이러한 컴퓨팅 장치의 영상 정보를 구성하는 이미지의 전송 및 출력 기능을 이용하여, SNS(Social Network Service)와 같은 외부 시스템과 공유함에 따라, 영상 소통이 가능한 다양한 어플리케이션 서비스들이 제공되고 있다. 예를 들어, 영상 공유, 영상 통화, 실시간 방송, 영상 기반 질의 응답 서비스 등, 영상 정보는 다양한 기기를 경유하여 공유되는 기본적인 커뮤니케이션 데이터로서 활용되고 있다.

하지만, 초고속, 대용량 무선 통신이 보편화되면서, 고화질 원본 이미지(예를 들어 로우(RAW) 이미지)들도 공유되는데, 사용자의 의도와는 무관하게 개인 정보나 민감 정보(예를 들어, 사생활, 범죄, 욕설, 신체 노출 등)가 타인에게 노출 또는 유출될 우려가 있다. 예컨대, 고화질 이미지는 사용자의 공유를 원치 않는 개인 정보(예를 들어, 얼굴 정보, 전화 번호, 주민 번호, 주소 정보, 지문 정보, 홍채 정보 등)나 민감 정보를 포함할 수 있다.

이러한 개인 정보나 민감 정보의 무단 유출은 사용자에게 큰 피해를 초래할 수 있으며, 제3자에게도 불의의 피해를 줄 수 있는 바, 현재는 이를 방지하고자 이미지상에서 개인 정보나 민감 정보가 확인되면, 사용자가 이미지 편집을 통해 검은 이미지 등으로 마스킹 또는 모자이크 등을 이용해 블러링(BLURRING)하여, 제거하는 방식 등이 주로 이용되고 있다.

그러나, 먼저 사용자가 영상마다 직접 확인 및 블러링하는 방식은 상당한 시간 및 노력이 소요되는 문제점이 있다.

또한, 최근에는 인공지능 등을 활용한 블러링 방식도 모색되고 있으나, 소셜 네트워크상에서 공유되는 영상 이미지는 정형화되어 있지 않으며, 특히 영상에서의 개별 프레임 이미지는 모션으로 인해 손상되어 있는 경우가 많기 때문에, 인공지능을 활용하더라도, 현재까지의 객체 인식 기술로는 현실적인 실시간 처리 서비스를 제공하기에는 어려움이 있다.

나아가, 인공지능의 경우, 그 처리과정을 사용자가 중간에 직접 개입하거나 컨트롤하기도 어려운 문제점도 존재한다.

본 발명은 상기한 바와 같은 과제를 해결하고자 안출된 것으로, 소셜 네트워크 서비스상에 공유되는 이미지에 대응하여, 1차적인 블러링 후보 영역 검출에 대응하는 별도의 2차적인 세부 객체 인식 처리과정을 통해, 보다 정확하면서도 실시간적인 개인 정보 및 민감 정보의 인공지능 기반 블러링 처리가 가능하며, 처리 과정에 대응하는 실시간 사용자 인터페이싱을 제공하여, 사용자의 의도에 따른 컨트롤도 용이하게 되는 인공지능을 이용한 영상 내 객체 블러링 방법 및 그 장치를 제공하는 데 그 목적이 있다.

상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 컴퓨터 장치에 의해 실행되는 영상 내 객체 블러링 방법에 있어서, 소셜 네트워킹 서비스상에 공유되는 영상으로부터 하나 이상의 이미지를 획득하는 단계; 상기 하나 이상의 이미지로부터 개인 정보 또는 민감 정보를 포함하는 하나 이상의 블러링 후보 영역을 검출하는 단계; 상기 블러링 후보 영역에 대응하는 화질 개선 보정을 처리하는 단계; 상기 화질 개선 보정 처리된 블러링 후보 영역별 세부 객체 인식을 수행하는 단계; 및 상기 세부 객체 인식에 대응하는 사용자 인터페이스 입력 정보에 기초하여, 상기 블러링 후보 영역 중 선택된 영역에 대한 객체 블러링을 처리하는 단계를 포함한다.

또한 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 상기 방법을 컴퓨터에서 실행시키기 위해 컴퓨터 판독 가능한 매체에 저장되는 컴퓨터프로그램으로 구현될 수 있다.

또한, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 장치는, 소셜 네트워킹 서비스상에 공유되는 영상으로부터 하나 이상의 이미지를 획득하는 이미지 정보 획득부; 상기 하나 이상의 이미지로부터 개인 정보 또는 민감 정보를 포함하는 하나 이상의 블러링 후보 영역을 검출하는 블러링 후보 영역 식별부; 상기 블러링 후보 영역에 대응하는 화질 개선 보정을 처리하는 화질 개선 보정부; 상기 화질 개선 보정 처리된 블러링 후보 영역별 세부 객체 인식을 수행하는 세부 객체 인식부; 및 상기 세부 객체 인식에 대응하는 사용자 인터페이스 입력 정보에 기초하여, 상기 블러링 후보 영역 중 선택된 영역에 대한 객체 블러링을 처리하는 객체 블러링 처리부를 포함한다.

본 발명의 실시 예에 따르면, 컴퓨팅 장치가, 소셜 네트워킹 서비스상에 영상 등으로 공유되는 하나 이상의 이미지로부터, 인공지능 기반의 개인 정보 또는 민감 정보를 포함하는 하나 이상의 블러링 후보 영역을 1차적으로 검출하되, 블러링 후보 영역에 대응하는 화질 개선 보정을 수행한 뒤 세부 객체 인식을 2차적으로 수행하게 함으로써, 보다 정확하면서도 실시간적인 개인 정보 및 민감 정보의 인공지능 기반 블러링 처리를 수행하는 실시간 소셜 네트워킹 서비스를 용이하게 제공할 수 있게 된다.

또한, 본 발명의 실시 예에 따르면, 블러링 영역 및 세부 인식 객체에 대응하는 실시간 사용자 인터페이스를 제공하고, 사용자 입력에 따라 블러링 영역 선택 또는 인식된 객체의 블러링이 처리되도록 제공함으로써, 손상된 모션 프레임 이미지등의 경우에도 정확한 인식을 통한 선택적 블러링이 가능하며, 이에 따라 인공지능 처리 과정에 대하여 사용자의 의도에 따른 컨트롤도 용이하게 이루어지는 장점이 있다.

이에 따라, 본 발명은 소셜 네트워크 서비스 기반의 영상 공유, 실시간 방송, 영상 기반 질의 응답 서비스, 영상 통화 등 다양한 영상 기반의 커뮤니케이션 어플리케이션 및 서비스를 통해 제공됨으로써, 개인 정보나 민감 정보에 대한 누출 없이도 안전하고 편리한 서비스가 제공될 수 있다.

도 1은 본 명세서의 일 실시 예에 따른 시스템의 동작 환경의 예를 도시한 도면이다.
도 2는 본 명세서의 일 실시 예에 있어서 컴퓨팅 장치의 내부 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 실시 예에 따른 서비스 처리부 및 그 구성을 설명하기 위한 블록도이다.
도 4는 본 발명의 실시 예에 따른 세부 객체 인식부를 보다 구체적으로 도시한 블록도이다.
도 5 및 도 6은 본 발명의 실시 예에 따라 블러링 처리된 이미지 및 인식 결과를 예시하기 위한 도면들이다.
도 7 및 도 8은 본 발명의 실시 예에 따른 사용자 인터페이스 및 그 동작을 설명하기 위한 예시도이다.
도 9는 본 발명의 실시 예에 따른 컴퓨팅 장치의 동작 방법을 설명하기 위한 흐름도이다.

본 명세서의 실시예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 실시예의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 명세서의 실시예에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 명세서의 실시예에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 명세서의 실시예에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 명세서의 실시예의 범위 내에서 실시예에서의 제1 구성요소는 다른 실시예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 실시예에서의 제2 구성요소를 다른 실시예에서 제1 구성요소라고 칭할 수도 있다.

본 명세서의 실시예에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시예도 본 명세서의 실시예의 범위에 포함된다.

본 명세서에서 네트워크는 유무선 네트워크를 모두 포함하는 개념일 수 있다. 이때, 네트워크는 디바이스와 시스템 및 디바이스 상호 간의 데이터 교환이 수행될 수 있는 통신망을 의미할 수 있으며, 특정 네트워크로 한정되는 것은 아니다.

본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "장치" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 본 명세서에서 부, 모듈, 장치 또는 시스템 등은 실행중인 프로세스, 프로세서, 객체(object), 실행 파일(executable), 실행 스레드(thread of execution), 프로그램(program), 및/또는 컴퓨터(computer)일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서의 부, 모듈, 장치 또는 시스템 등에 해당할 수 있다.

또한, 본 명세서에서 디바이스는 스마트폰, 태블릿 PC, 웨어러블 디바이스 및 HMD(Head Mounted Display)와 같이 모바일 디바이스뿐만 아니라, PC나 디스플레이 기능을 구비한 가전처럼 고정된 디바이스일 수 있다. 또한, 일 예로, 디바이스는 차량 내 클러스터 또는 IoT (Internet of Things) 디바이스일 수 있다. 즉, 본 명세서에서 디바이스는 어플리케이션 동작이 가능한 기기들을 지칭할 수 있으며, 특정 타입으로 한정되지 않는다. 하기에서는 설명의 편의를 위해 어플리케이션이 동작하는 기기를 디바이스로 지칭한다.

본 명세서에 있어서 네트워크의 통신 방식은 제한되지 않으며, 각 구성요소간 연결이 동일한 네트워크 방식으로 연결되지 않을 수도 있다. 네트워크는, 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망, 위성망 등)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크는, 객체와 객체가 네트워킹 할 수 있는 모든 통신 방법을 포함할 수 있으며, 유선 통신, 무선 통신, 3G, 4G, 5G, 혹은 그 이외의 방법으로 제한되지 않는다. 예를 들어, 유선 및/또는 네트워크는 LAN(Local Area Network), MAN(Metropolitan Area Network), GSM(Global System for Mobile Network), EDGE(Enhanced Data GSM Environment), HSDPA(High Speed Downlink Packet Access), W-CDMA(Wideband Code Division Multiple Access), CDMA(Code Division Multiple Access), TDMA(Time Division Multiple Access), 블루투스(Bluetooth), 지그비(Zigbee), 와이-파이(Wi-Fi), VoIP(Voice over Internet Protocol), LTE Advanced, IEEE802.16m, WirelessMAN-Advanced, HSPA+, 3GPP Long Term Evolution (LTE), Mobile WiMAX (IEEE 802.16e), UMB (formerly EV-DO Rev. C), Flash-OFDM, iBurst and MBWA (IEEE 802.20) systems, HIPERMAN, Beam-Division Multiple Access (BDMA), Wi-MAX(World Interoperability for Microwave Access) 및 초음파 활용 통신으로 이루어진 군으로부터 선택되는 하나 이상의 통신 방법에 의한 통신 네트워크를 지칭할 수 있으나, 이에 한정되는 것은 아니다.

다양한 실시예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 실시예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 명세서의 실시예의 범위에 포함된다. 또한, 다양한 실시예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시예도 본 명세서의 실시예의 범위에 포함된다.

이하에서, 도면을 참조하여 본 명세서의 실시예들에 대하여 상세히 살펴본다.

도 1은 본 명세서의 일실시예에 따른 시스템의 동작 환경의 예를 도시한 도면이다. 도 1을 참조하면 사용자 디바이스(110), 하나 이상의 서버(120, 130, 140)가 네트워크(1)를 통해 연결되어 있다. 이러한 도 1은 발명의 설명을 위한 일례로 사용자 디바이스의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다.

사용자 디바이스(110)는 컴퓨터 시스템으로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 사용자 디바이스(110)는 예를 들면, 스마트폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC, 게임 콘솔(game console), 웨어러블 디바이스(wearable device), IoT(internet of things) 디바이스, VR(virtual reality) 디바이스, AR(augmented reality) 디바이스 등이 있다. 일례로 실시예들에서 사용자 디바이스(110)는 실질적으로 무선 또는 유선 통신 방식을 이용하여 네트워크(1)를 통해 다른 서버들(120 - 140)과 통신할 수 있는 다양한 물리적인 컴퓨터 시스템들 중 하나를 의미할 수 있다.

각 서버는 사용자 디바이스(110)와 네트워크(1)를 통해 통신하여 명령, 코드, 파일, 콘텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 서버는 네트워크(1)를 통해 접속한 사용자 디바이스(110)로 각각의 서비스를 제공하는 시스템일 수 있다. 보다 구체적인 예로, 서버는 사용자 디바이스(110)에 설치되어 구동되는 컴퓨터 프로그램으로서의 어플리케이션을 통해, 해당 어플리케이션이 목적하는 서비스(일례로, 정보 제공 등)를 사용자 디바이스(110)로 제공할 수 있다. 다른 예로, 서버는 상술한 어플리케이션의 설치 및 구동을 위한 파일을 사용자 디바이스(110)로 배포하고 사용자 입력 정보를 수신해 대응하는 서비스를 제공할 수 있다.

도 2는 본 명세서의 일실시예에 있어서 컴퓨팅 장치(200)의 내부 구성을 설명하기 위한 블록도이다. 이러한 컴퓨팅 장치(200)는 도1을 참조하여 상술한 사용자 디바이스(110) 또는 서버(120-140)에 적용될 수 있으며, 각 장치와 서버들은 일부 구성요소를 더 하거나 제외하여 구성됨으로써 동일하거나 유사한 내부 구성을 가질 수 있다.

도 2를 참조하면 컴퓨팅 장치(200)는 메모리(210), 프로세서(220), 통신 모듈(230) 그리고 송수신부(240)를 포함할 수 있다. 메모리(210)는 비-일시적인 컴퓨터 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory) 등과 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM, SSD, 플래시 메모리, 디스크 드라이브 등과 같은 비소멸성 대용량 저장 장치는 메모리(210)와는 구분되는 별도의 영구 저장 장치로서 상술한 장치나 서버에 포함될 수도 있다. 또한, 메모리(210)에는 운영체제와 적어도 하나의 프로그램 코드(일례로 사용자 디바이스(110) 등에 설치되어 구동되는 브라우저나 특정 서비스의 제공을 위해 사용자 디바이스(110) 등에 설치된 어플리케이션 등을 위한 코드)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(210)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다.

다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 모듈(230)을 통해 메모리(210)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템(일례로, 상술한 서버)이 네트워크(1)를 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램(일례로 상술한 어플리케이션)에 기반하여 메모리(210)에 로딩될 수 있다.

프로세서(220)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(210) 또는 통신 모듈(230)에 의해 프로세서(220)로 제공될 수 있다. 예를 들어 프로세서(220)는 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.

통신 모듈(230)은 네트워크(1)를 통해 사용자 기기(110)와 서버(120 -140)가 서로 통신하기 위한 기능을 제공할 수 있으며, 장치(110) 및/또는 서버(120 - 140) 각각이 다른 전자 기기와 통신하기 위한 기능을 제공할 수 있다.

송수신부(240)는 외부 입력/출력장치(미도시)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 외부 입력장치는 키보드, 마우스, 마이크로폰, 카메라 등의 장치를, 그리고 외부 출력 장치는 디스플레이, 스피커, 햅틱 피드백 디바이스(haptic feedback device) 등과 같은 장치를 포함할 수 있다.

다른 예로 송수신부(240)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다.

또한, 다른 실시예들에서 컴퓨팅 장치(200)는 적용되는 장치의 성질에 따라서 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 예를 들어, 컴퓨팅 장치(200)가 사용자 디바이스(110)에 적용되는 경우 상술한 입출력 장치 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다. 보다 구체적인 예로, 사용자 디바이스가 스마트폰인 경우, 일반적으로 스마트폰이 포함하고 있는 가속도 센서나 자이로 센서, 카메라 모듈, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 더 포함되도록 구현될 수 있다.

도 3은 본 발명의 실시 예에 따른 서비스 처리부 및 그 구성을 설명하기 위한 블록도이다.

도 3을 참조하면, 본 발명의 실시 예에 따른 컴퓨팅 장치(200)는, 서비스 처리부(250)를 더 포함할 수 있다. 서비스 처리부(250)는, 프로세서(220)에서 처리되는 로직 및 입출력 연산 중 본 발명의 실시 예에 따른 이미지의 객체 블러링 데이터 처리를 위한 다양한 서비스 프로세스를 수행하는 프로세서 모듈로 구성될 수 있다. 컴퓨팅 장치(200)는, 프로세서(220) 내부에 서비스 처리부(250)를 구성하거나, 서비스 처리부(250)가 외부 프로세서로 구비된 장치로부터 처리된 데이터를 이용하여 서비스 처리를 수행함으로써, 생성된 이미지의 객체 블러링 데이터를 사용자 디바이스(110) 또는 하나 이상의 서버(120, 130, 140)로 제공할 수 있다.

이러한 처리에 따라, 사용자 디바이스(110) 또는 하나 이상의 서버(120, 130, 140)는 본 발명의 실시 예에 따른 서비스 처리부(250) 동작에 의해 구성된 이미지의 객체 블러링 데이터를 제공받아 디스플레이 장치를 통해 출력하거나, 외부 네트워크를 통해 데이터를 송수신하는 데 이용할 수 있다.

보다 구체적으로, 도 3을 참조하면, 서비스 처리부(250)는 이미지 정보 획득부(251), 블러링 후보 영역 식별부(252), 화질 개선 보정부(253), 세부 객체 인식부(254), 사용자 인터페이스부(255) 및 객체 블러링 처리부(256)를 포함할 수 있으며, 이러한 각 처리부의 연계 동작을 통해 소셜 네트워크 서비스를 통해 공유되는 영상의 이미지별 개인 정보 객체 인식 또는 민감 객체 인식에 따른 블러링 프로세스를 수행할 수 있다.

이를 위해, 서비스 처리부(250)는, 사용자 디바이스(110) 또는 하나 이상의 서버(120, 130, 140)를 통해, 소셜 네트워킹 서비스상에 공유되는 다양한 영상을 수집할 수 있으며, 수집된 영상으로부터 하나 이상의 원본 이미지를 획득하며, 상기 하나 이상의 원본 이미지로부터 개인 정보 또는 민감 정보를 포함하는 하나 이상의 블러링 후보 영역을 검출할 수 있다.

여기서, 개인 정보는 이미지로부터 사람 또는 기계 인식 가능한 텍스트 정보, 얼굴 정보, 지문 정보, 홍채 정보 등이 예시될 수 있으며, 민감 정보는 사용자가 공유를 원하지 않거나 제3자에게 공유되는 것이 적합하지 않은 정보로서, 사생활, 범죄, 욕설, 신체 노출 및 기타 공유에 부적절한 정보들이 예시될 수 있다. 즉 블러링 후보 영역은 사람에 제한되는 것은 아니라 동물 또는 사물 등 다양한 형태의 표현형태일 수 있다.

그리고, 서비스 처리부(250)는, 상기 블러링 후보 영역이 검출된 경우, 상기 원본 이미지에 대응하는 화질 개선 보정을 처리하며, 상기 화질 개선 보정 처리된 블러링 후보 영역별 세부 객체 인식을 수행할 수 있는 바, 상기 세부 객체 인식에 대응하는 사용자 인터페이스 입력 정보에 기초하여, 상기 블러링 후보 영역 중 선택된 영역에 대한 객체 블러링을 처리할 수 있다.

여기서, 객체 블러링은 영상 내 특정 객체가 식별되지 않도록 제거하는 방식으로서, 사용자 인터페이스 입력에 따라 그 대상 및 방식이 개별적으로 설정될 수 있다. 이러한 블러링(BLURRING) 기반 개인 정보나 민감 정보를 제거하는 방식은 블러링 영역의 부분 이미지에 대한 선명도를 크게 낮추어 흐릿하게 처리하거나 다른 문자 또는 이미지를 오버랩하여 표시하는 방식으로서, 영상의 미관을 해치지 않으면서도 개인 정보와 민감 정보 등이 제거될 수 있어 소셜 네트워킹 서비스에 바람직한 개인 정보와 민감 정보 제거방식으로 이용될 수 있다. 여기서 블러링 대상 객체에 오버랩되는 다른 문자 또는 이미지는 블러링 대상 객체의 색상, 종류, 형태에 따라서 결정되거나, 사용자가 직접 선택하도록 제공될 수도 있다.

이러한 객체 블러링 처리된 이미지는, 소셜 네트워크 서비스를 통해 상기 원본 이미지를 대체하는 블러링된 이미지로서 대체 공유되도록 이용될 수 있는 바, 이를 위해, 프로세서(220)는 상기 이미지를 외부 장치, 네트워크 등으로 출력할 수 있다.

이에 따라, 앞서 설명한 바와 같은 종래기술의 문제점에 따른 영상 이미지의 인식 정확도를 개선할 수 있으며, 사용자 인터페이스를 제공하여 객체 블러링에 대한 사용자 편의성을 향상시킬 수 있다.

하기에서는, 이러한 일련의 처리를 각 처리부의 구성 및 동작을 통해 보다 구체적으로 설명하고자 한다.

먼저, 이미지 정보 획득부(251)는, 소셜 네트워킹 서비스상에 공유되는 영상으로부터 하나 이상의 원본 이미지를 획득한다.

여기서, 상기 소셜 네트워킹 서비스상에 공유되는 영상은, 다양한 영상 정보 기반의 서비스 제공을 위해 공유되는 이벤트별 영상 데이터를 포함하며, 각 이벤트에 따른 영상 공유, 실시간 방송, 영상 기반 질의 응답 서비스, 영상 통화 등, 영상을 이용하여 커뮤니케이션을 수행하는 다양한 어플리케이션 데이터에 포함될 수 있다.

이에 따라, 이미지 정보 획득부(251)는 이러한 소셜 네트워킹 서비스상의 공유 데이터 또는 사용자 디바이스(110)의 처리 데이터로부터 소셜 네트워킹 서비스상에 공유되는 영상 데이터를 획득하고, 획득된 영상으로부터 하나 이상의 원본 이미지를 획득할 수 있다.

그리고, 블러링 후보 영역 식별부(252)는, 상기 하나 이상의 이미지로부터 개인 정보 또는 민감 정보를 포함하는 하나 이상의 블러링 후보 영역을 검출한다.

보다 구체적으로, 블러링 후보 영역 식별부(252)는, 학습 이미지에 대응하여, 개인 정보 또는 민감 정보의 각 영역별 카테고리가 기계학습 처리된 제1 인공지능 학습 모델을 이용하여, 상기 블러링 후보 영역을 검출할 수 있다.

이러한 제1 인공지능 학습 모델의 기계학습 처리 방식은, 예를 들어 컨볼루션 신경망(Convolutional Neural Network, CNN)을 활용하여 이미지 내에서 개인 정보 및 민감 정보를 검출하는 방식이 예시될 수 있다. 다만, 블러링 후보 영역 식별부(252)는, 후술할 세부 객체 인식부(254)에서의 세부적 객체 인식 처리와는 상이하게, 개인 정보 또는 민감 정보의 존재 가능성 및 예측을 통해, 블러링 후보 영역만을 판별하여도 무방한 바, 이는 실시간 처리를 위한 연산과정을 단축시킬 수 있다.

또한, 이러한 블러링 후보 영역 식별부(252)는, 특정 이벤트에 대응하는 영상의 적어도 일부의 프레임 이미지에 대응하여, 블러링 후보 영역을 검출할 수 있다. 예를 들어, 블러링 후보 영역 식별부(252)는, 제1 인공지능 학습 모델을 이용하여, 영상 내 특정 이미지에서 개인 정보가 식별가능한 사람이 존재하는 경우, 사람의 피부색인 객체가 소정의 면적 또는 형태(예를 들어, 욕설, 신체 노출 등)를 가지는 것이 존재하는 경우, 신분증 또는 그와 유사한 객체가 존재하는 경우 등을 식별하고, 이에 따른 블러링 후보 영역을 검출할 수 있다.

이후, 화질 개선 보정부(253)는, 블러링 후보 영역이 검출된 원본 이미지에 대응하여, 화질 개선 보정 처리를 수행한다.

여기서, 화질 개선 보정 처리는, 블러링 후보 영역에 대응하는 객체 인식의 정확도를 향상시키기 위한 기술로서, 인공지능 기반의 디블러링 생성 모델 기반 화질 개선 기술이 이용될 수 있다.

이러한 디블러링 생성 모델은, 예를 들어 알려진 DeblurGAN 네트워크 기반의 경쟁적 생성적 신경망(Generative Adversarial Network, GAN)을 활용하여 구현될 수 있다. DeblurGAN은 GAN 기반의 디블러링 생성 모델로 구현되며, 훼손 이미지를 복원하는 모델과, 복원된 이미지가 원본 학습 이미지와 상이한지 판별하는 모델을 경쟁적으로 학습시킴에 따라, 원본 이미지보다도 더 선명한 이미지를 예측하게 함에 따른 화질 개선된 이미지를 생성하게 한다.

이와 같이 화질 개선 보정 처리된 이미지는, 본 발명의 실시 예에 따른 블러링 후보 영역의 객체 인식 정확도를 향상시킬 수 있게 된다.

이에 따라, 세부 객체 인식부(254)는, 상기 화질 개선 보정 처리된 블러링 후보 영역별 세부 객체 인식을 수행한다.

여기서, 도 4는 본 발명의 실시 예에 따른 세부 객체 인식부를 보다 구체적으로 도시한 블록도로서, 도 4를 참조하면, 세부 객체 인식부(254)는, 상기 화질 개선 보정 처리된 블러링 후보 영역의 카테고리를 식별하고, 상기 카테고리에 대응하는 이미지 객체 인식용 기계학습이 독립적으로 개별 처리된, 카테고리별 이미지 객체 인식용 인공지능 학습 모델을 이용하여, 상기 블러링 후보 영역 별 세부 객체 인식을 각각 수행할 수 있다.

이를 위해, 세부 객체 인식부(254)는, 텍스트 인식부(2541), 얼굴 인식부(2542), 민감 객체 인식부(2543)를 포함할 수 있으며, 또다른 카테고리별 객체 인식용 기계학습 모델들이 추가적으로 더 포함될 수도 있다.

이러한 세부 객체 인식부(254)는, 전술한 제1 인공지능 학습 모델보다는 각 세부 영역별 인식된 객체의 예측 정확도가 임계치 이상으로 학습된 카테고리별 인식 모델들을 이용하여, 각각의 객체 인식을 처리할 수 있다.

보다 구체적으로, 텍스트 인식부(2541)는 화질 개선 보정된 이미지로부터, 텍스트 기반의 객체 인식을 개별적으로 수행할 수 있는 CRNN 기반의 인공지능 학습 모델을 이용하여, 개인 정보 또는 민감 정보가 포함된 텍스트 객체 인식을 수행할 수 있다. 이러한 학습 모델의 경우, Baseline model로서 속도가 빠르고, 사용되는 computing power에 비해 정확도가 높은 것으로 알려진 None-VGG-BiLSTM-CTC 알고리즘이 사용되는 것이 바람직할 수 있다.

또한, 텍스트 인식부(2541)의 학습 모델은 특정 언어별 손글씨 학습 데이터나 문서 인식을 위한 공공기관 OCR 인식 데이터 등을 이용하여, 텍스트 인식 정확도를 향상시키도록 사전 학습 처리될 수 있다.

한편, 얼굴 인식부(2542)는, 보다 구체적으로, 화질 개선 보정된 이미지로부터, 얼굴 이미지 기반의 객체 인식을 개별적으로 수행할 수 있는 인공지능 학습 모델을 이용하여, 개인 정보가 포함된 얼굴 객체 인식을 수행할 수 있다.

이러한 얼굴 인식은 딥러닝 기반의 신경망 중 하나인 MTCNN(Multi-task Cascaded Convolutional Networks)과 같은 알고리즘 등을 활용하여 구현될 수 있는 바, 다단계적인 접근 방식으로 얼굴을 탐지하고 랜드마크를 추출하여 개별적인 얼굴 이미지를 인식하며, 이를 통해 화질 개선 보정이 이루어진 이미지 내의 얼굴 영역에서 개인 정보가 포함된 얼굴 객체를 효과적으로 인식할 수 있다.

그리고, 민감 객체 인식부(2543)는, 텍스트 또는 얼굴의 개인 정보와는 상이한 기타 민감 객체를 인식하게 위한 카테고리별 학습이 사전 처리된 인공지능 학습 모델을 이용하여, 이미지상의 민감 정보가 포함된 객체 인식을 수행할 수 있다. 여기서, 이미지상의 민감 정보는 예를 들어, 전술한 바와 같은 신체 노출, 욕설 행위, 범죄 행위 등과 같은 이미지 기반 부적절한 정보가 예시될 수 있다. 이러한 민감 객체 인식 학습을 위해 CNN 기반의 민감 객체 인식용 학습 모델 등이 민감 객체 카테고리별로 사전 구축될 수 있다.

한편, 다시 도 3을 참조하면, 사용자 인터페이스부(255)는, 상기 세부 객체 인식에 대응하는 객체별 블러 여부 및 블러링 타입을 결정할 수 있는 사용자 인터페이스를 생성하여 출력한다.

여기서, 사용자 인터페이스는 사용자 디바이스(110) 또는 하나 이상의 서버(120, 130, 140)의 출력장치를 통해 출력될 수 있으며, 그래픽 사용자 인터페이스의 포맷을 가질 수 있는 바, 사용자는 시각적으로 표시된 사용자 인터페이스에 대응하는 사용자 입력 정보를 사용자 디바이스(110) 또는 하나 이상의 서버(120, 130, 140)를 통해 입력할 수 있다.

이러한 사용자 인터페이스는, 상기 블러링 후보 영역 중 선택된 영역에 대한 객체 블러링을 처리하기 위한 선택 정보를 입력받기 위해 구성될 수 있으며, 이를 위한 세부 객체 인식 정보를 식별하여, 사용자 인터페이스의 화면 구성을 조정할 수 있다.

보다 구체적으로, 사용자 인터페이스부(255)는, 상기 세부 객체 인식에 대응하는 하나 이상의 섬네일(Thumbnail) 이미지를 생성할 수 있으며, 상기 섬네일 이미지를 포함하는 상기 사용자 인터페이스를 출력하고, 상기 사용자 인터페이스에 대응하는 사용자 선택 입력에 따라, 블러링 대상 객체를 선택할 수 있다.

또한, 사용자 인터페이스부(255)는, 상기 사용자 인터페이스에 대응하는 사용자 입력에 따라, 블러링 대상 객체별 블러링 타입을 결정할 수 있으며, 상기 객체별 블러링 타입은, 객체 내 블러 영역의 형태, 크기, 블러 방식 중 적어도 하나를 상이하게 설정하는 설정 정보를 포함할 수 있다.

이와 같은 사용자 인터페이스부(255)의 처리를 통해, 블러링 후보 영역에 대응하는 블러링 대상 객체가 선택될 수 있으며, 각 블러링 대상 객체별 블러링 타입 정보가 설정될 수 있다.

그리고, 객체 블러링 처리부(256)는, 선택된 블러링 대상 객체에 대응하여, 블러링 대상 객체별 블러링 타입 정보에 따른 블러링 처리를 선택적으로 수행한다.

여기서, 블러링 처리는, 개인 정보 또는 민감 정보를 제거하기 위한 다양한 블러링 처리 방식이 예시될 수 있다. 예를 들어, 가우시안 블러(Gaussian Blur)와 같은 전통적인 블러링 방법을 활용하여 이미지의 특정 영역을 흐리게 처리할 수 있다. 또한, 픽셀화(pixelization) 등의 방식을 통해 이미지 내의 세부 정보를 모자이크 처리하여 개인 정보나 민감 정보를 제거할 수도 있다. 또는 움직임 블러(motion blur)를 적용하여 이미지에 동적인 효과를 주면서 동시에 민감한 정보를 숨길 수도 있다. 더 나아가, 딥러닝을 활용한 블러링 기술로서 pix2pix와 같은 모델을 이용하여 개인 정보를 효과적으로 블러 처리할 수 있는 방식도 활용될 수 있다. 본 발명의 실시 예에 따르면, 이러한 다양한 블러링 처리 방식은 제한되지 않으며, 이미지 내의 개인 정보 또는 민감 정보를 제거하기 위한 다양한 방식들이 이용될 수 있다.

그리고, 객체 블러링 처리부(256)는, 객체 블러링 처리된 이미지를 상기 원본 이미지를 대체하는 이미지로서, 상기 소셜 네트워킹 서비스를 통해 공유되도록 처리할 수 있다. 예를 들어, 객체 블러링 처리부(256)에서 처리된 이미지는 원본 이미지가 공유되기 이전에 상기 원본 이미지를 획득하여, 개인 정보와 민감 정보가 사전 필터링된 이미지로서 상기 객체 블러링 처리된 이미지가 대체 공유되도록 처리할 수 있다.

이에 따라, 블러링 후보 영역에 대응하는 선택적 객체 블러링이 신속하게 처리될 수 있는 바, 보다 정확하면서도 실시간적인 개인 정보 및 민감 정보의 인공지능 기반 블러링 처리를 수행하는 실시간 소셜 네트워킹 서비스를 용이하게 제공할 수 있으며, 사용자 인터페이스의 사용자 입력에 따라 블러링 영역 선택 또는 인식된 객체의 블러링이 처리되도록 제공함으로써, 인공지능 처리 과정에 대한 사용자의 의도에 따른 개인 정보 또는 민감 정보의 선택적 블러링 컨트롤도 용이하게 이루어지게 된다.

도 5 및 도 6은 본 발명의 실시 예에 따라 블러링 처리된 이미지 및 인식 결과를 예시하기 위한 도면들이다.

도 5를 참조하면, 도 5는 본 발명의 실시 예에 따라 소셜 네트워킹 서비스를 통해 공유될 영상의 원본 이미지상에서 검출된 블러링 후보 영역 중 선택된 영역들(201)에 대응하는 객체 블러링이 처리된 이미지가, 대체 이미지로서 공유되는 공유 화면을 예시한다. 예를 들어, 도 5에 도시된 바와 같이, 컴퓨팅 장치(200)는, 소셜 네트워크 서비스상에서 얼굴 정보 등의 개인 정보가 노출되는 것을 사용자 선택에 따라 미리 설정하게 할 수 있는 바, 이에 따른 객체 블러링이 실시간으로 처리되고, 처리된 이미지가 원본 이미지를 대체하여 상기 소셜 네트워크 서비스상에서 공유될 수 있게 된다.

한편, 도 6은 종래 기술과 비교한 인식 정확도 및 결과를 예시한 것으로, 도 6(A)를 참조하면, 종래 기술에서의 영상 내 객체 인식 기술의 경우, 특히 이미지의 모션 효과 등으로 인해 인식률이 50%, 30% 정도로 낮은 결과를 나타내는 바, 실시간 인식이나 소셜 네트워킹 서비스 제공에는 현실적으로 부적합한 문제점을 가지고 있다.

이에 반해, 도 6(B)를 참조하면, 본 발명의 실시 예에 따른 컴퓨팅 장치(200)는, 인공지능 알고리즘을 기반으로, 화질이 개선 보정된 이미지를 이용해 카테고리별 세부 객체 인식을 수행하는 바, 보다 정확한 사람 이미지 등에 대한 인식률을 69% 등으로 향상시킬 수 있으며, 나아가 종래기술에서는 인식하지 못하였던 객체 등도 추가로 인식할 수 있고, 이에 대한 사용자의 선택에 따른 선택적 객체 인식을 지원할 수 있으므로, 서비스 활용도를 높일 수 있는 장점이 있다.

한편, 도 7 및 도 8은 본 발명의 실시 예에 따른 사용자 인터페이스 및 그 동작을 설명하기 위한 예시도이다.

먼저, 도 7을 참조하면, 본 발명의 실시 예에 따른 사용자 인터페이스부(255)는, 도 7(A)와 같은 원본 이미지 또는 화질 개선된 이미지에 대응하여, 도 7(B)와 같이 세부 인식된 객체 정보별 선택적 객체 블러링을 처리할 수 있는 블러링 인터페이스(202)를 포함하는 사용자 인터페이스를 화면 데이터로 구성하고, 사용자 디바이스(110) 또는 하나 이상의 서버(120, 130, 140)를 통해 이를 출력할 수 있다.

보다 구체적으로, 도 7(B)에 도시된 바와 같이, 블러링 인터페이스(202)는, 상기 사용자 인터페이스에 대응하는 사용자 입력에 따라, 블러링 대상 객체별 블러링 타입을 결정할 수 있는 화면 인터페이스 구성을 포함할 수 있다. 예를 들어, 블러링 인터페이스(202)는 블러링 여부 또는 블러링 방식을 선택적으로 입력할 수 있도록 구성되는 바, 얼굴 이미지의 개인 정보에 따라 인식된 제1 객체, 제2 객체, 제3 객체에 대응하는 섬네일(Thumbnail) 이미지가 각각 표시될 수 있다.

또한, 사용자 인터페이스는, 표시된 섬네일 이미지에 대응하는 사용자 입력에 따라 각각의 부분 블러 설정(블러 강도, 블러 범위, 블러 위치 등), 전부 블러 설정 또는 블러링 미적용 설정 등이 선택 입력되도록 하는 그래픽 인터페이스를 포함할 수 있다. 이러한 그래픽 인터페이스는 예를 들어, 버튼 기반 입력 인터페이스 또는 터치 기반 입력 인터페이스 등이 예시될 수 있다.

따라서, 상기 객체별 블러링 타입은, 블러링 인터페이스(202) 입력에 따라 결정되는 객체 내 블러 영역의 형태, 크기, 블러 방식 중 적어도 하나를 상이하게 설정하는 설정 정보로서 구성될 수 있다.

이에 따라, 객체 블러링 처리부(256)는, 도 7(B)와 같이 각 결정된 블러링 대상 객체별 블러링 타입에 따른 객체 블러링을 각각 처리할 수 있다.

한편, 도 8은 본 발명의 실시 예에 따른 블러링 처리를 위한 사용자 인터페이스의 다른 일 예로서, 상기 사용자 인터페이스는, 상기 블러링 대상 객체별 블러링 처리 여부를 선택할 수 있는 그래픽 토글(TOGGLE) 스위치 인터페이스를 포함할 수 있다.

도 8에 도시된 바와 같이, 그래픽 토글(TOGGLE) 스위치 인터페이스는, 세부 객체 인식부(254)의 세부 객체 인식 정보의 카테고리에 따라 선택적으로 구성될 수 있다.

예를 들어, 도 8에서는 영상의 이미지로부터 인식되는 세부 객체 인식 정보의 인식 대상 카테고리로서, 사람 또는 글자가 선택적으로 설정될 수 있도록 하는 카테고리 설정 인터페이스(203)가 상단에 출력될 수 있음이 도시되어 있다.

또한, 도 8을 참조하면 본 발명의 실시 예에 따른 블러링 처리를 위한 사용자 인터페이스에는, 각 선택된 카테고리별 인식 객체에 대응하여, 그래픽 토글(TOGGLE) 스위치 인터페이스(204)가 표시될 수 있는 바, 온(ON) 또는 오프(OFF) 설정 가능한 그래픽 스위치 인터페이스의 형태로 구성되는 것이 예시될 수 있다.

이에 따라, 사용자는 편리하게 자신이 원하는 방식으로 인공지능 기반으로 인식된 객체별 블러링 대상과 타입을 조정할 수 있으며, 이러한 설정 정보는 각 영상 이벤트에 따라 미리 설정될 수도 있으며, 실시간으로 변경 설정될 수도 있다.

특히, 상기 소셜 네트워킹 서비스상에 공유되는 제1 영상이 실시간 프레임 이미지를 포함하는 실시간 방송 또는 영상 통화 등에 해당하는 경우, 사용자가 별도로 추가 입력하지 않는 한 객체 블러링 처리부(256)는, 상기 실시간 프레임 이미지 중 획득된 제1 이미지에 대응하여 설정된 블러링 대상 객체별 블러링 타입을, 이후 획득되는 하나 이상의 제2 이미지에 대응하여도 동일하게 적용하여 객체 블러링을 처리할 수 있다.

이와 같은 처리에 따라, 블러링 대상 객체별 블러링 타입이 설정되면, 일정 시간 동안 연속하여 공유되는 프레임 이미지상에서 블러링 처리되어 있다가 없어진 객체가, 다시 등장하는 경우에도 다시 사전 설정된 블러링 타입에 따른 블러 처리가 적용될 수 있게 된다.

도 9는 본 발명의 실시 예에 따른 컴퓨팅 장치의 동작 방법을 설명하기 위한 흐름도이다.

도 9를 참조하면, 컴퓨팅 장치(200)는, 소셜 네트워킹 서비스상에 공유되는 영상으로부터 하나 이상의 원본 이미지를 획득한다(S101).

그리고, 컴퓨팅 장치(200)는, 상기 하나 이상의 이미지로부터 개인 정보 또는 민감 정보를 포함하는 하나 이상의 블러링 후보 영역을 검출한다(S103).

이후, 컴퓨팅 장치(200)는, 상기 블러링 후보 영역에 대응하는 화질 개선 보정을 처리한다(S105).

그리고, 컴퓨팅 장치(200)는, 상기 화질 개선 보정 처리된 블러링 후보 영역별 세부 객체 인식을 수행한다(S107).

이후, 컴퓨팅 장치(200)는, 상기 세부 객체 인식에 대응하는 사용자 인터페이스 입력 정보에 기초하여, 상기 블러링 후보 영역 중 선택된 영역에 대한 객체별 블러링 타입을 결정한다(S109).

그리고, 컴퓨팅 장치(200)는, 결정된 블러링 타입에 따른 이미지 내 객체 블러링을 선택적으로 수행한다(S111).

여기서, 상기 블러링 대상 이미지는, 상기 원본 이미지이거나 상기 화질 개선 보정 처리된 이미지 중 어느 하나일 수 있다.

그리고, 컴퓨팅 장치(200)는, 상기 객체 블러링 처리된 이미지를 출력하는 바, 출력된 이미지는 원본 이미지에 대응하여 개인 정보 또는 민감 정보가 제거된 대체 이미지로서 이용될 수 있다(S113).

이상에서 설명한 실시예들은 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.

이상에서 살펴본 본 명세서는 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 명세서의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 명세서의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해서 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 포함하도록 정해져야 할 것이다.

Claims (10)

1. 컴퓨터 장치에 의해 실행되는 영상 내 객체 블러링 방법에 있어서,
   소셜 네트워킹 서비스상에 공유되는 영상으로부터 하나 이상의 이미지를 획득하는 단계;
   제1 인공지능 학습 모델을 이용하여, 상기 하나 이상의 이미지로부터 개인 정보 또는 민감 정보를 포함하는 하나 이상의 블러링 후보 영역을 검출하는 단계;
   상기 블러링 후보 영역이 검출된 경우, 상기 이미지에 대응하는 화질 개선 보정을 처리하는 단계;
   제2 인공지능 학습 모델을 이용하여, 상기 화질 개선 보정 처리된 이미지의 블러링 후보 영역별 세부 객체 인식을 수행하는 단계; 및
   상기 세부 객체 인식에 대응하는 사용자 인터페이스 입력 정보에 기초하여, 선택된 이미지 부분에 대한 객체 블러링을 처리하는 단계를 포함하되,
   상기 객체 블러링을 처리하는 단계는,
   상기 세부 객체 인식에 대응하는 하나 이상의 섬네일(Thumbnail) 이미지를 생성하는 단계;
   상기 섬네일 이미지를 포함하는 상기 사용자 인터페이스를 상기 영상 내 일 부분에 오버랩하여 출력하는 단계;
   상기 사용자 인터페이스에 대응하는 사용자 선택 입력에 따라, 블러링 대상 객체를 선택하는 단계; 및
   상기 선택된 블러링 대상 객체에 대응하는 선택적 객체 블러링을 처리하는 단계를 포함하는
   객체 블러링 방법.
   
2. 제1항에 있어서,
   상기 블러링 후보 영역을 검출하는 단계는,
   학습 이미지에 대응하여, 개인 정보 또는 민감 정보의 존재 가능성이 기계학습 처리된 상기 제1 인공지능 학습 모델을 이용하여, 상기 블러링 후보 영역을 검출하는 단계를 포함하는
   객체 블러링 방법.
3. 제2항에 있어서,
   상기 세부 객체 인식을 수행하는 단계는,
   상기 화질 개선 보정 처리된 블러링 후보 영역의 카테고리를 식별하는 단계; 및
   상기 카테고리에 대응하는 이미지 객체 인식용 기계학습이 독립적으로 개별 처리된, 카테고리별 이미지 객체 인식용 상기 제2 인공지능 학습 모델을 이용하여, 상기 블러링 후보 영역 별 세부 객체 인식을 각각 수행하는 단계를 포함하는
   객체 블러링 방법.
4. 제3항에 있어서,
   상기 블러링 후보 영역의 카테고리는 텍스트 기반 개인 정보, 얼굴 기반 개인 정보, 민감 정보 중 적어도 하나를 포함하는
   객체 블러링 방법.
5. 삭제
6. 제1항에 있어서,
   상기 선택적 객체 블러링을 처리하는 단계는,
   상기 사용자 인터페이스에 대응하는 사용자 입력에 따라, 블러링 대상 객체별 블러링 타입을 결정하는 단계; 및
   상기 결정된 블러링 대상 객체별 블러링 타입에 따른 객체 블러링을 처리하는 단계를 포함하고,
   상기 객체별 블러링 타입은, 객체 내 블러 영역의 형태, 크기, 블러 방식 중 적어도 하나를 상이하게 설정하는 설정 정보를 포함하는
   객체 블러링 방법.
7. 제6항에 있어서,
   상기 소셜 네트워킹 서비스상에 공유되는 제1 영상은 실시간 프레임 이미지를 포함하고,
   상기 객체 블러링을 처리하는 단계는,
   상기 실시간 프레임 이미지 중 획득된 제1 이미지에 대응하여 설정된 블러링 대상 객체별 블러링 타입을, 이후 획득되는 하나 이상의 제2 이미지에 대응하여도 동일하게 적용하여 객체 블러링을 처리하는 단계를 더 포함하는
   객체 블러링 방법.
8. 제6항에 있어서,
   상기 사용자 인터페이스는, 상기 블러링 대상 객체별 블러링 처리 여부를 선택할 수 있는 그래픽 토글(TOGGLE) 스위치 인터페이스를 포함하는
   객체 블러링 방법.
9. 제1항 내지 제4항 및 제6항 내지 제8항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위해 컴퓨터 판독 가능한 매체에 저장되는 컴퓨터프로그램.
10. 컴퓨터 장치에 있어서,
    소셜 네트워킹 서비스상에 공유되는 영상으로부터 하나 이상의 이미지를 획득하는 이미지 정보 획득부;
    제1 인공지능 학습 모델을 이용하여, 상기 하나 이상의 이미지로부터 개인 정보 또는 민감 정보를 포함하는 하나 이상의 블러링 후보 영역을 검출하는 블러링 후보 영역 식별부;
    상기 블러링 후보 영역에 대응하는 화질 개선 보정을 처리하는 화질 개선 보정부;
    제2 인공지능 학습 모델을 이용하여, 상기 화질 개선 보정 처리된 블러링 후보 영역별 세부 객체 인식을 수행하는 세부 객체 인식부; 및
    상기 세부 객체 인식에 대응하는 사용자 인터페이스 입력 정보에 기초하여, 상기 블러링 후보 영역 중 선택된 영역에 대한 객체 블러링을 처리하는 객체 블러링 처리부를 포함하되,
    상기 블러링 처리부는,
    상기 세부 객체 인식에 대응하는 하나 이상의 섬네일(Thumbnail) 이미지를 생성하고;
    상기 섬네일 이미지를 포함하는 상기 사용자 인터페이스를 상기 영상 내 일 부분에 오버랩하여 출력하고;
    상기 사용자 인터페이스에 대응하는 사용자 선택 입력에 따라, 블러링 대상 객체를 선택하고;
    상기 선택된 블러링 대상 객체에 대응하는 선택적 객체 블러링을 처리하는,
    컴퓨팅 장치.

Images