KR20220029212A - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20220029212A
KR20220029212A KR1020200111245A KR20200111245A KR20220029212A KR 20220029212 A KR20220029212 A KR 20220029212A KR 1020200111245 A KR1020200111245 A KR 1020200111245A KR 20200111245 A KR20200111245 A KR 20200111245A KR 20220029212 A KR20220029212 A KR 20220029212A
Authority
KR
South Korea
Prior art keywords
privacy object
privacy
image
display
output image
Prior art date
Application number
KR1020200111245A
Other languages
English (en)
Inventor
나빌 입테하스
디비연두 다스
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200111245A priority Critical patent/KR20220029212A/ko
Priority to PCT/KR2021/008907 priority patent/WO2022050558A1/ko
Publication of KR20220029212A publication Critical patent/KR20220029212A/ko
Priority to US18/116,130 priority patent/US20230205923A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G06V40/53—Measures to keep reference information secret, e.g. cancellable biometrics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치가 개시된다. 전자 장치는 애플리케이션 및 신경망 모델이 저장된 메모리, 디스플레이, 및 애플리케이션을 실행함으로써, 입력 영상을 복수의 패치로 구분하고, 복수의 패치를 신경망 모델에 입력하여 입력 영상에 포함된 프라이버시 오브젝트에 대한 정보를 획득하고, 획득된 정보에 기초하여 프라이버시 오브젝트를 가이드하는 가이드 GUI를 포함하는 출력 영상을 획득하고, 획득된 출력 영상을 디스플레이하도록 디스플레이를 제어하는 프로세서를 포함할 수 있다.

Description

전자 장치 및 그 제어 방법 { ELECTRONIC APPARATUS AND CONTROLLING METHOD THEREOF }
본 발명은 사진이나 영상에 포함된 오브젝트를 처리하여 제공하는 전자 장치 및 그 제어 방법에 관한 것이다.
종래의 전자 장치는 사진이나 영상을 촬영하고 SNS(Social Network Service)상에 업로드하거나 다른 전자 장치로 전송할 수 있었다. 그 결과, 해당 사진이나 영상 내에 원치 않는 오브젝트가 포함되어 있을 경우 프라이버시가 침해되는 문제점이 있었다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은 신경망 모델을 이용하여 사진 또는 영상에 포함된 프라이버시 오브젝트를 보호하기 위한 전자 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는, 애플리케이션이 저장된 메모리, 디스플레이, 및 상기 애플리케이션을 실행함으로써, 입력 영상을 복수의 패치로 구분하고, 상기 복수의 패치를 신경망 모델에 입력하여 상기 입력 영상에 포함된 프라이버시 오브젝트에 대한 정보를 획득하고, 상기 획득된 정보에 기초하여 상기 프라이버시 오브젝트를 가이드하는 가이드 GUI를 포함하는 출력 영상을 획득하고, 상기 획득된 출력 영상을 디스플레이하도록 상기 디스플레이를 제어하는 프로세서를 포함한다.
여기서, 상기 프로세서는, 상기 가이드 GUI를 통해 프라이버시 오브젝트가 선택되면, 상기 선택된 프라이버시 오브젝트를 보호하기 위한 처리가 수행된 상기 출력 영상을 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
여기서, 상기 프로세서는, 상기 프라이버시 오브젝트를 가이드하는 상기 가이드 GUI 및 상기 프라이버시 오브젝트를 보호하기 위한 복수의 처리 방식에 대한 정보를 포함하는 상기 출력 영상을 디스플레이하도록 상기 디스플레이를 제어하고, 상기 가이드 GUI를 통해 프라이버시 오브젝트가 선택되고, 상기 복수의 처리 방식 중 하나가 선택되면, 상기 선택된 처리 방식으로 상기 선택된 프라이버시 오브젝트를 처리하여 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기프로세서는, 상기 선택된 프라이버시 오브젝트에 대해 블러 처리, 단일 색상 처리 또는 이모지 처리 중 적어도 하나의 처리를 수행할 수 있다.
한편, 상기 프로세서는, 스타일러스 펜의 터치 입력에 의해 선택된 영역을 상기 선택된 프라이버시 오브젝트를 포함하는 영역으로 식별하고, 상기 식별된 영역에 상기 선택된 프라이버시 오브젝트를 보호하기 위한 처리를 수행하고, 상기 처리가 수행된 영역을 포함하는 상기 출력 영상을 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 프로세서는, 상기 입력 영상에 포함된 제1 프레임을 복수의 제1 패치로 구분하고 상기 복수의 제1 패치를 상기 신경망 모델에 입력하여 상기 제1 프레임에 포함된 프라이버시 오브젝트에 대한 정보를 획득하고, 상기 프라이버시 오브젝트에 대한 정보에 기초하여 상기 제1 프레임에서 상기 프라이버시 오브젝트가 식별되면, 상기 제1 프레임 이후의 프레임에서 상기 식별된 프라이버시 오브젝트를 트랙킹하여 상기 제1 프레임 이후의 프레임에서 상기 프라이버시 오브젝트를 식별할 수 있다.
또한, 상기 프로세서는, 상기 입력 영상을 적어도 일부 영역이 중첩되는 복수의 중첩 패치로 구분하고, 상기 복수의 중첩 패치를 상기 신경망 모델에 입력하여 상기 입력 영상에 포함된 프라이버시 오브젝트에 대한 정보를 획득할 수 있다.
한편, 상기 프로세서는, 상기 출력 영상에 기 설정된 이미지 필터를 적용하여 상기 출력 영상을 필터링하고, 상기 필터링된 영상을 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
여기서, 상기 기 설정된 이미지 필터는, 타 신경망 모델에 대한 적대적 노이즈 필터 또는 워터 마크 필터 중 적어도 하나를 포함할 수 있다.
여기서, 상기 프로세서는, 상기 적대적 노이즈 필터 또는 워터 마크 필터 중 적어도 하나를 선택하기 위한 UI를 디스플레이하도록 상기 디스플레이를 제어하고, 상기 UI를 통해 선택된 이미지 필터가 적용된 상기 출력 영상을 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
한편, 본 발명의 일 실시 예에 따른 제어 방법은, 입력 영상에 대한 프라이버시 보호 모드가 실행되면, 입력 영상을 복수의 패치로 구분하는 단계,
상기 복수의 패치를 신경망 모델에 입력하여 상기 입력 영상에 포함된 프라이버시 오브젝트에 대한 정보를 획득하는 단계, 상기 획득된 정보에 기초하여 상기 프라이버시 오브젝트를 가이드하는 가이드 GUI를 포함하는 출력 영상을 획득하는 단계, 및 상기 획득된 출력 영상을 디스플레이하는 단계를 포함할 수 있다.
여기서, 상기 획득된 출력 영상을 디스플레이하는 단계는, 상기 가이드 GUI를 통해 프라이버시 오브젝트가 선택되면, 상기 선택된 프라이버시 오브젝트를 보호하기 위한 처리가 수행하고, 상기 처리가 수행된 상기 출력 영상을 디스플레이할 수 있다.
여기서, 상기 선택된 프라이버시 오브젝트를 보호하기 위한 복수의 처리 방식에 대한 정보를 디스플레이하는 단계를 더 포함하며, 상기 획득된 출력 영상을 디스플레이하는 단계는, 상기 가이드 GUI를 통해 프라이버시 오브젝트가 선택되고, 상기 복수의 처리 방식 중 하나가 선택되면, 상기 선택된 처리 방식으로 상기 선택된 프라이버시 오브젝트를 처리하여 디스플레이할 수 있다.
또한, 상기 획득된 출력 영상을 디스플레이하는 단계는, 상기 선택된 프라이버시 오브젝트에 대해 블러 처리, 단일 색상 처리 또는 이모지 처리 중 적어도 하나의 처리를 수행할 수 있다.
한편, 스타일러스 펜의 터치 입력에 의해 선택된 영역을 상기 선택된 프라이버시 오브젝트를 포함하는 영역으로 식별하는 단계를 더 포함하며, 상기 획득된 출력 영상을 디스플레이하는 단계는, 상기 식별된 영역에 상기 선택된 프라이버시 오브젝트를 보호하기 위한 처리를 수행하고, 상기 처리가 수행된 영역을 포함하는 상기 출력 영상을 디스플레이할 수 있다.
한편, 상기 프라이버시 오브젝트에 대한 정보를 획득하는 단계는, 상기 입력 영상에 포함된 제1 프레임을 복수의 제1 패치로 구분하고 상기 복수의 제1 패치를 상기 신경망 모델에 입력하여 상기 제1 프레임에 포함된 프라이버시 오브젝트에 대한 정보를 획득하는 단계, 및 상기 프라이버시 오브젝트에 대한 정보에 기초하여 상기 제1 프레임에서 상기 프라이버시 오브젝트가 식별되면, 상기 제1 프레임 이후의 프레임에서 상기 식별된 프라이버시 오브젝트를 트랙킹하여 상기 제1 프레임 이후의 프레임에서 상기 프라이버시 오브젝트를 식별하는 단계를 포함할 수 있다.
또한, 상기 프라이버시 오브젝트에 대한 정보를 획득하는 단계는, 상기 입력 영상을 적어도 일부 영역이 중첩되는 복수의 중첩 패치로 구분하고, 상기 복수의 중첩 패치를 상기 신경망 모델에 입력하여 상기 입력 영상에 포함된 프라이버시 오브젝트에 대한 정보를 획득할 수 있다.
한편, 상기 출력 영상에 기 설정된 이미지 필터를 적용하여 상기 출력 영상을 필터링하는 단계를 더 포함하고, 상기 획득된 출력 영상을 디스플레이하는 단계는, 상기 필터링된 영상을 디스플레이할 수 있다.
여기서, 상기 기 설정된 이미지 필터는, 타 신경망 모델에 대한 적대적 노이즈 필터 또는 워터 마크 필터 중 적어도 하나를 포함할 수 있다.
여기서, 상기 적대적 노이즈 필터 또는 워터 마크 필터 중 적어도 하나를 선택하기 위한 UI를 디스플레이하는 단계를 더 포함하고, 상기 획득된 출력 영상을 디스플레이하는 단계는, 상기 UI를 통해 선택된 이미지 필터가 적용된 상기 출력 영상을 디스플레이할 수 있다.
본 개시의 다양한 실시 예에 따르면, 사진 또는 영상에 포함된 오브젝트에 관해 프라이버시를 효율적으로 보호할 수 있다.
도 1은 종래 기술의 문제점을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 3a는 프라이버시 오브젝트의 일 예를 설명하기 위한 도면이다.
도 3b는 프라이버시 오브젝트의 다른 예를 설명하기 위한 도면이다.
도 3c는 프라이버시 오브젝트의 또 다른 예를 설명하기 위한 도면이다.
도 4a는 입력 이미지 내의 프라이버시 오브젝트 검출을 설명하기 위한 도면이다.
도 4b는 프라이버시 오브젝트를 처리하는 방식의 일 예를 설명하기 위한 도면이다.
도 4c는 프라이버시 오브젝트를 처리하는 방식의 다른 예를 설명하기 위한 도면이다.
도 4d는 프라이버시 오브젝트를 처리하는 방식의 또 다른 예를 설명하기 위한 도면이다.
도 5는 프라이버시 오브젝트를 트랙킹을 설명하기 위한 도면이다.
도 6a는 입력 영상을 구분하는 일 예를 설명하기 위한 도면이다.
도 6b는 입력 영상을 구분하는 다른 예를 설명하기 위한 도면이다.
도 7a는 입력 영상 전체에 대한 적대적 노이즈 필터를 적용을 설명하기 위한 도면이다.
도 7b는 입력 영상 일부에 대한 적대적 노이즈 필터 적용을 설명하기 위한 도면이다.
도 7c는 입력 영상에 대한 워터 마크 필터 적용을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 신경망 모델을 설명하기 위한 도면이다.
도 9는 스타일러스 펜을 통한 영역 지정을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 기능적 구성을 구체적으로 설명하기 위한 블록도이다.
도 11은 본 개시의 일 실시 예에 따른 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 개시에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 본 발명의 이해를 돕기 위한 프라이버시 보호 기술을 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따른 전자 장치(100)는 SNS(Social Network Service)를 제공하는 애플리케이션을 실행하고, 이에 따른 애플리케이션 화면을 제공할 수 있다. 이 경우, 사용자 자신이나 타 사용자의 모습이 촬영된 사진이 애플리케이션을 통해 업로드되면, 해당 SNS 계정에 접속 가능한 다수의 사용자에게 해당 사진이 제공될 수 있다. 타 사용자가 사용자의 모습이 촬영된 사진 등을 업로드한 경우 전자 장치(100)는 사용자에게 SNS 알림 화면(10)을 통해 알림(11, 12, 13)을 제공할 수 있다.
이 경우, 사용자나 타 사용자 입장에서 자신의 모습(21)이 SNS를 통해 공개되는 것을 원치 않을 수 있으며, 이 경우 프라이버시 보호를 위해 대응되는 이미지를 처리하여 제공할 필요성이 있게 된다.
이하에서는, 본 개시의 다양한 실시 예에 따라 전자 장치(100)에서 프라이버시 보호가 요구되는 오브젝트를 처리하여 제공하는 다양한 실시 예에 대해 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 전자 장치(100)는 메모리(110), 디스플레이(120) 및 프로세서(130)를 포함할 수 있다. 전자 장치(100)는 스마트폰으로 구현될 수 있으나, 이에 한정되는 것은 아니며 애플리케이션을 실행할 수 있는 기기, 예를 들어 태블릿 PC, 이동 전화기, 영상 전화기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, PDA, PMP(portable multimedia player), MP3 플레이어, 카메라, 가상 현실(virtual reality(VR)) 구현 장치 또는 웨어러블 장치 등 다양한 기기로 구현될 수 있다.
메모리(110)는 본 개시의 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(110)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
일 예에 따라 메모리(110)는 전자 장치(100)를 제어하기 위한 적어도 하나의 인스트럭션(instruction) 또는 인스트럭션들을 포함하는 컴퓨터 프로그램을 저장할 수 있다.
다른 예에 따라, 메모리(110)는 복수의 레이어를 포함하는 신경망 모델에 관한 정보를 저장할 수 있다. 여기서, 신경망 모델에 관한 정보를 저장한다는 것은 신경망 모델의 동작과 관련된 다양한 정보, 예를 들어 신경망 모델에 포함된 복수의 레이어에 대한 정보, 복수의 레이어 각각에서 이용되는 파라미터(예를 들어, 필터 계수, 바이어스 등)에 대한 정보 등을 저장한다는 것을 의미할 수 있다. 예를 들어, 메모리(110)는 일 실시 예에 따라 추천 행정 정보를 획득하도록 학습된 신경망 모델에 대한 정보를 저장할 수 있다. 다만, 프로세서(130)가 신경망 모델 전용 하드웨어로 구현되는 경우, 신경망 모델에 관한 정보는 프로세서(130) 내부 메모리에 저장될 수도 있다.
일 실시 예에 따르면, 메모리(110)는 본 개시에 따른 다양한 동작들에서 생성되는 데이터를 저장하는 단일 메모리로 구현될 수 있다. 다만, 다른 실시 예에 따르면, 메모리(110)는 상이한 타입의 데이터를 각각 저장하거나, 상이한 단계에서 생성되는 데이터를 각각 저장하는 복수의 메모리를 포함하도록 구현될 수도 있다.
일 예에 따라, 메모리(110)는 애플리케이션 및 프로세서(130)에 의해 실행되는 적어도 하나의 명령어를 저장할 수 있다. 여기서, 명령어는 프로세서(130)가 입력 영상을 신경망 모델에 입력하여 출력 영상을 획득하기 위한 명령어일 수 있다.
다른 예에 따라, 메모리(110)는 본 개시의 다양한 실시 예에 따른 신경망 모델을 저장할 수 있다. 여기서, 신경망 모델은 복수의 영상에 기초하여 기계 학습(Machine Learning)된 모델일 수 있다. 얘를 들어, 신경망 모델은 복수의 샘플 영상 또는 훈련 영상 중에 적어도 하나에 기초하여 CNN(Convolution Neural Network) 또는 DNN(deep neural network) 학습된 모델일 수 있다.
여기서, CNN은 음성처리, 이미지 처리 등을 위해 고안된 특수한 연결구조를 가진 다층신경망이며, DNN(deep neural network)은 뇌 신경을 모사한 인공 신경망 모델의 대표적인 예시이다.
상술한 신경망 모델들은 본 개시의 다양한 실시 예 중 일부이며, 신경망 모델이 CNN 또는 DNN으로 한정되지 않음은 물론이다.
이상에서는 본 개시의 일 실시 예에 따른 전자 장치(100)는 메모리(110) 내에 신경망 모델을 저장하고 있는 것으로 설명하였으나, 신경망 모델은 전자 장치(100)가 아닌 별도의 서버(미도시)에 저장된 것일 수도 있다.
이 경우, 전자 장치(100)는 통신부(미도시)를 구비할 수 있고, 프로세서(130)는 신경망 모델을 저장하고 있는 서버와 데이터를 송수신하도록 통신부를 제어할 수 있다. 예를 들어, 전자 장치(100)는 입력 영상으로부터 획득된 복수의 패치를 서버(미도시)로 전송하고, 서버(미도시)로부터 신경망 모델을 통해 획득된 프라이버시 오브젝트에 대한 정보를 수신할 수 있다.
디스플레이(120)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, QLED(Quantum dot light-emitting diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(120) 내에는 TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(120)는 터치 센서와 결합된 터치 스크린, 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
프로세서(130)는 전자 장치(100)의 동작을 전반적으로 제어한다.
구체적으로, 프로세서(130)는 전자 장치(100)의 각 구성과 연결되어 전자 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(130)는 메모리(110) 및 디스플레이(120)와 연결되어 전자 장치(100)의 동작을 제어할 수 있다.
일 실시 예에 따라 프로세서(130)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), NPU(Neural Processing Unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)) 등 다양한 이름으로 명명될 수 있으나, 본 명세서에서는 프로세서(130)로 기재한다. 프로세서(130)는 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 또한, 프로세서(130)는 SRAM 등의 휘발성 메모리를 포함할 수 있다.
또한, 일 실시 예에 따른 신경망 모델을 실행하기 위한 프로세서(130)는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 신경망 전용 프로세서과 소프트웨어의 조합을 통해 구현될 수 있다. 프로세서(130)는, 메모리(110) 또는 별도의 서버(미도시)에 저장된 기 정의된 동작 규칙 또는 신경망 모델에 따라, 입력 데이터를 처리하도록 제어할 수 있다. 또는, 프로세서(130)가 전용 프로세서(또는 신경망 전용 프로세서)인 경우, 특정 신경망 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. 예를 들어, 특정 신경망 모델의 처리에 특화된 하드웨어는 ASIC, FPGA 등의 하드웨어 칩으로 설계될 수 있다. 프로세서(130)가 전용 프로세서로 구현되는 경우, 본 개시의 실시 예를 구현하기 위한 메모리를 포함하도록 구현되거나, 외부 메모리를 이용하기 위한 메모리 처리 기능을 포함하도록 구현될 수 있다.
일 실시 예에 따른 프로세서(130)는 애플리케이션을 실행함으로써, 입력 영상을 복수의 패치로 구분하고, 복수의 패치를 신경망 모델에 입력하여 입력 영상에 포함된 프라이버시 오브젝트에 대한 정보를 획득할 수 있다. 여기서, 복수의 패치 각각은 복수의 픽셀을 포함하는 픽셀 영역으로 n*n 형태가 될 수 있다. 예를 들어, 패치의 크기는 5*5 가 될 수 있으나, 이에 한정되는 것은 아니며, 3*3, 4*4 등 다양한 크기로 구현 가능하다.
일 예에 따라, 복수의 패치는 일부 픽셀 영역이 중첩되는 중첩 패치로 구현될 수 있으나, 이에 한정되는 것은 아니며, 다른 예에 따라 픽셀 영역이 중첩되지 않은 비중첩 패치로 구현될 수 있다. 여기서, 입력 영상을 복수의 패치로 구분하는 것은 다수의 픽셀로 구성된 입력 영상 전체를 한 번에 프로세싱하는 것보다 프로세서(130)의 연산 부담이 적기 때문이다.
이어서, 프로세서(130)는 획득된 정보에 기초하여 프라이버시 오브젝트를 가이드하는 가이드 GUI를 포함하는 출력 영상을 획득하고, 획득된 출력 영상을 디스플레이하도록 디스플레이(120)를 제어할 수 있다. 여기서, 프라이버시 오브젝트란 불특정 다수에게 공개될 경우 프라이버시 침해가 발생할 우려가 있는 객체를 의미한다.
예를 들어, 프라이버시 오브젝트는 사람의 얼굴, 문서의 내용 기타 사용자가 타 사용자에게 공개하기를 원치 않는 다양한 객체일 수 있다.
여기서, 프라이버시 오브젝트에 대한 정보란 프라이버시 오브젝트의 종류 정보, 프라이버시 오브젝트가 위치하는 영역 정보, 프라이버시 오브젝트의 중요도 정보 중 적어도 하나 이상의 정보를 포함할 수 있다
여기서, 가이드 GUI는 입력 영상에서 포함된 프라이버시 오브젝트의 위치를 가이드하기 위한 것으로, 전자 장치(100)는 가이드 GUI를 포함하는 출력 영상을 출력함으로써, 사용자에게 프라이버시 오브젝트에 대한 프롬프팅(prompting)을 제공할 수 있다. 입력부(150)를 통해 사용자 명령이 입력되면, 프로세서(130)는 가이드 GUI를 통해 피드백을 제공하거나, 가이드 GUI를 제거하도록 디스플레이(120)를 제어할 수 있다.
여기서, 가이드 GUI를 통해 프라이버시 오브젝트 및 프라이버시 오브젝트를 보호하기 위한 복수의 처리 방식 중 하나가 선택되면, 프로세서(130)는 선택된 프라이버시 오브젝트를 보호하기 위한 처리가 수행된 출력 영상을 디스플레이하도록 디스플레이(120)를 제어할 수 있다.
예를 들어, 프로세서(130)는 선택된 프라이버시 오브젝트에 대해 블러 처리, 단일 색상 처리 또는 이모지 처리 중 적어도 하나의 처리를 수행할 수 있다.
다른 실시 예에 따르면, 사용자의 터치 입력에 의해 프라이버시 오브젝트를 포함하는 영역이 선택될 수 있다. 예를 들어, 프로세서(130)는 스타일러스 펜(30)을 통한 입력에 기초하여 프라이버시 오브젝트를 포함하는 영역을 지정할 수 있다.
스타일러스 펜(30)이란 전자적인 원리를 이용한 필기구로서, 터치 스크린을 구비한 스마트폰, PDA, 태블릿 컴퓨터에 대한 필기를 수행하기 위한 장치이다. 스타일러스 펜(30)은 전자 장치(100)에 결합 가능하도록 구현될 수도 있으나, 이에 한정되지 않으며 전자 장치(100)와 별도의 제품으로 구현될 수도 있다.
프로세서(130)는 스타일러스 펜(30)의 터치 입력에 의해 선택된 영역을 선택된 프라이버시 오브젝트를 포함하는 영역(이하, 프라이버시 오브젝트 영역)으로 식별하고, 식별된 영역에 선택된 프라이버시 오브젝트를 보호하기 위한 처리를 수행할 수 있다.
스타일러스 펜(30)을 통해 프라이버시 오브젝트 영역이 선택되는 경우, 프로세서(130)가 입력 영상을 복수의 패치로 구분하고, 프라이버시 오브젝트에 대한 정보를 획득하는 과정이 생략될 수 있다. 이에 따라, 디스플레이(120) 상에 표시된 GUI를 통해 프라이버시 오브젝트를 선택하는 단계가 생략되므로, 프로세서(130)는 더욱 빠르게 프라이버시 오브젝트에 대한 보호 프로세스를 수행할 수 있는 효과가 있다.
나아가, 스타일러스 펜(30)을 통해 프라이버시 오브젝트 영역이 선택되는 경우, 프로세서(130)는 출력 영상에 프라이버시 오브젝트를 보호하기 위한 복수의 처리 방식에 대한 정보를 포함시키지 않을 수 있다. 그 대신, 프로세서(130)는 스타일러스 펜(30)에 구비된 버튼(미도시) 조작 내지 제스처 등을 통한 입력으로부터 프라이버시 오브젝트에 대한 처리 방식을 식별할 수 있다.
한편, 프로세서(130)는 입력 영상에 포함된 제1 프레임을 복수의 제1 패치로 구분하고 복수의 제1 패치를 신경망 모델에 입력하여 제1 프레임에 포함된 프라이버시 오브젝트에 대한 정보를 획득할 수 있다. 이어서 프로세서(130)는 프라이버시 오브젝트에 대한 정보에 기초하여 제1 프레임에서 프라이버시 오브젝트가 식별되면, 제1 프레임 이후의 프레임에서 식별된 프라이버시 오브젝트를 트랙킹하여 제1 프레임 이후의 프레임에서 프라이버시 오브젝트를 식별할 수 있다.
또한, 프로세서(130)는 입력 영상을 적어도 일부 영역이 중첩되는 복수의 중첩 패치로 구분하고, 복수의 중첩 패치를 신경망 모델이 입력하여 영상에 포함된 프라이버시 오브젝트에 대한 정보를 획득할 수 있다.
입력 영상을 중첩 패치로 구분하는 이유는 프로세서(130)가 패치 단위로 입력 영상을 처리한 후 중첩 부분에 대한 후처리를 수행할 수 있도록 하기 위함이다. 후처리의 예시로는 패치들 간의 중복 영역에 대한 평균값 처리가 사용될 수 있다.
한편, 프로세서(130)는 출력 영상에 기 설정된 이미지 필터를 적용하여 출력 영상을 필터링하고, 필터링된 영상을 디스플레이하도록 디스플레이(120)를 제어할 수 있다.
구체적으로, 기 설정된 이미지 필터는 타 신경망 모델에 대한 적대적 노이즈 필터 또는 워터 마크 필터 중 적어도 하나를 포함할 수 있다.
프로세서(130)가 프라이버시 보호를 위해 선택된 프라이버시 오브젝트 자체를 이모지로 대체하거나, 블러 처리하거나, 또는 단일 픽셀 처리할 수 있음은 앞서 설명한 바와 같다. 이러한 처리를 통해 입력 영상은 다른 사람의 눈으로부터 프라이버시를 보호할 수 있게 된다.
그러나, 이러한 프로세서(130)의 처리에 의해서는 입력 영상 자체의 외관이 바뀌거나, 입력 영상이 부자연스럽게 된다는 문제가 있다.
따라서, 사람의 눈으로부터 프라이버시를 보호하는 방법 이외에, 프로세서(130)는 기 설정된 이미지 필터를 입력 영상에 적용함으로써 타 신경망 모델로부터 프라이버시를 보호하는 방식의 영상 처리를 수행할 수도 있다.
예를 들어, 사람의 눈은 입력 영상에 적대적 노이즈 필터를 적용한 출력 영상과 입력 영상을 구분하지 못한다. 그러나, 타 신경망 모델은 적대적 노이즈 필터가 적용된 출력 영상을 입력 영상과 전혀 다른 영상으로 인지한다.
이와 마찬가지로, 워터 마크 필터는 입력 영상의 외관에 큰 영향을 주지 않으면서 타 신경망 모델로부터 프라이버시를 보호할 수 있다.
상술한 두 가지 필터는 기 설정된 이미지 필터의 일 예에 불과하며, 이 외에도 타 신경망 모델로부터 프라이버시 오브젝트를 보호할 수 있는 필터라면 어떤 것이든지 기 설정된 이미지 필터에 포함됨은 물론이다.
프로세서(130)가 입력 영상에 기 설정된 이미지 필터를 적용하는 과정에 대해서는 도 7a 내지 도 7c를 통해 상세히 설명하도록 한다.
상술한 방법에 의해 전자 장치(100)는 다른 사람의 눈으로부터 프라이버시를 보호할 수는 없지만, 타 신경망 모델로부터 입력 영상 내에 포함된 프라이버시 오브젝트가 검출되지 않게 되어, SNS와 같은 온라인 환경에서 제한적으로 프라이버시를 보호할 수 있게 된다.
여기서, 프로세서(130)는 적대적 노이즈 필터 또는 워터 마크 필터 중 적어도 하나를 선택하기 위한 UI를 디스플레이하도록 디스플레이(120)를 제어하고, UI를 통해 선택된 이미지 필터가 적용된 출력 영상을 디스플레이하도록 디스플레이(120)를 제어할 수 있다.
도 3a는 프라이버시 오브젝트의 일 예를 설명하기 위한 도면이다.
프라이버시 오브젝트의 첫 번째 예는 사진 등에 포함되기를 원치 않는 사람들의 얼굴이다.
도 3a를 참조하면, 사진(300-1)에는 다섯 명의 모습이 포함되어 있다.
사진(300-1)에 포함된 다섯 명 중, 전방을 주시하고 있는 두 명(301, 302)을 제외한 나머지 세 명(303, 304, 305)은 사진(300-1)에 포함되기를 원치 않는 행인일 수 있다. 행인 등은 자신들의 얼굴이 사진에 포함되기를 원치 않을 것이다.
전방을 주시하고 있는 두 명(301, 302) 역시 사진에 포함된 자신의 표정이 마음에 들지 않는 경우, 해당 사진에 자신의 얼굴이 포함되지 않기를 바라는 경우도 있다.
따라서, 프로세서(130)는 사진(300-1)에 포함된 사람들의 얼굴을 모두 프라이버시 오브젝트로 식별한다.
이어서 전자 장치(100)는 프라이버시 오브젝트로 식별된 사람들의 얼굴을 가이드하는 가이드 GUI(311, 312, 321, 322, 323)을 포함하는 출력 영상을 디스플레이할 수 있다.
사용자가 가이드 GUI를 통해 보호하기를 희망하는 프라이버시 오브젝트를 선택하면, 전자 장치(100)는 오브젝트를 보호하기 위한 처리를 수행하여 출력 영상을 디스플레이 할 수 있다.
예를 들어, 사용자가 사진 상에 포함된 행인(303, 304, 305)에 대한 프라이버시를 보호 하기 위한 입력을 하는 경우, 프로세서(130)는 행인의 얼굴에 해당하는 프라이버시 오브젝트 포함 영역(321, 322, 323)에 대한 기 설정된 처리를 수행할 수 있다.
도 3b는 프라이버시 오브젝트의 다른 예를 설명하기 위한 도면이다.
프라이버시 오브젝트의 두 번째 예는 보안 유지가 필요한 문서의 내용이다.
도 3b를 참고하면, 사진(300-2)에는 사용자(306) 뒤로 모니터(307)가 위치하고 있다.
모니터(307) 상에 표시된 내용은 보안이 유지되어야 할 중요한 문서의 내용일 수 있다. 중요한 문서의 내용이 사진에 포함될 수 있음을 간과하고 촬영을 한 경우, 사용자(306)는 이러한 문서의 내용이 사진(300-2)에 포함되기를 원치 않을 것이다.
따라서, 전자 장치(100)는 모니터 화면(307)을 프라이버시 오브젝트로 식별하고, 이를 포함하는 영역(330)을 나타내는 GUI를 포함한 출력 영상을 디스플레이할 수 있다.
도 3b에서는 프라이버시 오브젝트가 모니터(307) 상에 표시되는 것으로 도시하였으나, 반드시 이에 한정되는 것은 아니며, 프라이버시 오브젝트는 책이나 유인물과 같은 하드 카피(Hard Copy)의 형태일 수 있음은 물론이다.
도 3c는 프라이버시 오브젝트의 또 다른 예를 설명하기 위한 도면이다.
프라이버시 오브젝트의 세 번째 예는 거울에 반사된 모습이다.
도 3c를 참고하면, 사진(300-3)에는 사용자(308)의 모습이 후방의 거울면(309)에 반사되어 촬영되었다. 사용자(308)는 전자 장치(100)의 촬영부(미도시)가 갖는 시야각 외에 위치하는 모습이 거울면(309)에 반사됨으로써 사진(300-3)에 포함되기를 원치 않을 것이다.
따라서, 전자 장치(100)는 거울면(309)을 프라이버시 오브젝트로 식별하고, 이를 포함하는 영역(340)을 나타내는 GUI를 포함한 출력 영상을 디스플레이할 수 있다.
도 4a는 입력 이미지 내의 프라이버시 오브젝트 검출을 설명하기 위한 도면이다.
입력 이미지(410) 상에는 세 명의 사람이 포함되어 있다. 프로세서(130)는 프라이버시 오브젝트를 검출하는 단계(420)에서 사람의 얼굴(421, 422, 423)을 프라이버시 오브젝트로 검출할 수 있다.
이어서, 전자 장치(100)는 프라이버시 오브젝트로 식별된 얼굴(421, 422, 423)을 포함하는 영역(431, 432, 433)을 가이드하는 GUI를 포함하는 출력 영상을 획득하여 디스플레이할 수 있다.
프로세서(130)는 사용자가 선택한 처리 방식으로 프라이버시 오브젝트에 대한 보호 처리를 할 수 있다.
도 4a에 도시하지는 않았으나, 프로세서(130)는 사용자가 선택한 프라이버시 오브젝트 보호를 위한 복수의 처리 방식을 가이드하는 GUI를 출력 영상에 추가로 포함시킬 수 있다.
이어서 복수의 처리 방식 중 하나가 사용자 입력(예를 들어 사용자 손의 터치 입력, 스타일러스 펜의 터치 입력)에 의해 선택되면, 프로세서(130)는 선택된 처리 방식에 따라 프라이버시 오브젝트를 보호하는 처리를 수행할 수 있다. 처리 방식에는 이모지 처리, 블러 처리, 단일 색상 처리 등이 있으나, 이에 한정되는 것은 아니다.
도 4b 내지 도 4d는 프라이버시 오브젝트를 보호하기 위한 복수의 처리 방식에 대해 설명하기 위한 도면이다. 사용자가 도 4a에서 디스플레이된 GUI를 통해 프라이버시 오브젝트를 선택하면, 프로세서(130)는 선택된 프라이버시 오브젝트를 보호하기 위한 처리를 수행한다. 도 4b 내지 도 4d에 대해서는, 사용자가 모든 얼굴(421, 422, 423)을 보호할 프라이버시 오브젝트로 선택한 경우를 전제로 설명한다.
도 4b는 프라이버시 오브젝트를 처리하는 방식의 일 예를 설명하기 위한 도면이다.
프로세서(130)는 선택된 프라이버시 오브젝트에 대해 이모지 처리를 수행할 수 있다. 메모리(110)에 기 저장된 것일 수도 있고, 온라인 상에서 다운로드할 수도 있다.
프로세서(130)는 사용자의 입력에 기초하여 이모지를 적용할 수도 있으나, 프로세서(130)가 임의의 이모지를 적용할 수도 있다.
도 4c는 프라이버시 오브젝트를 처리하는 방식의 다른 예를 설명하기 위한 도면이다.
프로세서(130)는 선택된 프라이버시 오브젝트에 대해 단일 색상 처리를 수행할 수 있다. 도 4c에서는 선택된 프라이버시 오브젝트(431, 432, 433)를 블랙 픽셀로 변환하는 것으로 도시하였으나, 반드시 단일 색상이 블랙 색상으로 제한되는 것은 아니다.
도 4d는 프라이버시 오브젝트를 처리하는 방식의 또 다른 예를 설명하기 위한 도면이다.
프로세서(130)는 선택된 프라이버시 오브젝트에 대해 블러 처리를 수행할 수 있다. 도 4d에서는 선택된 프라이버시 오브젝트(431, 432, 433)에 가우시안 필터를 사용하여 블러 처리를 하는 것으로 변환하는 것으로 도시하였으나, 반드시 가우시안 필터를 사용할 필요는 없다. 영상 내 노이즈를 제거하여 스무싱(Smoothing) 효과를 발생시키는 필터라면 어떠한 필터라도 블러 처리에 사용될 수 있다.
또한, 프로세서(130)가 도 4b 내지 4d에서 설명한 처리 방식 이외에도, 프라이버시 오브젝트를 보호하기 위한 다양한 방식을 사용할 수 있음은 물론이다.
도 5는 프라이버시 오브젝트를 트랙킹을 설명하기 위한 도면이다.
프레임 1(510)에서, 프로세서(130)는 화면 좌측에서 걸어오는 사람의 얼굴을 프라이버시 오브젝트로 식별한다. 가이드 GUI로 표시된 영역(511)은 식별된 프라이버시 오브젝트를 포함한다.
프로세서(130)는 한번 프라이버시 오브젝트가 식별되면, 그 후 프레임 전체에 걸쳐 이를 트랙킹할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(130)는 딥러닝 모델을 지속적으로 사용하여 프라이버시 오브젝트를 트랙킹할 수도 있으나, 검출된 프라이버시 오브젝트에서 해리스 코너와 같은 특징을 추출하고, RANSAC(Random Sample Consensus) 또는 KLT(Kanade-Lucas-Tomasi)와 같은 알고리즘을 이용해 프라이버시 오브젝트를 트랙킹할 수 있다. 이러한 알고리즘을 사용해 프라이버시 오브젝트를 트랙킹하는 경우, 프로세서(130)의 연산 부담을 줄일 수 있는 효과가 있다.
프레임 4(520)와 프레임 7(530)를 참고하면, 전자 장치(100)는 최초에 식별된 프라이버시 오브젝트를 계속해서 트랙킹하며 이를 가이드하는 가이드 GUI(521, 531)를 디스플레이 한다.
한편, 프로세서(130)는 식별된 프라이버시 오브젝트가 상당 부분 변경되는 경우 트랙킹을 중단할 수 있다.
프레임 10(540)을 참고하면, 화면 좌측의 사람이 진행방향을 바꿈에 따라 기존에 식별되었던 프라이버시 오브젝트가 소멸되는 경우 프로세서(130)는 트랙킹을 중단하고 새로운 프라이버시 오브젝트를 검출할 수 있다.
도 6a 및 6b는 입력 영상(600)을 구분하는 방법을 설명하기 위한 도면이다.
도 6a를 참조하면, 본 개시의 일 실시 예에 따른 프로세서(130)는 입력 영상(600)을 복수의 패치(611)로 구분할 수 있다. 이 경우 프로세서(130)는 입력 영상(600)을 서로 중첩되지 않는 복수의 패치로 구분할 수 있다(610).
이어서 프로세서(130)는 구분한 패치 단위로 신경망 모델에 의한 프로세싱을 수행한다. 패치 단위 프로세싱은 프로세서(130)에 연산 부담을 적게 주기 때문에, 영상 처리 관련 기술 분야에서 흔히 사용되는 방식이다.
도 6b를 참조하면, 본 개시의 다른 실시 예에 따른 프로세서(130)는 입력 영상(600)을 적어도 일부 영역이 중첩되는 복수의 패치로 구분할 수도 있다(620).
중첩 패치 중 하나의 패치 1(621)은 인접한 다른 중첩 패치 중 하나인 패치 2(622)와 일부 영역이 중첩되어 있다. 마찬가지로 패치 2(622)는 인접한 다른 중첩 패치들(621, 623)과 일부 영역이 중첩되어 있다.
중첩 패치로 영상을 구분하면 프로세서(130)가 신경망 모델을 통해 프라이버시 오브젝트에 대한 정보를 획득함에 있어 그 정확도를 향상시킬 수 있다.
도 6b에서는 복수의 중첩 패치(621, 622, 623)의 크기가 비중첩 패치(611)의 4배인 2x2 패치로 도시하였으나, 이는 얼마든지 다른 크기의 패치로 구분될 수 있다. 또한, 인접한 다른 중첩 패치들과 겹치는 중첩 영역의 크기 역시 임의로 설정 가능함은 물론이다.
예를 들어 패치의 크기 및 중첩 영역의 크기가 커질수록 전자 장치(100)의 성능은 향상될 수 있으나, 프로세서(130)의 처리 시간이 증가하며, 영상의 해상도가 감소할 수 있으므로, 패치의 크기와 중첩 영역의 크기를 적절히 설정할 필요가 있다.
도 7a 내지 7c는 타 신경망 모델이 프라이버시 오브젝트를 검출하지 못하도록 입력 영상을 처리하는 방식을 설명하기 위한 도면이다.
도 7a는 입력 영상 전체에 대한 적대적 노이즈 필터를 적용을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 프로세서(130)는 입력 영상 전체에 대해 적대적 노이즈 필터를 적용할 수 있다. 프로세서(130)는 적대적 노이즈 필터를 적용해 입력 영상에 작은 변화를 주어 타 신경망 모델이 입력 영상에 포함된 프라이버시 오브젝트를 정확하게 검출하지 못하게 할 수 있다.
프로세서(130)는 노이즈 필터를 적용함에 있어, 화이트박스 방식과 블랙박스 방식 중 하나에 기초하여 입력 영상을 처리할 수 있다.
여기서, 화이트박스 방식은 타 신경망 모델에 대해 아키텍쳐, 입력, 출력, 가중치를 포함한 모든 정보를 알고, 이에 접근할 수 있음을 가정한 처리 방식이다.
반면, 블랙박스 방식은 타 신경망 모델에 대해 입력 및 출력에 대해서만 접근 가능하고, 타 신경망 모델의 아키텍쳐 및 가중치 정보에 대해서는 접근이 불가능함을 가정한 처리 방식이다.
또한, 프로세서(130)는 다양한 접근법을 통해 적대적 노이즈(Adversarial Noise) 필터를 적용할 수 있다. 예를 들어, 프로세서(130)는 FGSM(Fast Gradient Sign Method), 투영 그래디언트 하강, 모멘텀 반복 공격, GAN 기반 공격 등을 통해 입력 영상을 처리할 수 있다.
본 개시의 일 실시 예에 따른 GAN 기반 공격에 대해서는 도 8에서 상세히 설명하도록 한다.
도 7a를 참조하면, 전자 장치(100)는 입력 영상(700)에 적대적 노이즈 필터(710)를 적용하여 출력 영상(720)을 디스플레이 할 수 있다.
이 경우, 출력 영상(720)은 사람의 눈으로는 입력 영상(710)과 차이를 구분할 수 없으나, 타 신경망 모델은 출력 영상(720)을 입력 영상(700)과 전혀 다른 영상으로 인식하게 된다.
그 결과, 타 신경망 모델은 출력 영상(720)으로부터 입력 영상(700)에 포함된 프라이버시 오브젝트(얼굴 등)를 정확하게 검출해 낼 수 없다. 이를 통해, 전자 장치(100)는 타 신경망 모델이 온라인 상에 업로드 된 출력 영상(710)에서 사용자가 보호하고자 하는 프라이버시 오브젝트를 검출하지 못하도록 하는 기능을 수행할 수 있다.
도 7b는 입력 영상 일부에 대한 적대적 노이즈 필터 적용을 설명하기 위한 도면이다.
도 7b를 참조하면, 프로세서(130)는 입력 영상(700)에서 프라이버시 오브젝트가 포함된 영역(701)을 식별할 수 있다.
이어서 프로세서(130)는 해당 영역(701)에 대응되는 적대적 노이즈 필터(711)를 입력 영상(700)에 적용하여 출력 영상(721)을 획득할 수 있다.
이 경우, 전자 장치(100)는 도 7a에서 설명한 것과 마찬가지로 타 신경망 모델이 온라인 상에 업로드 된 출력 영상(721)에서 사용자가 보호하고자 하는 프라이버시 오브젝트를 검출하지 못하도록 하는 기능을 수행할 수 있다.
도 7c는 입력 영상에 대한 워터 마크 필터 적용을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 프로세서(130)는 입력 영상(700)에 디지털 워터 마크(731)가 포함된 워터 마크 필터(730)를 적용해 입력 영상(700)을 처리할 수 있다.
디지털 워터 마크는 본래 사진이나 동영상 같은 각종 디지털 데이터에 저작권 정보와 같은 비밀 정보를 삽입할 때 사용된다.
본 개시의 일 실시 예에 따른 디지털 워터 마크로는 전자 장치(100) 제조사의 제조사 명 또는 메모리(110)에 저장된 애플리케이션의 이름 등을 사용할 수 있으나, 반드시 이에 한정되는 것은 아니며, 문자 및 도형 등으로 이루어진 것이라면 디지털 워터 마크로 사용될 수 있다.
본 개시의 일 실시 예에 따른 프로세서(130)는 디지털 워터 마크(731)를 입력 영상(700)에 삽입하여 타 신경망 모델이 출력 영상(740)에서 프라이버시 오브젝트를 검출하지 못하게 한다.
이 점에서, 프로세서(130)는 입력 영상(700)에 디지털 워터 마크(731)를 적용하여 적대적 노이즈 필터(710)를 적용한 경우와 같이 타 신경망 모델로부터 프라이버시 오브젝트를 보호할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 신경망 모델을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 신경망 모델은 GAN(Generative Adversarial Networks) 기반의 모델일 수 있다. GAN은 가상의 데이터 샘플을 생성하는 생성기(generator, 810)와 입력된 데이터 샘플이 실제 데이터인지 여부를 판별하는 판별기(discriminator, 820)로 구성된다. GAN은 생성기(810)와 판별기(820) 간의 적대적 트레이닝(adversarial training)을 통해 구축되는 기계 학습 모델을 의미한다.
생성기(810)는 노이즈(Noise Source, 800)로부터 생성한 영상(Fake Data, 802)이 입력 영상(Real Data, 801)과의 차이가 최소화되도록 학습하는 모델이며, 판별기(820)는 생성기(810)가 생성한 영상(802)과 입력 영상(801) 간의 차이 값을 식별하는 모델이다.
도 8을 참조하면, 생성기(810)는 노이즈(800)로부터 입력 영상(801)과 유사한 영상을 생성하도록 학습되기 때문에, 학습된 생성기(810)가 생성하는 영상(802)은 입력 영상(801)과 육안으로 구분하기 매우 어렵다.
본 개시의 일 실시 예에 따른 프로세서(130)가 GAN을 통해 타 신경망 모델을 공격할 수 있는 적대적 예시를 생성하기 위해서는, 프로세서(130)는 생성기(810)가 일정 수준의 학습을 통해 입력 영상(801)과 유사한 생성 영상(802)를 생성하도록 생성기(810)를 학습시킬 필요가 있다.
이후 단계에서, 프로세서(130)는 판별기(820)가 생성 영상(802)을 입력 영상(801)과 다른 영상인 것으로 분류하도록 생성기(810)에 대한 추가 학습을 시킬 수 있다.
이 결과, 프로세서(130)는 생성기(810)로 하여금 입력 영상(801)과 육안으로 보았을 때 구분하기 어려우면서도, 타 신경망 모델에 대해서는 입력 영상(801)과 다른 영상으로 분류되는 생성 영상(802)을 생성하도록 학습시킬 수 있다.
도 9a 및 9b는 스타일러스 펜을 통한 영역 지정을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 스마트 폰일 수 있다. 전자 장치(100)는 메모리(110)에 저장되어 있는 애플리케이션을 실행하여 스마트폰의 촬영 화면(900)을 디스플레이하고 사용자로부터 프라이버시 오브젝트 보호를 위한 터치 조작을 입력 받을 수 있다.
프로세서(130)는 입력 영상을 복수의 패치로 구분하고, 구분된 패치를 신경망 모델에 입력하여 프라이버시 오브젝트에 대한 정보를 획득하는 대신, 스타일러스 펜(30)을 통한 입력에 기초하여 프라이버시 오브젝트 영역을 식별할 수 있다.
도 9a를 참조하면, 애플리케이션을 실행함으로써 디스플레이되는 구동 화면(900) 상에서 전자 장치(100)는 피사체들의 해리스 코너(Harris Corner)를 검출해 이를 디스플레이 할 수 있다.
해리스 코너(Harris Corner) 검출이란 미분 값에 기초한 고유 벡터(Eigen Vector)를 이용하여 피사체의 코너를 파악하는 기술이다.
도 9a에서는 피사체의 해리스 코너가 십자가 형태로 도시되었다.
도 9b를 참조하면, 전자 장치(100)는 사용자로부터 스타일러스 펜(30)을 이용한 터치 조작을 입력 받을 수 있다.
이 경우, 프로세서(130)는 사용자가 스타일러스 펜(30)을 통해 입력한 궤적(910)을 식별하고, 해당 궤적(910)과 가장 가까이 위치하는 피사체들의 해리스 코너를 식별할 수 있다.
이어서 프로세서(130)는 식별된 해리스 코너를 꼭지점으로 하는 다각형(920)을 식별하고, 식별된 다각형이 차지하는 영역을 선택된 프라이버시 오브젝트 영역으로 판단할 수 있다. 프로세서(130)는 다각형(920) 영역에 대해 프라이버시 오브젝트 보호를 위한 처리를 수행할 수 있다.
프로세서(130)가 선택된 프라이버시 오브젝트의 보호를 위해 수행할 수 있는 처리 방식에는 앞서 설명한 바와 같이 블러 처리, 단일 색상 처리, 이모지 처리, 이미지 필터 적용 등 다양한 처리 방식 중 적어도 하나 이상이 포함될 수 있다.
여기서, 프로세서(130)는 사용자가 스타일러스 펜(30)의 버튼(미도시)을 조작하거나 제스처를 통해 입력한 처리 방식 중 어느 하나를 적용할 수 있다.
스타일러스 펜(30)을 통한 조작을 하는 경우, 전자 장치(100)는 프라이버시 오브젝트를 가이드하는 가이드 GUI를 디스플레이할 필요가 없어 프로세서(130)의 연산 부담이 줄어들고, 사용자 역시 빠르게 프라이버시 오브젝트를 선택하여 보호할 수 있는 편의성이 있다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 상세 블록도이다.
도 10을 참조하면, 전자 장치(100')는 메모리(110), 디스플레이(120), 프로세서(130), 통신 인터페이스(140), 입력부(150) 및 출력부(160)를 포함한다.
메모리(110)에는 하나 이상의 인공지능 모델이 저장될 수 있다. 구체적으로, 본 개시의 일 실시 예에 따른 메모리(110)에는 입력된 영상으로부터 프라이버시 오브젝트에 대한 정보를 획득하도록 학습된 제1 신경망 모델(1000)이 저장될 수 있다. 여기서, 제1 신경망 모델(1000)은 복수의 샘플 데이터를 이용하여 학습된 모델이고, 복수의 샘플 데이터 각각에 포함된 텍스트, 정지 영상 또는 동영상 등에 기초하여 프라이버시 오브젝트에 대한 정보를 획득하도록 학습된 신경망 모델일 수 있다.
또한, 본 개시의 일 실시 예에 따른 메모리(110)에는 타 신경망 모델이 입력 영상으로부터 프라이버시 오브젝트를 검출하지 못하게 하는 적대적 이미지를 생성하도록 학습된 제2 신경망 모델(2000)이 저장될 수 있다. 예를 들어, 제2 신경망 모델(2000)은 GAN(Generative Adversarial Networks) 기반의 모델일 수 있다.
통신 인터페이스(140)는 다양한 타입의 컨텐츠를 입력받는다. 예를 들어 통신 인터페이스(140)는 AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), IEEE 1394, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), MHL(Mobile High-Definition Link), AES/EBU(Audio Engineering Society/ European Broadcasting Union), 옵티컬(Optical), 코액셜(Coaxial) 등과 같은 통신 방식을 통해 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB 메모리), 외부 서버(예를 들어 웹 하드) 등으로부터 다양한 유형의 컨텐츠를 입력받을 수 있다. 여기서, 컨텐츠는 영상 신호, 기사, 텍스트 정보, 게시물 등을 포함할 수 있다.
입력부(150)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린, 리모콘 송수신부 등으로 구현될 수 있다. 리모콘 송수신부는 적외선 통신, 블루투스 통신 또는 와이파이 통신 중 적어도 하나의 통신 방식을 통해 외부 원격 제어 장치로부터 리모콘 신호를 수신하거나, 리모콘 신호를 송신할 수 있다.
전자 장치 (100')는 구현 예에 따라 튜너 및 복조부를 추가적으로 포함할 수 있다. 튜너(미도시)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널을 튜닝하여 RF 방송 신호를 수신할 수 있다. 복조부(미도시)는 튜너에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조하고, 채널 복호화 등을 수행할 수도 있다. 일 실시 예에 따라 튜너를 통해 수신된 입력 영상은 복조부(미도시)를 통해 처리된 후, 본 개시의 일 실시 예에 따른 영상 처리를 위해 프로세서(130)로 제공될 수 있다.
도 11은 본 개시의 일 실시 예에 따른 제어 방법을 설명하기 위한 흐름도이다.
본 개시의 일 실시 예에 따른 디스플레이 제어 방법은 우선 입력 영상을 복수의 패치로 구분한다(S1110).
이어서, 구분한 복수의 패치를 신경망 모델에 입력하여 입력 영상에 포함된 프라이버시 오브젝트에 대한 정보를 획득한다(S1120).
그 다음, 획득된 정보에 기초하여 프라이버시 오브젝트를 가이드하는 가이드 GUI를 포함하는 출력 영상을 획득한다(S1130).
마지막으로, 획득된 출력 영상을 디스플레이한다(S1140).
여기서, 획득된 출력 영상을 디스플레이하는 단계(S1140)는 가이드 GUI를 통해 프라이버시 오브젝트가 선택되면, 선택된 프라이버시 오브젝트를 보호하기 위한 처리가 수행하고, 처리가 수행된 출력 영상을 디스플레이할 수 있다.
여기서, 선택된 프라이버시 오브젝트를 보호하기 위한 복수의 처리 방식에 대한 정보를 디스플레이하는 단계를 더 포함할 수 있다. 획득된 출력 영상을 디스플레이하는 단계(S1140)는 가이드 GUI를 통해 프라이버시 오브젝트가 선택되고, 복수의 처리 방식 중 하나가 선택되면, 선택된 처리 방식으로 선택된 프라이버시 오브젝트를 처리하여 디스플레이할 수 있다.
또한, 획득된 출력 영상을 디스플레이하는 단계(S1140)는 선택된 프라이버시 오브젝트에 대해 블러 처리, 단일 색상 처리 또는 이모지 처리 중 적어도 하나의 처리를 수행할 수 있다.
한편, 스타일러스 펜의 터치 입력에 의해 선택된 영역을 선택된 프라이버시 오브젝트 영역으로 식별하는 단계를 더 포함할 수 있다. 획득된 출력 영상을 디스플레이하는 단계(S1140)는 식별된 영역에 선택된 프라이버시 오브젝트를 보호하기 위한 처리를 수행하고, 처리가 수행된 영역을 포함하는 출력 영상을 디스플레이할 수 있다.
한편, 프라이버시 오브젝트에 대한 정보를 획득하는 단계(S1120)는 입력 영상에 포함된 제1 프레임을 복수의 제1 패치로 구분하고 복수의 제1 패치를 신경망 모델에 입력하여 제1 프레임에 포함된 프라이버시 오브젝트에 대한 정보를 획득하는 단계, 및 프라이버시 오브젝트에 대한 정보에 기초하여 제1 프레임에서 프라이버시 오브젝트가 식별되면, 제1 프레임 이후의 프레임에서 식별된 프라이버시 오브젝트를 트랙킹하여 제1 프레임 이후의 프레임에서 프라이버시 오브젝트를 식별하는 단계를 포함할 수 있다.
또한, 프라이버시 오브젝트에 대한 정보를 획득하는 단계(S1120)는 입력 영상을 적어도 일부 영역이 중첩되는 복수의 중첩 패치로 구분하고, 복수의 중첩 패치를 신경망 모델에 입력하여 입력 영상에 포함된 프라이버시 오브젝트에 대한 정보를 획득할 수 있다.
한편, 출력 영상에 기 설정된 이미지 필터를 적용하여 출력 영상을 필터링하는 단계를 더 포함하고, 획득된 출력 영상을 디스플레이하는 단계(S1140)는 필터링된 영상을 디스플레이할 수 있다.
여기서, 기 설정된 이미지 필터는 타 신경망 모델에 대한 적대적 노이즈 필터 또는 워터 마크 필터 중 적어도 하나를 포함할 수 있다.
여기서, 적대적 노이즈 필터 또는 워터 마크 필터 중 적어도 하나를 선택하기 위한 UI를 디스플레이하는 단계를 더 포함하고, 획득된 출력 영상을 디스플레이하는 단계(S1140)는 UI를 통해 선택된 이미지 필터가 적용된 출력 영상을 디스플레이할 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서(130) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치(100)에서의 처리 동작을 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해 되어져서는 안될 것이다.
100: 전자 장치 110: 메모리
120: 디스플레이 130: 프로세서
140: 통신 인터페이스 150: 입력부
160: 출력부

Claims (20)

  1. 전자 장치에 있어서,
    애플리케이션이 저장된 메모리;
    디스플레이; 및
    상기 애플리케이션을 실행함으로써,
    입력 영상을 복수의 패치로 구분하고,
    상기 복수의 패치를 신경망 모델에 입력하여 상기 입력 영상에 포함된 프라이버시 오브젝트에 대한 정보를 획득하고,
    상기 획득된 정보에 기초하여 상기 프라이버시 오브젝트를 가이드하는 가이드 GUI를 포함하는 출력 영상을 획득하고,
    상기 획득된 출력 영상을 디스플레이하도록 상기 디스플레이를 제어하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 가이드 GUI를 통해 프라이버시 오브젝트가 선택되면, 상기 선택된 프라이버시 오브젝트를 보호하기 위한 처리가 수행된 상기 출력 영상을 디스플레이하도록 상기 디스플레이를 제어하는, 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 프라이버시 오브젝트를 가이드하는 상기 가이드 GUI 및 상기 프라이버시 오브젝트를 보호하기 위한 복수의 처리 방식에 대한 정보를 포함하는 상기 출력 영상을 디스플레이하도록 상기 디스플레이를 제어하고,
    상기 가이드 GUI를 통해 프라이버시 오브젝트가 선택되고, 상기 복수의 처리 방식 중 하나가 선택되면, 상기 선택된 처리 방식으로 상기 선택된 프라이버시 오브젝트를 처리하여 디스플레이하도록 상기 디스플레이를 제어하는, 전자 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 선택된 프라이버시 오브젝트에 대해 블러 처리, 단일 색상 처리 또는 이모지 처리 중 적어도 하나의 처리를 수행하는, 전자 장치.
  5. 제2항에 있어서,
    상기 프로세서는,
    스타일러스 펜의 터치 입력에 의해 선택된 영역을 상기 선택된 프라이버시 오브젝트를 포함하는 영역으로 식별하고,
    상기 식별된 영역에 상기 선택된 프라이버시 오브젝트를 보호하기 위한 처리를 수행하고, 상기 처리가 수행된 영역을 포함하는 상기 출력 영상을 디스플레이하도록 상기 디스플레이를 제어하는, 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 입력 영상에 포함된 제1 프레임을 복수의 제1 패치로 구분하고 상기 복수의 제1 패치를 상기 신경망 모델에 입력하여 상기 제1 프레임에 포함된 프라이버시 오브젝트에 대한 정보를 획득하고,
    상기 프라이버시 오브젝트에 대한 정보에 기초하여 상기 제1 프레임에서 상기 프라이버시 오브젝트가 식별되면, 상기 제1 프레임 이후의 프레임에서 상기 식별된 프라이버시 오브젝트를 트랙킹하여 상기 제1 프레임 이후의 프레임에서 상기 프라이버시 오브젝트를 식별하는, 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 입력 영상을 적어도 일부 영역이 중첩되는 복수의 중첩 패치로 구분하고, 상기 복수의 중첩 패치를 상기 신경망 모델에 입력하여 상기 입력 영상에 포함된 프라이버시 오브젝트에 대한 정보를 획득하는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 출력 영상에 기 설정된 이미지 필터를 적용하여 상기 출력 영상을 필터링하고,
    상기 필터링된 영상을 디스플레이하도록 상기 디스플레이를 제어하는, 전자 장치.
  9. 제8항에 있어서,
    상기 기 설정된 이미지 필터는,
    타 신경망 모델에 대한 적대적 노이즈 필터 또는 워터 마크 필터 중 적어도 하나를 포함하는, 전자 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 적대적 노이즈 필터 또는 워터 마크 필터 중 적어도 하나를 선택하기 위한 UI를 디스플레이하도록 상기 디스플레이를 제어하고,
    상기 UI를 통해 선택된 이미지 필터가 적용된 상기 출력 영상을 디스플레이하도록 상기 디스플레이를 제어하는, 전자 장치.
  11. 전자 장치의 제어 방법에 있어서,
    입력 영상에 대한 프라이버시 보호 모드가 실행되면, 입력 영상을 복수의 패치로 구분하는 단계;
    상기 복수의 패치를 신경망 모델에 입력하여 상기 입력 영상에 포함된 프라이버시 오브젝트에 대한 정보를 획득하는 단계;
    상기 획득된 정보에 기초하여 상기 프라이버시 오브젝트를 가이드하는 가이드 GUI를 포함하는 출력 영상을 획득하는 단계; 및
    상기 획득된 출력 영상을 디스플레이하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 획득된 출력 영상을 디스플레이하는 단계는,
    상기 가이드 GUI를 통해 프라이버시 오브젝트가 선택되면, 상기 선택된 프라이버시 오브젝트를 보호하기 위한 처리가 수행하고, 상기 처리가 수행된 상기 출력 영상을 디스플레이하는, 제어 방법.
  13. 제12항에 있어서,
    상기 선택된 프라이버시 오브젝트를 보호하기 위한 복수의 처리 방식에 대한 정보를 디스플레이하는 단계;를 더 포함하며,
    상기 획득된 출력 영상을 디스플레이하는 단계는,
    상기 가이드 GUI를 통해 프라이버시 오브젝트가 선택되고, 상기 복수의 처리 방식 중 하나가 선택되면, 상기 선택된 처리 방식으로 상기 선택된 프라이버시 오브젝트를 처리하여 디스플레이하는, 제어 방법.
  14. 제12항에 있어서,
    상기 획득된 출력 영상을 디스플레이하는 단계는,
    상기 선택된 프라이버시 오브젝트에 대해 블러 처리, 단일 색상 처리 또는 이모지 처리 중 적어도 하나의 처리를 수행하는, 제어 방법.
  15. 제12항에 있어서,
    스타일러스 펜의 터치 입력에 의해 선택된 영역을 상기 선택된 프라이버시 오브젝트를 포함하는 영역으로 식별하는 단계;를 더 포함하며,
    상기 획득된 출력 영상을 디스플레이하는 단계는,
    상기 식별된 영역에 상기 선택된 프라이버시 오브젝트를 보호하기 위한 처리를 수행하고, 상기 처리가 수행된 영역을 포함하는 상기 출력 영상을 디스플레이하는, 제어 방법.
  16. 제11항에 있어서,
    상기 프라이버시 오브젝트에 대한 정보를 획득하는 단계는,
    상기 입력 영상에 포함된 제1 프레임을 복수의 제1 패치로 구분하고 상기 복수의 제1 패치를 상기 신경망 모델에 입력하여 상기 제1 프레임에 포함된 프라이버시 오브젝트에 대한 정보를 획득하는 단계; 및
    상기 프라이버시 오브젝트에 대한 정보에 기초하여 상기 제1 프레임에서 상기 프라이버시 오브젝트가 식별되면, 상기 제1 프레임 이후의 프레임에서 상기 식별된 프라이버시 오브젝트를 트랙킹하여 상기 제1 프레임 이후의 프레임에서 상기 프라이버시 오브젝트를 식별하는 단계;를 포함하는, 제어 방법.
  17. 제11항에 있어서,
    상기 프라이버시 오브젝트에 대한 정보를 획득하는 단계는,
    상기 입력 영상을 적어도 일부 영역이 중첩되는 복수의 중첩 패치로 구분하고, 상기 복수의 중첩 패치를 상기 신경망 모델에 입력하여 상기 입력 영상에 포함된 프라이버시 오브젝트에 대한 정보를 획득하는, 제어 방법.
  18. 제11항에 있어서,
    상기 출력 영상에 기 설정된 이미지 필터를 적용하여 상기 출력 영상을 필터링하는 단계;를 더 포함하고,
    상기 획득된 출력 영상을 디스플레이하는 단계는,
    상기 필터링된 영상을 디스플레이하는, 제어 방법.
  19. 제18항에 있어서,
    상기 기 설정된 이미지 필터는,
    타 신경망 모델에 대한 적대적 노이즈 필터 또는 워터 마크 필터 중 적어도 하나를 포함하는, 제어 방법.
  20. 제19항에 있어서,
    상기 적대적 노이즈 필터 또는 워터 마크 필터 중 적어도 하나를 선택하기 위한 UI를 디스플레이하는 단계;를 더 포함하고,
    상기 획득된 출력 영상을 디스플레이하는 단계는,
    상기 UI를 통해 선택된 이미지 필터가 적용된 상기 출력 영상을 디스플레이하는, 제어 방법.
KR1020200111245A 2020-09-01 2020-09-01 전자 장치 및 그 제어 방법 KR20220029212A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200111245A KR20220029212A (ko) 2020-09-01 2020-09-01 전자 장치 및 그 제어 방법
PCT/KR2021/008907 WO2022050558A1 (ko) 2020-09-01 2021-07-12 전자 장치 및 그 제어 방법
US18/116,130 US20230205923A1 (en) 2020-09-01 2023-03-01 Electronic apparatus and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200111245A KR20220029212A (ko) 2020-09-01 2020-09-01 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20220029212A true KR20220029212A (ko) 2022-03-08

Family

ID=80491246

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200111245A KR20220029212A (ko) 2020-09-01 2020-09-01 전자 장치 및 그 제어 방법

Country Status (3)

Country Link
US (1) US20230205923A1 (ko)
KR (1) KR20220029212A (ko)
WO (1) WO2022050558A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024096587A1 (ko) * 2022-11-01 2024-05-10 주식회사 경성테크놀러지 영상화면에 포함된 개인정보를 비식별화할 수 있는 서비스 제공 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230376633A1 (en) * 2022-05-19 2023-11-23 Deeping Source Inc. Method for de-identifying privacy-related region within image and de-identifying device using the same

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130047223A (ko) * 2011-10-31 2013-05-08 한국전자통신연구원 모니터링 영상 기반의 프라이버시 영역 보호 방법 및 장치
US9124762B2 (en) * 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
JP6602009B2 (ja) * 2014-12-16 2019-11-06 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR102036963B1 (ko) * 2017-01-03 2019-11-29 한국과학기술원 Cnn 기반의 와일드 환경에 강인한 얼굴 검출 방법 및 시스템
KR102628414B1 (ko) * 2018-05-10 2024-01-24 한화비전 주식회사 프라이버시 모드를 지원하는 영상 촬영 시스템 및 네트워크 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024096587A1 (ko) * 2022-11-01 2024-05-10 주식회사 경성테크놀러지 영상화면에 포함된 개인정보를 비식별화할 수 있는 서비스 제공 시스템

Also Published As

Publication number Publication date
US20230205923A1 (en) 2023-06-29
WO2022050558A1 (ko) 2022-03-10

Similar Documents

Publication Publication Date Title
EP3714431B1 (en) Image transformation by fusion
US12008464B2 (en) Neural network based face detection and landmark localization
US11644890B2 (en) Image capturing in extended reality environments
US10832086B2 (en) Target object presentation method and apparatus
US20230205923A1 (en) Electronic apparatus and control method therefor
US11037335B2 (en) Deep learning based virtual hair dyeing method and method for providing virtual hair dyeing service using the same
US11922594B2 (en) Context-aware extended reality systems
US20220100265A1 (en) Dynamic configuration of user interface layouts and inputs for extended reality systems
US9807300B2 (en) Display apparatus for generating a background image and control method thereof
US10620826B2 (en) Object selection based on region of interest fusion
BR112016004206B1 (pt) Método, aparelho e memória legível por processador não transitória para processamento de imagens
AU2018327983B2 (en) Techniques for providing virtual light adjustments to image data
US10078793B2 (en) Method and device for displaying image
US11810336B2 (en) Object display method and apparatus, electronic device, and computer readable storage medium
CN116361761A (zh) 一种信息屏蔽方法、信息屏蔽装置和电子设备
US20150186673A1 (en) Obscuring displayed information
KR20200042226A (ko) 전자 장치 및 그 제어 방법
US11282171B1 (en) Generating a computer graphic for a video frame
KR20210141222A (ko) 전자 장치, 시스템 및 그 제어 방법
JP2024100771A (ja) エクステンデッドリアリティ環境における画像キャプチャ
US20240071042A1 (en) Removing Artifacts in Images Caused by Light Emitted by Electronic Screens
GB2557996B (en) Method for, and device comprising, an electronic display
FI20176054A1 (en) Procedure and systems for identifying the authenticity of an object