KR102234097B1 - 딥러닝을 위한 이미지 처리 방법 및 이미지 처리 시스템 - Google Patents

딥러닝을 위한 이미지 처리 방법 및 이미지 처리 시스템 Download PDF

Info

Publication number
KR102234097B1
KR102234097B1 KR1020190086463A KR20190086463A KR102234097B1 KR 102234097 B1 KR102234097 B1 KR 102234097B1 KR 1020190086463 A KR1020190086463 A KR 1020190086463A KR 20190086463 A KR20190086463 A KR 20190086463A KR 102234097 B1 KR102234097 B1 KR 102234097B1
Authority
KR
South Korea
Prior art keywords
image
deep learning
encryption
identified
attribute value
Prior art date
Application number
KR1020190086463A
Other languages
English (en)
Other versions
KR20210009655A (ko
Inventor
최윤호
고동현
최석환
신진명
황선진
Original Assignee
부산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산대학교 산학협력단 filed Critical 부산대학교 산학협력단
Priority to KR1020190086463A priority Critical patent/KR102234097B1/ko
Priority to US16/704,097 priority patent/US11275866B2/en
Publication of KR20210009655A publication Critical patent/KR20210009655A/ko
Application granted granted Critical
Publication of KR102234097B1 publication Critical patent/KR102234097B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0894—Escrow, recovery or storing of secret information, e.g. secret key escrow or cryptographic key storage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6209—Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/065—Encryption by serially and continuously modifying data stream elements, e.g. stream cipher systems, RC4, SEAL or A5/3
    • H04L9/0656—Pseudorandom key sequence combined element-for-element with data sequence, e.g. one-time-pad [OTP] or Vernam's cipher
    • H04L9/0662—Pseudorandom key sequence combined element-for-element with data sequence, e.g. one-time-pad [OTP] or Vernam's cipher with particular pseudorandom sequence generator
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/088—Usage controlling of secret information, e.g. techniques for restricting cryptographic keys to pre-authorized uses, different access levels, validity of crypto-period, different key- or password length, or different strong and weak cryptographic algorithms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioethics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

딥러닝을 위한 이미지 처리 방법 및 이미지 처리 시스템이 개시된다. 본 발명의 일실시예에 따른 딥러닝을 위한 이미지 처리 방법은, 적어도 하나의 도형 이미지를 포함하는 이미지 데이터를, 데이터 포맷 변경에 의해, 벡터 이미지로 변환하는 단계와, 상기 벡터 이미지 내, 상기 도형 이미지의 포지션에 관한 적어도 하나의 제1 속성값을 선정된 암호화 기법에 따라 암호화 하는 단계와, 상기 암호화에 의해 변경되는 제2 속성값을 이용하여, 상기 이미지 데이터에 대한 비식별화 이미지를 구성하는 단계, 및 상기 비식별화 이미지를, 딥러닝 모델이 유지되는 클라우드 서버로 전달하여, 상기 클라우드 서버에 의한 상기 비식별화 이미지의 딥러닝 연산을 처리하는 단계를 포함한다.

Description

딥러닝을 위한 이미지 처리 방법 및 이미지 처리 시스템{IMAGE PROCESSING METHOD AND SYSTEM FOR DEEP-LEARNING}
본 발명은 딥러닝을 위한 이미지 비식별화 처리 기법에 연관되며, 보다 특정하게는 벡터 이미지로의 변환을 통한 이미지 비식별화 및 비식별화 이미지를 이용한 프라이버시 보존 딥러닝 기법에 연관된다.
본 발명의 배경이 되는 기술은 다음의 문헌에 개시되어 있다.
1) 한국 공개번호: 10-2018-0126220 (2018.11.27), "객체를 식별하는 방법 및 디바이스"
2) 한국 등록번호: 10-1822829 (2018.01.23), "머신러닝을 이용한 차단기 부분방전 유형진단 및 노이즈 판별 방법"
3) 미국 공개번호: 2017/0192411 (2017.07.06), "FEATURE SELECTION AND AUTOMATED PROCESS WINDOW MONITORING THROUGH OUTLIER DETECTION "
딥러닝(Deep-learning)은 현실에서 발생하는 문제의 답을 예측하기 위해 인간의 뉴런 집합인 신경망과 비슷한 인공신경망을 구성해 컴퓨터를 통해 학습을 시키는 머신러닝 기술 중 하나로서, 문자열 데이터의 학습을 통한 번역 서비스, 이미지 데이터의 학습을 통한 컴퓨터 비전, 자율 주행 자동차 서비스 등 다양한 서비스 분야에 딥러닝이 적용되고 있다.
이처럼 다양한 분야의 서비스에 활용되는 딥러닝 연산을 처리하기 위해서는 강력한 컴퓨팅 파워가 요구되며, 최근에는 외부 클라우드 서버와 연동해 연산 능력의 확보가 이루어지고 있다.
하지만 클라우드 서버는 외부 소유자의 영역으로 비신뢰 구간에 해당하기 때문에, 딥러닝 연산 처리를 위해 클라우드 서버로 전달되는 데이터가 탈취될 위험이 있다.
또한, 헬스케어(Healthcare), 금융(Finance) 등의 데이터 공유가 필요한 서비스 분야에서 원본 데이터에 대한 프라이버시(Privacy) 보존이 어려워 신뢰성 확보에 한계가 있을 수 있다.
이에 따라, 클라우드 서버에 의한 딥러닝 환경에서 데이터의 프라이버시를 보호하기 위해, PPDL(Privacy-Preserving Deep Learning)에 대한 연구가 진행되고 있으며, 대표적으로 FHE(Fully-Homomorphic Encryption), OPE(Order-Preserving Encryption), DP(Differential Privacy), TEE(Trusted Execution Environments)를 이용한 학습 등이 연구되고 있다.
이 중에서 순서 보존 암호화(OPE) 기법은, 데이터의 분포 만을 다르게 하여 암호화하는 알고리즘으로서, 비신뢰 구간인 클라우드 서버에서도 OPE 기법으로 암호화된 데이터를 딥러닝 가능하다.
하지만 OPE 기법은, 수치 데이터와 같이 순서를 나타낼 수 있는 데이터에 한해 적용 가능하고, DES, AES 등과 같은 블록 암호에 비해 암호화 강도가 약한 편이며, 원본 데이터의 암호화 데이터를 일부라도 알고 있다면, 특정 암호화 데이터를 추론할 수 있는 선택 평문 공격(Chosen Plaintext Attack)에 취약한 특성을 가진다.
도 1은 종래의 딥러닝 연산을 위한 데이터 암호화 과정을 도시한 도면이다.
도 1에는, 원본 데이터(110) 내의 수치들을 OPE 기법으로 암호화하여 얻어진 값들로 구성되는 암호화 데이터(120)가 도시되어 있다.
이때, 원본 데이터(110) 내의 수치들(예, '123', '126' 등)은 OPE 기법에 의해 무작위 범위 내의 값들(예, '1123', '2125' 등)로 암호화 되는 것을 알 수 있다.
하지만 원본 데이터(110)가 이미지 데이터이고, 원본 데이터(110) 내의 수치들이 이미지 데이터 내의 각 픽셀이 가지는 RGB 값인 경우, 암호화 데이터(120) 내의 값들이, RGB 값의 범위인 '0~255' 내를 유지해야 할 필요가 있기 때문에, 도 1에 도시된 것처럼, 암호화 데이터(120) 내의 값들에 대해 Modular 연산(예, 'MOD 255')이 실시될 수 있다.
이 경우, MOD 연산을 실시한 암호화 데이터(130)에는, 값들이 중복되는 현상(Overlapped) 혹은 순서가 뒤섞이는 현상(Mixed)이 생길 수 있기 때문에, 이미지 데이터 내 각 픽셀이 가지는 RGB 값에 OPE 기법을 직접 적용하는 방식으로, 이미지 데이터를 비식별화 처리하는 것은 적절하지 않다.
이에 따라, 외부의 클라우드 서버를 통해 이미지 데이터를 안전하게 딥러닝 처리할 수 있도록, 이미지 데이터를 비식별화 처리하는 기법이 요구되고 있다.
본 발명의 실시예는 외부의 클라우드 서버에 의한 이미지 데이터의 딥러닝 연산을 처리 시, 순서 보존 암호화(OPE) 기법을 적용해 비식별화 처리한 이미지를 사용함으로써, 원본 이미지의 노출을 방지해 신뢰성을 확보하는 것을 목적으로 한다.
본 발명은 이미지 데이터에 순서 보존 암호화(OPE) 기법을 적용할 수 있도록 벡터 이미지로 변환한 후 비식별화 처리한 이미지가, 기존 딥러닝 모델에 그대로 입력 가능한 포맷을 유지하도록, 딥러닝을 위한 이미지 비식별화 기법을 제안하는 것을 목적으로 한다.
본 발명은 비식별화 이미지를 이용하여, 암호화된 상태에서 딥러닝 연산을 처리함으로써, 학습하는 시간을 단축시키고, 클라우드 서버에 의한 학습 환경에서 비식별화 이미지의 노출에도 원본 이미지의 추론을 불가능하게 하는 것을 목적으로 한다.
본 발명의 일실시예에 따른 딥러닝을 위한 이미지 처리 방법은, 적어도 하나의 도형 이미지를 포함하는 이미지 데이터를, 데이터 포맷 변경에 의해, 벡터 이미지로 변환하는 단계와, 상기 벡터 이미지 내, 상기 도형 이미지의 포지션(Position)에 관한 적어도 하나의 제1 속성값을 선정된 암호화 기법에 따라 암호화 하는 단계와, 상기 암호화에 의해 변경되는 제2 속성값을 이용하여, 상기 이미지 데이터에 대한 비식별화 이미지를 구성하는 단계, 및 상기 비식별화 이미지를, 딥러닝 모델이 유지되는 클라우드 서버로 전달하여, 상기 클라우드 서버에 의한 상기 비식별화 이미지의 딥러닝 연산을 처리하는 단계를 포함할 수 있다.
또한, 본 발명의 실시예에 따른 딥러닝을 위한 이미지 처리 시스템은, 적어도 하나의 도형 이미지를 포함하는 이미지 데이터를, 데이터 포맷 변경에 의해, 벡터 이미지로 변환하는 변환부와, 상기 벡터 이미지 내, 상기 도형 이미지의 포지션에 관한 적어도 하나의 제1 속성값을 선정된 암호화 기법에 따라 암호화 하는 암호화부와, 상기 암호화에 의해 변경되는 제2 속성값을 이용하여, 상기 이미지 데이터에 대한 비식별화 이미지를 구성하는 구성부, 및 상기 비식별화 이미지를, 딥러닝 모델이 유지되는 클라우드 서버로 전달하여, 상기 클라우드 서버에 의한 상기 비식별화 이미지의 딥러닝 연산을 처리하는 처리부를 포함할 수 있다.
본 발명의 일실시예에 따르면, 딥러닝을 위한 이미지 비식별화 처리에 의해, 기계에 의한 식별력은 유지하면서 사람에 의한 식별력을 떨어뜨려, 비신뢰 구간인 클라우드 서버를 이용한 학습 환경에서도 원본 이미지의 신뢰성을 확보할 수 있다.
본 발명의 일실시예에 따르면, 이미지 데이터에 OPE 암호화 기법을 적용하여 비식별화 처리함으로써, 기존의 딥러닝 모델의 인풋 레이어(Input layer)에 그대로 들어갈 수 있는 포맷을 유지하도록 할 수 있다.
본 발명의 일실시예에 따르면, 기존 딥러닝 모델의 변경 없이, 비식별화 이미지를 이용하여 암호화된 상태에서 딥러닝 연산을 빠르게 처리할 수 있다.
본 발명의 일실시예에 따르면, 원본 이미지 대신에, 비식별화된 이미지를 딥러닝 처리에 사용하더라도, 원본 이미지로 학습했을 때와 유사한 처리 시간 및 성능을 유지하도록 할 수 있다.
도 1은 종래의 딥러닝 연산을 위한 데이터 암호화 과정을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 딥러닝을 위한 이미지 처리 시스템을 포함한 네트워크를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 딥러닝을 위한 이미지 처리 시스템의 내부 구성을 도시한 블록도이다.
도 4는 본 발명의 일실시예에 따른 딥러닝을 위한 이미지 처리 시스템에서, 이미지 데이터에 대한 비식별화 처리 과정을 도시한 도면이다.
도 5a는 본 발명의 일실시예에 따른 딥러닝을 위한 이미지 처리 시스템에서, 이미지 데이터를 벡터 이미지로 변환하는 일례를 도시한 도면이다.
도 5b는 본 발명의 일실시예에 따른 딥러닝을 위한 이미지 처리 시스템에서, 벡터 이미지에 OPE 암호화를 적용하는 일례를 도시한 도면이다.
도 5c는 본 발명의 일실시예에 따른 딥러닝을 위한 이미지 처리 시스템에서, 비식별화 이미지를 구성하는 일례를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 딥러닝을 위한 이미지 처리 시스템에서, 성능 평가를 수행하는 일례를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 딥러닝을 위한 이미지 처리 방법의 순서를 도시한 흐름도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 2는 본 발명의 일실시예에 따른 딥러닝을 위한 이미지 처리 시스템을 포함한 네트워크를 도시한 도면이다.
도 2를 참조하면, 네트워크(200)는 딥러닝을 위한 이미지 처리 시스템(210) 및 클라우드 서버(220)를 포함하여 구성할 수 있다.
딥러닝을 위한 이미지 처리 시스템(210)은, 사용자 구간 내에 위치하며, 원본 이미지인 이미지 데이터를 비식별화 처리하는 역할을 한다.
클라우드 서버(220)는, 사용자 구간으로부터 이격된 비신뢰 구간에 위치하며, 상기 비식별화 처리한 이미지를, 딥러닝 모델에 학습시키는 역할을 한다.
구체적으로, 딥러닝을 위한 이미지 처리 시스템(210)은, 적어도 하나의 도형 이미지를 포함하는 이미지 데이터가 입력되면, 상기 도형 이미지의 포지션에 관한 속성값을 포함하는 벡터 이미지로의 변환을 실시할 수 있다.
여기서 상기 속성값은, 상기 도형 이미지에 대한 가로, 세로, 시작위치 및 도형 이미지를 이루는 점의 위치 중 적어도 하나의 벡터 포지션을 나타내는 수치일 수 있다.
딥러닝을 위한 이미지 처리 시스템(210)은, 랜덤하게 생성한 암호키를 사용하여, 순서 보존 암호화(OPE) 기법에 따라 상기 속성값을 암호화 함으로써, 상기 이미지 데이터에 대해, 기계에 의한 식별력은 유지하면서 사람에 의한 식별력을 떨어뜨린 비식별화 이미지(De-identified Image)를 구성할 수 있다.
딥러닝을 위한 이미지 처리 시스템(210)은, 상기 이미지 데이터 대신에, 상기 비식별화 이미지를 클라우드 서버(220)로 전달하여, 클라우드 서버(220) 내의 딥러닝 모델에 학습하도록 함으로써, 비신뢰 구간에서 비식별화 이미지가 노출되더라도, 원본 이미지인 상기 이미지 데이터의 추론을 방지할 수 있다.
이때 딥러닝을 위한 이미지 처리 시스템(210)은, 상기 비식별화 이미지를 클라우드 서버(220)로 전달 시, 원본 이미지인 상기 이미지 데이터과 동일한 데이터 포맷 및 크기로 변경해서 상기 딥러닝 모델에 입력할 수 있다.
이에 따라, 딥러닝을 위한 이미지 처리 시스템(210)은, 기존에 상기 이미지 데이터의 학습에 사용된 상기 딥러닝 모델을 수정할 필요가 없어, 상기 이미지 데이터로 딥러닝 연산을 처리할 때와 유사한 처리 시간 내에, 상기 비식별화된 이미지의 딥러닝 연산을 처리할 수 있다.
본 명세서에서, 상기 딥러닝 모델은, 상기 이미지 데이터 내의 도형 이미지를 분류하기 위한 '이미지 분류 모델'로 예시될 수 있다.
딥러닝을 위한 이미지 처리 시스템(210)은, 클라우드 서버(220)로부터 딥러닝 연산을 처리한 결과를 수신하면, 테스트 이미지를 사용하여, 상기 딥러닝 모델에 대한 성능 평가를 수행할 수 있다.
상기 성능 평가의 일례로, 딥러닝을 위한 이미지 처리 시스템(210)은, 테스트 이미지를 딥러닝 모델에 입력시 상기 딥러닝 모델로부터 출력되는 예측값('새')이, 상기 테스트 이미지에 라벨링된 정답('새')과 일치하는지 비교할 수 있다.
딥러닝을 위한 이미지 처리 시스템(210)은, 정답율이 기준치 이상이면, 상기 딥러닝 모델을 유효한 것으로 판단하고, 정답율이 기준치 미만이면, 상기 딥러닝 모델에 학습시킨 상기 비식별화 이미지를 상기 딥러닝 모델로부터 배제할 수 있다.
이처럼 딥러닝을 위한 이미지 처리 시스템(210)은 상기 비식별화 이미지를 학습한 딥러닝 모델에 대한 성능 평가 결과를 고려하여 상기 딥러닝 모델을 수정함으로써, 원본 이미지를 직접 학습해 구축되는 딥러닝 모델과 흡사한 정확도를 가지도록 할 수 있다.
이와 같이, 본 발명의 일실시예에 따르면, 딥러닝을 위한 이미지 비식별화 처리에 의해, 클라우드 서버를 이용한 학습 환경에서 원본 이미지의 신뢰성을 확보할 수 있고, 기존 딥러닝 모델을 수정하지 않고 비식별화 이미지를 그대로 입력해 암호화된 상태에서 빠른 속도로 딥러닝 연산을 처리할 수 있다.
본 명세서에서, 이미지 데이터는, 클라우드 서버를 통해 딥러닝 모델에 학습시키려는 원본 이미지를 지칭할 수 있다.
또한, 본 명세서에서, 비식별화 이미지는, 상기 이미지 데이터를 사람에 의한 식별이 불가능하도록 비식별화 처리한 이미지를 지칭할 수 있다.
본 발명의 딥러닝을 위한 이미지 처리 시스템은, 외부 클라우드 서버에 의한 이미지 데이터 학습 환경에서 프라이버시 보존을 위해, 이미지 데이터를 비식별화 처리하는 기법을 제안할 수 있다.
도 3은 본 발명의 일실시예에 따른 딥러닝을 위한 이미지 처리 시스템의 내부 구성을 도시한 블록도이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 딥러닝을 위한 이미지 처리 시스템(300)은, 변환부(310), 암호화부(320), 구성부(330) 및 처리부(340)를 포함하여 구성할 수 있다. 또한, 실시예에 따라 딥러닝을 위한 이미지 처리 시스템(300)은, 평가부(350)를 더 포함하여 구성할 수 있다.
변환부(310)는 적어도 하나의 도형 이미지를 포함하는 이미지 데이터를, 데이터 포맷 변경에 의해, 벡터 이미지로 변환한다.
즉 변환부(310)는 수치로 되어 있지 않아 후술하는 순서 보존 암호화(OPE) 기법을 직접 적용할 수 없는 이미지 데이터를, OPE 기법을 적용할 수 있는 데이터 포맷('SVG 포맷')으로 변환할 수 있다.
일반적으로 이미지 데이터는, 사람에 의한 식별이 가능한 래스터 포맷(Raster)이므로, 학습을 위해 클라우드 서버로 전달되는 과정에서 노출될 경우 프라이버시 보호가 어려울 수 있다.
따라서, 딥러닝을 위한 이미지 데이터(510)의 비식별화 처리를 위해, 변환부(310)는 래스터 포맷으로 입력되는 이미지 데이터를, SVG 포맷 등의 벡터 이미지로 변환하는 벡터화를 실시할 수 있다.
변환부(310)는 JPG, PNG, TIFF, GIF 및 BMP 중 적어도 하나의 래스터 포맷으로 입력되는 상기 이미지 데이터를, SVG 포맷의 벡터 이미지로 변환할 수 있다.
구체적으로, 변환부(310)는 상기 이미지 데이터 내 상기 도형 이미지에 대한, 가로(width), 세로(height), 시작위치, 및 도형 이미지를 이루는 점의 위치 중 적어도 하나의 포지션(Position)에 관한 제1 속성값을 포함하여, 상기 도형 이미지 각각을, 하나의 벡터 이미지로 변환할 수 있다.
이하 도 5a를 참조하여 변환부(310)를 설명한다.
도 5a는 본 발명의 일실시예에 따른 딥러닝을 위한 이미지 처리 시스템에서, 이미지 데이터를 벡터 이미지로 변환하는 일례를 도시한 도면이다.
도 5a를 참조하면, 변환부(310)는 래스터 포맷의 이미지 데이터(510)를, 데이터 포맷 변경을 통해 SVG 포맷의 벡터 이미지(520)로 변환할 수 있다. 이때 변환부(310)는 원본 이미지인 이미지 데이터(510)의 특성을 최대한 유지한 채 데이터 포맷을 변경할 수 있다.
변환부(310)는 이미지 데이터(510)를, 상기 이미지 데이터(510)에서 식별한 도형 이미지의 가로 속성값("32") 및 세로 속성값("32")을 포함한 벡터 이미지(520)로 변환할 수 있다.
또한, 변환부(310)는 이미지 데이터(510)를, 상기 도형 이미지의 시작위치 및 도형 이미지를 이루는 점의 위치에 관한 속성값을 <path> 내에 더 포함하여, 벡터 이미지(520)로 변환할 수 있다.
이미지 데이터(510)의 벡터화에 의해, 벡터 이미지(520)에는 수치로 된 제1 속성값을 포함하게 되므로, OPE 기법에 의한 암호화를 적용 가능해진다.
암호화부(320)는 상기 벡터 이미지 내, 상기 도형 이미지의 포지션에 관한 적어도 하나의 제1 속성값을 선정된 암호화 기법에 따라 암호화 한다.
본 명세서에서는, 상기 암호화 기법으로서, 순서 보존 암호화(OPE) 기법이 선정될 수 있다. 상기 OPE 기법은, 데이터의 분포 만을 다르게 하여 암호화하는 알고리즘으로서, 비신뢰 구간인 클라우드 서버에서 OPE 기법에 의해 암호화된 데이터를 딥러닝 가능한 장점을 가진다.
일례로, 암호화부(320)는 상기 암호화 기법으로서, 순서 보존 암호화(OPE) 기법이 선정되는 경우, 상기 제2 속성값에 대한 범위(Range)를 결정하고, 상기 범위를 고려하여, 암호키(Secret Key)를 설정할 수 있다.
또한, 암호화부(320)는 상기 암호키를 사용하여, 상기 제1 속성값을, 상기 순서 보존 암호화(OPE) 기법에 따라 상기 범위 내의 제2 속성값으로 암호화 할 수 있다.
암호화부(320)는 제2 속성값의 범위에 맞춰, 사용할 암호키를 랜덤하게 설정할 수 있다. 예를 들어 암호화부(320)는 상기 제2 속성값의 범위를 '300~399'로 결정한 경우, '0~99' 범위에 속하는 제1 속성값을, 상기 범위 내의 값으로 중복되거나 순서가 섞이지 않게 암호화하는 암호키, 예컨대 'GJIEHBD'를 설정할 수 있다.
또한 암호화부(320)는 비식별화 이미지를 획득한 제3자에 의해, 상기 제2 속성값으로부터 상기 제1 속성값을 유추할 수 없도록, 상기 제2 속성값의 범위를 주기적으로 재결정하고, 그에 맞춰 암호키를 랜덤하게 재설정함으로써, 원본 이미지에 대한 추론 가능성을 차단할 수 있다.
이하 도 5b를 참조하여, 암호화부(320)를 설명한다.
도 5b는 본 발명의 일실시예에 따른 딥러닝을 위한 이미지 처리 시스템에서, 벡터 이미지에 OPE 암호화를 적용하는 일례를 도시한 도면이다.
도 5b를 참조하면, 암호화부(320)는 암호키를 설정하고, 암호화된 제2 속성값의 범위를 결정한 후, 벡터 이미지(520) 내의 포지션(Position)에 관한 제1 속성값에 대하여 OPE 암호화 알고리즘을 적용할 수 있다.
즉 암호화부(320)는 벡터 이미지(520) 내의 가로(width) 및 세로(height)에 대하여 OPE 암호화를 적용하고, <path> 태그 내부의 도형을 구성하는 d 값 내부의 수치 데이터에 대하여 OPE암호화를 적용할 수 있다.
구체적으로, 암호화부(320)는 암호키 'GJIEHBD'를 사용하여, 벡터 이미지(520) 내의 가로 속성값("32") 및 세로 속성값("32")을 각각 OPE 기법으로 암호화하고, 벡터 이미지(520) 내의 상기 도형 이미지의 시작위치 및 도형 이미지를 이루는 점의 위치에 관한 제1 속성값("M 1.5 0.0 L 3.5 1.0…")을 OPE 기법으로 암호화할 수 있다.
이에 따라 OPE 암호화를 적용한 벡터 이미지(530)는, 상기 OPE 암호화에 의해 커진 가로 속성값("337.1")과 세로 속성값("337.1"), 및 제2 속성값("M 16.0 0.0 L 29.2 11.6…")을 포함하게 될 수 있다.
이와 같이 OPE 암호화에 의해, 벡터 이미지(530)는 가로 세로 32px에서 가로 세로 337.1px로 증가하게 되고, 각 <path> 태그 내의 값들도 커질 수 있다. 이 과정을 통해 기계의 식별력은 유지하면서 사람의 식별력은 떨어지게 된다.
구성부(330)는 상기 암호화에 의해 변경되는 제2 속성값을 이용하여, 상기 이미지 데이터에 대한 비식별화 이미지를 구성한다.
일례로, 구성부(330)는 상기 포지션 중, 가로 또는 세로에 관한 제1 속성값의 암호화에 의해 변경되는 제2 속성값을 포함하여, 상기 도형 이미지의 크기가 증가 또는 감소된 비식별화 이미지를 구성할 수 있다.
다른 일례로, 구성부(330)는 상기 포지션 중, 시작위치 또는 도형 이미지를 이루는 점의 위치에 관한 제1 속성값의 암호화에 의해 변경되는 제2 속성값을 포함하여, 도형 이미지 간 간격이 증가 또는 감소된 비식별화 이미지를 구성할 수 있다.
이하에서는 표 1을 참조하여, 하나의 도형 이미지를 포함하는 간단한 SVG 파일을 바탕으로 Position OPE를 적용하는 예시를 설명한다.
Figure 112019073329839-pat00001
표 1에서, fill="rgb(0,0,0)"은 해당 컬러 코드에 맞는 색으로 채우는 것을 나타내고, M150 0은 절대위치 x150, y0에서 패스를 시작하는 것을 나타내고, L75 200은 절대위치 x75, y150까지 선을 도식하는 것을 나타내고, L225 200은 절대위치 x225, y150까지 선을 도식하는 것을 나타내고, Z는 패스 시작 위치까지 연결하고 패스를 닫는 것을 나타낸다.
표 1을 참조하면, 암호화부(320)는 도형 이미지의 포지션을 나타내는 제1 속성값(Numerical Value)들을 대상으로 OPE 암호화를 적용하고, 구성부(330)는 OPE 암호화를 적용한 제2 속성값에 의해, 색상(Color)의 변화 없이 단순히 도형의 시작위치와 크기만 변경하여, 비식별화 이미지를 구성할 수 있다.
실시예에 따라, 암호화부(320)는 여러 도형 이미지들을 포함하는 복잡한 SVG 파일에 Position OPE를 적용하는 경우, 구성부(330)는 각 도형 이미지의 모양은 유지하면서 각 도형 이미지 간의 간격만 랜덤하게 변경하여, 비식별화 이미지를 구성할 수도 있다.
이때, 구성부(330)는 상기 암호화에 사용한 암호키에 따라 다른 형태의 비식별화 이미지를 구성할 수 있다.
예를 들어, 암호화부(320)는 암호키를 'A#@D!A$VAFD'로 설정한 경우, d="M150 0 L75 150 L225 200 Z"라는 값에 OPE 암호화를 적용하여 d="M822 10 L244 822 L1128 990 Z"라는 값으로 변경할 수 있다.
또한 암호화부(320)는 암호키를 ‘GJIEHBD’ 로 설정한 경우에는, d="M150 0 L75 150 L225 200 Z"라는 값을, d="M932 25 L336 932 L1414 1028 Z"라는 값으로 변경할 수 있다.
이처럼 구성부(330)는 OPE 암호화시 사용한 암호키에 따라 비식별화 이미지를 다르게 구성할 수 있고, 애플리케이션 마다 암호키를 다르게 사용하기 때문에 원본 이미지를 추론해 낼 수 없게 되어 신뢰성을 보장할 수 있다.
상기 애플리케이션은 고유의 암호키를 이용하여 원본 이미지를 OPE 암호화함으로써 비식별화 처리하는데 이용되는 도구로서, 이미지 데이터를 보유하는 사용자단에 사전에 배포될 수 있다.
실시예에 따라, 구성부(330)는 상기 변환부(310)를 통해, 상기 비식별화 이미지를, 상기 이미지 데이터와 동일한 데이터 포맷으로 변경하면서, 상기 이미지 데이터와 동일한 크기로 조정할 수 있다.
일례로, 구성부(330)는 이미지 데이터에 대한 비식별화 처리 과정에서 크기가 커진 이미지를, 다시 원본 이미지의 크기로 줄이면서, 원본 이미지의 래스터 포맷으로 변경할 수 있다.
이하, 도 5c를 참조하여 변환부(310) 및 구성부(330)를 설명한다.
도 5c는 본 발명의 일실시예에 따른 딥러닝을 위한 이미지 처리 시스템에서, 비식별화 이미지를 구성하는 일례를 도시한 도면이다.
도 5c를 참조하면, 구성부(330)는 OPE 암호화를 적용한 벡터 이미지(530)를, 기존 딥러닝 모델의 입력 데이터로서 사용하기 위해, 변환부(310)를 통해 다시 래스터 이미지로 변환할 수 있다.
이때, 변환부(310)는 OPE 암호화에 의해 커진 벡터 이미지(530)를 다시 원본 이미지의 크기로 줄이면서 래스터 이미지로 변환할 수 있다.
이를 통해 구성되는 최종의 비식별화 이미지(540)는, 원본 이미지와 같은 데이터 포맷과 크기를 가지게 되므로, 기존 딥러닝 모델에 변경 없이 그대로 입력될 수 있다.
이와 같이, 본 발명의 일실시예에 따르면, 이미지 데이터에 OPE 암호화 기법을 적용하여 비식별화 처리함으로써, 기존의 딥러닝 모델의 인풋 레이어(Input layer)에 그대로 들어갈 수 있는 포맷을 유지하도록 할 수 있고, 기존 딥러닝 모델의 변경 없이, 비식별화 이미지를 이용하여 암호화된 상태에서 딥러닝 연산을 빠르게 처리할 수 있다.
처리부(340)는 상기 비식별화 이미지를, 딥러닝 모델이 유지되는 클라우드 서버로 전달하여, 클라우드 서버에 의한 상기 비식별화 이미지의 딥러닝 연산을 처리한다.
상기 이미지 분류 모델은, 상기 이미지 데이터 내 도형 이미지('새', '개', 등)를 인식해 분류하는 딥러닝 모델로서, 예를 들어, CNN 모델에 의해 구현될 수 있다.
즉, 처리부(340)는 상기 이미지 데이터에 대해, 애플리케이션 마다 설정된 고유의 암호키를 사용하여 구성한 비식별화 이미지를 상기 클라우드 서버로 전달하여, 상기 딥러닝 모델 중 하나인 이미지 분류 모델에 입력하고, 상기 클라우드 서버에 의해, 상기 비식별화 이미지를 이용한 딥러닝 연산을 처리할 수 있다.
이와 같이, 본 발명에 따르면, 원본 이미지 대신에, 비식별화된 이미지를 딥러닝 처리에 사용하여, 클라우드 서버에 의한 학습 과정에서 상기 비식별화 이미지가 제3자에게 노출되더라도 신뢰성을 확보할 수 있고, 원본 이미지로 학습했을 때와 유사한 처리 시간 및 성능을 유지할 수 있다.
실시예에 따라 딥러닝을 위한 이미지 처리 시스템(300)은, 평가부(350)를 더 포함하여 구성할 수 있다.
평가부(350)는 상기 클라우드 서버로부터, 상기 비식별화 이미지를 이용한 딥러닝 연산에 대한 처리 결과('처리 완료')를 수신하면, 테스트 이미지를 이용하여, 상기 비식별화 이미지를 학습한 상기 딥러닝 모델에 대한 성능 평가를 수행한다.
일례로, 처리부(340)는 상기 이미지 분류 모델 중 성능이 뛰어나다고 평가되는 CNN 모델의 하나인 'Resnet50'를 사용하여, 클라우드 서버에 의한 상기 비식별화 이미지의 딥러닝 연산을 처리할 수 있으며, 평가부(350)는 상기 비식별화 이미지를 학습한 'Resnet50'에 테스트 이미지를 입력했을 때 'Resnet50'로부터 출력되는 예측값을 테스트 이미지에 라벨링된 정답과 비교하여, 성능 평가를 실시할 수 있다.
이하 도 6을 참조하여 평가부(350)를 설명한다.
도 6은 본 발명의 일실시예에 따른 딥러닝을 위한 이미지 처리 시스템에서, 성능 평가를 수행하는 일례를 도시한 도면이다.
도 6을 참조하면, 평가부(350)는 테스트 이미지(610 내지 630)를 각각 이미지 분류 모델('Resnet50')에 입력하고, 상기 이미지 분류 모델로부터 출력되는 예측값('개', '새', '자동차')을, 테스트 이미지(610 내지 630) 각각의 정답과 일치하는지 비교할 수 있다.
평가부(350)는 상기 이미지 분류 모델에 대한 성능 평가 결과로서 '정답율'이 기준치 이상인지 확인하고, 정답율이 기준치 이상이면, 상기 딥러닝 모델을 유효한 것으로 판단하고, 정답율이 기준치 미만이면, 상기 딥러닝 모델에 학습시킨 상기 비식별화 이미지를 상기 딥러닝 모델로부터 배제할 수 있다.
이처럼 본 발명에 따르면, 비식별화 이미지를 학습한 딥러닝 모델에 대한 성능 평가 결과를 상기 딥러닝 모델에 반영함으로써, 원본 이미지를 직접 학습해 구축되는 딥러닝 모델과 흡사한 정확도를 가지게 할 수 있다.
또한 실시예에 따라, 평가부(350)는 상기 성능 평가의 결과('정답율')가, 원본 이미지인 상기 이미지 데이터를 학습한 제1 딥러닝 모델에 대한 성능 평가의 결과와, 정해진 오차 범위 내에서 일치하는지 확인하고, 일치하면, 상기 딥러닝 모델에 대해 유효한 것으로 판단할 수도 있다.
이상에서 언급한 것처럼, 본 발명의 일실시예에 따르면, 딥러닝을 위한 이미지 비식별화 처리에 의해, 기계에 의한 식별력은 유지하면서 사람에 의한 식별력을 떨어뜨려, 비신뢰 구간인 클라우드 서버를 이용한 학습 환경에서도 원본 이미지의 신뢰성을 충분히 확보할 수 있다.
도 4는 본 발명의 일실시예에 따른 딥러닝을 위한 이미지 처리 시스템에서, 이미지 데이터에 대한 비식별화 처리 과정을 도시한 도면이다.
도 4를 참조하면, 딥러닝을 위한 이미지 처리 시스템은, 먼저, 이미지 데이터(410)를 벡터 이미지(420)로 변환하는 벡터화(Vectorize)를 수행할 수 있다.
즉 딥러닝을 위한 이미지 처리 시스템은, 수치로 되어 있지 않은 이미지 데이터(410)에, 순서 보존 암호화(OPE) 기법을 적용할 수 있도록, 이미지 데이터(410)를 벡터화 할 수 있다.
다음으로, 딥러닝을 위한 이미지 처리 시스템은, 벡터 이미지(420) 내 벡터 포지션(Vector Position)에 OPE 기법을 적용하여 암호화 할 수 있다.
즉 딥러닝을 위한 이미지 처리 시스템은, 이미지 데이터(410) 내 적어도 하나의 도형 이미지(예를 들어, '개', '새', '자동차', 삼각형' 등)를 식별하고, 상기 도형 이미지에 대한 가로, 세로, 시작위치 및 도형을 이루는 점의 위치 중 적어도 하나의 수치로 된 벡터 포지션을, OPE 기법에 의해 암호화 할 수 있다.
이에 따라, OPE 암호화 적용한 벡터 이미지(430)에는, 상기 암호화에 의해 정해진 범위 내의 다른 수치로 변경된 벡터 포지션이 포함될 수 있다.
딥러닝을 위한 이미지 처리 시스템은, 상기 벡터 이미지(430)를, 원본 이미지인 이미지 데이터(410)와 동일한 데이터 포맷('래스터 포맷') 및 크기로 변경하여 비식별화 이미지(440)를 구성할 수 있다.
이때 딥러닝을 위한 이미지 처리 시스템은, 상기 변경된 벡터 포지션에 따라, 도형 이미지의 크기나 도형 이미지 간 간격을 증감시켜서, 이미지 데이터(410)와는 다른 비식별화 이미지(440)를 구성할 수 있다.
예를 들어, 비식별화 이미지(440)는 이미지 데이터(410) 내 도형 이미지와 형태(예, '삼각형')나 색상('RGB')은 동일하지만, 도형 이미지의 가로 세로 크기나 도형 이미지 간 간격이 다를 수 있다.
상술한 비식별화 처리 과정에 의해 생성된 최종 이미지(비식별화 이미지(440))는 기존 딥러닝 모델의 변경 없이 학습이 가능할 뿐만 아니라, PPDL의 원본 데이터로의 추론 불가능성을 만족시킬 수 있다.
이하, 도 7에서는 본 발명의 실시예들에 따른 딥러닝을 위한 이미지 처리 시스템(300)의 작업 흐름을 상세히 설명한다.
도 7은 본 발명의 일실시예에 따른 딥러닝을 위한 이미지 처리 방법의 순서를 도시한 흐름도이다.
본 실시예에 따른 딥러닝을 위한 이미지 처리 방법은, 상술한 이미지 처리 시스템(300)에 의해 수행될 수 있다.
도 7을 참조하면, 단계(710 내지 720)에서, 이미지 처리 시스템(300)은, 입력되는 이미지 데이터를, 데이터 포맷 변경에 의해, 벡터 이미지로 변환한다.
일례로, 이미지 처리 시스템(300)은, 적어도 하나의 도형 이미지를 포함하는 이미지 데이터가 입력되면, 상기 이미지 데이터 내 도형 이미지의 포지션에 관한 속성값을 포함하는 벡터 이미지로의 변환을 실시할 수 있다.
여기서 상기 속성값은, 상기 도형 이미지에 대한 가로, 세로, 시작위치, 도형을 이루는 점의 위치 중 적어도 하나의 포지션(벡터 포지션)을 나타내는 수치일 수 있다.
단계(730)에서, 이미지 처리 시스템(300)은, 상기 벡터 이미지 내, 상기 도형 이미지의 포지션에 관한 적어도 하나의 제1 속성값을 선정된 암호화 기법(OPE 암호화 알고리즘)에 따라 암호화 한다.
단계(740)에서, 이미지 처리 시스템(300)은, 상기 암호화에 의해 변경되는 제2 속성값을 이용하여, 상기 이미지 데이터에 대한 비식별화 이미지를 구성한다.
일례로, 이미지 처리 시스템(300)은, 상기 암호화에 의해 커진 제2 속성값을 이용하여, 형태와 모양은 같지만, 크기 혹은 도형 이미지 간 간격이 증가된 비식별화 이미지를 구성할 수 있다.
이를 통해, 이미지 처리 시스템(300)은, 기계에 의한 식별력은 유지하면서 사람에 의한 식별력을 떨어뜨린 비식별화 이미지를 구성할 수 있다.
이때 이미지 처리 시스템(300)은 상기 이미지 데이터에 대해, 애플리케이션 마다 설정된 고유의 암호키를 사용하여 비식별화 이미지를 구성할 수 있다.
단계(750)에서, 이미지 처리 시스템(300)은, 상기 비식별화 이미지를 클라우드 서버로 전달하여, 클라우드 서버에 의해 상기 비식별화 이미지의 딥러닝 연산을 처리한다.
즉 이미지 처리 시스템(300)은 상기 이미지 데이터 대신에, 상기 비식별화 이미지를 딥러닝 모델이 유지되는 클라우드 서버로 전달하여, 클라우드 서버에 의해 비식별화 이미지를 딥러닝 모델에 학습시킬 수 있다.
따라서 본 발명에 따르면, 비신뢰 구간에서 클라우드 서버에 의한 딥러닝 처리 중 비식별화 이미지가 제3자에게 노출되더라도, 원본 이미지(이미지 데이터)의 추론을 방지하여 높은 신뢰성을 유지할 수 있다.
또한 이미지 처리 시스템(300)은, 상기 비식별화 이미지를 클라우드 서버로 전달 시, 상기 이미지 데이터과 동일한 데이터 포맷 및 크기로 변경해서 상기 딥러닝 모델에 입력할 수 있다.
이에 따라, 이미지 처리 시스템(300)은, 기존에 이미지 데이터의 학습에 사용된 딥러닝 모델을 수정할 필요가 없고, 상기 이미지 데이터로 딥러닝 연산을 처리할 때와 유사한 처리 시간 및 성능을 유지할 수 있다.
단계(760)에서, 이미지 처리 시스템(300)은, 클라우드 서버로부터 상기 비식별화 이미지를 이용한 딥러닝 연산을 처리한 결과를 수신하면, 테스트 이미지를 사용하여, 상기 비식별화 이미지를 학습한 딥러닝 모델에 대한 성능 평가를 수행한다.
즉 이미지 처리 시스템(300)은 상기 비식별화 이미지를 학습한 딥러닝 모델에 대한 성능 평가 결과를 고려하여 상기 딥러닝 모델을 수정함으로써, 원본 이미지를 직접 학습해 구축되는 딥러닝 모델과 흡사한 정확도를 가지도록 할 수 있다.
이와 같이, 본 발명의 일실시예에 따르면, 외부의 클라우드 서버에 의한 이미지 데이터의 딥러닝 연산을 처리 시, 순서 보존 암호화(OPE) 기법을 적용해 비식별화 처리한 이미지를 사용함으로써, 원본 이미지의 노출을 방지해 신뢰성을 확보할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
300: 딥러닝을 위한 이미지 처리 시스템
310: 변환부
320: 암호화부
330: 구성부
340: 처리부
350: 평가부

Claims (15)

  1. 딥러닝을 위한 이미지 처리 시스템에 의해 구현되는 딥러닝을 위한 이미지 처리 방법에 있어서,
    상기 딥러닝을 위한 이미지 처리 시스템 내 변환부에서, 적어도 하나의 도형 이미지를 포함하는 이미지 데이터를, 데이터 포맷 변경에 의해, 벡터 이미지로 변환하는 단계;
    상기 딥러닝을 위한 이미지 처리 시스템 내 암호화부에서, 상기 벡터 이미지 내, 상기 도형 이미지의 포지션(Position)에 관한 적어도 하나의 제1 속성값을 선정된 암호화 기법에 따라 암호화 하는 단계;
    상기 딥러닝을 위한 이미지 처리 시스템 내 구성부에서, 상기 암호화에 의해 변경된 제2 속성값을 이용하여, 상기 이미지 데이터에 대한 비식별화 이미지를 구성하는 단계; 및
    상기 딥러닝을 위한 이미지 처리 시스템 내 처리부에서, 상기 비식별화 이미지를, 딥러닝 모델이 유지되는 클라우드 서버로 전달하여, 상기 클라우드 서버에 의한 상기 비식별화 이미지의 딥러닝 연산을 처리하는 단계
    를 포함하는 딥러닝을 위한 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 벡터 이미지로 변환하는 단계는,
    상기 이미지 데이터 내 상기 도형 이미지에 대한, 가로(width), 세로(height), 시작위치, 및 도형 이미지를 이루는 점의 위치 중 적어도 하나의 상기 포지션에 관한 제1 속성값을 포함하여, 상기 도형 이미지 각각을, 하나의 벡터 이미지로 변환하는 단계
    를 포함하는 딥러닝을 위한 이미지 처리 방법.
  3. 제1항에 있어서,
    상기 벡터 이미지로 변환하는 단계는,
    JPG, PNG, TIFF, GIF 및 BMP 중 적어도 하나의 래스터(Raster) 포맷으로 입력되는 상기 이미지 데이터를, SVG 포맷의 상기 벡터 이미지로 변환하는 단계
    를 포함하는 딥러닝을 위한 이미지 처리 방법.
  4. 제1항에 있어서,
    상기 암호화 기법으로서, 순서 보존 암호화(OPE) 기법이 선정되는 경우,
    상기 암호화 하는 단계는,
    상기 제2 속성값에 대한 범위(Range)를 결정하는 단계;
    상기 범위를 고려하여, 암호키를 설정하는 단계; 및
    상기 암호키를 사용하여, 상기 제1 속성값을, 상기 순서 보존 암호화(OPE) 기법에 따라 상기 범위 내의 제2 속성값으로 암호화 하는 단계
    를 포함하는 딥러닝을 위한 이미지 처리 방법.
  5. 제1항에 있어서,
    상기 비식별화 이미지를 구성하는 단계는,
    상기 포지션 중, 상기 도형 이미지의 가로 또는 세로에 관한 제1 속성값의 암호화에 의해 변경된 제2 속성값을 포함하여, 상기 도형 이미지의 크기가 증가 또는 감소된 비식별화 이미지를 구성하는 단계; 또는
    상기 포지션 중, 상기 도형 이미지의 시작위치 또는 상기 도형 이미지를 이루는 점의 위치에 관한 제1 속성값의 암호화에 의해 변경된 제2 속성값을 포함하여, 상기 도형 이미지 간 간격이 증가 또는 감소된 비식별화 이미지를 구성하는 단계
    를 포함하는 딥러닝을 위한 이미지 처리 방법.
  6. 제1항에 있어서,
    상기 변환부에서, 상기 비식별화 이미지를, 상기 이미지 데이터와 동일한 데이터 포맷으로 변경하는 단계; 및
    상기 변환부에서, 상기 데이터 포맷의 변경 시, 상기 비식별화 이미지를, 상기 이미지 데이터와 동일한 크기로 조정하는 단계
    를 더 포함하는 딥러닝을 위한 이미지 처리 방법.
  7. 제1항에 있어서,
    상기 처리부에서, 상기 이미지 데이터에 대해, 애플리케이션 마다 설정된 고유의 암호키를 사용하여 구성한 비식별화 이미지의 각각을 상기 클라우드 서버로 전달하여, 상기 딥러닝 모델 중 하나인 이미지 분류 모델에 입력하는 단계; 및
    상기 처리부에서, 상기 클라우드 서버에 의해, 상기 비식별화 이미지 각각을 이용한 딥러닝 연산을 처리하는 단계
    를 포함하는 딥러닝을 위한 이미지 처리 방법.
  8. 제1항에 있어서,
    상기 딥러닝을 위한 이미지 처리 시스템 내 평가부에서, 상기 클라우드 서버로부터, 상기 비식별화 이미지를 이용한 딥러닝 연산에 대한 처리 결과를 수신하는 단계;
    상기 평가부에서, 테스트 이미지를 사용하여, 상기 비식별화 이미지를 학습한 상기 딥러닝 모델에 대한 성능 평가를 수행하는 단계; 및
    상기 평가부에서, 상기 성능 평가의 결과가, 원본 이미지인 상기 이미지 데이터를 학습한 제1 딥러닝 모델에 대한 성능 평가의 결과와, 정해진 오차 범위 내에서 일치하면, 상기 딥러닝 모델에 대해 유효한 것으로 판단하는 단계
    를 더 포함하는 딥러닝을 위한 이미지 처리 방법.
  9. 적어도 하나의 도형 이미지를 포함하는 이미지 데이터를, 데이터 포맷 변경에 의해, 벡터 이미지로 변환하는 변환부;
    상기 벡터 이미지 내, 상기 도형 이미지의 포지션에 관한 적어도 하나의 제1 속성값을 선정된 암호화 기법에 따라 암호화 하는 암호화부;
    상기 암호화에 의해 변경된 제2 속성값을 이용하여, 상기 이미지 데이터에 대한 비식별화 이미지를 구성하는 구성부; 및
    상기 비식별화 이미지를, 딥러닝 모델이 유지되는 클라우드 서버로 전달하여, 상기 클라우드 서버에 의한 상기 비식별화 이미지의 딥러닝 연산을 처리하는 처리부
    를 포함하는 딥러닝을 위한 이미지 처리 시스템.
  10. 제9항에 있어서,
    상기 변환부는,
    상기 이미지 데이터 내 상기 도형 이미지에 대한, 가로, 세로, 시작위치, 및 도형 이미지를 이루는 점의 위치 중 적어도 하나의 상기 포지션에 관한 제1 속성값을 포함하여, 상기 도형 이미지 각각을, 하나의 벡터 이미지로 변환하는
    딥러닝을 위한 이미지 처리 시스템.
  11. 제9항에 있어서,
    상기 암호화 기법으로서, 순서 보존 암호화(OPE) 기법이 선정되는 경우,
    상기 암호화부는,
    상기 제2 속성값에 대한 범위를 결정하고, 상기 범위를 고려하여, 암호키를 설정하고,
    상기 암호키를 사용하여, 상기 제1 속성값을, 상기 순서 보존 암호화(OPE) 기법에 따라 상기 범위 내의 제2 속성값으로 암호화 하는
    딥러닝을 위한 이미지 처리 시스템.
  12. 제9항에 있어서,
    상기 구성부는,
    상기 포지션 중, 상기 도형 이미지의 가로 또는 세로에 관한 제1 속성값의 암호화에 의해 변경된 제2 속성값을 포함하여, 상기 도형 이미지의 크기가 증가 또는 감소된 비식별화 이미지를 구성하거나, 또는
    상기 포지션 중, 상기 도형 이미지의 시작위치 또는 상기 도형 이미지를 이루는 점의 위치에 관한 제1 속성값의 암호화에 의해 변경된 제2 속성값을 포함하여, 상기 도형 이미지 간 간격이 증가 또는 감소된 비식별화 이미지를 구성하는
    딥러닝을 위한 이미지 처리 시스템.
  13. 제9항에 있어서,
    상기 변환부는,
    상기 비식별화 이미지를, 상기 이미지 데이터와 동일한 데이터 포맷으로 변경하고,
    상기 데이터 포맷의 변경 시, 상기 비식별화 이미지를, 상기 이미지 데이터와 동일한 크기로 조정하는
    딥러닝을 위한 이미지 처리 시스템.
  14. 제9항에 있어서,
    상기 처리부는,
    상기 이미지 데이터에 대해, 애플리케이션 마다 설정된 고유의 암호키를 사용하여 구성한 비식별화 이미지의 각각을 상기 클라우드 서버로 전달하여, 상기 딥러닝 모델 중 하나인 이미지 분류 모델에 입력하고,
    상기 클라우드 서버에 의해, 상기 비식별화 이미지 각각을 이용한 딥러닝 연산을 처리하는
    딥러닝을 위한 이미지 처리 시스템.
  15. 제9항에 있어서,
    상기 클라우드 서버로부터, 상기 비식별화 이미지를 이용한 딥러닝 연산에 대한 처리 결과를 수신하면, 테스트 이미지를 사용하여, 상기 비식별화 이미지를 학습한 상기 딥러닝 모델에 대한 성능 평가를 수행하고, 상기 성능 평가의 결과가, 원본 이미지인 상기 이미지 데이터를 학습한 제1 딥러닝 모델에 대한 성능 평가의 결과와, 정해진 오차 범위 내에서 일치하면, 상기 딥러닝 모델에 대해 유효한 것으로 판단하는 평가부
    를 더 포함하는 딥러닝을 위한 이미지 처리 시스템.
KR1020190086463A 2019-07-17 2019-07-17 딥러닝을 위한 이미지 처리 방법 및 이미지 처리 시스템 KR102234097B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190086463A KR102234097B1 (ko) 2019-07-17 2019-07-17 딥러닝을 위한 이미지 처리 방법 및 이미지 처리 시스템
US16/704,097 US11275866B2 (en) 2019-07-17 2019-12-05 Image processing method and image processing system for deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190086463A KR102234097B1 (ko) 2019-07-17 2019-07-17 딥러닝을 위한 이미지 처리 방법 및 이미지 처리 시스템

Publications (2)

Publication Number Publication Date
KR20210009655A KR20210009655A (ko) 2021-01-27
KR102234097B1 true KR102234097B1 (ko) 2021-04-01

Family

ID=74238839

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190086463A KR102234097B1 (ko) 2019-07-17 2019-07-17 딥러닝을 위한 이미지 처리 방법 및 이미지 처리 시스템

Country Status (2)

Country Link
US (1) US11275866B2 (ko)
KR (1) KR102234097B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102599753B1 (ko) 2023-07-21 2023-11-08 주식회사 카비 이중경로 블록으로 구성된 뉴럴 네트워크를 활용한yuv 이미지 처리 방법 및 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11683294B2 (en) * 2019-12-30 2023-06-20 Imperva, Inc. Privacy-preserving learning of web traffic
US11599806B2 (en) * 2020-06-22 2023-03-07 International Business Machines Corporation Depth-constrained knowledge distillation for inference on encrypted data
IL287685A (en) * 2021-10-28 2023-05-01 B G Negev Technologies And Applications Ltd At Ben Gurion Univ A system and method for receiving secure and privacy-preserving machine learning services from the cloud

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7426752B2 (en) * 2004-01-05 2008-09-16 International Business Machines Corporation System and method for order-preserving encryption for numeric data
JP2006023945A (ja) * 2004-07-07 2006-01-26 Canon Inc 画像処理システム及び画像処理方法
US8938067B2 (en) * 2009-10-30 2015-01-20 Voltage Security, Inc. Format preserving encryption methods for data strings with constraints
WO2015195882A1 (en) * 2014-06-18 2015-12-23 James Collier Methods and apparatus for cryptography
KR20160098581A (ko) * 2015-02-09 2016-08-19 홍익대학교 산학협력단 얼굴 인식 및 화자 인식이 융합된 인증 방법
US10365639B2 (en) 2016-01-06 2019-07-30 Kla-Tencor Corporation Feature selection and automated process window monitoring through outlier detection
KR20180100976A (ko) * 2017-03-03 2018-09-12 한국전자통신연구원 딥 신경망 기반 블러 영상 학습을 이용한 영상 부호화/복호화 방법 및 장치
KR102400017B1 (ko) 2017-05-17 2022-05-19 삼성전자주식회사 객체를 식별하는 방법 및 디바이스
CN107480163B (zh) * 2017-06-19 2020-03-24 西安电子科技大学 一种云环境下支持隐私保护的高效密文图像检索方法
JP2019009686A (ja) * 2017-06-27 2019-01-17 株式会社日立製作所 情報処理装置及び画像データの処理方法
KR101822829B1 (ko) 2017-08-11 2018-01-29 문경훈 머신러닝을 이용한 차단기 부분방전 유형진단 및 노이즈 판별 방법
US10713535B2 (en) * 2017-09-15 2020-07-14 NovuMind Limited Methods and processes of encrypted deep learning services
CN107704877B (zh) * 2017-10-09 2020-05-29 哈尔滨工业大学深圳研究生院 一种基于深度学习的图像隐私感知方法
KR101992739B1 (ko) * 2017-10-30 2019-06-26 (주)한국플랫폼서비스기술 딥러닝을 이용한 암호화 방법
US10535120B2 (en) * 2017-12-15 2020-01-14 International Business Machines Corporation Adversarial learning of privacy protection layers for image recognition services
US10614118B2 (en) * 2018-02-28 2020-04-07 Microsoft Technology Licensing, Llc Increasing inclusiveness of search result generation through tuned mapping of text and images into the same high-dimensional space
EP3769284A4 (en) * 2018-03-23 2021-12-22 Memorial Sloan-Kettering Cancer Center DEEP ENCODER-DECODER MODELS FOR THE RECONSTRUCTION OF BIOMEDICAL IMAGES
US20190354810A1 (en) * 2018-05-21 2019-11-21 Astound Ai, Inc. Active learning to reduce noise in labels
US11443182B2 (en) * 2018-06-25 2022-09-13 International Business Machines Corporation Privacy enhancing deep learning cloud service using a trusted execution environment
KR20200003444A (ko) * 2018-07-02 2020-01-10 삼성전자주식회사 영상 모델 구축 장치 및 방법
CN109165523A (zh) * 2018-07-27 2019-01-08 深圳市商汤科技有限公司 身份认证方法及***、终端设备、服务器及存储介质
KR102137329B1 (ko) * 2018-12-24 2020-07-23 주식회사 포스코아이씨티 딥러닝 기반의 얼굴인식모델을 이용하여 특징벡터를 추출하는 얼굴인식시스템
CN109800294B (zh) * 2019-01-08 2020-10-13 中国科学院自动化研究所 基于物理环境博弈的自主进化智能对话方法、***、装置
US11775275B2 (en) * 2019-01-30 2023-10-03 Hewlett-Packard Development Company, L.P. Secure code image distribution
CN111818346B (zh) * 2019-04-11 2023-04-18 富士通株式会社 图像编码方法和装置、图像解码方法和装置
CN110288665B (zh) * 2019-05-13 2021-01-15 中国科学院西安光学精密机械研究所 基于卷积神经网络的图像描述方法、计算机可读存储介质、电子设备
US10891985B1 (en) * 2019-07-11 2021-01-12 Disney Enterprises, Inc. Bi-level specificity content annotation using an artificial neural network

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Privacy-Preserving Deep Learning via Additively Homomorphic Encryption. Le Trieu Phong et al. IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY, VOL. 13, NO. 5, MAY 2018.
Structural Image De-Identification for Privacy-Preserving Deep Learning. 고동현, 최석환, 신진명, Peng Liu, 최윤호. IEEE(2020). Digital Object Identifier 10.1109/ACCESS.2020.3005911.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102599753B1 (ko) 2023-07-21 2023-11-08 주식회사 카비 이중경로 블록으로 구성된 뉴럴 네트워크를 활용한yuv 이미지 처리 방법 및 장치

Also Published As

Publication number Publication date
US20210019443A1 (en) 2021-01-21
US11275866B2 (en) 2022-03-15
KR20210009655A (ko) 2021-01-27

Similar Documents

Publication Publication Date Title
KR102234097B1 (ko) 딥러닝을 위한 이미지 처리 방법 및 이미지 처리 시스템
JP7376593B2 (ja) 人工知能を利用した安全保障システム
JP7362165B2 (ja) プライバシーのためにデータをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置｛ｍｅｔｈｏｄ ｆｏｒ ｔｒａｉｎｉｎｇ ａｎｄ ｔｅｓｔｉｎｇ ａｄａｐｔｉｏｎ ｎｅｔｗｏｒｋ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ｏｂｆｕｓｃａｔｉｏｎ ｎｅｔｗｏｒｋ ｃａｐａｂｌｅ ｏｆ ｐｒｏｃｅｓｓｉｎｇ ｄａｔａ ｔｏ ｂｅ ｃｏｎｃｅａｌｅｄ ｆｏｒ ｐｒｉｖａｃｙ、ａｎｄ ｔｒａｉｎｉｎｇ ｄｅｖｉｃｅ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
CN110490128B (zh) 一种基于加密神经网络的手写识别方法
CN110941855A (zh) 一种AIoT场景下的神经网络模型窃取防御方法
CN110659452B (zh) 人工智能支持的cyber数据隐藏和定向任务执行方法
Husien et al. Artificial neural network for steganography
Lodeiro-Santiago et al. Secure UAV‐based system to detect small boats using neural networks
US10924632B2 (en) Apparatus and methods for determining and providing anonymized content within images
CN112765652B (zh) 叶节点分类权值的确定方法、装置、及设备
US11829468B2 (en) Neural network confidentiality
KR20220052839A (ko) 개인 정보 보호를 위하여 원본 데이터를 비식별 처리한 변조 데이터를 인식하기 위한 사용자 러닝 네트워크를 학습하는 방법 및 테스팅하는 방법, 그리고, 이를 이용한 학습 장치 및 테스팅 장치
CN112101531A (zh) 基于隐私保护的神经网络模型训练方法、装置及***
Jain et al. RGB channel based decision tree grey-alpha medical image steganography with RSA cryptosystem
CN114741708A (zh) 一种模型数据的处理方法、装置及设备
AlEisa Data confidentiality in healthcare monitoring systems based on image steganography to improve the exchange of patient information using the internet of things
Pérez et al. Universal steganography detector based on an artificial immune system for JPEG images
CN115952529B (zh) 一种用户数据处理方法、计算设备及存储介质
CN115118462B (zh) 一种基于卷积增强链的数据隐私保护方法
CN108900294B (zh) 涉及指定频段加密的神经网络模型加密保护***及方法
Seem et al. Artificial neural network, convolutional neural network visualization, and image security
KR101949579B1 (ko) 바이오매트릭스를 이용하여 키를 생성하는 방법 및 시스템
US20210326752A1 (en) Method and apparatus for training analysis model
KR20230082169A (ko) 인공지능모델의 원격 검증 방법 및 장치
Angulo et al. Synthetic data for anonymization in secure data spaces for federated learning

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right