KR102281601B1 - 시스템 온 칩과 이를 이용한 정보 보호 방법 및 장치 - Google Patents
시스템 온 칩과 이를 이용한 정보 보호 방법 및 장치 Download PDFInfo
- Publication number
- KR102281601B1 KR102281601B1 KR1020190097406A KR20190097406A KR102281601B1 KR 102281601 B1 KR102281601 B1 KR 102281601B1 KR 1020190097406 A KR1020190097406 A KR 1020190097406A KR 20190097406 A KR20190097406 A KR 20190097406A KR 102281601 B1 KR102281601 B1 KR 102281601B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- area
- unit
- access
- soc
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/78—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/14—Protection against unauthorised use of memory or access to memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/604—Tools and structures for managing or administering access control systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/71—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure computing or processing of information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Bioethics (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
Abstract
탑재된 인공지능(artificial intelligence, AI) 알고리즘 및/또는 기계학습(machine learning) 알고리즘을 실행하며, 5G 통신 환경에서 다른 전자 기기들 및 외부 서버와 통신할 수 있는 정보 보호 장치가 개시된다. 상기 장치는 시스템 온 칩, 카메라, 디스플레이 및 프로세스 등을 포함한다. 상기 정보 보호 장치가 제공됨으로써, 프라이버시 정보가 보다 효과적으로 보호될 수 있다.
Description
본 발명은 시스템 온 칩과 이를 이용한 정보 보호 방법 및 장치에 관한 것으로, 더 상세하게는 내부 메모리의 접근 권한을 설정하는 시스템 온 칩(SoC)과 이를 탑재하여 프라이버시 정보를 보호하는 방법 및 장치에 관한 것이다.
카메라의 범용적인 사용으로 다양한 편의가 사용자에게 제공되고 있다. 예를 들면, 스마트폰, 블랙 박스, CCTV, HMD(Head Mounted Display) 등에 구비된 카메라를 통해 사용자에게 다양한 편의가 제공되고 있다. 사용자 편의를 보다 극대화하기 위해, 카메라의 촬영 범위 내에 있는 오브젝트를 정확하게 인식하는 방법이 필요하다.
이에, 선행 기술 1에 개시된 장치는 카메라로 사람을 촬영하고, 복수의 트래킹 모듈을 이용하여 이동하는 사람을 추적함으로써, 오브젝트 인식의 정확도를 높인다.
다만, 선행 기술 1에 개시된 장치는 인식된 오브젝트를 저장할 때, 특별한 정보 보호 메커니즘 없이 인식된 오브젝트를 저장함으로써, 정보 보호에 어려움이 있다.
선행 기술 2에 개시된 장치는 촬영 영상에 정보 보호가 필요한 영역을 감지하고 감지된 영역을 마스킹(Masking)하여 암호화하고, 촬영 영상을 이용할 때, 마스킹된 영역을 언마스킹(Unmasking)하여 복호화한다.
다만, 선행 기술 2에 개시된 장치는 마스킹 또는 언마스킹이라는 소프트웨어적인 처리로 촬영 영상을 암호화 및 복호화하므로 해킹 등의 외부 공격에 취약할 수 밖에 없다.
본 발명이 해결하고자 하는 과제는 정보 보호가 필요한 프라이버시 정보를 소프트웨어적 접근이 어려운 메모리 영역에 저장하는 정보 보호 장치 및 방법을 제공하는 데에 있다.
본 발명의 또 다른 과제는, 비전 인식 및 신경망 연산을 통해 실시간으로 입력되는 영상 정보에 프라이버시 정보가 포함되었는지를 모니터링하는 정보 보호 장치 및 방법을 제공하는 데에 있다.
본 발명의 또 다른 과제는, 안전하게 저장된 프라이버시 정보를 접근 권한을 갖는 유닛에게만 제공하는 정보 보호 장치 및 방법을 제공하는 데에 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 일 실시 예에 따른 정보 보호 장치는 하드웨어인 HW 필터를 이용하여 SoC(System on Chip) 메모리의 접근 제한 영역을 관리할 수 있다.
상기 정보 보호 장치는 소정의 SoC 내에 배치되며, 접근 권한이 있는 유닛(Unit)만 접근하는 제1 영역을 포함하는 SoC 메모리 및 SoC 메모리에 접근을 시도하는 하나 이상의 유닛을 모니터링하며, 접근 권한이 없는 유닛이 제1 영역에 접근을 시도하는 경우, 접근을 차단하는 HW 필터를 포함할 수 있다.
상기 정보 보호 장치는 제1 영역에 접근이 허용되는 유닛의 유닛 고유 정보를 HW 필터의 필터 저장부에 저장하는 프로세서를 더 포함하며, HW 필터는 필터 저장부에 저장된 유닛 고유 정보에 기초하여, 제1 영역에 접근 가능한 유닛을 결정할 수 있다.
여기서, 상기 HW 필터는 SoC 메모리에 리드(Read)나 라이트(Write) 오퍼레이션을 시도하는 하나 이상의 유닛 및 SoC 메모리 사이의 시스템 버스 상에 위치할 수 있다.
상기 HW 필터는 접근 제한이 없는 SoC 메모리의 제2 영역에 소정의 유닛이 접근을 시도하는 경우, 소정 유닛의 오퍼레이션을 허용할 수 있다.
상기 프로세서는 입력된 콘텐츠 정보에 프라이버시 정보가 포함된 경우, 콘텐츠 정보를 SoC 메모리의 제1 영역에 저장하며, 입력된 콘텐츠 정보에 프라이버시 정보가 포함되지 않은 경우, 콘텐츠 정보를 SoC 메모리의 제2 영역에 저장할 수 있다.
상기 정보 보호 장치는 입력된 콘텐츠 정보가 영상 정보를 포함하는 경우, 영상 정보에서 오브젝트를 인식하는 오브젝트 인식부를 더 포함하며, 상기 프로세서는, 영상 정보 또는 인식된 오브젝트에 프라이버시 정보가 포함된 경우, 콘텐츠 정보를 제1 영역에 저장할 수 있다.
상기 오브젝트 인식부는, 비전 인식(Vision Recognition) 기반으로 영상 정보 또는 인식된 오브젝트에서 특징 정보를 추출하는 비전 정보 추출부 및 추출된 특징 정보를 입력으로 하여, 영상 정보 또는 인식된 오브젝트가 프라이버시 정보를 포함하는지, 기 저장된 학습 모델에 기초하여 연산하는 신경망 연산부를 포함할 수 있다.
상기 프로세서는, 접근 권한이 없는 유닛이 제1 영역에 저장된 소정의 콘텐츠 정보를 요청하는 경우, 요청된 콘텐츠 정보가 프라이버시 정보를 포함하는지 판단하고, 판단된 정보에 기초하여 프라이버시 정보의 포함 여부를 접근 권한이 없는 유닛에 제공할 수 있다.
상기 정보 보호 장치는, 정보 보호 장치 또는 SoC의 외부로 상기 제1 영역에 포함된 콘텐츠 정보를 전송하는 경우, 전송할 콘텐츠 정보를 암호화하는 보안 강화 모듈을 더 포함할 수 있다.
본 발명의 일 실시 예에 따른 시스템 온 칩(System on Chip, SoC)은 접근 권한이 있는 유닛만 접근하는 제1 영역 및 접근에 제한이 없는 제2 영역을 포함하는 SoC 메모리, SoC 메모리에 접근을 시도하는 하나 이상의 유닛을 모니터링하며, 접근 권한이 없는 유닛이 제1 영역에 접근을 시도하는 경우, 접근을 차단하는 HW 필터 및 제1 영역에 접근이 허용되는 유닛의 유닛 고유 정보를 HW 필터의 필터 저장부에 저장하는 SoC 프로세서를 포함할 수 있다.
상기 SoC 프로세서는, 입력된 콘텐츠 정보에 프라이버시 정보가 포함된 경우, 콘텐츠 정보를 SoC 메모리의 제1 영역에 저장하며, 입력된 콘텐츠 정보에 프라이버시 정보가 포함되지 않은 경우, 콘텐츠 정보를 SoC 메모리의 제2 영역에 저장할 수 있다.
상기 SoC는 입력된 상기 콘텐츠 정보가 영상 정보를 포함하는 경우, 영상 정보에서 오브젝트를 인식하는 오브젝트 인식부를 더 포함하며, SoC 프로세서는, 영상 정보 또는 인식된 오브젝트에 프라이버시 정보가 포함된 경우, 콘텐츠 정보를 상기 제1 영역에 저장할 수 있다.
상기 오브젝트 인식부는, 비전 인식(Vision Recognition) 기반으로 영상 정보 또는 인식된 오브젝트에서 특징 정보를 추출하는 비전 정보 추출부 및 추출된 특징 정보를 입력으로 하여, 영상 정보 또는 인식된 오브젝트가 프라이버시 정보를 포함하는지, 기 저장된 학습 모델에 기초하여 연산하는 신경망 연산부를 포함할 수 있다.
본 발명의 일 실시 예에 따른 SoC를 이용한 정보 보호 방법은 접근 권한이 있는 유닛이 접근 가능한 제1 영역 및 접근 제한이 없는 제2 영역을 SoC 메모리에 할당하는 단계, 제1 영역에 접근이 허용되는 유닛의 유닛 고유 정보를 HW 필터에 저장하는 단계, SoC 메모리에 접근을 시도하는 하나 이상의 유닛을 상기 HW 필터를 통해 모니터링하는 단계 및 제1 영역에 접근 권한이 없는 소정 유닛이 제1 영역에 접근을 시도하는 경우, 소정 유닛의 접근을 차단하는 단계를 포함할 수 있다.
상기 정보 보호 방법은 입력된 콘텐츠 정보에 프라이버시 정보가 포함된 경우, 콘텐츠 정보를 제1 영역에 저장하는 단계 및 입력된 콘텐츠 정보에 프라이버시 정보가 포함되지 않은 경우, 콘텐츠 정보를 제2 영역에 저장하는 단계를 포함할 수 있다.
상기 정보 보호 방법은 입력된 콘텐츠 정보가 영상 정보를 포함하는 경우, 영상 정보에서 오브젝트를 인식하는 단계를 더 포함할 수 있다. 여기서, 상기 제1 영역에 저장하는 단계는 영상 정보 또는 인식된 오브젝트에 프라이버시 정보가 포함된 경우, 콘텐츠 정보를 제1 영역에 저장하는 단계를 포함할 수 있다.
상기 오브젝트를 인식하는 단계는, 비전 인식(Vision Recognition) 기반으로 영상 정보 또는 인식된 오브젝트에서 특징 정보를 추출하는 단계 및 추출된 특징 정보를 입력으로 하여, 영상 정보 또는 인식된 오브젝트가 프라이버시 정보를 포함하는지, 기 저장된 학습 모델에 기초하여 연산하는 단계를 포함할 수 있다.
상기 정보 보호 방법은 소정 유닛의 접근을 차단하는 단계 이후에, 제1 영역에 접근 권한이 없는 유닛이 제1 영역에 저장된 소정의 콘텐츠 정보를 요청하는 경우, 요청된 상기 콘텐츠 정보가 프라이버시 정보를 포함하는지 판단하는 단계 및 판단된 정보에 기초하여 프라이버시 정보의 포함 여부를 유닛에 제공하는 단계를 포함할 수 있다.
또한, 상기 정보 보호 방법은 SoC의 외부로 제1 영역에 포함된 콘텐츠 정보를 전송하는 경우, 전송할 콘텐츠 정보를 암호화하는 단계를 더 포함할 수 있다.
본 발명에서 이루고자 하는 기술적 과제들의 해결 수단은 이상에서 언급한 해결 수단들로 제한되지 않으며, 언급하지 않은 또 다른 해결 수단들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 다양한 실시 예에 따르면 아래와 같은 효과가 도출될 수 있다.
첫째로, 정보 보호가 필요한 프라이버시 정보를 소프트웨어적 접근이 어려운 메모리 영역에 저장함으로써, 정보 보안성이 향상될 수 있다.
둘째로, 안전하게 저장된 프라이버시 정보를 접근 권한을 갖는 유닛에게만 제공함으로써, 정보 보안성이 향상될 수 있으며, 장치 사용에 대한 사용자 신뢰도가 향상될 수 있다.
셋째로, 비전 인식 및 신경망 연산을 통해 실시간으로 입력되는 영상 정보에 프라이버시 정보가 포함되었는지를 모니터링함으로써, 오브젝트의 인식도가 향상될 수 있다.
넷째로, 상술한 정보 보호 장치의 경우, 유럽의 GDPR(General Data Protection Regulation) 및 미국의 CCPA(California Consumer Privacy Act) 등의 개인정보 규제 법규에 저촉되지 않을 수 있으므로, 시장 경쟁력을 보유하고 있다.
도 1은 본 발명의 일 실시 예에 따른 5G 네트워크 기반의 정보 보호 클라우드 시스템을 나타낸 개략도,
도 2는 본 발명의 일 실시 예에 따른 정보 보호 장치의 구동을 개략적으로 설명하기 위한 도면,
도 3은 본 발명의 일 실시 예에 따른 정보 보호 장치의 구성을 나타내는 블록도,
도 4는 본 발명의 일 실시 예에 따른 외부 유닛이 SoC 메모리에 접근하는 과정을 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 따른 정보 보호 장치의 구동을 나타내는 블록 시퀀스도,
도 6은 본 발명의 일 실시 예에 따른 SoC 메모리의 접근 제한 영역 및 일반 영역을 설명하기 위한 도면,
도 7은 본 발명의 일 실시 예에 따른 어플리케이션 프로그램이 SoC 메모리의 접근 제한 영역의 정보를 획득하는 과정을 나타내는 시퀀스도,
도 8은 본 발명의 일 실시 예에 따른 외부 이동 단말이 정보 보호 장치의 정보를 획득하는 상황을 설명하기 위한 도면, 그리고,
도 9는 본 발명의 일 실시 예에 따른 정보 보호 장치의 구동 방법을 나타내는 시퀀스도이다.
도 2는 본 발명의 일 실시 예에 따른 정보 보호 장치의 구동을 개략적으로 설명하기 위한 도면,
도 3은 본 발명의 일 실시 예에 따른 정보 보호 장치의 구성을 나타내는 블록도,
도 4는 본 발명의 일 실시 예에 따른 외부 유닛이 SoC 메모리에 접근하는 과정을 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 따른 정보 보호 장치의 구동을 나타내는 블록 시퀀스도,
도 6은 본 발명의 일 실시 예에 따른 SoC 메모리의 접근 제한 영역 및 일반 영역을 설명하기 위한 도면,
도 7은 본 발명의 일 실시 예에 따른 어플리케이션 프로그램이 SoC 메모리의 접근 제한 영역의 정보를 획득하는 과정을 나타내는 시퀀스도,
도 8은 본 발명의 일 실시 예에 따른 외부 이동 단말이 정보 보호 장치의 정보를 획득하는 상황을 설명하기 위한 도면, 그리고,
도 9는 본 발명의 일 실시 예에 따른 정보 보호 장치의 구동 방법을 나타내는 시퀀스도이다.
본 발명의 다양한 실시 예에 인공 지능 및 확장 현실의 기술이 적용될 수 있으므로, 이하에서는, 인공 지능 및 확장 현실에 대해 개략적으로 설명한다.
인공 지능(AI: Artificial Intelligence)은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.
인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로서, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.
인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)을 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함숫값을 출력할 수 있다.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향(Bias) 등이 포함된다. 그리고, 하이퍼 파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.
인공 신경망에서 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.
지도 학습은 학습 데이터에 대한 레이블(Label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.
인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.
다음으로, 확장 현실(XR: eXtended Reality)은 가상 현실(VR: Virtual Reality), 증강 현실(AR: Augmented Reality), 혼합 현실(MR: Mixed Reality)을 총칭한다. VR 기술은 현실 세계의 객체나 배경 등을 CG 영상으로만 제공하고, AR 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술이다.
MR 기술은 현실 객체와 가상 객체를 함께 보여준다는 점에서 AR 기술과 유사하다. 그러나, AR 기술에서는 가상 객체가 현실 객체를 보완하는 형태로 사용되는 반면, MR 기술에서는 가상 객체와 현실 객체가 동등한 성격으로 사용된다는 점에서 차이점이 있다.
XR 기술은 HMD(Head-Mount Display), HUD(Head-Up Display), 휴대폰, 태블릿 PC, 랩탑, 데스크탑, TV, 디지털 사이니지 등에 적용될 수 있고, XR 기술이 적용된 장치를 XR 장치(XR Device)라 칭할 수 있다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 동일하거나 유사한 구성요소에는 동일 유사한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하며, 도면 부호는 도면 간에 참조될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 5G 네트워크 기반의 정보 보호 클라우드 시스템(1000)을 개략적으로 나타낸다.
상기 정보 보호 클라우드 시스템(1000)은 5G 기반에서 제공될 수 있는 다양한 서비스를 정의할 수 있으며, 정보 보호 장치(100), 이동 단말(200), 정보 제공 시스템(300), 각종 기기(400) 및 5G 네트워크(500)를 포함할 수 있다.
우선, 정보 보호 장치(100)는 카메라(도 3의 121)를 이용하여 다양한 오브젝트를 인식하고, 인식된 오브젝트에 관련된 정보를 사용자, 정보 제공 시스템(300) 및 각종 기기(400) 등에 제공할 수 있다.
정보 보호 장치(100)는 카메라를 구비한 다양한 장치를 포함할 수 있는데, 정보 보호 장치(100)는 로봇 청소기, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등의 이동 기기들을 포함할 수 있으며, 구현 예에 따라서는, 고정형으로 구현된 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등의 고정 기기 등도 포함할 수 있다. 본 명세서 상에서는 정보 보호 장치(100)를 로봇 청소기(100)로 상정하여 기술하기로 한다.
정보 보호 장치(100)는 내부에 시스템 온 칩(System on Chip, 이하 "SoC"으로 칭함)을 포함하는데, SoC는 기존의 여러 가지 기능을 가진 복잡한 시스템을 하나의 시스템으로 구현한 기술 집약적 반도체 기술이다. SoC는 시스템 전체를 제어하는 프로세서와 그 프로세서에 의해서 제어되는 다양한 IP(Intellectual Properties: 이하 IP)로 구성된다. 여기서, IP라 함은 SoC에 집적될 수 있는 회로(circuit), 로직(logic), 또는 이들의 조합을 의미한다. 또한, 상기 회로 또는 상기 로직에는 코드(code)가 저장될 수 있다.
정보 보호 장치(100)는 정보 보호가 필요한 콘텐츠 정보를 상기 SoC 내부의 Soc 메모리에 저장할 수 있다. 상기 SoC 내부의 메모리에는 접근 권한을 갖는 프로세서, 퍼리퍼럴(Peripheral) 등만 액세스하는 접근 제한 영역을 포함될 수 있다. 선택적 실시 예로, 접근 권한을 갖는 실행 중인 프로그램(Process 또는 Thread)도 상기 접근 제한 영역에 액세스할 수 있다.
이동 단말(200)은 정보 보호 장치(100)에 각종 정보를 요청할 수 있으며, 정보 보호 장치(100)로부터 다양한 정보를 수신할 수 있다. 이동 단말(200)은 정보 보호 장치(100)가 가진 프라이버시 정보를 열람하기 위해 사용자 인증, 특정 보안 알고리즘을 이용할 수 있으며, 공개되는 프라이버시 정보의 범위는 정보 보호 장치(100)에 의해 설정될 수 있다.
정보 제공 시스템(300)는 정보 보호 장치(100) 또는 이동 단말(200)의 요청에 따라 다양한 정보를 해당 장치(100) 및 단말(200)로 전송할 수 있다. 정보 제공 시스템(300)은 복수 개의 서버를 포함할 수 있으며, 클라우드 타입의 시스템으로 구현될 수 있다.
각종 기기(400)는 컴퓨터(400a), 냉장고, 세탁기, 에어컨, AI 스피커 등을 포함하는 홈 어플라이언스(Home Appliance), 자율 주행차(400b), 로봇(400c) 등을 포함할 수 있으며, 5G 네트워크(500)를 통해 각종 정보를 송수신할 수 있다.
각종 기기(400)는 정보 보호 장치(100), 이동 단말(200), 정보 제공 시스템(300) 등과 5G 네트워크(500, 예를 들면, 인터넷)를 통해 무선으로 연결될 수 있다. 선택적 실시 예로 상기 각종 기기(400)는 상술한 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer) 등을 포함할 수 있다.
정보 보호 장치(100)는 통신 모듈을 이용하여 네트워크(500)를 통해 정보 제공 시스템(300), 각종 기기(400) 등과 통신할 수 있다. 정보 보호 장치(100)는 정보 제공 시스템(300)에 다양한 정보를 요청할 수 있으며, 정보 제공 시스템(300)으로부터 연산/검색된 다양한 정보를 수신할 수 있다. 상기 연산/검색은 인공 지능에 관련된 연산 또는 검색을 포함할 수 있다.
상기 정보 보호 장치(100), 이동 단말(200), 정보 제공 시스템(300) 및 각종 기기(400)는 모두 5G 모듈을 탑재하여 100Mbps 내지 20Gbps(또는, 그 이상) 속도로 데이터를 송수신할 수 있어서 대용량의 동영상 파일을 다양한 기기로 전송할 수 있으며, 저전력으로 구동되어 전력 소비가 최소화될 수 있다. 다만, 상기 전송 속도는 실시 예에 따라 달리 구현될 수 있다.
5G 네트워크(500)는 5G 이동 통신 네트워크, 근거리 네트워크, 인터넷 등을 포함하여 유무선으로 기기들의 통신 환경을 제공할 수 있다.
이하에서는 도 2를 참고하여, 본 발명의 일 실시 예에 따른 정보 보호 장치(100)의 구동을 개략적으로 설명하기로 한다.
정보 보호 장치(100)는 홈(Home)에 배치될 수 있으며, 카메라(121)를 통해 장치(100)의 외부를 촬영할 수 있다. 정보 보호 장치(100)는 홈(Home) 내부를 촬영하여 촬영 영상(20)을 생성할 수 있다. 구체적으로, 정보 보호 장치(100)는 실시간으로 홈(Home) 내부를 촬영할 수 있으며, 사람들(P1~P3)을 촬영하고, 촬영 영상에 사람들을 표시(P1a~P3a)할 수 있다.
정보 보호 장치(100)는 촬영 영상(20)에 프라이버시 정보가 포함되었는지 결정할 수 있으며, 촬영 영상(20)에 프라이버시 정보가 포함된 경우, 정보 보호 장치(100)의 SoC 메모리(177)의 접근 제한 영역(177RA)에 촬영 영상(20)에 관한 정보를 저장할 수 있다. 정보 보호 장치(100)는 특정 오브젝트(P1a)에 프라이버시 정보가 포함된 경우, 해당 오브젝트(P1a)에 표시(PI)할 수 있는데, 특별히 AR 콘텐츠로 프라이버시 정보를 포함한 오브젝트임을 표시(PI)할 수 있다.
정보 보호 장치(100)는 상기 SoC 메모리(177)에 액세스 가능한 유닛(가령, 프로세서, 퍼리퍼렐 등)을 미리 SoC에 세팅할 수 있다. 그러면, SoC는 하드웨어적으로 접근 제한 영역(177RA)에 액세스 하려는 유닛의 접근을 제한할 수 있다. 즉, 정보 보호 장치(100)는 하드웨어로 보호된 Secure Data PipeLine으로 구성된 시스템을 이용하여 소프트웨어적으로 SoC 메모리(177)에 접근하는 것을 차단할 수 있다.
이하에서는, 정보 보호 장치(100)의 구성을 도 3에 도시된 블록도를 참고하여 설명하기로 한다.
도 3을 참고하면, 정보 보호 장치(100)는 구성 그룹(100A) 및 SoC(170)를 포함할 수 있다. 구성 그룹(100A)은 장치의 기본적인 구성으로 통신부(110), 입력부(120), 센싱부(130), 출력부(140), 저장부(150) 및 프로세서(190)를 포함할 수 있다. SoC(170)는 정보 보호 장치(100) 내에 소정의 영역에 탑재된 칩으로, ISP 모듈(171), 비전 정보 추출부(172), 신경망 연산부(173), 비디오 인코더(174), 보안 강화 모듈(175), SoC 프로세서(176) 및 SoC 메모리(177) 등을 포함할 수 있다. 도 3에 도시된 구성요소들은 정보 보호 장치(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 정보 보호 장치(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
먼저, 통신부(110)는 유무선 통신 기술을 이용하여 도 1에 도시된 각종 통신 엔티티(Entity)와 데이터를 송수신할 수 있다. 예컨대, 통신부(110)는 이동 단말(200), 정보 제공 시스템(300), 각종 기기(400) 등과 센서 정보, 사용자 입력 정보, 학습 모델에 관한 정보, 제어 신호 정보 등을 송수신할 수 있으나, 전송 정보가 이에 국한되는 것은 아니다.
이때, 통신부(110)는 이동 통신 모듈 및 근거리 통신 모듈을 포함할 수 있다. 이동 통신 모듈은 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G 등의 기술을 통해 통신하며, 근거리 통신 모듈은 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association;IrDA), ZigBee, NFC(Near Field Communication) 등의 기술을 통해 통신할 수 있다.
입력부(120)는 영상 신호 입력을 위한 카메라(121), 오디오 신호를 수신하기 위한 마이크로폰(123, 이하, "마이크"로 칭함), 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다. 여기서, 카메라(121)나 마이크(123)를 센서로 취급하여, 카메라(121)나 마이크(123)로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.
입력부(120)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때, 사용될 입력 데이터 등을 획득할 수 있다. 입력부(120)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(190)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.
센싱부(130)는 다양한 센서들을 이용하여 정보 보호 장치(100)의 내부 정보, 정보 보호 장치(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.
이때, 센싱부(130)에 포함되는 센서에는 거리 감지 센서, 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서(카메라(121) 포함), 마이크(123), 라이다, 레이더 등이 있다.
출력부(140)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있는데, 출력부(140)에는 시각 정보를 출력하는 디스플레이(141), 청각 정보를 출력하는 스피커(143), 촉각 정보를 출력하는 햅틱 모듈 등이 포함될 수 있다.
저장부(150)는 정보 보호 장치(100)의 다양한 기능을 지원하는 데이터를 저장한다. 저장부(150)는 정보 보호 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 정보 보호 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다.
전원공급부(160)는 프로세서(190)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 정보 보호 장치(100)의 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(160)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다. 상기 배터리는 유선 또는 무선 충전 방식으로 충전될 수 있는데, 무선 충전 방식은 자기 유도 방식 또는 자기 공진 방식을 포함할 수 있다.
프로세서(190)는 정보 보호 장치(100)의 구성들을 컨트롤하는 모듈이다. 상기 프로세서(190)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 상기 프로세서(190)는 시스템 전체를 컨트롤하는 중앙처리장치(central processing unit: CPU, 191), 어플리케이션에 관련된 프로세스를 구동하는 어플리케이션 프로세서(Application Processor, 193) 등을 포함할 수 있으나, 선택적 실시 예로 상기 프로세서(190)는 마이크로프로세서(microprocessor), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
그 다음으로, SoC(170)는 정보 보호 장치(100)의 내부에 탑재되는 독립적인 모듈이며, 상술한 바와 같이 ISP 모듈(171), 비전 정보 추출부(172), 신경망 연산부(173), 비디오 인코더(174), 보안 강화 모듈(175), SoC 프로세서(176), SoC 메모리(177)와 HW 필터(178) 등을 포함할 수 있다.
ISP(Image Signal Processing) 모듈(171)은 광을 전기적 신호로 변환하는 모듈로, 카메라(121)를 통해 입력된 이미지 센싱 정보에 기초하여 영상 신호 정보를 생성할 수 있다.
오브젝트 인식부(미도시)는 입력된 콘텐츠 정보가 영상 정보를 포함하는 경우, 영상 정보에서 오브젝트를 인식하는 모듈로, 비전 정보 추출부(172) 및 신경망 연산부(173)를 포함할 수 있다. 오브젝트 인식부는 보안 환경(가령, 외부 어플리케이션 프로그램이 접근하기 어려운 환경, Tamper Resistant 한 메모리를 이용하는 환경 등)에서 외부 정보 제공 시스템(300)의 연산 도움을 받지 않고 구동될 수 있다.
먼저, 비전 정보 추출부(172)는 비전 인식(Vision Recognition) 기반으로 영상 정보 또는 인식된 오브젝트에서 특징 정보를 추출할 수 있다. 구체적으로, 비전 정보 추출부(172)는 카메라(121)를 통해 촬영된 영상에서 오브젝트를 선별적으로 인식하게 하는 정보를 추출할 수 있다. 선택적 실시 예로 비전 정보 추출부(172)는 깊이 정보를 인식할 수 있는 카메라(121)로부터 영상 신호 정보를 수신할 수 있다.
신경망 연산부(173)는 상기 비전 정보 추출부(172)에서 추출된 특징 정보를 입력으로 하여, 영상 정보 또는 인식된 오브젝트가 프라이버시 정보를 포함하는지, 기 저장된 학습 모델에 기초하여 연산하는 신경망 연산을 수행할 수 있다.
신경망 연산부(173)는 영상 정보에 프라이버시 정보가 포함되었는지 판단할 수 있다. 이를 위해, 신경망 연산부(173)는 SoC 메모리(177)에 저장된 학습 모델(177a)에 기초하여 영상 정보 또는 인식된 오브젝트가 프라이버시 정보를 포함하는지 연산할 수 있다.
상기 학습 모델(177a)은 오브젝트의 특징 정보, 예를 들면, 오브젝트의 외관 정보, 디멘션 정보(수치, 크기, 용적 등), 시간 정보, 장소 정보, 사용자에 의해 프라이버시 정보로 설정된 정보, 오브젝트의 동선 정보 등에 기초하여 소정의 콘텐츠 정보에 프라이버시 정보가 포함되었는지 여부를 출력할 수 있다.
상기 학습 모델은 영상 정보 또는 영상 정보에 포함된 오브젝트를 인식한 정보에 기초하여 영상 정보가 프라이버시 정보를 포함하는지 판단하기 위한 미리 훈련된 신경망 모델이며, 이를 위해 영상 콘텐츠들과 콘텐츠들에 대한 프라이버시 정보가 포함된 것인지를 표시한 레이블(출력 대상 정답)이 사용될 수 있다.
비디오 인코더(174)는 영상 특히 동영상을 부호화하는 구성요소이며, 통신망을 통해 영상을 전송하기 위해 주로 사용될 수 있다. 송신측에 비디오 인코더가 구비된 경우, 수신측에 비디오 디코더가 필요하다.
보안 강화 모듈(175)은 SoC 프로세서(176)의 제어에 따라 HW 필터(178)에 유닛(프로세서들, 퍼리퍼렐)의 유닛 고유 정보(가령, 고유 식별 부호)를 세팅할 수 있으며, 보안 강화 프로그램을 구동시킬 수 있다. 상기 보안 강화 프로그램은 외부 프로그램과 통신할 수 있다. 보안 강화 프로그램은 사용자 인증 또는 키 알고리즘의 인증 등을 통해 SoC 메모리(177)의 접근 제한 영역(177RA)의 정보를 외부 프로그램에 제공할 수 있다.
보안 강화 모듈(175)은 외부의 유닛이 SoC 메모리(177)의 접근 제한 영역(도 2 177RA)에 포함된 정보를 제공하고자 하는 경우, 후술할 HW 필터(178)의 레지스터에 상기 외부의 유닛 고유 정보(가령, ID)를 저장할 수 있다. 그러면, 외부 유닛은 상기 접근 제한 영역(177RA)에 배치된 정보에 접근할 수 있다. HW 필터(178)는 상기 외부 유닛에 리드 오퍼레이션만 허용할 것인지, 라이트 오퍼레이션만 허용할 것인지, 둘 다 허용할 것인지 결정할 수 있다.
보안 강화 모듈(175)은 신경망 연산부(173)에서 입력된 콘텐츠 정보에 프라이버시 정보가 포함될 확률이 높다는 판단 정보를 수신하여, 상기 SoC 프로세서(176)의 제어에 따라 SoC 메모리(177)의 접근 제한 영역(177RA)에 해당 콘텐츠 정보를 저장할 수 있다.
SoC 프로세서(176)는 SoC 내부에 배치된 프로세서로 SoC를 전반적으로 제어하는 모듈이다.
SoC 메모리(177)는 SoC 내부에 배치되며, 접근 권한이 있는 유닛만 접근하는 제1 영역 및 접근에 제한이 없는 제2 영역을 포함할 수 있다.
HW 필터(178)는 SoC 메모리(177)에 리드(Read)이나 라이트(Write) 오퍼레이션을 시도하는 유닛과 상기 SoC 메모리(177) 사이의 시스템 버스(181B)나 메모리 버스에 배치될 수 있다.
HW 필터(178)는 하드웨어적으로 SoC 메모리(177)의 접근을 차단할 수 있으므로, 소프트웨어적인 해킹 시도를 간단히 방어할 수 있다.
HW 필터(178)는 SoC 메모리(177)로 접근하는 모든 유닛의 오퍼레이션을 모니터링할 수 있다. HW 필터(178)는 접근 권한이 없는 유닛이 상기 제1 영역(177RA)에 접근을 시도하는 경우, 접근을 차단할 수 있다.
SoC 프로세서(176)는 HW 필터(178)의 필터 저장부(가령, 레지스터)에 제1 영역에 접근 가능한 유닛의 유닛 고유 정보를 저장할 수 있다. 그러면, HW 필터(178)는 레지스터에 저장된 유닛 고유 정보에 기초하여, 상기 제1 영역(177RA)에 접근 가능한 유닛을 결정할 수 있다. 선택적 실시 예로, 보안 강화 모듈(175)의 외부에 요청에 따라 제1 영역(177RA)에 접근을 허용해주거나, 제1 영역(177RA)에 포함된 정보를 외부 단말로 제공할 수 있다.
또한, HW 필터(178)는 접근 제한이 없는 상기 SoC 메모리(176)의 제2 영역(도 4의 177G)에 소정의 유닛이 접근을 시도하는 경우, 상기 소정 유닛의 오퍼레이션을 허용할 수 있다.
여기서, SoC 프로세서(176)는 제1 영역(177RA) 및 제2 영역(177G)을 이용 정도에 기초하여 영역 사이즈를 변경할 수 있다. SoC 프로세서(176)는 제1 및 제2 영역의 사용 시간 정보, 빈도수 정보, 사이즈 정보 등을 입력 데이터로 하여, 제1 영역의 적정 사이즈 정보 및 제2 영역의 적정 사이즈 정보를 연산할 수 있다. 이때, SoC 프로세서(176)는 신경망 연산부(173)의 도움을 받을 수 있다.
SoC 메모리(177)는 인공 지능, 머신 러닝, 인공 신경망을 이용하여 연산을 수행하는데 필요한 정보를 저장할 수 있다. SoC 메모리(177)는 상술한 학습 모델(177a)을 저장할 수 있다. 상기 학습 모델(177a)은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
여기서, 학습 모델(177a)은 오브젝트를 정확하게 인식하기 오브젝트 인식 모델, 입력된 오브젝트에 포함된 프라이버시 정보 추출 모델, SoC 메모리(177)의 영역 할당 모델 등을 포함할 수 있다.
SoC 프로세서(176)는 인공 지능 연산을 수행하기 위한 러닝 프로세서를 별도로 구비하거나, 자체적으로 러닝 프로세서를 포함할 수 있다. SoC 프로세서(176)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 또는 학습 중인 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
이때, SoC 프로세서(176)는 인공 지능 시스템(가령, 정보 제공 시스템(300))의 러닝 프로세서와 함께 인공 지능 프로세싱을 수행하도록 구현될 수도 있다.
도 4는 본 발명의 일 실시 예에 따른 SoC 메모리(177)에 액세스하는 과정을 설명하기 위한 도면이다
도 4를 참고하면, SoC 메모리(177)는 접근 제한 영역인 제1 영역(177RA) 및 접근 제한이 없는 일반 영역(제2 영역, 177G)을 포함할 수 있다. HW 필터(178)는 SoC 메모리(177)로 액세스를 시도하는 모든 유닛(프로세서 및 퍼리퍼렐(PPs))의 접근을 모니터링할 수 있다. 선택적 실시 예로 유닛은 하드웨어뿐만 아니라 특정 프로그램의 식별 정보를 포함할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 SoC(170)의 구동 방법을 나타내는 흐름도이다.
먼저, ISP 모듈(171)은 카메라 센싱 정보를 입력받아 콘텐츠 정보에 관한 영상 신호 정보를 비전 정보 추출부(172)로 출력할 수 있다.
비전 정보 추출부(172)는 입력된 콘텐츠 정보가 영상 신호 정보를 포함한 경우, 오브젝트 인식 정보 및 오브젝트 특징 정보를 추출하여 신경망 연산부(173)로 제공할 수 있다.
신경망 연산부(173)는 콘텐츠 정보에 프라이버시 관련 정보, 프라이버시 관련 오브젝트 정보, 프라이버시 위험도 정보 등을 보안 강화 모듈(175)로 제공할 수 있다. 상기 프라이버시 위험도 정보는 등급으로 표현될 수 있다.
상기 보안 강화 모듈(175)은 보안 강화 프로그램을 구동하며, 상기 SoC 프로세서(176)의 제어를 받을 수 있다. SoC 프로세서(176)는 상기 보안 강화 모듈(175)를 제어하여 입력된 콘텐츠 정보에 프라이버시 관련 정보가 포함된 경우(S175A), 콘텐츠 정보를 SoC 메모리(177)의 제1 영역(177RA)에 저장할 수 있으며(S175B), 입력된 콘텐츠 정보에 프라이버시 정보가 포함되지 않은 경우(S175A), 콘텐츠 정보를 SoC 메모리(177)의 제2 영역(177G)에 저장할 수 있다(S175C).
즉. SoC 프로세서(176)는 입력된 콘텐츠 정보에 포함된 영상 정보 또는 인식된 오브젝트 정보에 프라이버시 정보가 포함된 경우, 해당 콘텐츠 정보, 영상 정보 및/또는 오브젝트 정보를 SoC 메모리(177)의 접근 제한 영역(177RA)에 저장할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 다양한 프로세서가 SoC 메모리(177)에 접근하는 경우를 설명하기 위한 도면이다.
SoC 프로세서(176)는 제1 영역(177RA)에 CPU(191) 및 SoC 프로세서(176)의 접근을 허용하고, AP 프로세서(193)의 접근을 불허할 수 있다. 선택적 실시 예로, SoC 프로세서(176)는 CPU(191)가 제1 영역(177RA)에 접근하는 경우도 몇몇 경우로 한정할 수 있다.
이에, HW 필터(178)는 SoC 프로세서(176) 및 CPU(191)의 제1 영역(177RA)에 액세스를 허용하며, AP 프로세서(193)의 제1 영역(177RA)에 액세스를 불허할 수 있다.
또한, HW 필터(178)는 제2 영역(177G)에 액세스를 시도하는 CPU(191), SoC 프로세서(176) 및 AP 프로세서(193)의 접근을 허용할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 보안 강화 프로그램(175P)과 어플리케이션 프로그램(193P) 간의 통신을 나타낸다.
여기서, 보안 강화 프로그램(175P)은 SoC 메모리(177)의 제1 영역에 접근 가능한 프로그램이며, 보안 강화 모듈(175)에 의해 구동될 수 있으며, SoC 프로세서(176)의 제어를 받을 수 있다.
어플리케이션 프로그램(193P)은 HW 필터(178)에 제1 영역(177RA)에 배치된 프라이버시 정보를 포함하는 콘텐츠 정보를 요청하였다가 거절당한 상태일 수 있다.
어플리케이션 프로그램(193P)은 보안 강화 프로그램(175P)에 프라이버시 정보를 요청할 수 있다. 가령, 어플리케이션 프로그램(193P)은 "현재 집 내부 영상을 전송바랍니다"라는 요청을 보안 강화 프로그램(175P)으로 전송할 수 있다(S610).
그러면, 보안 강화 프로그램(175P)은 해당 콘텐츠 정보가 프라이버시 정보이므로 "프라이버시 침해 우려가 있어 안됩니다"라고 회신할 수 있다(S620).
어플리케이션 프로그램(193P)은 다시 해당 콘텐츠 정보를 획득하려는 긴급한 상황 정보를 보안 강화 프로그램(175P)에 전송할 수 있는데, 구체적으로, "안방에 환자가 있으니, 안방으로 이동하여 안방 영상을 전송 바랍니다"라는 긴급 명령어를 전송할 수 있다(S630).
보안 강화 프로그램(175P)은 승낙 메시를 전송하고(S640), 정보 보호 장치(100)가 안방으로 이동하도록 요청할 수 있다. 이 경우, 보안 강화 프로그램(175P)은 SoC 메모리(177)의 학습 모델(177a)에 기초하여 긴급도 정보를 판단할 수 있다. 가령, 학습 모델(177a)은 요청 단말의 신뢰도 정보, 요청 메시지의 긴급도 정보, 정보 보호 장치(100)가 요청 메시지를 수행가능한지에 대한 정보 등을 종합적으로 고려하여 SoC 메모리(177)의 제1 영역(177RA)에 접근한지 판단할 수 있다.
정보 보호 장치(100)가 촬영한 영상을 SoC 메모리(177)의 제1 영역(177RA)에 실시간으로 저장함과 동시에, 안방 영상을 수집할 수 있다(S650).
그러면, 보안 강화 프로그램(175P)은 수집된 안방 영상을 안방 영상을 어플리케이션 프로그램(193P)에 전송할 수 있다.
즉, SoC 프로세서(176)는 접근 권한이 없는 유닛(프로세서, 퍼리퍼렐, 및 어플리케이션 프로그램 등)이 제1 영역(177RA)에 저장된 소정의 콘텐츠 정보를 요청하는 경우, 요청된 콘텐츠 정보가 프라이버시 정보를 포함하는지 판단하고, 판단된 정보에 기초하여 상기 프라이버시 정보의 포함 여부를 상기 접근 권한이 없는 유닛에 제공할 수 있다. 여기서, 유닛은 하드웨어이나, 선택적 실시 예로 프로그램일 수 있다.
SoC 프로세서(176)는 긴급도에 기초하여 공개할 프라이버시 정보의 범위를 정할 수 있으며, 공개할 프라이버시 정보의 범위를 SoC 메모리(177)에 저장된 학습 모델(177a)을 이용하여 설정할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 정보 보호 장치(100)로부터 콘텐츠 정보를 수신한 이동 단말(200)을 나타낸다.
이동 단말(200)은 정보 보호 장치(100)의 제1 영역(177RA)에 저장된 상기 콘텐츠 정보를 수신할 권한이 없으나, 정보 보호 장치(100)의 CPU(191) 또는 SoC 프로세서(176)에 요청할 수 있다. 정보 보호 장치(100)는 도 7의 학습 모델(177a)의 연산 결과에 기초하여 환자(Patient)의 상태 정보를 확인하기 위해 제1 영역(177RA)에 저장된 콘텐츠 정보를 이동 단말(200)로 제공할 수 있다.
이동 단말(200)은 디스플레이(241)에 "긴급 상황이므로 콘텐츠 정보가 공유됨"이라는 문구를 정보 보호 장치(100)로부터 수신하여 디스플레이할 수 있다. 상기 문구는 AR 기반으로 표시될 수 있다.
도 9는 본 발명의 일 실시 예에 따른 정보 보호 장치(100)의 구동 방법을 나타내는 시퀀스도이다.
먼저, 정보 보호 장치(100)는 접근 권한이 있는 유닛이 접근 가능한 제1 영역 및 접근 제한이 없는 제2 영역을 SoC 메모리에 할당한다(S710, 할당 단계).
그 다음, 정보 보호 장치(100)는 제1 영역에 접근이 허용되는 유닛의 유닛 고유 정보를 HW 필터에 저장한다(S720, HW 필터 저장 단계).
그 후에, 정보 보호 장치(100)는 SoC 메모리에 접근을 시도하는 하나 이상의 유닛을 HW 필터를 통해 모니터링한다(S730, HW 필터 모니터링 단계).
그러면, 정보 보호 장치(100)는 제1 영역에 접근 권한이 없는 소정 유닛이 상기 제1 영역에 접근을 시도하는 경우(S740, 제1 영역 접근 시도 단계), 상기 소정 유닛의 접근을 차단하는 단계(S750, 접근 차단 단계)를 포함할 수 있다.
만약, 제1 영역에 접근 권한이 있는 소정 유닛이 상기 제1 영역에 접근을 시도하는 경우, 접근을 허용한다(S760 단계, 접근 허용 단계).
상기 정보 보호 방법은 입력된 콘텐츠 정보에 프라이버시 정보가 포함된 경우, 콘텐츠 정보를 제1 영역에 저장하는 단계(제1 영역 저장 단계) 및 입력된 콘텐츠 정보에 프라이버시 정보가 포함되지 않은 경우, 콘텐츠 정보를 제2 영역에 저장하는 단계(제2 영역 저장 단계)를 포함할 수 있다.
상기 정보 보호 방법은 입력된 상기 콘텐츠 정보가 영상 정보를 포함하는 경우, 상기 영상 정보에서 오브젝트를 인식하는 단계(오브젝트 인식 단계)를 더 포함할 수 있다.
이 경우, 상기 제1 영역 저장 단계는 영상 정보 또는 상기 인식된 오브젝트에 프라이버시 정보가 포함된 경우, 상기 콘텐츠 정보를 제1 영역에 저장하는 단계를 포함할 수 있다.
상기 오브젝트 인식 단계는 비전 인식(Vision Recognition) 기반으로 상기 영상 정보 또는 상기 인식된 오브젝트에서 특징 정보를 추출하는 단계를 포함할 수 있으며, 추출된 특징 정보를 입력으로 하여, 영상 정보 또는 인식된 오브젝트가 프라이버시 정보를 포함하는지, 기 저장된 학습 모델에 기초하여 연산하는 단계를 포함할 수 있다.
상기 정보 보호 방법은 S750 단계(접근 차단 단계) 이후에 제1 영역에 접근 권한이 없는 유닛이 상기 제1 영역에 저장된 소정의 콘텐츠 정보를 요청하는 경우, 요청된 상기 콘텐츠 정보가 프라이버시 정보를 포함하는지 판단하는 단계를 포함할 수 있으며, 판단된 정보에 기초하여 상기 프라이버시 정보의 포함 여부를 유닛에 제공하는 단계를 포함할 수 있다.
마지막으로, 상기 정보 보호 방법은 SoC의 외부로 상기 제1 영역에 포함된 콘텐츠 정보를 전송하는 경우, 전송할 콘텐츠 정보를 암호화하는 단계를 더 포함할 수 있다.
상기 암호화 방법은 비디오 인코딩을 수행할 수 있으며, 암호화 알고리즘(가령, 키 알고리즘)을 포함할 수 있다.
본 발명의 다양한 실시 예에 따른 정보 보호 장치는 프라이버시 관련 연산을 SoC 내부에서 수행하고, 영상을 특별히 가공(Blur, Masking)하지 않으므로, 가공된 영상을 CNN, DNN 등의 알고리즘을 사용하여 보안 영역(가령, 보안 강화 프로그램(도 7의 175P, Secure Enclave, TEE 등의 프로그램))에서 연산할 필요가 없으므로, 장치 효율성이 향상될 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 상기 컴퓨터는 정보 보호 장치(100)의 프로세서(190) 또는 SoC(170)의 SoC 프로세서(176)를 포함할 수도 있다.
앞에서, 본 발명의 특정한 실시예가 설명되고 도시되었지만 본 발명은 기재된 실시예에 한정되는 것이 아니고, 이 기술 분야에서 통상의 지식을 가진 자는 본 발명의 사상 및 범위를 벗어나지 않고서 다른 구체적인 실시예로 다양하게 수정 및 변형할 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 설명된 실시예에 의하여 정하여 질 것이 아니고 청구범위에 기재된 기술적 사상에 의해 정하여져야 할 것이다.
Claims (19)
- 정보 보호 장치로서,
소정의 SoC(System on Chip) 내에 배치되며, 접근 권한이 있는 유닛(Unit)만 접근 가능한 제1 영역 및 접근 제한이 없는 제2 영역을 포함하는 SoC 메모리;
상기 SoC 메모리에 접근을 시도하는 하나 이상의 유닛을 모니터링하며, 접근 권한이 없는 유닛이 상기 제1 영역에 접근을 시도하는 경우, 접근을 차단하는 HW 필터; 및
상기 제1 영역에 접근이 허용되는 유닛의 유닛 고유 정보를 상기 HW 필터의 필터 저장부에 저장하는 프로세서를 포함하며,
상기 HW 필터는,
상기 필터 저장부에 저장된 유닛 고유 정보에 기초하여, 상기 제1 영역에 접근 가능한 유닛을 결정하며,
상기 프로세서는,
상기 제1 영역 및 제2 영역의 사용 상황에 기초하여, 상기 제1 영역 및 제2 영역의 사이즈를 조정하도록 구성되는, 정보 보호 장치. - 삭제
- 제1항에 있어서,
상기 HW 필터는,
상기 SoC 메모리에 리드(Read)나 라이트(Write) 오퍼레이션을 시도하는 하나 이상의 유닛과 상기 SoC 메모리 사이의 시스템 버스 상에 위치하는, 정보 보호 장치. - 제1항에 있어서,
상기 HW 필터는,
상기 제2 영역에 소정의 유닛이 접근을 시도하는 경우, 상기 소정 유닛의 오퍼레이션을 허용하는, 정보 보호 장치. - 제4항에 있어서,
상기 프로세서는,
입력된 콘텐츠 정보에 프라이버시 정보가 포함된 경우, 상기 콘텐츠 정보를 상기 SoC 메모리의 상기 제1 영역에 저장하며,
입력된 콘텐츠 정보에 프라이버시 정보가 포함되지 않은 경우, 상기 콘텐츠 정보를 상기 SoC 메모리의 상기 제2 영역에 저장하는, 정보 보호 장치. - 제5항에 있어서,
입력된 상기 콘텐츠 정보가 영상 정보를 포함하는 경우, 상기 영상 정보에서 오브젝트를 인식하는 오브젝트 인식부를 더 포함하며,
상기 프로세서는,
상기 영상 정보 또는 상기 인식된 오브젝트에 프라이버시 정보가 포함된 경우, 상기 콘텐츠 정보를 상기 제1 영역에 저장하는, 정보 보호 장치. - 제6항에 있어서,
상기 오브젝트 인식부는,
비전 인식(Vision Recognition) 기반으로 상기 영상 정보 또는 상기 인식된 오브젝트에서 특징 정보를 추출하는 비전 정보 추출부; 및
추출된 특징 정보를 입력으로 하여, 상기 영상 정보 또는 상기 인식된 오브젝트가 상기 프라이버시 정보를 포함하는지, 기 저장된 학습 모델에 기초하여 연산하는 신경망 연산부를 포함하는, 정보 보호 장치. - 제1항에 있어서,
상기 프로세서는,
접근 권한이 없는 유닛이 상기 제1 영역에 저장된 소정의 콘텐츠 정보를 요청하는 경우, 요청된 상기 콘텐츠 정보가 프라이버시 정보를 포함하는지 판단하고, 판단된 정보에 기초하여 상기 프라이버시 정보의 포함 여부를 상기 접근 권한이 없는 유닛에 제공하는, 정보 보호 장치. - 제1항에 있어서,
상기 정보 보호 장치 또는 상기 SoC의 외부로 상기 제1 영역에 포함된 콘텐츠 정보를 전송하는 경우, 전송할 콘텐츠 정보를 암호화하는 보안 강화 모듈을 더 포함하는, 정보 보호 장치. - 시스템 온 칩(System on Chip, SoC)으로서,
접근 권한이 있는 유닛만 접근 가능한 제1 영역 및 접근에 제한이 없는 제2 영역을 포함하는 SoC 메모리;
상기 SoC 메모리에 접근을 시도하는 하나 이상의 유닛을 모니터링하며, 접근 권한이 없는 유닛이 상기 제1 영역에 접근을 시도하는 경우, 접근을 차단하는 HW 필터; 및
상기 제1 영역에 접근이 허용되는 유닛의 유닛 고유 정보를 상기 HW 필터의 필터 저장부에 저장하는 SoC 프로세서를 포함하며,
상기 HW 필터는,
상기 필터 저장부에 저장된 유닛 고유 정보에 기초하여, 상기 제1 영역에 접근 가능한 유닛을 결정하며,
상기 SoC 프로세서는,
상기 제1 영역 및 제2 영역의 사용 상황에 기초하여, 상기 제1 영역 및 제2 영역의 사이즈를 조정하도록 구성되는, SoC. - 제10항에 있어서,
상기 SoC 프로세서는,
입력된 콘텐츠 정보에 프라이버시 정보가 포함된 경우, 상기 콘텐츠 정보를 상기 SoC 메모리의 상기 제1 영역에 저장하며,
입력된 콘텐츠 정보에 프라이버시 정보가 포함되지 않은 경우, 상기 콘텐츠 정보를 상기 SoC 메모리의 제2 영역에 저장하는, SoC. - 제11항에 있어서,
입력된 상기 콘텐츠 정보가 영상 정보를 포함하는 경우, 상기 영상 정보에서 오브젝트를 인식하는 오브젝트 인식부를 더 포함하며,
상기 SoC 프로세서는,
상기 영상 정보 또는 상기 인식된 오브젝트에 프라이버시 정보가 포함된 경우, 상기 콘텐츠 정보를 상기 제1 영역에 저장하는, SoC. - 제12항에 있어서,
상기 오브젝트 인식부는,
비전 인식(Vision Recognition) 기반으로 상기 영상 정보 또는 상기 인식된 오브젝트에서 특징 정보를 추출하는 비전 정보 추출부; 및
추출된 특징 정보를 입력으로 하여, 상기 영상 정보 또는 상기 인식된 오브젝트가 상기 프라이버시 정보를 포함하는지, 기 저장된 학습 모델에 기초하여 연산하는 신경망 연산부를 포함하는, SoC. - SoC를 이용한 정보 보호 방법으로서,
접근 권한이 있는 유닛이 접근 가능한 제1 영역 및 접근 제한이 없는 제2 영역을 SoC 메모리에 할당하는 단계;
SoC 프로세서에 의해, 상기 제1 영역에 접근이 허용되는 유닛의 유닛 고유 정보를 HW 필터에 저장하는 단계;
상기 SoC 메모리에 접근을 시도하는 하나 이상의 유닛을 상기 HW 필터를 통해 모니터링하는 단계; 및
상기 제1 영역에 접근 권한이 없는 소정 유닛이 상기 제1 영역에 접근을 시도하는 경우, 상기 유닛 고유 정보에 기초하여, 상기 소정 유닛의 접근을 차단하는 단계를 포함하며,
상기 SoC 프로세서는,
상기 제1 영역 및 제2 영역의 사용 상황에 기초하여, 상기 제1 영역 및 제2 영역의 사이즈를 조정하도록 구성되는, 정보 보호 방법. - 제14항에 있어서,
입력된 콘텐츠 정보에 프라이버시 정보가 포함된 경우, 상기 콘텐츠 정보를 상기 제1 영역에 저장하는 단계; 및
입력된 콘텐츠 정보에 프라이버시 정보가 포함되지 않은 경우, 상기 콘텐츠 정보를 상기 제2 영역에 저장하는 단계를 더 포함하는, 정보 보호 방법. - 제15항에 있어서,
입력된 상기 콘텐츠 정보가 영상 정보를 포함하는 경우, 상기 영상 정보에서 오브젝트를 인식하는 단계를 더 포함하며,
상기 제1 영역에 저장하는 단계는,
상기 영상 정보 또는 상기 인식된 오브젝트에 프라이버시 정보가 포함된 경우, 상기 콘텐츠 정보를 상기 제1 영역에 저장하는 단계를 포함하는, 정보 보호 방법. - 제16항에 있어서,
상기 오브젝트를 인식하는 단계는,
비전 인식(Vision Recognition) 기반으로 상기 영상 정보 또는 상기 인식된 오브젝트에서 특징 정보를 추출하는 단계; 및
추출된 특징 정보를 입력으로 하여, 상기 영상 정보 또는 상기 인식된 오브젝트가 상기 프라이버시 정보를 포함하는지, 기 저장된 학습 모델에 기초하여 연산하는 단계를 포함하는, 정보 보호 방법. - 제14항에 있어서,
상기 소정 유닛의 접근을 차단하는 단계 이후에,
상기 제1 영역에 접근 권한이 없는 유닛이 상기 제1 영역에 저장된 소정의 콘텐츠 정보를 요청하는 경우, 요청된 상기 콘텐츠 정보가 프라이버시 정보를 포함하는지 판단하는 단계; 및
판단된 정보에 기초하여 상기 프라이버시 정보의 포함 여부를 상기 유닛에 제공하는 단계를 포함하는, 정보 보호 방법. - 제14항에 있어서,
상기 SoC의 외부로 상기 제1 영역에 포함된 콘텐츠 정보를 전송하는 경우, 전송할 콘텐츠 정보를 암호화하는 단계를 더 포함하는, 정보 보호 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190097406A KR102281601B1 (ko) | 2019-08-09 | 2019-08-09 | 시스템 온 칩과 이를 이용한 정보 보호 방법 및 장치 |
| US16/560,415 US11704432B2 (en) | 2019-08-09 | 2019-09-04 | System on chip, method and apparatus for protecting information using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190097406A KR102281601B1 (ko) | 2019-08-09 | 2019-08-09 | 시스템 온 칩과 이를 이용한 정보 보호 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190100110A KR20190100110A (ko) | 2019-08-28 |
| KR102281601B1 true KR102281601B1 (ko) | 2021-07-23 |
Family
ID=67775596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190097406A KR102281601B1 (ko) | 2019-08-09 | 2019-08-09 | 시스템 온 칩과 이를 이용한 정보 보호 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11704432B2 (ko) |
| KR (1) | KR102281601B1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102324518B1 (ko) * | 2019-12-09 | 2021-11-15 | (주)나린시스 | 딥러닝을 기초로 서버 보안정책을 수행하는 게이트웨이 장치 및 그것의 제어 방법 |
| US11941131B1 (en) * | 2020-12-31 | 2024-03-26 | Meta Platforms Technologies, Llc | Isolation of secrets from an operating system |
| KR20220152866A (ko) * | 2021-05-10 | 2022-11-17 | 삼성전자주식회사 | 로봇 장치, 그 제어 방법, 및 프로그램이 기록된 기록매체 |
| US20220374543A1 (en) * | 2021-05-24 | 2022-11-24 | Samsung Electronics Co., Ltd. | Method and apparatus for removing privacy sensitive objects in an augmented reality system |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101802500B1 (ko) * | 2016-10-20 | 2017-11-28 | 재단법인대구경북과학기술원 | 영상 인식을 위한 학습 장치 및 그 학습 방법 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3389186B2 (ja) * | 1999-04-27 | 2003-03-24 | 松下電器産業株式会社 | 半導体メモリカード及び読み出し装置 |
| JP4903366B2 (ja) * | 2004-01-05 | 2012-03-28 | セイコーエプソン株式会社 | 情報表示装置及びその制御方法並びに情報表示プログラム |
| KR101618634B1 (ko) * | 2009-01-07 | 2016-05-09 | 삼성전자주식회사 | 비휘발성 메모리와, 이의 페이지 동적할당장치 및 페이지 매핑장치와, 이의 페이지 동적할당방법 및 페이지 매핑방법 |
| JP5269033B2 (ja) | 2009-12-18 | 2013-08-21 | 韓國電子通信研究院 | 映像のプライバシーマスキング方法及び装置 |
| EP2375355A1 (en) * | 2010-04-09 | 2011-10-12 | ST-Ericsson SA | Method and device for protecting memory content |
| KR20120035299A (ko) * | 2010-10-05 | 2012-04-16 | 한국인터넷진흥원 | 프라이버시 보호를 위한 영상 보호처리 장치와, 그를 이용한 영상 보안 시스템 및 그 방법 |
| KR101954733B1 (ko) * | 2012-10-26 | 2019-03-06 | 삼성전자주식회사 | 보안 콘텐츠를 처리하는 시스템 온 칩 및 그것을 포함하는 모바일 장치 |
| US20150104004A1 (en) * | 2013-10-10 | 2015-04-16 | Elwha Llc | Methods, systems, and devices for delivering image data from captured images to devices |
| KR20170077943A (ko) * | 2015-12-28 | 2017-07-07 | 삼성전자주식회사 | 접근 제어 유닛을 포함하는 시스템 온 칩 및 시스템 온 칩을 포함하는 모바일 장치 |
| US20180121125A1 (en) * | 2016-11-01 | 2018-05-03 | Qualcomm Incorporated | Method and apparatus for managing resource access control hardware in a system-on-chip device |
| US10303953B2 (en) | 2017-04-17 | 2019-05-28 | Intel Corporation | Person tracking and privacy and acceleration of data using autonomous machines |
| US11372780B2 (en) * | 2019-05-30 | 2022-06-28 | Synaptics Incorporated | Granular access control for secure memory |
-
2019
- 2019-08-09 KR KR1020190097406A patent/KR102281601B1/ko active IP Right Grant
- 2019-09-04 US US16/560,415 patent/US11704432B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101802500B1 (ko) * | 2016-10-20 | 2017-11-28 | 재단법인대구경북과학기술원 | 영상 인식을 위한 학습 장치 및 그 학습 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190100110A (ko) | 2019-08-28 |
| US20200004984A1 (en) | 2020-01-02 |
| US11704432B2 (en) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102281601B1 (ko) | 시스템 온 칩과 이를 이용한 정보 보호 방법 및 장치 | |
| Raval et al. | Markit: Privacy markers for protecting visual secrets | |
| EP3692461B1 (en) | Removing personally identifiable data before transmission from a device | |
| Roesner et al. | Security and privacy for augmented reality systems | |
| US9706406B1 (en) | Security measures for an electronic device | |
| US20180307815A1 (en) | Systems and methods for facial authentication | |
| Wang et al. | Enabling live video analytics with a scalable and privacy-aware framework | |
| KR102584459B1 (ko) | 전자 장치 및 이의 인증 방법 | |
| KR102204247B1 (ko) | 전자 장치의 생체 정보 처리 방법 및 장치 | |
| US20200065479A1 (en) | Method, apparatus, and electronic device for detecting model security | |
| US20210342427A1 (en) | Electronic device for performing user authentication and operation method therefor | |
| EP3872689A1 (en) | Liveness detection method and device, electronic apparatus, storage medium and related system using the liveness detection method | |
| CN105637522B (zh) | 使用受信证书的世界驱动访问控制 | |
| US20210326428A1 (en) | Systems and methods for authenticating users | |
| EP3224757B1 (en) | In-device privacy framework for smart glasses and smart watches | |
| US11562054B2 (en) | Authorized gesture control methods and apparatus | |
| US20240187407A1 (en) | Methods and apparatus for facilitating nfc transactions | |
| KR102399809B1 (ko) | 전자 장치 및 그 제어 방법 | |
| Mun et al. | Design for visitor authentication based on face recognition technology Using CCTV | |
| CN113239852B (zh) | 一种基于隐私保护的隐私图像处理方法、装置及设备 | |
| Volkova | Attacks on facial biometrics systems: an overview | |
| US11539706B2 (en) | Authorized off-line access methods and apparatus | |
| CN114826689B (zh) | 信息录入方法、安全认证方法和电子设备 | |
| US20240161541A1 (en) | Face recognition system and method | |
| US20230379159A1 (en) | System and method to validate a rendered object using non-fungible tokens |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |