KR20220003376A - 이미지 처리 방법 및 장치 - Google Patents

이미지 처리 방법 및 장치 Download PDF

Info

Publication number
KR20220003376A
KR20220003376A KR1020200081108A KR20200081108A KR20220003376A KR 20220003376 A KR20220003376 A KR 20220003376A KR 1020200081108 A KR1020200081108 A KR 1020200081108A KR 20200081108 A KR20200081108 A KR 20200081108A KR 20220003376 A KR20220003376 A KR 20220003376A
Authority
KR
South Korea
Prior art keywords
image
processor
image processing
valid data
generating
Prior art date
Application number
KR1020200081108A
Other languages
English (en)
Inventor
조연곤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200081108A priority Critical patent/KR20220003376A/ko
Priority to US17/097,602 priority patent/US11804031B2/en
Priority to CN202110240485.1A priority patent/CN113888552A/zh
Publication of KR20220003376A publication Critical patent/KR20220003376A/ko
Priority to US18/372,219 priority patent/US20240013515A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/04—Systems for the transmission of one television signal, i.e. both picture and sound, by a single carrier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

이미지 처리 방법 및 장치가 개시된다. 일 실시예에 따른 이미지 처리 방법은, 이미지에 포함된 객체에 관련된 시각 정보를 획득하는 단계와, 상기 시각 정보에 기초하여 상기 이미지로부터 유효 데이터를 생성하는 단계와, 상기 유효 데이터를 전송하는 단계를 포함한다.

Description

이미지 처리 방법 및 장치{IMAGE PROCESSING METHOD AND APPARATUS}
이미지 센서는 빛에 반응하는 반도체의 성질을 이용하여 이미지를 획득(capture)하는 장치를 말하는 것으로, 최근에 CMOS(Complementary Metal Oxide Semiconductor) 기술이 발달하면서 CMOS 트랜지스터를 이용한 이미지 센서가 널리 사용되고 있다.
일반적으로, 이미지 센서는 고품질의 화질을 얻기 위해서 큰 전원 전압을 필요로 한다. 이러한, 이미지 센서 전력 소모의 50% 이상이 ADC(Analog-to-Digital Converter)와 호스트(host)로의 데이터 전송부에 집중되어 있다.
고품질의 화질을 제공하기 위해서는 이미지 센서의 픽셀 수 증가에 따라 데이터의 전송량도 증가되어야만 하는데, 이 경우, 전력의 소모는 더욱 커지는 문제가 발생한다.
일 실시예에 따른 이미지 처리 방법은, 이미지에 포함된 객체에 관련된 시각 정보를 획득하는 단계와, 상기 시각 정보에 기초하여 상기 이미지로부터 유효 데이터를 생성하는 단계와, 상기 유효 데이터를 전송하는 단계를 포함한다.
상기 시각 정보는, 상기 객체에 대한 깊이 정보와, 상기 객체에 대한 위치 정보를 포함할 수 있다.
상기 획득하는 단계는, 상기 이미지의 이전 프레임의 이미지와 상기 이미지 간의 픽셀 값의 변화를 계산하는 단계를 포함할 수 있다.
상기 생성하는 단계는, 상기 시각 정보에 기초하여 상기 이미지에서 상기 객체에 의해 가려지는 영역을 결정하는 단계와, 상기 이미지로부터 상기 가려지는 영역을 제외함으로써 상기 유효 데이터를 생성하는 단계를 포함할 수 있다.
상기 객체에 의해 가려지는 영역을 결정하는 단계는, 상기 시각 정보에 포함된 상기 객체의 깊이 정보에 기초하여 상기 이미지에서 상기 객체의 상대적 깊이를 판단하는 단계와, 상기 상대적 깊이 및 상기 시각 정보에 포함된 상기 객체의 위치 정보에 기초하여 상기 가려지는 영역을 결정하는 단계를 포함할 수 있다.
상기 생성하는 단계는, 상기 객체의 위치에 기초하여 상기 이미지에서 상기 객체에 대응하는 영역을 변환함으로써 상기 유효 데이터를 생성하는 단계를 포함할 수 있다.
상기 객체의 위치에 기초하여 상기 이미지에서 상기 객체에 대응하는 영역을 변환함으로써 상기 유효 데이터를 생성하는 단계는, 상기 객체의 위치에 기초하여 상기 객체에 대응하는 영역을 암호화(encrypt)함으로써 상기 유효 데이터를 생성하는 단계를 포함할 수 있다.
상기 객체의 위치에 기초하여 상기 객체에 대응하는 영역을 변환함으로써 상기 유효 데이터를 생성하는 단계는, 상기 객체의 위치에 기초하여 상기 객체에 대응하는 영역을 블러(blur)처리함으로써 상기 유효 데이터를 생성하는 단계를 포함할 수 있다.
상기 생성하는 단계는, 상기 이미지를 복수의 영역으로 분할하는 단계와, 복수의 영역 중에서 상기 픽셀 값의 변화가 발생한 영역을 결정하는 단계와, 상기 픽셀 값의 변화가 발생한 영역의 위치 및 상기 픽셀 값에 기초하여 상기 유효 데이터를 생성하는 단계를 포함할 수 있다.
상기 획득하는 단계는, 상기 이전 프레임의 이미지를 저장하는 단계를 더 포함할 수 있다.
일 실시예에 따른 이미지 처리 장치는, 이미지에 포함된 객체에 관련된 시각 정보를 획득하고, 상기 시각 정보에 기초하여 상기 이미지로부터 유효 데이터를 생성하고, 상기 유효 데이터를 전송하는 프로세서와, 상기 프로세서에 의해 실행가능한 인스트럭션을 저장하는 메모리를 포함한다.
상기 시각 정보는, 상기 객체에 대한 깊이 정보와, 상기 객체에 대한 위치 정보를 포함할 수 있다.
상기 프로세서는, 상기 이미지의 이전 프레임의 이미지와 상기 이미지 간의 픽셀 값의 변화를 계산할 수 있다.
상기 프로세서는, 상기 시각 정보에 기초하여 상기 이미지에서 상기 객체에 의해 가려지는 영역을 결정하고, 상기 이미지로부터 상기 가려지는 영역을 제외함으로써 상기 유효 데이터를 생성할 수 있다.
상기 프로세서는, 상기 시각 정보에 포함된 상기 객체의 깊이 정보에 기초하여 상기 이미지에서 상기 객체의 상대적 깊이를 판단하고, 상기 상대적 깊이 및 상기 시각 정보에 포함된 상기 객체의 위치 정보에 기초하여 상기 가려지는 영역을 결정할 수 있다.
상기 프로세서는, 상기 객체의 위치에 기초하여 상기 이미지에서 상기 객체에 대응하는 영역을 변환함으로써 상기 유효 데이터를 생성할 수 있다.
상기 프로세서는, 상기 객체의 위치에 기초하여 상기 객체에 대응하는 영역을 암호화함으로써 상기 유효 데이터를 생성할 수 있다.
상기 프로세서는, 상기 객체의 위치에 기초하여 상기 객체에 대응하는 영역을 블러(blur)처리함으로써 상기 유효 데이터를 생성할 수 있다.
상기 프로세서는, 상기 이미지를 복수의 영역으로 분할하고, 상기 복수의 영역 중에서 상기 픽셀 값의 변화가 발생한 영역을 결정하고, 상기 픽셀 값의 변화가 발생한 영역의 위치 및 상기 픽셀 값에 기초하여 상기 유효 데이터를 생성할 수 있다.
상기 메모리는, 상기 이전 프레임의 이미지를 저장할 수 있다.
일 실시예에 따른 이미지 처리 방법은, 이미지에 포함된 객체에 관련된 시각 정보를 획득하는 단계와, 상기 시각 정보에 기초하여 상기 이미지로부터 유효 데이터를 생성하는 단계와, 상기 유효 데이터를 전송하는 단계를 포함한다.
상기 시각 정보는, 상기 객체에 대한 깊이 정보와, 상기 객체에 대한 위치 정보를 포함할 수 있다.
상기 획득하는 단계는, 상기 이미지의 이전 프레임의 이미지와 상기 이미지 간의 픽셀 값의 변화를 계산하는 단계를 포함할 수 있다.
상기 생성하는 단계는, 상기 시각 정보에 기초하여 상기 이미지에서 상기 객체에 의해 가려지는 영역을 결정하는 단계와, 상기 이미지로부터 상기 가려지는 영역을 제외함으로써 상기 유효 데이터를 생성하는 단계를 포함할 수 있다.
상기 객체에 의해 가려지는 영역을 결정하는 단계는, 상기 시각 정보에 포함된 상기 객체의 깊이 정보에 기초하여 상기 이미지에서 상기 객체의 상대적 깊이를 판단하는 단계와, 상기 상대적 깊이 및 상기 시각 정보에 포함된 상기 객체의 위치 정보에 기초하여 상기 가려지는 영역을 결정하는 단계를 포함할 수 있다.
상기 생성하는 단계는, 상기 객체의 위치에 기초하여 상기 이미지에서 상기 객체에 대응하는 영역을 변환함으로써 상기 유효 데이터를 생성하는 단계를 포함할 수 있다.
상기 객체의 위치에 기초하여 상기 이미지에서 상기 객체에 대응하는 영역을 변환함으로써 상기 유효 데이터를 생성하는 단계는, 상기 객체의 위치에 기초하여 상기 객체에 대응하는 영역을 암호화(encrypt)함으로써 상기 유효 데이터를 생성하는 단계를 포함할 수 있다.
상기 객체의 위치에 기초하여 상기 객체에 대응하는 영역을 변환함으로써 상기 유효 데이터를 생성하는 단계는, 상기 객체의 위치에 기초하여 상기 객체에 대응하는 영역을 블러(blur)처리함으로써 상기 유효 데이터를 생성하는 단계를 포함할 수 있다.
상기 생성하는 단계는, 상기 이미지를 복수의 영역으로 분할하는 단계와, 복수의 영역 중에서 상기 픽셀 값의 변화가 발생한 영역을 결정하는 단계와, 상기 픽셀 값의 변화가 발생한 영역의 위치 및 상기 픽셀 값에 기초하여 상기 유효 데이터를 생성하는 단계를 포함할 수 있다.
상기 획득하는 단계는, 상기 이전 프레임의 이미지를 저장하는 단계를 더 포함할 수 있다.
일 실시예에 따른 이미지 처리 장치는, 이미지에 포함된 객체에 관련된 시각 정보를 획득하고, 상기 시각 정보에 기초하여 상기 이미지로부터 유효 데이터를 생성하고, 상기 유효 데이터를 전송하는 프로세서와, 상기 프로세서에 의해 실행가능한 인스트럭션을 저장하는 메모리를 포함한다.
상기 시각 정보는, 상기 객체에 대한 깊이 정보와, 상기 객체에 대한 위치 정보를 포함할 수 있다.
상기 프로세서는, 상기 이미지의 이전 프레임의 이미지와 상기 이미지 간의 픽셀 값의 변화를 계산할 수 있다.
상기 프로세서는, 상기 시각 정보에 기초하여 상기 이미지에서 상기 객체에 의해 가려지는 영역을 결정하고, 상기 이미지로부터 상기 가려지는 영역을 제외함으로써 상기 유효 데이터를 생성할 수 있다.
상기 프로세서는, 상기 시각 정보에 포함된 상기 객체의 깊이 정보에 기초하여 상기 이미지에서 상기 객체의 상대적 깊이를 판단하고, 상기 상대적 깊이 및 상기 시각 정보에 포함된 상기 객체의 위치 정보에 기초하여 상기 가려지는 영역을 결정할 수 있다.
상기 프로세서는, 상기 객체의 위치에 기초하여 상기 이미지에서 상기 객체에 대응하는 영역을 변환함으로써 상기 유효 데이터를 생성할 수 있다.
상기 프로세서는, 상기 객체의 위치에 기초하여 상기 객체에 대응하는 영역을 암호화함으로써 상기 유효 데이터를 생성할 수 있다.
상기 프로세서는, 상기 객체의 위치에 기초하여 상기 객체에 대응하는 영역을 블러(blur)처리함으로써 상기 유효 데이터를 생성할 수 있다.
상기 프로세서는, 상기 이미지를 복수의 영역으로 분할하고, 상기 복수의 영역 중에서 상기 픽셀 값의 변화가 발생한 영역을 결정하고, 상기 픽셀 값의 변화가 발생한 영역의 위치 및 상기 픽셀 값에 기초하여 상기 유효 데이터를 생성할 수 있다.
상기 메모리는, 상기 이전 프레임의 이미지를 저장할 수 있다.
도 1은 일 실시예에 따른 이미지 처리 장치의 개략적인 블록도를 나타낸다.
도 2는 도 1에 도시된 이미지 처리 장치가 수행하는 이미지 처리의 일 예를 나타낸다.
도 3은 도 1에 도시된 이미지 처리 장치가 수행하는 이미지 처리의 다른 예를 나타낸다.
도 4는 도 1에 도시된 이미지 처리 장치가 수행하는 이미지 처리의 또 다른 예를 나타낸다.
도 5는 도 1에 도시된 이미지 처리 장치가 수행하는 이미지 처리의 또 다른 예를 나타낸다.
도 6은 도 1에 도시된 이미지 처리 장치의 동작의 순서도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 이미지 처리 장치의 개략적인 블록도를 나타낸다.
도 1을 참조하면, 이미지 처리 장치(10)는 이미지를 처리할 수 있다. 이미지 처리 장치(10)는 이미지를 처리함으로써 이미지의 전송에 소모되는 전력을 절감할 수 있다.
이미지 처리 장치(10)는 이미지를 처리하여 별도의 호스트(host) 장치에 처리한 이미지를 전송할 수 있다. 이미지 처리 장치(10)는 이미지를 처리하여 유효 데이터를 생성하고, 유효 데이터만을 호스트 장치로 전송함으로써 전력 소모를 절감할 수 있다.
일반적인 이미지 센서를 이용하는 경우, 센서부의 소모 전력의 50% 이상이 ADC(Analog-to-Digital Converter)와 호스트로의 데이터 전송부에 집중되고, 이미지 센서의 픽셀 수가 증가할 경우 데이터 전송량이 증가하기 때문에 전력 소모의 증가가 발생할 수밖에 없다.
이미지 처리 장치(10)는 최종적으로 디스플레이될 데이터를 결정하여 필요한 데이터만으로 구성된 유효 데이터를 생성하여 호스트 장치로 전송할 수 있다. 이미지 처리 장치(10)는 이미지를 처리함으로써 호스트에 장치에 데이터를 전송하는데 소모되는 전력을 감소시킬 수 있다.
예를 들어, 이미지 처리 장치(10) 및 호스트 장치는 IoT 장치, Machine-type 통신 장치 또는 휴대용 전자 장치 등으로 구현될 수 있다.
휴대용 전자 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 스마트 디바이스(smart device)로 구현될 수 있다. 예를 들어, 스마트 디바이스는 스마트 워치(smart watch) 또는 스마트 밴드(smart band)로 구현될 수 있다.
이미지 처리 장치(10)는 센서(미도시)를 포함할 수 있다. 또는, 이미지 처리 장치(10)는 외부에 위치한 별도의 센서로부터 센싱 데이터를 수신할 수 있다. 예를 들어, 센서는 이미지 센서 및 깊이 센서(depth sensor)를 포함할 수 있다.
이미지 처리 장치(10)는 프로세서(200) 및 메모리(300)를 포함한다. 이미지 처리 장치(10)는 수신기(100)를 더 포함할 수 있다.
수신기(100)는 이미지를 수신할 수 있다. 수신기(100)는 시각 정보를 수신할 수 있다. 수신기(100)는 센서(미도시)를 포함할 수 있다. 실시예에 따라, 수신기(100)는 센서를 포함하지 않고, 외부에 위치한 센서로부터 시각 정보를 수신할 수 있다.
수신기(100)는 수신한 시각 정보 및 이미지를 프로세서(200) 또는 메모리(300)로 출력할 수 있다.
프로세서(200)는 수신한 시각 정보 및 메모리(300)에 저장된 데이터를 처리할 수 있다. 프로세서(200)는 메모리(300)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(200)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.
"프로세서(200)"는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.
예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
프로세서(200)는 이미지에 포함된 객체에 관련된 시각 정보를 획득할 수 있다. 이미지는 빛의 굴절이나 반사 등에 의하여 이루어진 물체의 상을 포함하는 것으로, 선이나 색채를 이용하여 사물의 형상을 나타낸 것을 의미할 수 있다. 예를 들어, 이미지는 컴퓨터가 처리할 수 있는 형태로 된 정보로 이루어질 수 있다.
이미지는 객체(object)를 포함하거나 포함하지 않을 수 있다. 객체는 이미지에 포함된 사람 또는 사물을 포함할 수 있다. 또는, 객체는 이미지에 포함된 것은 아니지만, 이미지에 추가된 다른 이미지를 의미할 수 있다. 객체는 2 차원 또는 3차원 이미지를 포함할 수 있다.
시각 정보는 객체에 대한 깊이 정보 및 위치 정보를 포함할 수 있다. 깊이 정보는 이미지에 포함된 객체가 이미지 내에서 가지는 깊이에 대한 정보를 의미하고, 위치 정보는 이미지에 포함된 객체가 이미지 내에서 가지는 위치에 대한 정보를 의미할 수 있다.
예를 들어, 이미지가 2차원 이미지로, x-y평면 상의 이미지일 경우에, 깊이 정보는 객체의 z 축 좌표에 대한 정보를 포함할 수 있고, 위치 정보는 객체의 x, y 좌표에 대한 정보를 포함할 수 있다.
또한, 시각 정보는 이미지의 픽셀 값을 포함할 수 있다. 예를 들어, 픽셀 값은 픽셀의 휘도 정보를 포함할 수 있다.
프로세서(200)는 수신한 이미지의 프레임에 따른 변화를 계산할 수 있다. 프로세서(200)는 이미지의 이전 프레임의 이미지와 이미지 간의 픽셀 값의 변화를 계산할 수 있다.
프로세서(200)는 획득한 시각 정보에 기초하여 이미지로부터 유효 데이터를 생성할 수 있다. 유효 데이터는 이미지가 호스트에 전달하고자 하는 정보를 최대한 포함하면서 이미지의 후속 처리 과정에서 불필요한 정보를 제거한 데이터를 의미할 수 있다. 즉, 프로세서(200)는 이미지를 처리함으로써 이미지에서 불필요한 정보를 제거하여 유효 데이터를 생성할 수 있다.
이를 통해, 프로세서(200)는 불필요한 데이터를 송/수신하는 것으로부터 발생하는 전력 소모를 감소시킬 수 있다.
프로세서(200)는 시각 정보에 기초하여 이미지에서 객체에 의해 가려지는 영역을 결정할 수 있다. 이미지가 객체를 포함하는 경우, 객체에 의해 가려지는 위치의 배경에 대한 정보는 후속 처리 과정에서 불필요할 수 있다.
가려지는 영역은 객체의 뒷면에 위치한 영역을 의미할 수 있다. 가려지는 영역은 객체보다 큰 깊이 값을 가지는 영역을 의미할 수 있다.
프로세서(200)는 시각 정보에 포함된 객체의 깊이 정보에 기초하여 이미지에서 객체의 상대적 깊이를 판단할 수 있다. 예를 들어, 프로세서(200)는 객체의 깊이 정보와 배경의 깊이 정보를 비교하여 객체의 상대적인 깊이를 판단할 수 있다.
프로세서(200)는 상대적 깊이 및 시각 정보에 포함된 객체의 위치 정보에 기초하여 가려지는 영역을 결정할 수 있다. 프로세서(200)가 가려지는 영역을 결정하는 과정은 도 2를 참조하여 자세하게 설명한다.
프로세서(200)는 이미지로부터 가려지는 영역을 제외함으로써 유효 데이터를 생성할 수 있다. 또한, 프로세서(200)는 객체의 위치에 기초하여 이미지에서 객체에 대응하는 영역을 변환함으로써 유효 데이터를 생성할 수 있다.
프로세서(200)는 객체의 위치에 기초하여 객체에 대응하는 영역을 암호화(encrypt)함으로써 유효 데이터를 생성할 수 있다. 암호화를 통한 유효데이터의 생성은 도 3을 참조하여 자세하게 설명한다.
프로세서(200)는 객체의 위치에 기초하여 객체에 대응하는 영역을 블러(blur)처리함으로써 유효 데이터를 생성할 수 있다.
프로세서(200)는 이미지를 복수의 영역으로 분할할 수 있다. 프로세서(200)는 복수의 영역 중에서 픽셀 값의 변화가 발생한 영역을 결정할 수 있다. 픽셀 값의 변화는 위에서 설명한 것과 같이, 이전 프레임의 이미지와 현재 프레임의 이미지 간의 픽셀 값의 변화를 의미할 수 있다.
프로세서(200)는 픽셀 값의 변화가 발생한 영역의 위치 및 픽셀 값에 기초하여 유효 데이터를 생성할 수 있다. 프로세서(200)가 픽셀 값의 변화가 발생한 영역의 위치 및 픽셀 값에 기초하여 유효 데이터를 생성하는 과정은 도 5를 참조하여 자세하게 설명한다.
프로세서(200)는 생성한 유효 데이터를 전송할 수 있다. 예를 들어, 프로세서(200)는 생성한 유효 데이터를 호스트 장치로 전송할 수 있다.
메모리(300)는 프로세서(200)에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 프로세서(200)의 동작 및/또는 프로세서(200)의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.
메모리(300)는 휘발성 메모리 장치 또는 불휘발성 메모리 장치로 구현될 수 있다.
휘발성 메모리 장치는 DRAM(dynamic random access memory), SRAM(static random access memory), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)으로 구현될 수 있다.
불휘발성 메모리 장치는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시(flash) 메모리, MRAM(Magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torque(STT)-MRAM), Conductive Bridging RAM(CBRAM), FeRAM(Ferroelectric RAM), PRAM(Phase change RAM), 저항 메모리(Resistive RAM(RRAM)), 나노 튜브 RRAM(Nanotube RRAM), 폴리머 RAM(Polymer RAM(PoRAM)), 나노 부유 게이트 메모리(Nano Floating Gate Memory(NFGM)), 홀로그래픽 메모리(holographic memory), 분자 전자 메모리 소자(Molecular Eelectronic Memory Device), 또는 절연 저항 변화 메모리(Insulator Resistance Change Memory)로 구현될 수 있다.
메모리(300)는 이전 프레임의 이미지를 저장할 수 있다. 예를 들어, 메모리(300)는 픽셀 값의 비교를 위해서 이전 프레임의 이미지를 저장할 수 있다.
도 2는 도 1에 도시된 이미지 처리 장치가 수행하는 이미지 처리의 일 예를 나타낸다.
도 2를 참조하면, 프로세서(200)는 시각 정보에 기초하여 이미지로부터 유효 데이터를 생성할 수 있다. 실시예에 따라, 이미지 처리 장치(10)는 ADC(Analog-to-Digital Converter)(400), ISP(Image Signal Processing) 체인(500)을 더 포함할 수 있다.
프로세서(200)는 CPU(Central Processing Unit), DSP(Digital Signal Processor), 신경망 처리 장치(neural processor or neuromorphic processor) 또는 전용 하드웨어(dedicated hardware)를 포함할 수 있다.
ADC(400)는 센서(예를 들어, 이미지 센서)에서 감지한 픽셀 값을 디지털 픽셀 값으로 구성된 로우 데이터(raw data)로 변환할 수 있다. ADC(400)는 로우 데이터를 ISP 체인(500)으로 출력할 수 있다.
ISP 체인(500)은 수신한 로우 데이터를 처리할 수 있다. 예를 들어, ISP 체인(500)은 이미지의 조작, 분석 인식 등과 같은 다양한 이미지 처리를 수행할 수 있다.
ISP 체인(500)은 처리가 완료된 이미지를 프로세서(200)로 출력할 수 있다. 실시예에 따라, ISP 체인(500)은 모듈의 형태로 프로세서(200) 내부에 구현될 수 있다.
프로세서(200)는 메모리(300)로부터 깊이 정보, 위치 정보 및 이전 프레임의 이미지를 수신할 수 있다. 또한, 프로세서(200)는 처리한 이미지를 메모리(300)에 저장할 수 있다.
프로세서(200)는 외부의 센서 또는 호스트 장치로부터 객체에 대한 시각 정보를 수신할 수도 있다. 예를 들어, 외부의 센서는 깊이 센서로부터 깊이 정보를 수신할 수 있고, SLAM(Simultaneous Localization and Mapping) 알고리즘의 출력 값 또는 호스트 장치로부터 객체에 대한 시각 정보를 수신할 수 있다.
AR(Augmented Reality) 분야에서와 같이 센서 데이터와 인위적으로 생성된 객체가 결합되는 경우에 객체에 관한 시각 정보를 이용하여 전송되는 데이터의 양을 감소시킬 수 있다.
또는, 센서로부터 수신한 로우 데이터를 이용하여 시각 정보를 직접 획득할 수도 있다. 예를 들어, 프로세서(200)는 로우 데이터로부터 객체의 위치 정보 및 깊이 정보를 획득할 수 있다.
프로세서(200)는 획득한 시각 정보에 기초하여 이미지에서 객체에 의해 가려지는 영역을 결정할 수 있다. 프로세서(200)는 시각 정보에 포함된 객체의 깊이 정보에 기초하여 이미지에서 객체의 상대적 깊이를 판단할 수 있다.
프로세서(200)는 상대적 깊이 및 시각 정보에 포함된 객체의 위치 정보에 기초하여 상기 가려지는 영역을 결정할 수 있다.
도 2의 예시와 같이 강아지 모양의 객체가 이미지에 결합된 경우에, 프로세서(200)는 강아지 모양의 객체에 대한 깊이 정보와 위치 정보를 획득하고, 획득한 깊이 정보 및 위치 정보에 기초하여 강아지 모양의 객체에 의해 가려지는 영역을 결정할 수 있다.
프로세서(200)는 이미지에서 객체에 의해 개려지는 영역을 제외함으로써 유효 데이터를 생성할 수 있다. 도 2의 예시에서, 프로세서(200)는 이미지에서 강아지 모양의 객체에 의해 가려지는 영역을 제외함으로써 유효 데이터를 생성할 수 있다.
이를 통해, 프로세서(200)는 객체에 의해 가려지는 부분에 대응하는 데이터를 전송하지 않음으로써, 데이터 전송에 사용되는 전력 소모를 감소시킬 수 있다.
도 3은 도 1에 도시된 이미지 처리 장치가 수행하는 이미지 처리의 다른 예를 나타낸다.
도 3을 참조하면, 프로세서(200)는 이미지에 포함된 객체를 검출할 수 있다(310). 프로세서(200)는 검출된 객체에 대한 시각 정보를 획득할 수 있다. 예를 들어, 프로세서(200)는 객체의 위치 정보를 획득할 수 있다.
프로세서(200)는 검출한 객체의 위치에 기초하여 이미지에서 객체에 대응하는 영역을 변환함으로써 유효 데이터를 생성할 수 있다. 프로세서(200)는 객체의 위치에 기초하여 객체에 대응하는 영역(350)을 암호화(encrypt)함으로써 유효 데이터를 생성할 수 있다(330).
도 3의 예시에서 프로세서(200)는 객체를 검출하여 객체에 대응하는 영역(350)을 암호화시킬 수 있다. 이를 통해, 프라이버시 또는 보안 등의 이유로 객체를 암호화할 필요가 있을 경우, 프로세서(200)는 객체에 대응하는 영역(350)을 암호화할 수 있다.
프로세서(200)는 객체에 대응하는 영역(350)의 좌표 정보를 이용하여 유효 데이터를 생성할 수 있다. 프로세서(200)는 적어도 두 개의 좌표를 이용하여 객체에 대응하는 영역(350)에 대한 유효 데이터를 생성할 수 있다.
예를 들어, 프로세서(200)는 객체에 대응하는 영역(350)의 시작 지점 좌표와 끝 지점 좌표를 이용하여 유효 데이터를 생성할 수 있다. 이 대, 시작 지점의 좌표는 객체에 대응하는 영역(350)의 좌측 상단 꼭지점의 좌표이고, 끝 지점의 좌표는 객체에 대응하는 영역(350)의 우측 하단 꼭지점의 좌표일 수 있다.
다시 말해, 프로세서(200)는 객체에 대응하는 영역(350)은 제외하고 그 좌표 정보만을 호스트로 전송함으로써 전력 소모를 줄일 수 있다.
도 4는 도 1에 도시된 이미지 처리 장치가 수행하는 이미지 처리의 또 다른 예를 나타낸다.
도 4를 참조하면, 프로세서(200)는 이미지에 포함된 객체를 검출할 수 있다(410). 프로세서(200)는 검출된 객체에 대한 시각 정보를 획득할 수 있다. 예를 들어, 프로세서(200)는 객체의 위치 정보를 획득할 수 있다.
프로세서(200)는 검출한 객체의 위치에 기초하여 이미지에서 객체에 대응하는 영역을 변환함으로써 유효 데이터를 생성할 수 있다. 프로세서(200)는 객체의 위치에 기초하여 객체에 대응하는 영역을 블러(blur)처리함으로써 유효 데이터(450)를 생성할 수 있다.
도 4의 예시는 검출한 객체가 사람의 얼굴일 경우를 나타낼 수 있다. 프로세서(200)는 프라이버시 확보가 필요한 경우에, 검출한 얼굴을 블러처리하여 호스트에 전송할 수 있다. 즉, 프로세서(200)는 블러처리를 통해 프라이버시가 보호된 이미지를 유효 데이터로 생성할 수 있다.
프로세서(200)는 블러처리된 부분에 대응하는 데이터는 호스트 장치로 전송하지 않을 수 있다.
이를 통해, 프로세서(200)는 별도의 후처리 과정을 줄일 수 있고, 센싱 데이터를 줄여서 호스트로 전송하여 소모 전력을 절감할 수 있다.
도 5는 도 1에 도시된 이미지 처리 장치가 수행하는 이미지 처리의 또 다른 예를 나타낸다.
도 5를 참조하면, 프로세서(200)는 프레임에 따라 변화가 거의 없는 시간적으로 연속되는 이미지를 처리하는 경우 프레임 간의 픽셀 값 차이만을 이용하여 유효 데이터를 생성하고 전송함으로써 전력 소모를 줄일 수 있다.
프로세서(200)는 이미지를 복수의 영역으로 분할할 수 있다. 도 5의 예시에서, 프로세서(200)는 가로 7개 세로 6개의 42개 영역으로 이미지를 분할하였으나, 실시예에 따라 영역의 수를 증가시키거나 감소시키는 것도 가능하다. 또한, 프로세서(200)는 이미지를 사각형이 아닌 도형의 형태로 분할하는 것도 가능하다.
프로세서(200)는 분할된 복수의 영역 중에서 픽셀 값의 변화가 발생한 영역을 결정할 수 있다. 프로세서(200)는 픽셀 값의 변화가 발생한 영역의 위치 및 픽셀 값에 기초하여 유효 데이터를 생성할 수 있다.
프로세서(200)는 복수의 영역에 ID(Identification)를 할당할 수 있다. 도 5의 예시에서, 영역 0, 1, 2는 할당된 ID를 의미할 수 있다. 프로세서(200)는 이전 프레임의 이미지(510)와 현재 프레임의 이미지(530)의 픽셀 값을 비교할 수 있다. 예를 들어, 프로세서(200)는 이전 프레임의 이미지(510)의 영역 0과 현재 프레임의 이미지(530)의 영역 0을 비교하여 픽셀 값의 변화가 발생했는지 여부를 판단할 수 있다.
프로세서(200)는 메모리(300)로부터 이전 프레임의 이미지(510)를 수신하여 이를 현재 프레임의 이미지(530)와 비교할 수 있다. 예를 들어, 메모리(300)는 지연된 프레임 버퍼(delayed frame buffer)를 포함할 수 있다.
이 때, 픽셀 값이 동일할 경우(다시 말해, 픽셀 값의 변화가 없을 경우), 프로세서(200)는 이전 프레임의 픽셀 값과 현재 프레임의 픽셀 값이 동일한지 여부를 나타내는 일치 비트(coincidence bit) 및 분할된 영역의 ID를 호스트 장치로 전송할 수 있다. 다시 말해, 프로세서(200)는 픽셀 값이 동일한 경우, 일치 비트와 분할된 영역의 ID를 이용하여 유효 데이터를 생성하여 전송할 수 있다.
픽셀 값의 변화가 발생한 경우, 프로세서(200)는 변화된 영역의 픽셀 값 및 변화된 영역의 ID를 이용하여 유효 데이터를 생성하고 이를 호스트 장치로 전송할 수 있다.
이를 통해, 프레임의 변화에 따른 이미지의 변화가 거의 없는 경우에, 최소한의 데이터만을 전송함으로써 프로세서(200)는 전력 소모를 줄일 수 있다.
도 6은 도 1에 도시된 이미지 처리 장치의 동작의 순서도이다.
도 6을 참조하면, 프로세서(200)는 이미지에 포함된 객체에 관련된 시각 정보를 획득할 수 있다(610). 시각 정보는 객체에 대한 깊이 정보 및 객체에 대한 위치 정보를 포함할 수 있다.
프로세서(200)는 이미지의 이전 프레임의 이미지와 이미지 간의 픽셀 값의 변화를 계산할 수 있다. 프로세서(200)는 이전 프레임의 이미지를 메모리(300)에 저장할 수 있다.
프로세서(200)는 획득한 시각 정보에 기초하여 이미지로부터 유효 데이터를 생성할 수 있다(630). 프로세서(200)는 시각 정보에 기초하여 이미지에서 객체에 의해 가려지는 영역을 결정할 수 있다.
프로세서(200)는 시각 정보에 포함된 객체의 깊이 정보에 기초하여 이미지에서 객체의 상대적 깊이를 판단할 수 있다. 프로세서(200)는 판단한 상대적 깊이 및 시각 정보에 포함된 객체의 위치 정보에 기초하여 가려지는 영역을 결정할 수 있다.
프로세서(200)는 이미지로부터 가려지는 영역을 제외함으로써 유효 데이터를 생성할 수 있다.
프로세서(200)는 객체의 위치에 기초하여 이미지에서 객체에 대응하는 영역을 변환함으로써 유효 데이터를 생성할 수 있다. 객체의 위치에 기초하여 상기 객체에 대응하는 영역을 암호화(encrypt)함으로써 유효 데이터를 생성할 수 있다. 프로세서(200)는 객체의 위치에 기초하여 객체에 대응하는 영역을 블러(blur)처리함으로써 유효 데이터를 생성할 수 있다.
또한, 프로세서(200)는 이미지를 복수의 영역으로 분할할 수 있다. 프로세서(200)는 복수의 영역 중에서 픽셀 값의 변화가 발생한 영역을 결정할 수 있다. 프로세서(200)는 픽셀 값의 변화가 발생한 영역의 위치 및 픽셀 값에 기초하여 유효 데이터를 생성할 수 있다.
프로세서(200)는 생성한 유효 데이터를 전송할 수 있다(650).
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (20)

  1. 이미지에 포함된 객체에 관련된 시각 정보를 획득하는 단계;
    상기 시각 정보에 기초하여 상기 이미지로부터 유효 데이터를 생성하는 단계; 및
    상기 유효 데이터를 전송하는 단계
    를 포함하는 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 시각 정보는
    상기 객체에 대한 깊이 정보; 및
    상기 객체에 대한 위치 정보
    를 포함하는 이미지 처리 방법.
  3. 제1항에 있어서,
    상기 획득하는 단계는,
    상기 이미지의 이전 프레임의 이미지와 상기 이미지 간의 픽셀 값의 변화를 계산하는 단계
    를 포함하는 이미지 처리 방법.
  4. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 시각 정보에 기초하여 상기 이미지에서 상기 객체에 의해 가려지는 영역을 결정하는 단계; 및
    상기 이미지로부터 상기 가려지는 영역을 제외함으로써 상기 유효 데이터를 생성하는 단계
    를 포함하는 이미지 처리 방법.
  5. 제4항에 있어서,
    상기 객체에 의해 가려지는 영역을 결정하는 단계는,
    상기 시각 정보에 포함된 상기 객체의 깊이 정보에 기초하여 상기 이미지에서 상기 객체의 상대적 깊이를 판단하는 단계; 및
    상기 상대적 깊이 및 상기 시각 정보에 포함된 상기 객체의 위치 정보에 기초하여 상기 가려지는 영역을 결정하는 단계
    를 포함하는 이미지 처리 방법.
  6. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 객체의 위치에 기초하여 상기 이미지에서 상기 객체에 대응하는 영역을 변환함으로써 상기 유효 데이터를 생성하는 단계
    를 포함하는 이미지 처리 방법.
  7. 제6항에 있어서,
    상기 객체의 위치에 기초하여 상기 이미지에서 상기 객체에 대응하는 영역을 변환함으로써 상기 유효 데이터를 생성하는 단계는,
    상기 객체의 위치에 기초하여 상기 객체에 대응하는 영역을 암호화(encrypt)함으로써 상기 유효 데이터를 생성하는 단계
    를 포함하는 이미지 처리 방법.
  8. 제6항에 있어서,
    상기 객체의 위치에 기초하여 상기 객체에 대응하는 영역을 변환함으로써 상기 유효 데이터를 생성하는 단계는,
    상기 객체의 위치에 기초하여 상기 객체에 대응하는 영역을 블러(blur)처리함으로써 상기 유효 데이터를 생성하는 단계
    를 포함하는 이미지 처리 방법.
  9. 제3항에 있어서,
    상기 생성하는 단계는,
    상기 이미지를 복수의 영역으로 분할하는 단계;
    상기 복수의 영역 중에서 상기 픽셀 값의 변화가 발생한 영역을 결정하는 단계; 및
    상기 픽셀 값의 변화가 발생한 영역의 위치 및 상기 픽셀 값에 기초하여 상기 유효 데이터를 생성하는 단계
    를 포함하는 이미지 처리 방법.
  10. 제3항에 있어서,
    상기 획득하는 단계는,
    상기 이전 프레임의 이미지를 저장하는 단계
    를 더 포함하는 이미지 처리 방법.
  11. 이미지에 포함된 객체에 관련된 시각 정보를 획득하고, 상기 시각 정보에 기초하여 상기 이미지로부터 유효 데이터를 생성하고, 상기 유효 데이터를 전송하는 프로세서; 및
    상기 프로세서에 의해 실행가능한 인스트럭션을 저장하는 메모리
    를 포함하는 이미지 처리 장치.
  12. 제11항에 있어서,
    상기 시각 정보는
    상기 객체에 대한 깊이 정보; 및
    상기 객체에 대한 위치 정보
    를 포함하는 이미지 처리 장치.
  13. 제11항에 있어서,
    상기 프로세서는,
    상기 이미지의 이전 프레임의 이미지와 상기 이미지 간의 픽셀 값의 변화를 계산하는
    이미지 처리 장치.
  14. 제11항에 있어서,
    상기 프로세서는,
    상기 시각 정보에 기초하여 상기 이미지에서 상기 객체에 의해 가려지는 영역을 결정하고,
    상기 이미지로부터 상기 가려지는 영역을 제외함으로써 상기 유효 데이터를 생성하는
    이미지 처리 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 시각 정보에 포함된 상기 객체의 깊이 정보에 기초하여 상기 이미지에서 상기 객체의 상대적 깊이를 판단하고,
    상기 상대적 깊이 및 상기 시각 정보에 포함된 상기 객체의 위치 정보에 기초하여 상기 가려지는 영역을 결정하는
    이미지 처리 장치.
  16. 제11항에 있어서,
    상기 프로세서는,
    상기 객체의 위치에 기초하여 상기 이미지에서 상기 객체에 대응하는 영역을 변환함으로써 상기 유효 데이터를 생성하는
    이미지 처리 장치.
  17. 제16항에 있어서,
    상기 프로세서는,
    상기 객체의 위치에 기초하여 상기 객체에 대응하는 영역을 암호화함으로써 상기 유효 데이터를 생성하는
    이미지 처리 장치.
  18. 제16항에 있어서,
    상기 프로세서는,
    상기 객체의 위치에 기초하여 상기 객체에 대응하는 영역을 블러(blur)처리함으로써 상기 유효 데이터를 생성하는
    이미지 처리 장치.
  19. 제13항에 있어서,
    상기 프로세서는,
    상기 이미지를 복수의 영역으로 분할하고,
    상기 복수의 영역 중에서 상기 픽셀 값의 변화가 발생한 영역을 결정하고,
    상기 픽셀 값의 변화가 발생한 영역의 위치 및 상기 픽셀 값에 기초하여 상기 유효 데이터를 생성하는
    이미지 처리 장치.
  20. 제13항에 있어서,
    상기 메모리는,
    상기 이전 프레임의 이미지를 저장하는
    이미지 처리 장치.
KR1020200081108A 2020-07-01 2020-07-01 이미지 처리 방법 및 장치 KR20220003376A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200081108A KR20220003376A (ko) 2020-07-01 2020-07-01 이미지 처리 방법 및 장치
US17/097,602 US11804031B2 (en) 2020-07-01 2020-11-13 Image processing method and apparatus
CN202110240485.1A CN113888552A (zh) 2020-07-01 2021-03-04 图像处理方法和设备
US18/372,219 US20240013515A1 (en) 2020-07-01 2023-09-25 Image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200081108A KR20220003376A (ko) 2020-07-01 2020-07-01 이미지 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20220003376A true KR20220003376A (ko) 2022-01-10

Family

ID=79013046

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200081108A KR20220003376A (ko) 2020-07-01 2020-07-01 이미지 처리 방법 및 장치

Country Status (3)

Country Link
US (2) US11804031B2 (ko)
KR (1) KR20220003376A (ko)
CN (1) CN113888552A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220003376A (ko) * 2020-07-01 2022-01-10 삼성전자주식회사 이미지 처리 방법 및 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776805B1 (ko) 2006-09-29 2007-11-19 한국전자통신연구원 스테레오 비전 처리를 통해 지능형 서비스 로봇 시스템에서효율적인 영상 정보의 전송을 위한 장치 및 그 방법
JP4424364B2 (ja) 2007-03-19 2010-03-03 ソニー株式会社 画像処理装置、画像処理方法
US8427552B2 (en) 2008-03-03 2013-04-23 Videoiq, Inc. Extending the operational lifetime of a hard-disk drive used in video data storage applications
US8482654B2 (en) * 2008-10-24 2013-07-09 Reald Inc. Stereoscopic image format with depth information
TWI413023B (zh) * 2010-03-30 2013-10-21 Novatek Microelectronics Corp 移動偵測方法及裝置
JP2012074999A (ja) 2010-09-29 2012-04-12 Nec Corp 画像データ伝送システム、サーバ装置、クライアント端末、画像データ伝送方法、及び制御プログラム
US20120148216A1 (en) 2010-12-14 2012-06-14 Qualcomm Incorporated Self-editing video recording
CN105814611B (zh) 2013-12-17 2020-08-18 索尼公司 信息处理设备和方法以及非易失性计算机可读存储介质
KR102276909B1 (ko) 2014-12-09 2021-07-13 삼성전자주식회사 렌더링 방법 및 장치
WO2017160829A1 (en) * 2016-03-15 2017-09-21 The Trustees Of Columbia University In The City Of New York Method and apparatus to perform local de-noising of a scanning imager image
KR102017148B1 (ko) 2017-03-03 2019-09-02 엘지전자 주식회사 장애물을 학습하는 인공지능 이동 로봇 및 그 제어방법
CN109474780B (zh) * 2017-09-07 2023-07-25 虹软科技股份有限公司 一种用于图像处理的方法和装置
JP7080613B2 (ja) * 2017-09-27 2022-06-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6513169B1 (ja) 2017-12-14 2019-05-15 キヤノン株式会社 仮想視点画像を生成するシステム、方法及びプログラム
KR20220003376A (ko) * 2020-07-01 2022-01-10 삼성전자주식회사 이미지 처리 방법 및 장치

Also Published As

Publication number Publication date
US20240013515A1 (en) 2024-01-11
US20220005219A1 (en) 2022-01-06
US11804031B2 (en) 2023-10-31
CN113888552A (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
US10878612B2 (en) Facial image replacement using 3-dimensional modelling techniques
KR20220009393A (ko) 이미지 기반 로컬화
CN112889091A (zh) 使用模糊特征的相机位姿估计
KR102354992B1 (ko) 양안 시차 영상에 대한 타일 기반 렌더링 방법 및 장치
WO2015070416A1 (en) Mechanism for facilitating dynamic simulation of avatars corresponding to changing user performances as detected at computing devices
US20240161538A1 (en) Perspective Distortion Correction on Faces
KR102188543B1 (ko) 그래픽 처리 장치
US9972065B2 (en) Resource layout randomization for GPU execution
US9317909B2 (en) Image subsystem including image feature detection hardware component and image processing system including the same
TW202014934A (zh) 電子系統以及非暫時性電腦可讀記錄媒體
WO2020170299A1 (ja) 疲労判定装置、疲労判定方法、および疲労判定プログラム
US10504289B2 (en) Method and apparatus for securely displaying private information using an augmented reality headset
KR20220003376A (ko) 이미지 처리 방법 및 장치
WO2013112065A1 (en) Object selection in an image
US9563932B2 (en) Techniques to request stored data from memory
CN110431838B (zh) 提供人脸识别摄像机的动态内容的方法及***
US20200388016A1 (en) Image signal processor, operating method thereof, and image processing system including the image signal processor
CN112102145B (zh) 图像处理方法及装置
CN105446938B (zh) 包括可重构的缩放器的应用处理器及包括该处理器的装置
US11893093B2 (en) Systems and methods for asset owner verification in a digital environment
US10692171B2 (en) Method of operating virtual address generator and method of operating system including the same
US11748911B2 (en) Shader function based pixel count determination
CN115564639A (zh) 背景虚化方法、装置、计算机设备和存储介质
US9147237B2 (en) Image processing method and device for enhancing image quality using different coefficients according to regions
CN107111862B (zh) 低功率dma标记