KR102468729B1 - 전자 장치 및 전자 장치의 객체 센싱 방법 - Google Patents

전자 장치 및 전자 장치의 객체 센싱 방법 Download PDF

Info

Publication number
KR102468729B1
KR102468729B1 KR1020170127429A KR20170127429A KR102468729B1 KR 102468729 B1 KR102468729 B1 KR 102468729B1 KR 1020170127429 A KR1020170127429 A KR 1020170127429A KR 20170127429 A KR20170127429 A KR 20170127429A KR 102468729 B1 KR102468729 B1 KR 102468729B1
Authority
KR
South Korea
Prior art keywords
image
size value
electronic device
correction coefficient
correcting
Prior art date
Application number
KR1020170127429A
Other languages
English (en)
Other versions
KR20190037764A (ko
Inventor
최낙원
송현아
김정섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170127429A priority Critical patent/KR102468729B1/ko
Priority to PCT/KR2018/010946 priority patent/WO2019066349A1/ko
Priority to US16/641,842 priority patent/US11501448B2/en
Priority to EP18863348.1A priority patent/EP3654283B1/en
Priority to CN201880062944.8A priority patent/CN111149130B/zh
Publication of KR20190037764A publication Critical patent/KR20190037764A/ko
Application granted granted Critical
Publication of KR102468729B1 publication Critical patent/KR102468729B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 다양한 실시 예에 따른 전자 장치는, 이미지 센서 및 프로세서를 포함하고, 상기 프로세서는, 상기 이미지 센서에 의해 생성된 이미지를 이용하여 객체의 움직임을 감지하고, 상기 객체의 크기값을 확인하고, 상기 이미지 내에서의 상기 객체의 위치에 기초하여 상기 객체의 크기값을 보정하고, 상기 보정된 크기값에 기초하여 상기 객체의 움직임에 대응하는 동작을 수행하도록 설정될 수 있다.

Description

전자 장치 및 전자 장치의 객체 센싱 방법{ELECTRONIC DEVICE AND OBJECT SENSING METHOD THEROF}
본 발명은 객체의 움직임을 센싱하는 전자 장치에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히, 최근에는 스마트 TV, 스마트폰, 테블릿 PC 등과 같이 어플리케이션과 연동하여 다양한 서비스를 지원하는 전자 장치의 보급이 확대되고 있다.
상술한 다양한 서비스를 지원하고 사용자의 편의를 위해 전자 장치는 다양한 종류의 센서를 구비하고 있다. 특히, 객체의 움직임 여부를 감지하거나 사용자의 제스처 입력을 감지하기 위해 모션 감지 센서를 구비한 전자 장치도 보급되고 있다.
이미지 센서 기반의 모션 감지 센서는 렌즈의 특성에 따라 이미지에 왜곡이 발생하여 센서의 감지 성능이 열화될 수 있다. 이미지의 왜곡에 따른 성능 열화를 방지하기 위해 이미지 자체를 보정하는 경우 많은 연산량이 필요하여 이미지 보정에 과도한 시간이 소모될 수 있으며 보정된 이미지의 정확성을 보장하기 어렵다.
본 발명의 다양한 실시 예는 렌즈의 특성에 따라 이미지에 왜곡에 발생하더라도 이미지의 보정 없이 이미지의 왜곡에 따른 성능 열화를 방지할 수 있는 전자 장치 및 전자 장치의 객체 센싱 방법을 제공하는 것을 목적으로 한다.
본 발명의 다양한 실시 예에 따른 전자 장치는, 이미지 센서 및 프로세서를 포함하고, 상기 프로세서는, 상기 이미지 센서에 의해 생성된 이미지를 이용하여 객체의 움직임을 감지하고, 상기 객체의 크기값을 확인하고, 상기 이미지 내에서의 상기 객체의 위치에 기초하여 상기 객체의 크기값을 보정하고, 상기 보정된 크기값에 기초하여 상기 객체의 움직임에 대응하는 동작을 수행하도록 설정될 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치의 객체 센싱 방법은, 이미지 센서를 이용하여 이미지를 생성하는 동작, 상기 이미지 센서에 의해 생성된 이미지를 이용하여 객체의 움직임을 감지하는 동작, 상기 객체의 크기값을 확인하는 동작, 상기 이미지 내에서의 상기 객체의 위치에 기초하여 상기 객체의 크기값을 보정하는 동작 및 상기 보정된 크기값에 기초하여 상기 객체의 움직임에 대응하는 동작을 수행하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예에 따른 기록매체는 이미지 센서를 이용하여 이미지를 생성하는 동작, 상기 이미지 센서에 의해 생성된 이미지를 이용하여 객체의 움직임을 감지하는 동작, 상기 객체의 크기값을 확인하는 동작, 상기 이미지 내에서의 상기 객체의 위치에 기초하여 상기 객체의 크기값을 보정하는 동작 및 상기 보정된 크기값에 기초하여 상기 객체의 움직임에 대응하는 동작을 수행하는 동작을 포함하는 방법을 수행하는 프로그램이 기록될 수 있다.
본 발명의 다양한 실시 예에 따르면, 이미지 센서에 의해 생성된 이미지가 왜곡된 경우에도 센서의 객체 감지 성능을 안정적으로 유지할 수 있다.
도 1은 본 발명의 다양한 실시 예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 2a 내지 도 2c는 왜곡된 이미지의 예를 나타낸다.
도 3 및 도 4는 복수의 영역으로 분할된 이미지의 예를 나타낸다.
도 5는 본 발명의 다양한 실시 예에 따른 전자 장치의 객체의 움직임에 따른 반응 거리를 나타내는 도면이다.
도 6은 본 발명의 다양한 실시 예에 따른 전자 장치의 객체 센싱 방법을 나타내는 흐름도이다.
도 7은 본 발명의 다양한 실시 예에 따른 전자 장치의 객체 센싱 방법을 나타내는 흐름도이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
도 1은 본 발명의 다양한 실시 예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 전자 장치(100)는 렌즈(110), 이미지 센서(120) 및 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 상기 구성들 외에 통신 회로, 디스플레이, 메모리 등의 구성을 더 포함할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 TV, 스마트폰, 데스크탑 PC, 노트북 PC, 테블릿 PC 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 렌즈(110)는 피사체에 반사된 빛을 통과시킬 수 있다. 일 실시 예에 따르면, 렌즈(110)는 광각 렌즈 또는 어안 렌즈를 포함할 수 있다. 렌즈(110)가 광각 렌즈 또는 어안 렌즈를 포함하는 경우 표준 렌즈에 비해 넓은 화각(예: 150° 이상 또는 180° 이상)을 제공할 수 있으며, 이에 따라, 전자 장치(100)가 넓은 영역을 감지하도록 할 수 있다.
일 실시 예에 따르면, 이미지 센서(120)는 렌즈(110)를 통해 수신된 빛을 이용하여 이미지를 생성할 수 있다. 예를 들어, 이미지 센서(120)는 렌즈(110)를 통해 수신된 빛에 포함된 피사체 정보를 전기적 신호로 변환하여 이미지를 생성할 수 있다.
일 실시 예에 따르면, 프로세서(130)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(130)는 이미지 센서(120)와 전기적으로 연결되어 이미지 센서(120)에 의해 생성된 이미지를 이용하여 객체(예: 사용자)의 움직임 여부 또는 사용자의 제스처(예: 손동작)를 감지하고 감지 결과에 대응되는 동작을 수행할 수 있다.
일 실시 예에 따르면, 프로세서(130)는 움직임이 감지된 객체의 크기값에 기초하여 객체의 움직임에 대응하는 동작을 수행할 수 있다. 예를 들어, 프로세서(130)는 감지된 객체의 크기값이 기준값 이상이면 객체의 움직임에 대응하는 동작을 수행하고, 감지된 객체의 크기값이 기준값 미만이면 객체의 움직임을 무시할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 적어도 하나의 프로세서(130)를 포함할 수 있다. 예를 들어, 전자 장치(100)는 적어도 하나의 기능을 수행할 수 있는 복수의 프로세서(130)를 포함할 수 있다. 일 실시 예에 따르면, 프로세서(130)는 CPU(central processing unit), GPU(graphic processing unit), 메모리 등을 포함하는 SoC(system on chip)으로 구현될 수도 있다.
일 실시 예에 따르면, 렌즈(110)의 종류에 따라 이미지 센서(120)에 의해 생성된 이미지에 포함된 피사체가 왜곡될 수 있다. 예를 들어, 렌즈(110)가 광각 렌즈 또는 어안 렌즈를 포함하는 경우 넓은 화각을 제공할 수 있으나 이미지 내에서의 피사체의 위치에 따라 피사체가 왜곡될 수 있다.
도 2a 내지 도 2c는 왜곡된 이미지의 예를 나타낸다.
도 2a는 모양과 크기가 동일한 9개의 정사각형 객체를 촬영한 이미지를 나타낸다. 도 2a의 <201> 이미지는 피사체의 왜곡이 없는 렌즈를 통해 촬영된 이미지의 예이고, 도 2a의 <202> 이미지는 피사체가 왜곡되는 렌즈를 통해 촬영된 이미지의 예를 나타낸다. 도 2의 <201> 이미지를 참조하면 9개의 정사각형 객체의 모양 및 크기가 동일하게 촬영되었으나 2의 <202> 이미지를 참조하면 9개의 정사각형 객체의 모양 및 크기가 상이하게 촬영되었음을 알 수 있다. 예를 들어, <202> 이미지를 참조하면 이미지 내에서의 위치가 이미지의 중심에 가까울수록 객체의 크기가 커지고 이미지의 중심으로부터 멀어질수록 객체의 크기가 축소되어 촬영될 수 있다.
도 2b는 객체가 이미지의 중심 부분에 위치하도록 객체를 촬영한 이미지를 나타낸다. 도 2b의 <203> 이미지는 피사체의 왜곡이 없는 렌즈를 통해 촬영된 이미지의 예이고, 도 2b의 <204> 이미지는 피사체가 왜곡되는 렌즈를 통해 촬영된 이미지의 예를 나타낸다. 도 2b의 <203> 이미지와 <204> 이미지를 비교하면 객체가 이미지의 중심 부분에 위치하는 경우 <204> 이미지에 포함된 객체의 크기가 왜곡되어 <203> 이미지에 포함된 객체보다 <204> 이미지에 포함된 객체가 크게 촬영될 수 있다.
도 2c는 객체가 이미지의 가장자리에 위치하도록 객체를 촬영한 이미지를 나타낸다. 도 2c의 <205> 이미지는 피사체의 왜곡이 없는 렌즈를 통해 촬영된 이미지의 예이고, 도 2c의 <206> 이미지는 피사체가 왜곡되는 렌즈를 통해 촬영된 이미지의 예를 나타낸다. 도 2c의 <205> 이미지와 <206> 이미지를 비교하면 객체가 이미지의 가장자리 부분에 위치하는 경우 <206> 이미지에 포함된 객체의 크기가 왜곡되어 <205> 이미지에 포함된 객체보다 <206> 이미지에 포함된 객체가 작게 촬영될 수 있다.
이미지에 포함된 피사체가 왜곡된 경우 이미지 센서(120)를 통한 객체 감지 성능에 영향을 줄 수 있다. 예를 들어, 이미지의 왜곡이 없는 경우 기준값 미만의 크기로 촬영되어야 할 객체가 도 2b와 같이 이미지의 중심 부분에 위치하는 경우 기준값 이상의 크기로 촬영될 수 있다. 다른 예를 들어, 이미지의 왜곡이 없는 경우 기준값 이상의 크기로 촬영되어야 할 객체가 3b와 같이 이미지의 가장자리 부분에 위치하는 경우 기준값 미만의 크기로 촬영될 수 있다.
본 발명의 다양한 실시 예에 따르면, 전자 장치(100)는 객체의 왜곡에 따른 객체 감지 성능의 저하를 방지하기 위해 움직임이 감지된 객체의 크기값을 보정할 수 있다. 일 실시 예에 따르면, 프로세서(130)는 이미지 센서(120)에 의해 생성된 이미지를 이용하여 객체의 움직임을 감지할 수 있다. 프로세서(130)는 이미지 센서(120)에 의해 현재 생성된 이미지를 참조 이미지와 비교하여 위치 또는 모양이 변경된 객체를 확인할 수 있다. 일 실시 예에 따르면, 프로세서(130)는 과거에 촬영된 이미지 중 적어도 하나를 참조 이미지로 설정할 수 있다. 예를 들어, 프로세서(130)는 현재 촬영된 이미지의 촬영 직전에 촬영된 이미지를 참조 이미지로 설정할 수 있다. 다른 예를 들어, 프로세서(130)는 지정된 시간 동안 촬영된 복수의 이미지에 변화가 없으면 복수의 이미지 중 하나를 참조 이미지로 설정할 수 있다.
일 실시 예에 따르면, 프로세서(130)는 움직임이 감지된 객체의 크기를 확인할 수 있다. 예를 들어, 프로세서(130)는 이미지 내에서 움직임이 감지된 객체가 차지하는 픽셀의 개수를 확인할 수 있다. 일 실시 예에 따르면, 프로세서(130)는 하나의 이미지 내에서 복수의 객체의 움직임이 감지되면 복수의 객체 각각의 크기값을 확인할 수 있다.
일 실시 예에 따르면, 프로세서(130)는 움직임이 감지된 객체의 크기값을 보정할 수 있다. 예를 들어, 프로세서(130)는 이미지 내에서의 객체의 위치에 기초하여 객체의 크기값을 보정할 수 있다. 이하에서는 도 3 및 도 4를 참조하여 객체의 크기값을 보정하는 구체적인 실시 예에 대해 설명한다.
도 3 및 도 4는 복수의 영역으로 분할된 이미지의 예를 나타낸다.
일 실시 예에 따르면, 프로세서(130)는 이미지를 복수의 영역으로 분할할 수 있다. 예를 들어, 도 3을 참조하면 프로세서(130)는 이미지 센서(120)에 의해 생성된 이미지를 9개의 영역(a11, a12, a13, a21, a22, a23, a31, a32, a33)으로 분할할 수 있다. 다른 예를 들어, 도 4를 참조하면 프로세서(130)는 이미지 센서(120)에 의해 생성된 이미지를 25개의 영역(a11, a12, a13, a14, a15, a21, a22, a23, a24, a25, a31, a32, a33, a34, a35, a41, a42, a43, a44, a45, a51, a52, a53, a54, a55)으로 분할할 수 있다. 도 3 및 도 4은 이미지 분할의 일부 예에 불과하며 프로세서(130)는 49개, 121개 등 다양한 개수의 영역으로 이미지를 분할할 수 있다.
일 실시 예에 따르면, 분할된 복수의 영역 각각은 대응되는 보정계수를 가질 수 있다. 분할된 복수의 영역 각각은 이미지의 중심으로부터 멀어질수록 큰 보정계수를 가지고, 이미지의 중심과 가까워질수록 작은 보정계수를 가질 수 있다. 예를 들어, 도 3의 a11, a13, a31 및 a33 영역들은 1.2의 보정계수를 가지고, a12, a21, a23 및 a32 영역들은 1의 보정계수를 가지고 a22 영역은 0.8의 보정계수를 가질 수 있다. 다른 예를 들어, 도 4의 a11, a15, a51 및 a55 영역들은 1.2의 보정계수를 가지고, a12, a14, a21, a25, a41, a45, a52 및 a54 영역들은 1.1의 보정계수를 가지고, a13, a22, a24, a31, a35, a42, a44 및 a53 영역들은 1.0의 보정계수를 가지고, a23, a32, a34 및 a43 영역들은 0.9의 보정계수를 가지고, a33 영역은 0.8의 보정계수를 가질 수 있다.
일 실시 예에 따르면, 분할된 복수의 영역 각각의 보정계수는 렌즈(110)의 종류 및 특성에 기초하여 결정될 수 있다. 예를 들어, 분할된 복수의 영역 각각의 보정계수는 렌즈(110)의 종류 및 특성을 고려하여 전자 장치(100)의 제조사에 의해 미리 결정될 수 있다. 예를 들어, 전자 장치(100)가 이미지의 왜곡이 상대적으로 큰 렌즈를 포함하는 경우 보정계수의 편차가 상대적으로 커질수 있으며, 전자 장치(100)가 이미지의 왜곡이 상대적으로 작은 렌즈를 포함하는 경우 보정계수의 편차가 상대적으로 작아질 수 있다.
일 실시 예에 따르면, 프로세서(130)는 분할된 복수의 영역 중 움직임이 감지된 객체가 포함된 영역을 확인할 수 있다. 예를 들어, 도 3을 참조하면 프로세서(130)는 a13 영역에 객체가 포함되었음을 확인할 수 있다. 다른 예를 들어, 도 4를 참조하면 a14, a15, a24 및 a25 영역에 객체가 포함되었음을 확인할 수 있다.
일 실시 예에 따르면, 프로세서(130)는 객체가 포함된 영역에 대응하는 보정계수를 이용하여 객체의 크기값을 보정할 수 있다. 예를 들어, 프로세서(130)는 객체의 크기값에 객체가 포함된 영역에 대응하는 보정계수를 곱하여 객체의 크기값을 보정할 수 있다. 도 3을 참조하면, 프로세서(130)는 이미지에 포함된 객체의 크기값이 1000이고 객체가 포함된 a13 영역에 대응하는 보정계수가 1.2이면 객체의 크기값을 1200으로 보정할 수 있다.
일 실시 예에 따르면, 프로세서(130)는 객체가 복수의 영역에 포함되면 복수의 영역 중 하나를 선택하고, 선택된 영역에 대응하는 보정계수를 이용하여 객체 전체의 크기값을 보정할 수 있다. 일 실시 예에 따르면, 프로세서(130)는 객체가 포함된 복수의 영역 중 객체의 무게 중심이 포함된 영역에 대응하는 보정계수를 이용하여 객체 전체의 크기값을 보정할 수 있다. 예를 들어, 도 4를 참조하면, 프로세서(130)는 객체가 포함된 a14, a15, a24 및 a25 영역들 중 a15 영역을 객체의 무게 중심이 포함된 영역으로 확인할 수 있다. 프로세서(130)는 이미지에 포함된 객체의 전체 크기값 1000과 a15 영역에 대응하는 보정계수 1.2를 곱하여 크기값을 1200으로 보정할 수 있다. 다른 실시 예에 따르면, 프로세서(130)는 복수의 영역 각각에 포함된 객체의 크기값이 가장 큰 영역에 대응하는 보정계수를 이용하여 객체 전체의 크기값을 보정할 수 있다. 예를 들어, 도 4를 참조하면, 프로세서(130)는 객체가 포함된 a14, a15, a24, a25 영역들 각각에 포함된 객체의 크기값을 확인할 수 있다. 예를 들어, a14 영역에 포함된 객체의 크기값이 100이고 a15 영역에 포함된 객체의 크기값이 650이고, a24 영역에 포함된 객체의 크기값이 100이고, a25 영역에 포함된 객체의 크기값은 150일 수 있다. 프로세서(130)는 객체가 포함된 복수의 영역들 중 포함된 객체의 크기값이 가장 큰 a15 영역에 대응하는 보정계수를 이용하여 객체 전체의 크기값을 보정할 수 있다. 예를 들어, 프로세서(130)는 이미지에 포함된 객체의 전체 크기값 1000과 a15에 대응하는 보정계수 1.2를 곱하여 크기값을 1200으로 보정할 수 있다.
일 실시 예에 따르면, 프로세서(130)는 객체가 복수의 영역에 포함되면 객체가 포함된 복수의 영역 각각에 포함된 객체의 크기값을 확인하고, 복수의 영역 각각에 대응하는 보정계수를 이용하여 복수의 영역 각각에 포함된 객체의 크기값을 보정할 수 있다. 예를 들어, 도 4를 참조하면, 프로세서(130)는 객체가 포함된 a14, a15, a24, a25 영역들 각각에 포함된 객체의 크기값을 확인할 수 있다. 예를 들어, a14 영역에 포함된 객체의 크기값이 100이고, a15 영역에 포함된 객체의 크기값이 650이고, a24 영역에 포함된 객체의 크기값이 100이고, a25 영역에 포함된 객체의 크기값은 150일 수 있다. 프로세서(130)는 a14 영역에 포함된 객체의 크기값 100과 a14 영역에 대응하는 보정계수 1.1을 곱하여 a14 영역에 포함된 객체의 크기값을 110로 보정하고, a15 영역에 포함된 객체의 크기값 650과 a15 영역에 대응하는 보정계수 1.2를 곱하여 a15 영역에 포함된 객체의 크기값을 780으로 보정하고, a24 영역에 포함된 객체의 크기값 100과 a24 영역에 대응하는 보정계수 1을 곱하여 a24 영역에 포함된 객체의 크기값을 100으로 보정하고, a25 영역에 포함된 객체의 크기값 150과 a25 영역에 대응하는 보정계수 1.1을 곱하여 a25 영역에 포함된 객체의 크기값을 165로 보정할 수 있다. 프로세서(130)는 복수의 영역에 포함된 객체 각각의 보정된 크기값을 합산하여 객체 전체의 보정값으로 산출할 수 있다. 예를 들어, 프로세서(130)는 a14 영역의 보정된 크기값 110과 a15 영역의 보정된 크기값 780과 a24 영역의 보정된 크기값 100과 a25 영역의 보정된 크기값 165를 합산하여 1155를 객체 전체의 보정값으로 산출할 수 있다.
일 실시 예에 따르면, 프로세서(130)는 보정된 크기값에 기초하여 객체의 움직임에 대응하는 동작을 수행할 수 있다. 예를 들어, 프로세서(130)는 객체의 보정된 크기값이 기준값 이상이면 객체의 움직임에 대응하는 동작을 수행하고, 객체의 보정된 크기값이 기준값 미만이면 객체의 움직임을 무시할 수 있다. 예를 들어, 프로세서(130)는 디스플레이가 오프되거나 저전력 모드로 동작하는 상태에서 움직임이 감지된 객체의 보정된 크기값이 기준값 이상이면 디스플레이를 턴온시키고, 보정된 크기값이 기준값 미만이면 감지된 객체의 움직임을 무시하고 아무런 동작을 수행하지 않을 수 있다. 본 발명의 다양한 실시 예에 따르면, 전자 장치(100) 왜곡된 이미지에 자체에 대한 보정 없이 객체의 크기값만을 보정 할 수 있다. 이에 따라, 왜곡된 이미지를 보정하기 위해 복잡한 이미지 보정 알고리즘을 적용함에 따라 프로세서의 과도한 연산과 시간 소모 없이 간편하고 신속하게 객체 감지 성능을 향상시킬 수 있다.
본 발명의 다양한 실시 예에 따르면, 전자 장치(100)는 객체의 왜곡에 따른 객체 감지 성능의 저하를 방지하기 위해 객체의 크기값을 보정하는 대신 복수의 영역 각각에 상이한 기준값을 설정할 수 있다. 분할된 복수의 영역 각각은 이미지의 중심으로부터 멀어질수록 작은 기준값을 가지고, 이미지의 중심과 가까워질수록 큰 기준값을 가질 수 있다. 예를 들어, 도 3의 a11, a13, a31 및 a33 영역들은 800의 기준값을 가지고, a12, a21, a23 및 a32 영역들은 1000의 기준값을 가지고 a22 영역은 1200의 기준값을 가질 수 있다. 다른 예를 들어, 도 4의 a11, a15, a51 및 a55 영역들은 800의 기준값를 가지고, a12, a14, a21, a25, a41, a45, a52 및 a54 영역들은 900의 기준값을 가지고, a13, a22, a24, a31, a35, a42, a44 및 a53 영역들은 1000의 기준값을 가지고, a23, a32, a34 및 a43 영역들은 1100의 기준값을 가지고, a33 영역은 1200의 기준값을 가질 수 있다.
일 실시 예에 따르면, 분할된 복수의 영역 각각의 기준값은 렌즈(110)의 종류 및 특성에 기초하여 결정될 수 있다. 예를 들어, 분할된 복수의 영역 각각의 기준값은 렌즈(110)의 종류 및 특성을 고려하여 전자 장치(100)의 제조사에 의해 미리 결정될 수 있다. 예를 들어, 전자 장치(100)가 이미지의 왜곡이 상대적으로 큰 렌즈를 포함하는 경우 기준값의 편차가 상대적으로 커질수 있으며, 전자 장치(100)가 이미지의 왜곡이 상대적으로 작은 렌즈를 포함하는 경우 기준값의 편차가 상대적으로 작아질 수 있다.
일 실시 예에 따르면, 프로세서(130)는 감지된 객체의 크기값을 객체가 포함된 영역에 대응하는 기준값과 비교하고, 비교 결과에 기초하여 객체의 움직임에 대응하는 동작을 수행할 수 있다. 예를 들어, 프로세서(130)는 객체의 크기값이 객체가 포함된 영역에 대응하는 기준값 이상이면 객체의 움직임에 대응하는 동작을 수행하고, 객체의 크기값이 객체가 포함된 영역에 대응하는 기준값 미만이면 객체의 움직임을 무시할 수 있다. 예를 들어, 도 3을 참조하면, 프로세서(130)는 이미지에 포함된 객체의 크기값이 1000이고 객체가 포함된 a13 영역에 대응하는 기준값이 800이면 비교 결과에 따라 객체의 움직임에 대응되는 동작을 수행할 수 있다.
일 실시 예에 따르면, 프로세서(130)는 객체가 복수의 영역에 포함되면 복수의 영역 중 하나를 선택하고, 감지된 객체의 크기값을 선택된 영역에 대응하는 기준값과 비교할 수 있다. 일 실시 예에 따르면, 프로세서(130)는 감지된 객체의 크기값을 객체가 포함된 복수의 영역 중 객체의 무게 중심이 포함된 영역에 대응하는 기준값과 비교할 수 있다. 예를 들어, 도 4를 참조하면, 프로세서(130)는 객체가 포함된 a14, a15, a24 및 a25 영역들 중 a15 영역을 객체의 무게 중심이 포함된 영역으로 확인할 수 있다. 프로세서(130)는 이미지에 포함된 객체의 크기값 1000과 a15 영역에 대응하는 기준값 800을 비교할 수 있다. 다른 실시 예에 따르면, 프로세서(130)는 감지된 객체의 크기값을 복수의 영역 각각에 포함된 객체의 크기값이 가장 큰 영역에 대응하는 기준값과 비교할 수 있다. 예를 들어, 도 4를 참조하면, 프로세서(130)는 객체가 포함된 a14, a15, a24, a25 영역들 각각에 포함된 객체의 크기값을 확인할 수 있다. 예를 들어, a14 영역에 포함된 객체의 크기값이 100이고 a15 영역에 포함된 객체의 크기값이 650이고, a24 영역에 포함된 객체의 크기값이 100이고, a25 영역에 포함된 객체의 크기값은 150일 수 있다. 프로세서(130)는 감지된 객체의 전체 크기값을 객체가 포함된 복수의 영역들 중 포함된 객체의 크기값이 가장 큰 a15 영역에 대응하는 기준값과 비교할 수 있다. 예를 들어, 프로세서(130)는 이미지에 포함된 객체의 전체 크기값 1000과 a15에 대응하는 기준값 800을 비교할 수 있다.
도 5는 본 발명의 다양한 실시 예에 따른 전자 장치의 객체의 움직임에 따른 반응 거리를 나타내는 도면이다.
도 5의 <501> 이미지는 본 발명의 다양한 실시예를 적용하지 않은 상태에서의 전자 장치(100)의 반응 거리를 나타내고, <503> 이미지는 본 발명의 다양한 실시예를 적용한 상태에서의 전자 장치(100)의 반응 거리를 나타낸다. 전자 장치(100)는 기설정된 거리 내에서 기설정된 크기를 가지는 객체의 움직임이 감지되면 객체의 움직임에 대응하는 동작을 수행하도록 기준값을 설정할 수 있다. 예를 들어, 전자 장치(100)가 TV로 구현된 경우 일반적인 사용자의 시청 거리 내에서 사용자의 움직임이 감지된 경우에만 사용자의 움직임에 대응되는 동작을 수행하도록 기준값을 설정할 수 있다. 그러나, 이미지에 포함된 객체의 왜곡에 의해 전자 장치(100)의 반응 거리가 달라질 수 있다. 예를 들어, 도 5의 <501> 이미지를 참조하면 이미지의 왜곡에 따라 객체가 전자 장치의 측면에 위치할수록 반응 거리가 짧아지고 객체가 전자 장치(100)의 정면에 위치할수록 반응 거리가 길어질 수 있다. 이에 따라, 전자 장치(100)는 반응하지 않아야 할 거리에 위치하는 객체의 움직임에도 반응하거나 반응해야 할 거리에 위치하는 객체의 움직임에도 반응하지 않을 수 있다.
도 5의 <503> 이미지를 참조하면 본 발명의 다양한 실시 예가 적용됨에 따라 객체의 위치와 관계없이 전자 장치(100)의 반응 거리가 일정하게 유지될 수 있다. 이에 따라, 전자 장치(100)는 촬영된 이미지가 왜곡된 경우에도 객체 감지 성능을 안정적으로 유지할 수 있다.
도 6은 본 발명의 다양한 실시 예에 따른 전자 장치의 객체 센싱 방법을 나타내는 흐름도이다.
도 6에 도시된 흐름도는 상술한 전자 장치(100)에서 처리되는 동작들로 구성될 수 있다. 따라서, 이하에서 생략된 내용이라 하더라도 도 1 내지 도 5를 참조하여 전자 장치(100)에 관하여 기술된 내용은 도 6에 도시된 흐름도에도 적용될 수 있다.
일 실시 예에 따르면, 전자 장치(100)는, 610 동작에서, 이미지 센서(예: 도 1의 이미지 센서(120))를 이용하여 이미지 생성할 수 있다. 예를 들어, 전자 장치(100)는, 렌즈(예: 도 1의 렌즈(110))를 통해 수신된 빛을 이용하여 이미지를 생성할 수 있다. 렌즈는, 예를 들어, 광각 렌즈 또는 어안 렌즈를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는, 620 동작에서, 이미지 센서에 의해 생성된 이미지를 이용하여 객체를 움직임을 감지할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 이미지 센서(120)에 의해 현재 생성된 이미지를 참조 이미지와 비교하여 위치 또는 모양이 변경된 객체를 확인할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 과거에 촬영된 이미지 중 적어도 하나를 참조 이미지로 설정할 수 있다. 예를 들어, 전자 장치(100)는 현재 촬영된 이미지의 촬영 직전에 촬영된 이미지를 참조 이미지로 설정할 수 있다. 다른 예를 들어, 전자 장치(100)는 지정된 시간 동안 촬영된 복수의 이미지에 변화가 없으면 복수의 이미지 중 하나를 참조 이미지로 설정할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는, 630 동작에서, 움직임이 감지된 객체의 크기값을 확인할 수 있다. 예를 들어, 전자 장치(100)는 이미지 내에서 움직임이 감지된 객체가 차지하는 픽셀의 개수를 확인할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 하나의 이미지 내에서 복수의 객체의 움직임이 감지되면 복수의 객체 각각의 크기값을 확인할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는, 640 동작에서, 이미지 내에서의 객체의 위치에 기초하여 객체의 크기값을 보정할 수 있다. 예를 들어, 전자 장치(100)는 이미지 내에서의 객체의 위치에 기초하여 객체의 크기값을 보정할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 이미지를 복수의 영역으로 분할할 수 있다. 일 실시 예에 따르면, 분할된 복수의 영역 각각은 대응되는 보정계수를 가질 수 있다. 예를 들어, 분할된 복수의 영역 각각은 이미지의 중심으로부터 멀어질수록 큰 보정계수를 가지고, 이미지의 중심과 가까워질수록 작은 보정계수를 가질 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 분할된 복수의 영역 중 움직임이 감지된 객체가 포함된 영역을 확인할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 객체가 포함된 영역에 대응하는 보정계수를 이용하여 객체의 크기값을 보정할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 객체가 복수의 영역에 포함되면 복수의 영역 중 하나를 선택하고, 선택된 영역에 대응하는 보정계수를 이용하여 객체 전체의 크기값을 보정할 수 있다. 예를 들어, 전자 장치(100)는 객체가 포함된 복수의 영역 중 객체의 무게 중심이 포함된 영역을 확인하고, 무게 중심에 포함된 영역에 대응하는 보정계수를 이용하여 객체 전체의 크기값을 보정할 수 있다. 다른 예를 들어, 전자 장치(100)는 객체가 포함된 복수의 영역 각각에 포함된 객체의 크기값을 확인하고, 복수의 영역 각각에 포함된 객체의 크기값이 가장 큰 영역에 대응하는 보정계수를 이용하여 객체 전체의 크기값을 보정할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 객체가 복수의 영역에 포함되면 객체가 포함된 복수의 영역 각각에 포함된 객체의 크기값을 확인하고, 복수의 영역 각각에 대응하는 보정계수를 이용하여 복수의 영역 각각에 포함된 객체의 크기값을 보정할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는, 650 동작에서, 보정된 크기값에 기초하여 객체의 움직임에 대응하는 동작을 수행할 수 있다. 예를 들어, 전자 장치(100)는 객체의 보정된 크기값이 기준값 이상이면 객체의 움직임에 대응하는 동작을 수행하고, 객체의 보정된 크기값이 기준값 미만이면 객체의 움직임을 무시할 수 있다.
도 7은 본 발명의 다양한 실시 예에 따른 전자 장치의 객체 센싱 방법을 나타내는 흐름도이다.
도 7에 도시된 흐름도는 상술한 전자 장치(100)에서 처리되는 동작들로 구성될 수 있다. 따라서, 이하에서 생략된 내용이라 하더라도 도 1 내지 도 5를 참조하여 전자 장치(100)에 관하여 기술된 내용은 도 7에 도시된 흐름도에도 적용될 수 있다.
일 실시 예에 따르면, 전자 장치(100)는, 710 동작에서, 이미지 센서(예: 도 1의 이미지 센서(120))를 이용하여 이미지 생성할 수 있다. 예를 들어, 전자 장치(100)는, 렌즈(예: 도 1의 렌즈(110))를 통해 수신된 빛을 이용하여 이미지를 생성할 수 있다. 렌즈는, 예를 들어, 광각 렌즈 또는 어안 렌즈를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는, 720 동작에서, 이미지 센서에 의해 생성된 이미지를 이용하여 객체를 움직임을 감지할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 이미지 센서(120)에 의해 현재 생성된 이미지를 참조 이미지와 비교하여 위치 또는 모양이 변경된 객체를 확인할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 과거에 촬영된 이미지 중 적어도 하나를 참조 이미지로 설정할 수 있다. 예를 들어, 전자 장치(100)는 현재 촬영된 이미지의 촬영 직전에 촬영된 이미지를 참조 이미지로 설정할 수 있다. 다른 예를 들어, 전자 장치(100)는 지정된 시간 동안 촬영된 복수의 이미지에 변화가 없으면 복수의 이미지 중 하나를 참조 이미지로 설정할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는, 730 동작에서, 움직임이 감지된 객체의 크기값을 확인할 수 있다. 예를 들어, 전자 장치(100)는 이미지 내에서 움직임이 감지된 객체가 차지하는 픽셀의 개수를 확인할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 하나의 이미지 내에서 복수의 객체의 움직임이 감지되면 복수의 객체 각각의 크기값을 확인할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는, 740 동작에서, 이미지 내에서의 객체의 위치에 대응하는 기준값을 확인할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 이미지를 복수의 영역으로 분할할 수 있다. 일 실시 예에 따르면, 분할된 복수의 영역 각각은 대응되는 기준값을 가질 수 있다. 예를 들어, 분할된 복수의 영역 각각은 이미지의 중심으로부터 멀어질수록 작은 기준값을 가지고, 이미지의 중심과 가까워질수록 큰 기준값을 가질 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 분할된 복수의 영역 중 움직임이 감지된 객체가 포함된 영역에 대응하는 기준값을 확인할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 객체가 복수의 영역에 포함되면 복수의 영역 중 하나를 선택하고, 선택된 영역에 대응하는 기준값을 확인할 수 있다. 예를 들어, 프로세서(130)는 객체가 포함된 복수의 영역 중 객체의 무게 중심이 포함된 영역에 대응하는 기준값을 확인할 수 있다. 다른 예를 들어, 전자 장치(100)는 객체가 포함된 복수의 영역 중 포함된 객체의 크기값이 가장 큰 영역에 대응하는 기준값을 확인할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는, 750 동작에서, 객체의 크기값과 객체의 위치에 대응하는 기준값에 기초하여 객체의 움직임에 대응하는 동작을 수행할 수 있다. 예를 들어, 전자 장치(100)는 객체의 크기값이 기준값 이상이면 객체의 움직임에 대응하는 동작을 수행하고, 객체의 크기값이 기준값 미만이면 객체의 움직임을 무시할 수 있다.
다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다.
본 문서에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 발명의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.

Claims (20)

  1. 전자 장치에 있어서,
    이미지 센서; 및
    상기 이미지 센서에 의해 생성된 이미지를 이용하여 객체의 움직임을 감지하고,
    상기 객체의 크기값을 확인하고,
    상기 이미지 내에서의 상기 객체의 위치에 대응하는 보정계수에 기초하여 상기 객체의 크기값을 보정하고,
    상기 보정된 크기값에 기초하여 상기 객체의 움직임에 대응하는 동작을 수행하도록 설정된 프로세서;를 포함하며,
    상기 프로세서는,
    상기 이미지를 복수의 영역으로 분할하고,
    상기 분할된 복수의 영역 중 지정된 조건을 만족하는 영역에 대응하는 보정계수를 이용하여 상기 객체의 크기값을 보정하도록 구성되며,
    상기 지정된 조건을 만족하는 영역은,
    상기 객체가 포함된 복수의 영역 중 상기 객체의 무게 중심이 포함된 영역, 상기 객체가 포함된 복수의 영역 중 포함된 객체의 크기가 가장 큰 영역 또는 상기 분할된 영역 중 상기 객체가 포함된 영역 중 적어도 하나를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 보정된 크기값이 기준값 이상이면 상기 객체의 움직임에 대응하는 동작을 수행하고,
    상기 보정된 크기값이 상기 기준값 미만이면 상기 객체의 움직임을 무시하도록 설정된 프로세서;를 포함하는 전자 장치.
  3. 제1항에 있어서,
    상기 이미지 센서는 광각 렌즈 또는 어안 렌즈를 통해 수신된 빛을 이용하여 상기 이미지를 생성하도록 설정된 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 이미지에 대한 보정 없이 상기 객체의 크기값만을 보정하도록 설정된 전자 장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 분할된 복수의 영역 각각은,
    상기 이미지의 중심으로부터 멀어질수록 큰 보정계수를 가지고, 상기 이미지의 중심과 가까워질수록 작은 보정계수를 가지는 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 객체가 포함된 복수의 영역 중 상기 객체의 무게 중심이 포함된 영역을 확인하고,
    상기 객체의 무게 중심이 포함된 영역에 대응하는 보정계수를 이용하여 상기 객체 전체의 크기값을 보정하도록 설정된 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 객체가 포함된 복수의 영역 각각에 포함된 객체의 크기값을 확인하고,
    상기 객체가 포함된 복수의 영역 중 포함된 객체의 크기값이 가장 큰 영역에 대응하는 보정계수를 이용하여 상기 객체 전체의 크기값을 보정하도록 설정된 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 객체가 포함된 복수의 영역 각각에 포함된 객체의 크기값을 확인하고,
    상기 객체가 포함된 복수의 영역 각각에 대응하는 보정계수를 이용하여 상기 복수의 영역 각각에 포함된 객체의 크기값을 보정하도록 설정된 전자 장치.
  10. 전자 장치의 객체 센싱 방법에 있어서,
    이미지 센서를 이용하여 이미지를 생성하는 동작;
    상기 이미지 센서에 의해 생성된 이미지를 이용하여 객체의 움직임을 감지하는 동작;
    상기 객체의 크기값을 확인하는 동작;
    상기 이미지 내에서의 상기 객체의 위치에 대응하는 보정계수에 기초하여 상기 객체의 크기값을 보정하는 동작; 및
    상기 보정된 크기값에 기초하여 상기 객체의 움직임에 대응하는 동작을 수행하는 동작;을 포함하며,
    상기 객체의 크기값을 보정하는 동작은,
    상기 이미지를 복수의 영역으로 분할하고,
    상기 분할된 복수의 영역 중 지정된 조건을 만족하는 영역에 대응하는 보정계수를 이용하여 상기 객체의 크기값을 보정하는 동작을 포함하며, 상기 지정된 조건을 만족하는 영역은,
    상기 객체가 포함된 복수의 영역 중 상기 객체의 무게 중심이 포함된 영역, 상기 객체가 포함된 복수의 영역 중 포함된 객체의 크기가 가장 큰 영역 또는 상기 분할된 영역 중 상기 객체가 포함된 영역 중 적어도 하나를 포함하는 방법.
  11. 제10항에 있어서,
    상기 객체의 움직임에 대응하는 동작을 수행하는 동작은,
    상기 보정된 크기값이 기준값 이상이면 상기 객체의 움직임에 대응하는 동작을 수행하는 동작; 및
    상기 보정된 크기값이 상기 기준값 미만이면 상기 객체의 움직임을 무시하는 동작;을 포함하는 방법.
  12. 제10항에 있어서,
    상기 이미지를 생성하는 동작은,
    광각 렌즈 또는 어안 렌즈를 통해 수신된 빛을 이용하여 상기 이미지를 생성하는 동작;을 포함하는 방법.
  13. 제10항에 있어서,
    상기 객체의 크기값을 보정하는 동작은,
    상기 이미지에 대한 보정 없이 상기 객체의 크기값만을 보정하는 동작;을 포함하는 방법.
  14. 삭제
  15. 제10항에 있어서,
    상기 분할된 복수의 영역 각각은,
    상기 이미지의 중심으로부터 멀어질수록 큰 보정계수를 가지고, 상기 이미지의 중심과 가까워질수록 작은 보정계수를 가지는 방법.
  16. 제10항에 있어서,
    상기 객체의 크기값을 보정하는 동작은,
    상기 객체가 포함된 복수의 영역 중 상기 객체의 무게 중심이 포함된 영역을 확인하는 동작; 및
    상기 객체의 무게 중심이 포함된 영역에 대응하는 보정계수를 이용하여 상기 객체 전체의 크기값을 보정하는 동작;을 더 포함하는 방법.
  17. 제10항에 있어서,
    상기 객체의 크기값을 보정하는 동작은,
    상기 객체가 포함된 복수의 영역 각각에 포함된 객체의 크기값을 확인하는 동작; 및
    상기 객체가 포함된 복수의 영역 중 포함된 객체의 크기값이 가장 큰 영역에 대응하는 보정계수를 이용하여 상기 객체 전체의 크기값을 보정하는 동작;을 더 포함하는 방법.
  18. 제10항에 있어서,
    상기 객체의 크기값을 보정하는 동작은,
    상기 객체가 포함된 복수의 영역 각각에 포함된 객체의 크기값을 확인하는 동작; 및
    상기 객체가 포함된 복수의 영역 각각에 대응하는 보정계수를 이용하여 상기 복수의 영역 각각에 포함된 객체의 크기값을 보정하는 동작;을 더 포함하는 방법.
  19. 이미지 센서를 이용하여 이미지를 생성하는 동작;
    상기 이미지 센서에 의해 생성된 이미지를 이용하여 객체의 움직임을 감지하는 동작;
    상기 객체의 크기값을 확인하는 동작;
    상기 이미지 내에서의 상기 객체의 위치에 대응하는 보정계수에 기초하여 상기 객체의 크기값을 보정하는 동작; 및
    상기 보정된 크기값에 기초하여 상기 객체의 움직임에 대응하는 동작을 수행하는 동작;을 포함하는 방법을 수행하는 프로그램이 기록되며,
    상기 객체의 크기값을 보정하는 동작은,
    상기 이미지를 복수의 영역으로 분할하고,
    상기 분할된 복수의 영역 중 지정된 조건을 만족하는 영역에 대응하는 보정계수를 이용하여 상기 객체의 크기값을 보정하는 동작을 포함하며,
    상기 지정된 조건을 만족하는 영역은,
    상기 객체가 포함된 복수의 영역 중 상기 객체의 무게 중심이 포함된 영역, 상기 객체가 포함된 복수의 영역 중 포함된 객체의 크기가 가장 큰 영역 또는 상기 분할된 영역 중 상기 객체가 포함된 영역 중 적어도 하나를 포함하는 컴퓨터 판독 가능 기록매체.
  20. 삭제
KR1020170127429A 2017-09-29 2017-09-29 전자 장치 및 전자 장치의 객체 센싱 방법 KR102468729B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170127429A KR102468729B1 (ko) 2017-09-29 2017-09-29 전자 장치 및 전자 장치의 객체 센싱 방법
PCT/KR2018/010946 WO2019066349A1 (ko) 2017-09-29 2018-09-18 전자 장치 및 전자 장치의 객체 센싱 방법
US16/641,842 US11501448B2 (en) 2017-09-29 2018-09-18 Electronic device and object sensing method of electronic device
EP18863348.1A EP3654283B1 (en) 2017-09-29 2018-09-18 Electronic device and object sensing method of electronic device
CN201880062944.8A CN111149130B (zh) 2017-09-29 2018-09-18 电子设备及电子设备的对象感测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170127429A KR102468729B1 (ko) 2017-09-29 2017-09-29 전자 장치 및 전자 장치의 객체 센싱 방법

Publications (2)

Publication Number Publication Date
KR20190037764A KR20190037764A (ko) 2019-04-08
KR102468729B1 true KR102468729B1 (ko) 2022-11-21

Family

ID=65901674

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170127429A KR102468729B1 (ko) 2017-09-29 2017-09-29 전자 장치 및 전자 장치의 객체 센싱 방법

Country Status (5)

Country Link
US (1) US11501448B2 (ko)
EP (1) EP3654283B1 (ko)
KR (1) KR102468729B1 (ko)
CN (1) CN111149130B (ko)
WO (1) WO2019066349A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102468729B1 (ko) * 2017-09-29 2022-11-21 삼성전자주식회사 전자 장치 및 전자 장치의 객체 센싱 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008536239A (ja) 2005-04-14 2008-09-04 マイクロソフト コーポレーション ３６０度パノラマイメージ（ｐａｎｏｒａｍｉｃｉｍａｇｅｓ）の頭部のサイズを均等化（ｅｑｕａｌｉｚａｔｉｏｎ）するシステムおよび方法のためのユーザインターフェース
KR101002066B1 (ko) 2010-02-01 2010-12-21 주식회사 영국전자 추적감시용 카메라 장치 및 이를 채용하는 원격 감시 시스템
US20170097414A1 (en) 2015-10-06 2017-04-06 Hyundai Motor Company Apparatus and method for detecting object on road

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3086688B2 (ja) * 1989-02-16 2000-09-11 株式会社東芝 移動物体抽出装置
US8139896B1 (en) * 2005-03-28 2012-03-20 Grandeye, Ltd. Tracking moving objects accurately on a wide-angle video
KR100829142B1 (ko) * 2007-01-12 2008-05-13 엠텍비젼 주식회사 피사체 움직임 감지 장치 및 방법
JP5210091B2 (ja) * 2008-08-29 2013-06-12 キヤノン株式会社 画像処理装置及びその制御方法、撮像装置、プログラム
JP5275956B2 (ja) * 2009-10-15 2013-08-28 株式会社ジャパンディスプレイウェスト 情報入力装置、情報入力プログラムおよび電子機器
JP2011095933A (ja) * 2009-10-28 2011-05-12 Sony Corp シェーディング補正方法、シェーディング補正値測定装置、撮像装置及びビームプロファイル測定装置
KR101183781B1 (ko) * 2009-12-22 2012-09-17 삼성전자주식회사 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말
KR101233948B1 (ko) * 2010-09-01 2013-02-15 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 디지털 팬·틸트 영상을 얻는 방법 및 그 영상 시스템
JP5645636B2 (ja) * 2010-12-16 2014-12-24 三菱電機株式会社 フレーム補間装置及び方法
US8982180B2 (en) 2011-03-31 2015-03-17 Fotonation Limited Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries
WO2013001941A1 (ja) * 2011-06-27 2013-01-03 日本電気株式会社 物体検知装置、物体検知方法および物体検知プログラム
US8977046B2 (en) * 2012-02-13 2015-03-10 Seiko Epson Corporation Image processing device, image processing method, and storage medium storing image processing program with color to pattern correlation
JP6351238B2 (ja) * 2013-11-15 2018-07-04 キヤノン株式会社 画像処理装置、撮像装置および距離補正方法
KR101493946B1 (ko) 2014-04-16 2015-02-17 하이네트(주) 광각 렌즈 이미지 보정 방법 및 그 장치
CN103996172B (zh) * 2014-05-08 2016-08-31 东北大学 一种基于多步校正的鱼眼图像校正方法
KR20160040330A (ko) 2014-07-30 2016-04-14 동의대학교 산학협력단 어안 렌즈로부터 획득한 왜곡 영상을 동심원 형태의 표준 패턴을 이용하여 보정하는 방법
US20160116740A1 (en) * 2014-10-24 2016-04-28 Seiko Epson Corporation Display device, control method for display device, display system, and computer program
KR102290301B1 (ko) * 2015-05-06 2021-08-17 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR101694651B1 (ko) * 2016-02-15 2017-01-09 이화여자대학교 산학협력단 3차원 위치 추정을 이용한 광각 렌즈 영상의 왜곡 보정 장치 및 그 방법
WO2018078798A1 (ja) * 2016-10-28 2018-05-03 三菱電機株式会社 表示制御装置及び表示制御方法
US10360494B2 (en) * 2016-11-30 2019-07-23 Altumview Systems Inc. Convolutional neural network (CNN) system based on resolution-limited small-scale CNN modules
US11004000B1 (en) * 2017-01-30 2021-05-11 Waymo Llc Predicting trajectory intersection by another road user
KR102468729B1 (ko) * 2017-09-29 2022-11-21 삼성전자주식회사 전자 장치 및 전자 장치의 객체 센싱 방법
KR102538309B1 (ko) * 2018-06-20 2023-05-31 한국전자통신연구원 양방향 디스플레이 장치 및 방법
US11073972B2 (en) * 2018-11-02 2021-07-27 Motorola Solutions, Inc. Visual summarization methods for time-stamped images
US11113822B2 (en) * 2019-08-14 2021-09-07 International Business Machines Corporation Moving object identification from a video stream

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008536239A (ja) 2005-04-14 2008-09-04 マイクロソフト コーポレーション ３６０度パノラマイメージ（ｐａｎｏｒａｍｉｃｉｍａｇｅｓ）の頭部のサイズを均等化（ｅｑｕａｌｉｚａｔｉｏｎ）するシステムおよび方法のためのユーザインターフェース
KR101002066B1 (ko) 2010-02-01 2010-12-21 주식회사 영국전자 추적감시용 카메라 장치 및 이를 채용하는 원격 감시 시스템
US20170097414A1 (en) 2015-10-06 2017-04-06 Hyundai Motor Company Apparatus and method for detecting object on road

Also Published As

Publication number Publication date
CN111149130B (zh) 2024-05-07
EP3654283B1 (en) 2022-05-11
US20210158535A1 (en) 2021-05-27
CN111149130A (zh) 2020-05-12
EP3654283A4 (en) 2020-07-01
EP3654283A1 (en) 2020-05-20
KR20190037764A (ko) 2019-04-08
WO2019066349A1 (ko) 2019-04-04
US11501448B2 (en) 2022-11-15

Similar Documents

Publication Publication Date Title
KR102664705B1 (ko) 복수의 카메라들을 이용하여 이미지의 배율을 변경하기 위한 전자 장치 및 방법
US9524662B2 (en) Apparatus and methods for displaying on flexible display
EP3435199B1 (en) Method, mobile terminal and non-transitory computer-readable storage medium for adjusting scanning frequency of touch screen
US8928778B2 (en) Camera device, image processing system, image processing method and image processing program
KR102468729B1 (ko) 전자 장치 및 전자 장치의 객체 센싱 방법
CN110049230B (zh) 校正图像的图像处理装置和方法
US11165960B2 (en) Electronic device and method for processing image thereof
CN108388336B (zh) 功耗控制方法、装置及计算机可读存储介质
CN104699434A (zh) 桌上型电子装置以及使用者界面显示方法
EP3477449B1 (en) Electronic device and operating method therefor
CN112351271A (zh) 一种摄像头的遮挡检测方法、装置、存储介质和电子设备
US20180059811A1 (en) Display control device, display control method, and recording medium
JP5561795B2 (ja) 物体検出装置、物体検出方法、およびプログラム
US20130241848A1 (en) Input control device, computer-readable recording medium, and input control method
US9229579B2 (en) Optical touch system
KR20200050582A (ko) 디스플레이의 동작 모드에 기반하여 터치 데이터의 보상을 결정하는 방법 및 장치
US10993188B2 (en) Electronic device and control method thereof
US20210303127A1 (en) Method and device for processing user input on basis of time during which user input is maintained
CN112970054A (zh) 根据图像的内容的变化控制图像的显示位置或区域的电子设备
US20120013751A1 (en) Image capturing device and control method of operation mode thereof, and electronic device using image capturing device
US9304628B2 (en) Touch sensing module, touch sensing method, and computer program product
US11107193B2 (en) Method and apparatus for processing image
US11314328B2 (en) Apparatus and method for adaptively magnifying graphic user interfaces on display
US20240147048A1 (en) Updating zoom properties of corresponding salient objects
WO2015136697A1 (ja) 電子機器及び画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant