KR102223313B1

KR102223313B1 - 전자장치 및 전자장치를 동작하는 방법

Info

Publication number: KR102223313B1
Application number: KR1020130166600A
Authority: KR
Inventors: 조규성; 신대규
Original assignee: 삼성전자주식회사
Priority date: 2013-02-21
Filing date: 2013-12-30
Publication date: 2021-03-08
Also published as: KR20140104899A

Abstract

본 발명의 다양한 실시예에 따른 전자장치가, 복수의 디지털 이미지들을 저장하도록 구성된 메모리, 및 프로세서를 포함하며, 상기 프로세서는 상기 복수의 디지털 이미지들 상에서 인식된 객체의 움직임을 추적(tracking)하도록 구성되고,상기 프로세서는, 상기 전자 장치의 배터리 전하 잔량이 임계 값(Bt)이상 이고, 상기 전자 장치에 의해 측정된 조도가 임계 값(lt)이상 이면, 상기 이미지들 간의 움직임량을 검출하고, 상기 움직임량에 적어도 일부 기초하여, 복수의 객체 추적 방법들 중 하나를 선택하도록 구성되며,상기 선택된 객체 추적 방법으로 상기 이미지들 상에서 상기 객체의 움직임 추적이 실패하는 경우, 상기 복수의 객체 추적 방법들 중 나머지 객체 추적 방법이 선택되어 상기 이미지들 상에서 상기 객체의 움직임을 추적하도록 구성된 것을 특징으로 할 수 있다.

Description

전자장치 및 전자장치를 동작하는 방법{ELECTRONIC DEVICE AND METHOD FOR OPERATING AN ELECTRONIC DEVICE}

전자장치 및 전자장치를 동작하는 방법방법에 관한 것으로, 예컨데 전자장치에서 이미지데이터상의 객체를 안정적으로 추적할 수 있는 전자장치 및 전자장치를 동작하는 방법에 관한 것이다.

증강현실(Augmented Reality)이란 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이다. 현실세계에　실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로　혼합현실(Mixed Reality, MR)이라고도 한다.　현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없다. 하지만 실제환경과 가상의 객체가 혼합된 증강현실기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를　제공할 수 있다.

한편 최근의 증강현실은 휴대가 가능한 전자장치에서 개발되는 경우가 많다. 상기 휴대가 가능한 전자장치의 경우, 사람들이 쉽게 이동시킬 수 있기 때문에 관심 객체가 빠르게 이동하는 상황이 자주 발생한다. 이 경우 이미지데이터서 블러링도 동반되기 때문에, 관심 객체의 추적이 어려워져서, 합성된 3D 정보가 사라지는 현상이 발생할 수 있다.

따라서 본 발명의 다양한 실시예들에 따라 전자장치에서 이미지데이터상의 객체를 안정적으로 추적할 수 있는 전자장치 및 전자장치를 동작하는 방법을 제공할 수 있다.

본 발명의 다양한 실시예들에 따른 전자장치가, 복수의 디지털 이미지들을 저장하도록 구성된 메모리, 및 프로세서를 포함하며, 상기 프로세서는 상기 복수의 디지털 이미지들 상에서 인식된 객체의 움직임을 추적(tracking)하도록 구성되고,상기 프로세서는, 상기 전자 장치의 배터리 전하 잔량이 임계 값(Bt)이상 이고, 상기 전자 장치에 의해 측정된 조도가 임계 값(lt)이상 이면, 상기 이미지들 간의 움직임량을 검출하고, 상기 움직임량에 적어도 일부 기초하여, 복수의 객체 추적 방법들 중 하나를 선택하도록 구성되며,상기 선택된 객체 추적 방법으로 상기 이미지들 상에서 상기 객체의 움직임 추적이 실패하는 경우, 상기 복수의 객체 추적 방법들 중 나머지 객체 추적 방법이 선택되어 상기 이미지들 상에서 상기 객체의 움직임을 추적하도록 구성된 것을 특징으로 할 수 있다.

삭제

본 발명의 다양한 실시예들에 따른 전자장치를 동작하는 방법은, 복수의 디지털 이미지들 상에서 인식된 객체의 움직임을 추적(tracking)하는 동작을 포함하며, 상기 움직임을 추적하는 동작은, 상기 전자 장치의 배터리 전하잔량이 임계 값(Bt)이상 이고, 상기 전자 장치에 의해 측정된 조도가 임계 값(lt)이상 이면, 상기 이미지들 간의 움직임량을 검출하는 동작, 상기 움직임량에 적어도 일부 기초하여, 복수의 객체 추적 방법들 중 하나를 선택하는 동작, 및 상기 선택된 객체 추적 방법으로 상기 이미지들 상에서 상기 객체의 움직임 추적이 실패하는 경우, 상기 복수의 객체 추적 방법들 중 나머지 객체 추적 방법이 선택되어 상기 이미지들 상에서 상기 객체의 움직임을 추적하는 동작을 포함하는 것을 특징으로 할 수 있다.

삭제

본 발명의 다양한 실시예들에 따른 전자장치 및 전자장치를 동작하는 방법은, 전자장치가 빠르게 움직이는 상황에서도 이미지데이터 상의 관심 객체를 놓치지 않고 추적함과 동시에, 느리게 움직이는 상황에서는 떨림 없이 객체를 안정적으로 추적할 수 있다.

도 1은 본 발명의 다양한 실시예들에 따른 전자장치의 구성도,
도 2는 본 발명의 다양한 실시예들에 따른 증강현실(AR: Augmented Reality)시스템의 구성도,
도 3은 본 발명의 다양한 실시예들에 따른 증강현실(AR: Augmented Reality)처리부의 구성도,
도 4는 본 발명의 실시예에 따른 전자장치에서 이미지데이터 상의 객체를 추적하는 추적부의 구성도,
도 5는 본 발명의 실시예들에 따른 전자장치에서 이미지데이터 상의 객체를 추적하는 동작을 도시한 흐름도,
도 6은 본 발명의 다른 실시예들에 따른 전자장치에서 이미지데이터 상의 객체를 추적하는 추적부의 구성도,
도 7 내지 도 9는 본 발명의 다른 실시예들에 따른 전자장치에서 이미지데이터 상의 객체를 추적하는 동작을 도시한 흐름도.

이하 본 발명의 다양한 실시예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.

본 발명의 다양한 실시예들에 따른 전자 장치는, 통신 기능이 포함된 장치일 수 있다. 예를 들면, 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 카메라(camera), 웨어러블 장치(wearable device), 전자 시계(electronic clock), 손목 시계(wrist watch), 가전 제품(home appliance)(예: 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기 등), 인공 지능 로봇, TV, DVD(digital video disk) 플레이어, 오디오, 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 전자 사전, 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(electronic equipment for ship, 예를 들면, 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 전자 의복, 전자 키, 캠코더(camcorder), 게임 콘솔(game consoles), HMD(head-mounted display), 평판표시장치(flat panel display device), 전자 액자, 전자 앨범, 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 웨어러블 장치(Wearable device)또는 프로젝터(projector) 등의 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 본 발명의 다양한 실시예들에 따른 전자장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.

도 1은 본 발명의 다양한 실시예들에 따른 전자장치(100)의 구성도이다.

상기 도 1을 참조하면, 전원공급부(110)는 전원공급관리부(111)의 제어에 따라 전자장치(100)의 하우징에 배치되는 하나 또는 복수의 배터리(도시되지 아니함)에 전원을 공급할 수 있다. 하나 또는 복수의 배터리(도시되지 아니함)는 전자장치(100)에 전원을 공급할 수 있다. 또한, 전원공급부(110)는 전자장치(100)의 커넥터와 연결된 유선 케이블을 통해 외부의 전원소스(도시되지 아니함)에서부터 입력되는 전원을 전자장치(100)로 공급할 수 있다. 또한, 전원공급부(110)는 무선 충전 기술을 통해 외부의 전원소스로부터 무선으로 입력되는 전원을 전장장치(100)로 공급할 수도 있다.

상기 전원공급관리부(111)는 프로세서(115)의 제어에 따라 상기 전원공급부(110)의 전원을 전자장치(100)로 공급하거나 또는 외부의 전원소스로부터 입력되는 전원을 상기 전원공급부(110)에게 공급하도록 제어할 수 있다.

통신부(112)는 프로세서(115)의 제어에 따라 적어도 하나 또는 복수의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 전자장치(100)가 외부 장치와 연결되도록 할 수 있다.

통신부(112)는 무선랜 부와 근거리통신부 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 부만 포함하거나, 근거리통신 부만 포함하거나 또는 무선랜 부와 근거리통신 부를 모두 포함할 수 있다. 무선랜 부는 프로세서(115)의 제어에 따라 무선 액세스 포인트(AP, access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 부는 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원할 수 있다. 근거리통신 부는 프로세서(115)의 제어에 따라 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등이 포함될 수 있다.

통신부(112)는 GPS부를 포함할 수 있으며, GPS부는 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 전파를 수신하고, GPS위성(도시되지 아니함)에서부터 전자장치(100)까지 전파도달시간(Time of Arrival)을 이용하여 전자장치(100)의 위치를 산출할 수 있다.

RF부(113)는 전자장치(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신할 수 있다.

프로세서(115)는 CPU, GPU, 전자장치(100)의 제어를 위한 제어프로그램이 저장된 롬(ROM) 및 전자장치(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 전자장치(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(RAM)을 포함할 수 있다. CPU는 싱글 코어, 듀얼 코어, 트리플 코어, 또는 쿼드 코어를 포함할 수 있다. CPU, 롬 및 램은 내부버스(bus)를 통해 상호 연결될 수 있다.

프로세서(115)는 전원 공급부(110), 전원공급관리부(111), 통신부(112), RF부(113), 제1 메모리(116), 제2 메모리(117), 오디오 처리부(118), 입력부(119), 표시부(120), 카메라부(121) 및 센서부(122)를 제어할 수 있다.

프로세서(115)는 입력데이터를 처리하여 증강현실 데이터로 제공할 수 있는 증강현실(AR: Augmented Reality)부(200)를 포함할 수 있으며, 상기 증강현실(AR: Augmented Reality)부(200)는 상기 프로세서(115)에 포함되지 않고 별도로 구성될 수 있다. 상기 증강현실(AR: Augmented Reality)부에 대한 구성은 하기 도 2 - 도 5에서 상세히 설명할 수 있다.

상기 프로세서(115)는 본 발명의 다양한 실시예들에 따라, 제1 메모리(116)에 저장된 이미지데이터를 증강현실모드에서 보일 수 있는 3D 이미지데이터로 처리할 수 있다.

상기 프로세서(115)는 본 발명의 실시예에 따라 상기 이미지데이터들 간의 움직임 량을 검출하고, 상기 움직임량에 적어도 일부 기초하여, 복수의 객체 추적방법들 중 하나를 선택할 수 있다.

상기 복구의 객체 추적방법들은 제 1 객체 추적 방법 및 제 2 객체 추적 방법을 포함하고, 상기 제 1 객체 추적 방법은 제 2 객체 추적 방법 보다 많은 연산량을 요구할 수 있다.

본 발명의 다양한 실시예들에서 상기 제1 객체 추적 방법은 디스크립터 (descriptor) 매치 (match) 방법을 포함하고, 상기 제2 객체 추적 방법은 패치 (patch) 매치(match) 방법을 포함할 수 있다.

상기 프로세서(115)는 본 발명의 실시예들에 따라 상기 움직임량이 0 이거나 0에 가까운 경우, 상기 객체의 추적을 생략하도록 구성될 수 있다.

상기 프로세서(115)는 본 발명의 다른 실시예에 따라, 상기 이미지데이터들이 하나 또는 그 이상의 제 1 조건들을 만족하는지 및/또는 상기 전자장치의 상태가 하나 또는 그 이상의 제 2 조건들을 만족하는지를 결정하고, 상기 결정하는 동작의 결과에 적어도 일부 기초하여, 복수의 객체 추적 방법들 중 하나를 선택할 수 있다.

상기 프로세서(115)는 본 발명의 다른 실시예에 따라, 상기 이미지데이터들의 움직임량 및/또는 조도가, 선택된 임계치 또는 임계치들을 초과하거나 그 이상인지를 결정하는 구성을, 상기 제1 조건으로 포함할 수 있다.

상기 프로세서(115)는 본 발명의 다른 실시예에 따라, 상기 전자장치에 포함된 배터리의 전하 잔량 및/또는 상기 전자장치에 의하여 측정된 조도가, 선택된 임계치 또는 임계치들을 초과하거나 그 이상인지를 결정하는 구성을, 상기 제2 조건으로 포함할 수 있다.

제1 메모리(116)는 프로세서(115)의 제어에 따라 통신부(112), RF부(113), 입력부(119), 카메라부(121), 센서부(122) 및 터치스크린 부로 사용되는 표시부(120)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 제1 메모리(116)는 전자장치(100) 또는 프로세서(115)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다. 상기 제1 메모리(116)는 디지털 이미지데이터를 저장할 수 있다.

제2 메모리(117)는 전자장치(100)에 인출 또는 인입될 수 있는 외부메모리로써, 프로세서(115)의 제어에 따라 통신부(112), RF부(113), 입력부(119), 카메라부(121), 센서부(122) 및 터치스크린 부로 사용되는 표시부(120)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다.

오디오처리부(118)는 송신되는 신호를 부호화 및 변조하는 송신기 및 상기 수신되는 신호를 복조 및 복호화 하는 수신기 등을 구비할 수 있고, 모뎀(MODEM) 및 코덱(CODEC)으로 구성될 수 있다. 여기서 상기 코덱은 패킷데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 구비할 수 있다. 오디오처리부(118)는 상기 오디오 코덱에서 출력되는 수신 오디오신호를 스피커 또는 전자장치에 연결된 이어폰으로 출력하거나 또는 마이크 또는 수신기로부터 발생되는 송신 오디오신호를 오디오 코덱을 통해 프로세서(115)에게 전송할 수 있다.

입력부(119)는 터치스크린 부로 사용되는 표시부에 입력되는 사용자에 의한 터치입력과 터치 펜을 이용한 터치입력을 포함할 수 있다.

입력부(119)는 전자장치(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 입력부(119)는 전자장치(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 터치스크린 부로 사용될 수 있는 표시부(120)에 표시되는 가상의 키패드(도시되지 아니함)를 포함할 수 있다. 전자장치(100)에 형성되는 물리적인 키패드(도시되지 아니함)는 전자장치(100)의 성능 또는 구조에 따라 제외될 수 있다.

표시부(120)는 LCD를 사용할 수 있으며, 이런 경우 상기 표시부(120)은 LCD제어부(LCD controller), 영상데이터를 저장할 수 있는 메모리 및 LCD표시소자 등을 구비할 수 있다. 여기서 상기 LCD를 터치스크린(touch screen) 방식으로 구현하는 경우, 입력부로 동작할 수도 있으며, 이때 상기 표시부(120)에는 가상의 키패드를 표시할 수 있다. 또한 상기 표시부(120)가 터치스크린 방식으로 구현됨에 따라, 터치스크린부로 사용될 경우, 상기 터치스크린 부는 복수의 센서패널을 포함하는 터치스크린패널(TSP: Touch Screen Panel)로 이루어지며, 상기 복수의 센서패널은 손 터치를 인식할 수 있는 정전 식 센서패널 및 터치펜과 같이 세밀한 터치를 감지할 수 있는 전자유도 센서패널을 포함할 수 있다.

카메라부(121)는 이미지 발생장치로써, 프로세서의 제어에 따라 정지이미지 또는 동영상을 촬영하는 제1 카메라 및 제2 카메라 중 적어도 하나를 포함할 수 있다. 또한, 제1 카메라 또는 제2 카메라는 촬영에 필요한 광량을 제공하는 보조 광원(예, 플래시(도시되지 아니함))을 포함할 수 있다. 제1 카메라는 전자장치(100) 전면에 배치되고, 제2 카메라는 전자장치의 후면에 배치될 수 있다. 달리 취한 방식으로, 제1 카메라와 제2 카메라는 인접(예, 제1 카메라와 제2 카메라의 간격이 1 cm 보다 크고, 8 cm 보다는 작은)하게 배치되어 3차원 정지이미지 또는 3차원 동영상을 촬영할 수 있다.

센서부(122)는 전자장치(100)의 상태를 검출하는 적어도 하나의 센서를 포함할 수 있다. 예를 들어, 센서부(122)는 전장장치(100)에 대한 접근여부를 검출하는 근접센서, 전자장치(100) 주변의 빛의 양을 검출하는 조도센서(도시되지 아니함), 또는 전자장치(100)의 동작(예, 전자장치(100)의 회전, 전자장치(100)에 가해지는 가속도 또는 진동)을 검출하는 모션센서(도시되지 아니함), 지구 자기장을 이용해 방위(point of the compass)를 검출하는 지자기 센서(Geo-magnetic Sensor, 도시되지 아니함), 중력의 작용 방향을 검출하는 중력 센서(Gravity Sensor), 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter)를 포함할 수 있다. 적어도 하나의 센서는 상태를 검출하고, 검출에 대응되는 신호를 생성하여 프로세서(115)로 전송할 수 있다. 센서부(122)의 센서는 전자장치(100)의 성능에 따라 추가되거나 삭제될 수 있다.

도 2는 본 발명의 다양한 실시예들에 따른 증강현실(AR: Augmented Reality)시스템의 구성도이다.

상기 도 2를 참조하면, 상기 시스템은 AR처리부(210)와 AR컨텐츠 관리부(220)를 포함하는 AR부(200)를 포함할 수 있다.

상기 AR처리부(210)는 상기 시스템에 메인 부로서, 전자장치(100)에 포함된 카메라부, 미디어부, 오디오부 또는 센서부 중 적어도 하나로부터 입력데이터를 수신할 수 있다. 상기 AR처리부(210)는 상기 입력데이터에 대한 AR처리를 위해 전자장치(100)의 다른 구성부 예를 들어, 메모리, CPU 또는 GPU를 사용할 수 있다. 상기 AR처리부(210)는 상기 입력데이터에서 타켓을 인식하기 위해, 레퍼런스 데이터가 저장된 캐시(230), 로컬 레퍼런스DB(250) 또는 리모트 레퍼런스DB(270)를 이용하여, 상기 입력데이터를 처리하고 상기 입력데이터에 대한 처리결과 데이터를 상기 AR 컨텐츠 관리부(220)에게 출력할 수 있다.

상기 AR처리부(210)는 카메라부(121)로부터 수신되는 이미지데이터, 미디어부로부터 수신되는 동영상의 이미지데이터/오디오데이터 및 오디오부로부터 수신되는 오디오데이터를 증강현실을 위한 데이터로 처리할 수 있다. 상기 AR처리부(210)는 센서부(122)로부터 수신되는 센서데이터의 종류에 따라, 전자장치(100)의 움직임을 감지하여 전자장치(100)를 증강현실모드로 전환하거나 또는 증강현실모드에서 이미지데이터/ 오디오데이터를 출력하는 동한 진동이 발생될 수 있다.

상기 입력데이터의 처리결과 데이터는 상기 입력데이터의 타켓에 대한 인식정보와 로컬정보를 포함할 수 있다. 상기 로컬정보는 상기 타켓이 이미지데이터인 경우 2차원 또는/및 3차원 자세(pose)를 결정하기 위해 사용될 수 있으며, 상기 인식정보는 상기 타켓의 종류를 결정하기 위해 사용될 수 있다.

상기 AR 컨텐츠 관리부(220)는 상기 AR처리부(210)로부터 수신된 상기 입력데이터에 대한 처리결과 데이터를 기반으로, 로컬 컨텐츠DB(260) 또는 리모트 컨텐츠DB(280)에서 상기 입력데이터의 처리결과 데이터에 대응되는 컨텐츠를 검출하고, 상기 검출된 컨텐츠를 기반으로 상기 비디오/오디오 출력데이터를 구성하여 출력할 수 있다.

본 발명의 다양한 실시예들에서는 증강현실(AR: Augmented Reality)처리부가 카메라부를 통해 수신되는 입력 이미지데이터를 증강현실 이미지데이터로 제공하는 것을 일예로 설명할 수 있다.

본 발명의 다양한 실시예들에 따른 전자장치에서 프로세서에 포함 AR부가 AR처리를 수행하는 것으로 예를 들어 설명하고 있으나, 프로세서에서 AR부가 동일한 기능을 수행할 수 있다.

도 3은 본 발명의 다양한 실시예들에 따른 증강현실(AR: Augmented Reality)처리부의 구성도이다.

상기 AR처리부(210)는 인식부(Recognition)(311), 초기자세 계산부(312) 및 추적부(313)를 포함할 수 있다. 입력 이미지데이터는 상기 인식부(Recognition)(311) 또는 상기 추적부(Tracking)(313)로 출력될 수 있으며, 상기 인식부(Recognition)(311)와 상기 추적부(Tracking)(313)는 병렬로 수행될 수 있다.

상기 인식부(311)는 레퍼런스 이미지데이터에 적어도 부분적으로 기초하여, 상기 입력 이미지데이터 상의 객체의 종류를 확인할 수 있다. 상기 인식부(311)는 상기 객체의 인식을 위해 상기 전자장치(100)의 내부 저장장치 또는 외부 저장장치에 저장된 레퍼런스 이미지데이터를 이용할 수 있다. 예를 들어, 얼굴인식은 인증된 얼굴들의 인식과 서로 상이한 안면들의 인식을 위해, 외부 레퍼런스 얼굴 데이터베이스를 필요로 할 수 있다. 한편, QR 코드는 일반적으로, 데이터베이스에서 QR 코드를 인식하기 위해 일부 특정한 규칙들만을 필요로 하고 통상의 경우들에서는 동적으로 업데이트되지 않아도 되기 때문에, 전자장치의 내부 레퍼런스 데이터를 가질 수 있다.

상기 초기자세 계산부(312)는 상기 입력 이미지데이터에서 특징점 검출을 통해 확인된 객체에 대한 초기 자세(pose)를 계산할 수 있다.

상기 추적부(313)는 상기 카메라부를 통해 순서적으로 수신되는 적어도 하나의 입력 이미지데이터 각각에서 객체에 대한 자세변화를 동적으로 추적할 수 있다.

상기 추적부(313)는 상기 초기자세 계산부(312)로부터 상기 입력 이미지데이터의 객체에 대한 초기자세를 추정할 수 있는 초기정보를 획득하고, 이후 순서적으로 수신되는 상기 입력 이미지데이터 각각에서 상기 객체를 지속적으로 추적(tracking)하여, 상기 객체에 대한 자세(pose) 변화를 동적으로 계산할 수 있다.

상기 추적부(313)는 순서적으로 수신되는 상기 입력 이미지데이터 각각에서 상기 객체의 종류를 나타내는 인식정보 및 상기 객체의 자세를 나타내는 로컬정보를 출력할 수 있다.

상기 추적부(313)는 본 발명의 실시예에 따라 상기 이미지데이터들 간의 움직임 량을 검출하고, 상기 움직임량에 적어도 일부 기초하여, 복수의 객체 추적방법들 중 하나를 선택할 수 있다.

상기 디스크립터 (descriptor) 매치 (match) 방법은, 특징점 주변의 영역을 다양한 변화, 예를 들면 블러링(blurring), 시점 변화, 조도 변화에 무관한 특징들을 추출하여 매칭에 사용하는 방법으로써, 빠른 움직임이나 조도 변화에 강인한 매칭방법이다. 상기 디스크립터 (descriptor) 매치 (match) 방법의 대표적인 알고리즘으로 SIFT, SURF 및 BRIEF 등을 포함할 수 있다. 상기 디스크립터 (descriptor) 매치 (match) 방법은, 다양한 변화에 강인하도록 레퍼런스 이미지데이터를 가공한 영향으로, 현재 이미지데이터와 레피런스 이미지데이터 간에 정확한 위치 또는 그 언저리에서도 매칭이 될 수 있다.

상기 패치 (patch) 매치(match) 방법은, 특징점 주변의 국소 영역(local area)을 가공없이 매칭에 그대로 사용하는 정밀도가 높은 매칭방법이다. 상기 패치 (patch) 매치(match) 방법은, 레퍼런스 이미지데이터의 국소 영역을 그대로 사용하기 때문에 상당한 정밀도를 가지고, 현재 이미지데이터와 레퍼런스 이미지데이터 간에 매칭이 수행될 수 있다. 상기 패치 (patch) 매치(match) 방법을 통해 현재 이미지데이터의 특징점들과 레퍼런스 이미지데이터의 특징점들이 정밀하게 매칭하면, 추후 계산되는 레피런스 이미지데이터의 3D 위치도 정밀하고 떨림도 적게 될 수 있다. 상기 패치 (patch) 매치(match) 방법은, 예측된 자세를 이용하여 국소 영역을 어파인 와핑(affine warping)이나 투시형 와핑(projective warping)을 통해 매칭 성능을 높일 수 있다.

상기 패치 (patch) 매치(match) 방법은, 매칭 과정에는 레퍼런스 이미지데이터와 현재 입력된 이미지데이터를 매칭할 수도 있고, 또는 바로 이전에 입력된 이미지데이터와 현재 입력된 이미지데이터를 매칭할 수도 있다.

상기 추적부(313)는 본 발명의 실시예에 따라 상기 움직임량이 제 1 임계치(threshold) 를 초과하거나, 그 이상인 경우, 상기 제 1 객체 추적 방법을 선택하고, 그렇지 않으면 (otherwise), 상기 제 2 객체 추적 방법을 선택할 수 있다.

상기 추적부(313)는 본 발명의 실시예에 따라 상기 움직임량이 0 이거나 0에 가까운 경우, 상기 객체의 추적을 생략하도록 구성될 수 있다.

상기 움직임량에 적어도 일부 기초하여, 상기 복수의 객체 추적방법들 중 하나를 선택하여 이미지데이터 상의 객체를 추적하는 상기 추적부의 구성을 도 4을 통해 설명하면 하기와 같다.

상기 도 4는 본 발명의 실시예에 따른 전자장치에서 이미지데이터 상의 객체를 추적하는 추적부의 구성도이다.

상기 도 4을 참조하면, 상기 추적부(331)는 자세 예측부(미도시), 움직임량 추정부(401), 추적방법 선택부(402), 디스크립터 매칭부(403), 패치 매칭부(403), 및 자세 추정부(405)를 포함할 수 있다.

상기 자세 예측부는 이전에 입력된 적어도 하나의 입력 이미지데이터 각각에서 추정된 객체의 자세를 통해, 다음 입력 이미지데이터 상의 객체에 대한 자세를 예측할 수 있다.

상기 움직임량 추정부(401)는 현재 입력된 이미지데이터와 이전에 입력된 이미지데이터 간의 객체에 대한 움직임 량을 측정하고, 상기 측정된 움직임 량을 상기 추적방법 선택부(402)에 전송할 수 있다. 상기 객체에 대한 움직임량은 다양한 방법으로 측정이 가능하다. 예를 들어, 이전 이미지데이터와 현재 입력된 이미지데이터에 대해 푸리에 변환을 이용한 phase correlation 계산으로도 가능할 수 있다. 또는 예를 들어, 전자장치의 모션 센서(accelerometer, gyro, compass) 측정 값의 변화량으로도 계산할 수 있고, optical flow 계산으로 가능하다. 또는 예를 들어 이미지데이터를 이용한 계산으로 측정값을 얻을 시에는, 전체 이미지데이터에 대해서도 계산할 수 있고, 전제 이미지데이터 중 객체 부분만을 한정지어 계산할 수도 있다. 또는 예를 들어, 한 이미지데이터에서 여러 개의 관심 객체들이 포함되어 있는 경우 각각의 객체가 부분 이미지데이터로 나눠서 따로 계산할 수도 있다.

상기 추적방법 선택부(402)는 상기 움직임량 추정부(401)에서 수신된 움직임량에 따라 제1 객체 추적방법으로 디스크립터 매치 방법, 또는 제2 객체 추적방법으로 패치 매치 방법을 선택할 수 있다.

상기 추적방법 선택부(402)는 상기 움직임 량이 “0”이거나 “0”에 가까울 경우, 상기 객체에 대한 추적동작을 생략할 수 있다. 상기 추적방법 선택부(402)는 상기 움직임 량이 상기 움직임 량의 비교를 위해 미리 선택된 임계치(Mt)를 초과하거나 또는 그 이상인 경우, 상기 디스크립터 매치 방법을 선택할 수 있다. 또는 상기 추적방법 선택부(402)는 상기 움직임 량이 미리 선택된 임계치(Mt)를 초과하지 않는 경우, 상기 패치 매치 방법을 선택할 수 있다. 상기 추적방법 선택부(402)는 상기 패치 매치 방법을 이용하여 상기 입력된 이미지데이터 상의 객체에 대한 추적을 실패하는 경우, 상기 디스크립터 매치 방법을 선택하여 상기 입력된 이미지데이터 상의 객체에 대한 추적동작을 수행할 수 있다.

상기 디스크립터 매칭부(403)는 상기 디스크립터 매치 방법을 통해, 상기 입력된 이미지데이터 상에서 객체를 추적할 수 있다.

상기 패치 매칭부(404)는 상기 패치 매치 방법을 이용하여 상기 입력된 이미지데이터 상에서 객체를 추적할 수 있다.

상기 자세추정부(405)는 상기 디스크립터 매칭부(403) 또는 상기 패치 매칭부(403)를 통해 매칭된 결과를 기반으로, 현재 입력된 이미지데이터 상의 객체에 대한 위치(position)과 자세(pose)를 계산할 수 있다.

상기 도 4와 같은 추적부를 구비하는 전자장치에서 이미지데이터 상의 객체를 추적하는 동작을 도 5을 통해 상세히 설명할 수 있다.

상기 도 5는 본 발명의 실시예들에 따른 전자장치에서 이미지데이터 상의 객체를 추적하는 동작을 도시한 흐름도이다.

상기 도 5을 참조하면, 501동작에서 이미지데이터가 입력되는 경우, 503동작에서 움직임 추정부(401)는 현재 입력된 이미지데이터와 이전에 입력된 이미지데이터 간의 객체에 대한 움직임 량을 측정하여 상기 추적방법 선택부(402)에게 전송할 수 있다.

505동작에서 상기 추적방법 선택부(402)는 상기 측정된 움직임 량이 "0" 또는 "0"에 가깝지 않다고 판단되면, 507동작에서 상기 측정된 움직임 량과 상기

임계치(Mt)를 비교할 수 있다. 상기 507동작에서 상기 추적방법 선택부(402)는 상기 측정된 움직임 량이 상기 임계치(Mt)를 초과하거나 그 이상으로 판단되는 경우, 상기 디스크립터 매칭부(403)에게 상기 입력된 이미지데이터 상의 객체에 대한 추적동작을 요청할 수 있다.

509동작에서 상기 디스크립터 매칭부(403)는 상기 디스크립터 매치 방법을 이용하여 상기 입력된 이미지데이터 상의 객체를 추적하고, 상기 객체추적 결과를 상기 자세 추정부(405)에게 전송할 수 있다.

511동작에서, 상기 자세 추정부(405)는 상기 디스크립터 매칭부(403)로부터 수신되는 상기 객체추적 결과를 기반으로, 상기 입력 이미지데이터 상의 객체에 대한 자세를 계산할 수 있다.

상기 507동작에서 상기 추적방법 선택부(402)는 상기 측정된 움직임 량이 상기 임계치(Mt)를 초과하지 않는다고 판단되는 경우, 상기 패치 매칭부(404)에게 상기 입력된 이미지데이터 상의 객체에 대한 추적동작을 요청할 수 있다.

513동작에서 상기 패치 매칭부(404)는 상기 패치 매치 방법을 이용하여 상기 입력된 이미지데이터 상의 객체를 추적할 수 있다. 515동작에서 상기 패치 매칭부(404)는 상기 패치 매치 방법을 이용한 상기 이미지 데이터 상의 객체추적에 대한 실패가 판단되는 경우, 상기 객체추적에 대한 실패를 상기 추적방법 선택부(402)에게 알린다. 그러면 상기 추적방법 선택부(402)는 상기 디스크립터 매칭부(403)에게 상기 입력된 이미지데이터 상의 객체에 대한 추적동작을 요청할 수 있다.

상기 515동작에서 상기 패치 매칭부(404)는 상기 패치 매치 방법을 이용한 상기 이미지 데이터 상의 객체추적에 대한 성공이 판단되는 경우, 상기 객체추적 결과를 상기 자세 추정부(405)에게 전송할 수 있다.

상기 511동작에서, 상기 자세 추정부(405)는 상기 패치 매칭부(404)로부터 수신되는 상기 객체인식 결과를 기반으로, 상기 입력 이미지데이터 상의 객체에 대한 자세를 계산할 수 있다.

상기 505동작에서 상기 추적방법 선택부(402)는 상기 측정된 움직임 량이 "0" 또는 "0"에 가깝다고 판단되면, 상기 이미지데이터 상의 객체에 대한 추적동작을 생략하고, 상기 측정된 움직임 량을 상기 자세 추정부(405)에게 전송할 수 있다. 상기 511동작에서 상기 자세 추정부(405)는 상기 추적방법 선택부(402)로부터 수신된 상기 측정된 움직임 량을 통해, 이전에 입력된 이미지데이터 상의 객체에 대한 자세를 상기 입력된 이미지데이터상의 객체에 대한 자세로 계산할 수 있다.

상기 추적부(313)는 본 발명의 다른 실시예에 따라 상기 이미지데이터들이 하나 또는 그 이상의 제 1 조건들을 만족하는지 및/또는 상기 전자장치의 상태가 하나 또는 그 이상의 제 2 조건들을 만족하는지를 결정하고, 상기 결정하는 동작의 결과에 적어도 일부 기초하여, 복수의 객체 추적 방법들 중 하나를 선택할 수 있다.

상기 추적부(313)는 상기 이미지데이터들의 움직임량 및/또는 조도가, 선택된 임계치 또는 임계치들을 초과하거나 그 이상인지를 결정하는 구성을, 상기 제1 조건으로 포함할 수 있다.

상기 추적부(213)는 상기 전자장치에 포함된 배터리의 전하 잔량 및/또는 상기 전자장치에 의하여 측정된 조도가, 선택된 임계치 또는 임계치들을 초과하거나 그 이상인지를 결정하는 구성을, 상기 제2 조건으로 포함할 수 있다.

상기 이미지데이터들에 대한 제1 조건과 상기 전자장치의 상태에 대한 제2 조건에 기초하여, 상기 복수의 객체 추적방법들 중 하나를 선택하여 이미지데이터 상의 객체를 추적하는 상기 추적부의 구성을 도 6을 통해 설명하면 하기와 같다.

상기 도 6은 본 발명의 다른 실시예에 따른 전자장치에서 이미지데이터 상의 객체를 추적하는 추적부의 구성도이다.

상기 도 6을 참조하면, 상기 추적부(331)는 자세 예측부(미도시), 조도 추정부(601), 움직임량 추정부(602), 배터리 추정부(603), 추적방법 선택부(604), 디스크립터 매칭부(605), 패치 매칭부(606), 및 자세 추정부(607)를 포함할 수 있다.

상기 자세예측부, 상기 움직임량 추정부(602), 상기 디스크립터 매칭부(605), 상기 패치 매칭부(606), 및 상기 자세 추정부(607)는, 상기 도 4의 상기 자세예측부, 상기 움직임량 추정부(401), 상기 디스크립터 매칭부(403), 상기 패치 매칭부(404) 및 상기 자세 추정부(405)와 동일한 기능을 수행함으로 설명을 생락한다.

상기 조도 추정부(601)는 현재 이미지데이터가 촬영되고 있는 환경의 밝기인 조도를 측정할 수 있다. 상기 조도 추정부(601)는 전자장치(100)의 조도센서의 측정값으로도 상기 조도를 계산할 수 있고, 또는 이미지데이터를 구성하는 픽셀에서 밝기 값(intensity)을 추출하고 상기 추출된 밝기 값의 평균값으로도 상기 조도를 계산할 수 있다.

상기 배터리 추정부(603)는 현재 전자장치(100)의 배터리의 전하 잔량을 측정할 수 있다.

상기 추적방법 선택부(604)는 상기 배터리 추정부(603)를 통해 측정된 배터리 전하 잔량이 배터리 전하잔량의 비교를 위해 미리 선택된 임계치(Bt)를 초과하거나 그 이상이고, 상기 움직임량 추정부(602)를 통해 측정된 현재 입력된 이미지데이터 상의 객체에 대한 움직임 량이 상기 움직임 량의 비교를 위해 미리 선택된 임계치(Mt)를 초과거나 그 이상인 경우, 상기 디스크립터 매치 방법을 선택할 수 있다.

상기 추적방법 선택부(604)는 상기 조도 추정부(601)를 통해 측정된 조도가

조도의 비교를 위해 미리 선택된 임계치(lt)을 초과하거나 그 이상이고, 상기 움직임량 추정부(602)를 통해 측정된 현재 입력된 이미지데이터 상의 객체에 대한 움직임 량이 상기 움직임 량의 비교를 위해 미리 선택된 임계치(Mt)를 초과거나 그 이상인 경우, 상기 디스크립터 매치 방법을 선택할 수 있다.

상기 추적방법 선택부(604)는 상기 배터리 추정부(603)를 통해 측정된 배터리 전하 잔량이 배터리 전하잔량의 비교를 위해 미리 선택된 임계치(Bt)를 초과하거나 그 이상이고, 상기 조도 추정부(601)를 통해 측정된 조도가 조도의 비교를 위해 미리 선택된 임계치(lt)을 초과하거나 그 이상이고, 상기 움직임량 추정부(602)를 통해 측정된 현재 입력된 이미지데이터 상의 객체에 대한 움직임 량이 상기 움직임 량의 비교를 위해 미리 선택된 임계치(Mt)를 초과거나 그 이상인 경우, 상기 디스크립터 매치 방법을 선택할 수 있다.

상기 추적방법 선택부(604)는 상기 배터리 추정부(603)를 통해 측정된 조도가 상기 제1 임계치를 초과하지 않거나, 또는 상기 움직임량 추정부(602)를 통해 측정된 상기 움직임 량이 상기 제2 임계치를 초과하니 않는 경우, 상기 패치 매치 방법을 선택할 수 있다.

상기 추적방법 선택부(604)는 상기 배터리 추정부(603)를 통해 측정된 배터리 전하 잔량이 상기 임계치(Bt)를 초과하지 않거나, 또는 상기 조도 추정부(601)를 통해 측정된 조도가 상기 임계치(lt)를 초과하지 않거나, 또는 상기 움직임량 추정부(602)를 통해 측정된 상기 움직임 량이 상기 임계치(Mt)를 초과하지 않는 경우, 상기 패치 매치 방법을 선택할 수 있다.

상기 추적방법 선택부(604)는 상기 움직임 량이 “0”이거나 “0”에 가까울 경우, 상기 객체에 대한 추적동작을 생략할 수 있다.

상기 추적방법 선택부(402)는 상기 패치 매치 방법을 이용하여 상기 입력된 이미지데이터 상의 객체에 대한 추적을 실패하는 경우, 상기 디스크립터 매치 방법을 선택하여 상기 입력된 이미지데이터 상의 객체에 대한 추적동작을 수행할 수 있다.

상기 도 6과 같은 추적부를 구비하는 전자장치에서 이미지데이터 상의 객체를 추적하는 동작을 도 7 내지 도 9을 상세히 설명할 수 있다.

도 7은 본 발명의 다른 실시예들에 따른 전자장치에서 배터리 잔량 및 움직임 량을 이용하여 이미지데이터 상의 객체를 추적하는 동작을 도시한 흐름도이다.

상기 도 7을 참조하면, 701동작에서 이미지데이터가 입력되는 경우, 703동작에서 배터리 추정부(603)는 상기 전자장치(100)의 배터리 전하잔량을 측정하여, 상기 추적방법 선택부(604)에게 전송할 수 있다.

705동작에서 상기 추적방법 선택부(604)는 상기 측정된 배터리의 전하잔량과 임계치(Bt)를 비교할 수 있다.

상기 705동작에서 상기 추적방법 선택부(604)는 상기 측정된 배터리의 전하잔량이 임계치(Bt)를 초과하거나 그 이상인 경우, 상기 움직임량 추정부(602)로부터의 움직임량 수신을 대기할 수 있다.

707동작에서 상기 움직임량 추정부(602)는 현재 입력된 이미지데이터와 이전에 입력된 이미지데이터 간의 객체에 대한 움직임 량을 측정하여 상기 추적방법 선택부(604)에게 전송할 수 있다.

709동작에서 상기 추적방법 선택부(604)는 상기 측정된 움직임 량이 "0" 또는 "0"에 가깝지 않다고 판단되면, 711동작에서 상기 측정된 움직임 량과

임계치(Mt)를 비교할 수 있다. 상기 711동작에서 상기 추적방법 선택부(604)는 상기 측정된 움직임 량이 상기 임계치(Mt)를 초과하거나 그 이상으로 판단되는 경우, 상기 디스크립터 매칭부(605)에게 상기 입력된 이미지데이터 상의 객체에 대한 추적동작을 요청할 수 있다.

713동작에서 상기 디스크립터 매칭부(605)는 상기 디스크립터 매치 방법을 이용하여 상기 입력된 이미지데이터 상의 객체를 추적하고, 상기 객체추적 결과를 상기 자세 추정부(607)에게 전송할 수 있다.

715동작에서, 상기 자세 추정부(607)는 상기 디스크립터 매칭부(605)로부터 수신되는 상기 객체추적 결과를 기반으로, 상기 입력 이미지데이터 상의 객체에 대한 자세를 계산할 수 있다.

상기 705동작에서, 상기 추적방법 선택부(604)는 상기 측정된 배터리 잔량이 상기 임계치(Bt)를 초과하지 않는다고 판단되는 경우, 상기 패치 매칭부(606)에게 상기 입력된 이미지데이터 상의 객체에 대한 추적동작을 요청할 수 있다.

또는 상기 711동작에서 상기 추적방법 선택부(604)는 상기 측정된 움직임 량이 상기 임계치(Mt)를 초과하지 않는다고 판단되는 경우, 상기 패치 매칭부(606)에게 상기 입력된 이미지데이터 상의 객체에 대한 추적동작을 요청할 수 있다.

717동작에서 상기 패치 매칭부(606)는 상기 패치 매치 방법을 이용하여 상기 입력된 이미지데이터 상의 객체를 추적할 수 있다.

719동작에서 상기 패치 매칭부(606)가 상기 패치 매치 방법을 이용한 상기 이미지 데이터 상의 객체추적에 대한 실패를 판단하는 경우, 상기 객체추적에 대한 실패를 상기 추적방법 선택부(604)에게 알린다. 그러면 상기 추적방법 선택부(604)는 상기 디스크립터 매칭부(605)에게 상기 입력된 이미지데이터 상의 객체에 대한 추적동작을 요청할 수 있다.

상기 719동작에서 상기 패치 매칭부(606)는 상기 패치 매치 방법을 이용한 상기 이미지 데이터 상의 객체추적에 대한 성공이 판단되는 경우, 상기 객체추적 결과를 상기 자세 추정부(607)에게 전송할 수 있다.

상기 715동작에서, 상기 자세 추정부(607)는 상기 패치 매칭부(606)로부터 수신되는 상기 객체인식 결과를 기반으로, 상기 입력 이미지데이터 상의 객체에 대한 자세를 계산할 수 있다.

상기 709동작에서 상기 추적방법 선택부(604)는 상기 측정된 움직임 량이 "0" 또는 "0"에 가깝다고 판단되면, 상기 이미지데이터 상의 객체에 대한 추적동작을 생략하고, 상기 측정된 움직임 량을 상기 자세 추정부(607)에게 전송할 수 있다. 상기 715동작에서 상기 자세 추정부(607)는 상기 추적방법 선택부(604)로부터 수신된 상기 측정된 움직임 량을 통해, 이전에 입력된 이미지데이터 상의 객체에 대한 자세를 상기 입력된 이미지데이터상의 객체에 대한 자세로 계산할 수 있다.

도 8은 본 발명의 다른 실시예들에 따른 전자장치에서 조도 및 움직임 량을 이용하여 이미지데이터 상의 객체를 추적하는 동작을 도시한 흐름도이다.

상기 도 8을 참조하면, 801동작에서 이미지데이터가 입력되는 경우, 803동작에서 조도 추정부(601)는 상기 전자장치(100)를 통해 현재 촬영되고 있는 현재 환경의 밝기인 조도를 측정하여, 상기 추적방법 선택부(604)에게 전송할 수 있다.

805동작에서 상기 추적방법 선택부(604)는 상기 측정된 조도와 임계치(lt)를 비교할 수 있다.

상기 805동작에서 상기 추적방법 선택부(604)는 상기 측정된 조도가 임계치(lt)를 초과하지 않는 경우, 상기 움직임량 추정부(602)로부터의 움직임량 수신을 대기할 수 있다.

807동작에서 상기 움직임량 추정부(602)는 현재 입력된 이미지데이터와 이전에 입력된 이미지데이터 간의 객체에 대한 움직임 량을 측정하여 상기 추적방법 선택부(604)에게 전송할 수 있다.

809동작에서 상기 추적방법 선택부(604)는 상기 측정된 움직임 량이 "0" 또는 "0"에 가깝지 않다고 판단되면, 811동작에서 상기 측정된 움직임 량과

임계치(Mt)를 비교할 수 있다. 상기 811동작에서 상기 추적방법 선택부(604)는 상기 측정된 움직임 량이 상기 임계치(Mt)를 초과하거나 그 이상으로 판단되는 경우, 상기 디스크립터 매칭부(605)에게 상기 입력된 이미지데이터 상의 객체에 대한 추적동작을 요청할 수 있다.

813동작에서 상기 디스크립터 매칭부(605)는 상기 디스크립터 매치 방법을 이용하여 상기 입력된 이미지데이터 상의 객체를 추적하고, 상기 객체추적 결과를 상기 자세 추정부(607)에게 전송할 수 있다.

815동작에서, 상기 자세 추정부(607)는 상기 디스크립터 매칭부(605)로부터 수신되는 상기 객체추적 결과를 기반으로, 상기 입력 이미지데이터 상의 객체에 대한 자세를 계산할 수 있다.

상기 805동작에서, 상기 추적방법 선택부(604)는 상기 측정된 조도가 임계치(lt)를 초과하거나 그 이상이라고 판단되는 경우, 상기 패치 매칭부(606)에게 상기 입력된 이미지데이터 상의 객체에 대한 추적동작을 요청할 수 있다.

또는 상기 811동작에서 상기 추적방법 선택부(604)는 상기 측정된 움직임 량이 상기 임계치(Mt)를 초과하지 않는다고 판단되는 경우, 상기 패치 매칭부(606)에게 상기 입력된 이미지데이터 상의 객체에 대한 추적동작을 요청할 수 있다.

817동작에서 상기 패치 매칭부(606)는 상기 패치 매치 방법을 이용하여 상기 입력된 이미지데이터 상의 객체를 추적할 수 있다.

819동작에서 상기 패치 매칭부(606)는 상기 패치 매치 방법을 이용한 상기 이미지 데이터 상의 객체추적에 대한 실패가 판단되는 경우, 상기 객체추적에 대한 실패를 상기 추적방법 선택부(604)에게 알린다. 그러면 상기 추적방법 선택부(402)는 상기 디스크립터 매칭부(605)에게 상기 입력된 이미지데이터 상의 객체에 대한 추적동작을 요청할 수 있다.

상기 819동작에서 상기 패치 매칭부(606)는 상기 패치 매치 방법을 이용한 상기 이미지 데이터 상의 객체추적에 대한 성공이 판단되는 경우, 상기 객체추적 결과를 상기 자세 추정부(607)에게 전송할 수 있다.

상기 815동작에서, 상기 자세 추정부(607)는 상기 패치 매칭부(606)로부터 수신되는 상기 객체인식 결과를 기반으로, 상기 입력 이미지데이터 상의 객체에 대한 자세를 계산할 수 있다.

상기 809동작에서 상기 추적방법 선택부(604)는 상기 측정된 움직임 량이 "0" 또는 "0"에 가깝다고 판단되면, 상기 이미지데이터 상의 객체에 대한 추적동작을 생략하고, 상기 측정된 움직임 량을 상기 자세 추정부(607)에게 전송할 수 있다. 상기 815동작에서 상기 자세 추정부(607)는 상기 추적방법 선택부(604)로부터 수신된 상기 측정된 움직임 량을 통해, 이전에 입력된 이미지데이터 상의 객체에 대한 자세를 상기 입력된 이미지데이터상의 객체에 대한 자세로 계산할 수 있다.

도 9는 본 발명의 다른 실시예들에 따른 전자장치에서 배터리잔량, 조도 및

움직임 량을 이용하여 이미지데이터 상의 객체를 추적하는 동작을 도시한 흐름도이다.

상기 도 9을 참조하면, 901동작에서 이미지데이터가 입력되는 경우, 903동작에서 배터리 추정부(603)는 상기 전자장치(100)의 배터리 전하잔량을 측정하여, 상기 추적방법 선택부(604)에게 전송할 수 있다.

905동작에서 상기 추적방법 선택부(604)는 상기 측정된 배터리의 전하잔량과 임계치(Bt)를 비교할 수 있다.

상기 905동작에서 상기 추적방법 선택부(604)는 상기 측정된 배터리의 전하잔량이 임계치(Bt)를 초과하거나 그 이상인 경우, 상기 조도 추정부(601)로부터의 측정된 조도의 수신을 대기할 수 있다.

907동작에서 조도 추정부(601)는 상기 전자장치(100)를 통해 현재 촬영되고 있는 현재 환경의 밝기인 조도를 측정하여, 상기 추적방법 선택부(604)에게 전송할 수 있다.

909동작에서 상기 추적방법 선택부(604)는 상기 측정된 조도와 임계치(lt)를 비교할 수 있다.

상기 909동작에서 상기 추적방법 선택부(604)는 상기 측정된 조도가 임계치(lt)을 초과하지 않는다고 판단하는 경우, 상기 움직임량 추정부(602)로부터의 움직임량 수신을 대기할 수 있다.

911동작에서 상기 움직임량 추정부(602)는 현재 입력된 이미지데이터와 이전에 입력된 이미지데이터 간의 객체에 대한 움직임 량을 측정하여 상기 추적방법 선택부(604)에게 전송할 수 있다.

913동작에서 상기 추적방법 선택부(604)는 상기 측정된 움직임 량이 "0" 또는 "0"에 가깝지 않다고 판단되면, 915동작에서 상기 측정된 움직임 량과

임계치(Mt)를 비교할 수 있다. 상기 915동작에서 상기 추적방법 선택부(604)는 상기 측정된 움직임 량이 상기 임계치(Mt)를 초과하거나 그 이상으로 판단되는 경우, 상기 디스크립터 매칭부(6053)에게 상기 입력된 이미지데이터 상의 객체에 대한 추적동작을 요청할 수 있다.

917동작에서 상기 디스크립터 매칭부(605)는 상기 디스크립터 매치 방법을 이용하여 상기 입력된 이미지데이터 상의 객체를 추적하고, 상기 객체추적 결과를 상기 자세 추정부(607)에게 전송할 수 있다.

919동작에서, 상기 자세 추정부(607)는 상기 디스크립터 매칭부(605)로부터 수신되는 상기 객체추적 결과를 기반으로, 상기 입력 이미지데이터 상의 객체에 대한 자세를 계산할 수 있다.

상기 905동작에서 상기 추적방법 선택부(604)는 상기 측정된 배터리 잔량이 상기 임계치(Bt)를 초과하지 않는다고 판단되는 경우, 상기 패치 매칭부(606)에게 상기 입력된 이미지데이터 상의 객체에 대한 추적동작을 요청할 수 있다.

또는 상기 909동작에서 상기 추적방법 선택부(604)는 상기 측정된 조도가 상기 임계치(lt)을 초과하거나 그 이상이라고 판단되는 경우, 상기 패치 매칭부(606)에게 상기 입력된 이미지데이터 상의 객체에 대한 추적동작을 요청할 수 있다.

또는 상기 915동작에서 상기 추적방법 선택부(604)는 상기 측정된 움직임 량이 상기 임계치(Mt)를 초과하지 않는다고 판단되는 경우, 상기 패치 매칭부(606)에게 상기 입력된 이미지데이터 상의 객체에 대한 추적동작을 요청할 수 있다.

921동작에서 상기 패치 매칭부(606)는 상기 패치 매치 방법을 이용하여 상기 입력된 이미지데이터 상의 객체를 추적할 수 있다.

923동작에서 상기 패치 매칭부(606)는 상기 패치 매치 방법을 이용한 상기 이미지 데이터 상의 객체추적에 대한 실패가 판단되는 경우, 상기 객체추적에 대한 실패를 상기 추적방법 선택부(604)에게 알린다. 그러면 상기 추적방법 선택부(604)는 상기 디스크립터 매칭부(605)에게 상기 입력된 이미지데이터 상의 객체에 대한 추적동작을 요청할 수 있다.

상기 923동작에서 상기 패치 매칭부(606)는 상기 패치 매치 방법을 이용한 상기 이미지 데이터 상의 객체추적에 대한 성공이 판단되는 경우, 상기 객체추적 결과를 상기 자세 추정부(607)에게 전송할 수 있다.

상기 919동작에서, 상기 자세 추정부(607)는 상기 패치 매칭부(606)로부터 수신되는 상기 객체인식 결과를 기반으로, 상기 입력 이미지데이터 상의 객체에 대한 자세를 계산할 수 있다.

상기 913동작에서 상기 추적방법 선택부(604)는 상기 측정된 움직임 량이 "0" 또는 "0"에 가깝다고 판단되면, 상기 이미지데이터 상의 객체에 대한 추적동작을 생략하고, 상기 측정된 움직임 량을 상기 자세 추정부(607)에게 전송할 수 있다. 상기 919동작에서 상기 자세 추정부(607)는 상기 추적방법 선택부(604)로부터 수신된 상기 측정된 움직임 량을 통해, 이전에 입력된 이미지데이터 상의 객체에 대한 자세를 상기 입력된 이미지데이터상의 객체에 대한 자세로 계산할 수 있다.

본 발명의 다양한 실시예들에 따른 전자장치 및 전자장치를 동작하는 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함할 수 있다. 기록매체의 예로는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함할 수 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims

전자장치에 있어서,
복수의 디지털 이미지들을 저장하도록 구성된 메모리; 및
프로세서를 포함하며,
상기 프로세서는 상기 복수의 디지털 이미지들 상에서 인식된 객체의 움직임을 추적(tracking)하도록 구성되고,
상기 프로세서는,
상기 전자 장치의 배터리 전하 잔량이 임계 값(Bt)이상 이고, 상기 전자 장치에 의해 측정된 조도가 임계 값(lt)이상 이면, 상기 이미지들 간의 움직임 량을 검출하고,
상기 움직임량에 적어도 일부 기초하여, 복수의 객체 추적 방법들 중 하나를 선택하도록 구성되며,
상기 선택된 객체 추적 방법으로 상기 이미지들 상에서 상기 객체의 움직임 추적이 실패하는 경우, 상기 복수의 객체 추적 방법들 중 나머지 객체 추적 방법이 선택되어 상기 이미지들 상에서 상기 객체의 움직임을 추적하도록 구성된 것을 특징으로 하는 장치.
제 1 항에 있어서,
상기 복수의 객체 추적 방법은, 제 1 객체 추적 방법 및 제 2 객체 추적 방법을 포함하며,
상기 제 1 객체 추적 방법은 제 2 객체 추적 방법보다 많은 연산량을 요구하는 것을 특징으로 하는 장치.
제 2 항에 있어서,
상기 제 1 객체 추적 방법은 디스크립터 (descriptor) 매치 (match) 방법을 포함하고, 상기 제 2 객체 추적 방법은 패치 (patch) 매치(match) 방법을 포함하는 것을 특징으로 하는 장치.
제 2 항에 있어서, 상기 프로세서는,
(i) 상기 움직임량이 제 1 임계치(threshold) 를 초과하거나, 그 이상인 경우, 상기 제 1 객체 추적 방법을 선택하고,
(ii) 그렇지 않으면 (otherwise), 상기 제 2 객체 추적 방법을 선택하도록 구성된 장치.
제 1 항에 있어서, 상기 프로세서는,
상기 움직임량이 0 이거나 0에 가까운 경우, 상기 객체의 추적을 생략하도록구성된 장치.
삭제
삭제
삭제
삭제
삭제
전자장치를 동작하는 방법에 있어서,
복수의 디지털 이미지들 상에서 인식된 객체의 움직임을 추적(tracking)하는 동작을 포함하며,
상기 움직임을 추적하는 동작은,
상기 전자 장치의 배터리 전하 잔량이 임계 값(Bt)이상 이고, 상기 전자 장치에 의해 측정된 조도가 임계 값(lt)이상 이면, 상기 이미지들 간의 움직임량을 검출하는 동작;
상기 움직임 량에 적어도 일부 기초하여, 복수의 객체 추적 방법들 중 하나를 선택하는 동작; 및
상기 선택된 객체 추적 방법으로 상기 이미지들 상에서 상기 객체의 움직임 추적이 실패하는 경우, 상기 복수의 객체 추적 방법들 중 나머지 객체 추적 방법이 선택되어 상기 이미지들 상에서 상기 객체의 움직임을 추적하는 동작을 포함하는 것을 특징으로 하는 방법.
제 11 항에 있어서, 상기 복수의 객체 추적 방법은,
제 1 객체 추적 방법 및 제 2 객체 추적 방법을 포함하며,
상기 제 1 객체 추적 방법은 제 2 객체 추적 방법 보다 많은 연산량을 요구하는 것을 특징으로 하는 방법.
제 12 항에 있어서,
상기 제 1 객체 추적 방법은 디스크립터 (descriptor) 매치 (match) 방법을 포함하고, 상기 제 2 객체 추적 방법은 패치 (patch) 매치 방법을 포함하는 것을 특징으로 하는 방법.
제 11 항에 있어서, 상기 복수의 객체 추적 방법들 중 하나를 선택하는 동작은,
(i) 상기 움직임량이 제 1 임계치(threshold) 를 초과하거나, 그 이상인 경우, 제 1 객체 추적 방법을 선택하고,
(ii) 그렇지 않으면 (otherwise), 제 2 객체 추적 방법을 선택하는 동작을 포함하는 것을 특징으로 하는 방법.
제 11 항에 있어서,
상기 움직임량이 0 이거나 0에 가까운 경우, 상기 객체의 추적을 생략하는 것을 특징으로 하는 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제