KR100853185B1 - 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위방법 그리고 그 장치 - Google Patents

영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위방법 그리고 그 장치 Download PDF

Info

Publication number
KR100853185B1
KR100853185B1 KR1020060110171A KR20060110171A KR100853185B1 KR 100853185 B1 KR100853185 B1 KR 100853185B1 KR 1020060110171 A KR1020060110171 A KR 1020060110171A KR 20060110171 A KR20060110171 A KR 20060110171A KR 100853185 B1 KR100853185 B1 KR 100853185B1
Authority
KR
South Korea
Prior art keywords
information
thing
image
location
sensor network
Prior art date
Application number
KR1020060110171A
Other languages
English (en)
Other versions
KR20080041932A (ko
Inventor
이재영
유원필
안효성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020060110171A priority Critical patent/KR100853185B1/ko
Publication of KR20080041932A publication Critical patent/KR20080041932A/ko
Application granted granted Critical
Publication of KR100853185B1 publication Critical patent/KR100853185B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/50—Service provisioning or reconfiguring

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

본 발명에 의한 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위 방법 및 그 장치는 사물이 제공하는 데이터를 기초로 위치를 인식하고 측정하는 장치가 영상정보와 무선 센서네트워크를 이용하여 사물을 인식하고 측위하는 방법에 있어서, 위치를 측정하고자 하는 사물의 아이디를 획득한 후 그 아이디를 기초로 상기 사물의 정보를 획득하는 단계; 상기 사물에 부착된 전자태그와의 무선통신을 이용하여 상기 사물의 위치를 추정하는 단계; 상기 추정된 사물의 위치 근처의 영상을 획득하는 단계; 및 상기 획득된 영상으로부터 상기 사물의 위치를 재산정하는 단계;를 포함하는 것을 특징으로 하며, 공간 내에 존재하는 다양한 사물들의 ID와 정확한 위치정보를 파악할 수 있으므로 이를 바탕으로 사물 조작, 배달 등 지능적인 로봇 서비스 개발에 응용될 수 있다.
이동로봇 (Mobile robot), 무선 센서네트워크 (Wireless sensor network), 로봇 비전 (Robot vision)사물 인식 (Object recognition), 사물 측위 (Object localization), 센서 융합 (Sensor fusion)

Description

영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위 방법 그리고 그 장치{Object recognition and localization method using both vision information and wireless sensor network and apparatus using the same}
도 1은 본 발명에 의한 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위 장치의 구성을 보여주는 블록도이다.
도 2는 본 발명에 의한 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위 방법 및 그 장치가 적용되는 시스템의 구성을 보여주는 도면이다.
도 3은 본 발명에 의한 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위 방법의 과정을 보여주는 흐름도이다.
도 4는 사물 추정위치의 오차범위 및 로봇 카메라에서의 가시 범위를 보여주는 도면이다.
본 발명은 서비스 환경에 존재하는 사물들을 인식하고 각 사물들의 위치를 파악하기 위한 방법 및 그 장치에 관한 것으로서, 보다 상세하게는 위치를 파악하고자 하는 사물과 무선통신을 통하여 그 사물의 아이디를 획득한 후 상기 사물의 정보를 저장하고 있는 데이터베이스로 정보를 요청하여 수신한 후, 로봇을 포함하는 장치로부터 상기 사물의 영상을 획득하여 획득한 정보와 합쳐 정확한 인식 및 그 위치를 측정하는 방법 및 그 장치에 관한 것이다.
로봇이 인간에게 유용한 서비스를 제공하기 위해서는 서비스 공간에 대한 환경인지가 필요하며 특히 공간 내에 존재하는 사물들을 인식하고 위치정보를 파악하는 것이 중요하다. 예를 들어 로봇이 인간에게 음료수를 배달하기 위해서는 먼저 음료수의 존재 여부를 인식해야 하며 다음으로 음료수까지 접근하기 위해 위치정보를 파악해야 한다.
사물을 인식하고 위치를 파악하기 위한 전통적인 방법은 카메라를 이용한 영상인식 기술이다. 통상적으로 영상인식 기술은 각 사물에 대하여 미리 영상 DB를 구축하여 저장해놓고 새로 들어온 입력 영상과 비교하여 사물을 인식하는 방법을 사용한다. 영상에서 사물 인식 및 검출에 성공하면 두 대의 카메라를 사용한 스테레오 매칭(stereo matching) 등의 방법을 사용하여 사물의 위치정보는 비교적 정확하게 산출할 수 있다. 이러한 영상인식 방법은 공장과 같이 잘 구조화되고 고정된 환경에서는 성공적으로 적용되어 왔다. 그러나 로봇의적용 환경이 산업용 로봇에서 가정, 공공기관, 사무실과 같이 구조화되지 않고 복잡한 일반 환경으로 확대 변화되어 감에 따라 영상인식 기술만을 이용한 환경 및 사물 인식에는 한계를 갖는다. 인식해야 할 사물의 종류 및 개수가 증가함에 따라 비교해야 할 DB 영상의 수도 증가하기 때문에 비교에 따른 연산시간이 증가하고 잘못된 인식 또는 검출을 할 확률 또한 증가하는 문제점을 갖는다. 또한 카메라의 시야는 한정되어 있기 때문에 로봇 이 활동하는 서비스 공간이 넓을 경우에 로봇이 일일이 이동하면서 사물을 찾는 것은 매우 비효율적이다.
사물을 인식하고 위치를 파악하기 위한 다른 방법으로 최근에 활발하게 연구되고 있는 무선통신 및 센서네트워크 기술이 있다. RFID 시스템은 적은 시설투자와 적은 관리 비용으로 위치를 인식할 수 있는 시스템이다. RFID시스템은 태그(Tag), 리더기(reader), 데이터 처리부로 시스템이 구성되어 있다. 태그에는 태그 고유의 ID(identity)가 전파를 통해서 주위로 전달되고, 리더기는 그 신호를 수신하여 데이터 처리 시스템에서 물체를 최종적으로 해석한다. RFID의 단점은 태그에서 나오는 신호의 세기가 시간에 따라 느리게 변하며 전파의 전달 시간을 계산하는 것이 어렵다는 점이다. 따라서 RFID만을 이용하여 위치를 결정하기는 힘들다.
무선 센서네트워크 기반에 의한 위치결정 방법으로는 UWB(ultra wideband, IEEE 802.15.4a)신호를 이용한 방법과, ZigBee(IEEE 802.15.3a), WLAN(IEEE 802.11)을 이용하는 방법들이 있다. UWB 시스템은 극단적으로 짧은 펄스를 이용하여 처음으로 도착한 펄스를 추출한 후, 수신기들간의 도착 시각 차이를 이용하여 물체의 위치를 삼각 측량법에 의해서 추정한다. 이 방법의 장점은 상대적으로 먼 거리에서 위치 인식이 가능하고, 벽이나, 칸막이 등으로 막힌 공간에서도 UWB신호의 강력한 전파 투시력으로 인하여 물체의 위치를 대략적으로 결정할 수 있으며, 다른 전파에 비하여 상대적으로 multi-pathing이나, 산란, 회절 등에 영향을 덜 받는다는 점이다.
그에 반하여 UWB의 단점으로는 신호를 수신할 수신기가 벽의 고정된 위치에 부착되어야 한다는 점과 이로 인하여 설치에 많은 장비가 필요하며, 세분화된 지역의 위치 결정이 어렵다는 단점을 가진다. ZigBee의 경우 주로 도달한 신호의 강도를 이용하며, ZigBee 송/수신기가 필요하다. 일반적으로 ZigBee의 경우 3~6미터 정도 위치 정밀도를 보장하는 것으로 알려졌다. WLAN의 경우 역시 3~6미터 정도 위치 정밀도를 제공해주며, WLAN의 전파 환경에 맞는 억세스포인트(Access point)가 필요하다. WLAN의 장점은 기존의 무선 인터넷 망을 이용하기 때문에 설치 비용이 저렴하지만, WLAN의 경우 전파의 패턴과 강도 등을 비교해서 물체의 위치를 결정하기 때문에 사전에 전파맵을 작성해야 하며, 이는 WLAN의 경우 많은 설치 시간과 수동적이며 반복적인 수작업을 요구한다. 전파맵의 경우 환경의 변화에 영향 받기 쉽기 때문에 정밀한 위치 결정이 불가능하다는 단점도 있다.
정리하면, 상기한 바와 같이 로봇의 서비스 공간내에서 사물들을 인식하고 정확한 위치를 파악하는 것은 지능형 서비스를 위해 매우 중요하나 넓은 공간에서 영상인식 만을 사용하여 사물을 찾는 것은 시간이 많이 소요되고 현재의 영상처리 기술로는 잘못된 인식을 할 확률이 높은 편이다. 반면에 무선 통신네트워크 기술을 이용하면 사물의 ID를 쉽게 인식할 수 있지만 전파 특성 상 정확한 위치정보를 제공할 수 없고 2~3m 내외의 대략적인 위치정보만을 제공할 수 있는 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는 상기의 문제점을 해결하기 위하여 안출된 것으로서, 영상인식 기술에 무선센서 네트워크 기술을 접목하여 영상처리에 따른 불확실성을 제거하고 연산량을 줄임으로써 효율적으로 공간에 존재하는 사물 들의 위치정보를 정확하게 파악할 수 있는 방법 및 그 장치를 제공하는데 있다.
상기의 기술적 과제를 이루기 위하여 본 발명에 의한 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위 방법은 사물이 제공하는 데이터를 기초로 위치를 인식하고 측정하는 장치가 영상정보와 무선 센서네트워크를 이용하여 사물을 인식하고 측위하는 방법에 있어서, 위치를 측정하고자 하는 사물의 아이디를 획득한 후 그 아이디를 기초로 상기 사물의 정보를 획득하는 단계; 상기 사물에 부착된 전자태그와의 무선통신을 이용하여 상기 사물의 위치를 추정하는 단계; 상기 추정된 사물의 위치 근처의 영상을 획득하는 단계; 및 상기 획득된 영상으로부터 상기 사물의 위치를 재산정하는 단계;를 포함하는 것을 특징으로 한다.
상기의 기술적 과제를 이루기 위하여 본 발명에 의한 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위 장치는 사물의 정보를 저장하며, 요청에 따라 제공하는 데이터베이스; 및 상기 사물을 인식한 후 상기 데이터베이스가 제공하는 상기 사물의 정보를 획득하고, 무선통신을 통해 상기 사물의 위치를 추정하고, 상기 추정된 사물의 위치 근처의 영상을 획득하여 상기 사물의 정보 및 영상을 기초로 상기 사물의 위치를 재산정하는 무선 위치 인식부;를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하면서 본 발명의 바람직한 일 실시예를 상세하게 설명하도록 한다. 도 1은 본 발명에 의한 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위 장치의 구성을 보여주는 블록도이다. 도 2는 본 발명에 의한 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위 방법 및 그 장치가 적용되는 시스템의 구성을 보여주는 도면이다. 한편 도 3은 본 발명에 의한 영상정보 와 무선 센서네트워크를 이용한 사물 인식 및 측위 방법의 과정을 보여주는 흐름도이며, 도 4는 사물 추정위치의 오차범위 및 로봇 카메라에서의 가시 범위를 보여주는 도면이다.
먼저 본 발명에 의한 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위 장치의 구성을 살펴본다. 무선 위치 인식부(110)는 로봇(130)에 포함될 수 도 있으며, 혹은 별도의 장치로 구성되어 로봇(130)과 연동되어 동작할 수도 있다. 무선 위치 인식부(110)는 사물의 위치를 측정하는 기능을 수행한다. 즉 사물의 ID를 이용하여 데이터베이스(120)에 기 저장되어 있는 사물에 대한 정보 데이터를 이용하여 로봇(130)이 제공하는 카메라 영상에서 해당 사물을 검출한 후 상기 로봇(130)이 제공하는 영상과 비교하여 정확한 위치를 산출하는데, 이를 위하여 세부적으로는 정보수집부(111), 영상 수집부(113), 위치계산부(115)로 구성된다. 정보수집부(111)는 위치를 측정하고자하는 사물의 아이디를 획득한 후 그 아이디를 기초로 데이터 베이스(120)가 제공하는 사물의 정보를 획득한다. 영상수집부(113)는 상기 로봇으로부터 영상을 수신하며, 위치계산부(115)는 사물의 위치를 추정한 후 상기 수신된 영상을 기초로 사물의 위치를 계산하게 된다.
한편 데이터베이스(120)는 상기 사물의 정보를 저장하며, 상기 무선 위치 인식부(110)의 요청이 있으면 그 정보를 제공한다. 한편 로봇(130)은 사물에 대한 영상을 획득하여 상기 무선 위치 인식부(110)로 제공하게 된다. 한편 상기 정보수집부(111)는 상기 사물에 부착된 전자태그와의 무선 통신을 이용하여 사물의 아이디를 획득한다.
도 1과 같은 본 발명의 구성이 적용되는 예를 도 2를 참조하면서 살펴본다. 본 발명의 위치인식 시스템은 네트워크에 연결된 이동로봇(230)에 부착되는 카메라, 사물(240)에 부착되는 전자태그(tag), 전자태그와의 무선통신을 통해서 전자태그의 ID와 대략적인 위치를 추정할 수 있는 무선 위치인식 네트워크(210,localization network), 각 사물에 대한 정보를 저장하고 있는 데이터베이스(220,Database) 시스템, 사물에 대한 정보를 이용하여 카메라로 획득한 영상으로부터 사물을 검출하고 위치정보를 산출하는 연산모듈(도 1의 110)로 구성되며, 이 연산모듈은 위에서 언급한 바와 같이 로봇(130) 내부에 장착될 수도 있고 별도의 모듈(장치)로 구성될 수도 있으며, 이하 같다. 사물에 부착되는 전자태그에는 고유의 식별자 ID가 포함되며 외부로부터의 특정 신호에 반응하여 자신의 ID를 외부로 알려줄 수 있는 기능(broadcasting)을 가진다.
무선 위치인식 네트워크는 전자태그와의 무선통신을 통해 전자태그의 ID를 식별하고 또한 위치를 산출할 수 있는 기능을 갖는다. 이러한 무선 통신을 이용한 전자태그의 위치인식 방법으로는 전파신호의 도착 시각 차이 및 전파의 수신 방향을 같이 이용하여 위치를 추정하는 UWB(ultrawideband, IEEE 802.15.4a) 방식, 전파신호의 수신강도를 이용하여 위치를 추정하는 ZigBee(IEEE 802.15.3a) 방식, 또는 각 지점에서 전파의 분포특성을 이용하는 WLAN(IEEE 802.11) 방식 중 어느 것을 사용해도 무방하나 이상적으로는 벽이나, 장애물 등에 대한 투과력이 뛰어나고 multi-path fading이나 산란, 회절 등에 영향을 덜 받는 UWB 방식을 사용하는 것이 바람직하다.
데이터베이스 시스템에는 각 사물에 대한 정보가 저장되며 전자태그에 부여된 식별자 ID를 키 인덱스(key index)로 하여 구분된다. 사물에 대한 정보에는 영상처리를 통해 사물을 인식하기 위해 필요한 데이터들이 저장되며 구체적으로는 사물에 대해 미리 등록된 영상 데이터, 영상 특징량, 또는 크기, 형태 등 기타 부가적인 정보들이 저장될 수 있다. 이러한 사물 정보는 사용자가 수작업으로 데이터베이스에 등록시켜 주어도 무방하지만, 이상적으로는 사물(특히 상업적 제품)을 제조한 회사에서 각 사물에 대한 정보를 제공하고 사용자는 식별자 ID를 이용하여 웹(web)을 통해 사물 DB에 접근할 수 있다.
연산 모듈에서는 사물에 대한 DB 정보를 이용하여 카메라 영상에서 해당 사물을 검출한다. 일반적인 환경에서 사물을 인식하는 경우에는 사물의 놓여진 자세(pitch, roll, yaw), 카메라와의 거리, 사물과 카메라 방향과의 위치 관계(시점), 외부 조명 관계에 따라 영상에서 나타나는 사물의 형태 및 크기가 다양하게 변화될 수 있기 때문에 템플릿매칭(template matching) 등의 방법은 적용할 수 없다. 따라서, 통상적으로 영상에서 시점, 크기, 조명 등에 강인한 특징 벡터들을 추출하여 DB에 저장된 영상들의 특징 벡터들과 비교하는 방법을 사용한다(참조: Lowe, D.G.., "Object recognition from local scale-invariant features," In ICCV, pp.1150-1157, 1999년도). 영상에서 사물 인식 및 검출에 성공하면 두 대의 카메라를 사용한 스테레오 매칭(stereo matching) 등의 방법을 사용하여 사물의 위치정보를 비교적 정확하게 산출할 수 있다.
다음으로 도 3을 참조하면서 본 발명에 따른 사물의 위치인식 과정을 상세히 설명한다. 위치인식 과정은 크게 보면 사물의 ID 및 사물의 정보를 획득하는 단계(S310), 무선 통신을 이용한 사물의 위치를 추정하는 단계(S320), 이동하는 로봇으로부터 사물의 영상을 획득하는 단계(S330), 영상을 인식한 후 위치를 산출하는 단계(S340)로 구성된다. 이하 자세히 살펴본다.
먼저, 사물의 ID 및 사물의 정보를 획득하는 단계(S310)에서는 무선 위치인식 시스템(공간에 설치되며 전자태그와 무선 통신이 가능한 송수신기를 포함하며 도 1의 구성을 가진다)에서 공간에 존재하는 전자태그들을 검출하기 위하여 공간상에 특정 신호를 방출한다(broadcasting). 각 사물에 부착된 전자태그들은 특정 신호에 반응하여 자신의 ID를 회신한다. 그러면 무선 위치인식 시스템에서는 수신된 신호를 분석하여 공간상에 존재하는 사물들의 ID를 파악할 수 있다. 그 다음으로, 파악된 ID를 이용하여 데이터베이스 시스템에 접근하여 사물에 대한 정보를 가져온다. 가져온 사물 정보 데이터는 이후 영상인식 단계에서 사물을 검출하는데 사용되며, 추가적으로 사용자에서 공간상에 존재하는 사물들의 목록을 제시하는데 이용될 수 있다.
사물위치 추정 단계(S320)에서는 UWB 등의 무선통신에 기반한 위치인식 방법을 사용하여 전자태그의 위치, 즉, 전자태그가 부착된 사물의 대략적인 위치정보를 산출한다. 현재, UWB의 경우 약 2~3m 내외의 위치 정확도로 위치인식을 할 수 있는 것으로 알려져 있다. 정확한 위치를 산출하기 위한 자료를 제공하기 위하여 로봇은 위에서 추정된 사물 위치 정보를 이용하여 사물 근처까지 이동한다. 무선통신을 이용한 사물위치 추정 결과는 부정확(2~3m)하기 때문에 정확히 사물 앞에서 멈출 수 가 없는 문제가 있다. 그러나, 로봇은 사물이 존재하는 쪽을 바라보고 접근하기 때문에 로봇이 사물을 지나치지 않는다면 사물은 로봇을 기준으로 전방에 있게 된다. 즉, 로봇이 바라보는 방향을 기준으로 ±90도 내에 위치한다. 만일 로봇이 추정된 사물의 위치보다 전방에서 멈춘다면 사물이 존재하는 범위각은 훨씬 줄어들게 된다. 로봇이 멈추는 지점은 무선 통신에 의한 위치추정의 정확도(또는 error boundary), 사용된 카메라의 시야각(렌즈에 의해 결정됨), 영상인식으로 사물 검출이 가능한 카메라와 사물과의 최대 거리(사용된 카메라 이미지 센서의 해상도, 사물과 카메라의 거리에 의해 결정됨) 등을 고려하여 다양하게 결정될 수 있다.
하나의 예시로서, 도 4에 도시된 바와 같이, 추정된 사물의 위치를 p, 무선통신을 이용한 위치추정의 오차한계를 e, 영상에서 사물 검출이 가능한 카메라와 사물 간의 최대 거리를 d 라고 하고 로봇이 사물의 추정 위치 지점을 정면으로 바라보면서 일직선상으로 이동한다고 가정 했을 때, 로봇이 사물을 인식할 수 있는 위치는 p-e-d 부터 p+e-d 사이이다(단, 로봇과 지점 p를 잇는 일직선 상에서 p에서 로봇쪽으로 k만큼 떨어진 지점을 p-k, 반대반향으로 k만큼 떨어진 지점을 p+k로 표시한다).
카메라의 시야가 넓다면 로봇이 p-e 지점에서부터 사물을 검출하는 것이 좋으나 일반적으로 카메라의 시야 θ는 한정되어 있기 때문에 도 4에서와 같이 카메라의 시야각과 추정 위치의 오차 boundary가 접하는 지점에서부터(이를 지점 R이라 하자) 사물 검출을 시도해야 사물이 검출되지 않는 경우를 방지할수 있다. 따라서 지점 R부터 시작하여 지점 p+e-d 까지 일정한 간격으로 로봇을 이동시키면서 사물 검출을 시도하는 것이 바람직하다. 만일 로봇에 초음파 센서 등의 전방 장애물을 감지할 수 있는 거리센서가 장착되어 있을 경우에는 이상적으로 지점 p+e-d 까지 진행하기 전에라도 도중에 장애물이 감지되면 장애물과 부딪히지 않을 정도까지만 진행하는 방법을 사용할 수 있다.
다음으로, 영상인식 단계(S330)에서는 카메라 영상과 사물의 ID를 이용하여 획득된 사물 정보를 비교하여 해당 사물을 영상에서 검출하게 된다. 이 때, 이미 사물의 ID를 알고 있기 때문에 영상인식 문제는 영상에서의 단순한 검출 문제로 치환되며 이로 인해 영상처리에 따른 연산시간과 오류 가능성을 최소화할 수 있다. 기존의 일반적인 영상인식 문제에서는 입력 영상과 데이터베이스(DB) 상에 등록되어 있는 모든 사물 데이터들과 비교를 하기 때문에 시간이 많이 소요되고 또한 잘못된 인식 가능성도 상대적으로 높게 된다. 그러나 사물에 부착된 전자태그로부터 사물의 ID를 정확하게 알 수 있기 때문에 본 발명에 따르면 DB에 있는 모든 사물 데이터와 비교 연산을 수행할 필요가 없고, 해당 사물의 데이터와만 비교를 수행하면 되기 때문에 영상처리 신뢰도를 현저하게 높일 수 있다.
마지막으로, 정밀 위치산출 단계(S340)에서는 상기 영상인식 단계(S330)에서 검출된 사물의 영상에서의 위치 정보와 함께 카메라와 사물간의 거리를 별도 장치 및 과정을 통해 측정함으로써 계산된다. 영상정보를 이용하여 산출하는 위치정보는 수 cm 내외로 매우 정밀하기 때문에 카메라에 비해 상대적으로 사물의 3차원 위치를 산출하는 것은 아주 기본적인 연산으로서 영상에서 사물의 영역만 검출된다면 매우 손쉽게 산출될 수 있다. 예를 들어, 카메라 2대를 사용한 스테레오 매 칭(stereo matching)을 이용한 삼각 측량 방법 등을 사용할 수 있으며 이러한 방법들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 쉽게 알 수 있으므로 구체적인 수식 및 과정에 대한 설명은 생략하기로 한다.
이상의 각 단계를 거쳐 무선위치인식부(110) 혹은 이동로봇(무선위치인식부를 탑재한 경우)은 서비스 공간 내에 존재하는 각 사물들의 ID를 파악하여 사물을 정확하게 인식 할 수 있고, 또한 위치 정보를 정밀하게 파악할 수 있다.
본 발명에 의한 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD_ROM, 자기테이프, 플로피디스크 및 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
이상에서 설명한 바와 같이 본 발명에 의한 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위 방법 및 그 장치의 효과는 다음과 같이 요약될 수 있다. 첫째, 본 발명은 현재 영상인식 기술로는 복잡하게 해결해야 하는 사물 인식 및 위치 결정을 센서 네트워크와 영상기술을 융합하여 해결할 수 있다. 이 방법의 장점은 계산 시간을 줄일 수 있고, 현재 영상인식 기술로는 오류 가능성이 많은 영상 인식 문제를 전자태그를 이용한 ID 인식을 이용하여 쉽게 해결한다는 점이다. 또한 넓은 공간에서 임의의 위치에 놓여진 사물의 위치를 정밀하게 측정할 수 있다.
둘째, 본 발명에서 제시한 방법은 센서 네트워크가 설치된 실내에서 사물의 위치를 결정하도록 이용될 수 있기 때문에 병원, 학교, 사무실 등 실제 다양한 분야에서 응용되어 이용될 수 있다. 따라서 본 발명은 로봇의 지능 향상에 크게 기여할 것이며, 로봇의 상황 인식 능력을 획기적으로 향상 시킬 것으로 예상된다. 또한 사물의 정확한 위치정보를 파악할 수 있기 때문에 이를 기반으로 배달 서비스, 물건 정리 등 다양한 지능형 로봇 서비스 창출이 가능해진다.

Claims (11)

  1. 사물이 제공하는 데이터를 기초로 위치를 인식하고 측정하는 장치가 영상정보와 무선 센서네트워크를 이용하여 사물을 인식하고 측위하는 방법에 있어서,
    (a) 위치를 측정하고자 하는 사물의 아이디를 획득한 후 상기 아이디를 기초로 상기 사물의 정보를 획득하는 단계;
    (b) 상기 사물에 부착된 전자태그와의 무선통신을 이용하여 상기 사물의 위치를 추정하는 단계;
    (c) 상기 추정된 사물의 위치 근처의 영상을 획득하는 단계; 및
    (d) 상기 획득된 사물의 정보를 기초로 상기 획득된 영상에서의 상기 사물의 위치정보를 검출하여 상기 사물의 위치를 재산정하는 단계;를 포함하는 것을 특징으로 하는 영상정보와 무선 센서 네트워크를 이용한 사물 인식 및 측위 방법.
  2. 제1항에 있어서, 상기 (a) 단계는
    상기 사물에 부착된 전자태그와의 무선 통신을 이용하여 상기 아이디를 획득하는 것을 특징으로 하는 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위 방법.
  3. 제1항에 있어서, 상기 무선 통신은
    UWB, ZigBee,Wi-Fi를 포함하는 무선 통신 방식을 사용하여 이루어지는 것을 특징으로 하는 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위 방법.
  4. 삭제
  5. 제1항에 있어서, 상기 (d)단계는
    상기 추정된 사물의 위치를 이용하여 상기 장치가 상기 사물의 근처까지 이동한 후에 카메라로 영상을 획득하고, 그 획득된 영상에서의 상기 사물의 위치정보를 검출하는 것을 특징으로 하는 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위 방법.
  6. 제1항에 있어서, 상기 (d)단계는
    상기 추정된 위치 근처의 영상에서의 상기 사물의 위치정보를 검출한 후에, 스테레오 정합 방법을 이용하여 상기 사물의 위치를 재산출하는 것을 특징으로 하는 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위 방법.
  7. 사물의 정보를 저장하며, 요청에 따라 제공하는 데이터베이스; 및
    상기 사물을 인식한 후 상기 데이터베이스가 제공하는 상기 사물의 정보를 획득하고, 무선통신을 통해 상기 사물의 위치를 추정하고, 상기 추정된 위치 근처의 영상을 획득하여 상기 사물의 정보 및 상기 영상을 기초로 상기 사물의 위치를 재산정하는 무선 위치 인식부;를 포함하는 것을 특징으로 하는 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위 장치.
  8. 제7항에 있어서, 상기 무선 위치 인식부는
    상기 획득된 사물의 정보를 기초로 상기 획득된 영상에서의 상기 사물의 위치정보를 검출하여 상기 사물의 정확한 위치를 산출하는 것을 특징으로 하는 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위 장치.
  9. 제7항에 있어서, 상기 무선 위치 인식부는
    상기 사물의 아이디를 획득한 후 그 아이디를 기초로 상기 사물의 정보를 획득하는 정보수집부;
    상기 사물에 부착된 전자태그와의 무선통신을 이용하여 상기 사물의 위치를 추정하는 위치계산부; 및
    상기 추정된 위치 근처의 영상을 획득하는 영상수신부;를 포함하고,
    상기 위치계산부는 상기 획득된 영상을 기초로 스테레오 매칭을 포함하는 방법을 적용하여 상기 사물의 위치를 재산정하는 것을 특징으로 하는 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위 장치.
  10. 제9항에 있어서, 상기 정보수집부는
    상기 사물에 부착된 전자태그와의 무선 통신을 이용하여 상기 아이디를 획득하는 것을 특징으로 하는 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위 장치.
  11. 제1항 내지 제3항, 제5항 및 제6항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시킬 수 있는 프로그램을 기록한 컴퓨터가 읽을 수 있는 기록매체.
KR1020060110171A 2006-11-08 2006-11-08 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위방법 그리고 그 장치 KR100853185B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060110171A KR100853185B1 (ko) 2006-11-08 2006-11-08 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위방법 그리고 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060110171A KR100853185B1 (ko) 2006-11-08 2006-11-08 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위방법 그리고 그 장치

Publications (2)

Publication Number Publication Date
KR20080041932A KR20080041932A (ko) 2008-05-14
KR100853185B1 true KR100853185B1 (ko) 2008-08-20

Family

ID=39648872

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060110171A KR100853185B1 (ko) 2006-11-08 2006-11-08 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위방법 그리고 그 장치

Country Status (1)

Country Link
KR (1) KR100853185B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101593916B1 (ko) * 2009-09-10 2016-02-15 삼성전자주식회사 이동통신 단말에서 영상 인식을 이용한 무선 연결 방법 및 장치
KR101517842B1 (ko) * 2014-05-09 2015-05-07 한국로봇융합연구원 특정 공간내 이동 물체의 위치 인식 및 통합관리를 위한 자동화 장치 및 관리방법
KR101706281B1 (ko) * 2015-05-07 2017-02-13 주식회사 나노시스템즈 카메라 촬영위치 설정 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050015490A (ko) * 2003-08-06 2005-02-21 한국생산기술연구원 자율이동운송수단의 환경인식 및 환경대응을 위한스마트태그 시스템 및 그 제어방법
KR20060064908A (ko) * 2004-12-09 2006-06-14 한국전자통신연구원 Ｒｆｉｄ 를 이용한 이동로봇 위치 인식 및 주행방법과,이를 적용한 이동로봇 시스템
KR20060091124A (ko) * 2005-02-14 2006-08-18 에스케이 텔레콤주식회사 Ｒｆｉｄ를 이용한 피보호자 관리 방법 및 시스템
KR20060102389A (ko) * 2005-03-23 2006-09-27 한국생산기술연구원 로봇의 물체 탐색 및 인식을 위한 스테레오 비젼 장치 및제어방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050015490A (ko) * 2003-08-06 2005-02-21 한국생산기술연구원 자율이동운송수단의 환경인식 및 환경대응을 위한스마트태그 시스템 및 그 제어방법
KR20060064908A (ko) * 2004-12-09 2006-06-14 한국전자통신연구원 Ｒｆｉｄ 를 이용한 이동로봇 위치 인식 및 주행방법과,이를 적용한 이동로봇 시스템
KR20060091124A (ko) * 2005-02-14 2006-08-18 에스케이 텔레콤주식회사 Ｒｆｉｄ를 이용한 피보호자 관리 방법 및 시스템
KR20060102389A (ko) * 2005-03-23 2006-09-27 한국생산기술연구원 로봇의 물체 탐색 및 인식을 위한 스테레오 비젼 장치 및제어방법

Also Published As

Publication number Publication date
KR20080041932A (ko) 2008-05-14

Similar Documents

Publication Publication Date Title
JP4968960B2 (ja) Ｔｏａ（到達時刻）とｒｓｓ（受信信号強度）の融合による適応型対象測位方法、装置、システム、および当該システムを利用した対象追跡方法
US8731239B2 (en) Systems and methods for tracking objects under occlusion
KR101349980B1 (ko) 핑거프린팅 기반 위치정보 저장을 위한 위치추적 시스템 및 그 방법
Taneja et al. Analysis of three indoor localization technologies for supporting operations and maintenance field tasks
CN107437044B (zh) 一种矿井移动目标跟踪与定位方法
US20160139238A1 (en) System and method for rfid indoor localization
KR101600190B1 (ko) 환경 변수를 고려한 실내 측위 장치 및 그 방법
CN102928813A (zh) 基于rssi质心加权算法的无源rfid标签定位方法
Geng et al. Indoor tracking with RFID systems
Hauschildt et al. Improving indoor position estimation by combining active TDOA ultrasound and passive thermal infrared localization
Teo et al. Autonomous mobile robot navigation via RFID signal strength sensing
JPWO2009096358A1 (ja) 位置検出装置、位置検出方法及び位置検出用プログラム
Krukowski et al. RFID-based positioning for building management systems
Llorca et al. Recognizing individuals in groups in outdoor environments combining stereo vision, RFID and BLE
Liu et al. A novel indoor localization system based on passive RFID technology
KR100853185B1 (ko) 영상정보와 무선 센서네트워크를 이용한 사물 인식 및 측위방법 그리고 그 장치
KR100811887B1 (ko) 단계적 정확도를 갖는 위치 정보를 선택적으로 제공할 수있는 자율이동로봇의 위치 정보 제공 장치 및 그 방법
KR100857248B1 (ko) 이동체 위치 정보를 생성하는 장치 및 방법과 이동체위치를 인식하는 장치 및 방법
Ryoo et al. Phase-based ranging of rfid tags with applications to shopping cart localization
US10228440B2 (en) Positioning system and method
Oktem et al. An indoor navigation aid designed for visually impaired people
Fernandez-Llorca et al. Comparison between UHF RFID and BLE for stereo-based tag association in outdoor scenarios
Tanbo et al. Active RFID attached object clustering method based on RSSI series for finding lost objects
Chen et al. Object finding system based on RFID technology
Han et al. Device-free object tracking using passive tags

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121214

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130905

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140822

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150724

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160516

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180517

Year of fee payment: 11