KR101371038B1 - 이동 로봇 및 이의 목표물 추적 방법 - Google Patents

이동 로봇 및 이의 목표물 추적 방법 Download PDF

Info

Publication number
KR101371038B1
KR101371038B1 KR1020110110153A KR20110110153A KR101371038B1 KR 101371038 B1 KR101371038 B1 KR 101371038B1 KR 1020110110153 A KR1020110110153 A KR 1020110110153A KR 20110110153 A KR20110110153 A KR 20110110153A KR 101371038 B1 KR101371038 B1 KR 101371038B1
Authority
KR
South Korea
Prior art keywords
target
image information
classifier
region
depth
Prior art date
Application number
KR1020110110153A
Other languages
English (en)
Other versions
KR20130045743A (ko
Inventor
단병규
박태곤
안광호
고성제
정준영
백승민
김형록
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020110110153A priority Critical patent/KR101371038B1/ko
Publication of KR20130045743A publication Critical patent/KR20130045743A/ko
Application granted granted Critical
Publication of KR101371038B1 publication Critical patent/KR101371038B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

이동 로봇 및 이동 로봇의 목표물 추적 방법이 개시된다. 본 발명의 실시 예들은 카메라를 통해 추출한 영상 정보에 목표물에 대한 관심 영역을 설정하여 목표물 인식의 정확성을 높인다. 본 발명의 실시 예들은 영상 카메라 기술과 3차원 깊이 센서 기술을 융합하여 정밀하게 목표물을 인식하고 추적할 수 있다. 이에 따라, 영상을 이용하여 목표물을 추적함에 있어서, 본 발명의 실시 예들은 연산량을 줄이고 연산 속도를 향상시키고, 인식 오차를 줄이며, 목표물을 실시간으로 추적할 수 있도록 한다.

Description

이동 로봇 및 이의 목표물 추적 방법{MOBILE ROBOT AND METHOD FOR TRACKING TARGET OF THE SAME}
본 발명은 카메라를 이용하여 목표물을 인식하고 추적할 수 있는 이동 로봇 및 이의 목표물 추적 방법에 관한 것이다.
일반적으로 로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다.
가정용 로봇의 대표적인 예는 로봇 청소기로서, 일정 영역을 스스로 주행하면서 주변의 먼지 또는 이물질을 흡입하여 청소하는 전자기기의 일종이다. 이러한 로봇 청소기는 일반적으로 충전 가능한 배터리를 구비하고, 주행 중 장애물을 피할 수 있는 장애물 센서를 구비하여 스스로 주행하며 청소할 수 있다.
근래에는 이동 로봇을 이용한 응용 기술이 개발되고 있다. 예를 들어, 네트워킹 기능을 가진 이동 로봇의 개발이 진행되어, 원격지에서 제어 명령을 내릴 수 있도록 하거나 주변 상황을 모니터할 수 있도록 하는 기능이 구현되고 있다. 또, 카메라나 각종 센서들을 이용하여 위치 인식 기능을 가진 이동 로봇들이 개발되고 있다. 또, 카메라를 이용하여 목표물을 인식하고 추적하는 기능을 구비한 이동 로봇들이 개발되고 있다.
본 발명의 실시 예들은 카메라를 통해 추출한 영상 정보를 이용하여 목표물을 추적함에 있어서 영상 정보로부터 관심 영역을 설정하여 목표물을 정확하게 추적할 수 있는 이동 로봇 및 이의 목표물 추적 방법을 제공하는 데에 일 목적이 있다.
본 발명의 실시 예들은 영상 카메라 기술과 3차원 깊이 센서 기술을 융합하여 정밀하게 목표물을 인식하고 추적할 수 있는 이동 로봇 및 이의 목표물 추적 방법을 제공하는 데에 일 목적이 있다.
일 실시 예에 따른 이동 로봇은, 전방을 촬영하고 일정 영역에 대한 영상 정보를 추출하는 영상 카메라와, 상기 일정 영역에 대한 깊이 영상 정보를 검출하는 3차원 깊이 센서와, 상기 깊이 영상 정보를 이용하여 상기 일정 영역 상에 관심 영역을 설정하는 영역 설정 유닛과, 상기 영상 정보 중 상기 관심 영역에 대응되는 부분에 대하여 영상 처리를 수행하여 목표물을 인식하는 목표물 인식 유닛을 포함하여 구성된다.
일 실시 예에 따른 이동 로봇의 목표물 추적 방법은, 전방을 촬영하고 일정 영역에 대한 영상 정보를 추출하는 영상 추출 단계와, 상기 일정 영역에 대한 깊이 영상 정보를 검출하는 깊이 영상 검출 단계와, 상기 깊이 영상 정보를 이용하여 상기 일정 영역 상에 관심 영역을 설정하는 영역 설정 단계와, 상기 영상 정보 중 상기 관심 영역에 대응되는 부분에 대하여 영상 처리를 수행하여 목표물을 인식하는 목표물 인식 단계를 포함하여 구성된다.
본 발명의 실시 예들은 카메라를 통해 추출한 영상 정보에 목표물에 대한 관심 영역을 설정하여 목표물 인식의 정확성을 높인다. 본 발명의 실시 예들은 영상 카메라 기술과 3차원 깊이 센서 기술을 융합하여 정밀하게 목표물을 인식하고 추적할 수 있다.
본 발명의 실시 예들은 영상을 이용하여 목표물을 추적함에 있어서, 연산량을 줄이고 연산 속도를 향상시키고, 인식 오차를 줄이며, 목표물을 실시간으로 추적할 수 있도록 한다.
도 1 및 도 2는 본 발명의 실시 예들에 따른 이동 로봇의 구성을 개략적으로 보인 블록도들;
도 3 및 도 4는 본 발명의 실시 예들에 따른 이동 로봇의 목표물 추적 방법을 개략적으로 보인 흐름도들;
도 5는 본 발명의 실시 예들에 따라 영상 정보로부터 목표물을 인식하기 위한 분류기를 생성하는 동작을 설명하기 위해 보인 도;
도 6은 본 발명의 실시 예들에 따라 목표물을 인식하는 동작을 설명하기 위해 보인 영상들; 및
도 7은 본 발명의 실시 예들에 따라 깊이 영상 정보로부터 히스토그램을 이용하여 관심 영역을 설정하는 동작을 설명하기 위해 보인 도이다.
도 1을 참조하면, 일 실시 예에 따른 이동 로봇은, 영상 카메라(100)와, 3차원 깊이 센서(200)와, 영역 설정 유닛(300)과, 목표물 인식 유닛(400)을 포함하여 구성된다. 영상 카메라(100)는 전방을 촬영하고 일정 영역에 대한 영상 정보를 추출한다. 3차원 깊이 센서(200)는 상기 일정 영역에 대한 깊이 영상 정보를 검출한다. 영역 설정 유닛(300)은 상기 3차원 깊이 센서(200)가 검출한 깊이 영상 정보를 이용하여 상기 일정 영역 상에 관심 영역을 설정한다. 목표물 인식 유닛(400)은 상기 영상 정보 중 상기 관심 영역에 대응되는 부분에 대하여 영상 처리를 수행하고, 수행 결과를 이용하여 목표물을 인식한다. 여기서, 목표물은 사람, 동물, 동적 물체 등을 포함한다.
영상 카메라(100)는 전방이나 상방을 향하도록 설치된다. 설치 위치는 로봇의 크기, 형태 등에 따라 달라질 수 있다. 영상 카메라(100)는 일정 해상도 이상의 CCD 카메라, CMOS 카메라 등일 수 있다. 영상 카메라(100)는 필요에 따라 렌즈를 구비할 수 있다. 영상 카메라(100)는 설치된 방향, 전방을 촬영하여 일정 영역에 대한 영상 정보(Vision Image)를 추출하여 영역 설정 유닛(300) 또는 목표물 인식 유닛(400)에 출력한다. 추출한 영상 정보(Vision Image)의 일 예는 도 6(a)와 같다.
3차원 깊이 센서(200)는 영상 카메라(100)와 동일 방향으로 설치된다. 예를 들어, 3차원 깊이 센서(200)는, 발광부와 수광부를 구비하고, 적외선을 이용하여 상기 깊이 영상 정보(Depth Image)를 검출할 수 있다. 즉, 3차원 깊이 센서(200)는 영상 카메라와 함께 또는 별도의 영상 카메라와 함께 적외선 센서를 구비한다. 3차원 깊이 센서는 발광부로부터 발신된 적외선이 수광부로 반사되어 돌아오는 시간을 이용하여 깊이 영상 정보를 생성한다. 발광부와 수광부는 서로 떨어져 있는데 그 거리가 짧을수록 오차가 줄어들고 정밀한 깊이 영상 정보를 생성할 수 있다. 검출한 깊이 영상 정보(Depth Image)의 일 예는 도 6(b)와 같다.
영역 설정 유닛(300)은 깊이 영상 정보(Depth Image)를 히스토그램(Histogram)과 같은 영상 처리 기법을 이용하여 관심 영역(Region of Interest; ROI)를 설정한다. 도 7에 도시한 바와 같이, 깊이 영상 정보에서 목표물이 깊이 값은 일정한 범위에 분포하기 때문에 히스토그램 상에서 값이 크고 폭이 좁은 영역에 목표물이 위치하게 된다. 이러한 영역을 명확하기 찾기 위해서 하기 수학식과 같이 히스토그램의 대조(Contrast)를 연산한다.
Figure 112011084114486-pat00001
여기서, P는 깊이 영상 정보의 점(point), i, k, n는 연번이다.
상기 이동 로봇은 상기 수학식 1을 통해 연산된 대조가 일정 기준 값(threshold value) 이상일 경우에 목표물인 것으로 판단한다. 영역 설정 유닛(300)은 깊이 영상 정보로부터 일정 깊이 값에 해당하는 영역을 이용하여 기초 지도를 생성한다.
도 2를 참조하면, 영역 설정 유닛(300)은, 상기 깊이 영상 정보를 히스토그램으로 변환하고 변환된 정보를 이용하여 기초 지도(Seed Map)를 생성하는 기초 지도 생성부(310)를 포함한다. 기초 지도(Seed Map)의 일 예는 도 6(c)와 같다. 또, 영역 설정 유닛(300)은, 상기 깊이 영상 정보 내의 값의 변화를 근거로 경계 지도(Boundary Map)를 생성하는 경계 지도 생성부(320)를 더 포함하여 구성된다. 경계 지도(Boundary Map)의 일 예는 도 6(d)와 같다. 또, 영역 설정 유닛(300)은, 상기 기초 지도를 상기 경계 지도 내의 경계까지 확장하여 상기 관심 영역(ROI)을 설정하는 관심 영역 설정부(330)를 더 포함하여 구성된다. 관심 영역(ROI)의 일 예는 도 6(e)와 같다.
관심 영역은 다음과 같이 설정될 수 있다. 즉, 영역 설정 유닛(300)은 깊이 영상 정보를 히스토그램으로 변환하여 기초 지도(Seed Map)를 생성하고, 경계 지도(Boundary Map)을 생성한다. 그런 다음, 영역 설정 유닛(300)은 기초 지도 내의 시드(seed)를 경계 지도 내의 경계(boundary)로까지 확장시킨다. 그 확장시킨 결과가 관심 영역(ROI)이 된다.
목표물 인식 유닛(400)은, 상기 영상 정보를 상기 목표물을 포함하는 제1 샘플과, 상기 제1 샘플과 동일한 크기를 갖는 제2 샘플로 구분된 분류기를 이용하여 상기 영상 처리를 수행한다. 특히, 목표물 인식 유닛(400)은, 상기 영상 정보 중 상기 관심 영역에 대응되는 부분에 대하여 상기 분류기를 이용하여 상기 영상 처리를 수행한다.
목표물 인식 유닛(400)은 먼저 분류기(classifier)를 생성하는데, 일반적으로 이전 주기에 인식한 목표물이 이용하여 분류기를 생성한다. 즉, 목표물 인식 유닛(400)은, 사용자의 지정 또는 이전 분류기를 이용하여 인식한 목표물을 제1 샘플로 지정하고, 그 주변의 동일한 크기 영역을 제2 샘플로 지정하여 분류기를 생성한다. 목표물 인식 유닛(400)은 도 5에 도시한 바와 같은 방식으로 분류기를 업데이트할 수 있다. 업데이트를 위해 추가된 샘플에 중요도 λ값을 초기화한다. 목표물 인식하는 과정에서 에러 예측을 통하여 새로운 약한 분류기 h를 선택하고, 약한 분류기의 가중치 α와 샘플의 중요도 λ를 업데이트한다. 전체 업데이트 과정이 완료되면 약한 분류기와 가중치의 곱의 누적 합이 새로운 강한 분류기가 된다. 이러한 업데이트 과정은 제1 샘플과 제2 샘플에 대하여 수행한다. 목표물 인식 유닛(400)은 분류기를 계속해서 업데이트하면서 목표물을 인식, 추적한다. 분류기를 생성하여 목표물을 인식, 추적하는 방식의 일 예로 온라인 부스팅(On-line Boosting) 알고리즘이 있다.
즉, 영상 카메라(100)와 3차원 깊이 센서(200)는, 일정 시간 주기마다 각각 영상 정보와 깊이 영상 정보를 검출한다. 이때, 목표물 인식 유닛(400)은, 이전 시간 주기에서의 분류기를 이용한 상기 목표물에 대한 인식 에러를 근거로 일정 시간 주기마다 상기 분류기를 업데이트한다. 또, 목표물 인식 유닛(400)은 업데이트된 분류기를 이용하여 목표물을 추적한다. 이렇게 함으로써 이동 로봇은 목표물 인식 에러를 줄일 수 있고, 목표물을 정밀하게 추적할 수 있다.
도 2를 참조하면, 상기 이동 로봇은 하나 이상의 바퀴에 연결되어 상기 바퀴를 구동하고, 상기 목표물을 추적하여 상기 이동 로봇을 이동시키는 구동 유닛(500)을 더 포함하여 구성된다. 구동 유닛(500)은 바퀴들을 회전시키는 소정의 휠 모터(Wheel Motor)를 구비하여, 휠 모터를 구동함으로써 이동 로봇을 이동시킨다. 상기 바퀴는 주 바퀴와 보조 바퀴를 구분될 수 있다. 휠 모터는 각각 주 바퀴에 연결되어 주 바퀴가 회전하도록 하고, 휠 모터는 서로 독립적으로 작동하며 양방향으로 회전이 가능하다. 또, 이동 로봇은 배면에 하나 이상의 보조 바퀴를 구비하여 본체를 지지하고, 본체의 하면과 바닥면 사이의 마찰을 최소화하고 이동 로봇의 이동이 원활하도록 할 수 있다.
도 2를 참조하면, 상기 이동 로봇은 상기 영상 정보, 깊이 영상 정보, 기초 지도, 경계 지도, 관심 영역 등을 임시로 아니면 지속적으로 저장하는 저장 유닛(600)을 더 포함할 수 있다. 또, 저장 유닛(600)은 이동 로봇을 제어(구동)하는 제어 프로그램 및 그에 따른 데이터를 더 저장할 수 있다. 저장 유닛(600)은, 램(RAM)의 형태를 가질 수 있고, 또는 롬(ROM), 플래시 메모리(Flash Memory) 등의 비휘발성 메모리(Non-Volatile Memory, NVM, NVRAM)의 형태로 구성될 수 있다.
도 3을 참조하면, 일 실시 예에 따른 이동 로봇의 목표물 추적 방법은, 전방을 촬영하고 일정 영역에 대한 영상 정보를 추출하는 영상 추출 단계(S100)와, 상기 일정 영역에 대한 깊이 영상 정보를 검출하는 깊이 영상 검출 단계(S200)와, 상기 깊이 영상 정보를 이용하여 상기 일정 영역 상에 관심 영역을 설정하는 영역 설정 단계(S300)와, 상기 영상 정보 중 상기 관심 영역에 대응되는 부분에 대하여 영상 처리를 수행하여 목표물을 인식하는 목표물 인식 단계(S400)를 포함하여 구성된다. 이하 장치의 구성은 도 1 및 도 2를 참조한다.
이동 로봇은 영상 카메라를 이용하여 전방을 촬영하고 일정 크기의 영상 정보를 생성한다(S100). 추출한 영상 정보(Vision Image)의 일 예는 도 6(a)와 같다. 또, 이동 로봇은 3차원 깊이 센서를 이용하여 영상 정보에 대응하는 영역에 대하여 깊이 영상 정보를 검출한다(S200). 예를 들어, 3차원 깊이 센서는, 발광부와 수광부를 구비하고, 적외선을 이용하여 상기 깊이 영상 정보(Depth Image)를 검출하는 적외선 센서를 포함할 수 있다. 3차원 깊이 센서는 발광부로부터 발신된 적외선이 수광부로 반사되어 돌아오는 시간을 이용하여 깊이 영상 정보를 생성한다. 발광부와 수광부는 서로 떨어져 있는데 그 거리가 짧을수록 오차가 줄어들고 정밀한 깊이 영상 정보를 생성할 수 있다. 검출한 깊이 영상 정보(Depth Image)의 일 예는 도 6(b)와 같다.
도 3을 참조하면, 영역 설정 단계(S300)는, 상기 깊이 영상 정보를 히스토그램으로 변환하는 과정(S310)과, 상기 히스토그램으로 변환된 정보를 이용하여 기초 지도를 생성하는 과정(S320)과, 상기 깊이 영상 정보 내의 값의 변화를 근거로 경계 지도를 생성하는 과정(S330)과, 상기 기초 지도를 상기 경계 지도 내의 경계까지 확장하여 상기 관심 영역을 설정하는 과정(S340)을 포함하여 구성된다.
이동 로봇은 깊이 영상 정보(Depth Image)를 히스토그램(Histogram)과 같은 영상 처리 기법을 이용하여 관심 영역(Region of Interest; ROI)를 설정한다(S300). 도 7에 도시한 바와 같이, 깊이 영상 정보에서 목표물이 깊이 값은 일정한 범위에 분포하기 때문에 히스토그램 상에서 값이 크고 폭이 좁은 영역에 목표물이 위치하게 된다. 이러한 영역을 명확하기 찾기 위해서 상기한 바와 같이 수학식 1을 이용하여 히스토그램의 대조(Contrast)를 연산한다(S310).
이동 로봇은 상기 수학식 1을 통해 연산된 대조가 일정 기준 값(threshold value) 이상일 경우에 목표물인 것으로 판단한다. 이동 로봇은 깊이 영상 정보로부터 일정 깊이 값에 해당하는 영역을 이용하여 기초 지도를 생성한다(S320). 기초 지도(Seed Map)의 일 예는 도 6(c)와 같다. 이동 로봇은 깊이 영상 정보 내의 값의 변화를 근거로 경계 지도(Boundary Map)를 생성한다(S330). 경계 지도(Boundary Map)의 일 예는 도 6(d)와 같다. 또, 이동 로봇은 기초 지도 내의 시드(seed)를 경계 지도 내의 경계(boundary)로까지 확장시킨다. 그 확장시킨 결과가 관심 영역(ROI)이 된다(S340). 관심 영역(ROI)의 일 예는 도 6(e)와 같다.
도 3을 다시 참조하면, 목표물 인식 단계(S400)는, 상기 영상 정보에 대하여 상기 목표물을 포함하는 제1 샘플과, 상기 제1 샘플과 동일한 크기를 갖는 제2 샘플로 구분된 분류기를 생성하는 과정(S410)과, 상기 분류기를 이용하여 상기 영상 처리를 수행하는 과정(S420)을 포함하여 구성된다. 여기서, 영상 처리를 수행하는 과정(S420)은, 영상 정보 중 관심 영역에 대응되는 부분에 대하여 분류기를 이용하여 영상 처리를 수행하는 것이 좋다.
이동 로봇은 먼저 분류기(classifier)를 생성하는데, 일반적으로 이전 주기에 인식한 목표물이 이용하여 분류기를 생성한다(S410). 즉, 이동 로봇은, 사용자의 지정 또는 이전 분류기를 이용하여 인식한 목표물을 제1 샘플로 지정하고, 그 주변의 동일한 크기 영역을 제2 샘플로 지정하여 분류기를 생성한다. 이동 로봇은 도 5에 도시한 바와 같은 방식으로 분류기를 업데이트할 수 있다. 업데이트를 위해 추가된 샘플에 중요도 λ값을 초기화한다. 목표물 인식하는 과정에서 에러 예측을 통하여 새로운 약한 분류기 h를 선택하고, 약한 분류기의 가중치 α와 샘플의 중요도 λ를 업데이트한다(S411, S412). 전체 업데이트 과정이 완료되면 약한 분류기와 가중치의 곱의 누적 합이 새로운 강한 분류기가 된다(S413). 이러한 업데이트 과정은 제1 샘플과 제2 샘플에 대하여 수행한다. 이동 로봇은 분류기를 계속해서 업데이트하면서 목표물을 인식, 추적한다. 분류기를 생성하여 목표물을 인식, 추적하는 방식의 일 예로 온라인 부스팅(On-line Boosting) 알고리즘이 있다.
이동 로봇은 일정 시간 주기마다 각각 영상 정보와 깊이 영상 정보를 검출한다. 이때, 도 4 또는 도 5에 도시한 바와 같이, 이동 로봇은 이전 시간 주기에서의 분류기를 이용한 목표물에 대한 인식 에러를 근거로 일정 시간 주기마다 분류기를 업데이트하고, 업데이트된 분류기를 이용하여 목표물을 추적한다. 이렇게 함으로써 이동 로봇은 목표물 인식 에러를 줄일 수 있고, 목표물을 정밀하게 추적할 수 있다.
이상 설명한 바와 같이, 본 발명의 실시 예들에 따른 이동 로봇 및 이동 로봇의 목표물 추적 방법은 영상 카메라를 통해 추출한 영상 정보에 목표물에 대한 관심 영역을 설정하여 목표물 인식의 정확성을 높인다. 본 발명의 실시 예들은 영상 카메라 기술과 3차원 깊이 센서 기술을 융합하여 정밀하게 목표물을 인식하고 추적할 수 있다. 이에 따라, 영상을 이용하여 목표물을 추적함에 있어서, 본 발명의 실시 예들은 연산량을 줄이고 연산 속도를 향상시키고, 인식 오차를 줄이며, 목표물을 실시간으로 추적할 수 있도록 한다.
100: 영상 카메라 200: 3차원 깊이 센서
300: 영역 설정 유닛 400: 목표물 인식 유닛
500: 구동 유닛 600: 저장 유닛
310: 기초 지도 생성부 320: 경계 지도 생성부
330: 관심 영역 설정부

Claims (13)

  1. 삭제
  2. 전방을 촬영하고 일정 영역에 대한 영상 정보를 추출하는 영상 카메라;
    상기 일정 영역에 대한 깊이 영상 정보를 검출하는 3차원 깊이 센서;
    상기 깊이 영상 정보를 이용하여 상기 일정 영역 상에 관심 영역을 설정하는 영역 설정 유닛; 및
    상기 영상 정보 중 상기 관심 영역에 대응되는 부분에 대하여 영상 처리를 수행하여 목표물을 인식하는 목표물 인식 유닛;을 포함하고,
    상기 영역 설정 유닛은,
    상기 깊이 영상 정보를 히스토그램으로 변환하고 변환된 정보를 이용하여 기초 지도를 생성하는 기초 지도 생성부;
    상기 깊이 영상 정보 내의 값의 변화를 근거로 경계 지도를 생성하는 경계 지도 생성부; 및
    상기 기초 지도를 상기 경계 지도 내의 경계까지 확장하여 상기 관심 영역을 설정하는 관심 영역 설정부;를 포함하는 것을 특징으로 하는 이동 로봇.
  3. 제2 항에 있어서, 상기 목표물 인식 유닛은,
    상기 영상 정보를 상기 목표물을 포함하는 제1 샘플과, 상기 제1 샘플과 동일한 크기를 갖는 제2 샘플로 구분된 분류기를 이용하여 상기 영상 처리를 수행하는 것을 특징으로 하는 이동 로봇.
  4. 제3 항에 있어서, 상기 목표물 인식 유닛은,
    상기 영상 정보 중 상기 관심 영역에 대응되는 부분에 대하여 상기 분류기를 이용하여 상기 영상 처리를 수행하는 것을 특징으로 하는 이동 로봇.
  5. 제3 항 또는 제4 항에 있어서,
    상기 영상 카메라와 상기 3차원 깊이 센서는, 일정 시간 주기마다 각각 상기 영상 정보와 상기 깊이 영상 정보를 검출하고,
    상기 목표물 인식 유닛은,
    이전 시간 주기에서의 분류기를 이용한 상기 목표물에 대한 인식 에러를 근거로 상기 일정 시간 주기마다 상기 분류기를 업데이트하고, 상기 업데이트된 분류기를 이용하여 상기 목표물을 추적하는 것을 특징으로 하는 이동 로봇.
  6. 제5 항에 있어서,
    하나 이상의 바퀴에 연결되어 상기 바퀴를 구동하고, 상기 목표물을 추적하여 상기 이동 로봇을 이동시키는 구동 유닛;을 더 포함하는 이동 로봇.
  7. 제2 항에 있어서, 상기 3차원 깊이 센서는,
    발광부와 수광부를 구비하고, 적외선을 이용하여 상기 깊이 영상 정보를 검출하는 것을 특징으로 하는 이동 로봇.
  8. 삭제
  9. 전방을 촬영하고 일정 영역에 대한 영상 정보를 추출하는 영상 추출 단계;
    상기 일정 영역에 대한 깊이 영상 정보를 검출하는 깊이 영상 검출 단계;
    상기 깊이 영상 정보를 이용하여 상기 일정 영역 상에 관심 영역을 설정하는 영역 설정 단계; 및
    상기 영상 정보 중 상기 관심 영역에 대응되는 부분에 대하여 영상 처리를 수행하여 목표물을 인식하는 목표물 인식 단계; 를 포함하고,
    상기 영역 설정 단계는,
    상기 깊이 영상 정보를 히스토그램으로 변환하는 과정;
    상기 히스토그램으로 변환된 정보를 이용하여 기초 지도를 생성하는 과정;
    상기 깊이 영상 정보 내의 값의 변화를 근거로 경계 지도를 생성하는 과정; 및
    상기 기초 지도를 상기 경계 지도 내의 경계까지 확장하여 상기 관심 영역을 설정하는 과정;을 포함하는 것을 특징으로 하는 이동 로봇의 목표물 추적 방법.
  10. 제9 항에 있어서, 상기 목표물 인식 단계는,
    상기 영상 정보에 대하여 상기 목표물을 포함하는 제1 샘플과, 상기 제1 샘플과 동일한 크기를 갖는 제2 샘플로 구분된 분류기를 생성하는 과정; 및
    상기 분류기를 이용하여 상기 영상 처리를 수행하는 과정;을 포함하는 것을 특징으로 하는 이동 로봇의 목표물 추적 방법.
  11. 제10 항에 있어서, 상기 영상 처리를 수행하는 과정은,
    상기 영상 정보 중 상기 관심 영역에 대응되는 부분에 대하여 상기 분류기를 이용하여 상기 영상 처리를 수행하는 것을 특징으로 하는 이동 로봇의 목표물 추적 방법.
  12. 제10 항 또는 제11 항에 있어서,
    상기 영상 추출 단계와 상기 깊이 영상 검출 단계는, 일정 시간 주기로 수행되는 것을 특징으로 하는 이동 로봇의 목표물 추적 방법.
  13. 제12 항에 있어서, 상기 목표물 인식 단계는,
    이전 시간 주기에서의 분류기를 이용한 상기 목표물에 대한 인식 에러를 근거로 상기 일정 시간 주기마다 상기 분류기를 업데이트하는 과정; 및
    상기 업데이트된 분류기를 이용하여 상기 목표물을 추적하는 과정;을 더 포함하는 것을 특징으로 하는 이동 로봇의 목표물 추적 방법.
KR1020110110153A 2011-10-26 2011-10-26 이동 로봇 및 이의 목표물 추적 방법 KR101371038B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110110153A KR101371038B1 (ko) 2011-10-26 2011-10-26 이동 로봇 및 이의 목표물 추적 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110110153A KR101371038B1 (ko) 2011-10-26 2011-10-26 이동 로봇 및 이의 목표물 추적 방법

Publications (2)

Publication Number Publication Date
KR20130045743A KR20130045743A (ko) 2013-05-06
KR101371038B1 true KR101371038B1 (ko) 2014-03-10

Family

ID=48657691

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110110153A KR101371038B1 (ko) 2011-10-26 2011-10-26 이동 로봇 및 이의 목표물 추적 방법

Country Status (1)

Country Link
KR (1) KR101371038B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017091008A1 (ko) * 2015-11-26 2017-06-01 삼성전자주식회사 이동 로봇 및 그 제어 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105974938B (zh) * 2016-06-16 2023-10-03 零度智控（北京）智能科技有限公司 避障方法、装置、载体及无人机
KR102461938B1 (ko) 2017-04-04 2022-10-31 엘지전자 주식회사 주행 지면의 장애물을 식별하는 방법 및 이를 구현하는 로봇
CN111358360B (zh) * 2018-12-26 2021-08-24 珠海市一微半导体有限公司 机器人避免线缠绕的方法、装置和芯片及扫地机器人
KR20230036447A (ko) * 2021-09-07 2023-03-14 삼성전자주식회사 로봇 및 그 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110020961A (ko) * 2009-08-25 2011-03-04 삼성전자주식회사 모바일 플랫폼의 동적 물체 검출 및 추적 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110020961A (ko) * 2009-08-25 2011-03-04 삼성전자주식회사 모바일 플랫폼의 동적 물체 검출 및 추적 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017091008A1 (ko) * 2015-11-26 2017-06-01 삼성전자주식회사 이동 로봇 및 그 제어 방법
CN108290294A (zh) * 2015-11-26 2018-07-17 三星电子株式会社 移动机器人及其控制方法
CN108290294B (zh) * 2015-11-26 2022-05-10 三星电子株式会社 移动机器人及其控制方法

Also Published As

Publication number Publication date
KR20130045743A (ko) 2013-05-06

Similar Documents

Publication Publication Date Title
JP7150773B2 (ja) 移動ロボット及びその制御方法
US10102429B2 (en) Systems and methods for capturing images and annotating the captured images with information
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR102275300B1 (ko) 이동 로봇 및 그 제어방법
KR101784183B1 (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101570377B1 (ko) 단일 카메라를 장착한 로봇 청소기의 3차원 환경 인식 방법
KR101524020B1 (ko) 로봇 청소기의 점진적 지도 작성 및 위치 보정 방법
KR101371038B1 (ko) 이동 로봇 및 이의 목표물 추적 방법
KR101542498B1 (ko) 로봇 청소기 및 그의 위치 검출 방법
JP6977093B2 (ja) 移動ロボットの制御方法
CN108481327B (zh) 一种增强视觉的定位装置、定位方法及机器人
KR20180098891A (ko) 이동 로봇 및 그 제어방법
JP2006011880A (ja) 環境地図作成方法、環境地図作成装置、及び移動型ロボット装置
KR101842459B1 (ko) 로봇 청소기 및 이의 제어 방법
KR102103291B1 (ko) 내부에 위치하는 라이다 장치를 포함하는 로봇 청소기 및 이를 이용한 청소구역 탐지방법
US11605244B2 (en) Robot for automatically following a person
KR101553950B1 (ko) 로봇 청소기 및 그의 위치 검출 방법
KR20180023301A (ko) 이동 로봇 및 그 제어방법
CN108544494B (zh) 一种基于惯性和视觉特征的定位装置、方法及机器人
KR20190119234A (ko) 이동 로봇 및 그 제어방법
KR20190103511A (ko) 이동 로봇 및 그 제어방법
KR101965739B1 (ko) 이동 로봇 및 이의 제어 방법
KR20180023303A (ko) 이동 로봇 및 그 제어방법
KR101956569B1 (ko) 이동 로봇 및 이의 제어 방법
KR102500525B1 (ko) 이동 로봇

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170113

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180112

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190114

Year of fee payment: 6