KR20170098524A - 이동 플랫폼용 자율 이송 방법 및 이동 플랫폼용 자율 이송 장치 - Google Patents

이동 플랫폼용 자율 이송 방법 및 이동 플랫폼용 자율 이송 장치 Download PDF

Info

Publication number
KR20170098524A
KR20170098524A KR1020160020543A KR20160020543A KR20170098524A KR 20170098524 A KR20170098524 A KR 20170098524A KR 1020160020543 A KR1020160020543 A KR 1020160020543A KR 20160020543 A KR20160020543 A KR 20160020543A KR 20170098524 A KR20170098524 A KR 20170098524A
Authority
KR
South Korea
Prior art keywords
mobile platform
platform
moving
human body
image information
Prior art date
Application number
KR1020160020543A
Other languages
English (en)
Inventor
박승환
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160020543A priority Critical patent/KR20170098524A/ko
Publication of KR20170098524A publication Critical patent/KR20170098524A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

이동 플랫폼용 자율 이송 방법 및 자율 이송 장치가 개시된다. 본 발명의 일실시예에 따른 이동 플랫폼용 자율 이송 방법은, 이동 플랫폼으로 인체의 접근이 감지 됨에 따라, 영상 센서를 통해 상기 인체의 안면을 촬영한 영상 정보를 취득하는 단계와, 상기 취득된 영상 정보로부터 상기 인체의 눈동자를 인식하여, 상기 인체가 주시하는 시각 방향을 판단하는 단계와, 상기 시각 방향을 이용하여, 상기 이동 플랫폼을 이동하려는 지점을 식별하고, 상기 지점으로의 이동 속도값을 계산하여, 상기 지점 및 상기 이동 속도값을 포함하는 궤적 데이터를 생성하는 단계, 및 상기 생성된 궤적 데이터에 따라, 상기 이동 플랫폼의 구동을 제어하는 단계를 포함한다.

Description

이동 플랫폼용 자율 이송 방법 및 이동 플랫폼용 자율 이송 장치{AUTONOMOUS TRANSFER METHOD AND APPARATUS FOR MOBILE PLATFORM}
본 발명은 모바일 로봇, 이동형 장비 등과 같은 이동 기능을 가진 플랫폼의 운용 환경에서, 해당 플랫폼의 특정 장소로의 이동이 보다 용이하게 수행될 수 있도록 하기 위한 기술에 관한 것이다.
최근, 인간을 대신해 청소나 물품 이송, 감시, 원격 작업 등의 임무를 수행하면서 인간을 돕는 로봇과 같은 이동 플랫폼이 많이 사용되고 있으며, 사람이 탑승하는 형태의 이동 플랫폼도 많이 이용되는 추세이다. 이와 같이 이동 플랫폼의 이용이 점차 증가 함에 따라, 플랫폼의 이동성은 매우 중요한 요소로서 인식되고 있다.
여기서 이동 플랫폼이 이동성을 갖추고 있다는 것은, 이동 플랫폼이 서비스를 제공 시 스스로 혹은 조작자의 제어를 통해 이동할 수 있다는 것을 의미할 수 있다.
그런데, 서비스를 제공하지 않더라도 이동 플랫폼을 특정 장소로 이동시켜야 하는 경우가 있을 수 있다. 예를 들어, 이동 플랫폼의 기능을 개발하는 도중이거나, 이동 플랫폼에 문제가 생겨 점검이나 수리가 필요한 경우에는, 이동 플랫폼을 특정 장소로 이동해야 할 필요가 있다. 하지만, 이 경우 이동 플랫폼은 정상적으로 동작하지 못하는 상태이므로, 일반적인 이동 기능이 사용되기 어려울 수 있다.
이와 같이, 이동 플랫폼의 정상적인 이동이 어려운 경우, 개발자 또는 유지 및 보수를 담당하는 작업자는 이동 플랫폼을 이동시키기 위해 조이스틱이나 리모컨 등을 사용하기도 하고, 특히, 컴퓨터가 내장된 이동 플랫폼에서는 대부분 USB 장치를 사용 가능하므로, 블루투스 인터페이스로 연결된 조이패드 등을 이동 플랫폼에 연결하여 이동 플랫폼을 이동시키기도 한다.
하지만, 여기에는 몇 가지 문제점이 생길 수 있다. 우선, 개발자 또는 작업자(사용자)는 이동 플랫폼의 이동 기능이 정상적으로 동작하기 어려운 경우를 대비하기 위해, 항상 블루투스 수신기와 조이패드 등의 기기를 소지해야 하는 불편함을 가질 수 있고, 특히, 최근의 블루투스 수신기가 대부분 소형으로 제작되어 분실의 우려가 있으며, 플랫폼의 개발 또는 수리 중에 이러한 소형 장치를 관리하는 데 어려움을 느낄 수 있다. 또한, 무선 전파가 사용되므로 전파 간섭이 발생하기 쉽고, 조이스틱의 제어 범위가 크지 않기 때문에 매우 세심한 조종이 요구되므로, 초보자의 경우 원하는 속도 및 방향으로 이동 플랫폼을 이송하는 것이 어려울 수 있다.
다른 방법으로, 이동 플랫폼의 전면부에 인장 수단을 달고 이를 끌어당김으로써 이동 플랫폼의 이동을 제어하는 방법이 제안되고 있으며, 이는 장치를 플랫폼 내에 부착하고 연결된 선을 사용하는 형태이므로 분실이나 간섭의 위험이 없어 안정적인 플랫폼 이송이 가능하다는 장점이 있다.
그러나, 이 방법 역시 몇 가지 문제점을 가질 수 있다. 사용자가 이동 플랫폼의 앞에서 이동 플랫폼을 끄는 형태이므로, 사용자는 몸을 돌려 이동 플랫폼이 잘 움직이는지, 인장 수단에 무리한 힘이 가해지는지를 때때로 확인해야 하고, 다른 사람이 사용자와 이동 플랫폼 사이를 지나가지 않도록 주의해야 하며, 장치의 최대 인장 길이보다 더 가까이 이동 플랫폼에 붙어서 사용해야 하는 불편함이 있을 수 있다. 또한, 사용자가 인장 수단을 항상 잡고 있어야 하므로 사용자의 움직임이 제한될 수 있다.
이에 따라, 이동 플랫폼에 신호를 주는 경우 사용자에게 제한을 주는 단점을 해소하기 위해 영상 신호를 활용하여 이동 플랫폼의 이송을 제어할 필요가 있다.
상술한 문제점을 해결하기 위해, 본 발명의 실시예는 이동 플랫폼을 이송할 때 영상 등의 센서 정보를 사용하여, 사용자의 움직임에 제한을 가하지 않으면서, 이동 플랫폼을 원하는 속도 및 방향으로 용이하게 이송할 수 있도록 하는 것을 목적으로 한다.
특히, 본 발명의 실시예는 영상 정보에서 사용자의 얼굴 위치를 파악하고, 얼굴 내에서 눈동자를 인식한 후 눈동자가 바라보는 방향과 각도 즉 시각 방향을 분석하여, 분석한 시각 방향에 따라 이동 플랫폼의 구동부를 동작시켜, 이동 플랫폼을 용이하게 이동시키는 것을 목적으로 한다.
또한, 본 발명의 일실시예에 따른 이동 플랫폼용 자율 이송 장치는, 이동 플랫폼에 내장되어, 이동 플랫폼의 이송이 필요한 경우 이동 플랫폼을 적절하게 이송시키는 것을 목적으로 한다.
또한, 본 발명의 실시예는 이동 플랫폼의 개발, 유지 및 보수 단계에서 이동 플랫폼을 이송해야 할 필요가 있을 때, 이동 플랫폼의 후면에 위치한 사용자가 이동 플랫폼을 이송하려는 방향을 바라보는 영상 정보를 취득하고, 취득한 영상 정보로부터 사용자의 시각 방향을 분석 함으로써, 사용자가 원하는 방향으로 이동 플랫폼의 이송이 가능해지도록 하는 이동 플랫폼용 자율 이송 방법 및 이동 플랫폼용 자율 이송 장치를 제공하는 것을 목적으로 한다.
본 발명의 일실시예에 따른 이동 플랫폼용 자율 이송 방법은, 이동 플랫폼으로 인체의 접근이 감지 됨에 따라, 영상 센서를 통해 상기 인체의 안면을 촬영한 영상 정보를 취득하는 단계와, 상기 취득된 영상 정보로부터 상기 인체의 눈동자를 인식하여, 상기 인체가 주시하는 시각 방향을 판단하는 단계와, 상기 시각 방향을 이용하여, 상기 이동 플랫폼을 이동하려는 지점을 식별하고, 상기 지점으로의 이동 속도값을 계산하여, 상기 지점 및 상기 이동 속도값을 포함하는 궤적 데이터를 생성하는 단계, 및 상기 생성된 궤적 데이터에 따라, 상기 이동 플랫폼의 구동을 제어하는 단계를 포함한다.
또한, 본 발명의 일실시예에 따른 이동 플랫폼용 자율 이송 장치는, 이동 플랫폼으로 인체의 접근이 감지 됨에 따라, 영상 센서를 통해 상기 인체의 안면을 촬영한 영상 정보를 취득하는 영상 취득부와, 상기 취득된 영상 정보로부터 상기 인체의 눈동자를 인식하여, 상기 인체가 주시하는 시각 방향을 판단하는 방향 판단부와, 상기 시각 방향을 이용하여, 상기 이동 플랫폼을 이동하려는 지점을 식별하고, 상기 지점으로의 이동 속도값을 계산하여, 상기 지점 및 상기 이동 속도값을 포함하는 궤적 데이터를 생성하는 궤적 생성부, 및 상기 생성된 궤적 데이터에 따라, 상기 이동 플랫폼의 구동을 제어하는 구동 제어부를 포함한다.
본 발명의 일실시예에 따르면, 이동 플랫폼을 이송할 때 영상 등의 센서 정보를 사용하여, 사용자의 움직임에 제한을 가하지 않으면서, 이동 플랫폼을 원하는 속도 및 방향으로 용이하게 이송시킬 수 있다.
또한, 본 발명의 일실시예에 따르면, 사용자의 얼굴에 대한 영상 정보를 취득하고, 상기 영상 정보를 분석하여 사용자가 바라보는 방향과 각도에 관한 정보를 파악하며, 이 정보에 기초하여 이동 플랫폼이 사용자가 원하는 방향과 속도를 가지고 용이하게 이동하도록 제어할 수 있다.
또한, 본 발명의 일실시예에 따르면, 주변 환경에 대한 간섭 및 사용자에 가해지는 제한 없이 다양한 형태의 이동 플랫폼의 자율적 이송 기능을 확보하여 그 운용성을 크게 넓힐 수 있다.
또한, 본 발명의 일실시예에 따르면, 카메라의 성능이 점차 향상되고 있고, 영상 처리 기술이 발전하는 추세이므로, 이를 활용하여 이동 플랫폼의 움직임에 따른 사용자의 움직임 제한 없이도 이동 플랫폼을 용이하게 이송할 수 있게 된다.
또한, 본 발명의 일실시예에 따르면, 이동 플랫폼에 설치되어 사용자의 얼굴에 관한 영상 정보를 취득하는 영상 센서(카메라 모듈)를 통해, 이동 플랫폼이 위치한 지점의 주변 환경에 대한 영상 정보를 수집할 수도 있다.
도 1은 본 발명의 일실시예에 따른 이동 플랫폼용 자율 이송 장치의 내부 구성을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 이동 플랫폼용 자율 이송 장치에서, 접근이 감지된 인체의 얼굴에 대한 영상 정보를 취득하는 일례를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 이동 플랫폼용 자율 이송 방법의 순서를 도시한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명의 일실시예에 따른 응용프로그램 업데이트 장치 및 방법에 대해 상세히 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 발명의 일실시예에 따른 이동 플랫폼용 자율 이송 장치는, 이동 플랫폼에 부착된 영상 센서를 통해 사용자의 얼굴과 눈동자를 인식하고, 이의 각도 및 방향을 통해 사용자가 바라보는 시각 방향을 판단할 수 있다.
본 발명에서 사용자는 이동 플랫폼이 이동해야 하는 방향을 주시하면서 명령을 내리게 되며, 본 발명의 자율 이송 장치는 사용자의 의도(예를 들어, 이동 플랫폼을 이송하려는 속도와 방향)를 상기 시각 방향의 판단을 통해 파악하고, 이에 따른 적절한 궤적 데이터를 생성하여, 이후 생성한 궤적 데이터에 따라 이동 플랫폼의 구동부를 제어할 수 있다.
상술한 과정은 외부로부터의 사람이나 제어 신호의 개입 없이, 본 발명의 자율 이송 장치의 자율적인 처리 과정에 의해 수행될 수 있다.
본 발명에서, '궤적 데이터'는 이동 플랫폼이 매 순간 위치해야 하는 값들의 모임인 경로에 해당 위치로 이동하기 위한 속도값이 포함된 것을 지칭할 수 있다.
도 1은 본 발명의 일실시예에 따른 이동 플랫폼용 자율 이송 장치의 내부 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 이동 플랫폼용 자율 이송 장치(100)는, 영상 취득부(110), 방향 판단부(120), 궤적 생성부(130) 및 구동 제어부(140)를 포함하여 구성할 수 있다.
영상 취득부(110)는 인체(사용자)의 접근이 감지 됨에 따라, 인체의 안면(얼굴)을 촬영한 영상 정보를 취득한다.
일례로, 영상 취득부(110)는 이동 플랫폼에 부착된 영상 센서를 통해 이동 플랫폼의 후면에 위치하는 인체의 영상 정보를 촬영하여, 인체의 얼굴 부위와 눈동자를 포함한 영상 정보를 취득할 수 있다.
예를 들어, 도 2를 참조하면, 영상 취득부(110)는 이동 플랫폼(210)의 후면에서 일정 거리 이하로 접근하는 인체가 감지되는 경우, 이동 플랫폼(210)에 설치된 영상 센서(220)를 통해 인체 상부를 인식하여 그 중에서 인체의 안면과 눈동자를 포함한 영상 정보를 촬영할 수 있다.
이때, 영상 취득부(110)는 영상 센서(220)의 줌(zoom) 기능이나 팬 틸트(pan-tilt) 기능을 이용하여, 인체의 눈동자에 대한 영상 정보를 보다 정밀하게 획득 함으로써, 인체의 시각 방향이 용이하게 파악될 수 있도록 할 수 있다.
영상 취득부(110)는 도 2와 같이 단일의 영상 센서(220)에 의해 촬영된 단일 영상 정보를 취득할 수도 있고, 다중 영상 센서에 의해 촬영된 각 영상 정보를 영상 센서 간 거리 정보를 고려해 융합하여 취득할 수도 있다.
방향 판단부(120)는 취득된 영상 정보를 분석하여 인체의 시각 방향을 판단한다.
즉, 방향 판단부(120)는 이동 플랫폼에 부착된 영상 센서를 통해 촬영한 영상 정보로부터 인체의 얼굴과 눈동자를 인식하고, 눈동자가 바라보는 방향(또는 각도)을 통해, 인체가 주시하는 시각 방향을 용이하게 판단할 수 있다.
구체적으로, 방향 판단부(120)는 상기 취득한 영상 정보로부터 인체의 얼굴을 인식한 후, 얼굴 내에서 눈동자를 구별하여 인식하고, 눈동자의 중심이 눈의 좌우 중심으로부터 벗어난 정보를 파악하여, 인체가 주시하는 시각 방향을 판단할 수 있다.
이에 따라, 후술하는 궤적 생성부(130)는 상기 시각 방향에 따라 인체가 주시하고 있는 지점, 즉 이동 플랫폼이 다음 순간까지 이동해야 하는 지점을 용이하게 식별하고, 상기 지점들을 포함하여 이동 플랫폼에 대한 경로를 생성할 수 있다.
궤적 생성부(130)는 상기 시각 방향에 따라 이동 플랫폼이 이동해야 하는 궤적 데이터를 생성한다.
즉, 궤적 생성부(130)는 매 순간 이동 플랫폼을 이동시키려는 지점들의 모임인 경로에, 이동 플랫폼이 각 지점으로 이동하기 위한 속도값을 포함하여 '궤적 데이터'를 생성할 수 있다.
일례로, 궤적 생성부(130)는 상기 시각 방향에 기초하여, 매 순간 이동 플랫폼의 후면에서 인체의 시각이 주시하는 지점들을 포함하여 상기 경로를 생성할 수 있다.
또한, 궤적 생성부(130)는 상기 시각 방향에 따른 매 순간 인체가 주시하는 지점과 이동 플랫폼 간의 이격된 정도(거리)를 고려하여, 이동 플랫폼이 해당 지점으로 이동하기 위한 속도값을 계산(지정)하고, 상기 생성한 경로에 상기 속도값을 포함하여, 이동 플랫폼에 대한 궤적 데이터를 생성할 수 있다.
예를 들어, 궤적 생성부(130)는 상기 시각 방향에 기초하여 인체가 주시하는 지점 A를 식별하고, 이동 플랫폼과, 이동 플랫폼이 이동해야 하는 지점 A 간의 이격된 정도('15m')를 고려하여, 상기 지점 A로 이동하기 위한 속도값 '1.5 m/s'를 계산할 수 있다.
또한, 궤적 생성부(130)는 상기 시각 방향에 기초하여 인체가 주시하는 지점 B를 식별하고, 이동 플랫폼과, 이동 플랫폼이 이동해야 하는 지점 B 간의 이격된 정도('5m')를 고려하여, 상기 지점 B로 이동하기 위한 속도값 '0.5 m/s'를 계산할 수 있다.
이때, 궤적 생성부(130)는 이동 플랫폼과, 이동 플랫폼이 이동해야 하는 지점 간의 이격된 정도가 기준치(예, '10m')를 초과하여 멀리 떨어진 경우, 해당 지점으로 더 빠른 속도로 이동할 수 있도록 속도값을 상대적으로 높게 지정하고, 이동 플랫폼과, 이동 플랫폼이 이동해야 하는 지점 간의 이격된 정도가 기준치 이하인 경우(즉, 이동 플랫폼으로부터 상대적으로 근접한 지점을 인체가 주시하는 경우, 상기 지점으로 이동 플랫폼이 천천히 움직이도록 속도값을 낮출 수 있다.
또한, 궤적 생성부(130)는 주변 환경과의 충돌 문제가 없을 경우 이동 플랫폼이 보통보다 더 빠르게 이동하도록 속도값을 기준치보다 높게 지정하고, 주변에 장애물이 존재할 경우 이동 플랫폼이 보통보다 천천히 이동하도록 속도값을 기준치보다 낮게 지정할 수 있다.
이때, 궤적 생성부(130)는 인체의 시야각을 고려하여 이동 플랫폼이 가질 수 있는 속도값을 지정 가능하다. 일반적으로 인체의 시야각은 제한되어 있기 때문에, 궤적 생성부(130)는 인체의 시각이 최대 각도를 나타내는 지점으로 이동하는 이동 플랫폼의 속도값을 최대 속도값으로 지정할 수 있으며, 인체의 시각 방향(즉 인체의 시각이 나타내는 각도)에 따라, 정지 상태(속도값 '0')로부터 상기 최대 속도값의 범위 내에서 이동 플랫폼의 속도값을 분배하여 지정할 수 있다.
다시 말해, 궤적 생성부(130)는 이동 플랫폼이 이동해야 하는 궤적 데이터를 통해, 이동 플랫폼이 이동해야 하는 방향(경로) 만을 나타내는 것이 아니라, 각 지점으로의 이동 속도 또한 지정할 수 있다.
참고로, 궤적 생성부(130)는 연산을 수행하는 칩 혹은 보드 형태로 본 발명의 이동 플랫폼용 자율 이송 장치(100)에 내장되어, 장치 외부로 노출되지 않을 수 있다.
구동 제어부(140)는 생성된 궤적 데이터에 따라, 이동 플랫폼의 구동을 제어한다. 구동 제어부(140)는 궤적 생성부(130)에 의해 생성된 궤적 데이터를 바탕으로 실제로 이동 플랫폼을 이동시키는 역할을 할 수 있다.
즉, 구동 제어부(140)는 상기 궤적 데이터에 포함되는 경로 상의 각 지점으로 이동 플랫폼을 지정된 속도값에 따라 이동시킬 수 있다. 이때, 구동 제어부(140)는 궤적 데이터 내 지점(위치)을 기반으로 이동 플랫폼의 구동 모듈(예를 들어, 모터)을 제어하여 이동시킬 수도 있고, 궤적 데이터 내 속도값을 기반으로 이동 플랫폼의 구동 모듈(예를 들어, 모터)을 제어하여 이동시킬 수도 있으며, 기본적으로 이동 플랫폼 본래의 제어 방식에 따라 이동 플랫폼의 구동 모듈을 제어할 수 있다.
또한, 구동 제어부(140)는 이동 플랫폼이 가지는 구동 모듈의 구조에 따라 다르게 동작할 수 있다. 예를 들어, 구동 제어부(140)는 2개의 바퀴와 복수의 캐스터로 이루어진 이동 플랫폼과, 4개의 바퀴를 가진 이동 플랫폼의 구동 조건이 상이하므로, 각 이동 플랫폼에 적합한 제어 방식으로 구동 모듈을 동작할 수 있다.
이와 같이, 본 발명의 일실시예에 따르면, 이동 플랫폼을 이송할 때 영상 등의 센서 정보를 사용하여, 사용자의 움직임에 제한을 가하지 않으면서, 이동 플랫폼을 원하는 속도 및 방향으로 용이하게 이송시킬 수 있다.
또한, 본 발명의 일실시예에 따르면, 사용자의 얼굴에 대한 영상 정보를 취득하고, 상기 영상 정보를 분석하여 사용자가 바라보는 방향과 각도에 관한 정보를 파악하며, 이 정보에 기초하여 이동 플랫폼이 사용자가 원하는 방향과 속도를 가지고 용이하게 이동하도록 제어할 수 있다.
또한, 본 발명의 일실시예에 따르면, 주변 환경에 대한 간섭 및 사용자에 가해지는 제한 없이 다양한 형태의 이동 플랫폼의 자율적 이송 기능을 확보하여 그 운용성을 크게 넓힐 수 있다.
또한, 본 발명의 일실시예에 따르면, 카메라의 성능이 점차 향상되고 있고, 영상 처리 기술이 발전하는 추세이므로, 이를 활용하여 이동 플랫폼의 움직임에 따른 사용자의 움직임 제한 없이도 이동 플랫폼을 용이하게 이송할 수 있게 된다.
또한, 본 발명의 일실시예에 따르면, 이동 플랫폼에 설치되어 사용자의 얼굴에 관한 영상 정보를 취득하는 영상 센서를 통해, 이동 플랫폼이 위치한 지점의 주변 환경에 대한 영상 정보를 수집할 수도 있다.
도 2는 본 발명의 일실시예에 따른 이동 플랫폼용 자율 이송 장치에서, 접근이 감지된 인체의 얼굴에 대한 영상 정보를 취득하는 일례를 도시한 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 자율 이송 장치는, 이동 플랫폼(210)의 내부에 포함되어 구현될 수 있다.
자율 이송 장치는 이동 플랫폼(210)의 후면에서 인체(사용자)의 접근이 감지 됨에 따라, 영상 센서(220)의 시야각(점선 부분)에 들어오는 사용자의 얼굴과 눈동자를 중심으로 영상 정보를 취득할 수 있다.
이때, 자율 이송 장치는 정상적으로 눈동자를 중심으로 한 영상 정보를 취득한 경우, 효과음을 발생하거나 LED를 녹색으로 점등하여 사용자에게 정상적인 작동이 이루어짐을 알려줄 수 있고, 인체의 눈동자가 포함되지 않은 영상 정보가 취득된 경우, 안내 멘트를 발생하거나 LED를 적색으로 점등하여 사용자로 하여금 정확한 위치에 서 있도록 알려줄 수 있다.
자율 이송 장치는 사용자의 얼굴과 눈동자를 포함한 영상 정보가 정상적으로 취득되면, 상기 영상 정보를 분석하여 사용자가 이동 플랫폼(210)을 이송시키려고 주시하는 방향(시각 방향)을 판단할 수 있다.
일례로, 자율 이송 장치는 상기 영상 정보에서 사용자의 눈동자가 주시하고 있는 방향이 눈의 중심 위치에서 벗어난 각도를 분석하여 상기 시각 방향을 판단할 수 있다.
자율 이송 장치는 상기 시각 방향에 기초하여, 이동 플랫폼(210)이 이동해야 하는 지점들에 관한 경로와, 각 지점으로의 이동 시 속도값을 포함한 궤적 데이터를 생성할 수 있다. 즉, 자율 이송 장치는 사용자의 시야에 따라 이동 플랫폼(210)이 움직일 수 있는 방향 및 속도값을 포함한 궤적 데이터를 생성할 수 있다.
자율 이송 장치는 이동 플랫폼(210)을 전방, 후방, 좌우 측방으로 이송 가능하며, 만약 사용자가 이동 플랫폼(210)의 전방을 주시하고 있는 것으로 판단되면 이동 플랫폼(210)의 이동 방향을 전방으로 지정할 수 있다.
또한, 자율 이송 장치는 이동 플랫폼(210)의 이동 방향이 전방으로 동일한 경우에도, 사용자가 이동 플랫폼(210)으로부터 상대적으로 멀리 떨어진 지점을 바라보는 경우 이동 플랫폼(210)이 해당 지점으로 더 빨리 움직이도록 높은 속도값을 지정하고, 사용자가 이동 플랫폼(210)으로부터 상대적으로 근접한 지점을 바라보는 경우 이동 플랫폼(210)이 해당 지점으로 더 천천히 움직이도록 낮은 속도값을 지정할 수 있다.
이때, 자율 이송 장치는 영상 정보 내에서 사용자의 눈동자가 가려지거나 사용자가 눈을 감아 눈동자를 인식할 수 없는 경우, 상기 속도값을 '0'으로 지정하여, 정지 신호를 발생할 수 있다. 이는 이동 플랫폼(210)의 이동 방향이 후방, 좌우 측방인 경우에도 마찬가지이다.
다시 말해, 사용자는 이동 플랫폼(210)의 속도값을 높이려는 경우 이동 플랫폼(210)으로부터 전방(혹은 후방, 좌우 측방)으로 더 멀리 떨어진 지점을 주시 함으로써 이동 플랫폼(210)이 더 빠른 속도로 움직이도록 할 수 있고, 이동 플랫폼(210)의 이송을 멈추려는 경우 눈을 감거나 손으로 눈을 가려 눈동자가 인식되지 않도록 함으로써 이동 플랫폼(210)이 정지하도록 할 수 있다.
자율 이송 장치는 상기 궤적 데이터를 바탕으로 이동 플랫폼(210)에 장착된 바퀴의 구동 모듈(모터)를 동작시켜 이동 플랫폼(210)이 이동하도록 할 수 있다.
여기서, 상기 궤적 데이터는 다음 영상 정보가 취득될 때까지 유효할 수 있으며, 일정 시간 동안 다음 영상 정보가 취득되지 않거나, 정지 신호가 발생할 경우, 자율 이송 장치는 이동 플랫폼(210)의 구동을 멈출 수 있다.
자율 이송 장치는 구동 모듈의 타입(예를 들어, 바퀴 수 등)에 따라 다른 제어 방식으로 이동 플랫폼(210)의 구동을 제어할 수 있으나, 기본적으로 이동 플랫폼(210) 본래의 구동 방식에 기초하여 이동 플랫폼(210)의 구동을 제어할 수 있다. 일례로, 자율 이송 장치는 이동 플랫폼(210)의 구동 모듈(모터)을 직접적으로 제어할 수도 있으나, 구동 모듈(모터)을 제어하기 위한 제어 신호를 생성 함으로써 이동 플랫폼(210)의 구동을 제어할 수 있다.
상술의 본 발명의 자율 이송 장치는 대부분의 이동 플랫폼(210)에 적용 가능한 효과가 있으며, 이동 플랫폼(210)의 운용과 유지 및 보수가 보다 용이하게 수행되도록, 사용자의 움직임에 제한을 가하지 않으면서, 이동 플랫폼(210)을 원하는 속도 및 방향으로 편리하게 이송할 수 있다.
이하, 도 3에서는 본 발명의 실시예들에 따른 이동 플랫폼용 자율 이송 장치(100)의 작업 흐름을 상세히 설명한다.
도 3은 본 발명의 일실시예에 따른 이동 플랫폼용 자율 이송 방법의 순서를 도시한 흐름도이다.
본 실시예에 따른 이동 플랫폼용 자율 이송 방법은 상술한 자율 이송 장치(100)에 의해 수행될 수 있다.
도 3을 참조하면, 단계(310)에서, 자율 이송 장치(100)는 사용자의 안면을 촬영한 영상 정보를 취득한다.
예를 들어, 도 2를 참조하면, 자율 이송 장치(100)는 이동 플랫폼(210)의 후면에서 일정 거리 이하로 접근하는 인체가 감지되는 경우, 이동 플랫폼(210)에 설치된 영상 센서(220)를 통해 인체 상부를 인식하여 그 중에서 인체의 안면과 눈동자를 포함한 영상 정보를 촬영할 수 있다.
이때, 자율 이송 장치(100)는 영상 센서(220)의 줌 기능이나 팬 틸트 기능을 이용하여, 인체의 눈동자에 대한 영상 정보를 보다 정밀하게 획득 함으로써, 인체의 시각 방향이 용이하게 파악될 수 있도록 할 수 있다.
단계(320)에서, 자율 이송 장치(100)는 취득된 영상 정보를 분석하여 시각 방향을 판단한다.
즉, 자율 이송 장치(100)는 이동 플랫폼에 부착된 영상 센서를 통해 촬영한 영상 정보로부터 인체의 얼굴과 눈동자를 인식하고, 눈동자가 바라보는 방향(또는 각도)을 통해, 인체가 주시하는 시각 방향을 용이하게 판단할 수 있다.
구체적으로, 자율 이송 장치(100)는 상기 취득한 영상 정보로부터 인체의 얼굴을 인식한 후, 얼굴 내에서 눈동자를 구별하여 인식하고, 눈동자의 중심이 눈의 좌우 중심으로부터 벗어난 정보를 파악하여, 인체가 주시하는 시각 방향을 판단할 수 있다.
이에 따라, 자율 이송 장치(100)는 상기 시각 방향에 따라 인체가 주시하고 있는 지점, 즉 이동 플랫폼이 다음 순간까지 이동해야 하는 지점을 용이하게 식별하고, 상기 지점들을 포함하여 이동 플랫폼에 대한 경로를 생성할 수 있다.
단계(330)에서, 자율 이송 장치(100)는 상기 시각 방향에 따라 이동 플랫폼이 이동해야 하는 궤적 데이터를 생성한다.
즉, 자율 이송 장치(100)는 매 순간 이동 플랫폼을 이동시키려는 지점들의 모임인 경로에, 이동 플랫폼이 각 지점으로 이동하기 위한 속도값을 포함하여 '궤적 데이터'를 생성할 수 있다.
일례로, 자율 이송 장치(100)는 상기 시각 방향에 기초하여, 매 순간 이동 플랫폼의 후면에서 인체의 시각이 주시하는 지점들을 포함하여 상기 경로를 생성하고, 상기 시각 방향에 따른 매 순간 인체가 주시하는 지점과 이동 플랫폼 간의 이격된 정도(거리)를 고려하여, 이동 플랫폼이 해당 지점으로 이동하기 위한 속도값을 지정하고, 상기 생성한 경로에 상기 속도값을 포함하여, 이동 플랫폼에 대한 궤적 데이터를 생성할 수 있다.
단계(340)에서, 자율 이송 장치(100)는 생성된 궤적 데이터에 따라, 이동 플랫폼의 구동을 제어한다.
자율 이송 장치(100)는 상기 궤적 데이터에 포함되는 경로 상의 각 지점으로 이동 플랫폼을 지정된 속도값에 따라 이동시킬 수 있다.
이때, 자율 이송 장치(100)는 궤적 데이터 내 지점(위치)을 기반으로 이동 플랫폼의 구동 모듈(예를 들어, 모터)을 제어하여 이동시킬 수도 있고, 궤적 데이터 내 속도값을 기반으로 이동 플랫폼의 구동 모듈(예를 들어, 모터)을 제어하여 이동시킬 수도 있으며, 기본적으로 이동 플랫폼 본래의 제어 방식에 따라 이동 플랫폼의 구동 모듈을 제어할 수 있다.
이와 같이, 본 발명의 일실시예에 따르면, 사용자의 얼굴에 대한 영상 정보를 취득하고, 상기 영상 정보를 분석하여 사용자가 바라보는 방향과 각도에 관한 정보를 파악하며, 이 정보에 기초하여 이동 플랫폼이 사용자가 원하는 방향과 속도를 가지고 용이하게 이동하도록 제어할 수 있다.
본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 자율 이송 장치
110: 영상 취득부
120: 방향 판단부
130: 궤적 생성부
140: 구동 제어부

Claims (1)

  1. 이동 플랫폼으로 인체의 접근이 감지 됨에 따라, 영상 센서를 통해 상기 인체의 안면을 촬영한 영상 정보를 취득하는 단계;
    상기 취득된 영상 정보로부터 상기 인체의 눈동자를 인식하여, 상기 인체가 주시하는 시각 방향을 판단하는 단계;
    상기 시각 방향을 이용하여, 상기 이동 플랫폼을 이동하려는 지점을 식별하고, 상기 지점으로의 이동 속도값을 지정하여, 상기 지점 및 상기 이동 속도값을 포함하는 궤적 데이터를 생성하는 단계; 및
    상기 생성된 궤적 데이터에 따라, 상기 이동 플랫폼의 구동을 제어하는 단계
    를 포함하는 이동 플랫폼용 자율 이송 방법.
KR1020160020543A 2016-02-22 2016-02-22 이동 플랫폼용 자율 이송 방법 및 이동 플랫폼용 자율 이송 장치 KR20170098524A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160020543A KR20170098524A (ko) 2016-02-22 2016-02-22 이동 플랫폼용 자율 이송 방법 및 이동 플랫폼용 자율 이송 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160020543A KR20170098524A (ko) 2016-02-22 2016-02-22 이동 플랫폼용 자율 이송 방법 및 이동 플랫폼용 자율 이송 장치

Publications (1)

Publication Number Publication Date
KR20170098524A true KR20170098524A (ko) 2017-08-30

Family

ID=59760656

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160020543A KR20170098524A (ko) 2016-02-22 2016-02-22 이동 플랫폼용 자율 이송 방법 및 이동 플랫폼용 자율 이송 장치

Country Status (1)

Country Link
KR (1) KR20170098524A (ko)

Similar Documents

Publication Publication Date Title
US9485474B2 (en) System and method for learning driving information in vehicle
WO2019206270A1 (zh) 测距方法、智能控制方法及装置、电子设备和存储介质
US7873448B2 (en) Robot navigation system avoiding obstacles and setting areas as movable according to circular distance from points on surface of obstacles
US9977954B2 (en) Robot cleaner and method for controlling a robot cleaner
US10169880B2 (en) Information processing apparatus, information processing method, and program
JP2018147337A (ja) 自律移動ロボット、自律移動ロボットの制御方法および制御プログラム
US20200064827A1 (en) Self-driving mobile robots using human-robot interactions
US20140156125A1 (en) Autonomous electronic apparatus and navigation method thereof
JP2014516816A (ja) モバイルロボットによる移動対象物のトラッキング及びフォローイング
KR20110011424A (ko) 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
KR20140049152A (ko) 사람 추종 방법 및 로봇 장치
JP5001930B2 (ja) 動作認識装置及び方法
JP2007323596A (ja) 移動体の衝突回避システム、プログラムおよび方法
KR20190083727A (ko) 안내 로봇 및 그의 동작 방법
JP2021144260A (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
WO2016039158A1 (ja) 移動体制御装置及び移動体
US9165364B1 (en) Automatic tracking image pickup system
JP2003280739A (ja) 案内用自律移動ロボットとその制御方法
JP6737212B2 (ja) 運転者状態推定装置、及び運転者状態推定方法
JP6507252B2 (ja) 機器操作装置、機器操作方法、及び電子機器システム
JP2007156689A (ja) 光源位置検出装置、これを用いた顔認識装置及び自走式ロボット
JP2017204795A (ja) 追尾装置
KR101566963B1 (ko) 작업 차량 상태를 고려하여 개체를 인식할 수 있는 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체
CN111736596A (zh) 有手势控制功能的车辆、车辆的手势控制方法和存储介质
KR20170098524A (ko) 이동 플랫폼용 자율 이송 방법 및 이동 플랫폼용 자율 이송 장치