KR100772194B1 - 피사체의 움직임 여부에 기초하여 영상의 선택적 출력이가능한 네트워크 기반 지능형 이동 로봇 및 그 방법 - Google Patents
피사체의 움직임 여부에 기초하여 영상의 선택적 출력이가능한 네트워크 기반 지능형 이동 로봇 및 그 방법 Download PDFInfo
- Publication number
- KR100772194B1 KR100772194B1 KR1020060070403A KR20060070403A KR100772194B1 KR 100772194 B1 KR100772194 B1 KR 100772194B1 KR 1020060070403 A KR1020060070403 A KR 1020060070403A KR 20060070403 A KR20060070403 A KR 20060070403A KR 100772194 B1 KR100772194 B1 KR 100772194B1
- Authority
- KR
- South Korea
- Prior art keywords
- bitstream
- output
- image
- frame
- network
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 피사체의 움직임 여부에 기초하여 영상의 선택적 출력이 가능한 네트워크 기반 지능형 이동 로봇 및 그 방법에 관한 것으로, 본 발명의 네트워크 기반 이동 로봇은, 입력되는 영상을 가변 비트율로 엔코딩하여 프레임 단위의 비트스트림으로 출력하는 비디오 엔코더, 상기 비디오 엔코더에서 출력되는 프레임별 비트스트림의 사이즈를 분석하는 비트율 분석부, 상기 비트율 분석부의 분석 결과에 기초하여 상기 비트스트림의 사이즈와 설정된 기준치를 비교하여 상기 프레임별 비트스트림 내에 피사체의 움직임 여부를 판별하고 상기 비트스트림의 출력 시작점 및 출력 종료점을 추론하는 추론부, 및 상기 추론부의 출력 시작점 및 출력 종료점 추론 결과에 기초하여 내부 영상 처리 프로세서로 상기 입력된 영상 및 네트워크를 통해 연결된 원격 서버로 상기 비트스트림의 출력을 선택적으로 시작 및 종료하는 스위칭부를 포함하며, 이에 의해, 불필요한 영상의 전송을 사전에 차단하여 네트워크 사용률을 낮출 수 있고 원격 서버의 처리 부하를 낮출 수 있다.
네트워크, 이동 로봇, 영상, 전송, 가변비트율, 비트스트림
Description
도 1은 종래에 네트워크 기반 이동 로봇을 이용하여 수집한 데이터의 처리 기능이 원격 서버에 있는 네트워크 기반 원격 데이터 처리 시스템의 예를 도시한 도면,
도 2는 이동 로봇을 이용한 영상 데이터 처리를 위한 네트워크 기반 원격 영상 데이터 처리 시스템의 예를 도시한 도면,
도 3은 일반적인 MPEG4(Moving Picture Experts Group 4) 비디오 엔코더의 구성 예를 도시한 블록도,
도 4는 본 발명에 이용되는 도 3의 MPEG4 비디오 엔코더의 프레임별 비트 스트림의 그래프도,
도 5는 도 4의 프레임별 비트 스트림 그래프의 각 피크 영역에서 발생한 이벤트 예를 나타낸 그래프도,
도 6은 도 4 및 도 5에서 영상 내에 움직임이 없는 경우(프레임 1~780)의 비트 스트림 사이즈의 도수 분포의 한 예를 나타낸 그래프도,
도 7은 도 4 및 도 5에서 영상 내에 움직임이 있는 경우(프레임 783~1122)의 비트스트림 사이즈의 도수 분포의 한 예를 나타낸 그래프도,
도 8은 도 4 및 도 5에서 영상 내에 움직임이 있는 경우(프레임 3869~4924)의 비트스트림 사이즈의 도수 분포의 한 예를 나타낸 그래프도,
도 9는 본 발명의 바람직한 제1 실시예에 따른 영상내 피사체의 움직임에 기초한 촬영 이미지의 선택적 출력이 가능한 네트워크 기반 이동 로봇 시스템을 도시한 블록도,
도 10은 본 발명의 제2 실시예에 따른 영상내 피사체의 움직임에 기초한 촬영 이미지의 선택적 출력이 가능한 네트워크 기반 이동 로봇 시스템을 도시한 블록도,
도 11은 본 발명의 제3 실시예에 따른 영상내 피사체의 움직임에 기초한 촬영 이미지의 선택적 출력이 가능한 네트워크 기반 이동 로봇 시스템을 도시한 블록도,
도 12는 본 발명의 제4 실시예에 따른 영상내 피사체의 움직임에 기초한 촬영 이미지의 선택적 출력이 가능한 독립형 로봇 시스템을 도시한 블록도,
도 13은 본 발명의 바람직한 실시예에 따라 네트워크 기반 이동 로봇 시스템을 이용하여 영상내 피사체의 움직임에 기초한 촬영 이미지의 선택적 출력 방법을 도시한 흐름도, 그리고
도 14 내지 도 19는 본 발명의 실시예에 따라 네트워크 기반 이동 로봇을 통해 도4 및 도 6의 영상 데이터에서 일부를 각각 발췌하여 시작점을 검출하는 예를 도시한 그래프도이다.
본 발명은 네트워크 기반 지능형 이동 로봇에 관한 것으로서, 보다 상세하게는, 카메라를 이용하여 영상을 취득하고 취득한 영상을 영상 해석 기능을 수행하는 원격 제어 서버로 무선 네트워크를 통해 전송하는 네트워크 기반 지능형 이동 로봇 및 이를 이용한 영상 데이터 전송 방법에 관한 것이다.
일반적으로, 종래의 단독형 로봇은 로봇에 장착된 초음파 센서나 카메라 등을 통해 수집한 정보를 로봇 내부의 프로세서를 이용하여 해석하는 구조를 갖는다. 따라서 종래의 단독형 로봇은 수집한 정보를 처리하기 위한 고성능의 프로세서를 필요로 한다. 이러한 고성능의 프로세서는 단가가 비싸고, 높은 클럭 수로 인해 발열량이 많이 발생하기 때문에, 이에 대처하기 위한 냉각 시스템이 추가로 필요하다. 이러한 이유로 인해, 종래의 단독형 로봇을 배터리로 동작하는 이동형으로 구축하는 경우, 단독형 로봇은 상기와 같은 문제점을 야기한다.
또한 비디오카메라를 갖춘 로봇은 영상 해석 결과를 이용해서 사용자의 얼굴이나 동작을 인식하여 반응하거나 객체의 위치를 파악하여 휠이나 팔과 같은 머니퓰레이터를 구동하기 위해서는, 실시간 영상 처리가 필수적이다. 이에 따라, 로봇은 고수준의 영상 처리를 실시간으로 수행하기 위해서, 복수 개의 현존하는 범용 프로세서를 탑재하여야하는 문제점이 발생할 수 있다.
이러한 문제점을 해결하기 위해, 비디오카메라를 포함하는 각종 센서를 통해 해당하는 정보를 취득하고 네트워크를 통해 다른 컴퓨터(서버)에 전송할 수 있는 최소한의 성능을 갖는 임베디드 프로세서를 구비한 이동 로봇과, 이동 로봇에서 전송된 각종 취득 정보를 전달받아 해석하여 그 결과에 따라 이동 로봇을 원격 제어하는 원격 서버로 구성되는 네트워크 시스템을 구축하고 있다. 이러한 이동 로봇을 네트워크 기반 이동 로봇이라 한다.
도 1은 종래의 네트워크 기반 이동 로봇을 이용하여 수집한 데이터의 처리 기능이 원격 서버에 있는 네트워크 기반 원격 데이터 처리 시스템의 예를 도시한 도면이다.
도시된 바와 같이, 네트워크 기반 원격 데이터 처리 시스템은 네트워크 기반 이동 로봇(10), 네트워크 기반 이동 로봇(10)과 무선망(20)을 통해 통신을 수행하는 원격서버(30)를 포함한다. 네트워크 기반 이동 로봇(10)은 해당 데이터를 수집 및 수집한 데이터를 원격서버(30)로 전송하는 기능을 수행하고, 전송한 수집 데이터에 대응하여 원격서버(30)에 의해 처리되어 전송된 제어 데이터를 수신하여 이에 대응하는 동작을 제어한다. 즉, 네트워크 기반 이동 로봇(10)은 해당 데이터의 수집, 및 수집한 데이터의 처리 결과에 따른 제어 데이터에 의한 해당 동작의 제어 동작을 수행할 뿐, 수집한 데이터의 처리를 수행하지는 않는다.
보다 상세하게, 네트워크 기반 이동 로봇(10)은 센서(12)를 통해 수집한 센서 데이터(14)를 패킷 핸들러(16)를 통해 센서 데이터 패킷으로 무선망(20)을 거쳐 원격서버(30)로 전송한다. 원격서버(30)는 네트워크 기반 이동 로봇(10)으로부터 전송된 센서 데이터 패킷을 데이터 프로세서(32)를 통해 대응하는 프로세싱을 수행 한다. 이에 따라, 원격서버(30)의 제어부(34)는 데이터 프로세서(32)에서 수행된 프로세싱 결과에 따른 명령패킷을 무선망(20)을 통해 네트워크 기반 이동 로봇(10)으로 전송한다.
네트워크 기반 이동 로봇(10)은 원격서버(30)로부터 전송된 명령패킷을 패킷 핸들러(16)를 통해 수신하여, 동작 제어부(18)에 제공한다. 네트워크 기반 이동 로봇(10)의 동작 제어부(18)는 수신한 명령패킷에 따라 네트워크 기반 이동 로봇(10)의 해당 동작을 제어한다.
이와 같이, 수집 데이터의 처리 기능이 없는 네트워크 기반 이동 로봇(10)에는 소비전력이 적은 저가의 임베디드 프로세서를 사용하므로, 단가가 낮아지고 발열이 없어 이동을 위해 장착된 배터리 사용 시간이 늘어나는 장점이 있다. 또한 네트워크 기반 이동 로봇(10)은 범용 OS(Operating System)를 설치한 컴퓨터를 내장한 경우보다 훨씬 빠르게 초기화(booting)가 완료되는 장점이 있다.
또한, 원격 서버(30)는 네트워크 기반 이동 로봇(10)에 비해 부피, 중량, 및 단가의 제한이 없고 클러스터링을 통해 고성능을 구현할 수 있으므로, 기존의 어떠한 독립형 로봇보다 고속으로 고수준의 영상 해석 기능의 수행이 가능하다. 뿐만 아니라, 여러 대의 네트워크 기반 이동 로봇(10)들이 하나의 원격 서버(30)를 공유하도록 함으로써, 원격 서버(30)의 평균 단가를 낮출 수 있고 시스템 구축의 비용 부담을 줄일 수 있다.
그런데, 네트워크 기반 이동 로봇(10)은 무선망(20)을 통해 영상과 같은 센서 데이터를 원격 서버(30)로 보내야 하는데, 통상의 컴퓨터 영상 해석은 가로 320 화소, 세로 240화소 이상의 해상도의 컬러 이미지를 필요로 한다. 또한, 사용자 동작 인식은 초당 15프레임 이상의 프레임율(frame rate)을, 영상 기반 네비게이션을 하려면 그 이상의 프레임 율을 필요로 한다. 따라서, 영상데이터의 전송량은 로봇의 다른 센서 데이터의 전송량에 비해 매우 많게 된다.
그러나 네트워크 기반 이동 로봇(10)은 이동형이기 때문에 유선보다 신뢰성이 낮은 무선 네트워크를 사용해야 하므로, 영상 데이터를 그대로 보내면 네트워크 전송 에러에 의해 전송이 불가능하다. 따라서, 네트워크 기반 이동 로봇(10)은 영상 해석에 지장이 없을 정도로 영상을 압축하여 전송하고, 원격 서버(30)에서 압축을 해제하여 영상을 복원한 후 영상 해석을 처리하는 기능을 수행한다.
영상의 압축은 프레임 단위로 해도 상관없지만, 프레임 율이 높을수록 프레임간 차이는 작기 때문에, MPEG4(Moving Picture Experts Group 4)나 H.263등과 같이 이전 프레임과의 차이점을 부호화하는 동영상 포맷을 사용하는 것이 바람직하다.
도 2는 이동 로봇을 이용한 영상 데이터 처리를 위한 네트워크 기반 원격 영상 데이터 처리 시스템의 예를 도시한 도면이다.
도시된 바와 같이, 네트워크 기반 원격 영상 데이터 처리 시스템은 네트워크 기반 이동 로봇(40), 네트워크 기반 이동 로봇(40)으로부터 무선망(20)을 통해 전송되는 영상 비트스트림을 수신하여 영상 처리를 수행하는 원격서버(70)를 포함한다.
네트워크 기반 이동 로봇(40)은 카메라(42)를 통해 촬영된 촬영 이미지를 비 디오 엔코더(50)를 통해 엔코딩하여, 무선망(20)을 통해 비트 스트림으로 원격서버(70)에 전송한다. 원격서버(70)는 네트워크 기반 이동 로봇(40)으로부터 전송된 비트스트림을 비디오 디코더(72)를 통해 디코딩하여 원래 영상으로 복원하고 영상처리 프로세서(해석루틴)(74)에 전달하여 얼굴인식, 동작인식, 랜드마크 인식과 같은 작업을 수행한다.
네트워크 기반 이동 로봇(40)의 비디오 엔코더는 통상의 동영상 엔코더 칩이거나 프로세서에 내장된 하드웨어 로직일 수 있고, 원격 서버(70)의 비디오 디코더(72)는 소프트웨어 함수일 수 있다.
이러한 네트워크 기반 이동 로봇(40)은 저가의 임베디드 프로세서를 이용함으로써, 자체적으로 영상처리가 불가능하므로 모든 영상을 원격 서버(70)로 전송해야 한다. 또한 네트워크 기반 이동 로봇(40)의 카메라(42) 시야에 사용자가 없거나 움직임이 전혀 없는 경우라고 해도, 원격 서버(70)에서 영상 해석을 한 후에야 쓸모없는 영상 데이터였음이 판별된다. 하지만, 해석된 영상 데이터는 이미 네트워크 기반 이동 로봇(40)에서부터 원격 서버(70)까지의 네트워크 대역의 일정 부분을 점유하고, 원격 서버(70)의 중앙처리유닛(Center Processor Unit: CPU) 자원을 소모한 이후이다.
이와 같이, 종래의 네트워크 기반 원격 영상 데이터 처리 시스템은 수집한 영상 데이터의 필요도에 상관없이, 수집한 영상 데이터를 일방적으로 원격 서버(70)로 전송하기 때문에, 한정된 무선 자원의 낭비가 발생하고 불필요한 영상 처리로 인해 원격서버(70)의 처리 성능이 낮아지게 되는 문제점이 있다.
네트워크 기반 이동 로봇(40)이 영상 기반 네비게이션을 한다면 모든 영상이 의미 있겠지만, 네트워크 기반 이동 로봇(40)의 일반적인 운용에 있어서는 로봇(40)이 촬영하는 영상 내에 움직임이나 변화가 없으면 무의미한 영상으로 판단할 수 있다. 거꾸로, 영상 내 특정 물체의 움직임이 있거나 변화가 있으면 유효한 영상 데이터로 판단하여 원격 서버에 전송하여 해석할 필요가 있다.
상기한 바와 같이 영상 내에서 움직임을 검출하거나 영상의 변화를 검출하는 것은 기존의 보안용 영상 감시 시스템이나 디지털 비디오 레코딩 분야 또는 동영상 검색 분야에서 시도되고 있다. 영상내 움직임을 검출하여 침입자로 판단하거나, 화면의 변화가 심한 프레임을 검출하여 고속 탐색시 키(key) 프레임으로 보여주는 용도로 사용한다.
카메라 영상에서 움직임이나 장면의 전환을 검출하는 종래의 시스템은, 이전 영상과 현재 영상의 차이를 검출하기 위해서 다양한 방법을 사용한다. 원래 영상을 그대로 이용하는 시스템에서는, 영상간 조도 신호의 차이를 이용하는 차영상 연산을 하거나, 하나의 영상 프레임을 임의 크기의 매크로 블록으로 분할하고 매크로 블록 단위의 움직임 벡터(Motion Vector)를 계산하여 움직임 발생 여부를 판단한다. 동영상 하드웨어 인코더를 사용하는 시스템에서는, 동영상 인코딩된 결과를 역으로 디코딩하여 얻은 각종 정보를 이용한다.
그러나 차영상 연산의 경우, 피사체의 움직임이 아닌 환경 변화에 의한 영상 차이와 구분을 하기 어렵고, 카메라의 노이즈의 영향을 피하기 어려우므로 여러 가지 전후 처리가 필요하므로 계산량이 많아지게 된다.
매크로 블록 단위의 움직임 벡터(Motion Vector)를 계산하기 위해서는 패턴 매칭과 같은 고수준의 반복 연산이 필요한데, 통상의 카메라의 해상도에서 초당 최고 30프레임에 달하는 카메라의 프레임 율(frame rate)과 같은 속도로 이러한 연산을 소프트웨어적으로 하는 것은 저성능의 임베디드 프로세서로는 불가능하다. 또한 움직임 벡터를 계산하는 전용의 하드웨어나, 동영상 인코딩 중에 움직임 벡터를 출력하는 동영상 하드웨어 인코더를 구하기 어렵다는 단점도 있다.
동영상 인코딩된 결과를 역으로 디코딩하여 움직임 벡터를 구하는 것도, 전용의 하드웨어나 움직임 벡터를 출력하는 하드웨어 동영상 디코더가 없으므로 소프트웨어 디코더를 이용해야 하는데, 이 또한 저가의 임베디드 프로세서에서 실시간 처리가 불가능하다.
이와 같이 영상내 움직임이나 영상의 변화를 검출하는 종래의 기술은, 전용 하드웨어 없이는 저가, 저성능의 임베디드 프로세서를 사용하는 네트워크 기반 이동 로봇(40)에서 구현하기가 불가능하다는 단점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 제1 목적은, 촬영된 영상 데이터의 처리를 수행하는 서버로의 영상 데이터 전송을, 촬영되는 피사체의 움직임을 고려하여 선택적으로 수행할 수 있는 네트워크 기반 이동 로봇 및 그 방법을 제공하는 데 있다.
본 발명의 제2 목적은, 촬영된 영상 데이터에 포함된 피사체의 움직임 여부 를 보다 간편하게 판별하여 영상 데이터를 처리하는 서버로의 영상 데이터 전송을 선택적으로 수행할 수 있는 네트워크 기반 이동 로봇 및 그 방법을 제공하는 데 있다.
본 발명의 제3 목적은, 촬영된 영상 데이터를 처리하는 서버로 전송함에 따른 유선 무선 네트워크 자원의 낭비를 줄이면서 서버의 데이터 처리 부하를 경감시킬 수 있는 네트워크 기반 이동 로봇 및 그 방법을 제공하는 데 있다.
상기와 같은 목적을 해결하기 위한 본 발명의 제1실시예에 따른 네트워크 기반 이동 로봇은, 입력되는 영상을 가변 비트율로 엔코딩하여 프레임 단위의 비트스트림으로 출력하는 비디오 엔코더; 상기 비디오 엔코더에서 출력되는 프레임별 비트스트림의 사이즈를 분석하는 비트율 분석부; 상기 비트율 분석부의 분석 결과에 기초하여 상기 비트스트림의 사이즈와 설정된 기준치를 비교하여, 상기 프레임별 비트스트림 내에 피사체의 움직임 여부를 판별하고 상기 비트스트림의 출력 시작점 및 출력 종료점을 추론하는 추론부; 및 상기 추론부의 출력 시작점 및 출력 종료점 추론 결과에 기초하여, 내부 영상 처리 프로세서로 상기 입력된 영상 및 네트워크를 통해 연결되어 영상 처리를 수행하는 원격 서버로 상기 비트스트림의 출력을 선택적으로 시작 및 종료하는 스위칭부를 포함한다.
상기 비디오 엔코더는, MPEG, H.263, 및 H.264 중 적어도 어느 하나의 동영상 포맷으로 상기 입력되는 영상을 실시간 압축 변환하여 상기 가변 비트율로 엔코 딩한다.
상기 비트율 분석부는, 시계열 분석 및 주파수 분석 중 적어도 어느 하나를 이용하여, 상기 비디오 엔코더에서 출력되는 프레임별 비트스트림의 사이즈를 분석한다. 여기서, 상기 시계열 분석은 상기 프레임별 비트스트림 중 현재 시점에서 최근 입력된 N개의 표본에 대한 표본 평균, 표본 표준편차, 표본 최대값, 및 표본 최소값을 이용하여, 상기 프레임별 비트스트림의 사이즈를 분석한다. 또한, 상기 주파수 분석은 상기 프레임별 비트스트림 중 현재 시점에서 최근에 입력되는 N개의 표본에 대한 FFT 변환을 수행하여, 상기 비디오 엔코더에서 출력되는 프레임별 비트스트림의 사이즈를 분석한다.
상기 비트율 분석부는, 상기 프레임별 비트스트림의 사이즈를 분석하기 전에, 상기 프레임별 비트스트림 중 현재 시점에서 최근에 입력되는 N개의 표본에 대해 필터링을 수행하여 상기 프레임별 비트스트림의 사이즈에서 노이즈를 제거할 수 있다.
상기 스위칭부는, 상기 비트스트림을 출력하는 중에 상기 원격 서버로부터 상기 출력되는 비트스트림을 디코딩한 영상에 대한 차영상과 설정치의 비교를 통해 상기 피사체의 움직임이 없는 것으로 판단되어 상기 비트스트림의 출력 중지 명령이 입력되면, 상기 비트스트림의 출력을 중지한다.
상기 추론부는 상기 비트스트림 출력 중지 명령이 입력되면, 상기 설정된 기준치를 상기 입력된 비트스트림 출력 중지 명령에 기초하여 재설정한다.
상기 입력되는 영상은 카메라를 통해 실시간으로 촬영된 동영상 데이터이다.
한편, 상기와 같은 목적을 달성하기 위한 본 발명의 제2실시예에 따른 네트워크 기반 이동 로봇은, 입력되는 영상을 가변 비트율로 엔코딩하여 프레임 단위의 비트스트림으로 출력하는 비디오 엔코더; 상기 비디오 엔코더에서 출력되는 프레임별 비트스트림의 사이즈를 분석하는 비트율 분석부; 상기 비트율 분석부의 분석 결과에 기초하여 상기 비트스트림의 사이즈와 설정된 기준치를 비교하여, 상기 프레임별 비트스트림 내에 피사체의 움직임 여부를 판별하고 상기 비트스트림의 출력 시작점을 추론하는 추론부; 및 상기 추론부의 출력 시작점 추론 결과에 기초하여 네트워크를 통해 연결되어 영상 처리를 수행하는 원격 서버로 상기 비트스트림의 출력을 시작하고, 상기 원격 서버로부터 상기 비트스트림에 대한 전송 종료 시점 검출 프로세스를 통해 전송 중지 명령이 입력되면 상기 비트스트림의 출력을 종료하는 스위칭부를 포함한다.
한편, 상기와 같은 목적을 달성하기 위한 본 발명의 제3실시예에 따른 네트워크 기반 이동 로봇은, 입력되는 영상을 가변 비트율로 엔코딩하여 프레임 단위의 비트스트림으로 출력하는 비디오 엔코더; 상기 비디오 엔코더에서 출력되는 프레임별 비트스트림의 사이즈를 분석하는 비트율 분석부; 상기 비트율 분석부의 분석 결과에 기초하여 상기 비트스트림의 사이즈와 설정된 기준치를 비교하여, 상기 프레임별 비트스트림 내에 피사체의 움직임 여부를 판별하고 상기 비트스트림의 출력 시작점을 추론하는 추론부; 상기 추론부의 출력 시작점 추론 결과에 따라 상기 입력되는 영상을 선택적으로 출력하고, 상기 영상의 출력 종료명령이 입력되면 상기 영상의 출력을 종료하는 제1스위칭부; 상기 제1스위칭부로부터 출력되는 영상의 차 영상과 설정치를 비교를 통해 상기 영상 내에 피사체의 움직임 여부를 판별하여 상기 비트스트림의 출력 시작점 및 상기 영상의 출력 종료점을 검출하고, 상기 영상 출력 종료점에 기초하여 상기 제1스위칭부에 상기 영상 출력 종료명령을 입력하는 검출부; 및 상기 검출부의 비트스트림 출력 시작점 검출에 기초하여 상기 비디오 엔코더에서 출력되는 비트스트림을 네트워크를 통해 연결되어 영상 처리를 수행하는 원격 서버로 출력을 시작하고, 상기 원격 서버로부터 상기 비트스트림에 대한 전송 종료 시점 검출 프로세스를 통해 전송 중지 명령이 입력되면 상기 비트스트림의 출력을 중지하는 제2스위칭부를 포함한다.
상기 추론부는 상기 원격 서버로부터 상기 비트스트림 전송 중지 명령이 입력되면, 상기 설정된 기준치를 상기 입력된 비트스트림 전송 중지 명령에 기초하여 재설정한다. 또한, 상기 검출부는 상기 원격 서버로부터 상기 비트스트림 전송 중지 명령이 입력되면, 상기 설정치를 상기 입력된 비트스트림 전송 중지 명령에 기초하여 재설정한다.
한편, 상기와 같은 목적을 달성하기 위한 본 발명의 제1실시예에 따른 네트워크 기반 이동 로봇을 이용한 영상 데이터 전송 방법은, 카메라를 통해 촬영된 영상을 가변 비트율로 엔코딩하여 프레임 단위의 비트스트림으로 출력하는 단계; 상기 출력되는 프레임별 비트스트림의 사이즈를 분석하는 단계; 상기 분석 결과에 기초하여 상기 비트스트림의 사이즈와 설정된 기준치를 비교하여, 상기 프레임별 비트스트림 내에 피사체의 움직임 여부를 판별하는 단계; 상기 판별 결과에 기초하여 상기 비트스트림의 출력 시작점을 추론하는 단계; 상기 출력 시작점 추론 결과에 기초하여, 네트워크를 통해 연결되어 영상 처리를 수행하는 원격 서버나로 상기 비트스트림의 출력을 시작하는 단계; 및 상기 원격 서버로부터 상기 비트스트림에 대한 전송 종료 시점 검출 프로세스를 통해 전송 중지 명령이 입력되면, 상기 비트스트림의 출력을 종료하는 단계를 포함한다.
바람직하게는, 본 실시예의 네트워크 기반 이동 로봇을 이용한 영상 데이터 전송 방법은, 상기 비트스트림을 출력하는 중에 상기 원격 서버로부터 상기 출력되는 비트스트림에 대한 차영상과 설정치의 비교를 통해 상기 피사체의 움직임이 없는 것으로 판단되어 상기 비트스트림의 출력 중지 명령이 입력되었는지 여부를 판단하는 단계; 및 상기 비트스트림의 출력 중지 명령이 입력된 것으로 판단되면, 상기 비트스트림의 출력을 중지하는 단계를 더 포함한다.
또한, 본 실시예의 네트워크 기반 이동 로봇을 이용한 영상 데이터 전송 방법은, 상기 비트스트림 출력 중지 명령이 입력되면, 상기 설정된 기준치를 상기 입력된 비트스트림 출력 중지 명령에 기초하여 재설정하는 단계를 더 포함한다.
한편, 상기와 같은 목적을 달성하기 위한 본 발명의 제2실시예에 따른 네트워크 기반 이동 로봇을 이용한 영상 데이터 전송 방법은, 카메라를 통해 촬영된 영상을 가변 비트율로 엔코딩하여 프레임 단위의 비트스트림으로 출력하는 단계; 상기 출력되는 프레임별 비트스트림의 사이즈를 분석하는 단계; 상기 분석 결과에 기초하여 상기 비트스트림의 사이즈와 설정된 기준치를 비교하여, 상기 프레임별 비트스트림 내에 피사체의 움직임 여부를 판별하는 단계; 상기 판별 결과에 기초하여 상기 비트스트림의 출력 시작점 및 출력 종료점을 추론하는 단계; 및 상기 추론 결 과에 기초하여, 내부 영상 처리 프로세서로 상기 입력된 영상 및 네트워크를 통해 연결되어 영상 처리를 수행하는 원격 서버로 상기 비트스트림의 출력을 선택적으로 시작 및 종료하는 단계를 포함한다.
한편, 상기와 같은 목적을 달성하기 위한 본 발명의 제3실시예에 따른 네트워크 기반 이동 로봇을 이용한 영상 데이터 전송 방법은, 카메라를 통해 촬영된 영상을 가변 비트율로 엔코딩하여 프레임 단위의 비트스트림으로 출력하는 단계; 상기 출력되는 프레임별 비트스트림의 사이즈를 분석하는 단계; 상기 분석 결과에 기초하여 상기 비트스트림의 사이즈와 설정된 기준치를 비교하여, 상기 프레임별 비트스트림 내에 피사체의 움직임 여부를 판별하는 단계; 상기 판별 결과에 기초하여 상기 비트스트림의 출력 시작점을 추론하는 단계; 상기 출력 시작점 추론 결과에 따라 상기 영상을 출력하는 단계; 상기 출력되는 영상의 차영상과 설정치를 비교하여 상기 영상 내에 피사체의 움직임 여부를 판별하고, 이를 기초로 상기 비트스트림의 출력 시작점 및 상기 영상의 출력 종료점을 검출하며, 상기 검출한 영상 출력 종료점에 기초하여 상기 영상의 출력 종료를 제어하는 단계; 상기 검출한 출력 시작점에 기초하여 상기 출력되는 비트스트림을 네트워크를 통해 연결되어 영상 처리를 수행하는 원격 서버로 출력을 시작하는 단계; 및 상기 원격 서버로부터 상기 비트스트림에 대한 전송 종료 시점 검출 프로세스를 통해 전송 중지 명령이 입력되면, 상기 비트스트림의 출력을 중지하는 단계를 포함한다.
본 발명에 따르면, 네트워크를 통해 동영상 포맷의 데이터를 송수신하는 네트워크 기반 이동 로봇 시스템에서 이동 로봇이 가변 비트스트림의 사이즈를 기초 로 영상 전송의 시작 및 종료를 판별하여 그 결과에 따라 내부 영상 처리 프로세서로 상기 입력된 영상 및 네트워크를 통해 연결되어 영상 처리를 수행하는 원격 서버로 상기 비트스트림의 출력을 선택적으로 시작 및 종료함으로써, 불필요한 영상의 전송을 사전에 차단하여 네트워크 사용률을 낮출 수 있고, 여러 이동 로봇으로부터 영상 데이터를 받아 처리하는 원격 서버의 처리 부하를 낮추어 결과적으로 하나의 원격 서버로 보다 많은 이동 로봇을 운영할 수 있는 경제적인 효과가 있다.
이하, 본 발명의 바람직한 실시예들을 첨부한 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
도 3은 일반적인 MPEG 비디오 엔코더의 구성 예를 도시한 블록도이다.
도시된 바와 같이, 비디오 엔코더(50)의 프레임 저장부(51)에 입력되는 촬영 이미지 데이터는 DCT(Discrete Cosine Transform) (52)로 출력되고, DCT(52)는 입력되는 이미지 데이터를 이산 코사인 변환(DCT)을 수행하여 양자화부(53)로 출력한다. 양자화부(53)는 DCT 계수를 양자화 스텝 사이즈에 따라 양자화한 후 버퍼(54)로 출력한다.
버퍼(54)는 양자화된 데이터를 일시적으로 저장한 후 출력하고, 이러한 버퍼(54)의 버퍼링 상태정보를 비트율 제어부(55)에 제공한다. 비트율 제어부(55)는 버퍼(54)의 버퍼링 상태정보에 따라 양자화 파라미터를 계산하여 양자화부(53)에 제공한다.
양자화부(53)는 입력되는 양자화 파라미터로부터 양자화 스텝 크기를 구하여 DCT 계수를 양자화한다. 이에 따라, 양자화부(53)는 양자화 파라미터에 따라 양자화 스텝 크기를 가변시켜 데이터의 발생량, 즉 데이터의 비트 율을 조절한다.
역양자화부(56)는 양자화부(53)에서 양자화된 DCT 계수를 역양자화한 후 IDCT(57)로 출력한다. IDCT(57)는 역양자화된 DCT 계수를 역 이산 코사인 변환(IDCT)하여 프레임 저장부(58)에 저장한다.
움직임 추정부(59)는 프레임 저장부(51)로부터 출력되는 이미지 데이터와 프레임 저장부(58)에 저장된 참조 이미지 데이터를 이용하여 움직임 벡터를 추정한 후 움직임 보상부(60)로 출력한다.
움직임 보상부(60)는 움직임 추정부(59)의 추정 결과에 따라 프레임 저장부(58)로부터 읽어온 이전 프레임을 이용하여 움직임 보상을 수행하여 출력한다. 보상된 프레임 데이터는 프레임 저장부(51)에서 출력되는 데이터와 감산 처리된 후 DCT(52)로 입력된다.
이러한 구조를 갖는 비디오 엔코더(50)는 목표로 하는 프레임 율(Frame Rate)과 목표 품질에 관련된 설정을 해 줄 수 있다. MPEG4나 H.263등의 동영상 포맷에서 사용가능한 목표 품질에 관한 설정값으로는, 양자화(Quantization) 값이 있다. 또한 비디오 엔코더(50)는 목표 품질 설정값으로 항등 비트 율(Constant Bit Rate: CBR) 모드 또는 가변 비트 율(Variable Bit Rate: VBR) 모드를 선택할 수 있다.
이전 프레임과 비교한 현재 프레임 영상의 변화정도와 현재 프레임 영상의 복잡도에 비례하여 비트 스트림의 사이즈가 가변적으로 출력되는 것을 가변 비트 율 모드라 한다.
가변비트율 모드로 엔코딩된 비트 스트림을 초당 전송량이 엄격히 제한된 전송망을 통해서 전송하는 경우, 최대 비트 율에 의해 화면 품질이 제한되게 된다. 이런 경우를 피하기 위해서, 프레임 당 비트 스트림을 버퍼(54)에 일정 프레임 보관하고, 이전 프레임 비트 스트림의 사이즈에 따라 다음 프레임의 엔코딩 품질을 변화시켜 평균적인 비트 스트림 사이즈를 전송망의 초당 허용 전송량에 맞추도록 하는 방식을 항등 비트 율 모드라고 한다. 프레임간 영상의 변화 정도와 복잡도에 따라서 엔코딩된 영상 품질이 프레임마다 변하는 단점이 있으나, 기존의 동영상 응용은 대부분 초당 전송량이 제한된 전송 매체에서 이루어졌기 때문에 항등 비트 율 모드를 사용한다. 통상의 동영상 엔코더에서는 가변 비트 율 모드와 항등 비트 율 모드를 선택할 수 있다.
비디오 엔코더(50)는 전송 과정이나 매체에 읽고 쓰는 과정에서 발생하는 에러의 영향을 줄이기 위해서, 소정의 프레임마다 이전 프레임과 무관하게 현재 프레임의 정보만으로 압축하기도 한다. 이전 프레임과의 차이점에 대해 엔코딩하는 것은 인터 프레임(interframe) 엔코딩이라 하고, 이전 프레임과의 차이점은 무시하고 현재의 프레임에 대해서만 엔코딩하는 것을 인트라 프레임(intra frame) 엔코딩이라 한다.
인터 프레임 엔코딩된 비트스트림의 사이즈는 프레임간의 움직임과 복잡도에 비례하게 된다. 움직임은 프레임간의 변화이므로 인트라 프레임 엔코딩된 비트스트림은 현재 프레임 영상의 복잡도에 따라서만 그 사이즈가 결정된다. 통상의 동 영상 엔코더는 인트라 프레임 엔코딩의 빈도를 설정할 수 있으며, 매 프레임을 엔코딩하기 전에 인터 프레임 엔코딩을 할지 인트라 프레임 엔코딩을 할지 선택할 수도 있다.
한편, 인트라 프레임 엔코딩만 하는 경우가 아니라면, 전송과정이나 읽고 쓰는 과정 중에 에러가 발생하여 데이터가 일부 손상되면, 디코딩하여 얻은 영상의 특정 위치에 잘못된 영상이 남게 된다. 이러한 오류를 자동적으로 수정하기 위해서 프레임 내 매크로 블록 단위로 순차적으로 매크로 블록 수를 갱신하는데, 이러한 기능을 CIR(Cyclic Intra Refresh)이라고 한다. 통상의 동영상 엔코더에서는 CIR 기능에 의해 한 번에 갱신되는 매크로 블록 수를 설정할 수 있다. 매크로 블록간의 복잡도 차이에 의해서, 영상에 변화가 없음에도 불구하고 가변 비트 율 모드에서의 프레임 당 비트스트림의 사이즈에 변화가 생길 수 있다. 그러나 움직임이 발생하여 비트스트림이 증가하는 비트스트림의 사이즈에 비해 움직임 변화가 크지 않으며 주기성이 있으므로 매크로 블록간 복잡도의 차이에 따른 영향을 충분히 걸러낼 수 있다.
본 발명에서는 비디오 엔코더(50)의 가변 비트 율 모드를 사용하고 기본적으로는 인터 프레임 엔코딩만을 사용한다. 이와 같이, 영상 데이터를 인터 프레임 엔코딩을 수행하고 가변 비트율로 출력하는 경우, 출력되는 비트스트림에는 이전 프레임과 비교한 현재 프레임의 차이점 정보가 포함되고 움직임 정도가 많아지면 비트스트림의 사이즈가 증가한다.
도 4는 본 발명에 이용되는 도 3의 MPEG4 비디오 엔코더(50)의 프레임별 비트 스트림의 그래프도이다. 도 5는 도 4의 프레임별 비트 스트림 그래프의 각 피크 영역에서 발생한 이벤트 예를 나타낸 그래프도이다.
비디오 엔코더(50)에서 사용한 해상도는 가로 320 픽셀 및 세로 240 픽셀이며, 초당 28프레임 내외로 인코딩하였다. 도시된 바와 같이, 이동 로봇의 카메라는 첫 번째 피크가 출력되기 전까지 책상을 촬영하고 있으며, 피사체가 정물이므로 촬영 영상에 변화가 없어 비트스트림의 바이트 수에는 변화가 기준치 이하로 발행한다.
이때 이동 로봇의 카메라 앞에 손바닥이 출현하여 움직이는 경우, 비트스트림의 사이즈는 크게 늘어 1001번째 프레임의 전후에 첫 번째 피크를 형성됨을 알 수 있다. 카메라로부터 손이 사라지면, 비트스트림의 사이즈는 이전과 같은 수준으로 회복되었다.
이후, 2001번째 프레임 직전의 피크는 이동 로봇의 카메라가 움직여 화면이 전환한 경우에 발생한 것이다. 이 경우, 화면 전환 후 전체적인 화면 밝기와 복잡도에 차이가 있어서, 이후의 비트스트림 사이즈는 이전 값과 차이를 보인다.
또한 2001프레임부터 3001프레임 직후에 보이는 주기적인 작은 피크는 CIR에 의한 것이다. 2501프레임 전후의 피크는 카메라의 시야 내에 팔이 출현하여 움직이는 경우에 발생한 피크이다. 3501 프레임 전후의 피크 두 개는 카메라의 화면을 가로지르는 사람에 의해 발생한 것이다. 그 이후의 피크는 카메라의 자동 노출 보정 기능에 의해 전체적인 화면 밝기가 변하는 과정에서 발생한 것이다. 4001프레임 이전부터 5001프레임 직전까지의 비트스트림은 카메라 시야 내에 사람이 등장하여 카메라를 향해 여러 가지 동작을 취하는 동안의 움직임 정보를 포함함에 따라 비트스트림의 사이즈가 증가한 것이다.
도 6은 도 4 및 도 5에서 영상 내에 움직임이 없는 경우(프레임 1~780)의 비트스트림 사이즈의 도수 분포의 한 예이다.
도시된 바와 같이, 비트스트림 사이즈의 도수 분포에서 표본의 평균은 285이고, 표본 표준편차(σ)는 41정도이며, 표본 평균으로부터 +4σ 이내에 모든 표본이 존재할 정도로 한정된 범위를 벗어나지 않는다.
도 7은 도 4 및 도 5에서 영상 내에 움직임이 있는 경우(프레임 783~1122)의 비트스트림 사이즈의 도수 분포의 한 예이다.
도시된 바와 같이, 비트스트림 사이즈의 도수 분포에서 표본의 평균은 1830이고, 표본 표준편차(σ)는 1144로서, 도 6의 경우에 비교하여 그 값이 증가함을 알 수 있다.
도 8은 도 4 및 도 5에서 영상 내에 움직임이 있는 경우(프레임 3869~4924)의 비트스트림 사이즈의 도수 분포의 한 예이다.
도시된 바와 같이, 비트스트림 사이즈의 도수 분포에서 표본의 평균은 1776이고, 표본 표준편차(σ)는 340이다. 도 7과 도 8의 차이점은 카메라의 촬영 영상 내 움직이는 부분의 비율의 차이에 의한 것으로서, 도 7과 같이 영상 내 움직이는 영역이 많을수록 산포가 증가함을 알 수 있다.
이와 같이, 영상내 피사체가 움직이면 프레임당 비트율의 사이즈가 정적인 상태에 비해 현격하게 증가함을 알 수 있다. 본 발명은 이러한 프레임당 비트율의 사이즈를 분석하여 영상내 피사체의 움직임 정도를 판별하고, 그 결과에 따라 입력 되는 촬영 이미지의 원격 서버로의 전송 여부를 판별한다.
도 9는 본 발명의 바람직한 제1 실시예에 따른 영상내 피사체의 움직임에 기초한 촬영 이미지의 선택적 출력이 가능한 네트워크 기반 이동 로봇 시스템을 도시한 블록도이다.
도시된 바와 같이, 네트워크 기반 이동 로봇(100)은 피사체의 촬영하는 카메라(110), 촬영된 이미지(120)를 가변 비트율 동영상 엔코딩을 수행하는 비디오 엔코더(130), 엔코딩된 가변 비트율 비트 스트림의 사이즈를 분석하는 비트율 분석부(140), 분석된 비트 스트림의 사이즈에 기초하여 영상내 피사체의 움직임을 판별하여 비트 스트림의 전송 시작점 및 종료점을 추론하는 영상전송 시작점/종료점 추론부(Start Point Detect/End Point Detect Inference Unit)(150), 및 시작점/종료점의 추론 결과에 따라 비디오 엔코더(130)로부터 출력되는 가변 비트 율 비트 스트림을 원격서버(600)로 출력하는 스위칭부(170)를 포함한다.
네트워크 기반 이동 로봇(100)으로부터 무선망(20)을 통해 비트 스트림이 전송되면, 원격 서버(600)는 비디오 디코더(610)를 통해 수신한 비트 스트림을 디코딩한다.
본 발명의 실시예에 따라 비트 스트림 사이즈의 변화를 판별해 내기 위해서, 비트율 분석부(140)는 비디오 엔코더(130)에 의한 매 프레임의 코딩 결과 비트스트림의 바이트 수를 입력 받는다. 비트율 분석부(140)는 내부적으로 CIR에 의한 주기적인 비트스트림 크기 증가 영향을 모두 포함할 수 있는 크기의 버퍼(미도시)를 구비하여, 마지막 N개 비트스트림의 바이트 수를 표본으로 저장한다. 새로운 프레 임이 엔코딩되어 비트스트림의 바이트 수를 입력 받으면, 비트율 분석부(140)는 선입 선출 방식으로 버퍼에 저장하는 N개의 비트스트림 바이트 수 표본을 갱신 저장한다. 비트율 분석부(140)는 이 표본들에 대해서 표본 평균과 표본 표준편차, 표본 최대값 , 및 표본 최소값 등의 시계열 분석을 수행한다. 추가로 비트율 분석부(140)는 표본들에 대해서 FFT를 수행할 수 있다. 또한 비트율 분석부(140)는 표본 중의 최신 소정 개수에 대해 필터링을 수행하여 현재 프레임의 비트스트림 사이즈에서 노이즈의 영향을 배제할 수도 있다.
영상전송 시작점/종료점 추론부(150)는 비트율 분석부(140)의 분석 결과 데이터를 기반으로, 노이즈에 의한 변동이나 CIR에 의한 영향을 배제할 수 있는 판단 범위를 설정한다. 영상전송 시작점/종료점 추론부(150)는 새로 입력받은 비트스트림의 사이즈 또는 필터를 통과시킨 값이 상기 설정한 판단 범위를 벗어나면, 이동 로봇의 카메라(100) 촬영 이미지에 변화가 발생한 것으로 추론한다. 이는 이동 로봇의 카메라(110) 앞에 있는 사용자가 행동을 하였거나, 이동 로봇의 카메라(110) 시야 안팎으로 사용자가 이동하였을 수 있다. 이에 따라, 영상전송 시작점/종료점 추론부(150)는 가변 비트율 비트스트림의 사이즈를 이용하여, 촬영 이미지에서의 피사체 움직임을 검출 및 판별할 수 있다.
상술한 바와 같이, 본 발명의 제1 실시예에서는 원격 서버(600)로 동영상 촬영 이미지 데이터를 전송하는 네트워크 기반 이동 로봇(100)에 있어서, 이동 로봇(100) 내에 비트율에 기반한 영상전송 시작점/종료점 추론부(150)를 구비하여, 동영상 촬영 이미지의 비트스트림의 전송과 차단을 이동 로봇(100)에서 판단할 수 있도록 한 것이다. 이때 영상전송 시작점/종료점 추론부(150)는 비트율의 전송 시작점 추론과 같은 원리로 전송 종료점을 검출하여 동영상 촬영 이미지 내에 피사체의 움직임이 없는 것으로 추론되면 자동으로 스위칭부(170)를 통한 비트스트림의 전송을 종료한다.
이와 같이, 가변 비트율 비트스트림의 사이즈를 분석하는 비트율 분석부(140)와 영상전송 시작점/종료점 추론부(150)는, 용도에 따라 다음과 같이 다양한 구성으로 사용될 수 있다.
도 10은 본 발명의 제2 실시예에 따른 영상내 피사체의 움직임에 기초한 촬영 이미지의 선택적 출력이 가능한 네트워크 기반 이동 로봇 시스템을 도시한 블록도이다.
도시된 바와 같이, 본 발명의 실시예에서는 원격 서버(600)로 동영상 데이터를 전송하는 네트워크 기반 이동 로봇(200)에 있어서, 이동 로봇(200)에 도 9와 같이 카메라(210)와 비디오 엔코더(230) 및 비트율 분석부(240) 외에 영상전송 시작점 추론부(SPD Inference Unit)(280)를 구비하여 동영상 비트스트림의 전송 시작 시점의 검출을 이동 로봇(200)에서 판단하도록 한다. 영상전송 시작점 추론부(280)에 의해 전송 시작점이 검출되면, 스위칭부(270)는 비디오 엔코더(230)에서 엔코딩되어 출력되는 가변 비트 스트림을 원격서버(600)로 무선망(20)을 통해 전송한다.
또한, 본 발명의 실시예에서는 동영상 비트스트림의 전송 종료 시점 검출 프로세스 루틴을 원격 서버(600)에 두어, 전송 종료 시점을 판단하여 이동 로봇(200)에 통보하여 동영상 비트스트림의 전송을 종료시키도록 한다. 이에 따라, 스위칭 부(270)는 전송 중이던 비트스트림의 전송을 종료한다.
본 실시예에서, 원격서버(600)는 이동 로봇(200)으로부터 전송되는 비트스트림을 디코딩하는 비디오 디코더(610), 디코딩된 영상 데이터를 해석하는 영상처리 프로세서(루틴)(620), 및 디코딩된 영상 데이터로부터 비트스트림의 전송 종료점을 검출하는 영상 전송 종료점 검출부(630)를 포함한다.
본 실시예에서 영상 전송 종료점 검출부(630)의 비트스트림 전송 종료 시점 검출 프로세스 루틴은, 비디오 디코딩 과정 중의 정보를 활용하여 움직임의 유무를 검출할 수도 있고, 얼굴 검출이나 동작 인식 등의 영상 해석 루틴의 리턴 값을 참조하여 이 값이 의미 없는 경우이면 영상 전송 종료점으로 판단할 수도 있다.
도 11은 본 발명의 제3 실시예에 따른 영상내 피사체의 움직임에 기초한 촬영 이미지의 선택적 출력이 가능한 네트워크 기반 이동 로봇 시스템을 도시한 블록도이다.
도시된 바와 같이, 본 발명의 실시예에서는 원격 서버(600)로 동영상 데이터를 전송하는 네트워크 기반 이동 로봇(300)에 있어서, 이동 로봇(300)은 카메라(310), 비디오 엔코더(330), 비트율 분석부(340), 및 스위칭부(380) 외에 영상 전송 시작점 추론부(350) 및 영상 전송 시작점 검출부(370)를 구비한다.
영상 전송 시작점 추론부(350)는 가변비트율 비디오 엔코더(330)와 비트율 분석부(340)와 시작점 검출 추론 엔진(SPD inference engine)을 통해서 영상 전송 시작점 검출부(370)의 호출 시작점을 판단한다.
스위칭부(360)는 영상 전송 시작점 추론부(350)의 호출 시작점 판단 결과에 따 라 촬영 이미지(320)를 영상전송 시작점 검출부(370)로 출력한다.
영상 전송 시작점 검출부(370)는 영상 전송 시작점 추론부(350)의 호출 시작점 판단에 따라 스위칭부(360)에서 출력되는 촬영 이미지에 대해, 저수준의 차영상 연산을 통해 피사체의 움직임을 검출한다.
본 실시예에서는, 가변비트율 비디오 엔코더(330)와 비트율 분석부(340) 및 영상 전송 시작점 추론부(350)를 통해서 영상 전송 시작점 검출부(370)의 호출 시작점을 판단하고, 영상 전송 시작점 검출부(370)의 차영상 연산을 통한 피사체의 움직임 검출을 통해 스위칭부(380)를 통한 가변 비트스트림의 전송 여부를 판별한다. 이에 따라, 스위칭부(380)는 영상 전송 시작점 검출부(370)를 통한 영상의 움직임 검출에 따라 전송 시작점이 검출되면, 가변 비트스트림을 원격서버(600)로 무선망(20)을 통해 전송한다.
본 실시예에서, 원격서버(600)는 이동 로봇(300)으로부터 전송되는 비트스트림을 디코딩하는 비디오 디코더(610), 디코딩된 영상 데이터부터 비트스트림의 전송 종료점을 검출하는 영상 전송 종료점 검출부(630)를 포함한다.
본 실시예에서 영상 전송 종료점 검출부(630)의 비트스트림 전송 종료 시점 검출 프로세스 루틴은, 비디오 디코딩된 영상 데이터로부터 움직임의 유무를 검출하여 영상 전송 종료점을 판별한다. 이때, 원격서버(600)는 영상 전송 종료점이 검출되면, 전송 종료명령을 무선망(20)을 통해 이동 로봇(300)으로 전송한다. 이에 따라, 이동 로봇(300)의 스위칭부(380)는 비트스트림의 전송을 종료한다.
한편, 영상전송 시작점 검출부(370)는 소정 시간 동안 촬영 이미지의 차영상이 소정 범위를 벗어나지 않는 경우, 스위칭부(360)를 통한 촬영 이미지의 입력을 중단시킨다.
이에 따라, 본 실시예에서는 영상 해석 결과를 이용해서 움직임을 검출하는 영상전송 시작점 검출부(370)를 구비하되 비트스트림의 사이즈를 통해 영상 전송 시작점 검출부(370)의 동작을 위한 호출 빈도를 낮춤으로써, 이동 로봇(300)의 프로세서 사용률을 낮추는 효과가 있다.
도 12는 본 발명의 제4 실시예에 따른 영상내 피사체의 움직임에 기초한 촬영 이미지의 선택적 출력이 가능한 독립형 로봇 시스템을 도시한 블록도이다.
본 실시예에서는 고수준의 프로세서를 갖춘 독립형 로봇(400)에 있어서, 카메라(410)를 촬영된 촬영 이미지에 대한 가변 비트율 엔코딩을 수행하는 비디오 엔코더(430), 비트율 분석부(440), 영상 출력 시작점 추론부(450)를 구비하여 촬영 이미지의 출력 시작점을 판별한다. 스위칭부(460)는 영상 출력 시작점 추론부(450)의 추론 결과에 따라 촬영 이미지(420)를 영상 처리 루틴으로 출력한다.
영상 출력 종료점 검출부(480)는 스위칭부(460)에서 출력되는 촬영 이미지(420)의 차영상 발생 여부를 판별한다. 영상 출력 종료점 검출부(480)는 차영상이 소정 범위 내에 속하는 경우, 영상 출력 종료 명령을 통해 스위칭부(460)의 촬영 이미지(420)의 출력을 중지시킨다.
본 발명의 실시예에서는 메인 프로세서의 성능에 부담을 주지 않고 동영상 가변 비트레이트 비디오 엔코더(430)를 통해 얻은 비트레이트 정보를 활용하여 영상처리 프로세서(470)의 동작을 위한 호출 빈도를 낮춤으로써, 이동 로봇(400)의 프 로세서 사용률을 낮추는 효과가 있다.
도 13은 본 발명의 바람직한 실시예에 따라 네트워크 기반 이동 로봇 시스템을 이용하여 영상내 피사체의 움직임에 기초한 촬영 이미지의 선택적 출력 방법을 도시한 흐름도이다.
도시된 바와 같이, 네트워크 기반 이동 로봇(100)은 전원이 인가되면, 시스템을 초기화하고(S110), 영상정보수집 및 수집된 영상정보의 전송명령 입력 여부를 판별한다(S120).
정보수집 및 전송명령이 입력된 것으로 판단되면, 네트워크 기반 이동 로봇(100)은 정보 수집 및 전송을 위한 동작 모드로 전환한다(S130). 이에 따라, 네트워크 기반 이동 로봇(100)은 카메라(110)를 통해 영상을 촬영한다(S140).
네트워크 기반 이동 로봇(100)은 비디오 엔코더(130)를 통해 촬영한 영상의 프레임별 엔코딩을 통해 비트율 동영상 스트림을 획득한다(S150). 네트워크 기반 이동 로봇(100)은 비트율 분석부(140)를 통해 엔코딩된 가변 비트율 동영상 스트림의 비트율, 즉 비트스트림의 사이즈를 분석한다(S160).
네트워크 기반 이동 로봇(100)은 영상전송 시작점/종료점 추론부(150)를 통해 비트율 분석 결과 데이터에 기초하여 비트 스트림의 전송 시작점 및/또는 종료점을 추출한다(S170).
이에 따라, 네트워크 기반 이동 로봇(100)은 스위칭부(170)를 통해 추출 결과를 판별한다(S180). 추출 결과가 전송 시작점인 경우, 네트워크 기반 이동 로봇(100)은 스위칭부(170)를 통해 촬영 영상을 대상으로 분석 또는 엔코드된 가변 비트 스트림을 원격 서버(600)로 전송한다(S190). 추출 결과가 전송 종료점인 경우, 네트워크 기반 이동 로봇(100)은 스위칭부(170)를 통해 수행 중이던 촬영 영상의 분석 또는 엔코드된 가변 비트 스트림의 전송을 종료한다(S210). 한편 네트워크 기반 이동 로봇(100)은 추출 결과가 '상태변화없음' 인 경우, 전송중이면 그대로 계속 전송, 전송 종료 이후면 계속해서 데이터를 폐기하는 동작을 수행한다(S200).
이후, 네트워크 기반 이동 로봇(100)은 정보 수집 및 전송 종료 명령의 입력 여부를 판별한다(S230). 정보 수집 및 전송 종료 명령이 입력된 것으로 판단되면, 네트워크 기반 이동 로봇(100)은 시스템을 초기화한다(S110). 정보 수집 및 전송 명령이 입력되지 않은 것으로 판단되면, 네트워크 기반 이동 로봇(100)은 S140 단계 내지 S210 단계를 수행한다.
도 14 내지 도 19는 본 발명의 실시예에 따라 네트워크 기반 이동 로봇(100)을 통해 도4 및 도 6의 영상 데이터에서 일부를 각각 발췌하여 시작점을 검출하는 예를 도시한 그래프도이다.
본 실시예에서, 비트율 분석부(140)는 최신의 비트스트림의 사이즈가 132개인 표본에 대한 표본 평균(m)과 표본 표준편차(σ)를 계산한다. 도 14 내지 도 19의 (a) 각각은 프레임의 비트스트림 사이즈와 표본평균값을 나타낸 그래프도이다. 영상전송 시작점/종료점 추론부(150)는 표본 표준편차를 이용하여 매순간 기준값(m+3σ)을 정하고, 비트스트림 사이즈 2개를 평균한 값과 기준값을 비교한다. 이때 영상 전송 시작점/종료점 추론부(150)는 2개 평균값이 기준값보다 크면 영상 내에 움 직임이 있다고 판단한다.
도 14 내지 도 19의 (b) 각각은 영상전송 시작점/종료점 추론부(150)의 추론 결과로서, 움직임이 있다고 판별되면 "1", 움직임이 없다고 판별되면 "0"로 표시한 그래프도이다. 영상전송 시작점/종료점 추론부(150)의 추론 결과 그래프에서 한 번 "1"이 표시되면, 이후의 프레임은 계속해서 활용됨을 뜻한다. 이후에 연결되는 영상 해석 루틴에서 무의미한 영상이라고 판단하여 영상전송 시작점/종료점 추론부(150)에 통보하면 프레임의 활용은 중단된다.
도 14, 도 18, 및 도 19의 경우는 이와 같이 간단한 계산과 알고리즘으로도 시작점을 정확히 판단한 경우이다. 반면, 도 15, 도16, 및 도 17은 시작점을 정확히 판단하긴 하였지만, 시작점 이전의 움직임이 없는 시점에서도 시작점이라 판단하는 경우를 나타낸 것이다. 그러나, 시작점이 아닌 데도 시작점이라 판단한 경우는 이후의 영상처리 프로세서(620)를 통한 영상 해석 루틴에 의해 판별되어 곧바로 분석과 활용이 종료된다. 따라서 이에 따른 손실이 크지 않으며, 영상전송 시작점/종료점 추론부(150)가 종료점 판단 루틴의 결과를 참고해서 종료점 판단을 위한 기준점을 갱신하여 영상 전송 시작을 위한 오판의 빈도를 낮출 수 있다.
이상에서는 본 발명에서 특정의 바람직한 실시예에 대하여 도시하고 또한 설명하였다. 그러나, 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 및 균등한 타 실시가 가능할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부한 특허 청구범위에 의 해서만 정해져야 할 것이다.
본 발명에 따르면, 네트워크를 통해 동영상 포맷의 데이터를 송수신하는 네트워크 기반 이동 로봇 시스템에서 이동 로봇이 가변 비트스트림의 사이즈를 기초로 영상 전송의 시작 및 종료를 판별하여 그 결과에 따라 내부 영상 처리 프로세서로 상기 입력된 영상 및 네트워크를 통해 연결되어 영상 처리를 수행하는 원격 서버로 상기 비트스트림의 출력을 선택적으로 시작 및 종료함으로써, 불필요한 영상의 전송을 사전에 차단하여 네트워크 사용률을 낮출 수 있고, 여러 이동 로봇으로부터 영상 데이터를 받아 처리하는 원격 서버의 처리 부하를 낮추어 결과적으로 하나의 원격 서버로 보다 많은 이동 로봇을 운영할 수 있는 경제적인 효과가 있다.
또한, 네트워크를 통해 동영상 포맷의 데이터를 송수신하는 네트워크 기반 이동 로봇 시스템에서 이동 로봇이 가변 비트스트림의 사이즈를 기초로 영상 전송의 시작 및 종료를 판별하여 그 결과에 따라 영상을 원격 서버로 선택적으로 전송하고 이에 대해 원격 서버로부터 처리된 영상을 제공받아 이후 처리를 수행함으로써, 이동 로봇의 영상 처리를 위한 부담을 줄일 수 있기 때문에 저가의 임베디드 프로세서로도 구현 가능하여 이동 로봇의 제작 원가를 낮출 수 있는 효과가 있다.
Claims (28)
- 입력되는 영상을 가변 비트율로 엔코딩하여 프레임 단위의 비트스트림으로 출력하는 비디오 엔코더;상기 비디오 엔코더에서 출력되는 프레임별 비트스트림의 사이즈를 분석하는 비트율 분석부;상기 비트율 분석부의 분석 결과에 기초하여 상기 비트스트림의 사이즈와 설정된 기준치를 비교하여, 상기 프레임별 비트스트림 내에 피사체의 움직임 여부를 판별하고 상기 비트스트림의 출력 시작점 및 출력 종료점을 추론하는 추론부; 및상기 추론부의 출력 시작점 및 출력 종료점 추론 결과에 기초하여, 내부 영상 처리 프로세서로 상기 입력된 영상 및 네트워크를 통해 연결되어 영상 처리를 수행하는 원격 서버로 상기 비트스트림의 출력을 선택적으로 시작 및 종료하는 스위칭부를 포함하는 것을 특징으로 하는 네트워크 기반 이동 로봇.
- 제 1항에 있어서,상기 비디오 엔코더는, MPEG, H.263, 및 H.264 중 적어도 어느 하나의 동영상 포맷으로 상기 입력되는 영상을 실시간 압축 변환하여 상기 가변 비트율로 엔코딩하는 것을 특징으로 하는 네트워크 기반 이동 로봇.
- 제 1항 또는 제 2항에 있어서,상기 비트율 분석부는, 시계열 분석 및 주파수 분석 중 적어도 어느 하나를 이용하여, 상기 비디오 엔코더에서 출력되는 프레임별 비트스트림의 사이즈를 분석하는 것을 특징으로 하는 네트워크 기반 이동 로봇.
- 제 3항에 있어서,상기 시계열 분석은 상기 프레임별 비트스트림 중 현재 시점에서 최근 입력되는 N개의 표본에 대한 표본 평균, 표본 표준편차, 표본 최대값, 및 표본 최소값을 이용하여, 상기 프레임별 비트스트림의 사이즈를 분석하는 것을 특징으로 하는 네트워크 기반 이동 로봇.
- 제 3항에 있어서,상기 주파수 분석은 상기 프레임별 비트스트림 중 현재 시점에서 최근에 입력되는 N개의 표본에 대한 FFT 변환을 수행하여, 상기 비디오 엔코더에서 출력되는 프레임별 비트스트림의 사이즈를 분석하는 것을 특징으로 하는 네트워크 기반 이동 로봇.
- 제 3항에 있어서,상기 비트율 분석부는,상기 프레임별 비트스트림의 사이즈를 분석하기 전에, 상기 프레임별 비트스트림 중 현재 시점에서 최근에 입력되는 N개의 표본에 대해 필터링을 수행하여 상기 프레임별 비트스트림의 사이즈에서 노이즈를 제거하는 것을 특징으로 하는 네트워크 기반 이동 로봇.
- 제 1항에 있어서,상기 스위칭부는,상기 비트스트림을 출력하는 중에 상기 원격 서버로부터 상기 출력되는 비트스트림에 대한 차영상과 설정치의 비교를 통해 상기 피사체의 움직임이 없는 것으로 판단되어 상기 비트스트림의 출력 중지 명령이 입력되면, 상기 비트스트림의 출력을 중지하는 것을 특징으로 하는 네트워크 기반 이동 로봇.
- 제 7항에 있어서,상기 추론부는 상기 비트스트림 출력 중지 명령이 입력되면, 상기 설정된 기준치를 상기 입력된 비트스트림 출력 중지 명령에 기초하여 재설정하는 것을 특징 으로 하는 네트워크 기반 이동 로봇.
- 제 1항에 있어서,상기 입력되는 영상은 카메라를 통해 실시간으로 촬영된 동영상 데이터인 것을 특징으로 하는 네트워크 기반 이동 로봇.
- 입력되는 영상을 가변 비트율로 엔코딩하여 프레임 단위의 비트스트림으로 출력하는 비디오 엔코더;상기 비디오 엔코더에서 출력되는 프레임별 비트스트림의 사이즈를 분석하는 비트율 분석부;상기 비트율 분석부의 분석 결과에 기초하여 상기 비트스트림의 사이즈와 설정된 기준치를 비교하여, 상기 프레임별 비트스트림 내에 피사체의 움직임 여부를 판별하고 상기 비트스트림의 출력 시작점을 추론하는 추론부; 및상기 추론부의 출력 시작점 추론 결과에 기초하여 네트워크를 통해 연결되어 영상 처리를 수행하는 원격 서버로 상기 비트스트림의 출력을 시작하고, 상기 원격 서버로부터 상기 비트스트림에 대한 전송 종료 시점 검출 프로세스를 통해 전송 중지 명령이 입력되면 상기 비트스트림의 출력을 종료하는 스위칭부를 포함하는 것을 특징으로 하는 네트워크 기반 이동 로봇.
- 제 10항에 있어서,상기 비디오 엔코더는, MPEG, H.263, 및 H.264 중 적어도 어느 하나의 동영상 포맷으로 상기 입력되는 영상을 실시간 압축 변환하여 상기 가변 비트율로 엔코딩하는 것을 특징으로 하는 네트워크 기반 이동 로봇.
- 제 10항 또는 제 11항에 있어서,상기 비트율 분석부는, 시계열 분석 및 주파수 분석 중 적어도 어느 하나를 이용하여, 상기 비디오 엔코더에서 출력되는 프레임별 비트스트림의 사이즈를 분석하는 것을 특징으로 하는 네트워크 기반 이동 로봇.
- 제 12항에 있어서,상기 비트율 분석부는,상기 프레임별 비트스트림의 사이즈를 분석하기 전에, 상기 프레임별 비트스트림 중 현재 시점에서 최근에 입력되는 N개의 표본에 대해 필터링을 수행하여 상기 프레임별 비트스트림의 사이즈에서 노이즈를 제거하는 것을 특징으로 하는 네트워크 기반 이동 로봇.
- 제 10항에 있어서,상기 추론부는 상기 원격 서버로부터 상기 비트스트림 전송 중지 명령이 입력되면, 상기 설정된 기준치를 상기 입력된 비트스트림 전송 중지 명령에 기초하여 재설정하는 것을 특징으로 하는 네트워크 기반 이동 로봇.
- 입력되는 영상을 가변 비트율로 엔코딩하여 프레임 단위의 비트스트림으로 출력하는 비디오 엔코더;상기 비디오 엔코더에서 출력되는 프레임별 비트스트림의 사이즈를 분석하는 비트율 분석부;상기 비트율 분석부의 분석 결과에 기초하여 상기 비트스트림의 사이즈와 설정된 기준치를 비교하여, 상기 프레임별 비트스트림 내에 피사체의 움직임 여부를 판별하고 상기 비트스트림의 출력 시작점을 추론하는 추론부;상기 추론부의 출력 시작점 추론 결과에 따라 상기 입력되는 영상을 선택적으로 출력하고, 상기 영상의 출력 종료명령이 입력되면 상기 영상의 출력을 종료하는 제1스위칭부;상기 제1스위칭부로부터 출력되는 영상의 차영상과 설정치를 비교를 통해 상기 영상 내에 피사체의 움직임 여부를 판별하여 상기 비트스트림의 출력 시작점 및 상기 영상의 출력 종료점을 검출하고, 상기 영상 출력 종료점에 기초하여 상기 제1 스위칭부에 상기 영상 출력 종료명령을 입력하는 검출부; 및상기 검출부의 비트스트림 출력 시작점 검출에 기초하여 상기 비디오 엔코더에서 출력되는 비트스트림을 네트워크를 통해 연결되어 영상 처리를 수행하는 원격 서버로 출력을 시작하고, 상기 원격 서버로부터 상기 비트스트림에 대한 전송 종료 시점 검출 프로세스를 통해 전송 중지 명령이 입력되면 상기 비트스트림의 출력을 중지하는 제2스위칭부를 포함하는 것을 특징으로 하는 네트워크 기반 이동 로봇.
- 제 15항에 있어서,상기 비디오 엔코더는, MPEG, H.263, 및 H.264 중 적어도 어느 하나의 동영상 포맷으로 상기 입력되는 영상을 실시간 압축 변환하여 상기 가변 비트율로 엔코딩하는 것을 특징으로 하는 네트워크 기반 이동 로봇.
- 제 15항 또는 제 16항에 있어서,상기 비트율 분석부는, 시계열 분석 및 주파수 분석 중 적어도 어느 하나를 이용하여, 상기 비디오 엔코더에서 출력되는 프레임별 비트스트림의 사이즈를 분석하는 것을 특징으로 하는 네트워크 기반 이동 로봇.
- 제 15항에 있어서,상기 비트율 분석부는,상기 프레임별 비트스트림의 사이즈를 분석하기 전에, 상기 프레임별 비트스트림 중 현재 시점에서 최근에 입력되는 N개의 표본에 대해 필터링을 수행하여 상기 프레임별 비트스트림의 사이즈에서 노이즈를 제거하는 것을 특징으로 하는 네트워크 기반 이동 로봇.
- 제 15항에 있어서,상기 추론부는 상기 원격 서버로부터 상기 비트스트림 전송 중지 명령이 입력되면, 상기 설정된 기준치를 상기 입력된 비트스트림 전송 중지 명령에 기초하여 재설정하는 것을 특징으로 하는 네트워크 기반 이동 로봇.
- 제 15항 또는 제 19항에 있어서,상기 검출부는 상기 원격 서버로부터 상기 비트스트림 전송 중지 명령이 입력되면, 상기 설정치를 상기 입력된 비트스트림 전송 중지 명령에 기초하여 재설정하는 것을 특징으로 하는 네트워크 기반 이동 로봇.
- 카메라를 통해 촬영된 영상을 가변 비트율로 엔코딩하여 프레임 단위의 비트스트림으로 출력하는 단계;상기 출력되는 프레임별 비트스트림의 사이즈를 분석하는 단계;상기 분석 결과에 기초하여 상기 비트스트림의 사이즈와 설정된 기준치를 비교하여, 상기 프레임별 비트스트림 내에 피사체의 움직임 여부를 판별하는 단계;상기 판별 결과에 기초하여 상기 비트스트림의 출력 시작점을 추론하는 단계;상기 출력 시작점 추론 결과에 기초하여, 네트워크를 통해 연결되어 영상 처리를 수행하는 원격 서버로, 상기 비트스트림의 출력을 시작하는 단계; 및상기 원격 서버로부터 상기 비트스트림에 대한 전송 종료 시점 검출 프로세스를 통해 전송 중지 명령이 입력되면, 상기 비트스트림의 출력을 종료하는 단계를 포함하는 것을 특징으로 하는 네트워크 기반 이동 로봇을 이용한 영상 데이터 전송 방법.
- 제 21항에 있어서,상기 엔코딩 출력 단계에서는, 상기 영상에 대해 MPEG, H.263, 및 H.264 중 적어도 어느 하나의 동영상 포맷으로 실시간 압축 변환하여 상기 가변 비트율로 엔코딩 출력하는 것을 특징으로 하는 네트워크 기반 이동 로봇을 이용한 영상 데이터 전송 방법.
- 제 21항 또는 제 22항에 있어서,상기 비트스트림 사이즈 분석 단계에서는, 시계열 분석 및 주파수 분석 중 적어도 어느 하나를 이용하여, 상기 출력되는 프레임별 비트스트림의 사이즈를 분석하는 것을 특징으로 하는 네트워크 기반 이동 로봇을 이용한 영상 데이터 전송 방법.
- 제 21항에 있어서,상기 비트스트림 사이즈 분석 단계 전에, 상기 프레임별 비트스트림 중 현재 시점에서 최근에 입력되는 N개의 표본에 대해 필터링을 수행하여 상기 프레임별 비트스트림의 사이즈에서 노이즈를 제거하는 단계를 더 것을 특징으로 하는 네트워크 기반 이동 로봇을 이용한 영상 데이터 전송 방법.
- 제 21항에 있어서,상기 비트스트림을 출력하는 중에 상기 원격 서버로부터 출력되는 비트스트림에 대한 차영상과 설정치의 비교를 통해 상기 피사체의 움직임이 없는 것으로 판 단되어 상기 비트스트림의 출력 중지 명령이 입력 여부를 판단하는 단계; 및상기 비트스트림의 출력 중지 명령이 입력된 것으로 판단되면, 상기 비트스트림의 출력을 중지하는 단계를 더 포함하는 것을 특징으로 하는 네트워크 기반 이동 로봇을 이용한 영상 데이터 전송 방법.
- 제 25항에 있어서,상기 비트스트림 출력 중지 명령이 입력되면, 상기 설정된 기준치를 상기 입력된 비트스트림 출력 중지 명령에 기초하여 재설정하는 단계를 더 포함하는 것을 특징으로 하는 네트워크 기반 이동 로봇을 이용한 영상 데이터 전송 방법.
- 카메라를 통해 촬영된 영상을 가변 비트율로 엔코딩하여 프레임 단위의 비트스트림으로 출력하는 단계;상기 출력되는 프레임별 비트스트림의 사이즈를 분석하는 단계;상기 분석 결과에 기초하여 상기 비트스트림의 사이즈와 설정된 기준치를 비교하여, 상기 프레임별 비트스트림 내에 피사체의 움직임 여부를 판별하는 단계;상기 판별 결과에 기초하여 상기 비트스트림의 출력 시작점 및 출력 종료점을 추론하는 단계; 및상기 추론 결과에 기초하여, 내부 영상 처리 프로세서로 상기 입력된 영상 및 네트워크를 통해 연결되어 영상 처리를 수행하는 원격 서버로 상기 비트스트림의 출력을 선택적으로 수행하는 단계를 포함하는 것을 특징으로 하는 네트워크 기반 이동 로봇을 이용한 영상 데이터 전송 방법.
- 카메라를 통해 촬영된 영상을 가변 비트율로 엔코딩하여 프레임 단위의 비트스트림으로 출력하는 단계;상기 출력되는 프레임별 비트스트림의 사이즈를 분석하는 단계;상기 분석 결과에 기초하여 상기 비트스트림의 사이즈와 설정된 기준치를 비교하여, 상기 프레임별 비트스트림 내에 피사체의 움직임 여부를 판별하는 단계;상기 판별 결과에 기초하여 상기 비트스트림의 출력 시작점을 추론하는 단계;상기 출력 시작점 추론 결과에 따라 상기 영상을 출력하는 단계;상기 출력되는 영상의 차영상과 설정치를 비교하여 상기 영상 내에 피사체의 움직임 여부를 판별하고, 이를 기초로 상기 비트스트림의 출력 시작점 및 상기 영상의 출력 종료점을 검출하며, 상기 검출한 영상 출력 종료점에 기초하여 상기 영상의 출력 종료를 제어하는 단계;상기 검출한 출력 시작점에 기초하여 상기 출력되는 비트스트림을 네트워크를 통해 연결되어 영상 처리를 수행하는 원격 서버로 출력을 시작하는 단계; 및상기 원격 서버로부터 상기 비트스트림에 대한 전송 종료 시점 검출 프로세스를 통 해 전송 중지 명령이 입력되면, 상기 비트스트림의 출력을 중지하는 단계를 포함하는 것을 특징으로 하는 네트워크 기반 이동 로봇을 이용한 영상 데이터 전송 방법.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060070403A KR100772194B1 (ko) | 2006-07-26 | 2006-07-26 | 피사체의 움직임 여부에 기초하여 영상의 선택적 출력이가능한 네트워크 기반 지능형 이동 로봇 및 그 방법 |
US11/762,139 US20080025387A1 (en) | 2006-07-26 | 2007-06-13 | Intelligent moving robot based network communication capable of outputting/transmitting images selectively according to moving of photographed object |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060070403A KR100772194B1 (ko) | 2006-07-26 | 2006-07-26 | 피사체의 움직임 여부에 기초하여 영상의 선택적 출력이가능한 네트워크 기반 지능형 이동 로봇 및 그 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR100772194B1 true KR100772194B1 (ko) | 2007-11-01 |
Family
ID=38986246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060070403A KR100772194B1 (ko) | 2006-07-26 | 2006-07-26 | 피사체의 움직임 여부에 기초하여 영상의 선택적 출력이가능한 네트워크 기반 지능형 이동 로봇 및 그 방법 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20080025387A1 (ko) |
KR (1) | KR100772194B1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180044742A (ko) * | 2016-10-24 | 2018-05-03 | 삼성에스디에스 주식회사 | 영상 선택 방법 및 그 장치 |
KR101938114B1 (ko) * | 2018-08-08 | 2019-01-11 | 안도균 | 영상 분석 정보를 제공하는 카메라 및 그 방법 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010045968A1 (en) * | 2008-10-21 | 2010-04-29 | Abb Technology Ab | A robot system with a teach pendant |
US9014848B2 (en) | 2010-05-20 | 2015-04-21 | Irobot Corporation | Mobile robot system |
US8374421B1 (en) * | 2011-10-18 | 2013-02-12 | Google Inc. | Methods and systems for extracting still frames from a compressed video |
CN104782124B (zh) * | 2012-12-17 | 2018-09-07 | 英特尔公司 | 利用编码器硬件对视频内容进行预处理 |
US9934475B2 (en) * | 2015-05-13 | 2018-04-03 | Bank Of America Corporation | Managing enterprise data movement using a heuristic data movement detection engine |
KR102584526B1 (ko) * | 2016-09-26 | 2023-10-05 | 한화비전 주식회사 | 영상 처리 장치 및 방법 |
CN108242007B (zh) * | 2016-12-26 | 2022-01-25 | 纳恩博(北京)科技有限公司 | 服务提供方法及装置 |
US11064226B2 (en) * | 2017-03-16 | 2021-07-13 | Echo-Sense, Inc. | System and method for concurrent data streams from a singular sensor with remotely selectable parameters |
US10594917B2 (en) * | 2017-10-30 | 2020-03-17 | Microsoft Technology Licensing, Llc | Network-controlled 3D video capture |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR960003404A (ko) * | 1994-06-15 | 1996-01-26 | 김광호 | 움직임크기에 적응하는 동영상 데이타의 부호화방법 및 장치 |
KR960043909A (ko) * | 1995-05-29 | 1996-12-23 | 김광호 | 가변 비트율 동화상 부호화장치 |
JPH10200924A (ja) | 1997-01-13 | 1998-07-31 | Matsushita Electric Ind Co Ltd | 画像伝送装置 |
JP2003018525A (ja) | 2001-07-04 | 2003-01-17 | Fujitsu Ltd | ネットワーク蓄積型ビデオカメラシステム |
JP2005260802A (ja) | 2004-03-15 | 2005-09-22 | Matsushita Electric Works Ltd | 監視装置 |
KR20060063605A (ko) * | 2004-12-06 | 2006-06-12 | 엘지전자 주식회사 | 영상신호의 엔코딩과 그 전송, 그리고 디코딩을 위한 방법및 장치 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5612900A (en) * | 1995-05-08 | 1997-03-18 | Kabushiki Kaisha Toshiba | Video encoding method and system which encodes using a rate-quantizer model |
KR100215450B1 (ko) * | 1996-05-17 | 1999-08-16 | 윤종용 | 불규칙메쉬들을 이용한 대상물 지향 화상표현방법및그장치 |
US6282207B1 (en) * | 1999-03-30 | 2001-08-28 | Diva Systems Corporation | Method and apparatus for storing and accessing multiple constant bit rate data |
US7224731B2 (en) * | 2002-06-28 | 2007-05-29 | Microsoft Corporation | Motion estimation/compensation for screen capture video |
US7609763B2 (en) * | 2003-07-18 | 2009-10-27 | Microsoft Corporation | Advanced bi-directional predictive coding of video frames |
US7346106B1 (en) * | 2003-12-30 | 2008-03-18 | Apple Inc. | Robust multi-pass variable bit rate encoding |
US7881546B2 (en) * | 2004-09-08 | 2011-02-01 | Inlet Technologies, Inc. | Slab-based processing engine for motion video |
CA2587271A1 (en) * | 2004-11-16 | 2006-07-13 | Sean Darwish | System for rapid delivery of digital content via the internet |
-
2006
- 2006-07-26 KR KR1020060070403A patent/KR100772194B1/ko not_active IP Right Cessation
-
2007
- 2007-06-13 US US11/762,139 patent/US20080025387A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR960003404A (ko) * | 1994-06-15 | 1996-01-26 | 김광호 | 움직임크기에 적응하는 동영상 데이타의 부호화방법 및 장치 |
KR960043909A (ko) * | 1995-05-29 | 1996-12-23 | 김광호 | 가변 비트율 동화상 부호화장치 |
JPH10200924A (ja) | 1997-01-13 | 1998-07-31 | Matsushita Electric Ind Co Ltd | 画像伝送装置 |
JP2003018525A (ja) | 2001-07-04 | 2003-01-17 | Fujitsu Ltd | ネットワーク蓄積型ビデオカメラシステム |
JP2005260802A (ja) | 2004-03-15 | 2005-09-22 | Matsushita Electric Works Ltd | 監視装置 |
KR20060063605A (ko) * | 2004-12-06 | 2006-06-12 | 엘지전자 주식회사 | 영상신호의 엔코딩과 그 전송, 그리고 디코딩을 위한 방법및 장치 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180044742A (ko) * | 2016-10-24 | 2018-05-03 | 삼성에스디에스 주식회사 | 영상 선택 방법 및 그 장치 |
KR102440329B1 (ko) | 2016-10-24 | 2022-09-02 | 삼성에스디에스 주식회사 | 영상 선택 방법 및 그 장치 |
KR101938114B1 (ko) * | 2018-08-08 | 2019-01-11 | 안도균 | 영상 분석 정보를 제공하는 카메라 및 그 방법 |
Also Published As
Publication number | Publication date |
---|---|
US20080025387A1 (en) | 2008-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100772194B1 (ko) | 피사체의 움직임 여부에 기초하여 영상의 선택적 출력이가능한 네트워크 기반 지능형 이동 로봇 및 그 방법 | |
US11423942B2 (en) | Reference and non-reference video quality evaluation | |
US9402034B2 (en) | Adaptive auto exposure adjustment | |
US20120195356A1 (en) | Resource usage control for real time video encoding | |
US9756348B2 (en) | Method, device and system for producing a merged digital video sequence | |
US9635374B2 (en) | Systems and methods for coding video data using switchable encoders and decoders | |
KR20150040872A (ko) | 가상 인트라-프레임을 사용하여 비디오 콘텐츠를 인코딩하기 위한 시스템 및 방법 | |
KR20140110008A (ko) | 객체 검출 정보에 따른 인코딩 | |
AU2005272046A1 (en) | Method and apparatus for detecting motion in MPEG video streams | |
JP2019068248A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR20170090355A (ko) | 비디오 인코딩 방법 및 비디오 인코더 시스템 | |
KR100465244B1 (ko) | 영상 데이터의 움직임 감지장치 및 방법 | |
US10979711B2 (en) | Method and encoder system for encoding video | |
US10051281B2 (en) | Video coding system with efficient processing of zooming transitions in video | |
US10531001B2 (en) | Controller, video camera, and method for controlling a video camera | |
JP7050509B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR20040084517A (ko) | 동영상 휴대 전화기를 이용한 보안 감시 시스템 | |
CN106162196B (zh) | 一种面向智能分析的视频编码***及方法 | |
Huong et al. | A Practical High Efficiency Video Coding Solution for Visual Sensor Network using Raspberry Pi Platform | |
KR20020023454A (ko) | 개량된 엠펙 부호화 방법 및 이를 이용한 동영상 전송시스템 및 그 방법 | |
WO2024082971A1 (zh) | 一种视频处理方法及相关装置 | |
JPH11266459A (ja) | 動画像符号化装置、移動物体検出装置およびこれら装置に適用される動き予測装置 | |
JP2001275103A (ja) | 監視システム及びその動き検出方法 | |
US20110096831A1 (en) | Image encoding device, image encoding method, and imaging system | |
WO2016122540A1 (en) | Encoder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20121011 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20130923 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20140926 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20150925 Year of fee payment: 9 |
|
LAPS | Lapse due to unpaid annual fee |