KR20240048723A - System and method for obtaining map image and object location of robot based on multi-camera - Google Patents
System and method for obtaining map image and object location of robot based on multi-camera Download PDFInfo
- Publication number
- KR20240048723A KR20240048723A KR1020220128389A KR20220128389A KR20240048723A KR 20240048723 A KR20240048723 A KR 20240048723A KR 1020220128389 A KR1020220128389 A KR 1020220128389A KR 20220128389 A KR20220128389 A KR 20220128389A KR 20240048723 A KR20240048723 A KR 20240048723A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- mobile robot
- cameras
- camera group
- area
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000004891 communication Methods 0.000 claims description 36
- 238000003384 imaging method Methods 0.000 claims description 30
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 claims description 7
- 101150002963 DFR1 gene Proteins 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000274965 Cyrestis thyodamas Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
- B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Studio Devices (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
Abstract
다중 카메라 기반의 이동 로봇의 맵 이미지 및 물체 위치를 획득하기 위한 시스템 및 방법이 개시된다. 본 개시의 일 실시예에 따른 시스템은, 이동 로봇 및 이동 로봇에서 제1 모서리에 대응되는 제1 부분에 배치되는 제1 카메라 그룹, 이동 로봇에서 제1 부분으로부터 제1 방향과 수직되는 제2 방향으로 이격된 제2 모서리에 대응되는 제2 부분에 배치되는 제2 카메라 그룹, 이동 로봇에서 제2 부분으로부터 제1 방향으로 이격된 제3 모서리에 대응되는 제3 부분에 제1 카메라 그룹과 동일한 배치 형태로 배치되는 제3 카메라 그룹, 및 이동 로봇에서 제1 부분으로부터 제2 방향으로 이격된 제4 모서리에 대응되는 제4 부분에 제2 카메라 그룹과 동일한 배치 형태로 배치되는 제4 카메라 그룹을 포함한다.A system and method for acquiring map images and object locations of a multi-camera based mobile robot are disclosed. A system according to an embodiment of the present disclosure includes a mobile robot, a first camera group disposed on a first part corresponding to a first edge in the mobile robot, and a second direction perpendicular to the first direction from the first part in the mobile robot. A second camera group disposed in the second part corresponding to the second edge spaced apart from the second edge, and the same arrangement as the first camera group in the third part corresponding to the third edge spaced apart from the second part in the first direction in the mobile robot. It includes a third camera group arranged in the same configuration as the second camera group, and a fourth camera group arranged in the same arrangement as the second camera group in the fourth part corresponding to the fourth corner spaced apart from the first part in the second direction in the mobile robot. do.
Description
본 개시는 전자 장치 및 그의 방법에 관한 것이다. 보다 상세하게는, 본 개시는 다중 카메라 기반의 이동 로봇의 맵 이미지 및 위치를 획득하기 위한 시스템 및 방법에 관한 것이다.This disclosure relates to electronic devices and methods thereof. More specifically, the present disclosure relates to a system and method for acquiring map images and positions of a multi-camera based mobile robot.
4차 산업혁명 시대를 맞이하여 유통, 호텔, 물류 등 다양한 산업 분야에서 인공지능 개발되면서 서비스 로봇의 도입이 증가하는 추세이다.In the era of the 4th Industrial Revolution, the introduction of service robots is increasing as artificial intelligence is developed in various industries such as distribution, hotels, and logistics.
이러한 서비스 로봇의 원활한 주행을 위해서는, 다수의 로봇들이 공유하여 사용할 정비된 지도환경 데이터를 제공해 주어야 한다.In order for these service robots to run smoothly, it is necessary to provide well-organized map environment data that can be shared by multiple robots.
이를 위한 맵 데이터는 이동로봇들의 주행이 원활하게 이루어질 수 있도록 맵 에디터를 통해 정비되어 각 이동로봇들로 배포된다.The map data for this is organized through a map editor and distributed to each mobile robot so that the mobile robots can run smoothly.
맵 데이터는 기본적으로 로봇의 운영 계획에 맞추어 공통의 지도 공간 정보를 제공하고 있으나, 어떤 환경에 어떤 정보를 제공할 것인지에 대한 구체적인 설정이 미흡한 실정이다.Map data basically provides common map space information in accordance with the robot's operation plan, but there is a lack of specific settings for what information to provide in what environment.
본 개시에 개시된 실시예는 일반적인 카메라들을 로봇에 적절히 배치함으로써, 일반적인 카메라만으로도 로봇의 주변에 위치한 물체들의 위치를 왜곡 없이 정확히 검출하는데 그 목적이 있다. The purpose of the embodiment disclosed in the present disclosure is to accurately detect the positions of objects located around the robot without distortion with only a general camera by appropriately arranging general cameras on the robot.
본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present disclosure are not limited to the problems mentioned above, and other problems not mentioned can be clearly understood by those skilled in the art from the description below.
상술한 기술적 과제를 달성하기 위한 본 개시의 일 측면에 따른 시스템은, 일정한 촬영 각도의 촬상 영역을 촬영하도록 구성된 복수의 카메라들; 및 복수의 카메라들로부터 주변 영역에 대한 비전 이미지들을 입력받고, 비전 이미지들을 기초로 물체의 위치를 획득하도록 구성된 이동 로봇을 포함한다. 복수의 카메라들은, 이동 로봇에서 제1 모서리에 대응되는 제1 부분에 배치되는 제1 카메라 그룹; 이동 로봇에서 제1 부분으로부터 제1 방향과 수직되는 제2 방향으로 이격된 제2 모서리에 대응되는 제2 부분에 배치되는 제2 카메라 그룹; 이동 로봇에서 제2 부분으로부터 제1 방향으로 이격된 제3 모서리에 대응되는 제3 부분에 제1 카메라 그룹과 동일한 배치 형태로 배치되는 제3 카메라 그룹; 및 이동 로봇에서 제1 부분으로부터 제2 방향으로 이격된 제4 모서리에 대응되는 제4 부분에 제2 카메라 그룹과 동일한 배치 형태로 배치되는 제4 카메라 그룹을 포함한다.A system according to an aspect of the present disclosure for achieving the above-described technical problem includes a plurality of cameras configured to photograph an imaging area at a constant photographing angle; and a mobile robot configured to receive vision images of the surrounding area from a plurality of cameras and acquire the location of the object based on the vision images. The plurality of cameras includes: a first camera group disposed in a first portion corresponding to a first corner of the mobile robot; A second camera group disposed in a second part of the mobile robot corresponding to a second edge spaced apart from the first part in a second direction perpendicular to the first direction; a third camera group disposed in the same arrangement as the first camera group in a third part of the mobile robot corresponding to a third edge spaced apart from the second part in a first direction; and a fourth camera group disposed in the same arrangement as the second camera group in the fourth part of the mobile robot corresponding to the fourth edge spaced apart from the first part in the second direction.
또한, 본 개시의 다른 측면에 따른 복수의 카메라들 및 이동 로봇을 포함하는 시스템의 방법은, 복수의 카메라들로부터 비전 이미지들을 수신하는 단계; 및 비전 이미지들을 기초로 물체의 위치를 획득하는 단계를 포함한다. 복수의 카메라들은, 이동 로봇에서 제1 모서리에 대응되는 제1 부분에 배치되는 제1 카메라 그룹; 이동 로봇에서 제1 부분으로부터 제1 방향으로 이격된 제2 모서리에 대응되는 제2 부분에 배치되는 제2 카메라 그룹; 이동 로봇에서 제2 부분으로부터 제1 방향과 수직되는 제2 방향으로 이격된 제3 모서리에 대응되는 제3 부분에 제1 카메라 그룹과 동일한 배치 형태로 배치되는 제3 카메라 그룹; 및 이동 로봇에서 제1 부분으로부터 제2 방향으로 이격된 제4 모서리에 대응되는 제4 부분에 제2 카메라 그룹과 동일한 배치 형태로 배치되는 제4 카메라 그룹을 포함한다.Additionally, a method of a system including a plurality of cameras and a mobile robot according to another aspect of the present disclosure includes receiving vision images from the plurality of cameras; and acquiring the location of the object based on the vision images. The plurality of cameras includes: a first camera group disposed in a first portion corresponding to a first corner of the mobile robot; A second camera group disposed on a second part of the mobile robot corresponding to a second edge spaced apart from the first part in a first direction; A third camera group disposed in the same arrangement as the first camera group in a third portion of the mobile robot corresponding to a third edge spaced apart from the second portion in a second direction perpendicular to the first direction; and a fourth camera group disposed in the same arrangement as the second camera group in the fourth part of the mobile robot corresponding to the fourth edge spaced apart from the first part in the second direction.
또한, 본 개시의 또 다른 측면에 따른 시스템은, 일정한 촬영 각도의 촬상 영역을 촬영하도록 구성된 복수의 카메라들; 복수의 카메라들로부터 주변 영역에 대한 비전 이미지들을 입력받고, 비전 이미지들을 기초로 물체의 위치를 획득하도록 구성된 이동 로봇; 및 복수의 카메라들 및 이동 로봇 상에서 물품을 지지하는 받침대 및 받침대와 물리적으로 연결된 복수의 다리 부품들을 포함하는 트롤리(Trolley)을 포함한다. 복수의 카메라들은, 이동 로봇에서 제1 모서리에 대응되는 제1 부분에 배치되는 제1 카메라 그룹; 이동 로봇에서 제1 부분으로부터 제1 방향으로 이격된 제2 모서리에 대응되는 제2 부분에 배치되는 제2 카메라 그룹; 이동 로봇에서 제2 부분으로부터 제1 방향과 수직되는 제2 방향으로 이격된 제3 모서리에 대응되는 제3 부분에 제1 카메라 그룹과 동일한 배치 형태로 배치되는 제3 카메라 그룹; 및 이동 로봇에서 제1 부분으로부터 제2 방향으로 이격된 제4 모서리에 대응되는 제4 부분에 제2 카메라 그룹과 동일한 배치 형태로 배치되는 제4 카메라 그룹을 포함한다.Additionally, a system according to another aspect of the present disclosure includes a plurality of cameras configured to photograph an imaging area at a constant photographing angle; A mobile robot configured to receive vision images of a surrounding area from a plurality of cameras and acquire the location of an object based on the vision images; and a trolley including a plurality of cameras and a pedestal supporting articles on the mobile robot and a plurality of leg parts physically connected to the pedestal. The plurality of cameras includes: a first camera group disposed in a first portion corresponding to a first corner of the mobile robot; A second camera group disposed on a second part of the mobile robot corresponding to a second edge spaced apart from the first part in a first direction; A third camera group disposed in the same arrangement as the first camera group in a third portion of the mobile robot corresponding to a third edge spaced apart from the second portion in a second direction perpendicular to the first direction; and a fourth camera group disposed in the same arrangement as the second camera group in the fourth part of the mobile robot corresponding to the fourth edge spaced apart from the first part in the second direction.
이 외에도, 본 개시를 구현하기 위한 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.In addition to this, a computer program stored in a computer-readable recording medium for execution to implement the present disclosure may be further provided.
이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition to this, a computer-readable recording medium recording a computer program for executing a method for implementing the present disclosure may be further provided.
본 개시의 전술한 과제 해결 수단에 의하면, 본 개시는 일반적인 카메라들을 로봇에 적절히 배치함으로써, 일반적인 카메라만으로도 로봇의 주변에 위치한 물체들의 위치를 왜곡 없이 정확히 검출하는 효과를 제공한다.According to the above-described problem solving means of the present disclosure, the present disclosure provides the effect of accurately detecting the positions of objects located around the robot without distortion with only a general camera by appropriately arranging general cameras on the robot.
또한, 본 개시의 전술한 과제 해결 수단에 의하면, 본 개시는 일반적인 카메라들을 로봇에 적절히 배치함으로써, 일반적인 카메라만으로도 맵 이미지를 정확히 생성하는 효과를 제공한다.In addition, according to the above-described problem solving means of the present disclosure, the present disclosure provides the effect of accurately generating a map image with only a general camera by appropriately arranging general cameras on the robot.
또한, 본 개시의 전술한 과제 해결 수단에 의하면, 본 개시는 일반적인 카메라들을 로봇에 적절히 배치함으로써, 트롤리의 다리 부품이 카메라의 촬상 영역에 가려지는 현상을 최소화하는 효과를 제공한다.In addition, according to the above-described problem solving means of the present disclosure, the present disclosure provides the effect of minimizing the phenomenon of the leg parts of the trolley being obscured by the imaging area of the camera by appropriately arranging general cameras on the robot.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present disclosure are not limited to the effects mentioned above, and other effects not mentioned may be clearly understood by those skilled in the art from the description below.
도 1은 본 개시의 예시적인 실시예들에 따른 시스템을 설명하기 위한 도면이다.
도 2는 복수의 카메라들의 배치를 설명하기 위한 도 1의 시스템의 평면도이다.
도 3은 본 개시의 일 실시예에 따라 배치된 복수의 카메라들의 촬상 영역들을 설명하기 위한 도면이다.
도 4는 본 개시의 다른 실시예들에 따라 배치된 복수의 카메라들의 촬상 영역들을 설명하기 위한 도면이다.
도 5는 본 개시의 예시적인 실시예들에 따른 시스템의 블록도이다.
도 6은 본 개시의 예시적인 실시예들에 따른 이동 로봇의 블록도이다.
도 7은 본 개시의 예시적인 실시예들에 따른 시스템의 방법을 설명하기 위한 흐름도이다.
도 8은 본 개시의 일부 실시예들에 따른 시스템을 설명하기 위한 도면이다.
도 9는 복수의 카메라들의 배치를 설명하기 위한 도 8의 시스템의 평면도이다.1 is a diagram for explaining a system according to example embodiments of the present disclosure.
FIG. 2 is a plan view of the system of FIG. 1 to illustrate the arrangement of a plurality of cameras.
FIG. 3 is a diagram for explaining imaging areas of a plurality of cameras arranged according to an embodiment of the present disclosure.
FIG. 4 is a diagram for explaining imaging areas of a plurality of cameras arranged according to other embodiments of the present disclosure.
5 is a block diagram of a system according to example embodiments of the present disclosure.
Figure 6 is a block diagram of a mobile robot according to example embodiments of the present disclosure.
Figure 7 is a flowchart for explaining a system method according to example embodiments of the present disclosure.
FIG. 8 is a diagram for explaining a system according to some embodiments of the present disclosure.
FIG. 9 is a plan view of the system of FIG. 8 to illustrate the arrangement of a plurality of cameras.
본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다. Like reference numerals refer to like elements throughout this disclosure. This disclosure does not describe all elements of the embodiments, and general content or overlapping content between embodiments in the technical field to which this disclosure pertains is omitted. The term 'part, module, member, block' used in the specification may be implemented as software or hardware, and depending on the embodiment, a plurality of 'part, module, member, block' may be implemented as a single component, or It is also possible for one 'part, module, member, or block' to include multiple components.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.Throughout the specification, when a part is said to be “connected” to another part, this includes not only direct connection but also indirect connection, and indirect connection includes connection through a wireless communication network. do.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Additionally, when a part "includes" a certain component, this means that it may further include other components rather than excluding other components, unless specifically stated to the contrary.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.Throughout the specification, when a member is said to be located “on” another member, this includes not only cases where a member is in contact with another member, but also cases where another member exists between the two members.
제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다. Terms such as first and second are used to distinguish one component from another component, and the components are not limited by the above-mentioned terms.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.Singular expressions include plural expressions unless the context clearly makes an exception.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다. The identification code for each step is used for convenience of explanation. The identification code does not explain the order of each step, and each step may be performed differently from the specified order unless a specific order is clearly stated in the context. there is.
이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.Hereinafter, the operating principle and embodiments of the present disclosure will be described with reference to the attached drawings.
본 명세서에서 '본 개시에 따른 시스템'은 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, '본 개시에 따른 시스템'은, 컴퓨터, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.In this specification, the 'system according to the present disclosure' includes all various devices that can perform computational processing and provide results to the user. For example, the 'system according to the present disclosure' may include all of a computer, a server device, and a portable terminal, or may be in any one form.
여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.Here, the computer may include, for example, a laptop, desktop, laptop, tablet PC, slate PC, etc. equipped with a web browser.
상기 서버 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.The server device is a server that processes information by communicating with external devices, and may include an application server, computing server, database server, file server, game server, mail server, proxy server, and web server.
상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)) 등과 같은 웨어러블 장치를 포함할 수 있다.The portable terminal is, for example, a wireless communication device that guarantees portability and mobility, such as PCS (Personal Communication System), GSM (Global System for Mobile communications), PDC (Personal Digital Cellular), PHS (Personal Handyphone System), and PDA. (Personal Digital Assistant), IMT (International Mobile Telecommunication)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), WiBro (Wireless Broadband Internet) terminal, smart phone ), all types of handheld wireless communication devices, and wearables such as watches, rings, bracelets, anklets, necklaces, glasses, contact lenses, or head-mounted-device (HMD). May include devices.
도 1은 본 개시의 예시적인 실시예들에 따른 시스템을 설명하기 위한 도면이다.1 is a diagram for explaining a system according to example embodiments of the present disclosure.
도 1을 참조하면, 시스템(10)은 다중 카메라 기반으로 맵 이미지 및 물체 위치를 획득할 수 있다. 이러한 시스템(10)은 이동 물체의 주행 시스템과 결합되어 주행 보조 시스템, 어라운드 뷰 장치, 자율 주행 시스템으로 적용될 수 있다.Referring to FIG. 1, the
시스템(10)은 이동 로봇(100) 및 복수의 카메라들(1000_1~1000_8)을 포함할 수 있다.
이동 로봇(100)은 바퀴를 이용해 자유롭게 이동할 수 있는 물체일 수 있다. 도 1에서는 이동 로봇(100)에 바퀴가 포함되는 것으로 도시되어 있으나, 이에 한정되는 것은 아니며, 다른 실시예들에 따른 이동 로봇(100)은 캐터필러로 동작하거나, 프로펠러로 동작하는 드론, 선박, 자동차 등에 적용될 수 있다.The
이동 로봇(100)은 제1 방향(D1)으로 움직일 수 있다. 여기서, 제1 방향(D1)은 이동 로봇(100)이 전진하거나 후진하는 방향인 것으로 가정한다. 이동 로봇(100)은 제2 방향(D2)으로 움직일 수 있다. 여기서, 제2 방향(D2)은 이동 로봇(100)이 방향 전환하기 위한 방향인 것으로 가정한다. 이동 로봇(100)은 제1 방향(D1) 및 제2 방향(D2)으로 전진 좌회전, 전진 우회전, 후진 좌회전, 또는 후진 우회전을 할 수 있다.The
이동 로봇(100)은 일측(예를 들면, 제3 방향(D3))의 높이(또는 두께)갖고, 제1 방향(D1) 및 제2 방향(D2)의 면적을 갖는 본체와, 적어도 하나의 바퀴를 포함할 수 있다. 이동 로봇(100)의 본체 형상은 입체형상으로서 도 1에서는 육면체일 수 있으나, 이에 한정되는 것은 아니다.The
일부 실시예들에서, 복수의 카메라들(1000_1~1000_8)은, 제1 내지 제4 카메라 그룹들로 구분될 수 있다. 각 카메라 그룹은 이동 로봇(100)에서 모서리에 대응되는 부분에 배치될 수 있다.In some embodiments, the plurality of cameras 1000_1 to 1000_8 may be divided into first to fourth camera groups. Each camera group may be placed in a portion of the
도 1에 도시된 복수의 카메라들(1000_1~1000_8)의 개수는 8개일 수 있으나, 이에 한정되는 것은 아니며, 설계 방법에 따라 8개보다 작거나 8개보다 클 수 있다. The number of cameras 1000_1 to 1000_8 shown in FIG. 1 may be 8, but is not limited thereto, and may be smaller than 8 or larger than 8 depending on the design method.
복수의 카메라들(1000_1~1000_8)은 일정한 촬영 각도(또는 화각)의 촬상 영역을 촬영하도록 구성될 수 있다. 카메라의 촬영 각도가 커지면 시차가 켜져 왜곡이 발생할 수 있는데, 복수의 카메라들(1000_1~1000_8)은 일반적인 카메라로 구현될 수 있으므로, 복수의 카메라들(1000_1~1000_8)로부터 획득된 비전 이미지들에서 왜곡이 발생하지 않을 수 있다.A plurality of cameras (1000_1 to 1000_8) may be configured to photograph an imaging area at a constant photographing angle (or view angle). As the shooting angle of the camera increases, parallax may occur and distortion may occur. Since the plurality of cameras (1000_1 to 1000_8) can be implemented as general cameras, there is distortion in the vision images obtained from the plurality of cameras (1000_1 to 1000_8). This may not occur.
복수의 카메라들(1000_1~1000_8)은 이동 로봇(100)의 상부(예를 들면, 제3 방향(D3))에 위치할 수 있다. 복수의 카메라들(1000_1~1000_8)은 이동 로봇(100)의 이동 방향(예를 들면, 제1 방향(D1))에 대해 전면 방향, 후면 방향, 사선 방향 등으로 배치될 수 있다. A plurality of cameras 1000_1 to 1000_8 may be located at the top of the mobile robot 100 (eg, in the third direction D3). The plurality of cameras 1000_1 to 1000_8 may be arranged in a front direction, back direction, diagonal direction, etc. with respect to the movement direction (eg, first direction D1) of the
일부 실시예들에서, 복수의 카메라들(1000_1~1000_8)이 사선 방향으로 배치될 수 있다. 그리고, 복수의 카메라들(1000_1~1000_8) 중 제1 및 제2 카메라들(1000_1, 1000_2)이 같은 위치에 모여 배치되고, 복수의 카메라들(1000_1~1000_8) 중 제3 및 제4 카메라들(1000_3, 1000_4)이 같은 위치에 모여 배치되고, 복수의 카메라들(1000_1~1000_8) 중 제5 및 제6 카메라들(1000_5, 1000_6)이 같은 위치에 모여 배치되고, 복수의 카메라들(1000_1~1000_8) 중 제7 및 제8 카메라들(1000_7, 1000_8)이 같은 위치에 모여 배치될 수 있다. 그리고, 복수의 카메라들(1000_1~1000_8) 중 제1 카메라(1000_1) 및 제7 카메라(1000_7)가 같은 방향으로 배치되고, 복수의 카메라들(1000_1~1000_8) 중 제2 카메라(1000_2) 및 제8 카메라(1000_8)가 같은 방향으로 배치되고, 복수의 카메라들(1000_1~1000_8) 중 제3 카메라(1000_3) 및 제5 카메라(1000_5)가 같은 방향으로 배치되고, 복수의 카메라들(1000_1~1000_8) 중 제4 카메라(1000_4) 및 제6 카메라(1000_6)가 같은 방향으로 배치될 수 있다.In some embodiments, a plurality of cameras 1000_1 to 1000_8 may be arranged in a diagonal direction. In addition, the first and second cameras (1000_1, 1000_2) among the plurality of cameras (1000_1 to 1000_8) are gathered and arranged at the same location, and the third and fourth cameras (1000_2) among the plurality of cameras (1000_1 to 1000_8) ( 1000_3, 1000_4) are gathered and placed at the same location, among the plurality of cameras (1000_1 to 1000_8), the fifth and sixth cameras (1000_5, 1000_6) are gathered and placed at the same location, and the plurality of cameras (1000_1 to 1000_8) ), the seventh and eighth cameras (1000_7, 1000_8) may be placed together at the same location. And, among the plurality of cameras (1000_1 to 1000_8), the first camera (1000_1) and the seventh camera (1000_7) are arranged in the same direction, and the second camera (1000_2) and the seventh camera (1000_7) among the plurality of cameras (1000_1 to 1000_8) 8 cameras (1000_8) are arranged in the same direction, and among the plurality of cameras (1000_1 to 1000_8), the third camera (1000_3) and the fifth camera (1000_5) are arranged in the same direction, and the plurality of cameras (1000_1 to 1000_8) ), the fourth camera 1000_4 and the sixth camera 1000_6 may be arranged in the same direction.
일부 실시예들에서, 복수의 카메라들(1000_1~1000_8)이 제1 방향(D1) 및 제2 방향(D2)에 평행하게 배치될 수 있다. 즉, 복수의 카메라들(1000_1~1000_8)이, 제1 방향(D1) 및 제2 방향(D2)으로 이루어진 2차원 평면 상에 나란히 배치될 수 있다.In some embodiments, a plurality of cameras 1000_1 to 1000_8 may be arranged parallel to the first direction D1 and the second direction D2. That is, a plurality of cameras 1000_1 to 1000_8 may be arranged side by side on a two-dimensional plane in the first direction D1 and the second direction D2.
일부 실시예들에서, 복수의 카메라들(1000_1~1000_8)이, 제1 방향(D1) 및 제2 방향(D2)으로 이루어진 2차원 평면으로부터 일정한 기울기를 갖도록, 이동 로봇(100) 상에 기울어져 배치될 수 있다. 이 경우, 복수의 카메라들(1000_1~1000_8)의 촬영 각도가, 제1 방향(D1) 및 제2 방향(D2)으로 이루어진 2차원 평면으로부터 일정한 각도를 유지할 수 있으므로, 복수의 카메라들(1000_1~1000_8)에 의해 획득된 비전 이미지에서 바닥면(예를 들면, 이동 로봇(100)이 지지되는 면으로, 제3 방향(D3)으로의 길이가 0이고 제1 방향(D1) 및 제2 방향(D2)으로 이루어진 2차원 평면)이 포함되지 않을 수 있다. 이에 따라, 복수의 카메라들(1000_1~1000_8)에 의해 획득된 비전 이미지에서 상대적으로 더 많은 정보들이 포함될 수 있다.In some embodiments, a plurality of cameras 1000_1 to 1000_8 are tilted on the
전술한 바에 의하면, 일반적인 촬영 각도를 갖는 카메라들을 이용함으로써 로봇의 주변에 위치한 물체들의 위치를 왜곡 없이 검출할 수 있다는 장점이 있다. According to the above, there is an advantage that the positions of objects located around the robot can be detected without distortion by using cameras having a general shooting angle.
이하에서는 이동 로봇(100) 상에서 복수의 카메라들(1000_1~1000_8)이 배치되는 배치 위치에 대한 설명이 후술된다.Hereinafter, a description of the placement positions where the plurality of cameras 1000_1 to 1000_8 are placed on the
도 2는 복수의 카메라들의 배치를 설명하기 위한 도 1의 시스템의 평면도이다.FIG. 2 is a plan view of the system of FIG. 1 to illustrate the arrangement of a plurality of cameras.
도 2를 참조하면, 시스템(10)에 포함된 복수의 카메라들(1000_1~1000_8)은 제1 내지 제4 카메라 그룹으로 구분될 수 있다.Referring to FIG. 2, a plurality of cameras 1000_1 to 1000_8 included in the
제1 카메라 그룹은 이동 로봇(100)에서 제1 모서리에 대응되는 제1 부분(P1)에 배치될 수 있다. 예를 들면, 제1 및 제2 카메라들(1000_1, 1000_2)은 제1 카메라 그룹에 포함되며, 제1 부분(P1)에 배치될 수 있다. 제1 카메라(1000_1)는 제2 방향(D2)에 대하여 일정한 각도(θ1)만큼 기울어져 배치될 수 있다. 또는 제1 카메라(1000_1)는 제1 방향(D1)에 대하여 일정 각도만큼 기울어져 배치될 수 있다. 제2 카메라(1000_2)는 제1 카메라(1000_1)와 원점 대칭되도록 배치될 수 있다. 구체적으로, 제2 카메라(1000_2)는 제1 카메라(1000_1)와 제1 방향(D1) 및 제2 방향(D2) 각각에 대하여 대칭되고 제2 방향(D2)에 대하여 일정한 각도(θ1)만큼 기울어져 배치될 수 있다. The first camera group may be placed in the first part P1 corresponding to the first corner of the
제2 카메라 그룹은 이동 로봇(100)에서 제2 모서리에 대응되는 제2 부분(P2)에 배치될 수 있다. 예를 들면, 제3 및 제4 카메라들(1000_3, 1000_4)은 제2 카메라 그룹에 포함되며, 제2 부분(P2)에 배치될 수 있다. 제2 부분(P2)은 제1 부분(P1)으로부터 제2 방향(D2)으로 일정한 거리(a)만큼 이격된 부분될 수 있다. 제3 카메라(1000_3)는 제2 방향(D2)에 대하여 일정한 각도(θ1)만큼 기울어져 배치될 수 있다. 제4 카메라(1000_4)는 제3 카메라(1000_3)와 원점 대칭되도록 배치될 수 있다. 구체적으로, 제4 카메라(1000_4)는 제3 카메라(1000_3)와 제1 방향(D1) 및 제2 방향(D2) 각각에 대하여 대칭되고 제2 방향(D2)에 대하여 일정한 각도(θ1)만큼 기울어져 배치될 수 있다.The second camera group may be placed in the second part P2 corresponding to the second corner of the
제3 카메라 그룹은 이동 로봇(100)에서 제3 모서리에 대응되는 제3 부분(P3)에 배치될 수 있다. 예를 들면, 제5 및 제6 카메라들(1000_5, 1000_6)은 제3 카메라 그룹에 포함되며, 제3 부분(P3)에 배치될 수 있다. 제3 부분(P3)은 제2 부분(P2)으로부터 제1 방향(D1)으로 일정한 거리(b)만큼 이격된 부분될 수 있다. 또는 제3 부분(P3)은 제1 부분(P1)으로부터 사선 방향으로 일정한 거리(c)만큼 이격된 부분될 수 있다. 제3 카메라 그룹은 제1 카메라 그룹과 동일한 배치 형태로 배치될 수 있다. 예를 들면, 제1 카메라 그룹의 제1 및 제2 카메라들(1000_1, 1000_2)의 배치 형태와 제3 카메라 그룹의 제5 및 제6 카메라들(1000_5, 1000_6)의 배치 형태가 동일할 수 있다. The third camera group may be placed in the third portion P3 corresponding to the third corner of the
제4 카메라 그룹은 이동 로봇(100)에서 제4 모서리에 대응되는 제4 부분(P4)에 배치될 수 있다. 예를 들면, 제7 및 제8 카메라들(1000_7, 1000_8)은 제4 카메라 그룹에 포함되며, 제4 부분(P4)에 배치될 수 있다. 제4 부분(P4)은 제3 부분(P3)으로부터 제2 방향(D2)으로 일정한 거리(a)만큼 이격된 부분될 수 있다. 또는 제4 부분(P4)은 제1 부분(P1)으로부터 제1 방향(D1)으로 일정한 거리(b)만큼 이격된 부분될 수 있다. 또는 제4 부분(P4)은 제2 부분(P2)으로부터 사선 방향으로 일정한 거리(c)만큼 이격된 부분될 수 있다. 제4 카메라 그룹은 제2 카메라 그룹과 동일한 배치 형태로 배치될 수 있다. 예를 들면, 제2 카메라 그룹의 제3 및 제4 카메라들(1000_3, 1000_4)의 배치 형태와 제4 카메라 그룹의 제7 및 제7 카메라들(1000_7, 1000_8)의 배치 형태가 동일할 수 있다.The fourth camera group may be placed in the fourth portion P4 corresponding to the fourth corner of the
일부 실시예들에서, 제1 카메라 그룹과 제3 카메라 그룹 간의 거리(c)는, 제2 카메라 그룹과 제4 카메라 그룹 간의 거리(c)와 동일할 수 있다. 그리고, 제1 카메라 그룹과 제3 카메라 그룹 간의 거리(c) 및 제2 카메라 그룹과 제4 카메라 그룹 간의 거리(c)는, 복수의 카메라들 간의 거리들 중 가장 길 수 있다. 예를 들면, 제1 카메라 그룹과 제3 카메라 그룹 간의 거리(c) 및 제2 카메라 그룹과 제4 카메라 그룹 간의 거리(c)는, 제1 카메라 그룹과 제2 카메라 그룹 간의 거리(a) 및 제2 카메라 그룹과 제3 카메라 그룹 간의 거리(b)보다 클 수 있다. 전술한 바에 의하면, 제1 카메라 그룹과 제3 카메라 그룹(또는, 제2 카메라 그룹과 제4 카메라 그룹)으로부터 획득된 비전 이미지들로부터 물체의 위치를 정확히 검출할 수 있다는 장점이 있다.In some embodiments, the distance c between the first camera group and the third camera group may be equal to the distance c between the second camera group and the fourth camera group. And, the distance (c) between the first camera group and the third camera group and the distance (c) between the second camera group and the fourth camera group may be the longest among the distances between the plurality of cameras. For example, the distance (c) between the first camera group and the third camera group and the distance (c) between the second camera group and the fourth camera group are the distance (a) between the first camera group and the second camera group, and It may be greater than the distance (b) between the second camera group and the third camera group. According to the above, there is an advantage that the position of an object can be accurately detected from vision images acquired from the first camera group and the third camera group (or the second camera group and the fourth camera group).
복수의 카메라들(1000_1~1000_8)은 일정한 촬영 각도(θ2)의 촬상 영역을 촬영할 수 있다.A plurality of cameras 1000_1 to 1000_8 may capture an imaging area at a constant capturing angle θ2.
일부 실시예들에서, 복수의 카메라들(1000_1~1000_8)의 개수는 360도에서 촬영 각도(θ2)로 나눈 정수의 두배이고, 제1 카메라 그룹 내지 제4 카메라 그룹 각각에 포함된 카메라의 개수는, 복수의 카메라들의 개수의 1/4, 즉 균등하게 분배될 수 있다. 구체적으로, 복수의 카메라들(1000_1~1000_8)의 개수(n)는 아래의 [수학식 1]에 따라 산출될 수 있다.In some embodiments, the number of cameras 1000_1 to 1000_8 is twice an integer divided by the shooting angle θ2 at 360 degrees, and the number of cameras included in each of the first to fourth camera groups is , 1/4 of the number of cameras, that is, can be distributed evenly. Specifically, the number (n) of the plurality of cameras (1000_1 to 1000_8) can be calculated according to [Equation 1] below.
[수학식 1][Equation 1]
여기서, θ는 촬영 각도이고, θ의 단위는 도(degree)일 수 있다. 예를 들면, θ가 90°이면, 복수의 카메라들(1000_1~1000_8)의 개수는 8개이고, 각 카메라 그룹에 포함되는 카메라 개수는 2개일 수 있다. 다른 예를 들면, θ가 60°이면, 복수의 카메라들(1000_1~1000_8)의 개수는 12개이고, 각 카메라 그룹에 포함되는 카메라 개수는 3개일 수 있다. 또 다른 예를 들면, θ가 45°이면, 복수의 카메라들(1000_1~1000_8)의 개수는 16개이고, 각 카메라 그룹에 포함되는 카메라 개수는 4개일 수 있다. 하지만, 이에 한정되는 것은 아니다.Here, θ is the shooting angle, and the unit of θ may be degrees. For example, if θ is 90°, the number of cameras 1000_1 to 1000_8 may be 8, and the number of cameras included in each camera group may be 2. For another example, if θ is 60°, the number of cameras 1000_1 to 1000_8 may be 12, and the number of cameras included in each camera group may be 3. For another example, if θ is 45°, the number of cameras 1000_1 to 1000_8 may be 16, and the number of cameras included in each camera group may be 4. However, it is not limited to this.
이하에서는 촬영 각도(θ2)가 90°인 8 개의 카메라들(1000_1~1000_8)을 기준으로 각 카메라의 배치 형태에 대한 설명이 후술된다.Below, a description of the arrangement of each camera based on eight cameras (1000_1 to 1000_8) with a shooting angle (θ2) of 90° will be described.
도 3은 본 개시의 일 실시예에 따라 배치된 복수의 카메라들의 촬상 영역들을 설명하기 위한 도면이다.FIG. 3 is a diagram for explaining imaging areas of a plurality of cameras arranged according to an embodiment of the present disclosure.
도 3을 참조하면, 일 실시예에서, 복수의 카메라들(1000_1~1000_8)은 일반적인 카메라일 수 있다. 각 카메라의 촬영 각도는 90°인 경우, 복수의 카메라들(1000_1~1000_8)의 개수는 8개일 수 있다. 그리고, 각 카메라 그룹은 2개의 카메라들을 포함할 수 있다.Referring to FIG. 3, in one embodiment, the plurality of cameras 1000_1 to 1000_8 may be general cameras. If the shooting angle of each camera is 90°, the number of cameras 1000_1 to 1000_8 may be 8. And, each camera group may include two cameras.
제1 카메라 그룹은 제1 부분(P1)에 배치될 수 있다. 제1 카메라 그룹에 포함된 제1 카메라(1000_1)는 제2 방향(D2)에 대하여 45° 각도로 배치될 수 있다. 제1 카메라 그룹에 포함된 제2 카메라(1000_2)는, 제1 카메라(1000_1)와 제1 방향(D1) 및 제2 방향(D2) 각각에 대하여 대칭되고 제2 방향(D2)에 대하여 45° 각도로 배치될 수 있다. 제1 카메라(1000_1)와 제2 카메라(1000_2)는 원점 대칭일 수 있다.The first camera group may be placed in the first portion (P1). The first camera 1000_1 included in the first camera group may be arranged at an angle of 45° with respect to the second direction D2. The second camera 1000_2 included in the first camera group is symmetrical with respect to the first camera 1000_1 in each of the first direction D1 and the second direction D2 and is angled by 45° with respect to the second direction D2. Can be placed at an angle. The first camera 1000_1 and the second camera 1000_2 may be symmetrical at the origin.
제2 카메라 그룹은 제2 부분(P2)에 배치될 수 있다. 제2 카메라 그룹에 포함된 제3 카메라(1000_3)는 제1 카메라(1000_1)와 제1 방향(D1)에 대하여 대칭되고 제2 방향(D2)에 대하여 45° 각도로 배치될 수 있다. 제2 카메라 그룹에 포함된 제4 카메라(1000_4)는 제3 카메라(1000_3)와 제1 방향(D1)및 제2 방향(D2) 각각에 대하여 대칭되고 제2 방향(D2)에 대하여 45° 각도로 배치될 수 있다. 제3 카메라(1000_3)와 제4 카메라(1000_4)는 원점 대칭일 수 있다.The second camera group may be disposed in the second part (P2). The third camera 1000_3 included in the second camera group may be symmetrical to the first camera 1000_1 in the first direction D1 and may be arranged at an angle of 45° with respect to the second direction D2. The fourth camera 1000_4 included in the second camera group is symmetrical to the third camera 1000_3 in each of the first and second directions D1 and D2 and has a 45° angle with respect to the second direction D2. It can be placed as . The third camera 1000_3 and the fourth camera 1000_4 may be symmetrical at the origin.
제3 카메라 그룹은 제3 부분(P3)에 배치될 수 있다. 제3 카메라 그룹에 포함된 제5 카메라(1000_5)는 제1 카메라(1000_1)의 배치 방향과 동일한 배치 방향으로 배치될 수 있다. 제3 카메라 그룹에 포함된 제6 카메라(1000_6)는 제2 카메라(1000_2)의 배치 방향과 동일한 배치 방향으로 배치될 수 있다. 제5 카메라(1000_5)와 제6 카메라(1000_6)는 원점 대칭일 수 있다.The third camera group may be placed in the third portion (P3). The fifth camera 1000_5 included in the third camera group may be arranged in the same arrangement direction as the first camera 1000_1. The sixth camera 1000_6 included in the third camera group may be arranged in the same arrangement direction as the second camera 1000_2. The fifth camera 1000_5 and the sixth camera 1000_6 may be symmetrical at the origin.
제4 카메라 그룹은 제4 부분(P4)에 배치될 수 있다. 제4 카메라 그룹에 포함된 제7 카메라(1000_7)는 제3 카메라(1000_3)의 배치 방향과 동일한 배치 방향으로 배치될 수 있다. 제4 카메라 그룹에 포함된 제8 카메라(1000_8)는 제4 카메라(1000_4)의 배치 방향과 동일한 배치 방향으로 배치될 수 있다. 제7 카메라(1000_7)와 제8 카메라(1000_8)는 원점 대칭일 수 있다.The fourth camera group may be placed in the fourth portion (P4). The seventh camera 1000_7 included in the fourth camera group may be arranged in the same arrangement direction as the third camera 1000_3. The eighth camera 1000_8 included in the fourth camera group may be arranged in the same arrangement direction as the fourth camera 1000_4. The seventh camera 1000_7 and the eighth camera 1000_8 may be symmetrical at the origin.
일 실시예에서, 이동 로봇(100)의 주변 영역은 복수의 영역들(FR1, FR2, FR3, FR4) 및 사선 영역들(DFR1, DFR2, DFR3, DFR4)을 포함할 수 있다. 이때, 제1 방향(D1)이 이동 로봇(100)의 전방인 경우, 제1 영역(FR1)은 제1 방향(D1)에 대응되는 전방 영역으로 지칭될 수 있다. 제2 영역(FR2)은 제1 방향(D1)에 대응되는 후방 영역으로 지칭될 수 있다. 제3 및 제4 영역들(FR3, FR4)은 제2 방향(D2)에 대응되는 측방 영역들로 지칭될 수 있다. 여기서, 제3 영역(FR3)은 좌측방 영역이고 제4 영역(FR4)은 우측방 영역인 것으로 가정한다. 여기서, 복수의 영역들(FR1, FR2, FR3, FR4) 및 사선 영역들(DFR1, DFR2, DFR3, DFR4)을 구분 지칭하기 위한 제1, 제2 등의 용어는 이에 한정되는 것은 아니다.In one embodiment, the surrounding area of the
각 카메라의 촬상 영역에 의해, 각 카메라는 주변 영역에서 일부 영역들을 촬영할 수 있다. 도 3을 참조하여 예를 들면, 제1 카메라(1000_1)는 제1 영역(FR1) 및 제1 사선 영역(DFR1)을 촬영할 수 있다. 제2 카메라(1000_2)는 제3 영역(FR3) 및 제3 사선 영역(DFR3)을 촬영할 수 있다. 제3 카메라(1000_3)는 제1 영역(FR1) 및 제4 사선 영역(DFR4)을 촬영할 수 있다. 제4 카메라(1000_4)는 제4 영역(FR4) 및 제2 사선 영역(DFR2)을 촬영할 수 있다. 제5 카메라(1000_5)는 제4 영역(FR4) 및 제1 사선 영역(DFR1)을 촬영할 수 있다. 제6 카메라(1000_6)는 제2 영역(FR2) 및 제3 사선 영역(DFR3)을 촬영할 수 있다. 제7 카메라(1000_7)는 제3 영역(FR3) 및 제4 사선 영역(DFR4)을 촬영할 수 있다. 제8 카메라(1000_8)는 제2 영역(FR2) 및 제2 사선 영역(DFR2)을 촬영할 수 있다. 하나의 카메라로부터 획득된 비전 이미지만으로는 그 비전 이미지 내에 포함된 물체의 위치 및/또는 물체에 대한 거리는 알 수 없지만, 카메라로부터 그 물체를 향하는 방향은 알 수 있다.Depending on the imaging area of each camera, each camera can image some areas in the surrounding area. For example, with reference to FIG. 3 , the first camera 1000_1 may photograph the first area FR1 and the first diagonal area DFR1. The second camera 1000_2 may photograph the third area FR3 and the third diagonal area DFR3. The third camera 1000_3 may photograph the first area FR1 and the fourth diagonal area DFR4. The fourth camera 1000_4 can capture the fourth area FR4 and the second diagonal area DFR2. The fifth camera 1000_5 can capture the fourth area FR4 and the first diagonal area DFR1. The sixth camera 1000_6 can photograph the second area FR2 and the third diagonal area DFR3. The seventh camera 1000_7 can capture the third area FR3 and the fourth diagonal area DFR4. The eighth camera 1000_8 can photograph the second area FR2 and the second diagonal area DFR2. A vision image obtained from a single camera alone cannot determine the location and/or distance to an object included in the vision image, but the direction from the camera toward the object can be known.
제1 카메라(1000_1)와 제3 카메라(1000_3)에 의해, 이동 로봇(100)의 제4 사선 영역(DFR4), 제1 영역(FR1), 및 제1 사선 영역(DFR1)에 존재하는 물체가 감지될 수 있다. 제4 카메라(1000_4)와 제5 카메라(1000_5)에 의해, 이동 로봇(100)의 제1 사선 영역(DFR1), 제4 영역(FR4), 및 제2 사선 영역(DFR2)에 존재하는 물체가 감지될 수 있다. 제6 카메라(1000_6)와 제8 카메라(1000_8)에 의해, 이동 로봇(100)의 제2 사선 영역(DFR2), 제2 영역(FR2), 및 제3 사선 영역(DFR3)에 존재하는 물체가 감지될 수 있다. 제7 카메라(1000_7)와 제2 카메라(1000_2)에 의해, 이동 로봇(100)의 제3 사선 영역(DFR3), 제3 영역(FR3), 및 제4 사선 영역(DFR4)에 존재하는 물체가 감지될 수 있다. Objects present in the fourth slanted area DFR4, the first area FR1, and the first slanted area DFR1 of the
한편, 중복되는 촬상 영역을 갖는 2 개의 카메라들로부터 획득된 비전 이미지들으로 해당 촬상 영역 내 존재하는 물체의 위치는 검출될 수 있다. Meanwhile, the position of an object existing in the corresponding imaging area can be detected using vision images acquired from two cameras having overlapping imaging areas.
구체적으로 예를 들면, 제1 카메라(1000_1)와 제5 카메라(1000_5)는 제1 사선 영역(DFR1)을 공통적으로 촬영할 수 있으므로, 제1 카메라(1000_1)와 제5 카메라(1000_5) 각각에 의해 촬영된 비전 이미지들로부터 제1 사선 영역(DFR1)에 존재하는 물체의 위치가 획득될 수 있다. Specifically, for example, the first camera 1000_1 and the fifth camera 1000_5 can commonly photograph the first diagonal area DFR1, so that each of the first camera 1000_1 and the fifth camera 1000_5 The location of an object existing in the first diagonal area DFR1 may be obtained from the captured vision images.
제4 카메라(1000_4)와 제8 카메라(1000_8)는 제2 사선 영역(DFR2)을 공통적으로 촬영할 수 있으므로, 제4 카메라(1000_4)와 제8 카메라(1000_8) 각각에 의해 촬영된 비전 이미지들로부터 제2 사선 영역(DFR2)에 존재하는 물체의 위치가 획득될 수 있다. Since the fourth camera 1000_4 and the eighth camera 1000_8 can commonly photograph the second diagonal area DFR2, from the vision images captured by each of the fourth camera 1000_4 and the eighth camera 1000_8 The location of an object present in the second diagonal area DFR2 may be obtained.
제2 카메라(1000_2)와 제6 카메라(1000_6)는 제3 사선 영역(DFR3)을 공통적으로 촬영할 수 있으므로, 제2 카메라(1000_2)와 제6 카메라(1000_6) 각각에 의해 촬영된 비전 이미지들로부터 제3 사선 영역(DFR3)에 존재하는 물체의 위치가 획득될 수 있다. Since the second camera 1000_2 and the sixth camera 1000_6 can commonly photograph the third diagonal area DFR3, from the vision images captured by each of the second camera 1000_2 and the sixth camera 1000_6, The location of an object existing in the third diagonal area DFR3 may be obtained.
제3 카메라(1000_3)와 제7 카메라(1000_7)는 제4 사선 영역(DFR4)을 공통적으로 촬영할 수 있으므로, 제3 카메라(1000_3)와 제7 카메라(1000_7)는 각각에 의해 촬영된 비전 이미지들로부터 제4 사선 영역(DFR4)에 존재하는 물체의 위치가 획득될 수 있다.Since the third camera 1000_3 and the seventh camera 1000_7 can commonly photograph the fourth diagonal area DFR4, the vision images captured by the third camera 1000_3 and the seventh camera 1000_7 respectively From there, the location of an object existing in the fourth diagonal area DFR4 can be obtained.
제1 카메라(1000_1)와 제3 카메라(1000_3)는 제1 영역(FR1)을 공통적으로 촬영할 수 있으므로, 제1 카메라(1000_1)와 제3 카메라(1000_3) 각각에 의해 촬영된 비전 이미지들로부터 제1 영역(FR1)에 존재하는 물체의 위치가 획득될 수 있다.Since the first camera 1000_1 and the third camera 1000_3 can commonly photograph the first area FR1, The location of an object existing in area 1 FR1 can be obtained.
제6 카메라(1000_6)와 제8 카메라(1000_8)는 제2 영역(FR2)을 공통적으로 촬영할 수 있으므로, 제6 카메라(1000_6)와 제8 카메라(1000_8) 각각에 의해 촬영된 비전 이미지들로부터 제2 영역(FR2)에 존재하는 물체의 위치가 획득될 수 있다. Since the sixth camera 1000_6 and the eighth camera 1000_8 can commonly photograph the second area FR2, The location of an object existing in area 2 FR2 can be obtained.
제2 카메라(1000_2)와 제7 카메라(1000_7)는 제3 영역(FR3)을 공통적으로 촬영할 수 있으므로, 제2 카메라(1000_2)와 제7 카메라(1000_7) 각각에 의해 촬영된 비전 이미지들로부터 제3 영역(FR3)에 존재하는 물체의 위치가 획득될 수 있다. Since the second camera 1000_2 and the seventh camera 1000_7 can commonly photograph the third area FR3, The location of an object existing in
제4 카메라(1000_4)와 제5 카메라(1000_5)는 제4 영역(FR4)을 공통적으로 촬영할 수 있으므로, 제4 카메라(1000_4)와 제5 카메라(1000_5) 각각에 의해 촬영된 비전 이미지들로부터 제4 영역(FR4)에 존재하는 물체의 위치가 획득될 수 있다. Since the fourth camera 1000_4 and the fifth camera 1000_5 can commonly photograph the fourth area FR4, The location of an object existing in area 4 FR4 can be obtained.
도 4는 본 개시의 다른 실시예들에 따라 배치된 복수의 카메라들의 촬상 영역들을 설명하기 위한 도면이다.FIG. 4 is a diagram for explaining imaging areas of a plurality of cameras arranged according to other embodiments of the present disclosure.
도 4를 참조하면, 일부 실시예들에서, 각 카메라의 촬영 각도는 60°인 경우, 복수의 카메라들의 개수는 12개이며, 각 카메라 그룹은 3개의 카메라들을 포함하는 실시예가 도 4에 도시되어 있다.Referring to FIG. 4, in some embodiments, when the shooting angle of each camera is 60°, the number of cameras is 12, and each camera group includes 3 cameras. there is.
도 4에 표시된 패턴은 하나의 카메라의 배치 위치, 촬영 방향, 및 촬상 영역을 나타낼 수 있다. 도 4에서 같은 모양으로 표시된 2개의 패턴들은, 도 3을 참조하여 전순한 바와 같이, 중첩되는 촬상 영역 내에 존재하는 물체의 위치를 검출하기 위한 2개의 카메라들에 대응될 수 있다. The pattern shown in FIG. 4 may indicate the placement position, shooting direction, and imaging area of one camera. Two patterns displayed with the same shape in FIG. 4 may correspond to two cameras for detecting the position of an object existing in an overlapping imaging area, as described above with reference to FIG. 3 .
도 4에 각 카메라의 배치 형태에 따르면, 이동 로봇(100)의 주변 영역, 즉 복수의 영역들(FR1, FR2, FR3, FR4) 및 사선 영역들(DFR1, DFR2, DFR3, DFR4)이 촬영될 수 있고, 복수의 영역들(FR1, FR2, FR3, FR4) 및 사선 영역들(DFR1, DFR2, DFR3, DFR4) 내에 존재하는 모든 물체들의 위치가 검출될 수 있다.According to the arrangement of each camera in FIG. 4, the surrounding area of the
전술한 바에 의하면, 일반적인 카메라들만으로 왜곡 없이 물체의 위치를 정확히 획득할 수 있다는 장점이 있다.According to the above, there is an advantage that the position of an object can be accurately acquired without distortion using only general cameras.
도 5는 본 개시의 예시적인 실시예들에 따른 시스템의 블록도이다.5 is a block diagram of a system according to example embodiments of the present disclosure.
도 5를 참조하면, 시스템(20)은 복수의 카메라들(2000) 및 이동 로봇(200)을 포함할 수 있다.Referring to FIG. 5 , the
카메라는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이(240)에 표시되거나 메모리(230)에 저장될 수 있다. The camera processes image frames, such as still images or moving images, obtained by the image sensor in shooting mode. Processed image frames may be displayed on
복수의 카메라들(2000)은 일정한 촬영 각도의 촬상 영역을 촬영할 수 있다. 복수의 카메라들(2000)은 왜곡되지 않는 비전 이비지를 생성하는 일반적인 카메라로 구현될 수 있다. 복수의 카메라들(2000) 각각은 각자의 촬상 영역을 촬영하여 비전 이미지를 생성하고, 생성된 비전 이미지를 이동 로봇(200)에 제공할 수 있다. 복수의 카메라들(2000) 각각은 이동 로봇(200)과 통신하기 위한 통신 인터페이스를 구비할 수 있다.The plurality of
인터페이스는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스는 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈(SIM)이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다.The interface serves as a conduit for various types of external devices. These interfaces include wired/wireless headset ports, external charger ports, wired/wireless data ports, memory card ports, and ports for connecting devices equipped with an identification module (SIM) ( port), an audio input/output (I/O) port, a video input/output (I/O) port, and an earphone port.
복수의 카메라들(2000)은 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같이 매트릭스 구조를 이루는 카메라들을 통해 다양한 각도 또는 초점을 갖는 복수의 영상정보가 입력될 수 있고, 또한 복수의 카메라들(2000)은 3차원의 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록, 스트레오 구조로 배치될 수도 있다.The plurality of
이동 로봇(200)은 복수의 카메라들(2000)로부터 주변 영역에 대한 비전 이미지들을 입력받을 수 있다. 그리고, 이동 로봇(200)은 비전 이미지들을 기초로 물체의 위치를 획득할 수 있다. 그리고, 이동 로봇(200)은 이동 로봇(200)의 주변 영역에 대한 맵 이미지를 생성할 수 있다. 맵 이미지는 물체의 위치를 나타내는 정보가 포함될 수 있다.The
특정 방향에 대해서 두 대의 카메라가 동일한 촬상 영역을 중첩(Overlap) 하여 촬영함로, 특정 촬상 영역에 있는 물체의 위치가 추정 가능하다. 이를 위해, 일부 실시예들에서, 이동 로봇(200)은 삼각측량법을 수행하여, 두 카메라들로부터 획득된 비전 이미지들에서 물체의 위치를 획득할 수 있다. 구체적으로, 이동 로봇(200)은 각 비전 이미지에서 물체에 대한 방향을 획득하여, 획득된 제1 방향 및 제2 방향 각각으로부터 연장된 라인들이 교차되는 지점을 물체의 위치로 획득할 수 있다.Since two cameras overlap and photograph the same imaging area in a specific direction, the location of an object in a specific imaging area can be estimated. To this end, in some embodiments, the
일부 실시예들에서, 이동 로봇(200)은 제1 카메라(1000_1)와 제5 카메라(1000_5) 각각으로부터 획득된 비전 이미지들을 이용하여 제1 사선 영역(DFR1)에 존재하는 물체의 위치를 획득할 수 있다. 이동 로봇(200)은 제4 카메라(1000_4)와 제8 카메라(1000_8) 각각으로부터 획득된 비전 이미지들을 이용하여 제2 사선 영역(DFR2)에 존재하는 물체의 위치를 획득할 수 있다. 이동 로봇(200)은 제2 카메라(1000_2)와 제6 카메라(1000_6) 각각으로부터 획득된 비전 이미지들을 이용하여 제3 사선 영역(DFR3)에 존재하는 물체의 위치를 획득할 수 있다. 이동 로봇(200)은 제3 카메라(1000_3)와 제7 카메라(1000_7) 각각으로부터 획득된 비전 이미지들을 이용하여 제4 사선 영역(DFR4)에 존재하는 물체의 위치를 획득할 수 있다. In some embodiments, the
일부 실시예들에서, 이동 로봇(200)은 제1 카메라(1000_1)와 제3 카메라(1000_3) 각각으로부터 획득된 비전 이미지들을 이용하여 제1 영역(FR1)에 존재하는 물체의 위치를 획득할 수 있다. 이동 로봇(200)은 제6 카메라(1000_6)와 제8 카메라(1000_8) 각각으로부터 획득된 비전 이미지들을 이용하여 제2 영역(FR2)에 존재하는 물체의 위치를 획득할 수 있다. 이동 로봇(200)은 제2 카메라(1000_2)와 제7 카메라(1000_7) 각각으로부터 획득된 비전 이미지들을 이용하여 제3 영역(FR3)에 존재하는 물체의 위치를 획득될 수 있다. 이동 로봇(200)은 제4 카메라(1000_4)와 제5 카메라(1000_5) 각각으로부터 획득된 비전 이미지들을 이용하여 제4 영역(FR4)에 존재하는 물체의 위치를 획득할 수 있다.In some embodiments, the
도 6은 본 개시의 예시적인 실시예들에 따른 이동 로봇의 블록도이다.Figure 6 is a block diagram of a mobile robot according to example embodiments of the present disclosure.
도 6을 참조하면, 이동 로봇(200)은 통신부(210), 프로세서(220), 메모리(230), 디스플레이(240), 및 입력부(250)를 포함할 수 있다.Referring to FIG. 6 , the
통신부(210)는 복수의 카메라들(2000)과 통신을 수행할 수 있다. 통신부(210)는 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있다. 예를 들어, 통신부(210)는 방송 수신 모듈, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.The
유선 통신 모듈은, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.Wired communication modules include various wired communication modules such as Local Area Network (LAN) modules, Wide Area Network (WAN) modules, or Value Added Network (VAN) modules, as well as USB (Universal Serial Bus) modules. ), HDMI (High Definition Multimedia Interface), DVI (Digital Visual Interface), RS-232 (recommended standard 232), power line communication, or POTS (plain old telephone service).
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 4G, 5G, 6G 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.In addition to Wi-Fi modules and WiBro (Wireless broadband) modules, wireless communication modules include GSM (global System for Mobile Communication), CDMA (Code Division Multiple Access), WCDMA (Wideband Code Division Multiple Access), and UMTS (universal mobile telecommunications system). ), TDMA (Time Division Multiple Access), LTE (Long Term Evolution), 4G, 5G, 6G, etc. may include a wireless communication module that supports various wireless communication methods.
무선 통신 모듈은 신호를 송신하는 안테나 및 송신기(Transmitter)를 포함하는 무선 통신 인터페이스를 포함할 수 있다. 또한, 무선 통신 모듈은 제어부의 제어에 따라 무선 통신 인터페이스를 통해 제어부로부터 출력된 디지털 제어 신호를 아날로그 형태의 무선 신호로 변조하는 신호 변환 모듈을 더 포함할 수 있다.The wireless communication module may include a wireless communication interface including an antenna and a transmitter that transmits signals. Additionally, the wireless communication module may further include a signal conversion module that modulates a digital control signal output from the control unit through a wireless communication interface into an analog wireless signal under the control of the control unit.
무선 통신 모듈은 신호를 수신하는 안테나 및 수신기(Receiver)를 포함하는 무선 통신 인터페이스를 포함할 수 있다. 또한, 무선 통신 모듈은 무선 통신 인터페이스를 통하여 수신한 아날로그 형태의 무선 신호를 디지털 제어 신호로 복조하기 위한 신호 변환 모듈을 더 포함할 수 있다.The wireless communication module may include a wireless communication interface including an antenna and a receiver for receiving signals. Additionally, the wireless communication module may further include a signal conversion module for demodulating an analog wireless signal received through a wireless communication interface into a digital control signal.
근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.The short-range communication module is for short-range communication and includes Bluetooth™ RFID (Radio Frequency Identification), Infrared Data Association (IrDA), UWB (Ultra Wideband), ZigBee, and NFC (Near Field Communication). , short-distance communication can be supported using at least one of Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and Wireless USB (Wireless Universal Serial Bus) technologies.
위치정보 모듈은 본 개시에 따른 이동 로봇(200)의 위치(또는 현재 위치)를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다. 예를 들어, GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 이동 로봇(200)의 위치를 획득할 수 있다. 다른 예로서, Wi-Fi모듈을 활용하면, Wi-Fi모듈과 무선신호를 송신 또는 수신하는 무선 AP(Wireless Access Point)의 정보에 기반하여, 이동 로봇(200)의 위치를 획득할 수 있다. 필요에 따라서, 위치정보 모듈은 치환 또는 부가적으로 이동 로봇(200)의 위치에 관한 데이터를 얻기 위해 통신부의 다른 모듈 중 어느 기능을 수행할 수 있다. 위치정보모듈은 이동 로봇(200)의 위치(또는 현재 위치)를 획득하기 위해 이용되는 모듈로, 이동 로봇(200)의 위치를 직접적으로 계산하거나 획득하는 모듈로 한정되지는 않는다.The location information module is a module for acquiring the location (or current location) of the
프로세서(220)는 통신부(210)를 통해 비전 이미지들을 수신하고, 삼각측량법을 이용하여 비전 이미지들로부터 주변 영역에 존재하는 물체의 위치 및/또는 거리를 연산하고, 물체의 위치를 포함하는 맵 이미지를 생성할 수 있다.The
프로세서(220)는 선행적으로 입력된 복수의 비전 이미지들(또는 이미지 처리된 이미지들)에서 특징 맵을 생성할 수 있다. 예를 들어, 프로세서(120)는 합성 뉴럴 네트워크에 이미지를 입력하여, 복수의 특징 맵들을 추출할 수 있다. 특징 맵을 이용하는 경우, 스테레오 매핑 과정에서의 연산량을 줄일 수 있는 효과가 있다.The
프로세서(220)는 복수의 이미지들(또는 복수의 특징 맵들)을 가상의 3차원 도형에 투영할 수 있다. 예를 들어, 프로세서(220)는 복수의 카메라들(2000) 각각에 대한 자세 정보를 이용하여 복수의 이미지들 각각을 가상의 3차원 도형에 투영할 수 있다.The
프로세서(220)는 3차원 도형에 투영된 복수의 이미지 각각을 병합하여 이동체 전(All) 방향에 대한 맵 이미지를 생성할 수 있다. 예를 들어, 3차원 도형에 투영된 특징 맵 각각을 병합하여 3차원 전방향 영역에 대한 물리적인 공간 정보를 포함하도록 변환할 수 있다.The
메모리(230)는 맵 이미지를 저장할 수 있다. 메모리(230)는 이동 로봇(200)의 다양한 기능을 지원하는 데이터와, 제어부의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 음악 파일, 정지영상, 동영상 등)을 저장할 있고, 이동 로봇(200)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 로봇(200)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. The
메모리(230)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(230)는 이동 로봇(200)와는 분리되어 있으나, 유선 또는 무선으로 연결된 데이터베이스가 될 수도 있다.The
디스플레이(240)는 프로세서(220)에서 처리되는 정보를 표시(출력)할 수 있다. 예를 들어, 디스플레이(240)는 프로세서(220)에서 구동되는 응용 프로그램(일 예로, 어플리케이션)의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.The
입력부(250)는, 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것일 수 있다. 입력부(250)는 적어도 하나의 마이크로폰 및 사용자 입력부 중 적어도 하나를 포함할 수 있다. 입력부(250)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어 명령으로 처리될 수 있다. 사용자 입력부는 사용자로부터 정보를 입력받기 위한 것으로서, 사용자 입력부를 통해 정보가 입력되면, 프로세서(220)는 입력된 정보에 대응되도록 이동 로봇(200)의 동작을 제어할 수 있다. 이러한, 사용자 입력부는 하드웨어식 물리 키(예를 들어, 이동 로봇(200)의 전면, 후면 및 측면 중 적어도 하나에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 소프트웨어식 터치 키를 포함할 수 있다. 일 예로서, 터치 키는, 소프트웨어적인 처리를 통해 터치스크린 타입의 디스플레이(240) 상에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다. 한편, 가상키 또는 비주얼 키는, 다양한 형태를 가지면서 터치스크린 상에 표시되는 것이 가능하며, 예를 들어, 그래픽(graphic), 텍스트(text), 아이콘(icon), 비디오(video) 또는 이들의 조합으로 이루어질 수 있다.The
도시되지 않았지만, 이동 로봇(200)은 프로세서(220)의 제어에 의해 바퀴 등을 움직이기 위한 거동부를 더 포함할 수 있다.Although not shown, the
도 6에 도시된 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.At least one component may be added or deleted in response to the performance of the components shown in FIG. 6. Additionally, it will be easily understood by those skilled in the art that the mutual positions of the components may be changed in response to the performance or structure of the system.
한편, 도 6에 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다. Meanwhile, each component shown in FIG. 6 refers to software and/or hardware components such as Field Programmable Gate Array (FPGA) and Application Specific Integrated Circuit (ASIC).
도 7은 본 개시의 예시적인 실시예들에 따른 시스템의 방법을 설명하기 위한 흐름도이다.Figure 7 is a flowchart for explaining a system method according to example embodiments of the present disclosure.
도 7을 참조하면, 이동 로봇(200)은 복수의 카메라들(2000)로부터 비전 이미지들을 수신한다(S100). 복수의 카메라들(2000)은, 도 2 내지 도 4를 참조하여 전술한 바와 같이 이동 로봇(200) 상에 배치될 수 있다.Referring to FIG. 7, the
이동 로봇(200)은 비전 이미지들을 기초로 물체의 위치를 획득한다(S200). The
이동 로봇(200)은 물체의 위치를 포함하는 맵 이미지를 생성한다(S300). The
전술한 바에 의하면, 일반적인 카메라들만으로 왜곡 없이 물체의 위치를 정확히 획득할 수 있다는 장점이 있다.According to the above, there is an advantage that the position of an object can be accurately acquired without distortion using only general cameras.
도 8은 본 개시의 일부 실시예들에 따른 시스템을 설명하기 위한 도면이다.FIG. 8 is a diagram for explaining a system according to some embodiments of the present disclosure.
도 8을 참조하면, 시스템(30)은 이동 로봇(100), 복수의 카메라들(1000_1~1000_8), 및 트롤리(Trolley, 10000)를 포함할 수 있다.Referring to FIG. 8, the
이동 로봇(100) 및 복수의 카메라들(1000_1~1000_8)은 도 1을 참조하여 전술한 바와 같다.The
일부 실시예들에서, 복수의 카메라들(1000_1~1000_8)이, 제1 방향(D1) 및 제2 방향(D2)으로 이루어진 2차원 평면으로부터 일정한 기울기를 갖도록, 이동 로봇(100) 상에 기울어져 배치될 수 있다. 이 경우, 복수의 카메라들(1000_1~1000_8)의 촬영 각도가, 제1 방향(D1) 및 제2 방향(D2)으로 이루어진 2차원 평면으로부터 일정한 각도를 유지할 수 있으므로, 복수의 카메라들(1000_1~1000_8)에 의해 획득된 비전 이미지에서 바닥면이 포함되지 않을 수 있다. 이에 따라, 복수의 카메라들(1000_1~1000_8)에 의해 획득된 비전 이미지에서 상대적으로 더 많은 정보들이 포함될 수 있다.In some embodiments, a plurality of cameras 1000_1 to 1000_8 are tilted on the
트롤리(10000)는 이동 로봇(100) 및 복수의 카메라들(1000_1~1000_8) 상에서 운반하고자 하는 물품을 지지하는 받침대(10001) 및 받침대(10001)와 물리적으로 연결된 복수의 다리 부품들(10002~10005)을 포함할 수 있다. 복수의 다리 부품들(10002~10005) 각각은 이동 로봇(100)의 각 모서리 부근에 위치할 수 있다. 복수의 다리 부품들(10002~10005)의 개수는 도 8에 도시된 바와 같이 4개일 수 있으나, 이에 한정되는 것은 아니며, 설계 방법에 따라 4개보다 작거나 4개보다 클 수 있다. 설명의 편의상 복수의 다리 부품들(10002~10005)의 개수는 4개인 것으로 가정한다. The
이하에서는 이동 로봇(100) 상에서 복수의 카메라들(1000_1~1000_8) 및 복수의 다리 부품들(10002~10005)이 배치되는 배치 위치에 대한 설명이 후술된다.Hereinafter, a description of the arrangement positions of the plurality of cameras 1000_1 to 1000_8 and the plurality of
도 9는 복수의 카메라들의 배치를 설명하기 위한 도 8의 시스템의 평면도이다. 도 9는 도 3에 도시된 바와 유사하므로, 동일한 내용은 그 설명을 생략하기로 한다.FIG. 9 is a plan view of the system of FIG. 8 to illustrate the arrangement of a plurality of cameras. Since FIG. 9 is similar to that shown in FIG. 3, description of the same content will be omitted.
도 9를 참조하면, 제1 다리 부품(10002)은 제1 부분(P1) 근처에서 위치할 수 있다. 제1 다리 부품(10002)은, 제3 카메라(1000_3) 및 제7 카메라(1000_7)에 의해서, 제4 사선 영역(DFR4) 내에 위치하는 물체로 감지될 수 있다. 제1 다리 부품(10002)은 제3 카메라(1000_3)와 제7 카메라(1000_7) 각각의 촬상 영역을 가리는 물체일 수 있다. 그러나, 제3 카메라(1000_3)와 제7 카메라(1000_7) 간의 거리가 충분히 멀리 이격되어 배치되어 있으므로, 제1 다리 부품(10002)에 의해 촬상 영역이 가려지는 문제가 최소화될 수 있다.Referring to FIG. 9 , the
제2 다리 부품(10003)은 제2 부분(P2) 근처에서 위치할 수 있다. 제2 다리 부품(10003)은, 제1 카메라(1000_1) 및 제5 카메라(1000_5)에 의해서, 제1 사선 영역(DFR1) 내에 위치하는 물체로 감지될 수 있다. 제2 다리 부품(10003)은 제1 카메라(1000_1)와 제5 카메라(1000_5) 각각의 촬상 영역을 가리는 물체일 수 있다. 그러나, 제1 카메라(1000_1)와 제5 카메라(1000_5) 간의 거리가 충분히 멀리 이격되어 배치되어 있으므로, 제2 다리 부품(10003)에 의해 촬상 영역이 가려지는 문제가 최소화될 수 있다.The
제3 다리 부품(10004)은 제3 부분(P3) 근처에서 위치할 수 있다. 제3 다리 부품(10004)은, 제4 카메라(1000_4) 및 제8 카메라(1000_8)에 의해서, 제1 사선 영역(DFR1) 내에 위치하는 물체로 감지될 수 있다. 제3 다리 부품(10004)은 제4 카메라(1000_4)와 제8 카메라(1000_8) 각각의 촬상 영역을 가리는 물체일 수 있다. 그러나, 제4 카메라(1000_4)와 제8 카메라(1000_8) 간의 거리가 충분히 멀리 이격되어 배치되어 있으므로, 제3 다리 부품(10004)에 의해 촬상 영역이 가려지는 문제가 최소화될 수 있다.The
제4 다리 부품(10005)은 제4 부분(P4) 근처에서 위치할 수 있다. 제4 다리 부품(10005)은, 제2 카메라(1000_2) 및 제6 카메라(1000_6)에 의해서, 제1 사선 영역(DFR1) 내에 위치하는 물체로 감지될 수 있다. 제4 다리 부품(10005)은 제2 카메라(1000_2)와 제6 카메라(1000_6) 각각의 촬상 영역을 가리는 물체일 수 있다. 그러나, 제2 카메라(1000_2)와 제6 카메라(1000_6) 간의 거리가 충분히 멀리 이격되어 배치되어 있으므로, 제4 다리 부품(10005)에 의해 촬상 영역이 가려지는 문제가 최소화될 수 있다.The
전술한 바에 의하면, 운반하고자 하는 물체를 지지하기 위한 트롤리가 시스템에 포함되더라도, 카메라들을 로봇 상에 적절히 배치함으로써, 트롤리의 다리 부품이 카메라의 촬상 영역을 가리는 것을 최소화하여 물체를 정확히 인식하는 장점이 있다. According to the above, even if a trolley to support the object to be transported is included in the system, the advantage of accurately recognizing the object by appropriately arranging the cameras on the robot is to minimize the blocking of the imaging area of the camera by the leg parts of the trolley. there is.
또한, 전술한 바에 의하면, 운반하고자 하는 물체를 지지하기 위한 트롤리가 시스템에 포함되더라도, 카메라들을 로봇 상에 적절히 배치함으로써, 트롤리의 다리 부품이 카메라의 촬상 영역을 가리는 것을 최소화하여 정확한 맵 이미지를 생성할 수 있다는 장점이 있다. In addition, as described above, even if the system includes a trolley to support the object to be transported, by appropriately arranging the cameras on the robot, it is possible to minimize the blocking of the camera's imaging area by the leg parts of the trolley, thereby generating an accurate map image. There is an advantage to being able to do it.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.Meanwhile, the disclosed embodiments may be implemented in the form of a recording medium that stores instructions executable by a computer. Instructions may be stored in the form of program code, and when executed by a processor, may create program modules to perform operations of the disclosed embodiments. The recording medium may be implemented as a computer-readable recording medium.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. Computer-readable recording media include all types of recording media storing instructions that can be decoded by a computer. For example, there may be Read Only Memory (ROM), Random Access Memory (RAM), magnetic tape, magnetic disk, flash memory, optical data storage device, etc.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시가 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.As described above, the disclosed embodiments have been described with reference to the attached drawings. A person skilled in the art to which this disclosure pertains will understand that the present disclosure may be practiced in forms different from the disclosed embodiments without changing the technical idea or essential features of the present disclosure. The disclosed embodiments are illustrative and should not be construed as limiting.
10, 20, 30 : 시스템
100, 200 : 이동 로봇
1000_1 : 제1 카메라
1000_2 : 제2 카메라
1000_3 : 제3 카메라
1000_4 : 제4 카메라
1000_5 : 제5 카메라
1000_6 : 제6 카메라
1000_7 : 제7 카메라
1000_8 : 제8 카메라
2000 : 복수의 카메라들10, 20, 30: System
100, 200: Mobile robot
1000_1: 1st camera
1000_2: 2nd camera
1000_3: Third camera
1000_4: 4th camera
1000_5: 5th camera
1000_6: 6th camera
1000_7: 7th camera
1000_8: 8th camera
2000: Multiple Cameras
Claims (10)
상기 복수의 카메라들로부터 주변 영역에 대한 비전 이미지들을 입력받고, 상기 비전 이미지들을 기초로 물체의 위치를 획득하도록 구성된 이동 로봇을 포함하고,
상기 복수의 카메라들은,
상기 이동 로봇에서 제1 모서리에 대응되는 제1 부분에 배치되는 제1 카메라 그룹;
상기 이동 로봇에서 상기 제1 부분으로부터 제1 방향과 수직되는 제2 방향으로 이격된 제2 모서리에 대응되는 제2 부분에 배치되는 제2 카메라 그룹;
상기 이동 로봇에서 상기 제2 부분으로부터 상기 제1 방향으로 이격된 제3 모서리에 대응되는 제3 부분에 상기 제1 카메라 그룹과 동일한 배치 형태로 배치되는 제3 카메라 그룹; 및
상기 이동 로봇에서 상기 제1 부분으로부터 상기 제2 방향으로 이격된 제4 모서리에 대응되는 제4 부분에 상기 제2 카메라 그룹과 동일한 배치 형태로 배치되는 제4 카메라 그룹을 포함하는 것을 특징으로 하는, 시스템.a plurality of cameras configured to photograph an imaging area at a constant photographing angle; and
A mobile robot configured to receive vision images of a surrounding area from the plurality of cameras and acquire the location of an object based on the vision images,
The plurality of cameras are,
a first camera group disposed in a first portion corresponding to a first corner of the mobile robot;
a second camera group disposed in a second part of the mobile robot corresponding to a second edge spaced apart from the first part in a second direction perpendicular to the first direction;
a third camera group disposed in the same arrangement as the first camera group in a third part of the mobile robot corresponding to a third corner spaced apart from the second part in the first direction; and
Characterized in that the mobile robot includes a fourth camera group disposed in the same arrangement as the second camera group in a fourth part corresponding to a fourth corner spaced apart from the first part in the second direction. system.
상기 복수의 카메라들의 개수는
360도에서 상기 촬영 각도로 나눈 정수의 두배이고,
상기 제1 카메라 그룹, 상기 제2 카메라 그룹, 상기 제3 카메라 그룹, 및 상기 제4 카메라 그룹 각각에 포함된 카메라의 개수는,
상기 복수의 카메라들의 개수의 1/4인 것을 특징으로 하는, 시스템.According to claim 1,
The number of cameras is
It is twice the integer divided by the shooting angle in 360 degrees,
The number of cameras included in each of the first camera group, the second camera group, the third camera group, and the fourth camera group is,
A system, characterized in that 1/4 of the number of said plurality of cameras.
상기 촬영 각도는, 90도(degree)이고,
상기 복수의 카메라들의 개수는, 8개이고,
상기 제1 카메라 그룹은,
상기 제2 방향에 대하여 45도 각도로 배치된 제1 카메라, 및 상기 제1 카메라와 상기 제1 방향 및 상기 제2 방향 각각에 대하여 대칭되고 상기 제2 방향에 대하여 45도 각도로 배치된 제2 카메라를 포함하고,
상기 제2 카메라 그룹은,
상기 제1 카메라와 상기 제1 방향에 대하여 대칭되고 상기 제2 방향에 대하여 45도 각도로 배치된 제3 카메라, 및 상기 제3 카메라와 상기 제1 방향 및 상기 제2 방향 각각에 대하여 대칭되고 상기 제2 방향에 대하여 45도 각도로 배치된 제4 카메라를 포함하고,
상기 제3 카메라 그룹은,
상기 제1 카메라의 배치 방향과 동일한 배치 방향으로 배치되는 제5 카메라, 및 상기 제2 카메라의 배치 방향과 동일한 배치 방향으로 배치되는 제6 카메라를 포함하고,
상기 제4 카메라 그룹은,
상기 제3 카메라의 배치 방향과 동일한 배치 방향으로 배치되는 제7 카메라, 및 상기 제4 카메라의 배치 방향과 동일한 배치 방향으로 배치되는 제8 카메라를 포함하는 것을 특징으로 하는, 시스템.According to clause 2,
The shooting angle is 90 degrees,
The number of cameras is 8,
The first camera group is,
A first camera disposed at an angle of 45 degrees with respect to the second direction, and a second camera symmetrical with respect to the first camera and the first direction and the second direction, respectively, and disposed at an angle of 45 degrees with respect to the second direction. Contains a camera,
The second camera group is,
a third camera symmetrical with respect to the first camera and the first direction and disposed at an angle of 45 degrees with respect to the second direction, and symmetrical with respect to the third camera and the first direction and the second direction, respectively, and It includes a fourth camera disposed at an angle of 45 degrees with respect to the second direction,
The third camera group is,
A fifth camera arranged in the same arrangement direction as the first camera, and a sixth camera arranged in the same arrangement direction as the second camera,
The fourth camera group is,
A system comprising a seventh camera arranged in the same arrangement direction as the third camera, and an eighth camera arranged in the same arrangement direction as the fourth camera.
상기 주변 영역은,
상기 제1 방향에 대응되는 전방 영역 및 후방 영역, 상기 제2 방향에 대응되는 측방 영역들, 및 사선 영역들을 포함하고,
상기 이동 로봇은,
상기 제1 카메라로부터 수신된 비전 이미지와 상기 제5 카메라로부터 수신된 비전 이미지를 기초로, 제1 사선 영역에 존재하는 물체의 위치를 획득하고,
상기 제2 카메라로부터 수신된 비전 이미지와 상기 제6 카메라로부터 수신된 비전 이미지를 기초로, 제2 사선 영역에 존재하는 물체의 위치를 획득하고,
상기 제3 카메라로부터 수신된 비전 이미지와 상기 제7 카메라로부터 수신된 비전 이미지를 기초로, 제3 사선 영역에 존재하는 물체의 위치를 획득하고,
상기 제4 카메라로부터 수신된 비전 이미지와 상기 제8 카메라로부터 수신된 비전 이미지를 기초로, 제4 사선 영역에 존재하는 물체의 위치를 획득하는 것을 특징으로 하는, 시스템.According to clause 3,
The surrounding area is,
comprising a front area and a rear area corresponding to the first direction, lateral areas corresponding to the second direction, and diagonal areas,
The mobile robot is,
Based on the vision image received from the first camera and the vision image received from the fifth camera, the location of the object existing in the first diagonal area is acquired,
Based on the vision image received from the second camera and the vision image received from the sixth camera, the location of the object existing in the second diagonal area is acquired,
Based on the vision image received from the third camera and the vision image received from the seventh camera, the location of the object existing in the third diagonal area is acquired,
The system is characterized in that, based on the vision image received from the fourth camera and the vision image received from the eighth camera, the position of the object existing in the fourth diagonal area is acquired.
상기 이동 로봇은,
상기 제1 카메라로부터 수신된 비전 이미지와 상기 제3 카메라로부터 수신된 비전 이미지를 기초로, 상기 전방 영역에 존재하는 물체의 위치를 획득하고,
상기 제4 카메라로부터 수신된 비전 이미지와 상기 제5 카메라로부터 수신된 비전 이미지를 기초로, 제1 측방 영역에 존재하는 물체의 위치를 획득하고,
상기 제6 카메라로부터 수신된 비전 이미지와 상기 제8 카메라로부터 수신된 비전 이미지를 기초로, 상기 후방 영역에 존재하는 물체의 위치를 획득하고,
상기 제7 카메라로부터 수신된 비전 이미지와 상기 제2 카메라로부터 수신된 비전 이미지를 기초로, 제2 측방 영역에 존재하는 물체의 위치를 획득하는 것을 특징으로 하는, 시스템.According to clause 4,
The mobile robot is,
Based on the vision image received from the first camera and the vision image received from the third camera, obtain the location of an object existing in the front area,
Based on the vision image received from the fourth camera and the vision image received from the fifth camera, the location of the object existing in the first lateral area is acquired,
Based on the vision image received from the sixth camera and the vision image received from the eighth camera, the location of the object existing in the rear area is acquired,
The system is characterized in that, based on the vision image received from the seventh camera and the vision image received from the second camera, the position of the object existing in the second lateral area is acquired.
상기 제1 카메라 그룹과 상기 제3 카메라 그룹 간의 거리는,
상기 제2 카메라 그룹과 상기 제4 카메라 그룹 간의 거리와 동일하고,
상기 제1 카메라 그룹과 상기 제3 카메라 그룹 간의 거리 및 상기 제2 카메라 그룹과 상기 제4 카메라 그룹 간의 거리는, 상기 복수의 카메라들 간의 거리들 중 가장 긴 것을 특징으로 하는, 시스템.According to clause 5,
The distance between the first camera group and the third camera group is,
Is equal to the distance between the second camera group and the fourth camera group,
The system, wherein the distance between the first camera group and the third camera group and the distance between the second camera group and the fourth camera group are the longest among the distances between the plurality of cameras.
상기 이동 로봇은,
상기 복수의 카메라들과 통신을 수행하도록 구성된 통신부;
상기 통신부를 통해 상기 비전 이미지들을 수신하고, 삼각측량법을 이용하여 상기 비전 이미지들로부터 상기 주변 영역에 존재하는 상기 물체의 위치를 연산하고, 상기 물체의 위치를 포함하는 맵 이미지를 생성하도록 구성된 프로세서; 및
상기 맵 이미지를 저장하도록 구성된 메모리를 포함하는 것을 특징으로 하는, 시스템.According to clause 6,
The mobile robot is,
a communication unit configured to communicate with the plurality of cameras;
a processor configured to receive the vision images through the communication unit, calculate the location of the object existing in the surrounding area from the vision images using triangulation, and generate a map image including the location of the object; and
A system comprising: a memory configured to store the map image.
상기 복수의 카메라들 및 상기 이동 로봇 상에서 물품을 지지하는 받침대 및 복수의 다리 부품들을 포함하는 트롤리(Trolley)를 더 포함하는 것을 특징으로 하는, 시스템.According to clause 7,
The system further comprises a trolley including a pedestal and a plurality of leg parts for supporting items on the plurality of cameras and the mobile robot.
복수의 카메라들로부터 비전 이미지들을 수신하는 단계; 및
상기 비전 이미지들을 기초로 물체의 위치를 획득하는 단계를 포함하고,
상기 복수의 카메라들은,
상기 이동 로봇에서 제1 모서리에 대응되는 제1 부분에 배치되는 제1 카메라 그룹;
상기 이동 로봇에서 상기 제1 부분으로부터 제1 방향으로 이격된 제2 모서리에 대응되는 제2 부분에 배치되는 제2 카메라 그룹;
상기 이동 로봇에서 상기 제2 부분으로부터 상기 제1 방향과 수직되는 제2 방향으로 이격된 제3 모서리에 대응되는 제3 부분에 상기 제1 카메라 그룹과 동일한 배치 형태로 배치되는 제3 카메라 그룹; 및
상기 이동 로봇에서 상기 제1 부분으로부터 상기 제2 방향으로 이격된 제4 모서리에 대응되는 제4 부분에 상기 제2 카메라 그룹과 동일한 배치 형태로 배치되는 제4 카메라 그룹을 포함하는 것을 특징으로 하는, 방법.In a method of a system including a plurality of cameras and a mobile robot,
Receiving vision images from a plurality of cameras; and
Comprising acquiring the location of the object based on the vision images,
The plurality of cameras are,
a first camera group disposed in a first portion corresponding to a first corner of the mobile robot;
a second camera group disposed in a second part of the mobile robot corresponding to a second edge spaced apart from the first part in a first direction;
a third camera group arranged in the same arrangement as the first camera group in a third part of the mobile robot corresponding to a third corner spaced apart from the second part in a second direction perpendicular to the first direction; and
Characterized in that the mobile robot includes a fourth camera group disposed in the same arrangement as the second camera group in a fourth part corresponding to a fourth corner spaced apart from the first part in the second direction. method.
상기 복수의 카메라들로부터 주변 영역에 대한 비전 이미지들을 입력받고, 상기 비전 이미지들을 기초로 물체의 위치를 획득하도록 구성된 이동 로봇; 및
상기 복수의 카메라들 및 상기 이동 로봇 상에서 물품을 지지하는 받침대 및 상기 받침대와 물리적으로 연결된 복수의 다리 부품들을 포함하는 트롤리(Trolley)을 포함하고,
상기 복수의 카메라들은,
상기 이동 로봇에서 제1 모서리에 대응되는 제1 부분에 배치되는 제1 카메라 그룹;
상기 이동 로봇에서 상기 제1 부분으로부터 제1 방향으로 이격된 제2 모서리에 대응되는 제2 부분에 배치되는 제2 카메라 그룹;
상기 이동 로봇에서 상기 제2 부분으로부터 상기 제1 방향과 수직되는 제2 방향으로 이격된 제3 모서리에 대응되는 제3 부분에 상기 제1 카메라 그룹과 동일한 배치 형태로 배치되는 제3 카메라 그룹; 및
상기 이동 로봇에서 상기 제1 부분으로부터 상기 제2 방향으로 이격된 제4 모서리에 대응되는 제4 부분에 상기 제2 카메라 그룹과 동일한 배치 형태로 배치되는 제4 카메라 그룹을 포함하는 것을 특징으로 하는, 시스템.a plurality of cameras configured to photograph an imaging area at a constant photographing angle;
a mobile robot configured to receive vision images of a surrounding area from the plurality of cameras and acquire the location of an object based on the vision images; and
A trolley including a pedestal for supporting items on the plurality of cameras and the mobile robot and a plurality of leg parts physically connected to the pedestal,
The plurality of cameras are,
a first camera group disposed in a first portion corresponding to a first corner of the mobile robot;
a second camera group disposed in a second part of the mobile robot corresponding to a second edge spaced apart from the first part in a first direction;
a third camera group arranged in the same arrangement as the first camera group in a third part of the mobile robot corresponding to a third corner spaced apart from the second part in a second direction perpendicular to the first direction; and
Characterized in that the mobile robot includes a fourth camera group disposed in the same arrangement as the second camera group in a fourth part corresponding to a fourth corner spaced apart from the first part in the second direction. system.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220128389A KR20240048723A (en) | 2022-10-07 | 2022-10-07 | System and method for obtaining map image and object location of robot based on multi-camera |
| PCT/KR2023/011006 WO2024075953A1 (en) | 2022-10-07 | 2023-07-28 | System and method for acquiring mobile robot map image and object position based on multiple cameras |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220128389A KR20240048723A (en) | 2022-10-07 | 2022-10-07 | System and method for obtaining map image and object location of robot based on multi-camera |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240048723A true KR20240048723A (en) | 2024-04-16 |
Family
ID=90608658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220128389A KR20240048723A (en) | 2022-10-07 | 2022-10-07 | System and method for obtaining map image and object location of robot based on multi-camera |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20240048723A (en) |
| WO (1) | WO2024075953A1 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101305947B1 (en) * | 2011-12-27 | 2013-09-12 | 전자부품연구원 | A method for remote controlling robot using wrap around image and an apparatus thereof |
| CN108163095A (en) * | 2018-01-12 | 2018-06-15 | 锥能机器人（上海）有限公司 | A kind of Omni-mobile trolley |
| JP2021514573A (en) * | 2018-02-17 | 2021-06-10 | ドリームヴュ，インコーポレイテッド | Systems and methods for capturing omni-stereo video using multi-sensors |
| KR20190098927A (en) * | 2019-08-05 | 2019-08-23 | 엘지전자 주식회사 | Method of configuring camera position suitable for localization and robot implementing thereof |
| KR102295809B1 (en) * | 2019-10-25 | 2021-09-01 | 주식회사 멀티플아이 | Apparatus for acquisition distance for all directions of vehicle |
-
2022
- 2022-10-07 KR KR1020220128389A patent/KR20240048723A/en unknown
-
2023
- 2023-07-28 WO PCT/KR2023/011006 patent/WO2024075953A1/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024075953A1 (en) | 2024-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11158083B2 (en) | Position and attitude determining method and apparatus, smart device, and storage medium | |
| JP7305249B2 (en) | Method for determining motion information of image feature points, task execution method and device | |
| US20200327692A1 (en) | Position and pose determining method, apparatus, smart device, and storage medium | |
| US9574874B2 (en) | System and method for reconstructing 3D model | |
| CN103996016B (en) | Electronic equipment and descriptor determining method thereof | |
| JP7026819B2 (en) | Camera positioning method and equipment, terminals and computer programs | |
| KR102398478B1 (en) | Feature data management for environment mapping on electronic devices | |
| KR20180024469A (en) | Mobile terminal and operating method thereof | |
| KR20160069370A (en) | Mobile terminal and control method for the mobile terminal | |
| CN107771310B (en) | Head-mounted display device and processing method thereof | |
| CN111256676B (en) | Mobile robot positioning method, device and computer readable storage medium | |
| KR20170046338A (en) | Mobile terminal and method for controlling the same | |
| US20160284130A1 (en) | Display control method and information processing apparatus | |
| KR20160041435A (en) | Mobile terminal and control method for the mobile terminal | |
| CN110738185B (en) | Form object identification method, form object identification device and storage medium | |
| KR102347232B1 (en) | Electronic device for providing visual localization based on outdoor three-dimension map information and operating method thereof | |
| KR102260193B1 (en) | Remote augmented reality communication method and system that provides security for 3d-space | |
| KR20180111224A (en) | Terminal and method for controlling the same | |
| JP2015090593A (en) | Information processing device, information processing method, and information processing system | |
| KR20240048723A (en) | System and method for obtaining map image and object location of robot based on multi-camera | |
| KR20180017944A (en) | Mobile terminal and operating method thereof | |
| KR101796607B1 (en) | Mobile terminal and method for controlling the same | |
| KR20170020158A (en) | Mobile terminal and method for controlling the same | |
| KR20170027135A (en) | Mobile terminal and method for controlling the same | |
| KR20160080842A (en) | Mobile terminal and method for controlling the same |