WO2020105778A1 - 개인 맞춤형 정리로봇 및 그것을 이용한 물건정리방법 - Google Patents

개인 맞춤형 정리로봇 및 그것을 이용한 물건정리방법

Info

Publication number
WO2020105778A1
WO2020105778A1 PCT/KR2018/015022 KR2018015022W WO2020105778A1 WO 2020105778 A1 WO2020105778 A1 WO 2020105778A1 KR 2018015022 W KR2018015022 W KR 2018015022W WO 2020105778 A1 WO2020105778 A1 WO 2020105778A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
location
personalized
robot
predicted
Prior art date
Application number
PCT/KR2018/015022
Other languages
English (en)
French (fr)
Inventor
김영욱
전세웅
김동엽
신동인
정병진
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Publication of WO2020105778A1 publication Critical patent/WO2020105778A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to a personalized organizing robot and a method of arranging objects using the personalized robot, and specifically, by identifying personal preferences and arranging the housework to reduce the heterogeneity of organizing objects and helping the user to easily find the object.
  • the present invention relates to a custom arrangement robot and a method for arranging objects using the same.
  • the household robot is the area where the cleaning robot is most actively commercialized. These cleaning robots store the indoor map to understand the indoor structure, and they move around themselves and use vacuum absorbers to absorb dust or wipe the floor.
  • the mobile robot for cleaning uses a feature ⁇ generating unit for generating a feature map for location recognition of the mobile robot, and the feature map Based on the posture information of the obtained mobile robot, each cell includes a plurality of cells, and each cell includes a path map generator for generating a path map having obstacle information and path information, and the mobile robot according to the obstacle information and path information It consists of a movement control unit for moving.
  • the cleaning path is generated using the feature map and the route map, the cleaning time is significantly reduced.
  • the present invention is to solve the above problems, and it is an object of the present invention to provide a personalized organizing robot for arranging and arranging personal objects in a preferred position by learning personal tendencies by themselves.
  • an image photographing unit for photographing an object
  • An object recognition unit recognizing an object photographed through the image photographing unit
  • a moving performance unit for moving the object
  • An object location map unit for storing the predicted location of the object
  • a control unit that controls the moving unit by comparing the predicted position by the object location map unit with the actual position of the object photographed by the image photographing unit.
  • the object location map unit includes the position and recognition time of the object recognized through the object recognition unit as input data, and performs machine learning by including the predicted position or discard of each object as output data.
  • the control unit determines the presence or absence of a corresponding predicted position by referring to the object position map unit with respect to the object recognized by the object recognition unit, and calculates an error distance between the predicted position and the actual position if the predicted position exists.
  • the error distance is more than a certain distance, it is preferable to move the object to the predicted position by controlling the moving performance unit.
  • the personalized rearranging robot further includes a personal propensity determination unit, and the personal propensity determination unit calculates the number of movements in which the error distance is greater than or equal to a predetermined distance, and the number of movements is greater than or equal to a certain number of times, and the actual position is within a certain range. The actual position can be changed to the predicted position.
  • the personal propensity determination unit may receive feedback on the object moved by the movement execution unit and update the object location map unit.
  • the personalized organizing robot further includes a display unit for giving information to the user, and the controller searches the object location map unit and displays the location information of the object through the display unit when the location information of a specific object is requested. desirable.
  • the object recognition unit classifies the types of objects photographed by the image photographing unit, and the object location map unit stores the predicted positions for each type of object recognized by the object recognition unit.
  • the object recognition unit stores the shooting date of the object photographed by the image photographing unit, and the control unit compares the setting date and the shooting date for the object recognized by the object recognition unit, and the shooting date is equal to or equal to the setting date After that, it is preferable to move the object to the predicted position by controlling the moving performance unit.
  • the control unit compares the predicted position by the object location map unit with the actual position of the object photographed by the image photographing unit, and controls the moving execution unit to move the object.
  • the object location map unit includes the position and recognition time of the object recognized through the object recognition unit as input data, and performs machine learning by including the predicted position or discard of each object as output data.
  • the present invention it is possible to provide a rearranging robot capable of rearranging objects used by an individual, and there is an advantage of arranging the objects in the most preferred location by grasping the personal preferences.
  • FIG. 1 is a configuration diagram showing the configuration of a cleaning robot according to the prior art
  • Figure 2 is a block diagram showing the configuration of a personalized organizer robot according to the present invention.
  • Figure 3 is a block diagram showing the configuration of the object recognition unit in Figure 2;
  • FIG. 4 is an exemplary view showing an example of a personalized organizing robot according to the present invention.
  • FIG. 5 is an exemplary view showing a learning method of an object location map unit according to the present invention.
  • Figure 6 is an explanatory diagram showing a method of organizing a personalized organizing robot according to the present invention.
  • the personalized organizing robot includes an image photographing unit 110, an object recognition unit 120, a moving performance unit 130, an object location map unit 140, and a personal propensity determination unit. It includes 150, the control unit 160, the communication unit 170, the driving unit 180.
  • the image photographing unit 110 may include one or more sensors capable of photographing a front image, and may include an RGB camera, an RGBD camera, a lidar, an infrared scanner, an ultrasonic sensor, and an LRF sensor. Can be.
  • the object recognition unit 120 recognizes an object included in the image using the image captured by the image photographing unit 110 to generate a label.
  • the object recognition unit 120 includes an image receiving unit 121, a feature point extraction unit 122, a contour extraction unit 123, and a label matching unit 124.
  • the image receiving unit 121 may receive an image photographed by the image photographing unit 110 or may receive an image photographed from the outside through the communication unit 160.
  • feature points are extracted from the feature point extraction unit 122.
  • the feature points may be points in which a change in pixel (color or contrast) is large, for example, an edge or a vertex of an object.
  • the outline extraction unit 123 serves to extract the appearance of the photographed object.
  • a segmentation technique may be used as a method of extracting contours.
  • the image information of the object separated by the contour extraction unit 123 is classified by the label matching unit 124 to generate a label.
  • the label matching unit 124 may be composed of an artificial intelligence neural network such as a deep learning including an input layer, a hidden layer, and an output layer, and weight information is stored in the hidden layer using the learned data.
  • an artificial intelligence neural network such as a deep learning including an input layer, a hidden layer, and an output layer, and weight information is stored in the hidden layer using the learned data.
  • the object recognition unit may classify the type of the object photographed by the image photographing unit in this way, and may store a photographing date of the object photographed by the image photographing unit.
  • the moving performance unit 130 is formed in front of the main body as shown in FIG. 4 and serves to grip an object photographed from the image photographing unit 110, and is preferably provided with a soft gripper. That is, when the object photographed from the image photographing unit 110 can be gripped under the control of the control unit, the moving performance unit 130 grips the object and releases the gripping of the object after moving to a specific place by the driving unit 180 can do.
  • the moving unit 130 may be provided in various forms, such as a robot hand mimicking five fingers, a vacuum absorber capable of vacuum adsorption, and robot tongs provided in two directions.
  • the control unit may determine whether or not gripping is possible through an image of an object photographed from the image photographing unit. That is, the controller classifies the type of the photographed object by matching the image information of the object stored in the storage unit with the database of the type of the object stored in the storage unit, and classifies the type of the photographed object, or the weight of the classified object or Depending on the shape, it is determined whether or not gripping is possible through the moving performance unit.
  • the control unit can learn the object.
  • the control unit can learn the object through the GAN-based picking learning policy network.
  • the controller learns about an object to be actually gripped through a generator and generates false data based on this.
  • the controller performs learning so that it is possible to determine whether the data provided by the constructor is real or false through a discriminator. In this way, the control unit can process a large amount of data without a purification process, and can solve a problem in which it is not easy to secure learning data by learning by itself.
  • the present invention can manage a vast amount of data by setting aside a management server and building a database on the management server. That is, the management server receives an image of the object detected in front from the personalized organizing robot, or transmits the weight or shape according to the kind of the object or the kind determined by the server control unit back to the personalized organizing robot, or grips it. Data about whether it is possible or not can be transmitted.
  • the server control unit can identify the type of the object included in the image by matching the image of the object received from the personalized organizing robot with the image information stored in the database.
  • the object location map unit 140 serves to store and update the predicted location of the user object.
  • the predicted location may be a user's preferred location for each object, and the location where the object should be located may be viewed as data corresponding to a predetermined location in the room.
  • the object location map unit 140 may store the predicted location for each type of object recognized by the object recognition unit.
  • the object location map unit 140 stores the indoor map including the indoor structure, and also learns the location and pose of the object by machine learning such as artificial neural network or deep learning as shown in FIG. 5 to predict the location of each object. Information will be saved. For example, when the cup is recognized by the object recognition unit, the predicted position of the cup may be stored as a kitchen, and when the clothes are recognized, the predicted position of the clothes may be stored as a laundry room.
  • the location and structure information of a room, a living room, a kitchen, and a toilet may be stored, and an indoor map may be generated based on image information obtained through pre-made map information or a driving unit.
  • the predicted position of the object may correspond to 2D or 3D coordinates of each object based on the indoor map, or may correspond to functional compartments such as a room, a kitchen, and a toilet.
  • the input layer may include the location and recognition time of the object acquired through the image capturing unit 110 as input data
  • the output layer may include the predicted location or discard of each object as output data.
  • the volume of the contents is estimated by analyzing the color of the bottle and discarded when the volume of the contents is determined to be less than or equal to a predetermined volume.
  • a cookie box if the box recognized by the image capturing unit is open, it may be determined whether there is a cookie or not, and if the cookie box is not present, it may be discarded.
  • the moving execution unit can grasp the object and move it to the recycle bin.
  • the predicted position may vary according to the state of the object recognized by the object recognition unit 120.
  • the predicted location may be a refrigerator when it is recognized that the cola bottle is full of coke, and discarded when the object is recognized as empty in the coke bottle.
  • the driving unit 180 is configured to move the main body, and may be composed of a wheel installed on a lower portion of the main body and a motor for driving the wheel or a leg that can walk.
  • the main body is equipped with a device or software, such as an image capturing unit, an object recognition unit, and a moving performance unit, and the main body is capable of height adjustment or maintains a constant height to recognize and move objects in a certain height. It is preferably configured.
  • the communication unit 170 provided in the main body is provided to perform wireless communication such as Bluetooth, Wi-Fi, LTE, and can communicate with a management server through a communication network.
  • the communication unit 170 transmits an image of an object in front taken by the image photographing unit 110 to the management server, or the type of object corresponding to the image transmitted from the management server or whether the object can be gripped. Data can be received.
  • the main body may be provided with an input unit 190 and a display unit 195.
  • the input unit 190 may include one or more buttons.
  • the input unit 190 may include a button for inputting a command for confirming a predicted location, image information, object location, etc., or a button for resetting the command, a delete button, a cleanup start button, a stop button, and the like.
  • the input unit 190 may include a button for setting or deleting reservation information.
  • the input unit 190 may include at least one of a keypad and a touch pad that generate an input signal according to a user's touch or manipulation. At this time, the input unit may be configured in the form of one touch panel together with the display unit to simultaneously perform input and display functions.
  • the display unit 195 displays reservation information, battery status, arrangement method, driving method, predicted location, and object location on the screen.
  • the display unit may output the current state and the organized state of each unit of the main body.
  • the control unit 160 serves to control the operation of each component unit of the main body.
  • the main body moves through the indoor space through the driving unit to scan the indoor objects periodically or at a preset time.
  • the controller 160 recognizes an object by analyzing an image captured by the object recognition unit based on the image taken through the image capturing unit, and determines whether there is a corresponding predicted position with respect to the recognized object by referring to the object location map unit. .
  • the error distance may be calculated as a straight line distance with reference to the indoor map, but is not limited thereto, and may be calculated in a manner suitable for the situation. For example, it may be calculated as a distance between functional compartments such as a room, a kitchen, and a bathroom, not the shortest distance considering a wall or door in the interior, or a distance of coordinates.
  • the functional compartment space can be divided into functional objects such as a bed, a desk, and a chair in a room. If the predicted position and the measured position of the recognized object are the same, the error distance is calculated as 0.
  • the control unit calculates the error distance for each object in the same way as above and stores it in the storage unit. If the error distance is greater than or equal to a certain distance, the control unit may move the object to the predicted position after holding the object.
  • the error distance may be different from the general distance concept. For example, if there is a desk next to a bed in the same room, even if the measured distance measured with a ruler is a short distance, the error distance can be stored as a very large distance if the functional compartment space is changed. That is, the error distance can be calculated by multiplying the measured distance measured with a ruler by the weight of the functional compartment space. If the functional compartment space is changed, the weight is set to be large. That is, if the functional partition space of the predicted position and the actual position is different, the weight may be multiplied by a value greater than 1, and if the functional partition space of the predicted position and the actual position is the same, the weight may be multiplied by a value less than 1.
  • control unit may arrange the objects in order of the largest error distance, and then start sorting from the object with the largest error distance.
  • a set date or a set number of times may be stored according to the recognized object.
  • the set date or the set number of times is a date or number of times to take action on the product.
  • the controller may compare the set date with the picked-up date recognized by the object recognition unit and perform a set operation if the picked-up date is equal to or later than the set date.
  • the set operation may be an operation, such as moving to the laundry room using the moving unit.
  • an operation of moving the food to the recycle bin may be performed through the movement performing unit.
  • the set number of times represents the number of times recognized by the object recognition unit. At this time, it is preferable that the number of settings increases so that the number of settings increases when the shooting date is changed.
  • the set date or the set number of times may be input by the user or may be set automatically. For example, when the recognized object is a specific shirt, the set number of times is automatically determined, and when the number of times the shirt is recognized reaches the set number, the control unit moves the shirt to the laundry room using a moving unit.
  • the personal propensity determination unit 150 is used to arrange the household items by reflecting personal propensities.
  • the number of times an error distance is greater than or equal to a certain distance by analyzing an image captured by the image taking unit That is, when the number of movements is calculated for a certain period and the number of movements is greater than or equal to a certain number, and the actual location is within the actual error range, the actual location is changed to the predicted location in the object location map unit through the control unit.
  • the measurement error range may mean a range within a predetermined distance from the stored final measurement position, and the weight may be multiplied according to the functional partition space as well as the error distance. That is, if the final measured position and the current measured position are the same functional partition space, the weight may be less than 1, and if the final measured position and the current measured position are the same functional partition space, the weight may be greater than 1.
  • the personal preference determining unit 150 may receive an individual's preferred location through an external terminal. For example, a preferred location of a specific object may be input through a terminal such as a smartphone, and at this time, the personal preference determination unit changes the preferred location received through the external terminal to the predicted location of the corresponding object.
  • the personal preference determining unit 150 may update the object location map unit by receiving feedback on the object moved by the movement performing unit 130 and using it as input data for machine learning.
  • GAN Geneative Adversarial Networks
  • the display unit 195 displays various information to the user, and the control unit may display information corresponding to the request received through the input unit 190 or an external terminal through the display unit.
  • the object location map unit 140 stores the final location of the scanned object or the object moved through the movement performing unit. At this time, when the location information of a specific object is requested, the control unit may search the object location map unit and display the location information of the object through the display unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 개인성향을 파악하여 가사물을 정리정돈함으로써 물건정리에 대한 이질감을 줄이며, 사용자가 물건을 용이하게 찾을 수 있도록 도와주는 개인 맞춤형 정리로봇에 관한 것이다. 이를 위하여, 본 발명은, 물건을 촬영하는 영상촬영부; 상기 영상촬영부를 통해 촬영된 물건을 인식하는 물건인식부; 상기 물건을 이동시키기 위한 이동수행부; 상기 물건의 예측위치를 저장하는 물건위치맵부; 및 상기 물건위치맵부에 의한 예측위치와 상기 영상촬영부에 의해 촬영된 물건의 실측위치를 비교하여 상기 이동수행부를 제어하는 제어부를 포함하여 구성되는 개인 맞춤형 정리로봇을 제공한다. 따라서, 본 발명에 의하면, 개인이 사용한 물건을 정리정돈 할 수 있는 정리로봇을 제공할 수 있으며, 개인의 성향을 파악하여 가장 선호하는 위치에 물건을 정리할 수 있는 이점이 있다.

Description

개인 맞춤형 정리로봇 및 그것을 이용한 물건정리방법
본 발명은 개인 맞춤형 정리로봇 및 그것을 이용한 물건정리방법에 관한 것이며, 구체적으로 개인성향을 파악하여 가사물을 정리정돈함으로써 물건정리에 대한 이질감을 줄이며, 사용자가 물건을 용이하게 찾을 수 있도록 도와주는 개인 맞춤형 정리로봇 및 그것을 이용한 물건정리방법에 관한 것이다.
로봇기술이 발달하면서 산업용 로봇뿐만 아니라 점차 가정용 로봇도 많은 연구가 진행되고 있다. 특히, 가정용 로봇은 청소로봇이 가장 활발하게 상업화가 되어 있는 분야이다. 이러한 청소로봇은 실내 구조 파악을 위해 실내맵을 저장하고 있으며, 스스로 돌아다니면서 진공흡수기를 이용하여 먼지 등을 흡수하거나 바닥을 닦는 역할을 한다.
종래기술로서, 도 1에 나타낸 등록특허 제10-0877072호를 참조하면, 청소를 위한 이동로봇은, 이동로봇의 위치 인식을 위한 특징맵을 생성하는 특징뱁 생성부와, 상기 특징맵을 이용하여 얻어지는 이동로봇의 자세 정보를 바탕으로 복수의 셀을 포함하고 각각의 셀은 장애물 유무정보 및 경로정보를 갖는 경로맵을 생성하는 경로맵생성부와, 상기 장애물 유무정보 및 경로정보에 따라 상기 이동로봇을 이동시키는 이동제어부로 이루어진다.
상기 특허에 의하면, 특징맵 및 경로맵을 이용하여 청소경로를 생성하므로 청소시간이 현저히 줄어드는 장점이 있다.
하지만, 이러한 종래기술은 정해진 경로대로 바닥을 청소하는 역할에 그칠 뿐 개인의 성향에 따라 물건을 정리할 수 있는 방법이나 구성은 없다.
따라서, 정해진 루트가 아닌 개인의 성향을 파악하여 개인 물건들을 정리할 수 있는 로봇에 대한 연구가 필요한 실정이다.
본 발명은 상기한 문제점을 해결하기 위한 것이며, 개인성향을 스스로 학습하여 개인 물건을 선호하는 위치에 정리,정돈하기 위한 개인 맞춤형 정리로봇을 제공하는 것이 본 발명의 목적이다.
또한, 개인 물건의 위치파악을 함으로써 사용자가 물건을 찾을 때 도움을 줄 수 있는 정보를 제공하는 것이 본 발명의 또 다른 목적이다.
상기한 목적을 달성하기 위하여, 본 발명은, 물건을 촬영하는 영상촬영부; 상기 영상촬영부를 통해 촬영된 물건을 인식하는 물건인식부; 상기 물건을 이동시키기 위한 이동수행부; 상기 물건의 예측위치를 저장하는 물건위치맵부; 및 상기 물건위치맵부에 의한 예측위치와 상기 영상촬영부에 의해 촬영된 물건의 실측위치를 비교하여 상기 이동수행부를 제어하는 제어부를 포함하여 구성되는 개인 맞춤형 정리로봇을 제공한다.
상기 물건위치맵부는 상기 물건인식부를 통해 인식된 물건의 위치 및 인식시간을 입력데이터로 포함하며, 각 물건의 예측위치 또는 버림여부를 출력데이터로 포함하여 기계학습을 하는 것이 바람직하다.
상기 제어부는 상기 물건인식부에 의해 인식된 물건에 대하여 상기 물건위치맵부를 참조하여 대응하는 예측위치의 유무를 판별하고, 예측위치가 존재하면 상기 예측위치와 실측위치 사이의 오차거리를 계산하여 상기 오차거리가 일정거리 이상인 경우 이동수행부를 제어하여 상기 물건을 예측위치로 이동시키는 것이 바람직하다.
상기 개인 맞춤형 정리로봇은 개인성향판단부를 더 포함하며, 상기 개인성향판단부는 상기 오차거리가 일정거리 이상인 이동횟수를 계산하여 상기 이동횟수가 일정횟수 이상이고, 상기 실측위치가 일정 범위 이내인 경우 상기 실측위치를 예측위치로 변경시킬 수 있다.
상기 개인성향판단부는 상기 이동수행부에 의해 이동된 물건에 대한 피드백을 입력받아 상기 물건위치맵부를 업데이트할 수 있다.
상기 개인 맞춤형 정리로봇은 사용자에게 정보를 주기 위한 표시부를 더 포함하며, 제어부는 특정 물건의 위치정보를 요청받은 경우 상기 물건위치맵부를 검색하여 상기 표시부를 통해 상기 물건의 위치정보를 표시하여 주는 것이 바람직하다.
상기 물건인식부는 영상촬영부에 의해 촬영된 물건의 종류를 분류하고, 물건위치맵부는 상기 물건인식부에서 인식된 물건의 종류별로 예측위치를 저장하는 것이 바람직하다.
상기 물건인식부는 영상촬영부에 의해 촬영된 물건의 촬영날짜를 저장하고, 상기 제어부는 상기 물건인식부에 의해 인식된 물건에 대해 설정날짜와 촬영날짜를 비교하여 상기 촬영날짜가 설정날짜와 같거나 이후이면 이동수행부를 제어하여 상기 물건을 예측위치로 이동시키는 것이 바람직하다.
본 발명에 의하면, 또한, 영상촬영부에 의해 물건을 촬영하는 단계; 물건인식부에 의해 상기 영상촬영부를 통해 촬영된 물건을 인식하는 단계; 상기 물건의 예측위치를 물건위치맵부에 저장하는 단계; 및 제어부는 상기 물건위치맵부에 의한 예측위치와 상기 영상촬영부에 의해 촬영된 물건의 실측위치를 비교하여 이동수행부를 제어하여 상기 물건을 이동시키는 단계를 수행하는 개인 맞춤형 정리로봇에 의한 물건정리방법을 제공한다.
상기 물건위치맵부는 상기 물건인식부를 통해 인식된 물건의 위치 및 인식시간을 입력데이터로 포함하며, 각 물건의 예측위치 또는 버림여부를 출력데이터로 포함하여 기계학습을 하는 것이 바람직하다.
본 발명에 의하면, 개인이 사용한 물건을 정리정돈 할 수 있는 정리로봇을 제공할 수 있으며, 개인의 성향을 파악하여 가장 선호하는 위치에 물건을 정리할 수 있는 이점이 있다.
또한, 본 발명에 의하면, 효율적으로 물건을 정리할 수 있으며, 사용자가 특정 물건을 찾을 경우 해당 물건에 대한 정보를 표시하여 줌으로써 편리하게 이용할 수 있는 이점이 있다.
도 1은 종래기술에 의한 청소로봇의 구성을 나타내는 구성도;
도 2는 본 발명에 의한 개인 맞춤형 정리로봇의 구성을 나타내는 구성도;
도 3은 도 2에서 물건인식부의 구성을 나타내는 구성도;
도 4는 본 발명에 의한 개인 맞춤형 정리로봇의 예를 나타내는 예시도;
도 5는 본 발명에 의한 물건위치맵부의 학습방법을 나타내는 예시도;
도 6은 본 발명에 의한 개인 맞춤형 정리로봇의 정리방법을 나타내는 설명도.
본 발명의 실시예의 구성 및 작용에 대하여 첨부한 도면을 참조하여 상세하게 설명한다.
도 2 및 도 6을 참조하면, 본 발명에 의한 개인 맞춤형 정리로봇은 영상촬영부(110), 물건인식부(120), 이동수행부(130), 물건위치맵부(140), 개인성향판단부(150), 제어부(160), 통신부(170), 주행부(180)를 포함하여 구성된다.
상기 영상촬영부(110)는 전방의 영상을 촬영할 수 있는 하나 이상의 센서들을 포함하여 구성될 수 있으며, RGB카메라, RGBD카메라, 라이다(Lidar), 적외선 스캐너, 초음파센서, LRF센서 등을 포함할 수 있다.
상기 물건인식부(120)는 영상촬영부(110)에서 촬영된 영상을 이용하여 영상에 포함된 물건을 인식하여 레이블을 생성한다.
구체적으로, 도 3을 참조하면, 물건인식부(120)는 영상수신부(121), 특징점추출부(122), 윤곽선추출부(123), 레이블매칭부(124)를 포함한다.
영상수신부(121)는 영상촬영부(110)에서 촬영된 영상을 수신할 수도 있고, 통신부(160)를 통해 외부에서 촬영된 영상을 수신받을 수도 있다. 상기 영상수신부(121)를 통해 수신된 영상은 특징점추출부(122)에서 특징점들이 추출된다. 상기 특징점들은 픽셀(색상 또는 명암)의 변화가 큰 점들이 될 수 있으며, 예를 들어, 물건의 모서리나 꼭지점 등이 될 수 있다.
또한, 윤곽선추출부(123)에서는 촬영된 물건의 외형을 추출하는 역할을 한다. 윤곽선을 추출하는 방법으로 세그멘테이션(segmentation) 기법이 이용될 수 있다.
윤곽선추출부(123)에 의해 분리된 물건의 영상정보는 레이블매칭부(124)에 의해 분류되어 레이블이 생성된다.
상기 레이블매칭부(124)는 입력층, 은닉층, 출력층을 포함한 딥러닝과 같은 인공지능 신경망으로 구성될 수 있으며, 학습된 데이터를 이용하여 은닉층에 가중치정보가 저장되어 있다.
상기 물건인식부는 이러한 방법으로 영상촬영부에 의해 촬영된 물건의 종류를 분류할 수 있으며, 영상촬영부에 의해 촬영된 물건의 촬영날짜를 저장할 수 있다.
상기 이동수행부(130)는 도 4와 같이 본체 전방에 형성되어 영상촬영부(110)로부터 촬영된 물건을 파지하는 역할을 하며, 소프트 그리퍼(soft gripper)로 구비되는 것이 바람직하다. 즉, 상기 이동수행부(130)는 제어부의 제어 하에 영상촬영부(110)로부터 촬영된 물건이 파지 가능한 경우, 물건을 파지하고 주행부(180)에 의해 특정 장소로 이동 후 물건의 파지를 해제할 수 있다.
상기 이동수행부(130)는 설계조건에 따라 다섯 손가락을 흉내낸 로봇손, 진공흡착을 할 수 있는 흡착기, 두 방향으로 구비되어 물건을 집을 수 있는 로봇집게 등 여러가지 형태로 구비될 수도 있다.
제어부는 영상촬영부로부터 촬영된 물건의 이미지를 통해 파지 가능여부를 판단할 수 있다. 즉, 제어부는 영상촬영부로부터 촬영된 물건의 이미지를 자체적으로 저장부에 저장된 물건의 종류에 대한 데이터베이스와 각 물건의 이미지 정보를 매칭시켜 촬영된 물건의 종류를 분류하고, 분류된 물건의 무게 또는 형상에 따라 이동수행부를 통해 파지가능 여부를 판단한다.
또한, 제어부는 이동수행부에 의해 파지 가능하다고 판단한 경우, 해당 물건을 학습할 수 있다. 여기서 제어부는 GAN 기반의 피킹학습정책 네트워크를 통해 해당 물건을 학습할 수 있다. 예를 들어, 제어부는 생성자(Generator)를 통해 실제 파지할 물건에 대하여 학습하고 이를 바탕으로 거짓 데이터를 생성한다. 그리고, 제어부에서는 감별자(Discriminor)를 통해 생성자가 내놓은 데이터가 실제인지 거짓인지 판별할 수 있도록 학습을 수행한다. 이와 같이 제어부는 대량의 데이터를 정제과정없이 처리할 수 있으며, 스스로 학습함으로써 학습데이터 확보가 쉽지 않은 문제점을 해결할 수 있다.
본 발명은 관리서버를 따로 두고 상기 관리서버에 데이터베이스를 구축하여 둠으로써 방대한 데이터를 관리할 수 있다. 즉, 관리서버에서는 개인 맞춤형 정리로봇으로부터 전방에 감지된 물건에 대한 이미지를 수신하거나, 서버 제어부에 의해 결정된 물건의 종류나 물건의 종류에 따른 무게 또는 형상을 다시 개인 맞춤형 정리로봇으로 송신하거나, 파지 가능여부에 대한 데이터를 송신할 수 있다.
또한, 서버 제어부에서는 개인 맞춤형 정리로봇으로부터 수신한 물건의 이미지를 데이터베이스에 저장된 이미지 정보와 매칭시켜 이미지에 포함된 물건의 종류를 파악할 수 있다.
상기 물건위치맵부(140)는 사용자 물건의 예측위치를 저장하며, 업데이트하는 역할을 한다. 상기 예측위치는 각 물건에 대해 사용자가 선호하는 위치일 수 있으며, 물건이 위치해야 할 장소를 실내의 정해진 위치에 대응시켜 놓은 데이터로 볼 수 있다. 특히, 물건위치맵부(140)는 물건인식부에서 인식된 물건의 종류별로 예측위치를 저장할 수 있다.
상기 물건위치맵부(140)는 실내구조를 포함하는 실내맵을 저장하며, 또한, 도 5와 같은 인공신경망 또는 딥러닝 등의 기계학습에 의해 물건의 위치와 포즈등을 학습하여 각 물건의 예측위치정보를 저장하게 된다. 예를 들어, 사물인식부에서 컵을 인식한 경우 상기 컵의 예측위치는 부엌으로 저장될 수 있으며, 옷을 인식한 경우 상기 옷의 예측위치는 세탁실 등으로 저장될 수 있다.
상기 실내맵은 방, 거실, 부엌, 화장실의 위치 및 구조정보 등이 저장될 수 있으며, 미리 만들어진 지도정보가 저장되거나 주행부를 통해 획득한 영상정보를 기초로 하여 실내맵을 생성할 수도 있다. 또한, 물건의 예측위치는 실내맵을 기초로 하여 각 물건에 2차원 또는 3차원 좌표를 대응시키거나 방,부엌,화장실 등 기능적인 구획공간에 대응시킬 수도 있다.
예측위치를 학습할 때, 입력층에는 영상촬영부(110)를 통해 획득한 물건의 위치 및 인식시간이 입력데이터로 포함될 수 있으며, 출력층에는 각 물건의 예측위치 또는 버림여부가 출력데이터로 포함될 수 있다.
예를 들어, 영상촬영부를 통해 병을 인식하였다고 할 때, 상기 병의 색상을 분석하여 내용물의 부피가 추정되고, 내용물의 부피가 일정부피 이하라고 판단되면 버리는 것으로 판단할 수 있다. 또한, 쿠키상자의 경우 영상촬영부를 통해 인식된 상자가 열려 있는 경우 쿠키가 있는 지 없는 지를 판단하여 쿠기가 없는 경우 버리는 것으로 판단할 수 있다.
상기한 바와 같이 버림으로 판단된 물건의 경우 예측위치는 휴지통으로 저장되어 이동수행부는 상기 물건을 파지하여 휴지통으로 이동시킬 수 있다.
또한, 동일한 물건이라도 물건인식부(120)에서 인식한 물건의 상태에 따라 예측위치가 달라질 수 있다. 예를 들어, 물건인식부에서 물건이 콜라병으로 인식되었을 때, 콜라병에 콜라가 가득 찬 것으로 인식된 경우 예측위치는 냉장고가 될 수 있으며, 콜라병에 콜라가 비어있는 것으로 인식된 경우 버림으로 판단한다.
상기 주행부(180)는 본체를 이동시키기 위한 구성으로, 본체의 하부에 설치되는 바퀴 및 상기 바퀴를 구동시키기 위한 모터로 구성되거나 걸을 수 있는 다리로 구성될 수 있다.
상기 본체에는 영상촬영부, 물건인식부, 이동수행부 등의 장치나 소프트웨어가 탑재되며, 상기 본체는 어느 정도 높이에 있는 실내의 물건을 인식하고 이동시키기 위하여 높이 조절이 가능하거나 일정 높이를 유지하도록 구성되는 것이 바람직하다.
또한, 상기 본체에 구비되는 통신부(170)는 블루투스, 와이파이, LTE와 같은 무선통신을 수행할 수 있도록 구비되며, 통신망을 통해 관리서버와 통신을 수행할 수 있다. 특히, 상기 통신부(170)는 영상촬영부(110)에 의해 촬영된 전방의 물건의 이미지를 관리서버로 전송하거나, 관리서버로부터 전송한 이미지에 대응되는 물건의 종류 또는 물건의 파지 가능여부에 대한 데이터를 수신할 수 있다.
그리고, 상기 본체에는 입력부(190) 및 표시부(195)가 구비될 수 있다. 상기 입력부(190)는 하나 이상의 버튼을 포함할 수 있다. 예를 들어, 입력부(190)는 예측위치, 영상정보, 물건위치 등을 확인하는 명령을 입력하거나 상기 명령을 재설정하는 버튼, 삭제버튼, 정리시작버튼, 정지버튼 등을 구비할 수 있다. 또한, 입력부(190)는 예약정보를 설정하거나 삭제하기 위한 버튼을 구비할 수도 있다. 이러한 입력부(190)는 사용자의 터치 또는 조작에 따른 입력신호를 발생하는 키패드와 터치패드 중 적어도 하나를 포함하여 구성될 수 있다. 이때, 입력부는 표시부와 함께 하나의 터치패널의 형태로 구성되어 입력과 표시 기능을 동시에 수행할 수 있다.
표시부(195)는 예약정보, 배터리 상태, 정리방식, 주행방식, 예측위치, 물건위치 등을 화면에 표시하여 준다. 상기 표시부는 본체의 각 유닛들의 현재상태와 정리상태 등을 출력할 수 있다.
제어부(160)는 본체의 각 구성 유닛들의 동작을 제어하는 역할을 한다. 또한, 주행부를 통해 본체가 실내공간을 돌아다니며 주기적으로 또는 설정된 시간에 맞추어 실내의 물건들을 스캔하도록 한다.
제어부(160)는 영상촬영부를 통해 촬영된 영상을 기초로 하여 물건인식부에서 촬영된 영상을 분석하여 물건을 인식하고, 물건위치맵부를 참조하여 인식된 물건에 대하여 대응하는 예측위치가 있는지 판별한다.
이때, 인식된 물건에 대응하는 예측위치가 있는 경우 상기 예측위치와 영상촬영부를 통해 촬영된 실측위치의 사이의 오차거리를 계산한다. 상기 오차거리는 실내맵을 참조하여 직선거리로 계산될 수 있으나, 이에 한정되지는 않고 상황에 맞는 방식으로 계산될 수 있다. 예를 들어, 실내의 벽이나 문을 고려한 최단거리, 좌표의 거리가 아닌 방, 부엌, 화장실과 같은 기능적인 구획공간 사이의 거리 등으로 계산될 수 있다. 상기 기능적인 구획공간은 방 내에서도 침대, 책상, 의자 등의 기능적인 사물별로 나뉠 수 있다. 만약, 인식된 물건의 예측위치와 실측위치가 동일하다면 오차거리는 0으로 계산된다.
제어부에서는 각 물건마다 위와 같은 방법으로 오차거리를 계산하여 저장부에 저장하며, 오차거리가 일정거리 이상인 경우 이동수행부를 제어하여 상기 물건을 파지한 후, 상기 물건을 예측위치로 이동시킬 수 있다.
이때, 오차거리는 일반적인 거리개념과는 다를 수 있다. 예를 들어, 동일한 방에서 침대 옆에 책상이 있는 경우 자로 잰 실측거리는 짧은 거리이더라도 오차거리는 기능적인 구획공간이 달라지면 매우 큰 거리로 저장될 수 있다. 즉, 오차거리는 자로 잰 실측거리에 기능적인 구획공간의 가중치를 곱하여 계산될 수 있다. 기능적인 구획공간이 달라지면 가중치가 커지도록 설정된다. 즉, 예측위치와 실측위치의 기능적인 구획공간이 달라지면 가중치는 1보다 큰 값이 곱해지고, 예측위치와 실측위치의 기능적인 구획공간이 동일하면 가중치는 1보다 작은 값이 곱해질 수 있다.
상기 제어부에서는 전체 실내 스캔을 마치면 오차거리가 가장 큰 물건순으로 정렬한 후 가장 오차거리가 큰 물건부터 정리를 시작할 수 있다.
한편, 인식된 물건에 따라 설정날짜 또는 설정횟수가 저장될 수 있다. 상기 설정날짜 또는 설정횟수는 해당 물건에 대해 어떠한 조치를 취해야 하는 날짜 또는 횟수이다. 예를 들어, 특정 외투가 인식되었을 때 제어부에서는 설정날짜와 물건인식부에서 인식된 촬영날짜를 비교하여 촬영날짜가 설정날짜와 같거나 이후이면 설정된 동작을 수행할 수 있다. 상기 설정된 동작은 이동수행부를 이용하여 세탁실로 이동시키는 등의 동작이 될 수 있다. 또한, 물건인식부를 통해 특정 음식물이 인식되었을 때, 설정날짜가 되면 상기 음식물을 이동수행부를 통해 휴지통으로 이동시키는 동작을 수행할 수도 있다.
상기 설정횟수는 물건인식부에 의해 인식된 횟수를 나타낸다. 이때, 설정횟수는 촬영날짜가 바뀌어야 설정횟수가 증가하도록 하는 것이 바람직하다.
상기 설정날짜 또는 설정횟수는 사용자에 의해 입력을 받을 수도 있고 자동으로 설정될 수도 있다. 예를 들어, 인식된 물건이 특정 셔츠인 경우 설정횟수가 자동으로 정해지며 상기 셔츠가 인식된 횟수가 설정횟수에 다다르면 제어부는 이동수행부를 이용하여 상기 셔츠를 세탁실로 이동시킨다.
상기 개인성향판단부(150)는 일반적인 환경과 달리 가사물에 대해 개인성향을 반영하여 정돈을 하기 위한 것으로서, 영상촬영부에 의해 촬영된 영상을 분석하여 각 물건에 대하여 오차거리가 일정거리 이상인 횟수, 즉 일정 기간동안 이동횟수를 계산하여 상기 이동횟수가 일정횟수 이상이고, 실측위치가 실측오차범위 이내인 경우 제어부를 통해 물건위치맵부에서 상기 실측위치를 예측위치로 변경시킨다.
상기 실측오차범위는 저장된 최종실측위치로부터 일정 거리 이내의 범위를 의미할 수 있으며, 이때에도 오차거리와 마찬가지로 기능적인 구획공간에 따라 가중치가 곱해질 수 있다. 즉, 최종실측위치와 현재실측위치가 동일한 기능적인 구획공간인 경우 가중치는 1보다 작게 되고, 최종실측위치와 현재실측위치가 동일한 기능적인 구획공간인 경우 가중치는 1보다 크게 될 수 있다.
개인성향판단부(150)는 외부 단말기를 통해서도 개인의 선호위치를 입력받을 수 있다. 예를 들어, 스마트폰과 같은 단말기를 통해 특정 물건의 선호위치를 입력받을 수 있으며, 이때, 개인성향판단부는 외부 단말기를 통해 입력받은 선호위치를 해당 물건의 예측위치로 변경시킨다.
또한, 상기 개인성향판단부(150)는 이동수행부(130)에 의해 이동된 물건에 대한 피드백을 입력받아 기계학습의 입력데이터로 활용함으로써 물건위치맵부를 업데이트할 수 있다. 이때, 기계학습은 GAN(Generative Adversarial Networks)기반 인공지능학습을 이용하는 것이 바람직하다.
한편, 상기 표시부(195)는 사용자에게 각종 정보를 표시하여 주는데, 제어부는 입력부(190)나 외부 단말기를 통해 입력받은 요청에 대해 상기 표시부를 통해 대응하는 정보를 표시하여 줄 수 있다.
상기 물건위치맵부(140)에서는 스캔한 물건 또는 이동수행부를 통해 이동시킨 물건의 최종위치를 저장하고 있다. 이때, 특정 물건의 위치정보를 요청받은 경우 제어부에서는 물건위치맵부를 검색하여 표시부를 통해 상기 물건의 위치정보를 표시하여 줄 수 있다.
상기에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 물건을 촬영하는 영상촬영부;
    상기 영상촬영부를 통해 촬영된 물건을 인식하는 물건인식부;
    상기 물건을 이동시키기 위한 이동수행부;
    상기 물건의 예측위치를 저장하는 물건위치맵부; 및
    상기 물건위치맵부에 의한 예측위치와 상기 영상촬영부에 의해 촬영된 물건의 실측위치를 비교하여 상기 이동수행부를 제어하는 제어부를 포함하여 구성되는 개인 맞춤형 정리로봇.
  2. 제1항에 있어서,
    상기 물건위치맵부는 상기 물건인식부를 통해 인식된 물건의 위치 및 인식시간을 입력데이터로 포함하며, 각 물건의 예측위치 또는 버림여부를 출력데이터로 포함하여 기계학습을 하는 것을 특징으로 하는 개인 맞춤형 정리로봇.
  3. 제1항에 있어서,
    상기 제어부는 상기 물건인식부에 의해 인식된 물건에 대하여 상기 물건위치맵부를 참조하여 대응하는 예측위치의 유무를 판별하고, 예측위치가 존재하면 상기 예측위치와 실측위치 사이의 오차거리를 계산하여 상기 오차거리가 일정거리 이상인 경우 이동수행부를 제어하여 상기 물건을 예측위치로 이동시키는 것을 특징으로 하는 개인 맞춤형 정리로봇.
  4. 제3항에 있어서,
    상기 개인 맞춤형 정리로봇은 개인성향판단부를 더 포함하며,
    상기 개인성향판단부는 상기 오차거리가 일정거리 이상인 이동횟수를 계산하여 상기 이동횟수가 일정횟수 이상이고, 상기 실측위치가 일정 범위 이내인 경우 상기 실측위치를 예측위치로 변경시키는 것을 특징으로 하는 개인 맞춤형 정리로봇.
  5. 제3항에 있어서,
    상기 개인성향판단부는 상기 이동수행부에 의해 이동된 물건에 대한 피드백을 입력받아 상기 물건위치맵부를 업데이트하는 것을 특징으로 하는 개인 맞춤형 정리로봇.
  6. 제1항에 있어서,
    상기 개인 맞춤형 정리로봇은 사용자에게 정보를 주기 위한 표시부를 더 포함하며,
    제어부는 특정 물건의 위치정보를 요청받은 경우 상기 물건위치맵부를 검색하여 상기 표시부를 통해 상기 물건의 위치정보를 표시하여 주는 것을 특징으로 하는 개인 맞춤형 정리로봇.
  7. 제1항에 있어서,
    상기 물건인식부는 영상촬영부에 의해 촬영된 물건의 종류를 분류하고,
    물건위치맵부는 상기 물건인식부에서 인식된 물건의 종류별로 예측위치를 저장하는 것을 특징으로 하는 개인 맞춤형 정리로봇.
  8. 제3항에 있어서,
    상기 물건인식부는 영상촬영부에 의해 촬영된 물건의 촬영날짜를 저장하고, 상기 제어부는 상기 물건인식부에 의해 인식된 물건에 대해 설정날짜와 촬영날짜를 비교하여 상기 촬영날짜가 설정날짜와 같거나 이후이면 이동수행부를 제어하여 상기 물건을 예측위치로 이동시키는 것을 특징으로 하는 개인 맞춤형 정리로봇.
  9. 영상촬영부에 의해 물건을 촬영하는 단계;
    물건인식부에 의해 상기 영상촬영부를 통해 촬영된 물건을 인식하는 단계;
    상기 물건의 예측위치를 물건위치맵부에 저장하는 단계; 및
    제어부는 상기 물건위치맵부에 의한 예측위치와 상기 영상촬영부에 의해 촬영된 물건의 실측위치를 비교하여 이동수행부를 제어하여 상기 물건을 이동시키는 단계를 수행하는 개인 맞춤형 정리로봇에 의한 물건정리방법.
  10. 제9항에 있어서,
    상기 물건위치맵부는 상기 물건인식부를 통해 인식된 물건의 위치 및 인식시간을 입력데이터로 포함하며, 각 물건의 예측위치 또는 버림여부를 출력데이터로 포함하여 기계학습을 하는 것을 특징으로 하는 개인 맞춤형 정리로봇에 의한 물건정리방법.
PCT/KR2018/015022 2018-11-23 2018-11-30 개인 맞춤형 정리로봇 및 그것을 이용한 물건정리방법 WO2020105778A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0146008 2018-11-23
KR1020180146008A KR102181815B1 (ko) 2018-11-23 2018-11-23 개인 맞춤형 정리로봇 및 그것을 이용한 물건정리방법

Publications (1)

Publication Number Publication Date
WO2020105778A1 true WO2020105778A1 (ko) 2020-05-28

Family

ID=70774540

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/015022 WO2020105778A1 (ko) 2018-11-23 2018-11-30 개인 맞춤형 정리로봇 및 그것을 이용한 물건정리방법

Country Status (2)

Country Link
KR (1) KR102181815B1 (ko)
WO (1) WO2020105778A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102392594B1 (ko) * 2021-01-19 2022-04-29 고려대학교 산학협력단 정리정돈 로봇을 이용한 정리정돈 시스템
KR102451757B1 (ko) 2021-03-10 2022-10-11 한국과학기술연구원 공간 내 물건의 특성에 기초하여 공간 복잡도를 계산하는 공간 분석 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100711559B1 (ko) * 2006-07-26 2007-04-27 김승우 홈 메스클린업 로봇 시스템 및 구현방법
JP3920317B2 (ja) * 2004-08-02 2007-05-30 松下電器産業株式会社 物品運搬用ロボット
JP2007152443A (ja) * 2005-11-30 2007-06-21 Mitsubishi Heavy Ind Ltd 片付けロボット
KR20110114813A (ko) * 2010-04-14 2011-10-20 순천향대학교 산학협력단 승강 구조를 가지는 가사도우미 로봇
KR20160032532A (ko) * 2014-09-16 2016-03-24 경상대학교산학협력단 정리 로봇

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100811887B1 (ko) 2006-09-28 2008-03-10 한국전자통신연구원 단계적 정확도를 갖는 위치 정보를 선택적으로 제공할 수있는 자율이동로봇의 위치 정보 제공 장치 및 그 방법
KR100866380B1 (ko) * 2007-02-13 2008-11-03 한국과학기술연구원 물체인식을 바탕으로 한 로봇의 자기위치 추정 방법
KR100917377B1 (ko) * 2007-03-30 2009-09-16 성균관대학교산학협력단 인식/추론 수준에 따른 계층적 구조의 실내 정보를 가지는서비스 로봇의 중앙 정보처리 시스템 및 방법
KR100926783B1 (ko) * 2008-02-15 2009-11-13 한국과학기술연구원 물체인식 및 인식된 물체를 포함하는 주변 환경 정보를바탕으로 한 로봇의 자기 위치 추정 방법
KR100991194B1 (ko) * 2008-07-31 2010-11-05 주식회사 유진로봇 이동 로봇의 물체 운반 시스템 및 방법
KR101134316B1 (ko) * 2009-10-09 2012-04-13 한양대학교 산학협력단 물체의 공간적 의미정보를 이용한 로봇의 능동적 자기위치 추정 방법
KR102447438B1 (ko) * 2015-07-01 2022-09-27 삼성전자주식회사 알림 장치 및 알림 장치가 물건의 위치를 알려주는 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3920317B2 (ja) * 2004-08-02 2007-05-30 松下電器産業株式会社 物品運搬用ロボット
JP2007152443A (ja) * 2005-11-30 2007-06-21 Mitsubishi Heavy Ind Ltd 片付けロボット
KR100711559B1 (ko) * 2006-07-26 2007-04-27 김승우 홈 메스클린업 로봇 시스템 및 구현방법
KR20110114813A (ko) * 2010-04-14 2011-10-20 순천향대학교 산학협력단 승강 구조를 가지는 가사도우미 로봇
KR20160032532A (ko) * 2014-09-16 2016-03-24 경상대학교산학협력단 정리 로봇

Also Published As

Publication number Publication date
KR20200063355A (ko) 2020-06-05
KR102181815B1 (ko) 2020-11-24

Similar Documents

Publication Publication Date Title
US10967507B2 (en) Positioning a robot sensor for object classification
CN104737085B (zh) 用于自主地检测或处理地面的机器人和方法
US20140083058A1 (en) Controlling and monitoring of a storage and order-picking system by means of motion and speech
US20190390396A1 (en) Robot and clothes folding apparatus including the same
WO2020105778A1 (ko) 개인 맞춤형 정리로봇 및 그것을 이용한 물건정리방법
WO2010114235A1 (en) Mobile robot with single camera and method for recognizing 3d surroundings of the same
JP6843914B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2006013829A1 (ja) 物品運搬用ロボット、物品運搬システム、及び物品運搬方法
US11559902B2 (en) Robot system and control method of the same
WO2020096170A1 (ko) 쇼핑 카트로 이용 가능한 이동 로봇
WO2018117514A1 (ko) 공항용 로봇 및 그의 동작 방법
Demura et al. Picking up one of the folded and stacked towels by a single arm robot
KR102285625B1 (ko) 비접촉식 물건속성 인식장치 및 방법
CN114746906A (zh) 具有机器人任务特定的头的共享密集网络
JP2020075326A (ja) ロボット
JP2005056213A (ja) 情報提供システム、情報提供サーバ、情報提供方法
CN111321548A (zh) 衣物处理***和衣物处理控制方法
KR20200034025A (ko) 정리 및 정돈이 가능한 청소 로봇 및 시스템
JP2021160942A (ja) 入庫経路提案プログラム
WO2021045260A1 (ko) 로봇 청소기 및 제어방법
JP2015066625A (ja) 注目対象推定システムならびにロボットおよび制御プログラム
Sharan et al. Design of an easy upgradable cost efficient autonomous assistive robot ROSWITHA
JP2021163486A (ja) 入庫経路提案プログラム
JPH1083455A (ja) 物体認識装置および方法
Neo et al. A natural language instruction system for humanoid robots integrating situated speech recognition, visual recognition and on-line whole-body motion generation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18940827

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18940827

Country of ref document: EP

Kind code of ref document: A1