KR102483779B1 - Autonomous-driving cart based on deep learning and method therefor - Google Patents

Autonomous-driving cart based on deep learning and method therefor Download PDF

Info

Publication number
KR102483779B1
KR102483779B1 KR1020210069318A KR20210069318A KR102483779B1 KR 102483779 B1 KR102483779 B1 KR 102483779B1 KR 1020210069318 A KR1020210069318 A KR 1020210069318A KR 20210069318 A KR20210069318 A KR 20210069318A KR 102483779 B1 KR102483779 B1 KR 102483779B1
Authority
KR
South Korea
Prior art keywords
client
information
self
customer
following
Prior art date
Application number
KR1020210069318A
Other languages
Korean (ko)
Other versions
KR20220160989A (en
Inventor
박상수
김채원
한지수
박지윤
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Priority to KR1020210069318A priority Critical patent/KR102483779B1/en
Publication of KR20220160989A publication Critical patent/KR20220160989A/en
Application granted granted Critical
Publication of KR102483779B1 publication Critical patent/KR102483779B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G06Q50/30—
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

미리 정해진 시간 내 촬영부로부터 가장 많은 검출 횟수를 가지는 고객을 클라이언트로 매칭하고, 클라이언트를 추종하며, 클라이언트를 분실하면 클라이언트를 재추종하는 것을 포함하는 딥러닝 기반의 자율주행카트 및 제어방법을 제공한다.Provides a deep learning-based self-driving cart and control method that includes matching a customer with the highest number of detections from a photographing unit within a predetermined time as a client, following the client, and re-following the client if the client is lost .

Description

딥러닝 기반의 자율주행카트 및 이의 제어방법{AUTONOMOUS-DRIVING CART BASED ON DEEP LEARNING AND METHOD THEREFOR}Deep learning-based autonomous driving cart and its control method {AUTONOMOUS-DRIVING CART BASED ON DEEP LEARNING AND METHOD THEREFOR}

본 발명은 딥러닝 기반의 자율주행카트 및 이의 제어방법에 관한 것으로, 보다 상세하게는 자율주행카트와 클라이언트를 매칭하고 매칭된 클라이언트를 추종하는 딥러닝 기반의 자율주행카트 및 이의 제어방법에 관한 것이다.The present invention relates to a deep learning-based self-driving cart and a control method thereof, and more particularly, to a deep-learning-based self-driving cart that matches a self-driving cart with a client and follows the matched client, and a control method thereof. .

카트는 대형 마트, 백화점, 골프장, 쇼핑몰 등의 공간에서 소비자들이 물품을 싣고 운반하기 위해 주로 사용되고 있다. 한편, 카트는 물품이 적재되는 적재부, 프레임, 구동부 및 사용자가 카트를 제어할 수 있도록 마련되는 손잡이를 포함한다.Carts are mainly used by consumers to load and transport goods in spaces such as large marts, department stores, golf courses, and shopping malls. Meanwhile, the cart includes a loading part, a frame, a driving part, and a handle provided to allow a user to control the cart.

이러한 카트는, 사용자가 손잡이를 잡고 수동으로 카트를 제어하면서 원하는 장소로 이동해야 하는 불편함이 있다. 또한, 카트와 다른 사람들과 부딪히거나 장애물과 부딪히는 등 어려움을 겪을 수 있다. 더욱이, 고객이 카트를 분실한 경우에, 고객이 일일이 장소를 거닐면서 카트를 찾아야 한다는 한계점이 있다.Such a cart is inconvenient for a user to move it to a desired place while holding a handle and manually controlling the cart. Also, you may encounter difficulties such as bumping into the cart and other people or bumping into obstacles. Moreover, when a customer loses a cart, there is a limit in that the customer has to find the cart while walking around one by one.

이에 따라, 자동으로 카트가 제어되면서 고객을 추종하며, 장애물 회피 이동경로를 계획하여 자동 주행하는 자율주행카트가 요구되는 실정이다.Accordingly, there is a demand for an autonomous cart that follows a customer while automatically controlling the cart, plans an obstacle-avoiding movement path, and automatically drives.

본 발명이 해결하고자 하는 기술적 과제는 일정 조건을 만족하는 고객을 자율주행카트의 클라이언트로 매칭하며, 매칭된 클라이언트가 별도의 장치를 소지하지 않고도, 매칭된 클라이언트만을 추종하는 자율주행카트를 제공하는 것이다.A technical problem to be solved by the present invention is to provide an autonomous cart that matches a customer satisfying a certain condition as a client of an autonomous cart and follows only the matched client without the matched client having a separate device. .

또한, 본 발명이 해결하고자 하는 기술적 과제는 센서부를 구비함으로써, 센서부에 의해 자율주행카트와 클라이언트 또는 자율주행카트와 장애물간의 거리를 감지하고, 장애물 회피 이동경로를 계획하여 주행하는 자율주행카트를 제공하는 것이다.In addition, a technical problem to be solved by the present invention is to provide an autonomous cart that detects a distance between an autonomous cart and a client or an autonomous cart and an obstacle by having a sensor unit, and plans an obstacle-avoidance movement path to drive. is to provide

또한, 본 발명이 해결하고자 하는 기술적 과제는, 자율주행카트가 클라이언트를 잃어버린 경우에도, 클라이언트의 음성정보 및 다른 자율주행카트가 수집한 클라이언트의 정보를 이용하여 클라이언트를 추종하는 자율주행카트를 제공하는 것이다. In addition, the technical problem to be solved by the present invention is to provide an autonomous cart that follows a client by using the client's voice information and the client's information collected by other self-driving carts even when the self-driving cart loses the client. will be.

본 발명의 일측면은, 적어도 하나의 고객이 위치하는 실내에서 고객을 매칭하여 추종하는 딥러닝 기반의 자율주행카트에 있어서, 상기 고객을 검출하도록 마련되는 촬영부; 상기 실내의 주변 환경 정보를 획득하는 센서부; 상기 고객의 음성이 입력되는 음성입력부; 및 실내에 복수의 고객이 위치하면 상기 복수의 고객 중 미리 정해진 시간 내 상기 촬영부로부터 가장 많은 검출 횟수를 가지는 고객을 클라이언트로 매칭하고, 실내에 단수의 고객이 위치하면 상기 단수의 고객을 클라이언트로 매칭하며, 상기 센서부로부터 획득된 정보를 기초로 상기 클라이언트를 미리 정해진 간격으로 추종하고, 상기 클라이언트를 분실하면 다른 자율주행카트로부터 클라이언트 정보를 받아 상기 클라이언트를 재추종하거나, 상기 클라이언트로부터 미리 설정된 ID 정보와 일치하는 ID 정보가 상기 음성입력부에 음성으로 입력되면 상기 입력된 음성의 위치정보를 기초로 상기 클라이언트를 재추종하는 제어부를 포함할 수 있다.One aspect of the present invention is a deep learning-based autonomous driving cart that matches and follows a customer in an indoor area where at least one customer is located, comprising: a photographing unit provided to detect the customer; a sensor unit that obtains environment information of the indoor environment; a voice input unit through which the customer's voice is input; And if a plurality of customers are located indoors, a customer having the largest number of detections from the photographing unit within a predetermined time among the plurality of customers is matched as a client, and if a single customer is located indoors, the single customer is identified as a client. based on the information obtained from the sensor unit, the client is followed at a predetermined interval, and if the client is lost, the client is re-followed by receiving client information from another self-driving cart, or an ID set in advance from the client and a control unit that re-follows the client based on location information of the input voice when ID information matching information is input to the voice input unit as voice.

또한, 상기 제어부가 고객을 상기 클라이언트로 매칭하는 것은, 서버에 클라이언트 매칭 후보군의 고객 정보를 송신한 다음, 이전에 매칭된 바 없다는 정보를 상기 서버로부터 수신하면, 상기 고객을 클라이언트로 매칭하는 것을 포함할 수 있다.In addition, the matching of the customer to the client by the control unit includes transmitting customer information of a client matching candidate group to the server, and then matching the customer to the client when information that has not previously been matched is received from the server. can do.

또한, 상기 제어부가 상기 클라이언트를 미리 정해진 간격으로 추종하는 것은, 상기 클라이언트를 추종하는 도중에 상기 센서부로부터 이동 장애물 출현 정보를 획득하면, 미리 정해진 시간 동안 정지하고, 미리 정해진 시간 이후에도 상기 이동 장애물이 클라이언트의 추종경로 상에서 벗어나지 않는 경우에는, 상기 이동 장애물을 우회하여 상기 클라이언트를 추종하는 것을 포함할 수 있다.In addition, the control unit following the client at predetermined intervals stops for a predetermined time if moving obstacle appearance information is acquired from the sensor unit while following the client, and the moving obstacle is stopped by the client even after the predetermined time. It may include following the client by bypassing the moving obstacle if it does not deviate from the following path.

또한, 상기 제어부가 상기 클라이언트를 미리 정해진 간격으로 추종하는 것은, 상기 클라이언트를 추종하는 도중에 상기 센서부로부터 고정 장애물 출현 정보를 획득하면, 상기 고정 장애물을 우회하여 상기 클라이언트를 추종하는 것을 포함할 수 있다.In addition, the controlling unit following the client at predetermined intervals may include bypassing the fixed obstacle and following the client if fixed obstacle appearance information is obtained from the sensor unit while following the client. .

또한, 상기 제어부가 다른 자율주행카트로부터 상기 클라이언트 정보를 받아 상기 클라이언트를 재추종하는 것은, 다른 자율주행카트가 수집한 상기 클라이언트의 위치정보를 서버로부터 수신하여 상기 클라이언트의 위치정보를 기초로 상기 클라이언트를 재추종하는 것을 포함할 수 있다.In addition, when the control unit receives the client information from another self-driving cart and re-follows the client, the location information of the client collected by another self-driving cart is received from the server and the client is based on the location information of the client. may include re-following.

또한, 상기 클라이언트로부터 미리 설정된 ID 정보는 주행 전에 상기 클라이언트가 상기 음성입력부에 음성을 입력하여 부여한 고유의 ID 정보일 수 있다.Also, the ID information preset by the client may be unique ID information given by the client by inputting a voice to the voice input unit before driving.

본 발명의 다른 일측면은, 적어도 하나의 고객이 위치하는 실내에서 고객을 매칭하여 추종하는 딥러닝 기반의 자율주행카트의 제어방법에 있어서, 실내에 복수의 고객이 위치하면 상기 복수의 고객 중 미리 정해진 시간 내 상기 촬영부로부터 가장 많은 검출 횟수를 가지는 고객을 클라이언트로 매칭하고, 실내에 단수의 고객이 위치하면 상기 단수의 고객을 클라이언트로 매칭하는 단계; 상기 실내의 주변 환경 정보를 획득하는 센서부로부터 획득된 정보를 기초로 상기 클라이언트를 미리 정해진 간격으로 추종하는 단계; 및 상기 클라이언트를 분실하면, 다른 자율주행카트로부터 상기 클라이언트 정보를 받아 상기 클라이언트를 재추종하거나, 상기 클라이언트로부터 미리 설정된 ID 정보와 일치하는 ID 정보가 상기 음성입력부에 음성으로 입력되면 상기 입력된 음성의 위치정보를 기초로 상기 클라이언트를 재추종하는 단계를 포함할 수 있다.Another aspect of the present invention is a method for controlling a self-driving cart based on deep learning that matches and follows a customer indoors where at least one customer is located, when a plurality of customers are located indoors, in advance among the plurality of customers. matching a customer having the highest number of detections from the photographing unit within a predetermined time as a client, and matching the single customer as a client when a single customer is located indoors; following the client at predetermined intervals based on information obtained from a sensor unit that acquires information on the surrounding environment of the room; and if the client is lost, the client is re-followed by receiving the client information from another self-driving cart, or when ID information matching preset ID information from the client is input as voice to the voice input unit, the received voice It may include re-following the client based on location information.

또한, 상기 고객을 클라이언트로 매칭하는 단계는, 서버에 클라이언트 매칭 후보군의 고객 정보를 송신하는 단계; 이전에 클라이언트로 매칭된 바 없다는 정보를 상기 서버로부터 수신하는 단계; 및 상기 고객을 클라이언트로 매칭하는 단계를 포함할 수 있다.The matching of the customer to the client may include transmitting customer information of a client matching candidate group to the server; receiving, from the server, information indicating that the client has not previously been matched; and matching the customer to a client.

또한, 상기 클라이언트를 미리 정해진 간격으로 추종하는 단계는, 상기 클라이언트를 추종하는 도중에 상기 센서부로부터 이동 장애물 출현 정보를 획득하는 단계; 미리 정해진 시간 동안 정지하는 단계; 및 미리 정해진 시간 이후에도 상기 이동 장애물이 클라이언트의 추종경로 상에서 벗어나지 않는 경우에는, 상기 이동 장애물을 우회하여 상기 클라이언트를 추종하는 단계를 포함할 수 있다.The following of the client at a predetermined interval may include: obtaining moving obstacle appearance information from the sensor unit while following the client; stopping for a predetermined amount of time; and following the client by bypassing the moving obstacle if the moving obstacle does not deviate from the client's following path even after a predetermined time.

또한, 상기 클라이언트를 미리 정해진 간격으로 추종하는 단계는, 상기 클라이언트를 추종하는 도중에 상기 센서부로부터 고정 장애물 출현 정보를 획득하는 단계; 및 상기 고정 장애물을 우회하여 상기 클라이언트를 추종하는 단계를 포함할 수 있다.The following of the client at a predetermined interval may include obtaining fixed obstacle appearance information from the sensor unit while following the client; and following the client bypassing the fixed obstacle.

또한, 상기 클라이언트로부터 미리 설정된 ID 정보와 일치하는 ID 정보가 상기 음성입력부로부터 음성으로 입력되면 상기 입력된 음성의 위치정보를 기초로 상기 클라이언트를 재추종하는 단계는, 주행 전에 상기 클라이언트로부터 고유의 ID 정보를 음성으로 입력받고 서버에 저장되는 단계; 상기 클라이언트로부터 음성입력부에 음성으로 ID 정보가 입력되는 단계; 서버에 저장된 ID 정보와 상기 클라이언트로부터 입력된 ID 정보가 일치하면 상기 음성입력부에 입력된 음성의 위치정보를 획득하는 단계; 및 상기 획득된 음성의 위치정보를 기초로 상기 클라이언트를 재추종하는 단계를 포함할 수 있다.In addition, when ID information matching preset ID information from the client is input as voice from the voice input unit, re-following the client based on the location information of the input voice may include a unique ID from the client before driving. receiving information as voice and storing it in a server; inputting ID information through voice from the client to a voice input unit; acquiring location information of the voice input to the voice input unit when the ID information stored in the server and the ID information input from the client match; and re-following the client based on the obtained location information of the voice.

상술한 본 발명의 일측면에 따르면, 자율주행카트는 촬영부를 구비함으로써, 촬영부에 검출된 횟수가 가장 높은 고객을 클라이언트로 매칭하고, 클라이언트를 추종하므로, 편리한 이용이 가능한 효과가 있다. According to one aspect of the present invention described above, the self-driving cart has a photographing unit, so that the customer with the highest number of detections by the photographing unit is matched with a client and the client is followed, so that convenient use is possible.

상술한 본 발명의 일측면에 따르면, 자율주행카트는 센서부를 구비함으로써, 센서부에 의해 고객 또는 장애물 간의 거리를 감지할 수 있으므로, 미리 정해진 간격을 유지하며 클라이언트를 추종할 수 있어 부딪힐 위험이 없다는 효과가 있고, 장애물 회피 이동경로를 계획하여 주행 가능한 효과가 있다. According to one aspect of the present invention described above, since the self-driving cart has a sensor unit and can detect the distance between customers or obstacles by the sensor unit, it can follow the client while maintaining a predetermined distance, thereby reducing the risk of collision. There is an effect that there is no effect, and there is an effect that can be driven by planning an obstacle avoidance movement path.

상술한 본 발명의 일측면에 따르면, 자율주행카트는 음성입력부를 구비함으로써, 클라이언트를 분실하는 예외상황의 경우에도 클라이언트를 찾아 재추종할 수 있다는 효과가 있다.According to one aspect of the present invention described above, by having a voice input unit, the self-driving cart has an effect of being able to find and re-follow the client even in an exceptional situation in which the client is lost.

도 1은 일 실시예에 따른 자율주행카트 시스템의 개략도이다.
도 2는 일 실시예에 따른 자율주행카트의 블록도이다.
도 3는 일 실시예에 따른 자율주행카트와 클라이언트 간의 매칭 과정을 나타내는 블록도이다.
도 4는 일 실시예에 따른 자율주행카트와 클라이언트 간의 매칭 이후에 자율주행카트의 동작과정을 나타내는 블록도이다.
도 5는 일 실시예에 따른 클라이언트 분실 이후에 다른 자율주행카트와 협력하여 클라이언트를 재추종하는 자율주행카트의 동작과정을 나타내는 블록도이다.
도 6은 일 실시예에 따른 클라이언트 분실 이후에 서버에 미리 저장된 ID 정보를 음성으로 입력하는 클라이언트를 재추종하는 자율주행카트의 동작과정을 나타내는 블록도이다.1 is a schematic diagram of an autonomous cart system according to an embodiment.
2 is a block diagram of an autonomous cart according to an embodiment.
3 is a block diagram illustrating a matching process between an autonomous cart and a client according to an embodiment.
4 is a block diagram illustrating an operation process of an autonomous cart after matching between an autonomous cart and a client according to an embodiment.
5 is a block diagram illustrating an operation process of an autonomous driving cart that re-follows a client in cooperation with other autonomous driving carts after a client is lost according to an embodiment.
6 is a block diagram illustrating an operation process of an autonomous cart that re-follows a client inputting ID information previously stored in a server by voice after the client is lost according to an embodiment.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The detailed description of the present invention which follows refers to the accompanying drawings which illustrate, by way of illustration, specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable one skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different from each other but are not necessarily mutually exclusive. For example, specific shapes, structures, and characteristics described herein may be implemented in another embodiment without departing from the spirit and scope of the invention in connection with one embodiment. Additionally, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the invention. Accordingly, the detailed description set forth below is not to be taken in a limiting sense, and the scope of the present invention, if properly described, is limited only by the appended claims, along with all equivalents as claimed by those claims. Like reference numbers in the drawings indicate the same or similar function throughout the various aspects.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.

도 1은 일 실시예에 따른 자율주행카트 시스템의 개념도이다. 자율주행카트 시스템(100)은 자율주행카트(200) 및 서버(300) 포함할 수 있다.1 is a conceptual diagram of an autonomous cart system according to an embodiment. The self-driving cart system 100 may include the self-driving cart 200 and the server 300 .

자율주행카트(200)는 고객을 검출하고, 일정 조건을 만족하는 고객을 클라이언트(400)로 매칭하여 추종할 수 있고, 서버(300)와 클라이언트 정보를 공유하여 클라이언트(400)를 잃어버린 경우에도 재추종할 수 있다. The self-driving cart 200 can detect customers, match customers satisfying certain conditions to the client 400 and follow them, and share client information with the server 300 to retrieve the client 400 even if it is lost. can follow

서버(300)는 매칭된 클라이언트(400)에게 고유의 ID정보를 제공할 수 있으며, 매칭된 클라이언트(400)의 고유의 ID정보 및 매칭된 클라이언트(400)의 형태정보를 저장할 수 있다. 또한, 서버(300)는 실내지도정보 및 자율 주행카트(200)에 음성으로 입력된 ID 정보를 저장할 수 있으며, 다른 자율주행카트와 클라이언트(400)의 정보를 공유할 수도 있다. The server 300 may provide unique ID information to the matched client 400 and may store unique ID information of the matched client 400 and shape information of the matched client 400 . In addition, the server 300 may store indoor map information and ID information input by voice to the self-driving cart 200, and may share information of the client 400 with other self-driving carts.

자율주행카트(200)와 매칭된 클라이언트(400)는 실내에 복수의 고객이 위치하면 복수의 고객 중 미리 정해진 시간 내 자율주행카트(200)로부터 가장 많은 검출 횟수를 가지는 고객을 의미하고, 실내에 단수의 고객이 위치하면 단수의 고객을 의미할 수 있다.If a plurality of customers are located indoors, the client 400 matched with the self-driving cart 200 means a customer having the largest number of detections from the self-driving cart 200 within a predetermined time among the plurality of customers. When a singular customer is located, it may mean a singular customer.

도 2는 일 실시예에 따른 자율주행카트의 블록도이다. 자율주행카트(200)는 촬영부(201), 구동부(202), 음성입력부(203), 센서부(204), 제어부(205), 및 통신부(206)를 포함할 수 있다. 2 is a block diagram of an autonomous cart according to an embodiment. The self-driving cart 200 may include a photographing unit 201, a driving unit 202, a voice input unit 203, a sensor unit 204, a control unit 205, and a communication unit 206.

촬영부(201)는 카메라로 마련될 수 있으며, 촬영부(201)는 자율주행카트(200)에 부착된 YOLOv4 기능을 갖는 카메라를 통해 고객과 다른 물체를 분리하여 고객만을 검출할 수 있다. YOLOv4 기능을 갖는 카메라는 영역 제안 방식과 분류가 동시에 이루어지는 탐지 기법으로 빠른 성능을 나타낼 수 있다. The photographing unit 201 may be provided as a camera, and the photographing unit 201 may detect only the customer by separating the customer and other objects through a camera having a YOLOv4 function attached to the self-driving cart 200 . A camera with the YOLOv4 function can show fast performance as a detection technique in which area proposal and classification are performed simultaneously.

촬영부(201)는 고객을 검출할 때, 촬영부(201)의 화면 내에 박스 형태로 고객을 검출할 수 있다. 이 때, 촬영부(201)는 자율주행카트(200)가 정지된 상태에서도 고객을 검출할 수 있고, 촬영부(201)는 자율주행카트(200)가 기설정된 경로를 따라 이동하는 상태에서도 고객을 검출할 수 있으며, 촬영부(201)는 팬틸트 기능을 구비해 360도를 회전하며 고객을 검출할 수도 있다. When detecting a customer, the photographing unit 201 may detect the customer in the form of a box on the screen of the photographing unit 201 . At this time, the photographing unit 201 may detect the customer even when the self-driving cart 200 is stopped, and the photographing unit 201 may detect the customer even when the self-driving cart 200 is moving along a preset path. , and the photographing unit 201 may rotate 360 degrees and detect a customer by having a pan-tilt function.

구동부(202)는 자율주행카트(200)가 구동할 수 있도록 바퀴와 모터를 포함할 수 있다.The driving unit 202 may include wheels and a motor so that the self-driving cart 200 can be driven.

음성입력부(203)는 클라이언트(400)로부터 음성을 입력받을 수 있는 마이크를 포함할 수 있다. 이 때, 음성입력부(203)는 자율주행카트(200)의 주행 전에 클라이언트(400)로부터 음성을 입력받아 서버(300)로 전송할 수 있다.The voice input unit 203 may include a microphone capable of receiving voice input from the client 400 . At this time, the voice input unit 203 may receive a voice input from the client 400 before driving the autonomous cart 200 and transmit it to the server 300 .

센서부(204)는 자율주행카트(200)가 주행하는 주변 환경 정보를 획득할 수 있다. 이 때, 센서부(204)는 초음파 센서부, 라이다 센서부를 포함할 수 있다. 초음파 센서부는 자율주행카트(200)와 장애물 또는 자율주행카트(200)와 클라이언트(400) 사이의 거리를 감지할 수 있으며, 자율주행카트(200)의 이동 경로 상에 놓여 진 장애물을 감지할 수도 있다. 라이다 센서부는 운행되는 실내환경을 감지하며 SLAM 기술로 실내를 매핑할 수 있고, 매장 지도는 서버(300)에 저장될 수 있다. The sensor unit 204 may acquire surrounding environment information in which the self-driving cart 200 is driving. At this time, the sensor unit 204 may include an ultrasonic sensor unit and a LIDAR sensor unit. The ultrasonic sensor unit may detect a distance between the self-driving cart 200 and an obstacle or between the self-driving cart 200 and the client 400, and may also detect an obstacle placed on a moving path of the self-driving cart 200. there is. The lidar sensor unit detects the indoor environment in which it is operated and can map the indoor environment using SLAM technology, and the store map can be stored in the server 300 .

여기에서, 라이다 센서부는 SLAM 기술(Simultaneous Localization and Mapping,SLAM)을 이용하여 매장 지도를 생성할 수 있다. SLAM 기술은, 장치가 미지의 환경을 돌아다닐 때, 장치에 부착되어 있는 센서만으로 외부의 도움 없이 위치를 인식하면서 미지의 환경에 대한 지도를 작성하는 기술로서 자율 주행에 사용되는 기술이다.Here, the lidar sensor unit may generate a store map using SLAM technology (Simultaneous Localization and Mapping, SLAM). SLAM technology is a technology used for autonomous driving as a technology that creates a map of an unknown environment while recognizing a location without external help using only a sensor attached to the device when the device moves around in an unknown environment.

통신부(206)는 서버(300)로 정보를 송신하거나, 서버(300)로부터 정보를 수신할 수 있다. 통신부(206)는 촬영부(201)로부터 미리 정해진 시간 내 검출된 횟수가 가장 많은 고객 ID 및 형태 정보를 서버(300)에 송신한 다음, 이전에 자율주행카트(200)와 매칭된 바 없다는 정보를 서버(300)로부터 수신할 수 있다.The communication unit 206 may transmit information to the server 300 or receive information from the server 300 . The communication unit 206 transmits to the server 300 the customer ID and type information that has been detected the most times within a predetermined time from the photographing unit 201, and then information indicating that it has not been matched with the self-driving cart 200 before. may be received from the server 300.

일 실시예에서, 일정 시간 동안 촬영부(201)로부터 검출된 횟수가 가장 많은 고객을 클라이언트(400)로 매칭하도록 서버(300)에 고객 ID 및 형태 정보를 송신한 자율주행카트가 2개 이상이고, 고객이 동일인인 경우에는, 서버(300)는 일정시간동안 고객이 촬영부(201)에 의해 검출된 횟수가 더 많은 자율주행카트(200)의 통신부(206)에 클라이언트 매칭정보를 송신할 수 있다.In one embodiment, two or more self-driving carts that have transmitted customer ID and shape information to the server 300 to match the customer with the highest number of detections from the photographing unit 201 for a certain period of time to the client 400, and , If the customer is the same person, the server 300 may transmit client matching information to the communication unit 206 of the self-driving cart 200 in which the customer has been detected more times by the photographing unit 201 for a certain period of time. there is.

일 실시예에서, 일정 시간 동안 촬영부(201)로부터 검출된 횟수가 가장 많은 고객을 클라이언트(400)로 매칭하도록 통신부(206)로부터 서버(300)에 고객 ID 및 형태 정보를 송신한 자율주행카트가 2개 이상이고, 고객이 동일인이며, 촬영부(201)에 의해 일정 시간 동안 검출된 횟수가 동일한 경우에는, 서버(300)는 고객과 가장 가깝게 위치한 자율주행카트(200)의 통신부(206)에 클라이언트(400) 매칭정보를 송신할 수 있다.In one embodiment, the communication unit 206 transmits the customer ID and shape information to the server 300 to match the customer with the largest number of detections from the photographing unit 201 to the client 400 during a certain period of time. is two or more, the customer is the same person, and the number of times detected for a certain period of time by the photographing unit 201 is the same, the server 300 communicates with the communication unit 206 of the self-driving cart 200 located closest to the customer The client 400 may transmit matching information.

일 실시예에서, 제어부(205)는, 클라이언트(400)를 추종하도록 자율주행카트(200)의 주행을 제어할 수 있다. 예를 들어, 제어부(205)는 촬영부(201)의 카메라 화면 중앙을 원점으로 하여 클라이언트(400)의 좌표를 설정하고, 클라이언트(400)의 좌표를 기초로 방향벡터를 생성하여, 생성된 방향벡터 쪽으로 자율주행카트(200)가 이동하도록 제어할 수 있다.In one embodiment, the control unit 205 may control driving of the self-driving cart 200 to follow the client 400 . For example, the controller 205 sets the coordinates of the client 400 with the center of the camera screen of the photographing unit 201 as the origin, generates a direction vector based on the coordinates of the client 400, and The self-driving cart 200 may be controlled to move toward the vector.

일 실시예에서, 제어부(205)는, 센서부(204)로부터 획득된 정보를 기초로 미리 정해진 간격으로 클라이언트(400)를 추종하도록 자율주행카트(200)의 주행을 제어할 수 있다.In one embodiment, the control unit 205 may control the driving of the self-driving cart 200 to follow the client 400 at predetermined intervals based on information obtained from the sensor unit 204 .

이 때, 제어부(205)는, 센서부(204)로부터 장애물 정보를 획득하며, 이동 장애물인 경우, 미리 정해진 시간 동안 정지하고, 미리 정해진 시간 이후에도 이동 장애물이 클라이언트 추종경로 상에서 벗어나지 않는 경우에는, 이동 장애물을 우회하여 클라이언트(400)를 추종할 수 있다.At this time, the control unit 205 obtains obstacle information from the sensor unit 204, stops for a predetermined time in the case of a moving obstacle, and moves when the moving obstacle does not deviate from the client following path even after a predetermined time. The client 400 can be followed by bypassing obstacles.

또한, 제어부(205)는, 센서부(204)로부터 장애물 정보를 획득하며, 고정 장애물인 경우, 고정 장애물을 우회하여 클라이언트(400)를 추종할 수 있다.In addition, the control unit 205 obtains obstacle information from the sensor unit 204 and, in the case of a fixed obstacle, may bypass the fixed obstacle and follow the client 400 .

본 발명에서, 클라이언트(400)를 추종하는 기법은 DeepSORT 기법이 이용될 수 있다. 이는 SORT 필터에 딥러닝을 적용한 기술로서 앞 뒤의 프레임 분석을 통해 사물을 구별하는 기법으로, 관찰자와 장면 사이의 상대적인 움직임을 포착하여 추적하는 것일 수 있다. DeepSORT 모델은 전술한 YOLOv4모델과 연결되어 실행되고 후술하는 Keyword Spotting모델과 동시에 실행되는 것일 수 있다. 이는 멀티 스레드 (Multi-thread)기법으로 구현될 수 있으므로, 각 모델마다 다른 스레드에서 작동되도록 구현하여 실시간에서 빠른 처리 속도를 보일 수 있다.In the present invention, the DeepSORT technique may be used as a technique for following the client 400. This is a technique in which deep learning is applied to the SORT filter, and it is a technique for distinguishing objects through frame analysis of the front and back, and may capture and track the relative motion between the observer and the scene. The DeepSORT model may be executed in connection with the aforementioned YOLOv4 model and concurrently executed with the Keyword Spotting model described later. Since this can be implemented with a multi-thread technique, it can be implemented to operate in a different thread for each model to show fast processing speed in real time.

일 실시예에서, 제어부(205)는, 자율주행카트(200)가 클라이언트(400)를 분실하면, 서버(300)로 분실 정보를 송신하고 서버(300)는 다른 자율주행카트에게 분실 정보를 송신할 수 있다. 이 때, 분실 정보는 클라이언트(400)의 마지막 위치 정보, 클라이언트 ID 및 클라이언트의 형태 정보일 수 있다. 다른 자율주행카트가 클라이언트(400)를 발견하면, 발견한 클라이언트(400)의 정보를 서버(300)로 송신하고, 서버(300)로부터 수신된 클라이언트(400)의 정보를 기초로, 제어부(205)는 클라이언트(400)를 재추종하도록 자율주행카트(200)의 주행을 제어할 수 있다. 이 때, 다른 자율주행카트가 서버(300)로 송신한 클라이언트(400)의 정보는 클라이언트(400)의 위치 정보, 클라이언트(400)의 ID 및 클라이언트의 형태 정보일 수 있다. 자율주행카트(200)는 수신된 클라이언트(400)의 정보를 기초로 클라이언트(400)의 위치로 이동할 수 있고, 촬영부(201)상에 클라이언트(400)가 검출되지 않는 경우에는, 클라이언트(400)가 검출될 때까지, 상기의 과정을 반복할 수 있다.In one embodiment, if the self-driving cart 200 loses the client 400, the control unit 205 transmits lost information to the server 300 and the server 300 transmits the lost information to other self-driving carts. can do. At this time, the lost information may be the last location information of the client 400, the client ID, and the type information of the client. When another self-driving cart discovers the client 400, it transmits the information of the found client 400 to the server 300, and based on the information of the client 400 received from the server 300, the control unit 205 ) may control the driving of the self-driving cart 200 to follow the client 400 again. At this time, the information about the client 400 transmitted to the server 300 by another self-driving cart may be the location information of the client 400, the ID of the client 400, and the type information of the client. The self-driving cart 200 may move to the location of the client 400 based on the received client 400 information, and when the client 400 is not detected on the photographing unit 201, the client 400 ) is detected, the above process may be repeated.

일 실시예에서, 제어부(205)는, 클라이언트(400)를 분실한 경우에, 서버(300)에 미리 저장된 ID정보를 음성입력부(203)에 음성으로 입력하는 클라이언트(400)를 재추종할 수 있다. 이때, 서버(300)에 미리 저장된 ID 정보란, 자율주행카트(200) 주행 전에 클라이언트(400)가 음성입력부(203)에 특정 음성을 입력하여 자율주행카트(200)의 고유의 ID정보를 설정하고, 서버(300)에 저장한 자율주행카트(200)의 고유의 ID정보를 의미할 수 있다. 자율주행카트(200)가 클라이언트(400)를 분실한 경우에, 클라이언트(400)가 자율주행카트(200)에 저장한 ID 정보를 부르면, 서버(300)는 클라이언트(400)의 음성의 위치정보를 획득하고, 음성의 위치 정보를 기초로 클라이언트(400)를 재추종할 수 있다.In one embodiment, the control unit 205, when the client 400 is lost, can re-follow the client 400 that inputs ID information previously stored in the server 300 to the voice input unit 203 by voice. there is. At this time, ID information previously stored in the server 300 means that the client 400 inputs a specific voice to the voice input unit 203 before driving the self-driving cart 200 to set the unique ID information of the self-driving cart 200. and unique ID information of the self-driving cart 200 stored in the server 300. When the self-driving cart 200 loses the client 400 and the client 400 calls the ID information stored in the self-driving cart 200, the server 300 provides the location information of the client 400's voice. is obtained, and the client 400 can be re-followed based on the location information of the voice.

일 실시예에서, 클라이언트(400)를 분실한 경우에, 서버(300)에 저장된 클라이언트 음성이 다른 자율주행카트에 음성으로 입력되면, 서버(300)는 ID 정보가 일치하는지 여부를 확인할 수 있다. ID 정보가 일치하는 경우에, 다른 자율주행카트의 통신부는 음성의 위치정보를 서버(300)로 송신하며, 서버(300)는 자율주행카트의 통신부(206)에 음성의 위치정보를 송신하고, 자율주행카트의 통신부(206)는 음성의 위치정보를 수신할 수 있다. 이 때, 제어부(205)는 음성의 위치정보를 기초로 클라이언트(400)를 재추종하도록 제어할 수 있다.In one embodiment, when the client 400 is lost and the client's voice stored in the server 300 is input as a voice to another self-driving cart, the server 300 may check whether the ID information matches. If the ID information matches, the communication unit of the other self-driving cart transmits the location information of the voice to the server 300, and the server 300 transmits the location information of the voice to the communication unit 206 of the self-driving cart, The communication unit 206 of the self-driving cart may receive location information of voice. At this time, the control unit 205 may control to re-follow the client 400 based on the location information of the voice.

클라이언트(400)가 서버(300)에 미리 저장된 자율주행카트(200)의 ID를 음성으로 부르는 경우에, Keyword Spotting 기술이 적용될 수 있다. 이 때, 실제 잡음이 있는 환경에서도 정확한 감지를 위하여, 세 종류의 데이터를 가공하여 훈련데이터를 활용할 수 있다. 서버(300)에 저장된 음성을 Positive Data, 잡음 역할의 Background Data, 및 나머지 데이터인 Negative Data를 준비하여 상기 Background Data 속에 Positive Data 및 Negative Data를 무작위로 삽입하여 잡음이 섞인 훈련데이터를 만들고 학습될 수 있다. 이 때, 자연어 처리 모델인 LSTM을 단순화한 GPU 신경망을 사용할 수 있다.When the client 400 calls the ID of the self-driving cart 200 previously stored in the server 300 by voice, keyword spotting technology may be applied. At this time, in order to accurately detect even in an actual noisy environment, training data may be utilized by processing three types of data. The voice stored in the server 300 is prepared with positive data, background data serving as noise, and negative data, which is the remaining data, and randomly inserting positive data and negative data into the background data to create and learn training data mixed with noise. there is. In this case, a GPU neural network that simplifies LSTM, a natural language processing model, can be used.

도 3은 일 실시예에 따른 자율주행카트와 클라이언트 간의 매칭 과정을 나타내는 개념도이다. 3 is a conceptual diagram illustrating a matching process between an autonomous cart and a client according to an embodiment.

일 실시예에서, 실내에 단수의 고객이 위치하면, 단수의 고객 정보를 서버에 송신하고 (710), 서버에서 고객이 이미 자율주행카트와 매칭되었는지 확인하며(730), 매칭된 바 없는 고객이라면 해당 자율주행카트의 클라이언트로 매칭하는 단계(740)를 포함할 수 있다.In one embodiment, if a singular customer is located indoors, the singular customer information is transmitted to the server (710), the server checks whether the customer has already been matched with an autonomous cart (730), and if the customer has not been matched, A step 740 of matching with a client of the corresponding self-driving cart may be included.

일 실시예에서, 실내에 복수의 고객이 위치하면, 복수의 고객 중 일정시간 동안 촬영부 화면상에 출현한 횟수가 가장 높은 고객 정보를 서버에 송신하고(720), 서버에서 고객이 이미 자율주행카트와 매칭되었는지 확인하며 (730), 매칭된 바 없는 고객이라면 해당 자율주행카트의 클라이언트로 매칭하는 단계(740)를 포함할 수 있다.In one embodiment, when a plurality of customers are located indoors, information about the customer having the highest number of appearances on the screen of the filming unit for a certain period of time among the plurality of customers is transmitted to the server (720), and the server has already driven autonomously. It is checked whether the cart is matched (730), and if the customer has not been matched, matching as a client of the corresponding self-driving cart may be performed (740).

도 4는 일 실시예에 따른 자율주행카트와 클라이언트 간의 매칭 이후에 자율주행카트의 동작과정을 나타내는 블록도이다.4 is a block diagram illustrating an operation process of an autonomous cart after matching between an autonomous cart and a client according to an embodiment.

일 실시예에서, 클라이언트를 추종하는 단계(800), 센서부가 장애물을 감지하는 단계(810), 센서부가 이동 장애물인지 고정 장애물인지 여부를 판단하는 단계(820), 고정 장애물인 경우 고정 장애물을 우회하여 클라이언트를 계속하여 추종하는 단계(830)를 포함할 수 있다.In one embodiment, following the client (800), sensing the obstacle by the sensor unit (810), determining whether the sensor unit is a moving obstacle or a fixed obstacle (820), bypassing the fixed obstacle if it is a fixed obstacle and continuously following the client (step 830).

일 실시예에서, 이동 장애물인 경우에는, 미리 정해진 시간동안 자율주행 카트가 정지하는 단계(840), 이동 장애물이 자율주행카트의 이동 경로 상에서 벗어나면 클라이언트를 계속 추종하는 단계(850)를 포함할 수 있다. 이 때, 이동 장애물이 자율주행카트의 이동 경로 상에서 벗어나지 않으면 이동 장애물을 우회하여 클라이언트를 계속 추종하는 단계(860)를 포함할 수 있다In one embodiment, in the case of a moving obstacle, the self-driving cart stops for a predetermined time (step 840), and if the moving obstacle deviates from the moving path of the autonomous cart, the step 850 of continuing to follow the client is included. can At this time, if the moving obstacle does not deviate from the moving path of the self-driving cart, a step 860 of continuing to follow the client by bypassing the moving obstacle may be included.

도 5는 일 실시예에 따른 클라이언트 분실 이후에 다른 자율주행카트와 협력하여 클라이언트를 재추종하는 자율주행카트의 동작과정을 나타내는 블록도이다.5 is a block diagram illustrating an operation process of an autonomous driving cart that re-follows a client in cooperation with other autonomous driving carts after a client is lost according to an embodiment.

일 실시예에서, 자율주행카트가 클라이언트를 분실한 경우, 서버에 자율주행카트가 분실정보를 송신하는 단계(900)를 포함할 수 있다. 이 때, 분실정보는 클라이언트의 ID, 클라이언트의 마지막 위치정보 및 형태정보를 포함할 수 있다. 서버가 다른 자율주행카트에 클라이언트의 분실 정보를 송신하는 단계(910), 다른 자율주행카트에서 클라이언트 ID 및 클라이언트 형태정보를 가진 클라이언트를 발견하면 해당 클라이언트의 ID 및 위치 정보를 서버에 송신하는 단계(920), 서버가 자율주행카트에 클라이언트의 위치정보를 송신하는 단계(930), 클라이언트 위치정보를 기초로 자율주행카트가 클라이언트를 추종하는 단계(940)을 포함할 수 있다. 이 때, 서버(300)로부터 클라이언트 위치 정보를 수신한 자율주행카트(200)의 촬영부(201)상에 클라이언트(400)가 검출되지 않는 경우에는 검출될 때까지, 상기의 과정을 반복할 수 있다.In one embodiment, when the self-driving cart loses the client, a step 900 of the self-driving cart transmitting loss information to the server may be included. At this time, the lost information may include the ID of the client, the last location information of the client, and the shape information. Step 910 of the server sending the lost information of the client to another self-driving cart, and sending the client's ID and location information to the server when the other self-driving cart finds a client with client ID and client type information (step 910). It may include (920), the server transmitting location information of the client to the self-driving cart (930), and the self-driving cart following the client based on the client location information (940). At this time, if the client 400 is not detected on the photographing unit 201 of the self-driving cart 200 receiving the client location information from the server 300, the above process may be repeated until it is detected. there is.

도 6은 일 실시예에 따른 클라이언트 분실 이후에 서버에 미리 저장된 ID 정보를 음성으로 입력하는 클라이언트를 재추종하는 자율주행카트의 동작과정을 나타내는 블록도이다.6 is a block diagram illustrating an operation process of an autonomous cart that re-follows a client inputting ID information previously stored in a server by voice after the client is lost according to an embodiment.

일 실시예에서, 자율주행카트 주행 전에, 클라이언트가 음성입력부에 음성을 입력하는 단계(1000), 클라이언트가 입력한 음성이 자율주행카트의 고유의 ID 정보로 서버에 저장되는 단계(1100)를 포함할 수 있다. In one embodiment, before driving the self-driving cart, the client inputs a voice to the voice input unit (1000), and the voice input by the client is stored in the server as unique ID information of the self-driving cart (1100). can do.

일 실시예에서, 자율주행카트가 클라이언트를 분실한 경우, 클라이언트는 자율주행카트의 ID 정보를 음성으로 입력하는 단계(1200), 서버는 클라이언트로부터 입력받은 ID 정보와 서버에 미리 저장된 ID 정보가 일치하는 경우 클라이언트의 음성의 위치정보를 자율주행카트의 통신부로 송신하는 단계(1300), 제어부는 클라이언트의 음성의 위치정보를 기초로 클라이언트를 재추종하도록 제어하는 단계(1400)을 포함할 수 있다.In one embodiment, when the self-driving cart loses the client, the client inputs the ID information of the self-driving cart by voice (step 1200), and the server matches the ID information input from the client with ID information previously stored in the server. In this case, it may include transmitting the location information of the client's voice to the communication unit of the self-driving cart (step 1300), and controlling the controller to re-follow the client based on the location information of the client's voice (step 1400).

본 발명의 클라이언트(400)추종과 Keyword Spotting 모델은 메인 컴퓨터에서 작동될 수 있다. 이 때, 동일한 네트워크 내에서 작동하는 것으로, ROS 기반의 시스템을 활용하여 정보 전달 방식을 활용할 수 있다.The client 400 tracking and Keyword Spotting model of the present invention can be operated on the main computer. At this time, as operating within the same network, an information transfer method can be utilized by utilizing a ROS-based system.

높은 컴퓨팅 파워가 요구되는 Keyword Spotting의 딥러닝 모델은 메인 컴퓨터에서 작동하고, 자율주행카트(200)는 라즈베리 파이 모델로서 4GB이 램을 가진 모델을 사용할 수 있다. 라즈베리 파이 모델에서는 HC-SR04 초음파 센서를 이용할 수 있다. 이 때, 라즈베리 파이가 촬영부(201)로부터 실시간 이미지를 가져오기 위해 비동기식 웹 서버를 이용할 수 있다. ROS 메시지로 실시간 이미지를 가져올 경우 OpenCV 사용으로 변환이 필요하지만, 웹 서버를 이용할 경우 불필요한 변환을 줄일 수 있다. Keyword Spotting's deep learning model, which requires high computing power, runs on the main computer, and the self-driving cart 200 is a Raspberry Pi model, which can use a model with 4GB of RAM. The HC-SR04 ultrasonic sensor is available for Raspberry Pi models. At this time, the Raspberry Pi may use an asynchronous web server to bring real-time images from the photographing unit 201. When importing real-time images with ROS messages, conversion is required using OpenCV, but unnecessary conversion can be reduced when using a web server.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to embodiments, it will be understood that those skilled in the art can variously modify and change the present invention without departing from the spirit and scope of the present invention described in the claims below. You will be able to.

100: 자율주행카트시스템
200: 자율주행카트
201: 촬영부
202: 구동부
203: 음성입력부
204: 센서부
205: 제어부
206: 통신부
300: 서버
400: 자율주행카트와 매칭된 클라이언트100: autonomous cart system
200: self-driving cart
201: shooting department
202: driving unit
203: voice input unit
204: sensor unit
205: control unit
206: Ministry of Communications
300: server
400: Client matched with self-driving cart

Claims (11)

적어도 하나의 고객이 위치하는 실내에서 고객을 매칭하여 추종하는 딥러닝 기반의 자율주행카트에 있어서,
상기 고객을 검출하도록 마련되는 촬영부;
상기 실내의 주변 환경 정보를 획득하는 센서부;
상기 고객의 음성이 입력되는 음성입력부; 및
실내에 복수의 고객이 위치하면 상기 복수의 고객 중 미리 정해진 시간 내 상기 촬영부로부터 가장 많은 검출 횟수를 가지는 고객을 클라이언트로 매칭하고, 실내에 단수의 고객이 위치하면 상기 단수의 고객을 클라이언트로 매칭하며, 상기 센서부로부터 획득된 정보를 기초로 상기 클라이언트를 미리 정해진 간격으로 추종하고, 상기 클라이언트를 분실하면 분실 정보를 송신하고 다른 자율주행카트가 클라이언트를 발견하면 상기 다른 자율주행카트로부터 클라이언트 정보를 받아 상기 클라이언트를 재추종하는 제어부를 포함하는 딥러닝 기반의 자율주행카트.In a deep learning-based autonomous cart that matches and follows a customer indoors where at least one customer is located,
a photographing unit provided to detect the customer;
a sensor unit that obtains environment information of the indoor environment;
a voice input unit through which the voice of the customer is input; and
If a plurality of customers are located indoors, a customer having the largest number of detections from the photographing unit within a predetermined time among the plurality of customers is matched as a client, and if a single customer is located indoors, the single customer is matched as a client. And, based on the information obtained from the sensor unit, the client is followed at predetermined intervals, and when the client is lost, lost information is transmitted, and when another self-driving cart finds the client, client information is received from the other self-driving cart. Deep learning-based self-driving cart including a control unit that receives and re-follows the client. 제 1항에 있어서,
상기 제어부가 고객을 상기 클라이언트로 매칭하는 것은,
서버에 클라이언트 매칭 후보군의 고객 정보를 송신한 다음, 이전에 매칭된 바 없다는 정보를 상기 서버로부터 수신하면, 상기 고객을 클라이언트로 매칭하는 것을 포함하는 딥러닝 기반의 자율주행카트.According to claim 1,
The control unit matching the customer to the client,
A deep learning-based self-driving cart comprising: transmitting customer information of a client matching candidate group to a server and then matching the customer as a client when information that has not previously been matched is received from the server. 제 1항에 있어서,
상기 제어부가 상기 클라이언트를 미리 정해진 간격으로 추종하는 것은,
상기 클라이언트를 추종하는 도중에 상기 센서부로부터 이동 장애물 출현 정보를 획득하면, 미리 정해진 시간 동안 정지하고, 미리 정해진 시간 이후에도 상기 이동 장애물이 클라이언트의 추종경로 상에서 벗어나지 않는 경우에는, 상기 이동 장애물을 우회하여 상기 클라이언트를 추종하는 것을 포함하는 딥러닝 기반의 자율주행카트.According to claim 1,
The control unit following the client at a predetermined interval,
If moving obstacle appearance information is obtained from the sensor unit while following the client, the moving obstacle is stopped for a predetermined time, and when the moving obstacle does not deviate from the following path of the client even after a predetermined time, the moving obstacle is bypassed and the moving obstacle is detected. A deep learning-based self-driving cart that includes following a client. 제 1항에 있어서,
상기 제어부가 상기 클라이언트를 미리 정해진 간격으로 추종하는 것은,
상기 클라이언트를 추종하는 도중에 상기 센서부로부터 고정 장애물 출현 정보를 획득하면, 상기 고정 장애물을 우회하여 상기 클라이언트를 추종하는 것을 포함하는 딥러닝 기반의 자율주행카트.According to claim 1,
The control unit following the client at a predetermined interval,
and following the client by bypassing the fixed obstacle when obtaining fixed obstacle appearance information from the sensor unit while following the client. 제 1항에 있어서,
상기 제어부가 다른 자율주행카트로부터 상기 클라이언트 정보를 받아 상기 클라이언트를 재추종하는 것은,
다른 자율주행카트가 수집한 상기 클라이언트의 위치정보를 서버로부터 수신하여 상기 클라이언트의 위치정보를 기초로 상기 클라이언트를 재추종하는 것을 포함하는 딥러닝 기반의 자율주행카트.According to claim 1,
When the control unit receives the client information from another self-driving cart and re-follows the client,
A deep learning-based self-driving cart comprising receiving the location information of the client collected by other self-driving carts from a server and re-following the client based on the location information of the client. 제 1항에 있어서,
상기 클라이언트로부터 미리 설정된 ID 정보는 주행 전에 상기 클라이언트가 상기 음성입력부에 음성을 입력하여 부여한 고유의 ID 정보인 딥러닝 기반의 자율주행카트.According to claim 1,
The ID information preset from the client is unique ID information given by the client by inputting a voice to the voice input unit before driving, the deep learning-based self-driving cart. 적어도 하나의 고객이 위치하는 실내에서 고객을 매칭하여 추종하는 딥러닝 기반의 자율주행카트의 제어방법에 있어서,
실내에 복수의 고객이 위치하면 상기 복수의 고객 중 미리 정해진 시간 내 촬영부로부터 가장 많은 검출 횟수를 가지는 고객을 클라이언트로 매칭하고, 실내에 단수의 고객이 위치하면 상기 단수의 고객을 클라이언트로 매칭하는 단계;
상기 실내의 주변 환경 정보를 획득하는 센서부로부터 획득된 정보를 기초로 상기 클라이언트를 미리 정해진 간격으로 추종하는 단계; 및
상기 클라이언트를 분실하면, 분실정보를 송신하고 다른 자율주행카트가 클라이언트를 발견하면 상기 다른 자율주행카트로부터 상기 클라이언트 정보를 받아 상기 클라이언트를 재추종하는단계를 포함하는 딥러닝 기반의 자율주행카트의 제어방법.In the control method of a self-driving cart based on deep learning that matches and follows a customer in an indoor area where at least one customer is located,
If a plurality of customers are located indoors, matching the customer with the largest number of detections from the photographing unit within a predetermined time among the plurality of customers as a client, and matching the single customer as a client if a single customer is located indoors step;
following the client at predetermined intervals based on information obtained from a sensor unit that acquires information on the surrounding environment of the room; and
If the client is lost, the control of the self-driving cart based on deep learning includes the step of transmitting lost information and, when another self-driving cart finds the client, receiving the client information from the other self-driving cart and following the client again method. 제 7항에 있어서,
상기 고객을 클라이언트로 매칭하는 단계는,
서버에 클라이언트 매칭 후보군의 고객 정보를 송신하는 단계;
이전에 클라이언트로 매칭된 바 없다는 정보를 상기 서버로부터 수신하는 단계; 및
상기 고객을 클라이언트로 매칭하는 단계를 포함하는 딥러닝 기반의 자율주행카트의 제어방법.According to claim 7,
The step of matching the customer to the client,
sending customer information of a client matching candidate group to the server;
receiving, from the server, information indicating that the client has not previously been matched; and
A method for controlling a self-driving cart based on deep learning, comprising matching the customer with a client. 제 7항에 있어서,
상기 클라이언트를 미리 정해진 간격으로 추종하는 단계는,
상기 클라이언트를 추종하는 도중에 상기 센서부로부터 이동 장애물 출현 정보를 획득하는 단계;
미리 정해진 시간 동안 정지하는 단계; 및
미리 정해진 시간 이후에도 상기 이동 장애물이 클라이언트의 추종경로 상에서 벗어나지 않는 경우에는, 상기 이동 장애물을 우회하여 상기 클라이언트를 추종하는 단계를 포함하는 딥러닝 기반의 자율주행카트의 제어방법.According to claim 7,
The step of following the client at a predetermined interval,
acquiring moving obstacle appearance information from the sensor unit while following the client;
stopping for a predetermined amount of time; and
A method for controlling a self-driving cart based on deep learning comprising following the client by bypassing the moving obstacle when the moving obstacle does not deviate from the following path of the client even after a predetermined time. 제 7항에 있어서,
상기 클라이언트를 미리 정해진 간격으로 추종하는 단계는,
상기 클라이언트를 추종하는 도중에 상기 센서부로부터 고정 장애물 출현 정보를 획득하는 단계; 및
상기 고정 장애물을 우회하여 상기 클라이언트를 추종하는 단계를 포함하는 딥러닝 기반의 자율주행카트의 제어방법.According to claim 7,
The step of following the client at predetermined intervals,
acquiring fixed obstacle appearance information from the sensor unit while following the client; and
A method for controlling a self-driving cart based on deep learning comprising the step of bypassing the fixed obstacle and following the client. 제 7항에 있어서,
상기 클라이언트로부터 미리 설정된 ID 정보와 일치하는 ID 정보가 음성입력부로부터 음성으로 입력되면 상기 입력된 음성의 위치정보를 기초로 상기 클라이언트를 재추종하는 단계는,
주행 전에 상기 클라이언트로부터 고유의 ID 정보를 상기 음성입력부에 음성으로 입력받고 서버에 저장되는 단계;
상기 클라이언트로부터 음성입력부에 음성으로 ID 정보가 입력되는 단계;
서버에 저장된 ID 정보와 상기 클라이언트로부터 입력된 ID 정보가 일치하면 상기 음성입력부에 입력된 음성의 위치정보를 획득하는 단계; 및
상기 획득된 음성의 위치정보를 기초로 상기 클라이언트를 재추종하는 단계를 포함하는 딥러닝 기반의 자율주행카트의 제어방법.According to claim 7,
In the case of re-following the client based on the location information of the input voice when ID information matching preset ID information from the client is input as voice from the voice input unit,
receiving unique ID information from the client as a voice input to the voice input unit before driving and storing the unique ID information in a server;
inputting ID information through voice from the client to a voice input unit;
acquiring location information of the voice input to the voice input unit when the ID information stored in the server and the ID information input from the client match; and
A method for controlling a self-driving cart based on deep learning comprising the step of re-following the client based on the location information of the acquired voice.
KR1020210069318A 2021-05-28 2021-05-28 Autonomous-driving cart based on deep learning and method therefor KR102483779B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210069318A KR102483779B1 (en) 2021-05-28 2021-05-28 Autonomous-driving cart based on deep learning and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210069318A KR102483779B1 (en) 2021-05-28 2021-05-28 Autonomous-driving cart based on deep learning and method therefor

Publications (2)

Publication Number Publication Date
KR20220160989A KR20220160989A (en) 2022-12-06
KR102483779B1 true KR102483779B1 (en) 2022-12-30

Family

ID=84406813

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210069318A KR102483779B1 (en) 2021-05-28 2021-05-28 Autonomous-driving cart based on deep learning and method therefor

Country Status (1)

Country Link
KR (1) KR102483779B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009020749A (en) 2007-07-12 2009-01-29 Toshiba Corp Robot control apparatus and method
JP2020119124A (en) * 2019-01-22 2020-08-06 本田技研工業株式会社 Accompanying mobile body
JP2021026378A (en) 2019-08-01 2021-02-22 本田技研工業株式会社 Follow target identification system and follow target identification method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102280798B1 (en) * 2019-06-18 2021-07-22 엘지전자 주식회사 Cart robot and system for controlling robot
KR102309600B1 (en) * 2019-11-11 2021-10-06 엠투엠글로벌(주) Self-driving system for gesture recognition carts and how to recognize gestures

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009020749A (en) 2007-07-12 2009-01-29 Toshiba Corp Robot control apparatus and method
JP2020119124A (en) * 2019-01-22 2020-08-06 本田技研工業株式会社 Accompanying mobile body
JP2021026378A (en) 2019-08-01 2021-02-22 本田技研工業株式会社 Follow target identification system and follow target identification method

Also Published As

Publication number Publication date
KR20220160989A (en) 2022-12-06

Similar Documents

Publication Publication Date Title
US11673269B2 (en) Method of identifying dynamic obstacle and robot implementing same
KR102348041B1 (en) Control method of robot system including a plurality of moving robots
WO2019232806A1 (en) Navigation method, navigation system, mobile control system, and mobile robot
Waldherr et al. A gesture based interface for human-robot interaction
US11554495B2 (en) Method of localization using multi sensor and robot implementing same
Simôes et al. Blind user wearable audio assistance for indoor navigation based on visual markers and ultrasonic obstacle detection
US10890911B2 (en) System and method for autonomously delivering commodity to the recipient's preferred environment
WO2018228256A1 (en) System and method for determining indoor task target location by image recognition mode
US11475671B2 (en) Multiple robots assisted surveillance system
CN102902271A (en) Binocular vision-based robot target identifying and gripping system and method
US20190184569A1 (en) Robot based on artificial intelligence, and control method thereof
Haasch et al. A multi-modal object attention system for a mobile robot
EP3209468A1 (en) Customer service robot and related systems and methods
KR20210029586A (en) Method of slam based on salient object in image and robot and cloud server implementing thereof
US11347226B2 (en) Method of redefining position of robot using artificial intelligence and robot of implementing thereof
WO2019232804A1 (en) Software updating method and system, and mobile robot and server
CN109986605A (en) A kind of intelligence automatically tracks robot system and method
Wengefeld et al. May i be your personal coach? bringing together person tracking and visual re-identification on a mobile robot
JP2018173707A (en) Person estimation system and estimation program
KR20210007295A (en) Method of moving in power assist mode reflecting physical characteristic of user and cart-robot of implementing thereof
Maxwell et al. Alfred: The robot waiter who remembers you
KR20210026595A (en) Method of moving in administrator mode and robot of implementing thereof
Gori et al. Robot-centric activity recognition ‘in the wild’
KR102483779B1 (en) Autonomous-driving cart based on deep learning and method therefor
JP6713637B2 (en) Service provision robot system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant