WO2022124470A1 - 로봇 및 그 제어 방법 - Google Patents

로봇 및 그 제어 방법 Download PDF

Info

Publication number
WO2022124470A1
WO2022124470A1 PCT/KR2021/000221 KR2021000221W WO2022124470A1 WO 2022124470 A1 WO2022124470 A1 WO 2022124470A1 KR 2021000221 W KR2021000221 W KR 2021000221W WO 2022124470 A1 WO2022124470 A1 WO 2022124470A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
users
robot
information
interest
Prior art date
Application number
PCT/KR2021/000221
Other languages
English (en)
French (fr)
Inventor
한흥우
송무근
이상윤
이유정
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2022124470A1 publication Critical patent/WO2022124470A1/ko
Priority to US18/188,104 priority Critical patent/US20230219233A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q90/00—Systems or methods specially adapted for administrative, commercial, financial, managerial or supervisory purposes, not involving significant data processing
    • G06Q90/20—Destination assistance within a business structure or complex

Definitions

  • the present disclosure relates to a robot and a control method thereof, and more particularly, a robot and a control method thereof for collecting and storing information on surrounding users while performing an interaction, and performing an interaction based on the information on the users is about
  • a service robot provides directions to a user at a specific place such as an airport or a museum, or provides information about the place to the user.
  • the robot in order for the robot to interact with the user, it is necessary to first identify the interaction target.
  • a score is calculated based on the location or distance of each of the plurality of users, and the user with the highest score among the plurality of users is selected as the interaction target.
  • the conventional robot does not consider information on user density when calculating scores for a plurality of users. For example, even if a large number of users form a cluster, if a specific user not included in the cluster is located close to the robot, the user is selected as an interaction target, and more people are not provided with the service at the same time. Accordingly, there is a problem that the service effectiveness is deteriorated.
  • the conventional robot interacts with the interaction target, information about other users present in the vicinity is not collected. Therefore, the conventional robot moves to the initial position when the interaction with the interaction target is finished, and other users who want to receive services from the robot located around the interaction target have the inconvenience of having to move to the initial position of the robot.
  • One technical problem to be solved by the present invention is to provide a robot that collects information about a user and performs a more natural interaction with the user.
  • a robot in a robot, a camera; depth sensor; Memory; and a processor, wherein the processor performs an interaction with a first user with the highest interest among a plurality of users existing around the robot using the camera and the depth sensor, and performs an interaction with the first user
  • gaze information of the plurality of users is obtained using the camera
  • distance information of the plurality of users is obtained using the depth sensor
  • gaze information and distances of the first user among the plurality of users are obtained.
  • a robot may be provided that terminates the interaction with the first user and performs the interaction with the other user based on the degree of interest of the other user.
  • the processor stores in the memory a first map including gaze information of each of the plurality of users and a second map including distance information of each of the plurality of users while performing an interaction with the first user, , a fusion map may be generated by fusing the first map and the second map, the fusion map may be stored in the memory, and an interaction with the other user may be performed based on the fusion map.
  • the processor may accumulate and store the fusion map for each time in the memory, and may delete the first map and the second map from the memory according to time.
  • the processor obtains an image including the plurality of users by using the camera, obtains gaze information of the plurality of users by analyzing the image, and uses the depth sensor to obtain distance information of the plurality of users obtains, obtains the density information of the plurality of users based on the distance information of the plurality of users, and calculates the degree of interest of each of the plurality of users based on the gaze information, the density information, and the distance information of the plurality of users and the first user having the highest degree of interest among the plurality of users may be identified based on the degree of interest of each of the plurality of users.
  • the density information includes a density weight corresponding to each of the plurality of users, and the processor includes at least one of a distance between the first user and another user and the number of other users included within a preset range from the first user. Based on , a first density weight corresponding to the first user may be calculated, and an interest level of the first user may be calculated based on the first density weight.
  • the processor may calculate the degree of interest of the first user to be higher as the weight of the first density increases.
  • the processor obtains and stores time information corresponding to each of the plurality of users in the memory, and based on the time information, a threshold value within a preset range from a time point when the interaction with the first user ends Another user having the above level of interest may be identified as an interaction target.
  • the electronic device may further include a microphone, wherein the processor acquires a voice signal using the microphone, identifies a user corresponding to the voice signal among the plurality of users, and based on the voice signal An interest level of the identified user may be calculated.
  • each of a plurality of users existing around the robot using a camera and a depth sensor included in the robot acquiring an interest in performing an interaction with a first user having the highest level of interest among the plurality of users based on the obtained level of interest; acquiring gaze information of the plurality of users using the camera while interacting with the first user, and acquiring distance information of the plurality of users using the depth sensor;
  • the first user's degree of immersion in the interaction is determined by using the gaze information and distance information of the first user among the plurality of users, and gaze information and distance of a user different from the first user among the plurality of users determining the degree of interest of the other user by using the information; and when the degree of immersion of the first user is less than a threshold value, terminating the interaction with the first user, and performing the interaction with the other user based on the degree of interest of the other user;
  • a control method comprising a can be provided.
  • the robot may perform a more natural interaction with the user based on information about the user. Accordingly, user convenience and satisfaction may be improved.
  • FIG. 1 is a view for explaining an operation of a robot according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a configuration of a robot according to an embodiment of the present disclosure.
  • 3A is a diagram illustrating a map according to an embodiment of the present disclosure.
  • 3B is a diagram illustrating a map according to an embodiment of the present disclosure.
  • 3C is a diagram for explaining a fusion map according to an embodiment of the present disclosure.
  • FIG. 4 is a table showing a user's interest level according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for explaining a method of acquiring an interest according to an embodiment of the present disclosure.
  • FIG. 6 is a table showing a user's level of immersion according to an embodiment of the present disclosure.
  • FIG. 7 is a flowchart illustrating a method for controlling a robot according to an embodiment of the present disclosure.
  • Embodiments of the present disclosure may be subjected to various transformations and may have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the scope of the specific embodiments, and it should be understood to include all transformations, equivalents and substitutions included in the spirit and scope of the disclosure. In describing the embodiments, if it is determined that a detailed description of a related known technology may obscure the subject matter, the detailed description thereof will be omitted.
  • the robot 100 may obtain a voice command (ie, “guide me to the bathroom”) of the first user 11 existing in the vicinity.
  • the robot 100 may interact with the first user 11 based on the acquired voice command.
  • the robot 100 may provide voice feedback (ie, "Initiate guidance. follow me") based on the acquired voice command.
  • the robot 100 may guide the first user 11 while driving toward the toilet.
  • the second user 12 interested in the robot 100 may exist around the robot 100 .
  • the second user 12 wants to receive the service (ie, a way guidance service) provided by the robot 100 to the first user 11 , and may follow the robot 100 .
  • the robot 100 may continuously acquire information about the second user 12 while interacting with the first user 11 .
  • the robot 100 may be configured among the gaze information of the second user 12 , distance information between the robot 100 and the second user 12 , and movement information of the second user 12 every preset time period. At least one can be obtained.
  • the robot 100 may acquire the degree of interest in the robot 100 of the second user 12 for each time period based on the information on the second user 12 .
  • the robot 100 may match and store the information and the degree of interest on the second user 12 for each time period with the time information.
  • the robot 100 may end the interaction with the first user 11 and perform the interaction with the second user 12 based on the stored information on the second user 12 .
  • the robot 100 identifies that the degree of interest of the second user 12 while the robot 100 interacts with the first user 11 is greater than a preset value, and the first user 11 We can provide you with the services provided to you. That is, the robot 100 may guide the second user 12 while continuously driving toward the toilet. Alternatively, the robot 100 may provide a guide voice (eg, "Shall I guide you to the bathroom?") to the second user 12 .
  • a guide voice eg, "Shall I guide you to the bathroom?"
  • the conventional service robot Since the conventional service robot does not collect and store information on the second user 12 in advance in the above-described situation, it ends the interaction with the first user 11 and moves to the initial position. Accordingly, the second user 12 had to return to the initial position and request a service from the service robot. Alternatively, the conventional service robot provides the second user 12 with an initial guide voice (eg, “What can I help you with?”). Even in this case, the second user 12 had to request a service from the service robot (that is, guide the toilet), so there was a hassle.
  • an initial guide voice eg, “What can I help you with?”
  • the robot 100 acquires and stores information about the second user 12 while interacting with the first user 11, based on the stored information, the second user 12 ) can provide more convenient services. Accordingly, the convenience and satisfaction of the second user 12 may be improved.
  • the robot 100 may include a camera 110 , a depth sensor 120 , a microphone 130 , a memory 140 , a communication interface 150 , and a processor 160 .
  • the camera 110 is configured to acquire an image captured around the robot 100 .
  • the camera 110 may be arranged to image the front of the robot 100 .
  • the camera 110 may include various image sensors. For example, it may include at least one of a complementary metal oxide semiconductor (CMOS) image sensor and a charge coupled device (CCD) image sensor.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the depth sensor 120 is configured to acquire distance information about an object (or a user) existing around the robot 100 .
  • the distance information on the object (or the user) means the distance from the robot 100 to the object.
  • the depth sensor 120 may be a Light Detection and Ranging (LiDAR) sensor or a ToF sensor. In this case, the depth sensor 120 may scan 360 degrees around the robot 100 using a laser.
  • LiDAR Light Detection and Ranging
  • ToF ToF sensor
  • the microphone 130 is configured to acquire a voice signal, and may acquire a user's voice signal.
  • the processor 160 may obtain the user's voice command by analyzing the user's voice signal input through the microphone 130 .
  • the memory 140 may store an operating system (OS) for controlling overall operations of the components of the robot 100 and commands or data related to components of the robot 100 .
  • OS operating system
  • the memory 140 may store information about a virtual environment and a virtual robot.
  • the memory 140 may be implemented as a non-volatile memory (eg, a hard disk, a solid state drive (SSD), a flash memory), a volatile memory, or the like.
  • the communication interface 150 includes at least one circuit and may communicate with various types of external devices.
  • the communication interface 150 may communicate with an external server or a user terminal.
  • the communication interface 150 may communicate with an external device according to various types of communication methods.
  • the communication interface 150 may perform data communication wirelessly or by wire.
  • the communication interface 150 is a Wi-Fi communication module, a cellular communication module, a 3G (3rd generation) mobile communication module, a 4G (4th generation) mobile communication module, a 4th generation LTE (Long) It may include at least one of a Term Evolution) communication module and a 5G (5th generation) mobile communication module.
  • the processor 160 may control the overall operation of the robot 100 .
  • the processor 160 includes a user identification module 161 , a user information acquisition module 162 , a user information map generation module 163 , an interest level acquisition module 164 , an immersion acquisition module 165 , and an interaction control module 166 .
  • the user identification module 161 may analyze the captured image obtained through the camera 110 to identify at least one user included in the captured image. For example, the user identification module 161 may identify a user using an object recognition model stored in the memory 140 .
  • the user information acquisition module 162 may acquire various information related to the identified user.
  • the user information acquisition module 162 includes a gaze information acquisition module 162-1, a gesture acquisition module 162-2, a distance information acquisition module 162-3, a motion information acquisition module 162-4, and a user density acquisition module. It may include a module 162-5 and a voice recognition module 162-6.
  • the gaze information acquisition module 162-1 may acquire gaze information of the user.
  • the gaze information acquisition module 162-1 may acquire the gaze direction of the user.
  • the gaze information acquisition module 162-1 may acquire an angle at which the user gazes at the robot 100 .
  • the gaze information acquisition module 162-1 may acquire the angle at which the user gazes at the robot 100 based on the direction information of the user's body and head.
  • the gesture acquiring module 162-2 may acquire user gesture information by analyzing the captured image. For example, the gesture acquiring module 162 - 2 may acquire a user's gesture for calling the robot 100 .
  • the distance information acquisition module 162 - 3 may acquire distance information about the user based on the sensing value of the depth sensor 120 .
  • the distance information acquisition module 162 - 3 may acquire distance information for each location within the scan range of the depth sensor 120 . Meanwhile, when the depth sensor 120 scans every preset time period, the distance information acquisition module 162 - 3 may acquire distance information about a user corresponding to each time period.
  • the motion information acquisition module 162-4 may acquire motion information of the user. For example, the motion information acquisition module 162 - 4 may identify whether the user approaches the robot 100 or moves away from the robot 100 .
  • the motion information acquiring module 162-4 may acquire a change in the distance information about the user based on the distance information about the user for each time period obtained through the distance information acquiring module 162-3.
  • the motion information acquisition module 162-4 may acquire the user's motion information based on a change in the distance information for the user. Meanwhile, the motion information acquisition module 162-4 may acquire the user's motion information using an object tracking algorithm stored in the memory 140 .
  • the user density obtaining module 162 - 5 may obtain information on the user density.
  • the information on the user density may mean a degree of aggregation among a plurality of users.
  • the density obtaining module 162 - 5 may obtain distances between the plurality of users based on distance information for each of the plurality of users.
  • the user density obtaining module 162 - 5 may obtain the user density based on distances between a plurality of users. For example, when the first user and the second user are included in the captured image, the user density obtaining module 162-5 may obtain the first distance information for the first user and the second distance information for the second user. have.
  • the user density obtaining module 162 - 5 may obtain a distance between the first user and the second user based on the first distance information and the second distance information.
  • the user density obtaining module 162 - 5 may obtain the user density based on the distance between the first user and the second user. For example, as the distance between the first user and the second user decreases, the user density may increase.
  • the information on the user density may include a density weight corresponding to each user.
  • the user density obtaining module 162-5 may calculate a density weight based on the number of other users included within a preset range based on each user. For example, the user density obtaining module 162 - 5 may calculate a density weight for the first user based on the number of other users included within a preset range based on the first user. In this case, as the number of other users included in the preset range with respect to the first user increases, the density weight for the first user may increase. Also, the user density obtaining module 162 - 5 may calculate a density weight for a specific user based on a distance between the specific user and another user. For example, the density weight for the first user may increase as the distance between the first user and other users decreases.
  • the voice recognition module 162 - 6 may acquire a user's voice command based on a voice signal acquired through the microphone 130 .
  • the voice recognition module 162 - 6 may acquire a voice command of a user requesting guidance to a specific place (ie, a conference room) based on a voice signal (“Guide to the conference room”).
  • the speech recognition module 162-6 includes an Automatic Speech Recognition (ASR) module, a Natural Language Understanding (NLU) module, a Dialogue Management (DM) module, and a natural language generation ( It may include a Natural Language Generation) module and a Text-To-Speech (TTS) module.
  • ASR Automatic Speech Recognition
  • NLU Natural Language Understanding
  • DM Dialogue Management
  • TTS Text-To-Speech
  • the user information map generation module 163 may generate a map corresponding to each user information.
  • the user information map generating module 163 may generate a first map including the user's gaze information obtained through the gaze information acquiring module 162-1.
  • the user information map generating module 163 may generate a second map including distance information about the user obtained through the distance information obtaining module 162 - 3 .
  • the user information map generation module 163 may perform an operation of moving the location (or coordinates) of the user information so that the user information included in the map is expressed centered on the robot 100 .
  • the user information map generating module 163 may move the coordinates of the user's gaze information based on the location information of the camera 110 . Accordingly, maps including each user information may be expressed centered on the robot 100 .
  • the user information map generation module 163 may generate a fusion map based on maps corresponding to each user information.
  • the user information map generation module 163 may generate a fusion map by fusing user information included in each map.
  • the fusion map may include various types of user information matched with each other.
  • the first gaze information may be included in the first location of the first map
  • the second distance information may be included in the second location of the second map.
  • the user information map generating module 163 may generate a fusion map including the first gaze information and the second distance information by fusing the first map and the second map.
  • the user information map generation module 163 may match the first gaze information and the second gaze information and store the matching information in the fusion map.
  • the fusion map generated as described above may be stored in the memory 140 .
  • each user map may be updated periodically.
  • the user information map generation module 163 may generate a first gaze information map including the first gaze information acquired during the first time period and store it in the memory 140 .
  • the user information map generation module 163 may generate a second gaze information map including the second gaze information obtained during a second time interval that is a time interval following the first time interval.
  • the user information map generating module 163 may store the second gaze information map in the memory 140 and delete the first gaze information map stored in the memory 140 . Accordingly, the robot 100 can efficiently manage the memory 140 .
  • the fusion maps acquired for each time section may be accumulated and stored in the memory 140 .
  • the user information map generating module 163 may accumulate the first fusion map corresponding to the first time period and the second fusion map corresponding to the second time period and store the accumulated in the memory 140 .
  • the robot 100 may perform a more natural interaction with the user by using the fusion map corresponding to the past time section as well as the current time section.
  • the fusion map may be generated and stored in the memory 140 while the robot 100 interacts with the user.
  • the interest level obtaining module 164 may obtain the user's level of interest in the robot 100 based on user information included in the user information map. As an example, the interest level obtaining module 164 may obtain the user's level of interest based on the user's gaze information. For example, if the first user exists outside the first threshold distance (eg, 2.5 m) from the robot 100 , the interest level acquiring module 164 may acquire the interest level of the first user as a first grade.
  • the first threshold distance eg, 2.5 m
  • the interest level obtaining module 164 may obtain the level of interest based on the user's gaze information and distance information about the user. For example, if the second user who exists within the first threshold distance from the robot 100 does not gaze at the robot 100 , the interest level obtaining module 164 obtains the second user's level of interest as a second level higher than the first level. can do. On the other hand, when the second user gazes at the robot 100 , the interest level obtaining module 164 may obtain the second user's level of interest as a third level higher than the second level. Also, the interest level obtaining module 164 may obtain the user's level of interest based on the angle at which the user gazes at the robot 100 .
  • the interest level obtaining module 164 may obtain the user's level of interest based on the user's movement information. For example, the level of interest of the first user approaching the robot 100 may be higher than the level of interest of the second user moving away from the robot 100 . As another example, the interest level obtaining module 164 may obtain the user's level of interest based on the user's voice command. For example, the interest of the first user who utters a voice signal for calling the robot 100 may be higher than that of other users.
  • the interest level obtaining module 164 may obtain the user's level of interest based on the information on the user density.
  • the information on the user density may include a density weight calculated according to the existence of a nearby user, the distance between the robot 100 and the surrounding user, and the like. For example, a first user and a second user located at the same distance from the robot 100 may exist, and a third user and a fourth user may exist around the first user.
  • the interest level acquiring module 164 may acquire the first user's interest level higher than the second user's interest level by reflecting the density weight for the first user.
  • the user's interest level acquired through the interest level obtaining module 164 may be stored in the memory 140 by being included in the fusion map. And, when each user's level of interest is obtained, the interaction control module 166 may identify a user with the highest level of interest among a plurality of users, and perform an operation for performing an interaction with the identified user. For example, the interaction control module 166 may perform an operation for performing a conversation with the identified user in proximity to the identified user.
  • the conventional robot does not consider information about the user's density when acquiring the user's interest. Accordingly, even when a high-density user group exists, a user with the closest distance to the robot or a long time to gaze at the robot was identified as an interaction target. For example, it is assumed that the first user, the third user, and the fourth user form a cluster by a first distance away from the robot, and the second user is located a second distance smaller than the first distance. In this case, the conventional robot identifies the second user as the interaction target because the second user is located closest to the robot.
  • the first user, the third user, and the fourth user are excluded from the interaction target even though they can receive the service from the robot at the same time, so there is a problem in that the utility of the service decreases.
  • the robot 100 according to the present disclosure acquires the user's interest based on the information on the user density, in the above situation, one of the first user, the third user, and the fourth user is identified as the interaction target. can do. Accordingly, since a greater number of users can be provided with the service, the utility of the service can be increased.
  • the immersion acquisition module 165 may acquire the immersion of the identified user.
  • the engagement level refers to the degree to which the user is immersed in the interaction performed by the robot 100 .
  • the immersion level acquiring module 165 may acquire the user's immersion level based on at least one of the user's gaze information and the user's distance information. For example, when the first user interacting with the robot 100 does not gaze at the robot 100 , the immersion acquisition module 165 may acquire the immersion level of the first user as the first level. On the other hand, when the first user interacting with the robot 100 gazes at the robot 100, the immersion acquisition module 165 may acquire the immersion level of the first user at a second level higher than the first level. have.
  • the interaction control module 166 may control the interaction based on the user's level of immersion. For example, when the degree of immersion of the first user is less than the threshold value, the interaction control module 166 may end the interaction with the first user. On the other hand, if the level of immersion of the first user is higher than the threshold value, the interaction control module 166 may maintain the interaction with the first user.
  • the interest level acquiring module 164 may acquire the interest of other users around the robot 100 while the robot 100 is performing an interaction. Accordingly, the robot 100 may perform a more natural interaction than a conventional robot.
  • the second user has an interest level greater than or equal to a preset value for the robot while the robot is talking with the first user. Since the conventional robot cannot acquire the interest of the second user, when the level of immersion of the first user is less than the threshold value, the robot will end the conversation with the first user and move to a preset location. Accordingly, the second user must move to a preset place to talk with the robot.
  • the interaction control module 166 is configured to communicate with the first user. An operation for ending the conversation and performing the conversation with the second user may be performed. Accordingly, the satisfaction and convenience of the second user may be improved.
  • each of the modules 161 to 166 has been described as a configuration of the processor 160 , but this is only an exemplary embodiment, and each of the modules 161 to 166 may be stored in the memory 140 .
  • the processor 160 may load the plurality of modules 161 to 166 stored in the memory 140 from the nonvolatile memory to the volatile memory to execute respective functions of the plurality of modules 161 to 166 .
  • each module of the processor 160 may be implemented as software or a combination of software and hardware.
  • 3A to 3C are diagrams for explaining information about a user stored in a memory according to an embodiment of the present disclosure.
  • 3A and 3B are diagrams illustrating a map according to an embodiment of the present disclosure.
  • the map 30 is expressed centered on the robot 100 , and may include information on objects existing around the robot 100 .
  • the map 30 may include gaze information of the first user (user 1).
  • the map 30 may be stored in a ring buffer of the memory 140 .
  • the position of the robot 100 may correspond to the center of the ring buffer.
  • a relative position corresponding to information included in the map 30 may change.
  • the robot 100 moves to the front, as shown in FIG. 3B
  • the position of the first user user 1 on the map 30 may change.
  • each coordinate corresponding to the start and end of the map 30 may be changed.
  • the map 30 according to the present disclosure may not include information about the entire space in which the robot 100 exists, but may include only information about a preset range based on the robot 100 . Accordingly, information on the area outside the preset range according to the movement of the robot 100 is no longer included in the map 30 and is not stored in the memory 140 . Accordingly, the robot 100 can efficiently manage the memory 140 .
  • the robot 100 may acquire a plurality of maps including various types of information about the user.
  • the robot 100 includes a first map 31 including the user's voice information obtained through the microphone 130 , and a second map including the user's movement information obtained through the depth sensor 120 . (32), and a third map 33 including the user's gaze information obtained through the camera 110 may be obtained.
  • the robot 100 may acquire a map including various information about the user.
  • the robot 100 may include tracking information for the user or information on the user's moving speed. Meanwhile, each map may correspond to each sensor included in the robot 100 .
  • the robot 100 may acquire the fusion map 34 based on the acquired maps.
  • the robot 100 may generate the fusion map 34 by fusing the first map 31 , the second map 32 , and the third map 33 .
  • the robot 100 may match the information included in each map with each other and store it in the form of a fusion map 34 .
  • the fusion map 34 may include information about a user obtained based on each map.
  • the fusion map 34 includes a user's degree of interest or engagement level obtained based on the first map 31 , the second map 32 , and the third map 33 . can do.
  • the value of the fusion map 34 is updated over time and may be accumulated and stored in the memory 140 . Accordingly, the robot 100 may perform a more natural interaction with the user based on the fusion map 34 stored in the memory 140 .
  • the robot 100 may acquire the user's interest based on the user's gaze information and movement information. For example, the robot 100 may acquire a higher degree of interest in the user as the user gazes at the robot 100 and the user approaches the robot 100 . Specifically, when the user moves in a direction away from the robot 100 , the robot 100 may acquire an interest level of 1 regardless of the user's gaze information. Also, when the user does not gaze at the robot 100 and does not move, the robot 100 may acquire an interest level of 1. Also, when the user gazes at the robot 100 but does not move, the robot 100 may acquire an interest level of 2. Also, when the user gazes at the robot 100 and approaches the robot 100 , the robot 100 may acquire an interest level of 3 .
  • the robot 100 may calculate the user's interest by reflecting the time the user is gazing at the robot 100 . For example, the robot 100 acquires a first value as the user's interest if the time the user is gazing at the robot 100 is greater than the preset time, and if it is less than the preset time, the second value is smaller than the first value. can be obtained
  • the robot 100 may obtain the degree of interest based on various information about the user.
  • the robot 100 may acquire the degree of interest based on the distance between the user and the robot 100 .
  • the robot 100 may acquire the user's interest as 1.
  • the robot 100 may acquire the degree of interest as shown in FIG. 4 .
  • the robot 100 may acquire an interest level of 4.
  • the robot 100 may acquire an interest level of 3.
  • the robot 100 may acquire the degree of interest based on the location of the user acquired based on the sensing value of the depth sensor 120 . For example, if the user is positioned in a direction opposite to the direction in which the robot 100 is looking, the robot 100 may acquire an interest level of 1.
  • FIG. 5 is a diagram for explaining a method of acquiring an interest according to an embodiment of the present disclosure.
  • a first user 51 , a second user 52 , a third user 53 , and a fourth user 54 staring at the robot 100 may exist around the robot 100 .
  • the fourth distance d4 from the robot 100 to the fourth user 54 may be the smallest.
  • the conventional robot identifies the fourth user 54 as an interaction target because the fourth user 54 is closest to the robot. Accordingly, despite the fact that the first user 51, the second user 52, and the third user 53 are densely populated and can receive services from the robot at the same time, the fourth user 54 is identified as an interaction target. There was a problem that the effectiveness of the service decreased.
  • the robot 100 may acquire the user's interest level based on the information on the user density. For example, the robot 100 identifies that the first user 51 and the second user 52 are adjacent to the third user 53 based on the image and the sensing value of the depth sensor 120 , and 3 When calculating the degree of interest of the user 53, a weight reflecting the density may be reflected. Accordingly, even if the third user 53 is farther from the robot 100 than the fourth user 54 , the robot 100 may identify the third user 53 as an interaction target. When the robot 100 provides a service to the third user 53 , in some cases, the first user 51 and the second user 52 are also provided with the service, so that the utility of the service can be increased.
  • the robot 100 may acquire the user's immersion while performing an interaction with the user.
  • the robot 100 may acquire the user's immersion by using various information about the user. For example, the robot 100 may acquire immersion based on the distance from the robot 100 to the user (hereinafter, the user's distance) and the user's gaze information.
  • the robot 100 may obtain an immersion level of 5.
  • the robot 100 acquires an immersion level of 4 can
  • the robot 100 acquires an immersion level of 3 can do.
  • the robot 100 may acquire the immersion level of 2. Also, if the distance of the user is greater than the third distance (eg, 3.5 m), the robot 100 may acquire the immersion level of 1. Meanwhile, in FIG. 6 , the robot 100 obtains immersion based on the user's distance and gaze information as an example, but the present invention is not limited thereto. can be obtained.
  • the robot 100 may acquire and store other users' interest in the robot 100 while acquiring the user's immersion level. Accordingly, when the level of immersion of the user in interaction is lower than the threshold, the robot 100 may interact with at least one of the other users based on the other users' interest in the robot 100 . For example, in FIG. 1 , if the level of immersion of the first user 11 is lower than the threshold, the robot 100 stops interacting with the first user 11 and based on the interest of the second user 12 . may perform an interaction with the second user 12 . At this time, the robot 100 is interested in the robot 100 from the initial stage of the interaction between the second user 12 and the first user 11 based on the information about the second user 12 stored in the form of a fusion map. can be identified as having Accordingly, the robot 100 may omit the operation (eg, greeting) performed in the initial stage of the interaction with the first user 11 and perform the interaction with the second user 12 (ie, guide to the toilet) .
  • the operation eg, greeting
  • the robot 100 may provide a guide message to the other user. For example, in FIG. 1 , the robot 100 sends a guide message to the second user 12 while interacting with the first user 11 (eg, “Please wait for a moment, as it is currently being serviced by another person”) can provide
  • the robot 100 may acquire the degree of interest for each of a plurality of users existing around the robot by using a camera and a depth sensor included in the robot 100 ( S710 ).
  • the robot 100 may obtain the user's gaze information by analyzing the captured image obtained using the camera 110 , and may obtain the user's distance information and motion information using the sensing value of the depth sensor 120 .
  • the robot 100 may acquire information on user density based on the captured image and distance information.
  • the robot 100 may acquire the user's interest based on at least one of the user's gaze information, distance information, motion information, and information on density. Since a more detailed description thereof has been described above, it will be omitted.
  • the robot 100 may interact with the first user with the highest interest among a plurality of users based on the acquired interest (S720). While performing an interaction with the first user, the robot 100 may obtain gaze information of a plurality of users using the camera 110 , and may obtain distance information of a plurality of users using the depth sensor 120 . (S730). The robot 100 may store gaze information and distance information of a plurality of users in the form of a map in the memory. In addition, the robot 100 may generate a fusion map based on a map corresponding to each piece of information. For example, the robot 100 may generate a fusion map by fusing the first map corresponding to the gaze information for each user and the second map corresponding to the distance information, and store the fusion map in the memory.
  • the robot 100 determines the degree of immersion of the first user for the interaction by using the gaze information and distance information of the first user among the plurality of users, and the gaze information and distance information of the first user and other users among the plurality of users can be used to determine the degree of interest of other users (S740).
  • the robot 100 may end the interaction with the first user and perform the interaction with the other user based on the interest of the other user ( S750 ). Since the interaction operation of the robot 100 has been described above, a detailed description thereof will be omitted.
  • the various embodiments described above may be implemented in a recording medium readable by a computer or a similar device using software, hardware, or a combination thereof.
  • the embodiments described herein may be implemented by the processor itself.
  • embodiments such as the procedures and functions described in this specification may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.
  • computer instructions for performing the processing operation according to various embodiments of the present disclosure described above may be stored in a non-transitory computer-readable medium.
  • the processing operation according to the above-described various embodiments may be performed by a specific device.
  • the non-transitory computer-readable medium refers to a medium that stores data semi-permanently, not a medium that stores data for a short moment, such as a register, cache, memory, etc., and can be read by a device.
  • Specific examples of the non-transitory computer-readable medium may include a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Tourism & Hospitality (AREA)
  • Manipulator (AREA)

Abstract

로봇이 개시된다. 본 개시에 따른 로봇은, 카메라, 뎁스 센서, 메모리, 및 프로세서를 포함하고, 프로세서는, 로봇 주변에 존재하는 복수의 사용자 중 관심도가 가장 높은 제1 사용자와 인터랙션을 수행하고, 제1 사용자와 인터랙션을 수행하는 동안 복수의 사용자의 시선 정보를 획득하고, 복수의 사용자의 거리 정보를 획득하며, 복수의 사용자 중 제1 사용자의 시선 정보 및 거리 정보를 이용하여 인터랙션에 대한 제1 사용자의 몰입도를 판단하고, 복수의 사용자 중 제1 사용자와 다른 사용자의 시선 정보 및 거리 정보를 이용하여 다른 사용자의 관심도를 판단하고, 제1 사용자의 몰입도가 임계값보다 작으면, 제1 사용자와의 인터랙션을 종료하고, 다른 사용자의 관심도를 바탕으로 다른 사용자와 인터랙션을 수행한다.

Description

로봇 및 그 제어 방법
본 개시는 로봇 및 그 제어 방법으로, 보다 상세하게는, 인터랙션을 수행하는 동안에도 주변 사용자들에 대한 정보를 수집하여 저장하고, 사용자들에 대한 정보를 바탕으로 인터랙션을 수행하는 로봇 및 그 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어, 실생활에서 사용자와 인터랙션(interation)을 수행하는 로봇이 활발히 이용되고 있다. 예로, 서비스 로봇은 공항이나 박물관과 같은 특정 장소에서 사용자에게 길 안내를 하거나, 해당 장소에 대한 정보를 사용자에게 제공하기도 한다.
한편, 로봇이 사용자와 인터랙션을 수행하려면, 먼저 인터랙션 타겟을 식별하는 과정이 필요하다. 종래의 로봇은 주변에 복수의 사용자가 존재하는 경우, 복수의 사용자 각각의 위치나 거리 등을 바탕으로 스코어를 산출하고, 복수의 사용자 중 스코어가 가장 높은 사용자를 인터랙션 타겟으로 선택하였다. 그러나, 종래의 로봇은 복수의 사용자들에 대한 스코어를 산출할 때, 사용자의 밀집도에 대한 정보를 고려하지 않았다. 예를 들어, 많은 사용자들이 밀집되어 군집을 이루고 있더라도, 해당 군집에 포함되지 않는 특정 사용자가 로봇과 가까이 위치하면, 해당 사용자를 인터랙션 타겟으로 선택하게 되어 보다 많은 사람들이 동시에 서비스를 제공받지 못하였다. 이에 따라, 서비스 효용성이 떨어진다는 문제가 있었다.
또한, 종래의 로봇은 인터랙션 타겟과 인터랙션을 수행하는 동안에는, 주변에 존재하는 다른 사용자들에 대한 정보는 수집하지 않았다. 따라서, 종래의 로봇은 인터랙션 타겟과의 인터랙션이 종료되면 초기 위치로 이동하였고, 인터랙션 타겟 주변에 위치하여 로봇으로부터 서비스를 제공받기를 원하는 다른 사용자들은 로봇의 초기 위치로 이동하여야 하는 번거로움 있었다.
따라서, 서비스 효용성을 보다 높이고 사용자 편의성을 향상시킬 수 있는 로봇 및 그 제어 방법에 대한 필요성이 대두된다.
본 발명이 해결하고자 하는 일 기술적 과제는, 사용자에 대한 정보를 수집하여 사용자와 보다 자연스러운 인터랙션을 수행하는 로봇을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 일 실시 예에 따르면, 로봇에 있어서, 카메라; 뎁스 센서; 메모리; 및 프로세서;를 포함하고, 상기 프로세서는, 상기 카메라 및 상기 뎁스 센서를 이용하여 상기 로봇 주변에 존재하는 복수의 사용자 중 관심도가 가장 높은 제1 사용자와 인터랙션을 수행하고, 상기 제1 사용자와 인터랙션을 수행하는 동안 상기 카메라를 이용하여 상기 복수의 사용자의 시선 정보를 획득하고, 상기 뎁스 센서를 이용하여 상기 복수의 사용자의 거리 정보를 획득하며, 상기 복수의 사용자 중 상기 제1 사용자의 시선 정보 및 거리 정보를 이용하여 상기 인터랙션에 대한 상기 제1 사용자의 몰입도를 판단하고, 상기 복수의 사용자 중 상기 제1 사용자와 다른 사용자의 시선 정보 및 거리 정보를 이용하여 상기 다른 사용자의 관심도를 판단하고, 상기 제1 사용자의 몰입도가 임계값보다 작으면, 상기 제1 사용자와의 인터랙션을 종료하고, 상기 다른 사용자의 관심도를 바탕으로 상기 다른 사용자와 인터랙션을 수행하는 로봇이 제공될 수 있다.
상기 프로세서는, 상기 제1 사용자와 인터랙션을 수행하는 동안, 상기 복수의 사용자 각각의 시선 정보를 포함하는 제1 맵과 상기 복수의 사용자 각각의 거리 정보를 포함하는 제2 맵을 상기 메모리에 저장하고, 상기 제1 맵 및 상기 제2 맵을 융합하여 퓨전 맵을 생성하고, 상기 퓨전 맵을 상기 메모리에 저장하고, 상기 퓨전 맵을 바탕으로 상기 다른 사용자와 인터랙션을 수행할 수 있다.
상기 프로세서는 각 시간 별 상기 퓨전 맵을 누적하여 상기 메모리에 저장하고, 상기 제1 맵 및 상기 제2 맵을 시간에 따라 상기 메모리에서 삭제할 수 있다.
상기 프로세서는, 상기 카메라를 이용하여 상기 복수의 사용자를 포함하는 이미지를 획득하고, 상기 이미지를 분석하여 상기 복수의 사용자의 시선 정보를 획득하고, 상기 뎁스 센서를 이용하여 상기 복수의 사용자의 거리 정보를 획득하고, 상기 복수의 사용자의 거리 정보를 바탕으로 상기 복수의 사용자의 밀집도 정보를 획득하고, 상기 복수의 사용자의 시선 정보, 밀집도 정보 및 거리 정보를 바탕으로 상기 복수의 사용자 각각의 관심도를 산출하고, 상기 복수의 사용자 각각의 관심도를 바탕으로 상기 복수의 사용자 중 관심도가 가장 높은 상기 제1 사용자를 식별할 수 있다.
상기 밀집도 정보는 상기 복수의 사용자 각각에 대응되는 밀집도 가중치를 포함하고, 상기 프로세서는, 상기 제1 사용자와 다른 사용자간의 거리 및 상기 제1 사용자로부터 기설정된 범위 내에 포함되는 다른 사용자의 수 중 적어도 하나를 바탕으로 상기 제1 사용자에 대응되는 제1 밀집도 가중치를 산출하고, 상기 제1 밀집도 가중치를 바탕으로 상기 제1 사용자의 관심도를 산출할 수 있다.
상기 프로세서는, 상기 제1 밀집도 가중치가 클수록, 상기 제1 사용자의 관심도를 높게 산출할 수 있다.
상기 프로세서는, 상기 복수의 사용자 각각의 관심도에 대응되는 시간 정보를 획득하여 상기 메모리에 저장하고, 상기 시간 정보를 바탕으로, 상기 제1 사용자와의 인터랙션이 종료된 시점으로부터 기설정된 범위 내에 임계값 이상의 관심도를 갖는 다른 사용자를 인터랙션 대상으로 식별할 수 있다.
상기 전자 장치는, 마이크;를 더 포함하고, 상기 프로세서는, 상기 마이크를 이용하여 음성 신호를 획득하고,상기 복수의 사용자 중 상기 음성 신호에 대응되는 사용자를 식별하고, 상기 음성 신호를 바탕으로 상기 식별된 사용자의 관심도를 산출할 수 있다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 다른 일 실시 예에 따르면, 로봇의 제어 방법에 있어서, 상기 로봇에 포함된 카메라 및 뎁스 센서를 이용하여 상기 로봇 주변에 존재하는 복수의 사용자 각각에 대한 관심도를 획득하는 단계; 상기 획득된 관심도를 바탕으로 상기 복수의 사용자 중 관심도가 가장 높은 제1 사용자와 인터랙션을 수행하는 단계; 상기 제1 사용자와 인터랙션을 수행하는 동안 상기 카메라를 이용하여 상기 복수의 사용자의 시선 정보를 획득하고, 상기 뎁스 센서를 이용하여 상기 복수의 사용자의 거리 정보를 획득하는 단계; 상기 복수의 사용자 중 상기 제1 사용자의 시선 정보 및 거리 정보를 이용하여 상기 인터랙션에 대한 상기 제1 사용자의 몰입도를 판단하고, 상기 복수의 사용자 중 상기 제1 사용자와 다른 사용자의 시선 정보 및 거리 정보를 이용하여 상기 다른 사용자의 관심도를 판단하는 단계; 및 상기 제1 사용자의 몰입도가 임계값보다 작으면, 상기 제1 사용자와의 인터랙션을 종료하고, 상기 다른 사용자의 관심도를 바탕으로 상기 다른 사용자와 인터랙션을 수행하는 단계;를 포함하는 제어 방법이 제공될 수 있다.
본 개시의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 로봇은 사용자에 대한 정보를 바탕으로 사용자와 보다 자연스러운 인터랙션을 수행할 수 있다. 이에 따라, 사용자 편의성 및 만족도가 향상될 수 있다.
그 외에 본 개시의 실시 예로 인하여 얻을 수 있거나 예측되는 효과에 대해서는 본 개시의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 예컨대, 본 개시의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.
도 1은 본 개시의 일 실시 예에 따른 로봇의 동작을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 로봇의 구성을 도시한 블록도이다.
도 3a는 본 개시의 일 실시 예에 따른 맵을 도시한 도면이다.
도 3b는 본 개시의 일 실시 예에 따른 맵을 도시한 도면이다.
도 3c는 본 개시의 일 실시 예에 따른 퓨전 맵을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 사용자의 관심도를 나타내는 표이다.
도 5는 본 개시의 일 실시 예에 따른 관심도 획득 방법을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 사용자의 몰입도를 나타내는 표이다.
도 7은 본 개시의 일 실시 예에 따른 로봇의 제어 방법을 도시한 순서도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 개시의 일 실시 예에 따른 로봇의 동작을 설명하기 위한 도면이다. 도 1을 참조하면, 로봇(100)은 주변에 존재하는 제1 사용자(11)의 음성 명령(즉, "화장실로 안내해줘")을 획득할 수 있다. 로봇(100)은 획득된 음성 명령을 바탕으로 제1 사용자(11)와 인터랙션을 수행할 수 있다. 예를 들어, 로봇(100)은 획득된 음성 명령을 바탕으로 음성 피드백(즉, "안내를 시작합니다. 저를 따라오세요")을 제공할 수 있다. 그리고, 로봇(100)은 화장실을 향해 주행하면서 제1 사용자(11)를 안내할 수 있다. 이러한 상황에서, 로봇(100) 주변에는 로봇(100)에 관심을 갖는 제2 사용자(12)가 존재할 수 있다. 제2 사용자(12)는 로봇(100)이 제1 사용자(11)에가 제공하는 서비스(즉, 길 안내 서비스)를 제공 받고 싶어, 로봇(100)을 따라갈 수 있다.
로봇(100)은 제1 사용자(11)와 인터랙션을 수행하는 동안, 제2 사용자(12)에 대한 정보를 지속적으로 획득할 수 있다. 예를 들어, 로봇(100)은 기설정된 시간 주기 마다 제2 사용자(12)의 시선 정보, 로봇(100)과 제2 사용자(12) 사이의 거리 정보 및 제2 사용자(12)의 움직임 정보 중 적어도 하나를 획득할 수 있다. 또한, 로봇(100)은 제2 사용자(12)에 대한 정보를 바탕으로 각 시간 주기 별 제2 사용자(12)의 로봇(100)에 대한 관심도를 획득할 수 있다. 그리고, 로봇(100)은 시간 주기 별 제2 사용자(12)에 대한 정보 및 관심도를 시간 정보와 매칭하여 저장할 수 있다.
한편, 로봇(100)이 제1 사용자(11)와의 인터랙션을 수행하는 동안, 제1 사용자(11)가 로봇(100)으로부터 기설정된 범위 밖으로 사라지는 상황이 발생할 수 있다. 이 때, 로봇(100)은 제1 사용자(11)와의 인터랙션을 종료하고, 저장된 제2 사용자(12)에 대한 정보를 바탕으로 제2 사용자(12)와 인터랙션을 수행할 수 있다. 예를 들어, 로봇(100)은 로봇(100)이 제1 사용자(11)와 인터랙션을 수행하는 동안의 제2 사용자(12)의 관심도가 기설정된 값보다 크다고 식별하고, 제1 사용자(11)에게 제공했던 서비스를 제공할 수 있다. 즉, 로봇(100)은 화장실을 향해 계속해서 주행하면서 제2 사용자(12)를 안내할 수 있다. 혹은, 로봇(100)은 제2 사용자(12)에게 가이드 음성(예로, "화장실로 안내해드릴까요?")을 제공할 수 있다.
종래의 서비스 로봇은 상기와 같은 상황에서, 제2 사용자(12)에 대한 정보를 수집하여 미리 저장해 놓지 않으므로, 제1 사용자(11)와의 인터랙션을 종료하고 초기 위치로 이동하였다. 따라서, 제2 사용자(12)는 초기 위치로 다시 돌아가서 서비스 로봇에게 서비스를 요청해야 하는 번거로움이 있었다. 또는, 종래의 서비스 로봇은 제2 사용자(12)에게 초기 가이드 음성(예로, "무엇을 도와드릴까요?")을 제공하였다. 이 경우에도, 제2 사용자(12)는 서비스 로봇에게 서비스를 요청(즉, 화장실 안내)해야하므로 번거로움이 있었다.
이에 반해, 본 개시에 따른 로봇(100)은 제1 사용자(11)와 인터랙션을 수행하는 동안에도 제2 사용자(12)에 대한 정보를 획득하여 저장하므로, 저장된 정보를 바탕으로 제2 사용자(12)에게 보다 편리한 서비스를 제공할 수 있다. 이에 따라, 제2 사용자(12)의 편의성 및 만족감이 향상될 수 있다.
도 2는 본 개시의 일 실시 예에 따른 로봇의 구성을 도시한 블록도이다. 로봇(100)은 카메라(110), 뎁스 센서(120), 마이크(130), 메모리(140), 통신 인터페이스(150) 및 프로세서(160)를 포함할 수 있다.
카메라(110)는 로봇(100) 주변을 촬상한 이미지를 획득하기 위한 구성이다. 카메라(110)는 로봇(100)의 전방을 촬상하도록 배치될 수 있다. 카메라(110)는 다양한 이미지 센서를 포함할 수 있다. 예로, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 및 CCD(Charge Coupled Device) 이미지 센서 중 적어도 하나를 포함할 수 있다.
뎁스 센서(120)는 로봇(100) 주변에 존재하는 오브젝트(또는 사용자)에 대한 거리 정보를 획득하기 위한 구성이다. 여기서, 오브젝트(또는 사용자)에 대한 거리 정보란, 로봇(100)으로부터 오브젝트까지의 거리를 의미한다. 예로, 뎁스 센서(120)는 라이다(Light Detection and Ranging: LiDAR) 센서 또는 ToF 센서일 수 있다. 이 때, 뎁스 센서(120)는 레이저를 이용하여 로봇(100) 주변 360도를 스캔할 수 있다.
마이크(130)는 음성 신호를 획득하기 위한 구성으로, 사용자의 음성 신호를 획득할 수 있다. 예로, 프로세서(160)는 마이크(130)를 통해 입력된 사용자의 음성 신호를 분석하여 사용자의 음성 명령을 획득할 수 있다.
메모리(140)는 로봇(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 로봇(100)의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다. 예로, 메모리(140)는 가상 환경 및 가상 로봇에 관한 정보를 저장할 수 있다. 한편, 메모리(140)는 비휘발성 메모리(ex: 하드 디스크, SSD(Solid state drive), 플래시 메모리), 휘발성 메모리 등으로 구현될 수 있다.
통신 인터페이스(150)는 적어도 하나의 회로를 포함하며 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 예를 들어, 통신 인터페이스(150)는 외부 서버 또는 사용자 단말과 통신을 수행할 수 있다. 또한, 통신 인터페이스(150)는 다양한 유형의 통신 방식에 따라 외부 기기와 통신을 수행할 수 있다. 통신 인터페이스(150)는 무선 혹은 유선으로 데이터 통신을 수행할 수 있다. 무선 통신 방식으로 외부 기기와 통신을 수행할 경우, 통신 인터페이스(150)는 와이파이 통신 모듈, 셀룰러 통신모듈, 3G(3세대) 이동통신 모듈, 4G(4세대) 이동통신 모듈, 4세대 LTE(Long Term Evolution) 통신 모듈, 5G(5세대) 이동통신 모듈 중 적어도 하나를 포함할 수 있다.
프로세서(160)는 로봇(100)의 전반적인 동작을 제어할 수 있다. 프로세서(160)는 사용자 식별 모듈(161), 사용자 정보 획득 모듈(162), 사용자 정보 맵 생성 모듈(163), 관심도 획득 모듈(164), 몰입도 획득 모듈(165) 및 인터랙션 제어 모듈(166)을 포함할 수 있다.
사용자 식별 모듈(161)은 카메라(110)를 통해 획득되는 촬상 이미지를 분석하여 촬상 이미지에 포함된 적어도 하나의 사용자를 식별할 수 있다. 예로, 사용자 식별 모듈(161)은 메모리(140)에 저장된 오브젝트 인식 모델을 이용하여 사용자를 식별할 수 있다.
사용자 식별 모듈(161)을 통해 사용자가 식별되면, 사용자 정보 획득 모듈(162)은 식별된 사용자와 관련된 다양한 정보를 획득할 수 있다. 사용자 정보 획득 모듈(162)은 시선 정보 획득 모듈(162-1), 제스처 획득 모듈(162-2), 거리 정보 획득 모듈(162-3), 움직임 정보 획득 모듈(162-4), 사용자 밀집도 획득 모듈(162-5) 및 음성 인식 모듈(162-6)을 포함할 수 있다.
시선 정보 획득 모듈(162-1)은 사용자의 시선 정보를 획득할 수 있다. 예로, 시선 정보 획득 모듈(162-1)은 사용자의 시선 방향을 획득할 수 있다. 또한, 시선 정보 획득 모듈(162-1)은 사용자가 로봇(100)을 응시하는 각도를 획득할 수 있다. 이 때, 시선 정보 획득 모듈(162-1)은 사용자의 신체와 헤드의 방향 정보를 바탕으로 사용자가 로봇(100)을 응시하는 각도를 획득할 수 있다.
제스처 획득 모듈(162-2)은 촬상 이미지를 분석하여 사용자의 제스처 정보를 획득할 수 있다. 예로, 제스처 획득 모듈(162-2)은 로봇(100)을 호출하기 위한 사용자의 제스처를 획득할 수 있다.
거리 정보 획득 모듈(162-3)은 뎁스 센서(120)의 센싱값을 바탕으로 사용자에 대한 거리 정보를 획득할 수 있다. 거리 정보 획득 모듈(162-3)은 뎁스 센서(120)의 스캔 범위 내의 각 위치별 거리 정보를 획득할 수 있다. 한편, 뎁스 센서(120)가 기설정된 시간 주기마다 스캐닝을 수행하는 경우, 거리 정보 획득 모듈(162-3)은 각 시간 주기에 대응되는 사용자에 대한 거리 정보를 획득할 수 있다.
움직임 정보 획득 모듈(162-4)은 사용자의 움직임 정보를 획득할 수 있다. 예로, 움직임 정보 획득 모듈(162-4)은 사용자가 로봇(100)으로 접근하는지 아니면 로봇(100)으로부터 멀어지는지 여부를 식별할 수 있다. 움직임 정보 획득 모듈(162-4)은 거리 정보 획득 모듈(162-3)을 통해 획득되는 각 시간 주기별 사용자에 대한 거리 정보를 바탕으로, 사용자에 대한 거리 정보의 변화를 획득할 수 있다. 그리고, 움직임 정보 획득 모듈(162-4)은 사용자에 대한 거리 정보의 변화를 바탕으로 사용자의 움직임 정보를 획득할 수 있다. 한편, 움직임 정보 획득 모듈(162-4)은 메모리(140)에 저장된 객체 추적 알고리즘을 이용하여 사용자의 움직임 정보를 획득할 수 있다.
사용자 밀집도 획득 모듈(162-5)은 사용자 밀집도에 대한 정보를 획득할 수 있다. 여기서, 사용자 밀집도에 대한 정보는 복수의 사용자간 모여있는 정도를 의미할 수 있다. 촬상 이미지에 복수의 사용자가 포함된 경우, 밀집도 획득 모듈(162-5)은 복수의 사용자 각각에 대한 거리 정보를 바탕으로 복수의 사용자 간의 거리를 획득할 수 있다. 그리고, 사용자 밀집도 획득 모듈(162-5)은 복수의 사용자 간의 거리를 바탕으로 사용자 밀집도를 획득할 수 있다. 예로, 촬상 이미지에 제1 사용자 및 제2 사용자가 포함된 경우, 사용자 밀집도 획득 모듈(162-5)은 제1 사용자에 대한 제1 거리 정보 및 제2 사용자에 대한 제2 거리 정보를 획득할 수 있다. 그리고, 사용자 밀집도 획득 모듈(162-5)은 제1 거리 정보 및 제2 거리 정보를 바탕으로 제1 사용자와 제2 사용자 간의 거리를 획득할 수 있다. 사용자 밀집도 획득 모듈(162-5)은 제1 사용자와 제2 사용자 간의 거리를 바탕으로 사용자 밀집도를 획득할 수 있다. 예로, 제1 사용자와 제2 사용자 간의 거리가 작을수록 사용자 밀집도는 증가할 수 있다.
한편, 사용자 밀집도에 대한 정보는, 각 사용자 별로 대응되는 밀집도 가중치를 포함할 수 있다. 사용자 밀집도 획득 모듈(162-5)은 각 사용자를 기준으로 기설정된 범위 내에 포함되는 다른 사용자의 수를 바탕으로 밀집도 가중치를 산출할 수 있다. 예로, 사용자 밀집도 획득 모듈(162-5)은 제1 사용자를 기준으로 기설정된 범위 내에 포함되는 다른 사용자의 수를 바탕으로 제1 사용자에 대한 밀집도 가중치를 산출할 수 있다. 이 때, 제1 사용자를 기준으로 기설정된 범위 내에 포함되는 다른 사용자의 수가 많을수록 제1 사용자에 대한 밀집도 가중치는 커질 수 있다. 또한, 사용자 밀집도 획득 모듈(162-5)은 특정 사용자와 다른 사용자 간의 거리를 바탕으로 특정 사용자에 대한 밀집도 가중치를 산출할 수 있다. 예로, 제1 사용자에 대한 밀집도 가중치는 제1 사용자와 다른 사용자 간의 거리가 작을수록 증가할 수 있다.
음성 인식 모듈(162-6)은 마이크(130)를 통해 획득되는 음성 신호를 바탕으로 사용자의 음성 명령을 획득할 수 있다. 예를 들어, 음성 인식 모듈(162-6)은 음성 신호(“회의실까지 안내해줘”)를 바탕으로 특정 장소(즉, 회의실)까지의 안내를 요청하는 사용자의 음성 명령을 획득할 수 있다. 한편, 음성 인식 모듈(162-6)은 자동 음성 인식(Automatic Speech Recognition (ASR)) 모듈, 자연어 이해(Natural Language Understanding (NLU)) 모듈, 대화 관리(Dialogue Management (DM)) 모듈, 자연어 생성(Natural Language Generation) 모듈 및 TTS(Text-To-Speech) 모듈을 포함할 수 있다.
한편, 상술한 사용자 정보 획득 모듈(162)을 통해 획득되는 각종 정보들은 각각 2차원 맵 형태로 메모리(140)에 저장될 수 있다. 이를 위해, 사용자 정보 맵 생성 모듈(163)은 각 사용자 정보마다 대응되는 맵을 생성할 수 있다. 예로, 사용자 정보 맵 생성 모듈(163)은 시선 정보 획득 모듈(162-1)을 통해 획득된 사용자의 시선 정보를 포함하는 제1 맵을 생성할 수 있다. 또한, 사용자 정보 맵 생성 모듈(163)은 거리 정보 획득 모듈(162-3)을 통해 획득된 사용자에 대한 거리 정보를 포함하는 제2 맵을 생성할 수 있다.
한편, 사용자 정보 맵 생성 모듈(163)은 맵에 포함된 사용자 정보가 로봇(100)을 중심으로 표현되도록 사용자 정보의 위치(또는 좌표)를 이동시키는 동작을 수행할 수 있다. 예로, 사용자 정보 맵 생성 모듈(163)은 카메라(110)의 위치 정보를 바탕으로 사용자의 시선 정보의 좌표를 이동시킬 수 있다. 이에 따라, 각 사용자 정보를 포함하는 맵들은 로봇(100)을 중심으로 표현될 수 있다.
사용자 정보 맵 생성 모듈(163)은 각 사용자 정보에 대응되는 맵들을 바탕으로 퓨전 맵을 생성할 수 있다. 사용자 정보 맵 생성 모듈(163)은 각 맵에 포함된 사용자 정보를 융합하여 퓨전 맵을 생성할 수 있다. 이에 따라, 퓨전 맵은 서로 매칭된 각종 사용자 정보들을 포함할 수 있다. 예로, 제1 맵의 제1 위치에는 제1 시선 정보가 포함되며, 제2 맵의 제2 위치에는 제2 거리 정보가 포함될 수 있다. 이 때, 사용자 정보 맵 생성 모듈(163)은 제1 맵과 제2 맵을 융합하여 제1 시선 정보 및 제2 거리 정보를 포함하는 퓨전 맵을 생성할 수 있다. 구체적으로, 제1 위치가 제2 위치와 대응되면, 사용자 정보 맵 생성 모듈(163)은 제1 시선 정보 및 제2 시선 정보를 매칭하여 퓨전 맵에 저장할 수 있다. 이와 같이 생성된 퓨전 맵은 메모리(140)에 저장될 수 있다.
한편, 각 사용자 맵들은 주기적으로 업데이트될 수 있다. 예로, 사용자 정보 맵 생성 모듈(163)은 제1 시간 구간 동안 획득된 제1 시선 정보를 포함하는 제1 시선 정보 맵을 생성하여 메모리(140)에 저장할 수 있다. 그리고, 사용자 정보 맵 생성 모듈(163)은 제1 시간 구간의 다음 시간 구간인 제2 시간 구간 동안 획득된 제2 시선 정보를 포함하는 제2 시선 정보 맵을 생성할 수 있다. 이 때, 사용자 정보 맵 생성 모듈(163)은 제2 시선 정보 맵을 메모리(140)에 저장하며 메모리(140)에 저장된 제1 시선 정보 맵을 삭제할 수 있다. 이에 따라, 로봇(100)은 메모리(140)를 효율적으로 관리할 수 있다.
반면에, 각 시간 구간 마다 획득되는 퓨전 맵들은 누적되어 메모리(140)에 저장될 수 있다. 예로, 사용자 정보 맵 생성 모듈(163)은 제1 시간 구간에 대응되는 제1 퓨전 맵 및 제2 시간 구간에 대응되는 제2 퓨전 맵을 누적하여 메모리(140)에 저장할 수 있다. 이와 같이, 퓨전 맵이 메모리(140)에 누적되어 저장되면, 로봇(100)은 현재 시간 구간뿐만 아니라 과거 시간 구간에 대응되는 퓨전 맵을 이용하여 사용자와 보다 자연스러운 인터랙션을 수행할 수 있다. 또한, 퓨전 맵은 로봇(100)이 사용자와 인터랙션을 수행하는 중에도 생성되어 메모리(140)에 저장될 수 있다.
관심도 획득 모듈(164)은 사용자 정보 맵에 포함된 사용자 정보를 바탕으로 로봇(100)에 대한 사용자의 관심도를 획득할 수 있다. 일 예로, 관심도 획득 모듈(164)은 사용자의 시선 정보를 바탕으로 사용자의 관심도를 획득할 수 있다. 가령, 로봇(100)으로부터 제1 임계 거리(예로, 2.5m) 밖에 제1 사용자가 존재하면, 관심도 획득 모듈(164)은 제1 사용자의 관심도를 제1 등급으로 획득할 수 있다.
다른 일 예로, 관심도 획득 모듈(164)은 사용자의 시선 정보 및 사용자에 대한 거리 정보를 바탕으로 관심도를 획득할 수 있다. 가령, 로봇(100)으로부터 제1 임계 거리 이내에 존재하는 제2 사용자가 로봇(100)을 응시하지 않으면, 관심도 획득 모듈(164)은 제2 사용자의 관심도를 제1 등급보다 높은 제2 등급으로 획득할 수 있다. 반면에, 제2 사용자가 로봇(100)을 응시하면, 관심도 획득 모듈(164)은 제2 사용자의 관심도를 제2 등급보다 높은 제3 등급으로 획득할 수 있다. 또한, 관심도 획득 모듈(164)은 사용자가 로봇(100)을 응시하는 각도를 바탕으로 사용자의 관심도를 획득할 수 있다.
또 다른 일 예로, 관심도 획득 모듈(164)은 사용자의 움직임 정보를 바탕으로 사용자의 관심도를 획득할 수 있다. 가령, 로봇(100)을 향해 근접하는 제1 사용자의 관심도는 로봇(100)으로부터 멀어지는 제2 사용자의 관심도보다 높을 수 있다. 또 다른 일 예로, 관심도 획득 모듈(164)은 사용자의 음성 명령을 바탕으로 사용자의 관심도를 획득할 수 있다. 가령, 로봇(100)을 호출하기 위한 음성 신호를 발화하는 제1 사용자의 관심도는 다른 사용자들의 관심도에 비해 높을 수 있다.
한편, 관심도 획득 모듈(164)은 사용자 밀집도에 대한 정보를 바탕으로 사용자의 관심도를 획득할 수 있다. 전술한 바와 같이, 사용자 밀집도에 대한 정보는 주변 사용자의 존재 여부, 로봇(100)과 주변 사용자의 거리 등에 따라 산출되는 밀집도 가중치를 포함할 수 있다. 예를 들어, 로봇(100)으로부터 동일한 거리에 위치한 제1 사용자 및 제2 사용자가 존재하며, 제1 사용자 주변에는 제3 사용자 및 제4 사용자가 존재할 수 있다. 이 때, 관심도 획득 모듈(164)은 제1 사용자에 대한 밀집도 가중치를 반영하여 제1 사용자의 관심도를 제2 사용자의 관심도보다 높게 획득할 수 있다.
관심도 획득 모듈(164)을 통해 획득된 사용자의 관심도는 퓨전 맵에 포함되어 메모리(140)에 저장될 수 있다. 그리고, 각 사용자의 관심도가 획득되면, 인터랙션 제어 모듈(166)은 복수의 사용자 중 관심도가 가장 높은 사용자를 식별하고, 식별된 사용자와 인터랙션을 수행하기 위한 동작을 수행할 수 있다. 예로, 인터랙션 제어 모듈(166)은 식별된 사용자에게 근접하여 식별된 사용자와 대화를 수행하기 위한 동작을 수행할 수 있다.
한편, 종래의 로봇은 사용자의 관심도를 획득할 때, 사용자의 밀집도에 대한 정보를 고려하지 않았다. 이에 따라, 밀집도가 높은 사용자 군집이 존재하는 경우라도 로봇과의 거리가 가장 가깝거나 로봇을 응시하는 시간이 긴 사용자를 인터랙션 타겟으로 식별하였다. 가령, 로봇으로부터 제1 거리만큼 떨어져 제1 사용자, 제3 사용자 및 제4 사용자가 밀집하여 군집을 형성하고 있고, 제2 사용자가 제1 거리보다 작은 제2 거리만큼 떨어져 위치한 상황을 가정해보자. 이 경우, 종래의 로봇은 제2 사용자가 로봇으로부터 가장 가까이 위치하므로 제2 사용자를 인터랙션 타겟으로 식별하였다. 이에 따라, 제1 사용자, 제3 사용자 및 제4 사용자는 동시에 로봇으로부터 서비스를 제공받을 수 있음에도 인터랙션 타겟에서 배제되므로, 서비스의 효용성이 떨어지는 문제가 있었다. 이에 반해, 본 개시에 따른 로봇(100)은 사용자 밀집도에 대한 정보를 바탕으로 사용자의 관심도를 획득하므로, 위와 같은 상황에서, 제1 사용자, 제3 사용자 및 제4 사용자 중 하나를 인터랙션 타겟으로 식별할 수 있다. 이에 따라, 보다 많은 수의 사용자가 서비스를 제공받을 수 있으므로 서비스의 효용성이 증가할 수 있다.
한편, 인터랙션 제어 모듈(166)이 식별된 사용자와 인터랙션을 수행하기 위한 동작을 수행하는 동안, 몰입도 획득 모듈(165)은 식별된 사용자의 몰입도를 획득할 수 있다. 여기서, 몰입도(engagement level)란, 사용자가 로봇(100)이 수행하는 인터랙션에 대해 몰입하는 정도를 의미한다. 몰입도 획득 모듈(165)은 사용자의 시선 정보 및 사용자에 대한 거리 정보 중 적어도 하나를 바탕으로 사용자의 몰입도를 획득할 수 있다. 예로, 로봇(100)과 인터랙션 중인 제1 사용자가 로봇(100)을 응시하지 않는 경우, 몰입도 획득 모듈(165)은 제1 사용자의 몰입도를 제1 레벨로 획득할 수 있다. 반면에, 로봇(100)과 인터랙션 중인 제1 사용자가 로봇(100)을 응시하는 경우, 몰입도 획득 모듈(165)은 제1 사용자의 몰입도를 제1 레벨보다 높은 제2 레벨로 획득할 수 있다.
사용자의 몰입도가 획득되면, 인터랙션 제어 모듈(166)은 사용자의 몰입도를 바탕으로 인터랙션을 제어할 수 있다. 예로, 제1 사용자의 몰입도가 임계값보다 작으면, 인터랙션 제어 모듈(166)은 제1 사용자와의 인터랙션을 종료할 수 있다. 반면에, 제1 사용자의 몰입도가 임계값보다 높으면, 인터랙션 제어 모듈(166)은 제1 사용자와의 인터랙션을 유지할 수 있다.
한편, 종래의 로봇은 인터랙션 타겟과 인터랙션을 수행하는 동안에는, 로봇 주변에 존재하는 다른 오브젝트의 관심도를 수집하지 않았다. 이에 반해, 본 개시에 따른 관심도 획득 모듈(164)은 로봇(100)이 인터랙션을 수행하는 동안에도, 로봇(100) 주변의 다른 사용자들의 관심도를 획득할 수 있다. 이에 따라, 로봇(100)은 종래의 로봇에 비해 보다 자연스러운 인터랙션을 수행할 수 있다. 예를 들어, 로봇이 제1 사용자와 대화하는 동안 제2 사용자가 로봇에 대해 기설정된 값 이상의 관심도를 갖고 있는 상황을 가정해보자. 종래의 로봇은 제2 사용자의 관심도를 획득할 수 없으므로, 제1 사용자의 몰입도가 임계값보다 작아지면 제1 사용자와의 대화를 종료하고 기설정된 장소로 이동할 것이다. 따라서, 제2 사용자는 로봇과 대화하기 위해 기설정된 장소로 이동해야한다. 반면에, 본 개시에 따른 관심도 획득 모듈(164)은 제2 사용자에 대한 관심도를 획득할 수 있으므로, 제1 사용자의 몰입도가 임계값보다 작아지면 인터랙션 제어 모듈(166)은 제1 사용자와의 대화를 종료하고 제2 사용자와 대화를 수행하기 위한 동작을 수행할 수 있다. 이에 따라, 제2 사용자의 만족감 및 편의성이 향상될 수 있다.
한편, 도 2에서는 각 모듈(161 내지 166)들을 프로세서(160)의 구성으로 설명하였으나, 이는 일 실시 예에 불과하며, 각 모듈(161 내지 166)들은 메모리(140)에 저장될 수 있다. 이 때, 프로세서(160)는 메모리(140)에 저장된 복수의 모듈(161 내지 166)을 비휘발성 메모리에서 휘발성 메모리로 로딩(loading)하여 복수의 모듈(161 내지 166)의 각 기능들을 실행할 수 있다. 또한, 프로세서(160)의 각 모듈들은 소프트웨어(software)로 구현되거나, 소프트웨어와 하드웨어(hardware)가 결합된 형태로 구현될 수 있다.
도 3a 내지 3c는 본 개시의 일 실시 예에 따른 메모리에 저장되는 사용자에 대한 정보를 설명하기 위한 도면이다. 도 3a 및 도 3b는 본 개시의 일 실시 예에 따른 맵을 도시한 도면이다. 맵(30)은 로봇(100)을 중심으로 표현되며, 로봇(100) 주변에 존재하는 오브젝트에 대한 정보를 포함할 수 있다. 예를 들어, 맵(30)은 제1 사용자(user 1)의 시선 정보를 포함할 수 있다. 한편, 맵(30)은 메모리(140)의 링 버퍼(ring buffer)에 저장될 수 있다. 이 때, 로봇(100)의 위치는 링 버퍼의 중심에 대응될 수 있다. 로봇(100)이 이동하거나 회전하는 경우 맵(30)에 포함된 정보에 대응되는 상대적 위치가 변할 수 있다. 예를 들어, 로봇(100)이 정면으로 이동한 경우, 도 3b에 도시된 바와 같이, 제1 사용자(user 1)의 맵(30)에서의 위치가 변할 수 있다. 또한, 맵(30)의 시작과 끝에 대응되는 각각의 좌표가 변경될 수 있다.
한편, 본 개시에 따른 맵(30)은 로봇(100)이 존재하는 공간 전체에 대한 정보를 포함하는 것이 아니라, 로봇(100)을 기준으로 기 설정된 범위에 대한 정보만을 포함할 수 있다. 따라서, 로봇(100)의 이동에 따라 기 설정된 범위를 벗어난 영역에 대한 정보는 더 이상 맵(30)에 포함되지 않으며, 메모리(140)에 저장되지 않는다. 이에 따라, 로봇(100)은 메모리(140)를 효율적으로 관리할 수 있다.
도 3c는 본 개시의 일 실시 예에 따른 퓨전 맵을 설명하기 위한 도면이다. 로봇(100)은 사용자에 대한 각종 정보를 포함하는 복수의 맵을 획득할 수 있다. 예를 들어, 로봇(100)은 마이크(130)를 통해 획득되는 사용자의 음성 정보를 포함하는 제1 맵(31), 뎁스 센서(120)를 통해 획득되는 사용자의 움직임 정보를 포함하는 제2 맵(32), 및 카메라(110)를 통해 획득되는 사용자의 시선 정보를 포함하는 제3 맵(33)을 획득할 수 있다. 뿐만 아니라, 로봇(100)은 사용자에 대한 다양한 정보를 포함하는 맵을 획득할 수 있다. 예로, 로봇(100)은 사용자에 대한 트래킹 정보(tracking information)나 사용자의 이동 속도 정보를 포함할 수 있다. 한편, 각각의 맵들은 로봇(100)에 포함된 각 센서에 대응될 수 있다.
로봇(100)은 획득된 맵들을 바탕으로 퓨전 맵(34)을 획득할 수 있다. 예를 들어, 로봇(100)은 제1 맵(31), 제2 맵(32) 및 제3 맵(33)을 융합하여 퓨전 맵(34)을 생성할 수 있다. 로봇(100)은 각각의 맵에 포함된 정보들을 서로 매칭하여 퓨전 맵(34) 형태로 저장할 수 있다. 또한, 퓨전 맵(34)은 각각의 맵을 바탕으로 획득된 사용자에 대한 정보를 포함할 수 있다. 예로, 퓨전 맵(34)은 제1 맵(31), 제2 맵(32) 및 제3 맵(33)을 바탕으로 획득된 사용자의 관심도(degree of interest)나 몰입도(engagement level)을 포함할 수 있다. 전술한 바와 같이, 퓨전 맵(34)은 시간에 따른 값이 업데이트되며 메모리(140)에 누적되어 저장될 수 있다. 따라서, 로봇(100)은 메모리(140)에 저장된 퓨전 맵(34)을 바탕으로 사용자와 보다 자연스러운 인터랙션을 수행할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 사용자의 관심도를 나타내는 표이다. 도 4에서, 표(41)에 포함된 숫자들은 사용자의 관심도를 나타내며, 숫자가 클수록 관심도는 높다. 로봇(100)은 사용자의 시선 정보 및 움직임 정보를 바탕으로 사용자의 관심도를 획득할 수 있다. 예를 들어, 로봇(100)은 사용자가 로봇(100)을 응시할수록, 사용자가 로봇(100)을 향해 다가올수록 사용자에 대한 관심도를 높게 획득할 수 있다. 구체적으로, 사용자가 로봇(100)으로부터 멀어지는 방향으로 이동하면, 로봇(100)은 사용자의 시선 정보와 관계 없이 관심도를 1로 획득할 수 있다. 또한, 사용자가 로봇(100)을 응시하지 않고 움직이지 않는 경우, 로봇(100)은 관심도를 1로 획득할 수 있다. 또한, 사용자가 로봇(100)을 응시하되 움직이지 않는 경우, 로봇(100)은 관심도를 2로 획득할 수 있다. 또한, 사용자가 로봇(100)을 응시하고 로봇(100)을 향해 다가오는 경우, 로봇(100)은 관심도를 3으로 획득할 수 있다.
한편, 로봇(100)은 사용자가 로봇(100)을 응시하고 있는 시간을 반영하여 사용자의 관심도를 산출할 수 있다. 예로, 로봇(100)은 사용자가 로봇(100)을 응시하고 있는 시간이 기설정된 시간보다 크면 제1 값을 사용자의 관심도로 획득하고, 기설정된 시간보다 작으면 제1 값보다 작은 제2 값으로 획득할 수 있다.
한편, 도 4에서는 사용자의 시선 정보 및 움직임 정보를 바탕으로 관심도를 획득하는 예를 설명하였으나 이에 한정되는 것은 아니며, 로봇(100)은 사용자에 대한 다양한 정보를 바탕으로 관심도를 획득할 수 있다. 예를 들어, 로봇(100)은 사용자와 로봇(100) 사이의 거리를 바탕으로 관심도를 획득할 수 있다. 구체적으로, 사용자와 로봇(100) 사이의 거리가 제1 거리(예로, 2.5m)보다 크면, 로봇(100)은 사용자의 관심도를 1로 획득할 수 있다. 반면에, 사용자와 로봇(100) 사이의 거리가 제1 거리보다 작고 제2 거리(예로, 1.3m)보다 크면, 로봇(100)은 도 4와 같이 관심도를 획득할 수 있다.
또한, 사용자와 로봇(100) 사이의 거리가 기설정된 시간(예로, 1초) 이상 동안 제3 거리(예로, 1.3m)이내이면, 로봇(100)은 관심도를 4로 획득할 수 있다. 반면에, 사용자와 로봇(100) 사이의 거리가 기설정된 시간(예로, 1초) 이하 동안 제3 거리(예로, 1.3m)이내이면, 로봇(100)은 관심도를 3로 획득할 수 있다. 뿐만 아니라, 로봇(100)은 뎁스 센서(120)의 센싱값을 바탕으로 획득된 사용자의 위치를 바탕으로 관심도를 획득할 수 있다. 예로, 사용자가 로봇(100)이 바라보는 방향과 반대 방향에 위치하면, 로봇(100)은 관심도를 1로 획득할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 관심도 획득 방법을 설명하기 위한 도면이다. 도 5를 참조하면, 로봇(100) 주변에는 로봇(100)을 응시하는 제1 사용자(51), 제2 사용자(52), 제3 사용자(53) 및 제4 사용자(54)가 존재할 수 있다. 또한, 로봇(100)으로부터 각 사용자까지의 거리(d1, d2, d3, d4) 중, 로봇(100)으로부터 제4 사용자(54)까지의 제4 거리(d4)가 가장 작을 수 있다.
이러한 상황에서, 종래의 로봇은 제4 사용자(54)가 가장 로봇에 근접해 있으므로, 제4 사용자(54)를 인터랙션 대상자로 식별하였다. 이에 따라, 제1 사용자(51), 제2 사용자(52) 및 제3 사용자(53)가 밀집해있어 동시에 로봇으로부터 서비스를 제공받을 수 있음에도 불구하고 제4 사용자(54)가 인터랙션 대상자로 식별되어 서비스의 효용성이 떨어지는 문제가 있었다.
반면에, 본 개시에 따른 로봇(100)은 사용자 밀집도에 대한 정보를 바탕으로 사용자의 관심도를 획득할 수 있다. 예를 들어, 로봇(100)은 이미지 및 뎁스 센서(120)의 센싱값을 바탕으로 제1 사용자(51) 및 제2 사용자(52)가 제3 사용자(53)와 인접함을 식별하고, 제3 사용자(53)의 관심도를 산출할 때 밀집도를 반영한 가중치를 반영할 수 있다. 이에 따라, 제3 사용자(53)가 제4 사용자(54)보다 로봇(100)으로부터 멀리 떨어져 있더라도, 로봇(100)은 제3 사용자(53)를 인터랙션 대상으로 식별할 수 있다. 로봇(100)이 제3 사용자(53)에게 서비스를 제공하면, 경우에 따라 제1 사용자(51) 및 제2 사용자(52)도 함께 서비스를 제공 받게 되므로, 서비스의 효용성이 증가할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 사용자의 몰입도를 나타내는 표이다. 도 6의 표(61)에 포함된 숫자들은 인터랙션에 대한 사용자의 몰입도를 나타내며, 숫자가 클수록 몰입도가 높다. 전술한 바와 같이, 로봇(100)은 사용자와 인터랙션을 수행하는 동안, 사용자의 몰입도를 획득할 수 있다. 이 때, 로봇(100)은 사용자에 대한 다양한 정보를 이용하여 사용자의 몰입도를 획득할 수 있다. 예를 들어, 로봇(100)은 로봇(100)으로부터 사용자까지의 거리(이하, 사용자의 거리)와 사용자의 시선 정보를 바탕으로 몰입도를 획득할 수 있다.
구체적으로, 사용자의 거리가 제1 거리(예로, 1.3m)이하이면, 로봇(100)은 몰입도를 5로 획득할 수 있다. 또한, 사용자의 거리가 제1 거리(예로, 1.3m)보다 크고 제2 거리(예로, 2.5m) 이하이고 사용자가 로봇(100)을 응시하면, 로봇(100)은 몰입도를 4로 획득할 수 있다. 또한, 사용자의 거리가 제1 거리(예로, 1.3m)보다 크고 제2 거리(예로, 2.5m) 이하이고 사용자가 로봇(100)을 응시하지 않으면, 로봇(100)은 몰입도를 3으로 획득할 수 있다. 또한, 사용자의 거리가 제2 거리(예로, 2.5m)보다 크고 제3 거리(예로, 3.5m) 이하이면, 로봇(100)은 몰입도를 2로 획득할 수 있다. 또한, 사용자의 거리가 제3 거리(예로, 3.5m)보다 크면, 로봇(100)은 몰입도를 1로 획득할 수 있다. 한편, 도 6에서는 로봇(100)이 사용자의 거리와 시선 정보를 바탕으로 몰입도를 획득하는 것을 예로 들었으나, 이에 한정되는 것은 아니며, 로봇(100)은 사용자에 대한 다양한 정보를 바탕으로 몰입도를 획득할 수 있다.
한편, 로봇(100)은 사용자의 몰입도를 획득하는 동안에도, 다른 사용자들의 로봇(100)에 대한 관심도를 획득하여 저장할 수 있다. 따라서, 인터랙션 중인 사용자의 몰입도가 임계치보다 낮아지게 되면, 로봇(100)은 다른 사용자들의 로봇(100)에 대한 관심도를 바탕으로 다른 사용자들 중 적어도 하나와 인터랙션을 수행할 수 있다. 예를 들어, 도 1에서, 제1 사용자(11)의 몰입도가 임계치보다 낮으면, 로봇(100)은 제1 사용자(11)와의 인터랙션을 중단하고, 제2 사용자(12)의 관심도를 바탕으로 제2 사용자(12)와 인터랙션을 수행할 수 있다. 이 때, 로봇(100)은 퓨전 맵 형태로 저장된 제2 사용자(12)에 대한 정보를 바탕으로, 제2 사용자(12)가 제1 사용자(11)와의 인터랙션 초기 단계에서부터 로봇(100)에 관심을 가졌음을 식별할 수 있다. 따라서, 로봇(100)은 제1 사용자(11)와의 인터랙션 초기 단계에 수행한 동작(예로, 인사)을 생략하고, 제2 사용자(12)와 인터랙션을 수행할 수 있다(즉, 화장실로 안내).
또한, 로봇(100)이 사용자와 인터랙션을 수행하는 중 다른 사용자의 로봇(100)에 대한 관심도가 기설정된 값 이상이면, 로봇(100)은 다른 사용자에게 가이드 메시지를 제공할 수 있다. 예를 들어, 도 1에서, 로봇(100)은 제1 사용자(11)와 인터랙션을 수행하는 중 제2 사용자(12)에게 가이드 메시지(예로, “현재 다른 분에게 서비스 중이니 잠시만 기다려주세요”)를 제공할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 로봇의 제어 방법을 도시한 순서도이다. 로봇(100)은 로봇(100)에 포함된 카메라 및 뎁스 센서를 이용하여 로봇 주변에 존재하는 복수의 사용자 각각에 대한 관심도를 획득할 수 있다(S710). 로봇(100)은 카메라(110)를 이용하여 획득된 촬상 이미지를 분석하여 사용자의 시선 정보를 획득하고, 뎁스 센서(120)의 센싱값을 이용하여 사용자의 거리 정보 및 움직임 정보를 획득할 수 있다. 또한, 로봇(100)은 촬상 이미지 및 거리 정보를 바탕으로 사용자 밀집도에 대한 정보를 획득할 수 있다. 그리고, 로봇(100)은 사용자의 시선 정보, 거리 정보, 움직임 정보 및 밀집도에 대한 정보 중 적어도 하나를 바탕으로 사용자의 관심도를 획득할 수 있다. 이에 대한 보다 상세한 설명은 전술 하였으므로 생략하도록 한다.
로봇(100)은 획득된 관심도를 바탕으로 복수의 사용자 중 관심도가 가장 높은 제1 사용자와 인터랙션을 수행할 수 있다(S720). 제1 사용자와 인터랙션을 수행하는 동안 로봇(100)은 카메라(110)를 이용하여 복수의 사용자의 시선 정보를 획득하고, 뎁스 센서(120)를 이용하여 복수의 사용자의 거리 정보를 획득할 수 있다(S730). 로봇(100)은 복수의 사용자의 시선 정보 및 거리 정보를 맵 형태로 메모리에 저장할 수 있다. 그리고, 로봇(100)은 각 정보에 대응되는 맵을 바탕으로 퓨전 맵을 생성할 수 있다. 예로, 로봇(100)은 각 사용자에 대한 시선 정보에 대응되는 제1 맵과 거리 정보에 대응되는 제2 맵을 융합하여 퓨전 맵을 생성하여 메모리에 저장할 수 있다.
로봇(100)은 복수의 사용자 중 제1 사용자의 시선 정보 및 거리 정보를 이용하여 인터랙션에 대한 제1 사용자의 몰입도를 판단하고, 복수의 사용자 중 제1 사용자와 다른 사용자의 시선 정보 및 거리 정보를 이용하여 다른 사용자의 관심도를 판단할 수 있다(S740). 제1 사용자의 몰입도가 임계값보다 작으면, 로봇(100)은 제1 사용자와의 인터랙션을 종료하고, 다른 사용자의 관심도를 바탕으로 다른 사용자와 인터랙션을 수행할 수 있다(S750). 로봇(100)의 인터랙션 동작에 대해서는 전술하였으므로 상세한 설명은 생략하도록 한다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 특정 기기가 수행하도록 할 수 있다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 로봇에 있어서,
    카메라;
    뎁스 센서;
    메모리; 및
    프로세서;를 포함하고,
    상기 프로세서는,
    상기 카메라 및 상기 뎁스 센서를 이용하여 상기 로봇 주변에 존재하는 복수의 사용자 중 관심도가 가장 높은 제1 사용자와 인터랙션을 수행하고,
    상기 제1 사용자와 인터랙션을 수행하는 동안 상기 카메라를 이용하여 상기 복수의 사용자의 시선 정보를 획득하고, 상기 뎁스 센서를 이용하여 상기 복수의 사용자의 거리 정보를 획득하며,
    상기 복수의 사용자 중 상기 제1 사용자의 시선 정보 및 거리 정보를 이용하여 상기 인터랙션에 대한 상기 제1 사용자의 몰입도를 판단하고, 상기 복수의 사용자 중 상기 제1 사용자와 다른 사용자의 시선 정보 및 거리 정보를 이용하여 상기 다른 사용자의 관심도를 판단하고,
    상기 제1 사용자의 몰입도가 임계값보다 작으면, 상기 제1 사용자와의 인터랙션을 종료하고, 상기 다른 사용자의 관심도를 바탕으로 상기 다른 사용자와 인터랙션을 수행하는
    로봇.
  2. 제1 항에 있어서,
    상기 프로세서는,
    상기 제1 사용자와 인터랙션을 수행하는 동안, 상기 복수의 사용자 각각의 시선 정보를 포함하는 제1 맵과 상기 복수의 사용자 각각의 거리 정보를 포함하는 제2 맵을 상기 메모리에 저장하고,
    상기 제1 맵 및 상기 제2 맵을 융합하여 퓨전 맵을 생성하고, 상기 퓨전 맵을 상기 메모리에 저장하고,
    상기 퓨전 맵을 바탕으로 상기 다른 사용자와 인터랙션을 수행하는
    로봇.
  3. 제2 항에 있어서,
    상기 프로세서는
    각 시간 별 상기 퓨전 맵을 누적하여 상기 메모리에 저장하고,
    상기 제1 맵 및 상기 제2 맵을 시간에 따라 상기 메모리에서 삭제하는
    로봇.
  4. 제1 항에 있어서,
    상기 프로세서는,
    상기 카메라를 이용하여 상기 복수의 사용자를 포함하는 이미지를 획득하고,
    상기 이미지를 분석하여 상기 복수의 사용자의 시선 정보를 획득하고,
    상기 뎁스 센서를 이용하여 상기 복수의 사용자의 거리 정보를 획득하고,
    상기 복수의 사용자의 거리 정보를 바탕으로 상기 복수의 사용자의 밀집도 정보를 획득하고,
    상기 복수의 사용자의 시선 정보, 밀집도 정보 및 거리 정보를 바탕으로 상기 복수의 사용자 각각의 관심도를 산출하고,
    상기 복수의 사용자 각각의 관심도를 바탕으로 상기 복수의 사용자 중 관심도가 가장 높은 상기 제1 사용자를 식별하는
    로봇.
  5. 제3 항에 있어서,
    상기 밀집도 정보는 상기 복수의 사용자 각각에 대응되는 밀집도 가중치를 포함하고,
    상기 프로세서는,
    상기 제1 사용자와 다른 사용자간의 거리 및 상기 제1 사용자로부터 기설정된 범위 내에 포함되는 다른 사용자의 수 중 적어도 하나를 바탕으로 상기 제1 사용자에 대응되는 제1 밀집도 가중치를 산출하고,
    상기 제1 밀집도 가중치를 바탕으로 상기 제1 사용자의 관심도를 산출하는
    로봇.
  6. 제5 항에 있어서,
    상기 프로세서는,
    상기 제1 밀집도 가중치가 클수록, 상기 제1 사용자의 관심도를 높게 산출하는
    로봇.
  7. 제1 항에 있어서,
    상기 프로세서는,
    상기 복수의 사용자 각각의 관심도에 대응되는 시간 정보를 획득하여 상기 메모리에 저장하고,
    상기 시간 정보를 바탕으로, 상기 제1 사용자와의 인터랙션이 종료된 시점으로부터 기설정된 범위 내에 임계값 이상의 관심도를 갖는 다른 사용자를 인터랙션 대상으로 식별하는
    로봇.
  8. 제1 항에 있어서,
    마이크;를 더 포함하고,
    상기 프로세서는,
    상기 마이크를 이용하여 음성 신호를 획득하고,
    상기 복수의 사용자 중 상기 음성 신호에 대응되는 사용자를 식별하고,
    상기 음성 신호를 바탕으로 상기 식별된 사용자의 관심도를 산출하는
    로봇.
  9. 로봇의 제어 방법에 있어서,
    상기 로봇에 포함된 카메라 및 뎁스 센서를 이용하여 상기 로봇 주변에 존재하는 복수의 사용자 각각에 대한 관심도를 획득하는 단계;
    상기 획득된 관심도를 바탕으로 상기 복수의 사용자 중 관심도가 가장 높은 제1 사용자와 인터랙션을 수행하는 단계;
    상기 제1 사용자와 인터랙션을 수행하는 동안 상기 카메라를 이용하여 상기 복수의 사용자의 시선 정보를 획득하고, 상기 뎁스 센서를 이용하여 상기 복수의 사용자의 거리 정보를 획득하는 단계;
    상기 복수의 사용자 중 상기 제1 사용자의 시선 정보 및 거리 정보를 이용하여 상기 인터랙션에 대한 상기 제1 사용자의 몰입도를 판단하고, 상기 복수의 사용자 중 상기 제1 사용자와 다른 사용자의 시선 정보 및 거리 정보를 이용하여 상기 다른 사용자의 관심도를 판단하는 단계; 및
    상기 제1 사용자의 몰입도가 임계값보다 작으면, 상기 제1 사용자와의 인터랙션을 종료하고, 상기 다른 사용자의 관심도를 바탕으로 상기 다른 사용자와 인터랙션을 수행하는 단계;를 포함하는
    제어 방법.
  10. 제1 항에 있어서,
    상기 제1 사용자와 인터랙션을 수행하는 동안, 상기 복수의 사용자 각각의 시선 정보를 포함하는 제1 맵과 상기 복수의 사용자 각각의 거리 정보를 포함하는 제2 맵을 저장하는 단계; 및
    상기 제1 맵 및 상기 제2 맵을 융합하여 퓨전 맵을 생성하고, 상기 퓨전 맵을 저장하는 단계;를 더 포함하고,
    상기 다른 사용자와 인터랙션을 수행하는 단계는,
    상기 퓨전 맵을 바탕으로 상기 다른 사용자와 인터랙션을 수행하는
    제어 방법.
  11. 제10 항에 있어서,
    각 시간 별 상기 퓨전 맵은 누적되어 저장되고,
    상기 제1 맵 및 상기 제2 맵은 시간에 따라 상기 메모리에서 삭제되는
    로봇.
  12. 제9 항에 있어서,
    상기 복수의 사용자 각각에 대한 관심도를 획득하는 단계는,
    상기 카메라를 이용하여 상기 복수의 사용자를 포함하는 이미지를 획득하는 단계,
    상기 이미지를 분석하여 상기 복수의 사용자의 시선 정보를 획득하는 단계,
    상기 뎁스 센서를 이용하여 상기 복수의 사용자의 거리 정보를 획득하는 단계,
    상기 복수의 사용자의 거리 정보를 바탕으로 상기 복수의 사용자의 밀집도 정보를 획득하는 단계, 및
    상기 복수의 사용자의 시선 정보, 밀집도 정보 및 거리 정보를 바탕으로 상기 복수의 사용자 각각의 관심도를 산출하는 단계를 포함하는
    제어 방법.
  13. 제11 항에 있어서,
    상기 밀집도 정보는 상기 복수의 사용자 각각에 대응되는 밀집도 가중치를 포함하고,
    상기 복수의 사용자 각각의 관심도를 산출하는 단계는,
    상기 제1 사용자와 다른 사용자간의 거리 및 상기 제1 사용자로부터 기설정된 범위 내에 포함되는 다른 사용자의 수 중 적어도 하나를 바탕으로 상기 제1 사용자에 대응되는 제1 밀집도 가중치를 산출하는 단계, 및
    상기 제1 밀집도 가중치를 바탕으로 상기 제1 사용자의 관심도를 산출하는 단계를 포함하는
    제어 방법.
  14. 제13 항에 있어서,
    상기 제1 사용자의 관심도를 산출하는 단계는,
    상기 제1 밀집도 가중치가 클수록, 상기 제1 사용자의 관심도를 높게 산출하는
    제어 방법.
  15. 제12 항에 있어서,
    상기 복수의 사용자 각각에 대한 관심도를 획득하는 단계는,
    상기 복수의 사용자 각각의 관심도에 대응되는 시간 정보를 획득하여 저장하는 단계,
    상기 시간 정보를 바탕으로, 상기 제1 사용자와의 인터랙션이 종료된 시점으로부터 기설정된 범위 내에 임계값 이상의 관심도를 갖는 다른 사용자를 인터랙션 대상으로 식별하는 단계를 포함하는
    제어 방법.
PCT/KR2021/000221 2020-12-11 2021-01-08 로봇 및 그 제어 방법 WO2022124470A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/188,104 US20230219233A1 (en) 2020-12-11 2023-03-22 Robot and control method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200172983A KR20220083100A (ko) 2020-12-11 2020-12-11 로봇 및 그 제어 방법
KR10-2020-0172983 2020-12-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/188,104 Continuation US20230219233A1 (en) 2020-12-11 2023-03-22 Robot and control method therefor

Publications (1)

Publication Number Publication Date
WO2022124470A1 true WO2022124470A1 (ko) 2022-06-16

Family

ID=81973655

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/000221 WO2022124470A1 (ko) 2020-12-11 2021-01-08 로봇 및 그 제어 방법

Country Status (3)

Country Link
US (1) US20230219233A1 (ko)
KR (1) KR20220083100A (ko)
WO (1) WO2022124470A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006192563A (ja) * 2004-12-14 2006-07-27 Honda Motor Co Ltd 識別対象識別装置およびそれを備えたロボット
US20090148034A1 (en) * 2007-12-06 2009-06-11 Honda Motor Co., Ltd. Mobile robot
JP2018051669A (ja) * 2016-09-28 2018-04-05 大日本印刷株式会社 ロボットシステム及びプログラム
KR20190083727A (ko) * 2018-01-05 2019-07-15 엘지전자 주식회사 안내 로봇 및 그의 동작 방법
KR20200046186A (ko) * 2018-10-18 2020-05-07 엘지전자 주식회사 로봇 및 그의 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006192563A (ja) * 2004-12-14 2006-07-27 Honda Motor Co Ltd 識別対象識別装置およびそれを備えたロボット
US20090148034A1 (en) * 2007-12-06 2009-06-11 Honda Motor Co., Ltd. Mobile robot
JP2018051669A (ja) * 2016-09-28 2018-04-05 大日本印刷株式会社 ロボットシステム及びプログラム
KR20190083727A (ko) * 2018-01-05 2019-07-15 엘지전자 주식회사 안내 로봇 및 그의 동작 방법
KR20200046186A (ko) * 2018-10-18 2020-05-07 엘지전자 주식회사 로봇 및 그의 제어 방법

Also Published As

Publication number Publication date
US20230219233A1 (en) 2023-07-13
KR20220083100A (ko) 2022-06-20

Similar Documents

Publication Publication Date Title
WO2019148491A1 (zh) 人机交互方法、装置、机器人及计算机可读存储介质
US20210406523A1 (en) Method and device for detecting living body, electronic device and storage medium
WO2019190076A1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
WO2013129792A1 (en) Method and portable terminal for correcting gaze direction of user in image
JP6551507B2 (ja) ロボット制御装置、ロボット、ロボット制御方法およびプログラム
WO2014003365A1 (en) Method and apparatus for processing multiple inputs
WO2014069891A1 (en) Method and device for providing information regarding an object
WO2019212122A1 (ko) 웨어러블 기기를 이용한 객체의 이벤트 감지 방법 및 이를 운용하는 관리 서버
WO2019132564A1 (en) Method and system for classifying time-series data
WO2020111776A1 (en) Electronic device for focus tracking photographing and method thereof
JP2022542413A (ja) 投影方法および投影システム
JP7400866B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2011078596A2 (ko) 상황에 따라 적응적으로 이미지 매칭을 수행하기 위한 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체
WO2022124470A1 (ko) 로봇 및 그 제어 방법
CN113778255B (zh) 触摸识别方法和装置
WO2021071271A1 (en) Electronic apparatus and controlling method thereof
EP4068755A1 (en) Photographing method and electronic device
CN115966203A (zh) 一种音频采集方法及装置
CN110291768A (zh) 信息处理装置、信息处理方法和信息处理***
CN112906597A (zh) 用户身份的识别方法、装置和刷脸设备
CN112633305A (zh) 关键点标注方法及相关设备
WO2018159989A1 (ko) 전자 장치 및 전자 장치 제어 방법
WO2023027433A1 (ko) 로봇 및 그 제어 방법
US10650832B2 (en) Information processing device and information processing method
CN108986818A (zh) 视频通话挂断方法、装置、设备、服务端及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21903519

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21903519

Country of ref document: EP

Kind code of ref document: A1