WO2018157355A1 - 一种人型智能机器人及人机交流*** - Google Patents
一种人型智能机器人及人机交流*** Download PDFInfo
- Publication number
- WO2018157355A1 WO2018157355A1 PCT/CN2017/075476 CN2017075476W WO2018157355A1 WO 2018157355 A1 WO2018157355 A1 WO 2018157355A1 CN 2017075476 W CN2017075476 W CN 2017075476W WO 2018157355 A1 WO2018157355 A1 WO 2018157355A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- voice
- robot
- data
- human
- control device
- Prior art date
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
Definitions
- the present technology belongs to the field of intelligent automation, and particularly relates to an intelligent automated robot and a human-machine communication dialogue system having a human body shape.
- a robot is a machine that has a similar appearance and function to a person, or a machine that has the ability to actively perform an operation. Robots that use artificial power can work instead of people, or they can work with people. Often robots are designed to perform the work that the creator designed and do a lot of work for people.
- An automated robot that performs assembly, welding, handling, and the like in a manufacturing plant is called an industrial robot, and a robot that has a function of recognizing the environment and actively determining it is called an intelligent robot.
- the waiter robot is different from the industrial robot. It is a robot that provides various services to individuals in the home, medical institutions, and general facilities.
- the technical solution provides a human intelligent robot and a human-machine communication system, which is composed of a human intelligent robot and a human-machine communication system, and the human intelligent robot includes: a head, a torso, an arm, a leg, and a foot.
- the base is configured to: the head is provided with an imaging device, a first voice device, a transmission device, a pointing device, and a second display device; the torso is provided with a second voice device, a first display device, a transmission device; the arm is connected to the torso, and a plurality of transmission devices are provided for controlling the rotation direction of the arm; the front end of the arm is provided with a palm, and the palm is provided with a touch device; the robot is internally provided with a control device, the storage device
- the information transmitting device; the leg portion is provided with a third voice device; the leg portion is provided with a cavity, and the power body is provided with a power source; the power source is a control device, a storage device, an information transmission device, an imaging device, and a voice
- the device, the transmission device, the indicating device, the second display device, the first display device, and the transmission device are powered; the foot portion is provided with a switch control device and a machine weight device; the base is provided with
- the control device includes a main chip, the MIPI port and the SPI port are disposed in the main chip; the MIPI port is used to drive the first display screen; the SPI port is used to drive the second display screen; Displayed by two sets of displays, the left eye display and the right eye display.
- the head is provided with one or more camera devices, the camera device is a camera; the head is provided with a plurality of first voice devices, and the first voice device includes a voice input device microphone at the lower end of the nose. And a voice output device speaker of the double ear; the microphone of the first voice device is connected to the first noise reduction device and connected to the control device; the head is provided with one or more indicating devices, and the indicating device is Indicator light.
- the body is provided with a display device, one or more second voice devices and a transmission device;
- the first display device is a display screen, and the display device is provided with a selection device;
- a plurality of transmissions are used to control the connection and movement of the head, the hands and the feet; and
- the second voice device is a speaker.
- the front end of the arm is connected with a palm
- the back of the palm is provided with one or more touch devices
- the touch device is a touch sensor
- the touch device is installed inside the palm and adopts an invisible design
- the arm setting There are transmissions for controlling the connection and movement of the arms, palms, and finger joints.
- the base further includes: a leg portion is connected to the leg portion; a power supply is disposed outside the foot portion; a power supply interface is disposed at a bottom portion of the foot portion; and a power transmission interface is disposed on the base portion; On the base The power transmission interface is connected to the power supply interface of the foot, the base is connected to the external power supply, and the power supply in the leg is charged; the indicating device on the base is a power display; the leg is provided with one or more
- the third voice device is a microphone, and the microphone of the third voice device is connected to the third noise reduction device and connected to the control device.
- the present technology further includes a human-machine communication system between the user and the robot; including a data acquisition device, a control identification, and a control response; wherein the data acquisition device is one or more cameras, microphones, and sensors.
- the control device is identified as a software control portion disposed in the control device, including receiving voice, noise cancellation, scene customization recognition model, voice recognition, recognition text, received text, and text analysis;
- the control response includes a control device Controlling a servo motor inside the robot to perform limb movement and converting the response content into a voice by the control device is played by the speaker;
- the robot is internally provided with a control device and a storage device; and the control device is provided with a multi-level voice data analysis package;
- the data analysis package analyzes, processes, and parses the received data.
- the robot can determine the user's position according to the data collection device and provide service voice and limb information.
- the voice system in the robot starts and realizes the functions of voice communication and dialogue between the robot and the user; receiving the voice data of the user, after noise clearing, scene customization After identifying the model, speech recognition, etc., the user's voice data is converted into a language within the robot controller for data reception and compilation.
- the text analysis content adopts a preset method, and has been transmitted to the robot control device in advance in use, so as to utilize the quick judgment of the robot, and the data not included in the data will be fixed according to the setting. Reply to the body and language mode.
- the limb is restored as follows: After the text is parsed, the control device performs data judgment based on the parsed character, and determines whether the limb movement performance is performed in one step. If it is necessary to transmit the limb motion command, the limb performance is performed according to the speech analysis effect.
- the voice reply is: another step to determine the text analysis content to determine whether to carry out voice communication, without the need to complete the task, the end of the task can be executed with the set conclusion or action; after the text analysis, the control device according to After parsing, the text is judged by the voice text, and another step is to determine whether to perform voice back. Repeat, no need to complete the task. The end of the task can be performed with the set conclusion or action.
- the control device After the text analysis, the control device performs data determination based on the parsed text, and requires a voice response, the control device internally generates a reply text, and plays the generated text-based voice playback device to the user, and responds and saves the data.
- the voice data is stored in the storage device inside the robot and transmitted to the cloud platform, so as to facilitate the process of correcting and sorting the data in the later stage.
- the technical solution provides a humanoid intelligent robot and a human-machine communication system thereof, which has functions of motion performance, driving travel, display, image operation, voice recognition, human-machine dialogue, data storage, and data processing, and the robot is in service.
- the application within the industry will improve the service efficiency of the service industry and effectively reduce the labor cost of the enterprise.
- Data collection and aggregation will better provide managers with the raw data for the improvement of the enterprise development system.
- FIG. 1 is a schematic view of a product provided by the present invention.
- FIG. 2 is a schematic diagram of a main chip provided by the present invention.
- FIG. 3 is a schematic view 1 of the design provided by the present invention.
- Figure 4 is a schematic view of the design provided by the present invention 2.
- Figure 5 is a schematic view of the design provided by the present invention 3.
- Figure 6 is a schematic view of the design provided by the present invention 4.
- FIG. 7 is a flow chart of a design provided by the present invention.
- the utility model comprises: a head, a trunk, an arm, a leg, a foot and a base; wherein the head is provided with an image pickup device 2, a first voice device (4 and 5), a transmission device, and a pointing device 1, a display device 3; a second voice device, a first display device 7, and a transmission device; the arm is connected to the torso, and a plurality of transmission devices are provided for controlling the rotation direction of the arm; a palm is provided, and a touch device 9 is disposed on the palm; the robot is internally provided with a control device, a storage device, and an information transmission device; the leg portion is provided with a third voice device 8; and the leg portion 10 is provided with a cavity.
- a power source is disposed in the cavity; the power source supplies power to the control device, the storage device, the information transmission device, the camera device 2, the voice device 4, the transmission device, the pointing device 1, the second display device 3, the first display device 7, and the transmission device.
- the control device performs data sharing and transmission with the cloud platform through the information transfer device, and one cloud platform can be connected to one or more control devices
- the control device performs data sharing and transmission with the terminal product through the information transmission device, that is, the cloud platform can collect the collected data in the robot according to the management needs and collect the data in the robot, and the real data is transmitted to other robots having the control device.
- the role of communication to improve the intelligent effect of the robot.
- the control device performs data sharing and transmission with the terminal product through the information transmission device, and one control device can be connected to one or more terminals, that is, one robot can transmit data to multiple terminals, Features with data sharing and management capabilities, as well as the ability to collect customer information and send it to the presence of service personnel and managers. Managers can understand the data collected by the robot through the cloud platform and ⁇ , and put the summary work into the platform software processing in large-scale use, and can accurately understand the working condition of a robot or multiple robots, and adjust it appropriately. The corresponding work arrangement.
- control device is respectively connected to the head, the body, the arm and the leg by a transmission device; the transmission device is a servo motor.
- the system controls a plurality of parts on the body of the robot through the control device; and realizes the movement of the joints of the head, the arms, the legs, and the like, thereby realizing the movement of the robot and the expression of various expressions, such as walking, raising hands, opening mouth, blinking Wait for the action.
- the storage device is configured to store data collected by the camera device and the voice device.
- the control device includes a main chip, the MIPI port and the SPI port are disposed in the main chip; the MIPI port is used to drive the first display screen 7; the SPI port is used to drive the second display screen 3; The display is displayed by two sets of displays, the left eye display and the right eye display.
- the expression of the robot's eyes is generally set, for example: blinking, smiling, Sorrow, pain and other expressions, through the changes to the eyes one by one to show everyone to improve the affinity of the robot, so the traditional way for the robot eye and other parts have two or more screens, the display image of the same display
- two or more main chips are generally used for design, and different display devices are separately controlled to meet the requirements for robot image processing. That is, one master chip can only control one display device, that is, the display screen; the SPI interface is generally used as data transmission, and the robot uses the MIPI port to drive the first display screen 7, and the SPI port can expand the SPI port to transmit after being processed by software.
- the graphic signal is displayed on the flexible display of the robot's eye to improve the facial expression of the robot.
- the head is provided with one or more camera devices 2, the camera device 2 is a camera; the camera device 2 is a camera for collecting image data; when a person is close to the camera, the camera device collects After the data is separated, the information is transmitted by the control device to communicate with the person through the voice device; when the walking encounter encounters an obstacle in front, the data is transmitted to the control device, and the control device sends a message to evade the obstacle by modifying the command of the transmission device. Things.
- the head is provided with a voice device 4, the voice device is a microphone and a speaker; the microphone is used to receive external voice information, and the speaker is used to play the voice information provided by the control device; thereby realizing the robot and the person Two-way communication between.
- the voice device is a microphone and a speaker; the microphone is used to receive external voice information, and the speaker is used to play the voice information provided by the control device; thereby realizing the robot and the person Two-way communication between.
- the head is provided with a plurality of first voice devices, and the first voice device includes a voice input device microphone 5 at the lower end of the nose and a voice output device speaker 4 of the binaural portion; A transmission that controls the connection and movement of the eyes, mouth, and eyelids.
- the head is provided with a plurality of indicating devices 1, and the indicating device 1 is an indicator light.
- This function can be used in conjunction with other devices to implement reminders or match expression output; for example: blush and other features.
- the torso is provided with a first display device, a voice device and a transmission device;
- the first display device is a display screen, and the first display device is mainly used to cooperate with a person to observe image data provided by the robot;
- the robot is used as a restaurant service staff, both the food introduction and the image information can be presented simultaneously to improve the customer's understanding of the product and service.
- the first display device can be provided with a selection device for the customer to directly select the confirmation function.
- a touch screen device or a button is arranged on the display device, and the artificial selection and control can be performed according to the prompt of the display screen, so that the robot realizes a certain technical operation.
- the torso is provided with a plurality of transmissions for controlling the connection and movement of the head, the hands and the feet.
- the arm is provided with one or more touch devices 9, the touch device 9 is a touch sensor; the touch device 9 is installed outside the palm and adopts an invisible design, and the touch device 9 adopts an invisible design, the customer
- the touch robot does not know the specific location of the touch device; for example: when the robot is welcoming the customer, the customer inadvertently touches the touch device, the touch device transmits data to the control device, and the control device sends information through the information transfer device.
- the holder of the terminal is a waiter, and the waiter can provide services to the customer according to the situation on the spot and pay attention to the customer or come.
- the front end of the arm is connected with a palm
- the back of the palm is provided with one or more touch devices
- the touch device is a touch sensor
- the touch device is installed in the palm of the hand and adopts an invisible design
- the arm is provided with a transmission device. Used to control the connection and movement of the arms, palms, and finger joints.
- the leg is connected with a foot; the outer side of the foot is provided with a power switch; the bottom of the foot is provided with a power supply interface; the base 12 is provided with a power transmission interface, the base 12 The power transmission interface is connected to the power supply interface of the foot, the base 12 is connected to the external power supply, and the power supply in the leg is charged; the indicating device on the base 12 is a power display; the leg is provided with one or The plurality of third voice devices 8 and the third voice device 8 are microphones, and the microphone of the third voice device 8 is connected to the third noise reduction device and connected to the control device.
- a preferred human-machine communication system includes: a data acquisition device, a control identification, and a control response;
- the data collection device is a combination device of one or more cameras, microphones, and sensors.
- control is identified as a software control part disposed in the control device, including receiving voice, noise cancellation, scene customization recognition model, voice recognition, recognition text, receiving text, and text analysis.
- control response comprises controlling, by the control device, a servo motor inside the robot to perform limb movement and converting the response content into a voice by the control device to be played by the speaker.
- the robot is internally provided with a control device and a storage device; and the control device is provided with a multi-level speech data analysis package; the data analysis package can analyze, process and parse the received data.
- the robot can determine the orientation of the user according to the data collection device. Provide voice and physical information. For example: Welcome, what can help you and other voice and body data.
- the voice system in the robot starts and realizes the functions of voice communication and dialogue between the robot and the user, and receives the voice data of the user, and passes the noise clearing, scene customization recognition model, After the steps of voice recognition and the like, the user's voice data is converted into a language in the robot controller for data reception and compilation.
- the text analysis content adopts a preset method, and has been transmitted to the robot control device in advance in use, so as to utilize the quick judgment of the robot, and the uncollected data will be set according to the fixed limb and The language mode responds.
- the limb recovery is: After the text analysis, the control device performs data judgment based on the parsed text, and determines whether to perform the limb motion performance in one step, and if necessary, transmits the limb motion command, and performs the limb performance according to the voice analysis effect, for example, Smile, shake hands, send things, etc. If the text parsing content is not required to complete. At the same time, the voice data is stored in the storage device inside the robot and transmitted to the cloud, so as to facilitate the correction of the data in the later stage.
- the voice analysis effect for example, Smile, shake hands, send things, etc.
- the voice reply is: Another step is to judge the text analysis content to determine whether to perform voice communication, and the task can be ended without the need.
- the end of the task can be performed with the set conclusion or action. For example: Welcome to the light, please wait, welcome to the next time to set the content.
- the control device judges the voice text based on the analyzed text, and the other step determines whether or not the voice reply is performed, and the task is terminated without the need.
- the end of the task can be performed with the set conclusion or action. For example: Welcome, please, please come back later and wait for the next time.
- control device After the text is parsed, the control device performs data judgment based on the parsed text, and requires a voice response, the control device internally generates a reply text, and plays the generated text-based voice playback device to the user, and responds and saves the data.
- the voice data is stored in the internal storage device of the robot and transmitted to the cloud platform, so as to facilitate the correction, finishing, and the like of the data in the later stage.
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
一种人型智能机器人及人机交流***,人机交流***包括数据采集装置、控制识别、控制应答,所述数据采集装置为一个或多个摄像头、麦克风(5)、传感器的组合装置,所述控制识别为设置在控制装置内的软件控制部分,包括接收语音、噪音消除、场景定制识别模型、语音识别、识别文字、接收文字、文字解析,所述控制应答包括由所述控制装置控制机器人内部的伺服马达进行肢体运动及由所述控制装置将应答内容转化成语音由音箱播放出来,所述机器人内部设置有存储装置及上述控制装置,控制装置内设置有多级语音数据分析包,该数据分析包可对接收到的数据进行分析、处理、解析。
Description
发明名称:一种人型智能机器人及人机交流*** 技术领域
[0001] 本技术属于智能自动化领域, 尤其涉及具有人体外形的智能自动化的机器人及 人机交流对话***。
背景技术
[0002] 机器人是指具有与人相类似的模样和功能的机械, 或者具有主动进行某项作业 的能力的机械。 使用人工的动力的机器人可以代替人进行工作, 或者也可以和 人一同进行工作。 通常机器人被设计为进行制作者所设计的工作, 并且代替人 做人做的很多工作。 将在制造工厂中执行组装、 焊接、 装卸 (handling)等的自动 化机器人称作产业用机器人, 而将具有对环境进行认知并主动判断的功能的机 器人称作智能型机器人。
[0003] 在家庭中也有很多机器人被用作帮助家务。 例如, 机器人吸尘器已经商用化为 各种种类的产品, 产品的价格也处于降低很多的状态。 最近, 随着社会上重视 感性或交感等精神方面的经验的价值, 在机器人领域中, 除了物理上的精确性 和力量的增加外, 也导入了感性的接近方式技术。
[0004] 根据行业特征倾向而出现的是服务员机器人。 服务员机器人与产业用机器人不 同, 其是指在家庭、 医疗机构、 一般设施等内以个人为对象提供各种服务的机 器人。
技术问题
[0005] 传统的服务行业存在服务效率低, 企业人工成本高等特点。
问题的解决方案
技术解决方案
[0006] 本技术方案提供了一种人型智能机器人及人机交流***, 由人型智能机器人及 人机交流***组成, 人型智能机器人包括:头部、 躯干、 手臂、 腿部、 脚部、 底 座组成; 其特征在于: 所述头部设置有摄像装置、 第一语音装置、 传动装置、 指示装置、 第二显示装置; 所述躯干处设置有第二语音装置、 第一显示装置、
传动装置; 所述手臂与躯干连接, 且设置多个传动装置用于控制手臂的转动方 向; 所述手臂前端设置有手掌, 手掌上设置有触摸装置; 所述机器人内部设置 有控制装置, 存储装置、 信息传送装置; 所述腿部设置有第三语音装置; 所述 腿部内设置有腔体, 腔体内设置有电源; 所述电源为控制装置、 存储装置、 信 息传输装置、 摄像装置、 语音装置、 传动装置、 指示装置、 第二显示装置、 第 一显示装置、 传动装置供电; 所述脚部设置有幵关控制装置、 机器配重装置; 所述底座设置有第二电源、 指示装置、 外接输出口装置、 外接输入口装置; 所 述控制装置通过信息传送装置与云平台进行数据共享及传送, 且一个云平台可 连接一个或多个控制装置; 所述控制装置通过信息传送装置与终端产品进行数 据共享及传送, 且一个控制装置可连接 1个或多个终端, 所述控制装置通过传动 装置分别与头、 身体、 手、 脚进行数据连接; 所述存贮装置用于存贮由摄像装 置、 语音装置所采集的数据, 所述传动装置均为伺服马达。
[0007] 优选的、 所述控制装置包括一个主芯片, 主芯片内设置有 MIPI端口、 SPI端口 ; MIPI端口用于驱动第一显示屏; SPI端口用于驱动第二显示屏; 第二显示屏由 两组显示屏进行显示, 分别为左眼显示屏与右眼显示屏。
[0008] 优选的、 所述头部设置有一个或多个摄像装置, 该摄像装置为摄像头; 所述头 部设置有多个第一语音装置, 第一语音装置包括鼻子下端的语音输入装置麦克 风及双耳部的语音输出装置扬声器; 所述第一语音装置的麦克风与第一降噪装 置连接, 并与控制装置进行连接; 所述头部设置有一个或多个指示装置, 该指 示装置为指示灯。
[0009] 优选的、 所述身体设置有显示装置、 有一个或多个第二语音装置及传动装置; 所述第一显示装置为显示屏, 显示屏上设置有选择装置; 所述身体设置有多个 传动装置用于控制头、 手、 脚的连接与运动; 所述第二语音装置为扬声器。
[0010] 优选的、 所述手臂前端连接有手掌, 手掌的背面设置有一个或多个触摸装置, 该触摸装置为触摸传感器; 所述触摸装置被安装在手掌内部采用隐形设计, 所 述手臂设置有传动装置用于控制手臂、 手掌、 手指关节的连接与运动。
[0011] 优选的、 还包括底座; 其特征在于:所述腿部连接有脚部; 脚部外侧设置有电 源幵关; 脚部的底部设置有供电接口; 所述底座上设置有输电接口, 底座上的
输电接口与脚部的供电接口相连接, 底座与外部供电相连接, 且为腿部内的电 源充电; 所述底座上的指示装置为电量显示屏; 所述腿部设置有一个或多个第 三语音装置, 第三语音装置为麦克风, 所述第三语音装置的麦克风与第三降噪 装置连接并与控制装置进行连接。
[0012] 本技术还包括一种使用者与机器人的人机交流***; 包括数据采集装置、 控制 识别、 控制应答; 其特征在于: 所述数据采集装置为一个或多个摄像头、 麦克 风、 传感器的组合装置; 所述控制识别为设置在控制装置内的软件控制部分, 包括接收语音、 噪音消除、 场景定制识别模型、 语音识别、 识别文字、 接收文 字, 文字解析; 所述控制应答包括由控制装置控制机器人内部的伺服马达进行 肢体运动及由控制装置将应答内容转化成语音由音箱播放出来; 所述机器人内 部设置有控制装置、 存储装置; 其控制装置内设置有多级语音数据分析包; 该 数据分析包可对接收到的数据进行分析、 处理、 解析。
[0013] 其交流步骤为:
[0014] 第一步、 当使用者靠近并说话吋, 机器人可根据数据采集装置判断使用者的方 位并提供服务语音及肢体信息。
[0015] 第二步、 当使用者与机器人进行对话吋, 机器人内语音***启动并实现机器人 与使用者的语音交流、 对话等功能; 将使用者的语音数据接收到, 经过噪音清 除、 场景定制识别模型、 语音识别等步骤后, 将使用者的语音数据转化成机器 人控制装置内的语言进行数据接收及编译。
[0016] 第三步、 文字解析内容采用预先设定的方法, 提前在使用吋已经被传送到机器 人控制装置内, 以利用机器人的快速判断, 同吋未收录的数据, 将按设定的固 定肢体及语言模式进行回复。
[0017] 3.1、 肢体回复为: 文字解析后, 控制装置根据解析后文字, 进行数据判断, 其 一步判断是否进行肢体动作表现, 如需要将传送肢体动作命令, 根据语音解析 效果进行肢体表现。
[0018] 3.2、 语音回复为: 另一步判断该文字解析内容判断是否进行语音交流, 无需求 吋即可结束任务, 结束任务吋可采用设定的结束语或动作执行; 文字解析后, 控制装置根据解析后文字对该语音文字进行判断, 另一步判断是否进行语音回
复, 无需求吋即可结束任务。 结束任务吋可采用设定的结束语或动作执行。 文 字解析后, 控制装置根据解析后文字进行数据判断, 需要语音回复吋, 控制装 置内部生成回复文字, 并将生成的文通语音播放装置播放给使用者, 并应答及 保存数据。
[0019] 第四步、 数据回复完成后将本次语音数据存储在机器人内部的存储装置内并传 递给云平台, 以利于后期对数据进行修正、 整理等处理。
发明的有益效果
有益效果
[0020] 本技术方案提供一种人形智能机器人及其人机交流***, 具有动作表现、 驱动 行进、 显示、 影像操作、 声音识别、 人机对话、 数据存贮及数据处理等功能, 机器人在服务行业内的应用, 将提高服务行业的服务效率并有效降低企业人工 成本, 数据收集及汇总将更好的为管理者提供企业发展制度改进的原始数据。 对附图的简要说明
附图说明
[0021] 图 1是本发明提供的产品示意图;
[0022] 图 2是本发明提供的主芯片示意图;
[0023] 图 3是本发明提供设计示意图 1 ;
[0024] 图 4是本发明提供设计示意图 2;
[0025] 图 5是本发明提供设计示意图 3;
[0026] 图 6是本发明提供设计示意图 4;
[0027] 图 7是本发明提供设计流程图。
实施该发明的最佳实施例
本发明的最佳实施方式
[0028] 为了使本发明的目的、 技术方案及优点更加清楚明白, 以下结合附图及实施例
, 对本发明进行进一步详细说明。 应当理解, 此处所描述的具体实施例仅仅用 以解释本发明, 并不用于限定本发明。
[0029] 参照图 1~7所示, 本技术方案提供了本技术方案提供了一种人型智能机器人,
包括:头部、 躯干、 手臂、 腿部、 脚部、 底座组成; 其特征在于: 所述头部设置 有摄像装置 2、 第一语音装置 (4和 5) 、 传动装置、 指示装置 1、 第二显示装置 3 ; 所述躯干处设置有第二语音装置、 第一显示装置 7、 传动装置; 所述手臂与躯 干连接, 且设置多个传动装置用于控制手臂的转动方向; 所述手臂前端设置有 手掌, 手掌上设置有触摸装置 9; 所述机器人内部设置有控制装置, 存储装置、 信息传送装置; 所述腿部设置第三语音装置 8; 所述腿部 10内设置有腔体, 腔体 内设置有电源; 所述电源为控制装置、 存储装置、 信息传输装置、 摄像装置 2、 语音装置 4、 传动装置、 指示装置 1、 第二显示装置 3、 第一显示装置 7、 传动装 置供电; 所述控制装置通过信息传送装置与云平台进行数据共享及传送, 且一 个云平台可连接一个或多个控制装置; 所述控制装置通过信息传送装置与终端 产品进行数据共享及传送, 即云平台可以根据管理需要及吋收集机器人内的采 集数据, 并汇总在传递给其他具有该控制装置的机器人, 并现实大数据交流的 作用, 提高机器人的智能化效果。
[0030] 优选的、 所述控制装置通过信息传送装置与终端产品进行进行数据共享及传送 , 且一个控制装置可连接 1个或多个终端, 即一个机器人可以将数据传送给多个 终端, 其功能带有资料共享并管理的功能, 可以及吋收集客户信息, 并发送给 在场服务人员及管理者。 管理者可以通过云平台及吋了解机器人所收集的数据 信息, 在大规模使用吋将汇总工作交为平台软件处理, 可以及吋准确的了解一 个机器人或多个机器人的工作情况, 并适吋调整相应的工作安排。
[0031] 优选的、 所述控制装置通过传动装置分别与头部、 身体、 手臂、 腿部进行数据 连接; 所述传动装置为伺服马达。 ***通过控制装置控制机器人身体上的多个 部位; 并实现头部、 手臂、 腿部等关节部的运动, 从而实现机器人的运动及各 种表情的展现, 例如:走路、 举手、 张口、 眨眼等动作。
[0032] 优选的、 所述存贮装置用于存贮由摄像装置、 语音装置所采集的数据。
[0033] 优选的、 所述控制装置包括一个主芯片, 主芯片内设置有 MIPI端口、 SPI端口 ; MIPI端口用于驱动第一显示屏 7; SPI端口用于驱动第二显示屏 3; 第二显示屏 由两组显示屏进行显示, 分别为左眼显示屏与右眼显示屏。 为了满足机器人具 有丰富的人脸表情, 一般会对机器人眼部进行表情设置, 例如: 眨眼、 微笑、
忧伤、 痛苦等表情, 通过对眼睛的变化一一展现给大家以提高机器人亲和力, 因此传统方式对于机器人眼睛部和其他部件拥有两个或两个以上的显示屏吋, 同吋显示屏的显示图像有区别吋一般都采用两个或两个以上的主芯片进行设计 , 分别控制不同的显示装置来满足对机器人图像处理的要求。 即一个主芯片只 能控制一个显示装置即显示屏; SPI接口一般作为数据传输, 本机器人将 MIPI端 口用于驱动第一显示屏 7, SPI端口通过软件进行信息处理后可将 SPI端口扩展为 传输图形信号, 并被设置在机器人眼部的柔性显示屏显示出来提高机器人的脸 部表情。
[0034] 优选的、 所述头部设置有一个或多个摄像装置 2, 该摄像装置 2为摄像头; 其摄 像装置 2为摄像头用于采集图像数据; 当人靠近吋通过该摄像装置采集到的数据 分辨信息后, 在由控制装置发出信息通过语音装置与人进行交流; 当行走吋遇 见前方有障碍物吋, 将数据传送给控制装置, 由控制装置发出信息, 通过修改 传动装置的指令躲避障碍物。
[0035] 优选的、 所述头部设置有语音装置 4, 该语音装置为麦克风及音箱; 麦克风用 于接受外部语音信息, 音箱用于播放由控制装置提供的语音信息; 从而实现机 器人与人之间的双向交流。
[0036] 优选的、 所述头部设置有多个第一语音装置, 第一语音装置包括鼻子下端的语 音输入装置麦克风 5及双耳部的语音输出装置扬声器 4; 所述头部设置有多个传 动装置, 该传动装置用于控制眼睛、 嘴巴、 眼皮的连接与运动。
[0037] 优选的、 所述头部设置有多个指示装置 1, 该指示装置 1为指示灯。 该功能可用 于与其他装置相互配合实现提醒或配合表情输出; 例如: 脸红等特征。
[0038] 优选的、 所述躯干设置有第一显示装置、 语音装置及传动装置; 所述第一显示 装置为显示屏, 第一显示装置主要用于配合人来观察机器人所提供的图像资料 ; 例如: 当该机器人作为餐厅服务人员吋, 将提供菜品介绍并给出图像信息两 者可同步进行表述, 以提高顾客对产品及服务的理解效果。
[0039] 优选的、 该第一显示装置上可设置选择装置, 用于顾客直接选择确认功能。 在 显示装置上设置有触摸屏装置或按键, 可根据显示屏的提示进行人为的选择及 控制, 使机器人实现某种技术操作。
[0040] 优选的、 所述躯干设置有多个传动装置用于控制头、 手、 脚的连接与运动。
[0041] 优选的、 所述手臂设置有一个或多个触摸装置 9, 该触摸装置 9为触摸传感器; 所述触摸装置 9被安装在手掌外部并采用隐形设计, 触摸装置 9采用隐形设计, 顾客在触摸机器人吋并不知道触摸装置的具***置; 例如: 当机器人在迎接客 户吋, 客户无意间触碰到触摸装置吋, 触摸装置将数据传送给控制装置, 控制 装置在通过信息传送装置发信息给所设定的终端, 该终端的持有者为服务员, 服务员可根据现场情况及吋关注该顾客或前来为顾客提供服务。 优选的、 所述 手臂前端连接有手掌, 手掌的背面设置有一个或多个触摸装置, 该触摸装置为 触摸传感器; 所述触摸装置被安装在手掌内部采用隐形设计, 所述手臂设置有 传动装置用于控制手臂、 手掌、 手指关节的连接与运动。
[0042] 优选的、 其特征在于:所述腿部连接有脚部; 脚部外侧设置有电源幵关; 脚部 的底部设置有供电接口; 所述底座 12上设置有输电接口, 底座 12上的输电接口 与脚部的供电接口相连接, 底座 12与外部供电相连接, 且为腿部内的电源充电 ; 所述底座 12上的指示装置为电量显示屏; 所述腿部设置有一个或多个第三语 音装置 8, 第三语音装置 8为麦克风, 所述第三语音装置 8的麦克风与第三降噪装 置连接并与控制装置进行连接。
[0043] 还包括一种使用者与机器人交流***;
[0044] 优选的、 人机交流***: 包括数据采集装置、 控制识别、 控制应答;
[0045] 优选的、 所述数据采集装置为一个或多个摄像头、 麦克风、 传感器的组合装置
[0046] 优选的、 所述控制识别为设置在控制装置内的软件控制部分, 包括接收语音、 噪音消除、 场景定制识别模型、 语音识别、 识别文字、 接收文字, 文字解析。
[0047] 优选的、 所述控制应答包括由控制装置控制机器人内部的伺服马达进行肢体运 动及由控制装置将应答内容转化成语音由音箱播放出来。
[0048] 优选的、 机器人内部设置有控制装置、 存储装置; 其控制装置内设置有多级语 音数据分析包; 该数据分析包可对接收到的数据进行分析、 处理、 解析。
[0049] 交流***的步骤为:
[0050] 1、 当使用者靠近并说话吋, 机器人可根据数据采集装置判断使用者的方位并
提供服务语音及肢体信息.例如: 欢迎光临、 有什么可以帮到您等语音及肢体数 据。
[0051] 2、 当使用者与机器人进行对话, 机器人内语音***启动并实现机器人与使用 者的语音交流、 对话等功能, 将使用者的语音数据接收到, 经过噪音清除、 场 景定制识别模型、 语音识别等步骤后, 将使用者的语音数据转化成机器人控制 装置内的语言进行数据接收及编译。
[0052] 3、 文字解析内容采用预先设定的方法, 提前在使用吋已经被传送到机器人控 制装置内, 以利用机器人的快速判断, 同吋未收录的数据, 将按设定的固定肢 体及语言模式进行回复。
[0053] 3.1、 肢体回复为: 文字解析后控制装置根据解析后文字, 进行数据判断,其一 步判断是否进行肢体动作表现, 如需要将传送肢体动作命令,根据语音解析效果 进行肢体表现, 例如,微笑、 握手、 送东西等动作。 如不需要该项文字解析内容 完成。 同吋将本次语音数据存储在机器人内部的存储装置内并传递给云端, 以 利于后期对数据进行修正等处理。
[0054] 3.2、 语音回复为: 另一步判断该文字解析内容判断是否进行语音交流, 无需求 吋即可结束任务。 结束任务吋可采用设定的结束语或动作执行。 例如: 欢迎光 临、 请稍后、 欢迎下次再来等设定内容。 文字解析后,控制装置根据解析后文字 对该语音文字进行判断,另一步判断是否进行语音回复, 无需求吋即可结束任务 。 结束任务吋可采用设定的结束语或动作执行。 例如: 欢迎光临、 请稍后、 欢 迎下次再来等设定内容。 文字解析后,控制装置根据解析后文字进行数据判断,需 要语音回复吋, 控制装置内部生成回复文字, 并将生成的文通语音播放装置播 放给使用者, 并应答及保存数据。
[0055] 4、 数据回复完成后将本次语音数据存储在机器人内部的存储装置内并传递给 云平台, 以利于后期对数据进行修正、 整理等处理。
[0056] 以上所述仅为本发明的较佳实施例而已, 并不用以限制本发明创造, 凡在本发 明的精神和原则之内所作的任何修改、 等同替换和改进等, 均应包含在本发明 的保护范围之内。
Claims
[权利要求 1] 一种人型智能机器人及人机交流***,由人型智能机器人及人机交流 ***组成,人型智能机器人包括:头部、 躯干、 手臂、 腿部、 脚部、 底 座组成; 其特征在于:所述头部设置有摄像装置、 第一语音装置、 传 动装置、 指示装置、 第二显示装置; 所述躯干处设置有第二语音装置 、 第一显示装置、 传动装置; 所述手臂与躯干连接, 且设置多个传动 装置用于控制手臂的转动方向; 所述手臂前端设置有手掌, 手掌上设 置有触摸装置; 所述机器人内部设置有控制装置, 存储装置、 信息传 送装置; 所述腿部设置有第三语音装置; 所述腿部内设置有腔体, 腔 体内设置有电源; 所述电源为控制装置、 存储装置、 信息传输装置、 摄像装置、 语音装置、 传动装置、 指示装置、 第二显示装置、 第一显 示装置、 传动装置供电; 所述脚部设置有幵关控制装置、 机器配重装 置; 所述底座设置有第二电源、 指示装置、 外接输出口装置、 外接输 入口装置; 所述控制装置通过信息传送装置与云平台进行数据共享及 传送, 且一个云平台可连接一个或多个控制装置; 所述控制装置通过 信息传送装置与终端产品进行数据共享及传送, 且一个控制装置可连 接 1个或多个终端, 所述控制装置通过传动装置分别与头、 身体、 手
、 脚进行数据连接; 所述存贮装置用于存贮由摄像装置、 语音装置所 采集的数据, 所述传动装置均为伺服马达。
[权利要求 2] 如权利要求 1所述的一种人型智能机器人及人机交流***, 其特征在 于:所述控制装置包括一个主芯片, 主芯片内设置有 MIPI端口、 SPI端 口; MIPI端口用于驱动第一显示屏; SPI端口用于驱动第二显示屏; 第二显示屏由两组显示屏进行显示, 分别为左眼显示屏与右眼显示屏
[权利要求 3] 如权利要求 1所述的一种人型智能机器人及人机交流***, 其特征在 于:所述头部设置有一个或多个摄像装置, 该摄像装置为摄像头; 所 述头部设置有多个第一语音装置, 第一语音装置包括鼻子下端的语音 输入装置麦克风及双耳部的语音输出装置扬声器; 所述第一语音装置
的麦克风与第一降噪装置连接, 并与控制装置进行连接; 所述头部设 置有一个或多个指示装置, 该指示装置为指示灯。
[权利要求 4] 如权利要求 1所述的一种人型智能机器人及人机交流***, 其特征在 于:所述身体设置有显示装置、 有一个或多个第二语音装置及传动装 置; 所述第一显示装置为显示屏, 显示屏上设置有选择装置; 所述身 体设置有多个传动装置用于控制头、 手、 脚的连接与运动; 所述第二 语音装置为扬声器。
[权利要求 5] 如权利要求 1所述的一种人型智能机器人及人机交流***, 其特征在 于:所述手臂前端连接有手掌, 手掌的背面设置有一个或多个触摸装 置, 该触摸装置为触摸传感器; 所述触摸装置被安装在手掌内部采用 隐形设计, 所述手臂设置有传动装置用于控制手臂、 手掌、 手指关节 的连接与运动。
[权利要求 6] 如权利要求 1所述的一种人型智能机器人及人机交流***, 还包括底 座; 其特征在于:所述腿部连接有脚部; 脚部外侧设置有电源幵关; 脚部的底部设置有供电接口; 所述底座上设置有输电接口, 底座上的 输电接口与脚部的供电接口相连接, 底座与外部供电相连接, 且为腿 部内的电源充电; 所述底座上的指示装置为电量显示屏; 所述腿部设 置有一个或多个第三语音装置, 第三语音装置为麦克风, 所述第三语 音装置的麦克风与第三降噪装置连接并与控制装置进行连接。
7.如权利要求 1至 6所述的一种人型智能机器人及人机交流***, 还包 括一种使用者与机器人的人机交流***; 包括数据采集装置、 控制识 另 |J、 控制应答; 其特征在于: 所述数据采集装置为一个或多个摄像头 、 麦克风、 传感器的组合装置; 所述控制识别为设置在控制装置内的 软件控制部分, 包括接收语音、 噪音消除、 场景定制识别模型、 语音 识别、 识别文字、 接收文字, 文字解析; 所述控制应答包括由控制装 置控制机器人内部的伺服马达进行肢体运动及由控制装置将应答内容 转化成语音由音箱播放出来; 所述机器人内部设置有控制装置、 存储 装置; 其控制装置内设置有多级语音数据分析包; 该数据分析包可对
接收到的数据进行
分析、 处理、 解析。
其交流步骤为:
第一步、 当使用者靠近并说话吋, 机器人可根据数据采集装置判断使 用者的方位并提供服务语音及肢体信息。
第二步、 当使用者与机器人进行对话吋, 机器人内语音***启动并实 现机器人与使用者的语音交流、 对话等功能; 将使用者的语音数据接 收到, 经过噪音清除、 场景定制识别模型、 语音识别等步骤后, 将使 用者的语音数据转化成机器人控制装置内的语言进行数据接收及编译 第三步、 文字解析内容采用预先设定的方法, 提前在使用吋已经被传 送到机器人控制装置内, 以利用机器人的快速判断, 同吋未收录的数 据, 将按设定的固定肢体及语言模式进行回复。
3.1、 肢体回复为: 文字解析后, 控制装置根据解析后文字, 进行数 据判断, 其一步判断是否进行肢体动作表现, 如需要将传送肢体动作 命令, 根据语音解析效果进行肢体表现。
3.2、 语音回复为: 另一步判断该文字解析内容判断是否进行语音交 流, 无需求吋即可结束任务, 结束任务吋可采用设定的结束语或动作 执行; 文字解析后, 控制装置根据解析后的文字对该语音文字进行判 断, 另一步判断是否进行语音回复, 无需求吋即可结束任务。 结束任 务吋可采用设定的结束语或动作执行。 文字解析后, 控制装置根据解 析后的文字进行数据判断, 需要语音回复吋, 控制装置内部生成回复 文字, 并将生成的文通语音播放装置播放给使用者, 并应答及保存数 据。
第四步、 数据回复完成后将本次语音数据存储在机器人内部的存储装 置内并传递给云平台, 以利于后期对数据进行修正、 整理等处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2017/075476 WO2018157355A1 (zh) | 2017-03-02 | 2017-03-02 | 一种人型智能机器人及人机交流*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2017/075476 WO2018157355A1 (zh) | 2017-03-02 | 2017-03-02 | 一种人型智能机器人及人机交流*** |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018157355A1 true WO2018157355A1 (zh) | 2018-09-07 |
Family
ID=63369544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2017/075476 WO2018157355A1 (zh) | 2017-03-02 | 2017-03-02 | 一种人型智能机器人及人机交流*** |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2018157355A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110266750A (zh) * | 2019-04-30 | 2019-09-20 | 北京云迹科技有限公司 | 用于机器人语音播报的处理方法及装置 |
CN111687826A (zh) * | 2020-06-19 | 2020-09-22 | 丁嘉 | 智能机器人 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1247624A1 (en) * | 2000-03-24 | 2002-10-09 | Sony Corporation | Method for determining action of robot and robot |
CN105126355A (zh) * | 2015-08-06 | 2015-12-09 | 上海元趣信息技术有限公司 | 儿童陪伴机器人与儿童陪伴*** |
CN106737760A (zh) * | 2017-03-01 | 2017-05-31 | 深圳市爱维尔智能科技有限公司 | 一种人型智能机器人及人机交流*** |
CN206561428U (zh) * | 2017-03-01 | 2017-10-17 | 深圳市爱维尔智能科技有限公司 | 一种人型智能机器人 |
-
2017
- 2017-03-02 WO PCT/CN2017/075476 patent/WO2018157355A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1247624A1 (en) * | 2000-03-24 | 2002-10-09 | Sony Corporation | Method for determining action of robot and robot |
CN105126355A (zh) * | 2015-08-06 | 2015-12-09 | 上海元趣信息技术有限公司 | 儿童陪伴机器人与儿童陪伴*** |
CN106737760A (zh) * | 2017-03-01 | 2017-05-31 | 深圳市爱维尔智能科技有限公司 | 一种人型智能机器人及人机交流*** |
CN206561428U (zh) * | 2017-03-01 | 2017-10-17 | 深圳市爱维尔智能科技有限公司 | 一种人型智能机器人 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110266750A (zh) * | 2019-04-30 | 2019-09-20 | 北京云迹科技有限公司 | 用于机器人语音播报的处理方法及装置 |
CN111687826A (zh) * | 2020-06-19 | 2020-09-22 | 丁嘉 | 智能机器人 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106737760B (zh) | 一种人型智能机器人及人机交流*** | |
CN106826838B (zh) | 一种基于Kinect视觉深度传感器的交互仿生机械臂控制方法 | |
CN105912128B (zh) | 面向智能机器人的多模态交互数据处理方法及装置 | |
JP5429462B2 (ja) | コミュニケーションロボット | |
JP6505748B2 (ja) | 人間型ロボットとユーザーの間におけるマルチモード会話を実行する方法、前記方法を実装するコンピュータプログラム及び人間型ロボット | |
CN110405789B (zh) | 一种查房陪护机器人、机器人查房陪护***及方法 | |
KR101880775B1 (ko) | 자연스러운 대화 인터페이스가 장착된 인간형 로봇, 이러한 로봇의 제어 방법 및 대응 프로그램 | |
CN109571513B (zh) | 一种沉浸式移动抓取服务机器人*** | |
JP2004230479A (ja) | コミュニケーションロボットおよびそれを用いたコミュニケーションシステム | |
CN108453742A (zh) | 基于Kinect的机器人人机交互***及方法 | |
CN103853071B (zh) | 基于生物信号的人机面部表情交互*** | |
CN109366504A (zh) | 一种智能展会服务机器人*** | |
US20190389075A1 (en) | Robot system and robot dialogue method | |
CN102895093A (zh) | 一种基于rgb-d传感器的助行机器人跟踪***及方法 | |
WO2023124026A1 (zh) | 机器人控制方法、***、计算机设备、存储介质及计算机程序产品 | |
WO2019087495A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN105867595A (zh) | 联合语音信息与手势信息的人机交互方式以及实施装置 | |
CN206561428U (zh) | 一种人型智能机器人 | |
CN106853638A (zh) | 一种基于增强现实的人体生物信号远程控制***及方法 | |
WO2018157355A1 (zh) | 一种人型智能机器人及人机交流*** | |
JP2005131713A (ja) | コミュニケーションロボット | |
Igorevich et al. | Behavioral synchronization of human and humanoid robot | |
CN108608439A (zh) | 一种儿童情感宣泄机器人及方法 | |
CN108247601A (zh) | 基于深度学习的语义抓取机器人 | |
CN206066468U (zh) | 一种仿人机器人控制装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17898665 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17898665 Country of ref document: EP Kind code of ref document: A1 |