WO2019196312A1 - 机器人调节音量的方法、装置、计算机设备和存储介质 - Google Patents

机器人调节音量的方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
WO2019196312A1
WO2019196312A1 PCT/CN2018/102853 CN2018102853W WO2019196312A1 WO 2019196312 A1 WO2019196312 A1 WO 2019196312A1 CN 2018102853 W CN2018102853 W CN 2018102853W WO 2019196312 A1 WO2019196312 A1 WO 2019196312A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
user
robot
image
volume
Prior art date
Application number
PCT/CN2018/102853
Other languages
English (en)
French (fr)
Inventor
周宸
周宝
王健宗
肖京
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2019196312A1 publication Critical patent/WO2019196312A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present application relates to the field of robotics, and in particular, to a method and apparatus for automatically adjusting a volume by a robot, and a computer device and a storage medium storing computer readable instructions.
  • the purpose of the present application is to solve at least one of the above technical drawbacks, in particular, a technical defect of poor interaction efficiency.
  • the present application provides a method for a robot to automatically adjust a volume.
  • the robot has a camera, a speaker, and an ambient microphone for collecting ambient sound.
  • the first user with a predefined height H is corresponding to the speaker volume when the distance from the robot is D.
  • the method includes the steps of: acquiring an image by the camera and detecting an image feature of a second user in the image, calculating a height h of the second user according to the second user image feature, and comparing the a distance d of the robot, determining a height gain k h according to the relationship between the h and the H, and determining a distance gain k d by the relationship between the d and the D; obtaining an environmental noise value by collecting the ambient volume through the ambient microphone e , determining a corresponding environmental gain k e according to the v e and a preset correspondence relationship; determining a speaker volume according to the k h , the k d , the k e , and the V
  • the present application also provides a device for automatically adjusting the volume of a robot, the robot having a camera, a speaker and an environment microphone for collecting ambient sound, and a speaker volume corresponding to a first user of a predefined height H at a distance D from the robot
  • the apparatus includes: a first calculation module, configured to acquire an image by the camera and detect a second user image feature in the image, and calculate a height h of the second user according to the second user image feature a distance d from the robot, a height gain k h is determined according to the relationship between the h and the H, and a relationship between the d and the D determines a distance gain k d ;
  • a second calculation module is configured to pass the ambient microphone Collecting an ambient volume to obtain an environmental noise value v e , determining and corresponding a corresponding environmental gain k e according to the v e and a preset correspondence relationship; a volume calculation module, configured to perform , according to the k h , the k
  • the application also provides a computer device comprising a memory and a processor, the memory storing computer readable instructions, the computer readable instructions being executed by the processor, such that the processor executes a robot automatically a method for adjusting a volume, the robot having a camera, a speaker, and an ambient microphone for collecting ambient sound, the first user of the predefined height H is corresponding to a speaker volume of V when the distance from the robot is D, and the robot automatically adjusts
  • the method of volume includes the steps of: acquiring an image by the camera and detecting an image feature of a second user in the image, calculating a height h of the second user and a relative robot according to the second user image feature a distance d, a height gain k h is determined according to the relationship between the h and the H, and a relationship between the d and the D determines a distance gain k d ; and an ambient noise value v e is obtained by collecting the ambient volume through the ambient microphone; determining a gain corresponding to the environment according to corresponding
  • the present application also provides a non-volatile storage medium storing computer readable instructions that, when executed by one or more processors, cause one or more processors to perform a robot to automatically adjust the volume
  • the method has a camera, a speaker and an environment microphone for collecting ambient sound, and the first user of the predefined height H is corresponding to a speaker volume of V when the distance from the robot is D, and the robot automatically adjusts the volume.
  • the method comprises the steps of: acquiring an image by the camera and detecting an image feature of a second user in the image, calculating a height h of the second user and a distance d relative to the robot according to the second user image feature, according to The relationship between the h and the H determines a height gain k h , and the relationship between the d and the D determines a distance gain k d ; the ambient microphone generates an ambient noise value v e according to the ambient microphone, according to the v Corresponding relationship between e and preset determines a corresponding environmental gain k e ; determining speaker volume according to the k h , the k d , the k e , and the V
  • the above method, device, computer device and storage medium for automatically adjusting the volume of the robot determine the speaker volume V m by determining the distance h between the user's h and the user relative to the robot and the environmental noise value v e measured by the environmental microphone, so that the robot can Intelligently adjust the speaker volume according to the actual situation, so that the user can give the most appropriate volume level in any environment, which improves the interaction efficiency and user experience.
  • FIG. 1 is a schematic diagram showing the internal structure of a computer device in an embodiment
  • FIG. 2 is a schematic flow chart of a method for automatically adjusting a volume of a robot according to an embodiment
  • Figure 3 is a top plan view of the spatial position between the robot and the user of one embodiment
  • FIG. 4 is a schematic diagram of a device module for automatically adjusting a volume of a robot according to an embodiment.
  • FIG. 1 is a schematic diagram showing the internal structure of a computer device in an embodiment.
  • the computer device includes a processor, a non-volatile storage medium, a memory, and a network interface connected by a system bus.
  • the non-volatile storage medium of the computer device stores an operating system, a database, and computer readable instructions.
  • the database may store a sequence of control information.
  • the processor may implement a processor. A method in which the robot automatically adjusts the volume.
  • the processor of the computer device is used to provide computing and control capabilities to support the operation of the entire computer device.
  • Computer readable instructions may be stored in the memory of the computer device, the computer readable instructions being executable by the processor to cause the processor to perform a method of automatically adjusting the volume by the robot.
  • the network interface of the computer device is used to communicate with the terminal connection. It will be understood by those skilled in the art that the structure shown in FIG. 1 is only a block diagram of a part of the structure related to the solution of the present application, and does not constitute a limitation of the computer device to which the solution of the present application is applied.
  • the specific computer device may It includes more or fewer components than those shown in the figures, or some components are combined, or have different component arrangements.
  • the method of automatically adjusting the volume of the robot described below can be applied to an intelligent robot such as a customer service robot, a child education robot, and the like.
  • FIG. 2 is a schematic flow chart of a method for automatically adjusting a volume of a robot according to an embodiment.
  • the present application provides a method for automatically adjusting a volume of a robot, the robot having a camera, a speaker, and an environment microphone for collecting ambient sound (also having a microphone for collecting user sound), and the first user with a predefined height H is away from the robot
  • the distance is D
  • the corresponding speaker volume is V
  • the method includes the following steps:
  • Step S100 acquiring an image by the camera and detecting an image feature of the second user in the image, and calculating a height h of the second user and a distance d of the relative robot according to the second user image feature, according to the h and The relationship of H determines the height gain k h , and the relationship of d to D determines the distance gain k d .
  • the face detection method can be used for face detection to detect the second user in the image.
  • the robot's camera may capture multiple faces, some of whom are just background characters, and do not interact with the robot, such as a conversation, it is only necessary to consider the person who is facing the camera and the robot.
  • the camera is usually placed in the direction of the robot facing the user. For example, if the robot has a head, it can be placed at the position of the forehead or face of the head; if the robot has a torso, it can also be placed at the position of the front torso.
  • the setting position of the camera is not limited, and it is only necessary to ensure that the second user can capture the second user when talking to the robot.
  • the captured image (picture or video frame) is fixed in size, and the preset rectangular position can be defined as the face recognition area at the center of the picture, and the face detection is performed only in this face recognition area.
  • the preset rectangular position can be defined as the face recognition area at the center of the picture, and the face detection is performed only in this face recognition area.
  • a 1000 ⁇ 1000 rectangular position can be delineated at the center of the picture as a face recognition area.
  • the face detection technology which is a technique for detecting a face existing in an image by image analysis and accurately arranging the position of the face with a rectangular frame, is the basis of face feature point detection and face recognition.
  • Commonly used face detection data sets including FDDB (Face Detection Data Set and Benchmark). With the rapid development of deep learning in recent years, many excellent face detection methods have emerged.
  • the FDDB database has submitted many excellent face detection methods, such as the face detection method using Convolutional Neural Network (Convolutional Neural Network): A Convolutioanal Neural Network Cascade, improved fast rcnn for face detection. :Face Detection using Deep Learning: An Improved Faster RCNN Approach, and Finding tiny faces that are very successful for small face detection.
  • Convolutional Neural Network Convolutional Neural Network
  • dlib Convolutioanal Neural Network Cascade
  • libfacedetect An Improved Faster RCNN Approach
  • the size of the face on the image changes.
  • the best way is to use the image pyramid to scale the image to be detected to different sizes for multi-scale face detection.
  • the non-maximum value suppression NMS is obtained, and the result of the final face detection is obtained.
  • the FaceDetector type may be applied to determine whether the image captured by the camera has a face image.
  • Android has a built-in face recognition API: FaceDetector, which can perform face recognition with a small amount of code, but this recognition is the most basic recognition, that is, only the face in the image can be recognized.
  • the face recognition technology in Android requires the underlying library: android/external/neven/, architecture layer: frameworks/base/media/java/android/media/FaceDetector.java.
  • A android.media.FaceDetector.FaceDetector(int width, int height, int maxFaces);
  • B int android.media.FaceDetector.findFaces(Bitmap bitmap, Face[]faces).
  • the two-eye position of the face image can be obtained by the FaceDetector class, and the position of the face image on the desktop is determined according to the position of the two eyes.
  • the specific step may be: acquiring the center point of the two-eye position of the face image, acquiring the distance between the two eyes of the face image (pitch distance), and drawing a rectangular area (rectangular frame) according to the center point of the two-eye position and the distance between the two eyes, and the rectangular area As the location of the face image on the desktop.
  • the center point of the two-eye position of the face image can be obtained by the following code:
  • the two-eye spacing of the face image can be obtained by the following code:
  • eyesDistance mFace[i].eyesDistance();
  • myEyesDistance face.eyesDistance();//Get the center point and the two eye spacing parameters of the two eyes, and frame each face
  • the face detection method is not limited. After detecting the face, the detected height h of the second user and the distance d relative to the robot are calculated, the height gain k h is determined according to the relationship between h and H, and the relationship between d and D determines the distance gain k d .
  • the distance d of the second user relative to the robot can be calculated and determined by the sensed values of the associated ranging sensors, such as infrared ranging by infrared sensors, laser ranging using laser sensors, and the like.
  • the determination d is calculated by an image analysis method.
  • the distance between people's distances is not much different ( ⁇ 2cm).
  • the user who talks to the robot the distance between the user and the robot is limited to a relatively small range.
  • the principle is to estimate the distance by comparing the ratio of the face distance in the captured picture to the face distance in the calibration picture. The closer the user's face is to the camera, the larger the size of the face, and the relationship is approximately linear.
  • the second user image feature includes a portrait distance
  • the portrait distance in the image of the first user when the distance from the robot is D1 is A1 (actual interpupillary distance)
  • the distance between the first user and the robot is
  • the distance d between the second user and the robot is calculated by the following formula:
  • a is the second user portrait distance detected when the face detection method is applied, that is, the portrait distance in the image.
  • the gain is determined from the relationship K d and D d.
  • the distance gains k d and d have a positive relationship, such as a proportional relationship.
  • the distance gain k d d / D.
  • k d d/D+m (m is a preset coefficient), and the like, and details are not described herein.
  • the second user height h is calculated by the following formula:
  • H1 is the camera height
  • ⁇ h is the pixel difference between the center of the face rectangle and the center of the image detected when the face detection method is applied for face detection.
  • Step S200 The ambient noise value v e is obtained by collecting the ambient volume by the environment microphone, and the corresponding environment gain k e is determined according to the v e and the preset correspondence relationship.
  • the environmental noise value v e is obtained by collecting the ambient volume by the environmental microphone, and the environmental gain k e corresponding to the interval range is determined according to the range of the interval in which the v e is located.
  • a plurality of interval ranges can be preset, and each interval range has a corresponding preset environment gain. That is, the (v 1 , v 2 ) interval range corresponds to the environmental gains k 1 , (v 2 , v 3 ), the interval ranges correspond to the environmental gains k 2 , ..., (v n-1 , v n ), and the interval ranges correspond to the environmental gains k n -1 .
  • the environmental gain k e can be determined by v e and a preset calculation formula.
  • the ambient microphone includes at least a first microphone and a second microphone, the first microphone and the second microphone being located on both sides of the robot (baseline in front of the robot), such as on both sides of the robot head, or two robot torso Side, see FIG. 3; the process of collecting the ambient volume by the ambient microphone to obtain the ambient noise value v e includes:
  • the first ambient noise value v 1 is obtained by collecting the ambient volume by the first microphone
  • the second ambient noise value v 2 is obtained by the second microphone collecting the ambient volume
  • the interval range of v e can be obtained by querying the range of v e in the data table, and then the environmental gain k e corresponding to the range of the range described by v e is obtained.
  • Step S300 determining the speaker volume according to k h , k d , k e , and V
  • k h , k d , k e are all in a positive relationship (for example, a proportional relationship) with the speaker volume V m , Equivalent to the source gain, Corresponding to the total gain, any appropriate deformation of the calculation formula of the above-mentioned speaker volume V m based on the forward relationship can be considered to be reasonable, and will not be described herein.
  • the above method for automatically adjusting the volume of the robot determines the speaker volume V m by determining the distance d between the second user and the second user relative to the robot and in combination with the ambient noise value v e measured by the environmental microphone, so that the robot can intelligently adjust according to the actual situation.
  • the speaker volume which gives the user the optimum volume level regardless of the environment, improves the interaction efficiency and user experience.
  • FIG. 4 is a schematic diagram of a device module for automatically adjusting a volume of a robot according to an embodiment.
  • the present application also provides a device for automatically adjusting the volume of the robot, the robot having a camera, a speaker and an environment microphone for collecting ambient sound (also having a microphone for collecting user sound), a predefined height
  • the first user of H is at a speaker volume of V when the distance from the robot is D
  • the device includes a first calculation module 100, a second calculation module 200, and a volume calculation module 300.
  • the first calculation module 100 is configured to acquire an image by the camera and detect an image feature of a second user in the image, and calculate a height h of the second user and a distance d of the relative robot according to the second user image feature, according to The relationship between h and H determines the height gain k h , and the relationship between d and D determines the distance gain k d ;
  • the second calculation module 200 is configured to obtain the ambient noise value v e by collecting the ambient volume through the ambient microphone, according to v e and pre The corresponding relationship is determined to determine the corresponding environment gain k e ;
  • the volume calculation module 300 is configured to determine the speaker volume according to k h , k d , k e and V
  • the first calculation module 100 acquires an image by the camera and detects a second user image feature in the image, and calculates a height h of the second user and a distance d relative to the robot according to the second user image feature, according to h and H
  • the relationship determines the height gain k h
  • the relationship between d and D determines the distance gain k d .
  • the first calculation module 100 may perform face detection using a face detection method to detect a second user in the image.
  • the robot's camera may capture multiple faces, some of whom are just background characters, and do not interact with the robot, such as a conversation, it is only necessary to consider the person who is facing the camera and the robot.
  • the camera is usually placed in the direction of the robot facing the user. For example, if the robot has a head, it can be placed at the position of the forehead or face of the head; if the robot has a torso, it can also be placed at the position of the front torso.
  • the setting position of the camera is not limited, and it is only necessary to ensure that the second user can capture the second user when talking to the robot.
  • the captured image (picture or video frame) is fixed in size, and the preset rectangular position can be defined as the face recognition area at the center of the picture, and the face detection is performed only in this face recognition area.
  • the preset rectangular position can be defined as the face recognition area at the center of the picture, and the face detection is performed only in this face recognition area.
  • a rectangular position of 1000 ⁇ 1000 can be delimited at the center of the picture as a face recognition area.
  • the face detection technology which is a technique for detecting a face existing in an image by image analysis and accurately arranging the position of the face with a rectangular frame, is the basis of face feature point detection and face recognition.
  • Commonly used face detection data sets including FDDB (Face Detection Data Set and Benchmark). With the rapid development of deep learning in recent years, many excellent face detection methods have emerged.
  • the FDDB database has submitted many excellent face detection methods, such as the face detection method using Convolutional Neural Network (Convolutional Neural Network): A Convolutioanal Neural Network Cascade, improved fast rcnn for face detection. :Face Detection using Deep Learning: An Improved Faster RCNN Approach, and Finding tiny faces that are very successful for small face detection.
  • Convolutional Neural Network Convolutional Neural Network
  • dlib Convolutioanal Neural Network Cascade
  • libfacedetect An Improved Faster RCNN Approach
  • the size of the face on the image changes.
  • the best way is to use the image pyramid to scale the image to be detected to different sizes for multi-scale face detection.
  • the non-maximum value suppression NMS is obtained, and the result of the final face detection is obtained.
  • the first calculation module 100 may apply the FaceDetector type to determine whether the image captured by the camera has a face image.
  • Android has a built-in face recognition API: FaceDetector, which can perform face recognition with a small amount of code, but this recognition is the most basic recognition, that is, only the face in the image can be recognized.
  • the face recognition technology in Android requires the underlying library: android/external/neven/, architecture layer: frameworks/base/media/java/android/media/FaceDetector.java.
  • A android.media.FaceDetector.FaceDetector(int width, int height, int maxFaces);
  • B int android.media.FaceDetector.findFaces(Bitmap bitmap, Face[]faces).
  • the first calculation module 100 can acquire the two-eye position of the face image through the FaceDetector class, and determine the location of the face image on the desktop according to the two-eye position.
  • the specific step may be: acquiring the center point of the two-eye position of the face image, acquiring the distance between the two eyes of the face image (pitch distance), and drawing a rectangular area (rectangular frame) according to the center point of the two-eye position and the distance between the two eyes, and the rectangular area As the location of the face image on the desktop.
  • the center point of the two-eye position of the face image can be obtained by the following code:
  • the two-eye spacing of the face image can be obtained by the following code:
  • eyesDistance mFace[i].eyesDistance();
  • myEyesDistance face.eyesDistance();//Get the center point and the two eye spacing parameters of the two eyes, and frame each face
  • the face detection method is not limited.
  • the first calculation module 100 calculates the detected height h of the second user and the distance d of the relative robot, determines the height gain k h according to the relationship between h and H, and determines the distance gain by the relationship between d and D. k d .
  • the distance d of the second user relative to the robot can be calculated and determined by the sensed values of the associated ranging sensors, such as infrared ranging by infrared sensors, laser ranging using laser sensors, and the like.
  • the first calculation module 100 calculates the determination d by an image analysis method.
  • the distance between people's distances is not much different ( ⁇ 2cm).
  • the user who talks to the robot the distance between the user and the robot is limited to a relatively small range.
  • the principle is to estimate the distance by comparing the ratio of the face distance in the captured picture to the face distance in the calibration picture. The closer the user's face is to the camera, the larger the size of the face, and the relationship is approximately linear.
  • the second user image feature includes a portrait distance
  • the portrait distance in the image of the first user when the distance from the robot is D1 is A1 (actual interpupillary distance)
  • the distance between the first user and the robot is
  • the first calculation module 100 calculates the distance d between the second user and the robot by the following formula:
  • a is the second user portrait distance detected when the face detection method is applied, that is, the portrait distance in the image.
  • the first calculation module 100 can also use other image analysis methods to calculate the determination d.
  • other calculation formulas are used, and only the above two assumptions and principles need to be followed, and details are not described herein.
  • the distance gain k d is determined according to the relationship between d and D.
  • the distance gains k d and d have a positive relationship, such as a proportional relationship.
  • the distance gain k d d / D.
  • k d d/D+m (m is a preset coefficient), and the like, and details are not described herein.
  • the first calculation module 100 calculates the first formula by the following formula.
  • Two user height h is C (the actual lay length)
  • the portrait distance in the corresponding image is c (the portrait distance in the image)
  • the first calculation module 100 calculates the first formula by the following formula.
  • H1 is the camera height
  • ⁇ h is the pixel difference between the center of the face rectangle and the center of the image detected when the face detection method is applied for face detection.
  • the first calculation module 100 may also use other image analysis methods to calculate and determine h.
  • other calculation formulas may be used, and only the above two assumptions and principles need to be followed, and details are not described herein.
  • the second computing module 200 obtains the ambient noise value v e by collecting the ambient volume through the ambient microphone, and determines the corresponding environmental gain k e according to the v e and the preset correspondence. Specifically, the environmental noise value v e is obtained by collecting the ambient volume by the environmental microphone, and the environmental gain k e corresponding to the interval range is determined according to the range of the interval in which the v e is located.
  • a plurality of interval ranges can be preset, and each interval range has a corresponding preset environment gain. That is, the (v 1 , v 2 ) interval range corresponds to the environmental gains k 1 , (v 2 , v 3 ), the interval ranges correspond to the environmental gains k 2 , ..., (v n-1 , v n ), and the interval ranges correspond to the environmental gains k n -1 .
  • the second calculation module 200 can determine the environmental gain k e by using v e and a preset calculation formula.
  • the ambient microphone includes at least a first microphone and a second microphone, the first microphone and the second microphone being located on both sides of the robot (baseline in front of the robot), such as on both sides of the robot head, or two robot torso Side, see FIG. 3; the process of the second computing module 200 collecting the ambient volume through the ambient microphone to obtain the ambient noise value v e includes:
  • the first ambient noise value v 1 is obtained by collecting the ambient volume by the first microphone
  • the second ambient noise value v 2 is obtained by the second microphone collecting the ambient volume
  • the second calculation module 200 determines v e
  • the data table can query v e the interval range, and to give the section v e environmental gain corresponding to the range k e.
  • the volume calculation module 300 determines the speaker volume based on k h , k d , k e , and V
  • k h , k d , k e are all in a positive relationship (for example, a proportional relationship) with the speaker volume V m , Equivalent to the source gain, Corresponding to the total gain, any appropriate deformation of the calculation formula of the above-mentioned speaker volume V m based on the forward relationship can be considered to be reasonable, and will not be described herein.
  • the device for automatically adjusting the volume by the robot determines the speaker volume V m by determining the distance d between the second user and the second user relative to the robot and the ambient noise value v e measured by the ambient microphone, so that the robot can intelligently adjust according to the actual situation.
  • the speaker volume which gives the user the optimum volume level regardless of the environment, improves the interaction efficiency and user experience.
  • the application also provides a computer device comprising a memory and a processor, the memory storing computer readable instructions, the computer readable instructions being executed by the processor, causing the processor to perform any of the above The steps of the method for automatically adjusting the volume of the robot by the embodiment.
  • the present application also provides a storage medium storing computer readable instructions that, when executed by one or more processors, cause one or more processors to perform the robotic automatic described in any of the above embodiments The steps of the method of adjusting the volume.
  • the robot has a camera, a speaker and an environmental microphone for collecting ambient sound, and the volume of the speaker corresponding to the first household when the distance from the robot is D is V
  • the method includes the following steps:
  • the camera acquires an image and detects a second user image feature in the image, and calculates a height h of the second user and a distance d relative to the robot according to the second user image feature, according to the h and the H
  • the relationship determines the height gain k h
  • the relationship between the d and the D determines the distance gain k d
  • the ambient noise is obtained by the ambient microphone to obtain the ambient noise value v e , which is determined according to the v e and the preset correspondence relationship Corresponding environmental gain k e ;
  • the speaker volume V m is determined by judging the distance h between the user's h and the user relative to the robot
  • the storage medium may be a non-volatile storage medium such as a magnetic disk, an optical disk, a read-only memory (ROM), or a random access memory (RAM).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Manipulator (AREA)

Abstract

本申请提供一种机器人自动调节音量的方法和装置，机器人具有摄像机、扬声器和用于采集环境声音的环境麦克风，预定义高度为H的第一用户在离机器人距离为D时对应的扬声器音量为V，方法包括如下步骤：通过摄像机获取图像并检测图像中的第二用户图像特征，根据第二用户图像特征计算第二用户的高度h和相对机器人的距离d，根据h与H的关系确定高度增益kh，以及d与D的关系确定距离增益kd；通过环境麦克风采集环境音量得到环境噪音值ve，根据ve和预设的对应关系确定对应的环境增益ke；根据kh、kd、ke和V确定扬声器音量（I）使得机器人可以根据实际情况智能调节扬声器音量，提高了交互效率和用户体验。还提供了一种计算机设备和存储介质。

Description

机器人调节音量的方法、装置、计算机设备和存储介质
本申请要求于2018年4月10日提交中国专利局、申请号为201810314093.3，发明名称为“机器人调节音量的方法、装置、计算机设备和存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及机器人技术领域，具体而言，本申请涉及一种机器人自动调节音量的方法和装置，以及一种计算机设备和存储有计算机可读指令的存储介质。
背景技术
发明人意识到目前的服务机器人一般采用固定的音量进行语音对话和视频播放等功能，可能会由于各种因素导致环境噪音的分贝值较大，比如人流/其他音响设备的声音，从而导致用户难以听到机器人的声音，交互效率差，用户体验差。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一，特别是交互效率差的技术缺陷。
本申请提供一种机器人自动调节音量的方法，所述机器人具有摄像机、扬声器和用于采集环境声音的环境麦克风，预定义高度为H的第一用户在离机器人距离为D时对应的扬声器音量为V，所述方法包括如下步骤：通过所述摄像机获取图像并检测所述图像中的第二用户的图像特征，根据所述第二用户图像特征计算所述第二用户的高度h和相对所述机器人的距离d，根据所述h与所述H的关系确定高度增益k h，以及所述d与所述D的关系确定距离增益k d；通过所述环境麦克风采集环境音量得到环境噪音值v e，根据所述v e和预设的对应关系确定对应的环境增益k e；根据所述k h、所述k d、所述k e和所述V确定扬声器音量
Figure PCTCN2018102853-appb-000001
本申请还提供一种机器人自动调节音量的装置，所述机器人具有摄像机、扬声器和用于采集环境声音的环境麦克风，预定义高度为H的第一用户在离机器人距离为D时对应的扬声器音量为V，所述装置包括：第一计算模块，用于通过所述摄像机获取图像并检测所述图像中的第二用户图像特征，根据第二用户图像特征计算所述第二用户的高度h和相对机器人的距离d，根据所述h与所述H的关系确定高度增益k h，以及所述d与所述D的关系确定距离增益k d；第二计算模块，用于通过所述 环境麦克风采集环境音量得到环境噪音值v e，根据所述v e和预设的对应关系确定与对应的环境增益k e；音量计算模块，用于根据所述k h、所述k d、所述k e和所述V确定扬声器音量
Figure PCTCN2018102853-appb-000002
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行一种机器人自动调节音量的方法，所述机器人具有摄像机、扬声器和用于采集环境声音的环境麦克风，预定义高度为H的第一用户在离机器人距离为D时对应的扬声器音量为V，所述机器人自动调节音量的方法包括以下方法的步骤：通过所述摄像机获取图像并检测所述图像中的第二用户的图像特征，根据所述第二用户图像特征计算所述第二用户的高度h和相对机器人的距离d，根据所述h与所述H的关系确定高度增益k h，以及所述d与所述D的关系确定距离增益k d；通过所述环境麦克风采集环境音量得到环境噪音值v e，根据所述v e和预设的对应关系确定对应的环境增益k e；根据所述k h、所述k d、所述k e和所述V确定扬声器音量
Figure PCTCN2018102853-appb-000003
本申请还提供一种存储有计算机可读指令的非易失性存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行一种机器人自动调节音量的方法，所述机器人具有摄像机、扬声器和用于采集环境声音的环境麦克风，预定义高度为H的第一用户在离机器人距离为D时对应的扬声器音量为V，所述机器人自动调节音量的方法包括以下步骤：通过所述摄像机获取图像并检测所述图像中的第二用户的图像特征，根据所述第二用户图像特征计算所述第二用户的高度h和相对机器人的距离d，根据所述h与所述H的关系确定高度增益k h，以及所述d与所述D的关系确定距离增益k d；通过所述环境麦克风采集环境音量得到环境噪音值v e，根据所述v e和预设的对应关系确定对应的环境增益k e；根据所述k h、所述k d、所述k e和所述V确定扬声器音量
Figure PCTCN2018102853-appb-000004
上述的机器人自动调节音量的方法、装置、计算机设备和存储介质，通过判断用户的h和用户相对机器人的距离d并结合环境麦克风测量的环境噪音值v e来确定扬声器音量V m，使得机器人可以根据实际情况智能调节扬声器音量，从而无论在什么环境都可以给用户最适宜的音量大小，提高了交互效率和用户体验。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为一个实施例中计算机设备的内部结构示意图；
图2为一个实施例的机器人自动调节音量的方法流程示意图；
图3为一个实施例的机器人和用户之间的空间位置俯视图；
图4为一个实施例的机器人自动调节音量的装置模块示意图。
具体实施方式
图1为一个实施例中计算机设备的内部结构示意图。如图1所示，该计算机设备包括通过***总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作***、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种机器人自动调节音量的方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种机器人自动调节音量的方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
以下描述的机器人自动调节音量的方法，可以应用于智能机器人，例如客服机器人、儿童教育机器人等等。
图2为一个实施例的机器人自动调节音量的方法流程示意图。
本申请提供一种机器人自动调节音量的方法，所述机器人具有摄像机、扬声器和用于采集环境声音的环境麦克风(还具有采集用户声音的麦克风)，预定义高度为H的第一用户在离机器人距离为D时对应的扬声器音量为V，所述方法包括如下步骤：
步骤S100：通过所述摄像机获取图像并检测图像中的第二用户的图像特征，根据所述第二用户图像特征计算所述第二用户的高度h和相对机器人的距离d，根据所述h与H的关系确定高度增益k h，以及所述d与D的关系确定距离增益k d。
可以采用人脸检测方法进行人脸检测，以检测图像中的第二用户。
由于机器人的摄像机可能捕捉到多个人脸，其中有些人只是背景的人物，并没有和机器人进行交互例如对话，因此可以只需要考虑面向摄像机与机器人对话的人。摄像机通常设置在机器人的面对用户的方向，例如如果机器人具有头部，则可以设置在头部的额头或面部的位置；如果机器人具有躯干，则也可以设置在正面躯干的位置。在此不对摄像机的设置位置进行限定，只需要确保第二用户与机器人对话时 能够拍摄到第二用户即可。
对于摄像机来说，拍摄得到的图像(图片或视频帧)是固定大小的，可以在图片中心位置划定预设的矩形位置作为人脸识别区域，只在这个人脸识别区域中进行人脸检测。例如假设使用的是1920×1080尺寸的图片，可以在图片中心位置划定1000×1000的矩形位置作为人脸识别区域。
人脸检测(Face Detection)技术，即通过图像分析检测出图像中存在的人脸，并把人脸的位置准确地用矩形框框出来的技术，是人脸特征点检测、人脸识别的基础。常用的人脸检测数据集，包括FDDB(Face Detection Data Set and Benchmark)等。随着近年来随着深度学习的快速发展，涌现出来很多优秀的人脸检测方法。
例如，FDDB数据库就提交了很多出色的人脸检测方法，例如采用级联CNN网络(卷积神经网络，Convolutional Neural Network)的人脸检测方法：A Convolutioanal Neural Network Cascade，改进的faster rcnn做人脸检测：Face Detection using Deep Learning：An Improved Faster RCNN Approach，还有对小脸检测非常成功的Finding tiny faces等等。另外，像opencv、dlib、libfacedetect等数据库也提供了人脸检测的接口。
常用的人脸检测方法有以下几种：
1.单个CNN人脸检测方法
2.级联CNN人脸检测方法
3.OpenCV人脸检测方法
4.Dlib人脸检测方法
5.libfacedetect人脸检测方法
6.Seetaface人脸检测方法
以下简单介绍下单个CNN人脸检测方法。
首先训练一个判断人脸和非人脸的二分类器。例如采用卷积神经网络caffenet进行二分类，可以在imagenet数据集训练过的模型，利用自己的人脸数据集，进行微调。也可以自定义卷积网络进行训练，为了能检测到更小的人脸目标，我们一般采用小一点的卷积神经网络作为二分类模型，减小图像输入尺寸，加快预测速度。
然后将训练好的人脸判断分类网络的全连接层改为卷积层，这样网络变成了全卷积网络，可以接受任意输入图像大小，图像经过全卷积网络将得到特征图，特征图上每一个“点”对应该位置映射到原图上的感受野区域属于人脸的概率，将属于人脸概率大于设定阈值的视为人脸候选框。
图像上人脸的大小是变化的，为了适应这种变化，最好的办法就是使用图像金字塔的方式，将待检测的图像缩放到不同大小，以进行多尺度人脸检测。对多个尺度下检测出来的所有人脸候选框，做非极大值抑制NMS，得到最后人脸检测的结果。
如果本实施例中的机器人自动调节音量的方法应用于安卓***，可以应用FaceDetector类判断摄像机拍摄的图像是否存在人脸图像。安卓***内置有人脸识别API：FaceDetector，该API可以通过少量代码完成人脸识别，但是这种识别是最基本的识别，即只能识别出图像中的人脸。
安卓中的人脸识别技术，需要用到的底层库：android/external/neven/，架构层：frameworks/base/media/java/android/media/FaceDetector.java。Java层的限制：1，只能接受Bitmap格式的数据；2，只能识别双眼距离大于20像素的人脸像(可在framework层中修改)；C，只能检测出人脸的位置(双眼的中心点及距离)，不能对人脸进行匹配(查找指定的脸谱)。
Neven库提供的主要方法：
A，android.media.FaceDetector.FaceDetector(int width,int height,int maxFaces)；B，int android.media.FaceDetector.findFaces(Bitmap bitmap,Face[]faces)。
在安卓***中，可以通过FaceDetector类获取人脸图像的两眼位置，并根据两眼位置确定人脸图像在桌面的所处位置。具体步骤可以是：获取人脸图像的两眼位置中心点，获取人脸图像的两眼间距(瞳距)，根据两眼位置中心点和两眼间距绘制矩形区域(矩形框)，以矩形区域作为人脸图像在桌面的所处位置。可以通过以下代码获取人脸图像的两眼位置中心点：
mFace[i].getMidPoint(eyeMidPoint)；
可以通过以下代码获取人脸图像的两眼间距：
eyesDistance＝mFace[i].eyesDistance()；
可以通过以下代码绘制矩形区域：
myEyesDistance＝face.eyesDistance()；//得到两眼位置中心点和两眼间距参数，并对每个人脸画框
Figure PCTCN2018102853-appb-000005
Figure PCTCN2018102853-appb-000006
关于人脸检测方法在此不再赘述，在本实施例中，并不对人脸检测方法进行限定。检测出人脸后，计算所检测到的第二用户的高度h和相对机器人的距离d，根据h与H的关系确定高度增益k h，以及d与D的关系确定距离增益k d。
第二用户相对于机器人的距离d可以通过相关的测距传感器的感测值来计算确定，例如通过红外传感器进行红外测距、使用激光传感器进行激光测距等等。在本实施例中，以图像分析方法来计算确定d。
在计算确定d时，基于两个假设。第一，对于绝大部分人群来说，人的瞳距的差距相差不大(±2cm左右)。第二，与机器人对话的用户，用户与机器人的距离变化限定在比较小的范围。原理是，通过对比拍摄图片中的人脸瞳距与标定图片中的人脸瞳距的比值来估算距离。用户人脸离摄像机越近，人脸的尺寸越大，这个关系近似成线性关系。
在本实施例中，第二用户图像特征包括人像瞳距，预定义第一用户在离机器人距离为D1时图像中的人像瞳距为A1(实际瞳距)，第一用户在离机器人距离为D2时图像中的人像瞳距为A2(实际瞳距)，则通过以下公式计算第二用户相对机器人的距离d：
d＝k(a-A1)+D1
其中
Figure PCTCN2018102853-appb-000007
a为应用人脸检测方法进行人脸检测时检测到的第二用户人像瞳距，即图像中的人像瞳距。
当然，还可以采用其他的图像分析方法来计算确定d，例如采用其他的计算公式，只需要遵循上述两个假设以及原理即可，在此不赘述。
确定了d之后，根据d与D的关系确定距离增益k d。距离增益k d与d是具有正向关系的，例如正比例关系。在本实施例中，距离增益k d＝d/D。当然在其他的实施例中，还可以是其他的计算方式，k d＝d/D+m(m为预设系数)等等，在此不赘述。
在本实施例中，预定义第一用户瞳距为C(实际瞳距)时对应图像中的人像瞳距为c(图像中的人像瞳距)，则通过以下公式计算第二用户高度h：
Figure PCTCN2018102853-appb-000008
其中，H1为摄像机高度，Δh为应用人脸检测方法进行人脸检测时检测到的人脸矩形框中心与图像中心的像素差值。
同样的，还可以采用其他的图像分析方法来计算确定h，例如采用其他的计算公式，只需要遵循上述两个假设以及原理即可，在此不赘述。
确定了h之后，根据h与H的关系确定高度增益k h。同样的，h与H是具有正向关系的，例如正比例关系。在本实施例中，高度增益k h＝(h-Δ)/(H-Δ)，其中Δ为扬声器高度。当然，在一些实施例中，可以忽略扬声器高度，即Δ＝0。
步骤S200：通过所述环境麦克风采集环境音量得到环境噪音值v e，根据v e和预设的对应关系确定对应的环境增益k e。
具体的，通过所述环境麦克风采集环境音量得到环境噪音值v e，根据v e所处于的区间范围确定与该区间范围对应的环境增益k e。
可以预设多个区间范围，每个区间范围都有对应的预设环境增益。即(v 1，v 2)区间范围对应环境增益k 1、(v 2，v 3)区间范围对应环境增益k 2、……、(v n-1，v n)区间范围对应环境增益k n-1。
例如，设定噪音标准为70dB。
对于安静环境下(v e<40dB)，k e＝0.8；
对于普通环境下(40dB<v e<70dB)，k e＝1；
对于嘈杂环境下(70dB<v e<90dB)，k e＝1+(v e-70)/100；
对于极其嘈杂情况下(v e>90dB)，k e＝∞；
当然，在一些实施例中，可以通过v e和预设的计算公式确定环境增益k e。
在其中一个实施例中，环境麦克风至少包括第一麦克风和第二麦克风，第一麦克风和第二麦克风位于机器人两侧(以机器人正面方向为基线)，例如机器人头部两侧，或者机器人躯干两侧，见图3；通过所述环境麦克风采集环境音量得到环境噪音值v e的过程包括：
通过第一麦克风采集环境音量得到第一环境噪音值v 1，通过第二麦克风采集环境音量得到第二环境噪音值v 2，将v 1和v 2之中的最大者确定为环境噪音值v e，即v e＝max(v 1，v 2)。
确定v e后，即可通过在数据表中查询v e所述区间范围，然后得到v e所述区间范围对应的环境增益k e。
步骤S300：根据k h、k d、k e和V确定扬声器音量
Figure PCTCN2018102853-appb-000009
k h、k d、k e都是与扬声器音量V m具有正向关系(例如正比例关系)的，
Figure PCTCN2018102853-appb-000010
相当于音源增益，
Figure PCTCN2018102853-appb-000011
相当于总增益，因此任何基于该正向关系而对上述扬声器音量V m的计算公式的适当变形，都可以认为是合理的，在此不赘述。
当然，还可以预设最大音量V max和最小音量V min，如果V m<V min，则V m＝V min；如果V m>V max，则V m＝V max。
上述机器人自动调节音量的方法，通过判断第二用户的h和第二用户相对机器人的距离d并结合环境麦克风测量的环境噪音值v e来确定扬声器音量V m，使得机器人可以根据实际情况智能调节扬声器音量，从而无论在什么环境都可以给用户最适宜的音量大小，提高了交互效率和用户体验。
图4为一个实施例的机器人自动调节音量的装置模块示意图。对应机器人自动调节音量的方法，本申请还提供一种机器人自动调节音量的装置，所述机器人具有摄像机、扬声器和用于采集环境声音的环境麦克风(还具有采集用户声音的麦克风)，预定义高度为H的第一用户在离机器人距离为D时对应的扬声器音量为V，所述装置包括第一计算模块100、第二计算模块200和音量计算模块300。
第一计算模块100用于通过所述摄像机获取图像并检测图像中的第二用户的图像特征，根据所述第二用户图像特征计算所述第二用户的高度h和相对机器人的距离d，根据h与H的关系确定高度增益k h，以及d与D的关系确定距离增益k d；第二计算模块200用于通过所述环境麦克风采集环境音量得到环境噪音值v e，根据v e和预设的对应关系确定对应的环境增益k e；音量计算模块300用于根据k h、k d、k e和V确定扬声器音量
Figure PCTCN2018102853-appb-000012
第一计算模块100通过所述摄像机获取图像并检测图像中的第二用户图像特征，根据所述第二用户图像特征计算所述第二用户的高度h和相对机器人的距离d，根据h与H的关系确定高度增益k h，以及d与D的关系确定距离增益k d。
第一计算模块100可以采用人脸检测方法进行人脸检测，以检测图像中的第二用户。
由于机器人的摄像机可能捕捉到多个人脸，其中有些人只是背景的人物，并没有和机器人进行交互例如对话，因此可以只需要考虑面向摄像机与机器人对话的人。摄像机通常设置在机器人的面对用户的方向，例如如果机器人具有头部，则可以设置在头部的额头或面部的位置；如果机器人具有躯干，则也可以设置在正面躯干的位置。在此不对摄像机的设置位置进行限定，只需要确保第二用户与机器人对话时能够拍摄到第二用户即可。
对于摄像机来说，拍摄得到的图像(图片或视频帧)是固定大小的，可以在图片中心位置划定预设的矩形位置作为人脸识别区域，只在这个人脸识别区域中进行人脸检测。例如假设使用的是1920×1080尺寸的图片，可以在图片中心位置划定 1000×1000的矩形位置作为人脸识别区域。
人脸检测(Face Detection)技术，即通过图像分析检测出图像中存在的人脸，并把人脸的位置准确地用矩形框框出来的技术，是人脸特征点检测、人脸识别的基础。常用的人脸检测数据集，包括FDDB(Face Detection Data Set and Benchmark)等。随着近年来随着深度学习的快速发展，涌现出来很多优秀的人脸检测方法。
例如，FDDB数据库就提交了很多出色的人脸检测方法，例如采用级联CNN网络(卷积神经网络，Convolutional Neural Network)的人脸检测方法：A Convolutioanal Neural Network Cascade，改进的faster rcnn做人脸检测：Face Detection using Deep Learning：An Improved Faster RCNN Approach，还有对小脸检测非常成功的Finding tiny faces等等。另外，像opencv、dlib、libfacedetect等数据库也提供了人脸检测的接口。
常用的人脸检测方法有以下几种：
1.单个CNN人脸检测方法
2.级联CNN人脸检测方法
3.OpenCV人脸检测方法
4.Dlib人脸检测方法
5.libfacedetect人脸检测方法
6.Seetaface人脸检测方法
以下简单介绍下单个CNN人脸检测方法。
首先训练一个判断人脸和非人脸的二分类器。例如采用卷积神经网络caffenet进行二分类，可以在imagenet数据集训练过的模型，利用自己的人脸数据集，进行微调。也可以自定义卷积网络进行训练，为了能检测到更小的人脸目标，我们一般采用小一点的卷积神经网络作为二分类模型，减小图像输入尺寸，加快预测速度。
然后将训练好的人脸判断分类网络的全连接层改为卷积层，这样网络变成了全卷积网络，可以接受任意输入图像大小，图像经过全卷积网络将得到特征图，特征图上每一个“点”对应该位置映射到原图上的感受野区域属于人脸的概率，将属于人脸概率大于设定阈值的视为人脸候选框。
图像上人脸的大小是变化的，为了适应这种变化，最好的办法就是使用图像金字塔的方式，将待检测的图像缩放到不同大小，以进行多尺度人脸检测。对多个尺度下检测出来的所有人脸候选框，做非极大值抑制NMS，得到最后人脸检测的结果。
如果本实施例中的机器人自动调节音量的装置应用于安卓***，第一计算模块100可以应用FaceDetector类判断摄像机拍摄的图像是否存在人脸图像。安卓***内置有人脸识别API：FaceDetector，该API可以通过少量代码完成人脸识别，但是这种识别是最基本的识别，即只能识别出图像中的人脸。
安卓中的人脸识别技术，需要用到的底层库：android/external/neven/，架构层：frameworks/base/media/java/android/media/FaceDetector.java。Java层的限制：1，只能接受Bitmap格式的数据；2，只能识别双眼距离大于20像素的人脸像(可在framework层中修改)；C，只能检测出人脸的位置(双眼的中心点及距离)，不能对人脸进行匹配(查找指定的脸谱)。
Neven库提供的主要方法：
A，android.media.FaceDetector.FaceDetector(int width,int height,int maxFaces)；B，int android.media.FaceDetector.findFaces(Bitmap bitmap,Face[]faces)。
在安卓***中，第一计算模块100可以通过FaceDetector类获取人脸图像的两眼位置，并根据两眼位置确定人脸图像在桌面的所处位置。具体步骤可以是：获取人脸图像的两眼位置中心点，获取人脸图像的两眼间距(瞳距)，根据两眼位置中心点和两眼间距绘制矩形区域(矩形框)，以矩形区域作为人脸图像在桌面的所处位置。可以通过以下代码获取人脸图像的两眼位置中心点：
mFace[i].getMidPoint(eyeMidPoint)；
可以通过以下代码获取人脸图像的两眼间距：
eyesDistance＝mFace[i].eyesDistance()；
可以通过以下代码绘制矩形区域：
myEyesDistance＝face.eyesDistance()；//得到两眼位置中心点和两眼间距参数，并对每个人脸画框
Figure PCTCN2018102853-appb-000013
关于人脸检测方法在此不再赘述，在本实施例中，并不对人脸检测方法进行限定。第一计算模块100检测出人脸后，计算所检测到的第二用户的高度h和相对机 器人的距离d，根据h与H的关系确定高度增益k h，以及d与D的关系确定距离增益k d。
第二用户相对于机器人的距离d可以通过相关的测距传感器的感测值来计算确定，例如通过红外传感器进行红外测距、使用激光传感器进行激光测距等等。在本实施例中，第一计算模块100以图像分析方法来计算确定d。
在计算确定d时，基于两个假设。第一，对于绝大部分人群来说，人的瞳距的差距相差不大(±2cm左右)。第二，与机器人对话的用户，用户与机器人的距离变化限定在比较小的范围。原理是，通过对比拍摄图片中的人脸瞳距与标定图片中的人脸瞳距的比值来估算距离。用户人脸离摄像机越近，人脸的尺寸越大，这个关系近似成线性关系。
在本实施例中，第二用户图像特征包括人像瞳距，预定义第一用户在离机器人距离为D1时图像中的人像瞳距为A1(实际瞳距)，第一用户在离机器人距离为D2时图像中的人像瞳距为A2(实际瞳距)，则第一计算模块100通过以下公式计算第二用户相对机器人的距离d：
d＝k(a-A1)+D1
其中
Figure PCTCN2018102853-appb-000014
a为应用人脸检测方法进行人脸检测时检测到的第二用户人像瞳距，即图像中的人像瞳距。
当然，第一计算模块100还可以采用其他的图像分析方法来计算确定d，例如采用其他的计算公式，只需要遵循上述两个假设以及原理即可，在此不赘述。
第一计算模块100确定了d之后，根据d与D的关系确定距离增益k d。距离增益k d与d是具有正向关系的，例如正比例关系。在本实施例中，距离增益k d＝d/D。当然在其他的实施例中，还可以是其他的计算方式，k d＝d/D+m(m为预设系数)等等，在此不赘述。
在本实施例中，预定义第一用户瞳距为C(实际瞳距)时对应图像中的人像瞳距为c(图像中的人像瞳距)，则第一计算模块100通过以下公式计算第二用户高度h：
Figure PCTCN2018102853-appb-000015
其中，H1为摄像机高度，Δh为应用人脸检测方法进行人脸检测时检测到的人脸矩形框中心与图像中心的像素差值。
同样的，第一计算模块100还可以采用其他的图像分析方法来计算确定h，例如采用其他的计算公式，只需要遵循上述两个假设以及原理即可，在此不赘述。
第一计算模块100确定了h之后，根据h与H的关系确定高度增益k h。同样的，h与H是具有正向关系的，例如正比例关系。在本实施例中，高度增益k h＝(h-Δ)/(H-Δ)，其中Δ为扬声器高度。当然，在一些实施例中，可以忽略扬声器高度，即Δ＝0。
第二计算模块200通过所述环境麦克风采集环境音量得到环境噪音值v e，根据v e和预设的对应关系确定对应的环境增益k e。具体的，通过所述环境麦克风采集环境音量得到环境噪音值v e，根据v e所处于的区间范围确定与该区间范围对应的环境增益k e。
可以预设多个区间范围，每个区间范围都有对应的预设环境增益。即(v 1，v 2)区间范围对应环境增益k 1、(v 2，v 3)区间范围对应环境增益k 2、……、(v n-1，v n)区间范围对应环境增益k n-1。
例如，设定噪音标准为70dB。
对于安静环境下(v e<40dB)，k e＝0.8；
对于普通环境下(40dB<v e<70dB)，k e＝1；
对于嘈杂环境下(70dB<v e<90dB)，k e＝1+(v e-70)/100；
对于极其嘈杂情况下(v e>90dB)，k e＝∞；
当然，在一些实施例中，第二计算模块200可以通过v e和预设的计算公式确定环境增益k e。
在其中一个实施例中，环境麦克风至少包括第一麦克风和第二麦克风，第一麦克风和第二麦克风位于机器人两侧(以机器人正面方向为基线)，例如机器人头部两侧，或者机器人躯干两侧，见图3；第二计算模块200通过所述环境麦克风采集环境音量得到环境噪音值v e的过程包括：
通过第一麦克风采集环境音量得到第一环境噪音值v 1，通过第二麦克风采集环境音量得到第二环境噪音值v 2，将v 1和v 2之中的最大者确定为环境噪音值v e，即v e＝max(v 1，v 2)。
第二计算模块200确定v e后，即可通过在数据表中查询v e所述区间范围，然后得到v e所述区间范围对应的环境增益k e。
音量计算模块300根据k h、k d、k e和V确定扬声器音量
Figure PCTCN2018102853-appb-000016
k h、k d、k e都是与扬声器音量V m具有正向关系(例如正比例关系)的，
Figure PCTCN2018102853-appb-000017
相当于音源增益，
Figure PCTCN2018102853-appb-000018
相当于总增益，因此任何基于该正向关系而对上述扬声器音量V m的计算公式的适当变形，都可以认为是合理的，在此不赘述。
当然，还可以预设最大音量V max和最小音量V min，如果V m<V min，则V m＝V min；如果V m>V max，则V m＝V max。
上述机器人自动调节音量的装置，通过判断第二用户的h和第二用户相对机器人的距离d并结合环境麦克风测量的环境噪音值v e来确定扬声器音量V m，使得机器人可以根据实际情况智能调节扬声器音量，从而无论在什么环境都可以给用户最适宜的音量大小，提高了交互效率和用户体验。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述任一项实施例所述机器人自动调节音量的方法的步骤。
本申请还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一项实施例所述机器人自动调节音量的方法的步骤。
所述机器人具有摄像机、扬声器和用于采集环境声音的环境麦克风，预定义高度为H的用第一户在离机器人距离为D时对应的扬声器音量为V，所述方法包括如下步骤：通过所述摄像机获取图像并检测所述图像中的第二用户图像特征，根据所述第二用户图像特征计算所述第二用户的高度h和相对机器人的距离d，根据所述h与所述H的关系确定高度增益k h，以及所述d与所述D的关系确定距离增益k d；通过所述环境麦克风采集环境音量得到环境噪音值v e，根据所述v e和预设的对应关系确定对应的环境增益k e；根据所述k h、所述k d、所述k e和所述V确定扬声器音量
Figure PCTCN2018102853-appb-000019
Figure PCTCN2018102853-appb-000020
通过判断用户的h和用户相对机器人的距离d并结合环境麦克风测量的环境噪音值v e来确定扬声器音量V m，使得机器人可以根据实际情况智能调节扬声器音量，从而无论在什么环境都可以给用户最适宜的音量大小，提高了交互效率和用户体验。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

Claims (20)

  1. 一种机器人自动调节音量的方法，所述机器人具有摄像机、扬声器和用于采集环境声音的环境麦克风，预定义高度为H的第一用户在离机器人距离为D时对应的扬声器音量为V，所述方法包括如下步骤：
    通过所述摄像机获取图像并检测所述图像中的第二用户的图像特征，根据所述第二用户图像特征计算所述第二用户的高度h和相对所述机器人的距离d，根据所述h与所述H的关系确定高度增益k h，以及所述d与所述D的关系确定距离增益k d；
    通过所述环境麦克风采集环境音量得到环境噪音值v e，根据所述v e和预设的对应关系确定对应的环境增益k e；
    根据所述k h、所述k d、所述k e和所述V确定扬声器音量
    Figure PCTCN2018102853-appb-100001
  2. 根据权利要求1所述的机器人自动调节音量的方法，所述第二用户图像特征包括人像瞳距，预定义所述第一用户在离所述机器人距离为D1时所述图像中的人像瞳距为A1，所述第一用户在离所述机器人距离为D2时所述图像中的人像瞳距为A2，则通过以下公式计算所述第二用户相对所述机器人的距离d：d＝k(a-A1)+D1，
    其中
    Figure PCTCN2018102853-appb-100002
    a为所述图像中第二用户的人像瞳距。
  3. 根据权利要求1所述的机器人自动调节音量的方法，所述第二用户图像特征包括人像瞳距，预定义所述第一用户的真实瞳距为C时对应所述图像中的人像瞳距为c，则通过以下公式计算第二用户高度h：
    Figure PCTCN2018102853-appb-100003
    其中，H1为摄像机高度，Δh为检测到的人脸矩形框中心与图像中心的像素差值。
  4. 根据权利要求1所述的机器人自动调节音量的方法，所述环境麦克风至少包括第一麦克风和第二麦克风，第一麦克风和第二麦克风位于机器人两侧；所述通过所述环境麦克风采集环境音量得到环境噪音值v e包括：
    通过第一麦克风采集环境音量得到第一环境噪音值v 1，通过第二麦克风采集环境音量得到第二环境噪音值v 2，将所述v 1和所述v 2之中的最大者确定为环境噪音值v e。
  5. 根据权利要求1所述的机器人自动调节音量的方法，高度增益k h＝(h-Δ)/(H-Δ)，其中Δ为扬声器高度。
  6. 根据权利要求1所述的机器人自动调节音量的方法，距离增益k d＝d/D。
  7. 一种机器人自动调节音量的装置，所述机器人具有摄像机、扬声器和用于采集环境声音的环境麦克风，预定义高度为H的第一用户在离机器人距离为D时对应的扬声器音量为V，所述装置包括：
    第一计算模块，用于通过所述摄像机获取图像并检测所述图像中的第二用户图像特征，根据第二用户图像特征计算所述第二用户的高度h和相对机器人的距离d，根据所述h与所述H的关系确定高度增益k h，以及所述d与所述D的关系确定距离增益k d；
    第二计算模块，用于通过所述环境麦克风采集环境音量得到环境噪音值v e，根据所述v e和预设的对应关系确定与对应的环境增益k e；
    音量计算模块，用于根据所述k h、所述k d、所述k e和所述V确定扬声器音量
    Figure PCTCN2018102853-appb-100004
    Figure PCTCN2018102853-appb-100005
  8. 根据权利要求7所述的机器人自动调节音量的装置，所述第二用户图像特征包括人像瞳距，预定义所述第一用户在离所述机器人距离为D1时所述图像中的人像瞳距为A1，所述第一用户在离所述机器人距离为D2时所述图像中的人像瞳距为A2，则第一计算模块通过以下公式计算所述第二用户相对所述机器人的距离d：
    d＝k(a-A1)+D1，
    其中
    Figure PCTCN2018102853-appb-100006
    a为所述图像中第二用户的人像瞳距。
  9. 一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行一种机器人自动调节音量的方法，所述机器人具有摄像机、扬声器和用于采集环境声音的环境麦克风，预定义高度为H的第一用户在离机器人距离为D时对应的扬声器音量为V，所述机器人自动调节音量的方法包括以下步骤：
    通过所述摄像机获取图像并检测所述图像中的第二用户的图像特征，根据所述第二用户图像特征计算所述第二用户的高度h和相对机器人的距离d，根据所述h与所述H的关系确定高度增益k h，以及所述d与所述D的关系确定距离增益k d；
    通过所述环境麦克风采集环境音量得到环境噪音值v e，根据所述v e和预设的对应关系确定对应的环境增益k e；
    根据所述k h、所述k d、所述k e和所述V确定扬声器音量
    Figure PCTCN2018102853-appb-100007
  10. 根据权利要求9所述的计算机设备，所述第二用户图像特征包括人像瞳距，预定义所述第一用户在离所述机器人距离为D1时所述图像中的人像瞳距为A1，所述第一用户在离所述机器人距离为D2时所述图像中的人像瞳距为A2，则通过以下 公式计算所述第二用户相对所述机器人的距离d：
    d＝k(a-A1)+D1，
    其中
    Figure PCTCN2018102853-appb-100008
    a为所述图像中第二用户的人像瞳距。
  11. 根据权利要求9所述的计算机设备，所述第二用户图像特征包括人像瞳距，预定义所述第一用户的真实瞳距为C时对应所述图像中的人像瞳距为c，则通过以下公式计算第二用户高度h：
    Figure PCTCN2018102853-appb-100009
    其中，H1为摄像机高度，Δh为检测到的人脸矩形框中心与图像中心的像素差值。
  12. 根据权利要求9所述的计算机设备，所述环境麦克风至少包括第一麦克风和第二麦克风，第一麦克风和第二麦克风位于机器人两侧；所述通过所述环境麦克风采集环境音量得到环境噪音值v e包括：
    通过第一麦克风采集环境音量得到第一环境噪音值v 1，通过第二麦克风采集环境音量得到第二环境噪音值v 2，将所述v 1和所述v 2之中的最大者确定为环境噪音值v e。
  13. 根据权利要求9所述的计算机设备，高度增益k h＝(h-Δ)/(H-Δ)，其中Δ为扬声器高度。
  14. 根据权利要求9所述的计算机设备，距离增益k d＝d/D。
  15. 一种非易失性存储介质，所述存储介质内存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行一种机器人自动调节音量的方法，所述机器人具有摄像机、扬声器和用于采集环境声音的环境麦克风，预定义高度为H的第一用户在离机器人距离为D时对应的扬声器音量为V，所述机器人自动调节音量的方法包括以下步骤：
    通过所述摄像机获取图像并检测所述图像中的第二用户的图像特征，根据所述第二用户图像特征计算所述第二用户的高度h和相对机器人的距离d，根据所述h与所述H的关系确定高度增益k h，以及所述d与所述D的关系确定距离增益k d；
    通过所述环境麦克风采集环境音量得到环境噪音值v e，根据所述v e和预设的对应关系确定对应的环境增益k e；
    根据所述k h、所述k d、所述k e和所述V确定扬声器音量
    Figure PCTCN2018102853-appb-100010
  16. 根据权利要求15所述的非易失性存储介质，所述第二用户图像特征包括人像瞳距，预定义所述第一用户在离所述机器人距离为D1时所述图像中的人像瞳距 为A1，所述第一用户在离所述机器人距离为D2时所述图像中的人像瞳距为A2，则通过以下公式计算所述第二用户相对所述机器人的距离d：
    d＝k(a-A1)+D1，
    其中
    Figure PCTCN2018102853-appb-100011
    a为所述图像中第二用户的人像瞳距。
  17. 根据权利要求15所述的非易失性存储介质，所述第二用户图像特征包括人像瞳距，预定义所述第一用户的真实瞳距为C时对应所述图像中的人像瞳距为c，则通过以下公式计算第二用户高度h：
    Figure PCTCN2018102853-appb-100012
    其中，H1为摄像机高度，Δh为检测到的人脸矩形框中心与图像中心的像素差值。
  18. 根据权利要求15所述的非易失性存储介质，所述环境麦克风至少包括第一麦克风和第二麦克风，第一麦克风和第二麦克风位于机器人两侧；所述通过所述环境麦克风采集环境音量得到环境噪音值v e包括：
    通过第一麦克风采集环境音量得到第一环境噪音值v 1，通过第二麦克风采集环境音量得到第二环境噪音值v 2，将所述v 1和所述v 2之中的最大者确定为环境噪音值v e。
  19. 根据权利要求15所述的非易失性存储介质，高度增益k h＝(h-Δ)/(H-Δ)，其中Δ为扬声器高度。
  20. 根据权利要求15所述的非易失性存储介质，距离增益k d＝d/D。
PCT/CN2018/102853 2018-04-10 2018-08-29 机器人调节音量的方法、装置、计算机设备和存储介质 WO2019196312A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810314093.3A CN108628572B (zh) 2018-04-10 2018-04-10 机器人调节音量的方法、装置、计算机设备和存储介质
CN201810314093.3 2018-04-10

Publications (1)

Publication Number Publication Date
WO2019196312A1 true WO2019196312A1 (zh) 2019-10-17

Family

ID=63704910

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/102853 WO2019196312A1 (zh) 2018-04-10 2018-08-29 机器人调节音量的方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN108628572B (zh)
WO (1) WO2019196312A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111294706A (zh) * 2020-01-16 2020-06-16 珠海格力电器股份有限公司 一种语音电器控制方法、装置、存储介质及语音电器
CN111930336A (zh) * 2020-07-29 2020-11-13 歌尔科技有限公司 音频设备的音量调节方法、设备及存储介质
CN112330646A (zh) * 2020-11-12 2021-02-05 南京优视智能科技有限公司 一种基于二维图像的动车车底异常检测方法
CN112839137A (zh) * 2020-12-30 2021-05-25 平安普惠企业管理有限公司 基于背景环境的呼叫处理方法、装置、设备及存储介质
CN114070935A (zh) * 2022-01-12 2022-02-18 百融至信(北京)征信有限公司 一种智能外呼打断方法及***

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113518180B (zh) * 2021-05-25 2022-08-05 宁夏宁电电力设计有限公司 一种用于电力作业车的车载摄像头安装方法
CN113157246B (zh) * 2021-06-25 2021-11-02 深圳小米通讯技术有限公司 音量调节方法、装置、电子设备及存储介质
CN113907652B (zh) * 2021-10-21 2023-03-10 珠海一微半导体股份有限公司 一种清洁机器人控制方法、芯片和清洁机器人
CN114125138B (zh) * 2021-10-29 2022-11-01 歌尔科技有限公司 音量调整优化方法、装置、电子设备及可读存储介质
CN114845210A (zh) * 2022-04-24 2022-08-02 北京百度网讯科技有限公司 一种调节机器人音量的方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867739A (zh) * 2010-04-30 2010-10-20 中山大学 一种智能电视机及电视机智能控制方法
CN102981422A (zh) * 2012-11-23 2013-03-20 广州华多网络科技有限公司 一种音量调节方法及***
CN103793719A (zh) * 2014-01-26 2014-05-14 深圳大学 一种基于人眼定位的单目测距方法和***
CN205754809U (zh) * 2016-05-11 2016-11-30 深圳市德宝威科技有限公司 一种机器人自适应音量调节***
CN106377264A (zh) * 2016-10-20 2017-02-08 广州视源电子科技股份有限公司 一种人体身高测量方法、装置及智能镜子
CN106534541A (zh) * 2016-11-15 2017-03-22 广东小天才科技有限公司 一种音量调节方法、装置及终端设备
CN106648527A (zh) * 2016-11-08 2017-05-10 乐视控股（北京）有限公司 一种音量控制方法、装置以及播放设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722967A (zh) * 2012-06-15 2012-10-10 深圳Tcl新技术有限公司 近距离观看电视的提醒方法和装置
CN104173054B (zh) * 2013-05-21 2017-04-12 杭州海康威视数字技术股份有限公司 基于双目视觉技术的人体身高测量方法及其装置
CN105403146A (zh) * 2015-11-05 2016-03-16 上海卓易科技股份有限公司 一种测量物体尺寸的方法、***及智能终端
CN107831891A (zh) * 2017-10-31 2018-03-23 维沃移动通信有限公司 一种亮度调节方法及移动终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867739A (zh) * 2010-04-30 2010-10-20 中山大学 一种智能电视机及电视机智能控制方法
CN102981422A (zh) * 2012-11-23 2013-03-20 广州华多网络科技有限公司 一种音量调节方法及***
CN103793719A (zh) * 2014-01-26 2014-05-14 深圳大学 一种基于人眼定位的单目测距方法和***
CN205754809U (zh) * 2016-05-11 2016-11-30 深圳市德宝威科技有限公司 一种机器人自适应音量调节***
CN106377264A (zh) * 2016-10-20 2017-02-08 广州视源电子科技股份有限公司 一种人体身高测量方法、装置及智能镜子
CN106648527A (zh) * 2016-11-08 2017-05-10 乐视控股（北京）有限公司 一种音量控制方法、装置以及播放设备
CN106534541A (zh) * 2016-11-15 2017-03-22 广东小天才科技有限公司 一种音量调节方法、装置及终端设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111294706A (zh) * 2020-01-16 2020-06-16 珠海格力电器股份有限公司 一种语音电器控制方法、装置、存储介质及语音电器
CN111930336A (zh) * 2020-07-29 2020-11-13 歌尔科技有限公司 音频设备的音量调节方法、设备及存储介质
CN112330646A (zh) * 2020-11-12 2021-02-05 南京优视智能科技有限公司 一种基于二维图像的动车车底异常检测方法
CN112839137A (zh) * 2020-12-30 2021-05-25 平安普惠企业管理有限公司 基于背景环境的呼叫处理方法、装置、设备及存储介质
CN114070935A (zh) * 2022-01-12 2022-02-18 百融至信(北京)征信有限公司 一种智能外呼打断方法及***

Also Published As

Publication number Publication date
CN108628572A (zh) 2018-10-09
CN108628572B (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
WO2019196312A1 (zh) 机器人调节音量的方法、装置、计算机设备和存储介质
US11561621B2 (en) Multi media computing or entertainment system for responding to user presence and activity
CN111601088B (zh) 一种基于单目摄像头坐姿识别技术的坐姿监控***
US9002707B2 (en) Determining the position of the source of an utterance
JP2020523665A (ja) 生体検出方法及び装置、電子機器並びに記憶媒体
JP2003030667A (ja) イメージ内で目を自動的に位置決めする方法
WO2023151289A1 (zh) 情感识别方法、训练方法、装置、设备、存储介质及产品
US7995807B2 (en) Automatic trimming method, apparatus and program
KR102463806B1 (ko) 이동이 가능한 전자 장치 및 그 동작 방법
WO2018120662A1 (zh) 一种拍照方法，拍照装置和终端
US10757513B1 (en) Adjustment method of hearing auxiliary device
CN111863020B (zh) 语音信号处理方法、装置、设备及存储介质
US10964046B2 (en) Information processing apparatus and non-transitory computer readable medium storing information processing program for estimating face orientation by using an omni-directional camera
CN115620728B (zh) 音频处理方法、装置、存储介质及智能眼镜
JP2005309765A (ja) 画像認識装置、画像抽出装置、画像抽出方法及びプログラム
CN106803077A (zh) 一种拍摄方法及终端
WO2021166811A1 (ja) 情報処理装置および行動モード設定方法
CN109986553B (zh) 一种主动交互的机器人、***、方法及存储装置
EP3757878A1 (en) Head pose estimation
US11107476B2 (en) Speaker estimation method and speaker estimation device
Kuśmierczyk et al. Biometric fusion system using face and voice recognition: a comparison approach: biometric fusion system using face and voice characteristics
CN110186171A (zh) 空调器及其控制方法和计算机可读存储介质
CN115862597A (zh) 人物类型的确定方法、装置、电子设备和存储介质
JP2005199373A (ja) コミュニケーション装置及びコミュニケーション方法
US11055517B2 (en) Non-contact human input method and non-contact human input system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18914380

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 25.01.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18914380

Country of ref document: EP

Kind code of ref document: A1