WO2023243348A1 - 物***置解析装置、および物***置解析方法、並びにプログラム - Google Patents

物***置解析装置、および物***置解析方法、並びにプログラム Download PDF

Info

Publication number
WO2023243348A1
WO2023243348A1 PCT/JP2023/019360 JP2023019360W WO2023243348A1 WO 2023243348 A1 WO2023243348 A1 WO 2023243348A1 JP 2023019360 W JP2023019360 W JP 2023019360W WO 2023243348 A1 WO2023243348 A1 WO 2023243348A1
Authority
WO
WIPO (PCT)
Prior art keywords
phase difference
microphones
object position
reflected waves
reflected
Prior art date
Application number
PCT/JP2023/019360
Other languages
English (en)
French (fr)
Inventor
善郎 本田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023243348A1 publication Critical patent/WO2023243348A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523Details of pulse systems
    • G01S7/526Receivers
    • G01S7/527Extracting wanted echo signals

Definitions

  • the present disclosure relates to an object position analysis device, an object position analysis method, and a program. More specifically, the present invention relates to an object position analysis device, an object position analysis method, and a program that analyze the distance and direction of an object using a sensor attached to a moving device such as a robot.
  • a mobile device such as a robot or an autonomous vehicle runs autonomously, it is necessary to understand the surrounding situation, such as the location of surrounding obstacles.
  • a mobile device In order for a mobile device to safely autonomously travel to its destination without colliding with or coming into contact with obstacles, it is necessary to accurately grasp the location and direction of the obstacles.
  • Various sensors are attached to moving devices such as vehicles.
  • Ultrasonic sensors As sensors for analyzing the position and direction of obstacles, there are sensors that use audio pulse signals, such as ultrasonic sensors. Ultrasonic sensors have advantages over optical sensors, such as being able to detect objects such as glass and mirrors, and having lower power consumption.
  • An ultrasonic sensor transmits ultrasonic pulse waves and receives reflected waves from an object.
  • the distance to the object can be calculated by measuring the time from transmission to reception of the pulse wave and multiplying the measurement time by the speed of sound. Further, the direction of the object can be calculated using an algorithm such as a beamforming method or a MUSIC method using a microphone array in which a plurality of microphones that output ultrasonic waves are arranged.
  • ultrasonic waves have a wide directivity of transmitted waves, and there is a problem in that reflected waves from various directions outside the object detection range are input to the microphone as noise.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2001-183437
  • object position detection is performed not only in the horizontal direction but also in the elevation direction to detect the ceiling and floor surfaces
  • a configuration that realizes object detection in all dimensional spaces is disclosed.
  • the present disclosure has been made, for example, in view of the above problems, and is applicable to, for example, a configuration in which an object position is detected using a sensor using an audio pulse signal, such as an ultrasonic sensor attached to a moving device such as a robot.
  • An object position analysis device and an object position analysis method that are capable of removing reflected waves in directions other than the target direction, such as reflected waves from the ceiling, and analyzing the distance and direction of an object in the target direction at high speed and with high accuracy;
  • the purpose is to provide programs as well as programs.
  • a first aspect of the present disclosure includes: a speaker that outputs an audio pulse signal; a plurality of microphones that input reflected waves of the audio pulse signal outputted by the speaker; a data processing unit that analyzes the reflected waves input by the plurality of microphones and analyzes the position of the object that reflected the audio pulse signal;
  • the data processing unit includes: From the reflected waves input by the plurality of microphones, a reflected wave having a phase difference that is highly correlated with a phase difference of an audio pulse signal from a predefined direction to be analyzed is selected as a reflected wave to be analyzed;
  • the object position analysis device analyzes the position of an object within the analysis target area near the analysis target direction by analyzing the selected analysis target reflected wave.
  • a second aspect of the present disclosure includes: An object position analysis method executed in an object position analysis device, the speaker outputting an audio pulse signal; inputting reflected waves of the audio pulse signal output by the speaker into a plurality of microphones;
  • the data processing unit has an object position analysis processing step of analyzing the reflected waves input by the plurality of microphones to analyze the position of the object that reflected the audio pulse signal,
  • the data processing unit includes: In the object position analysis processing step, From the reflected waves input by the plurality of microphones, a reflected wave having a phase difference that is highly correlated with a phase difference of an audio pulse signal from a predefined direction to be analyzed is selected as a reflected wave to be analyzed;
  • the present invention provides an object position analysis method for analyzing the position of an object within an analysis target region near the analysis target direction by analyzing a selected analysis target reflected wave.
  • a third aspect of the present disclosure includes: A program that executes object position analysis processing in an object position analysis device, a step of causing the speaker to output an audio pulse signal; inputting reflected waves of the audio pulse signal outputted by the speaker into a plurality of microphones; causing the data processing unit to execute an object position analysis processing step of analyzing the reflected waves input by the plurality of microphones and analyzing the position of the object that reflected the audio pulse signal;
  • the program includes, in the object position analysis processing step, A process of selecting, from the reflected waves input by the plurality of microphones, a reflected wave having a phase difference that is highly correlated with a phase difference of an audio pulse signal from a predefined direction to be analyzed as a reflected wave to be analyzed;
  • the program includes a program that executes a process of analyzing the position of an object in an analysis target area in the vicinity of the analysis target direction by analyzing a selected analysis target reflected wave.
  • the program of the present disclosure is, for example, a program that can be provided by a storage medium or a communication medium that is provided in a computer-readable format to an information processing device or computer system that can execute various program codes.
  • a program can be provided by a storage medium or a communication medium that is provided in a computer-readable format to an information processing device or computer system that can execute various program codes.
  • processing according to the program can be realized on an information processing device or computer system.
  • a system is a logical collective configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same housing.
  • an object position analysis device that analyzes the position of an object within a specific analysis target area.
  • a speaker that outputs an audio pulse signal
  • multiple microphones that input reflected waves of the audio pulse signal output by the speakers
  • an audio pulse signal that is generated by analyzing the reflected waves input by the multiple microphones.
  • It has a data processing unit that analyzes the position of the object that reflected the light.
  • the data processing unit selects, as a reflected wave to be analyzed, a reflected wave having a phase difference that is highly correlated with the phase difference of the audio pulse signal from a predefined direction to be analyzed from among the reflected waves input by the plurality of microphones.
  • the position of the object in the area to be analyzed near the direction to be analyzed is analyzed.
  • an object position analysis device that analyzes the position of an object within a specific analysis target area is realized. Note that the effects described in this specification are merely examples and are not limiting, and additional effects may also be provided.
  • FIG. 2 is a diagram illustrating an example of a robot that is an example of a moving device according to the present disclosure.
  • FIG. 2 is a diagram illustrating an overview of an analysis process of an object position (distance and direction) using an ultrasonic sensor.
  • FIG. 3 is a diagram illustrating an example of a pulse signal output by an ultrasonic speaker.
  • FIG. 3 is a diagram illustrating an example of an input pulse signal of each microphone constituting an ultrasonic microphone array.
  • FIG. 3 is a diagram illustrating a problem in which analysis accuracy decreases due to reflected waves from various directions other than the object position analysis direction.
  • FIG. 2 is a diagram illustrating a conventional configuration example for solving the problem that analysis accuracy is reduced due to reflected waves from various directions other than the object position analysis direction.
  • FIG. 2 is a diagram illustrating a configuration example of an ultrasonic sensor that is an example of a sensor of an object position analysis device according to the present disclosure.
  • FIG. 2 is a diagram illustrating the detailed configuration of a square-arranged ultrasonic microphone array.
  • 1 is a diagram illustrating a configuration example of an object position analysis device according to a first embodiment;
  • FIG. 2 is a diagram illustrating an example of an input signal (input ultrasonic signal) input to one microphone.
  • FIG. 6 is a diagram illustrating a specific example of processing executed by an amplitude determination unit.
  • FIG. 6 is a diagram illustrating a specific example of processing executed by an amplitude determination unit.
  • FIG. 3 is a diagram illustrating a specific example of an analysis target direction and an analysis target area.
  • FIG. 7 is a diagram illustrating an example of adjusting the area size of an analysis target area.
  • FIG. 6 is a diagram illustrating a specific example of a process for extracting a reflected wave exceeding a prescribed phase difference correlation evaluation value corresponding threshold, which is executed by a phase difference correlation determination unit.
  • FIG. 6 is a diagram illustrating a specific example of a process for extracting a reflected wave exceeding a prescribed phase difference correlation evaluation value corresponding threshold, which is executed by a phase difference correlation determination unit.
  • FIG. 6 is a diagram illustrating a specific example of a process for extracting a reflected wave exceeding a prescribed phase difference correlation evaluation value corresponding threshold, which is executed by a phase difference correlation determination unit.
  • FIG. 6 is a diagram illustrating a specific example of a process for extracting a reflected wave exceeding a prescribed phase difference correlation evaluation value corresponding threshold, which is executed by a phase difference correlation determination unit.
  • FIG. 6 is a diagram illustrating an example of a specific calculation result of an evaluation value (phase difference correlation evaluation value).
  • FIG. 6 is a diagram illustrating an example of processing for determining an analysis target region based on a threshold value (threshold value corresponding to a phase difference correlation evaluation value).
  • FIG. 6 is an explanatory diagram of an example of an analysis target region determined based on a threshold value (threshold value corresponding to a phase difference correlation evaluation value).
  • FIG. 6 is an explanatory diagram of an example of an object direction analysis process executed by an object position (distance, direction) calculation unit.
  • FIG. 6 is an explanatory diagram of an example of an object direction analysis process executed by an object position (distance, direction) calculation unit.
  • FIG. 7 is a diagram illustrating a configuration example of a diamond-shaped ultrasonic microphone array of an ultrasonic sensor according to a second embodiment.
  • FIG. 7 is a diagram illustrating a configuration example of a diamond-shaped ultrasonic microphone array of an ultrasonic sensor according to a second embodiment.
  • FIG. 7 is a diagram illustrating a specific example of a phase difference correlation evaluation value calculated when the diamond-shaped ultrasonic microphone array of Example 2 is used.
  • FIG. 7 is a diagram illustrating a configuration example of a triangularly arranged ultrasonic microphone array of an ultrasonic sensor according to a third embodiment.
  • FIG. 7 is a diagram illustrating an object position analysis device having an ultrasonic sensor and a posture sensor according to a fourth embodiment.
  • FIG. 7 is a diagram illustrating processing executed by an object position analysis device according to a fourth embodiment that includes an ultrasonic sensor and a posture sensor.
  • FIG. 7 is a diagram illustrating a configuration example of an object position analysis device according to a fourth embodiment that includes an ultrasonic sensor and a posture sensor.
  • FIG. 12 is a diagram showing a flowchart illustrating a processing sequence executed by the object position analysis device according to the fourth embodiment.
  • FIG. 2 is a diagram illustrating an example of the hardware configuration of an object position analysis device according to the present disclosure.
  • Various sensors are installed on mobile devices such as robots and self-driving vehicles to analyze the positions of objects such as obstacles.
  • Ultrasonic sensors have advantages over optical sensors, such as being able to detect objects such as glass and mirrors, and having lower power consumption.
  • FIG. 1 is a diagram showing an example of a robot 10 equipped with an ultrasonic sensor 20.
  • the robot 10 determines the position of the object 50 in the direction of movement of the robot 10, that is, the distance from the robot 10 to the object 50, and the distance between the robot 10 and the object 50. It is necessary to analyze the direction of the object relative to the object.
  • the ultrasonic sensor 20 mounted on the robot 10 shown in FIG. 1 transmits ultrasonic pulse waves and receives reflected waves from the object 50.
  • the object position analysis device within the robot 10 measures the time from transmission to reception of the pulse wave, and calculates the distance to the object 50 by multiplying the measured time by the speed of sound.
  • the ultrasonic sensor 20 has a microphone array configuration in which a plurality of microphones are arranged, and the object position analysis device in the robot 10 uses algorithms such as the beamforming method and the MUSIC method to detect objects relative to the robot 10. 50 directions can be calculated.
  • FIG. 2(a1) shows an example of an object detection environment.
  • An ultrasonic sensor 20 and an object 50 are shown.
  • the robot 10 is not shown in the figure, the ultrasonic sensor 20 is a sensor mounted on the robot 10 shown in FIG. 1, for example.
  • the plane of the ultrasonic sensor 20 is shown as an xy plane, and the front direction of the ultrasonic sensor 20 is shown as a z direction.
  • the ultrasonic sensor 20 outputs an ultrasonic pulse signal as a transmission wave in the z-axis direction.
  • FIG. 2(a2) is a diagram showing a configuration example of a conventional general ultrasonic sensor 20.
  • the ultrasonic sensor 20 includes an ultrasonic speaker 21 that outputs an ultrasonic pulse signal, and an ultrasonic microphone array 22 in which a plurality of microphones are arranged in a straight line.
  • the ultrasonic speaker 21 of the ultrasonic sensor 20 outputs an ultrasonic pulse signal (transmission wave) in the z-axis direction shown in FIG. 2(a1).
  • FIG. 3 shows an example of a pulse signal output by the ultrasonic speaker 21.
  • the ultrasonic speaker 21 outputs an ultrasonic pulse signal of a predetermined wavelength, for example, a wavelength ⁇ .
  • the ultrasonic pulse signal as a transmission wave output from the ultrasonic speaker 21 is reflected by the object 50, and the reflected wave is input to the microphone of the ultrasonic sensor 20 (ultrasonic microphone array 22).
  • the reflected waves input to each microphone of the ultrasonic microphone array 22 of the ultrasonic sensor 20 are input to a data processing unit in the robot 10 (not shown), where they are analyzed and the distance of the object 50 that generated the reflected waves is calculated. and the direction is calculated.
  • the data processing unit determines those whose received intensity exceeds a threshold value as valid reflected waves, and calculates the time from ultrasonic pulse signal transmission to reception.
  • the distance to the object 50 is calculated by multiplying by the speed of sound.
  • the data processing unit calculates the direction of the object (the direction of the object with respect to the ultrasonic sensor 20) by analyzing the difference (phase difference) between the acquired signals of each microphone constituting the ultrasonic microphone array 22.
  • FIG. 2(b1) is a top view of the object detection environment of FIG. 2(a1).
  • FIG. 2(b2) shows microphones a to d forming the ultrasonic microphone array 22 of the ultrasonic sensor 20 in the top view of FIG. 2(a1).
  • each of the microphones a to d inputs an ultrasonic pulse signal. A phase difference occurs.
  • FIG. 2(b2) shows the phase difference between the leftmost microphone a and the rightmost microphone d when a reflected wave is input from a direction tilted by an angle ( ⁇ ) from the z-axis direction, which is the vertical forward direction of the ultrasonic sensor 20. It is a figure showing an example.
  • FIG. 4 An example of an input pulse signal of each microphone constituting the ultrasonic microphone array 22 will be described with reference to FIG. 4. Similar to FIG. 2(b2), the graph shown in FIG. 4 shows the relationship between microphone a at the left end and microphone a at the right end when reflected waves are input from a direction tilted by an angle ( ⁇ ) from the z-axis direction, which is the vertical forward direction of the ultrasonic sensor 20. 3 is a graph showing an example of an input pulse signal of microphone d in FIG.
  • the phase difference differs depending on the angle of the direction of arrival of the reflected wave. That is, it varies depending on the angle ( ⁇ ) from the z-axis direction, which is the vertical forward direction of the ultrasonic sensor 20.
  • the input timings of the reflected waves are the same for all microphones a to d. Therefore, no phase difference occurs.
  • the reflected waves are reduced from the phase difference between the microphones.
  • the direction of arrival ie, the direction of the object 50
  • various existing object direction analysis algorithms such as the beamforming method and the MUSIC method can be applied.
  • the direction ( ⁇ ) of the object 50 is such that the x-axis is the microphone arrangement direction of the ultrasonic microphone array 22 of the ultrasonic sensor 20, and the z-axis is the ultrasonic pulse output direction of the ultrasonic sensor 20. It can be calculated as the angle ( ⁇ ) of the xz plane in the axial direction with respect to the z axis.
  • Ultrasonic waves have a wide directivity of transmitted waves, and reflected waves from walls, floors, ceilings, etc. that are far from the front of the sensor can also be detected.
  • reflected waves from objects such as obstacles that protrude above the robot's running surface.
  • the reflected waves from the sensor become noise signals and interfere with object detection.
  • FIG. 5(a) is a diagram showing an example of an object detection environment similar to that described above with reference to FIG. 2(a1).
  • the ultrasonic sensor 20 and the object 50 are shown.
  • the robot 10 is not shown in the figure, the ultrasonic sensor 20 is a sensor mounted on the robot 10 shown in FIG. 1, for example.
  • the plane of the ultrasonic sensor 20 is shown as an xy plane, and the front direction of the ultrasonic sensor 20 is shown as a z direction.
  • the ultrasonic sensor 20 outputs an ultrasonic pulse signal as a transmission wave in the z-axis direction.
  • the ultrasonic pulse signal which is a transmission wave output from the ultrasonic sensor 20, is reflected by the object 50, and the reflected wave is input to the ultrasonic microphone array 22 of the ultrasonic sensor 20 described with reference to FIG. 2.
  • the ultrasonic pulse signal which is a transmission wave output from the ultrasonic sensor 20
  • the ultrasonic pulse signal is also reflected on the ceiling and floor (robot running surface), as shown in FIG. 5(a), and these reflected waves also become ultrasonic waves. It is input to the ultrasonic microphone array 22 of the sensor 20.
  • the object direction is determined by applying various existing object direction analysis algorithms such as the beamforming method and the MUSIC method described above. Even if this analysis is performed, there is a possibility that an erroneous determination may occur in which it is determined that there is an object that does not actually exist in a position different from the direction of the actual object.
  • the robot 10 equipped with the ultrasonic sensor 20 recognizes that an object (obstacle) actually exists at the position of the virtual image 60 and takes a running route that avoids the position of the virtual image 60. Set. As a result, the vehicle is unable to travel on a route that is originally possible, and an erroneous, detour route is set.
  • FIG. 6(1) shows a method of attaching a horn to a speaker that outputs ultrasonic waves to increase the directivity of the speaker.
  • the effectiveness of the horn is limited, and it is difficult to obtain a sufficient noise removal effect.
  • Figure 6 (2) shows a method that detects object positions not only in the horizontal direction but also in the elevation direction, detecting the ceiling and floor surfaces, and realizing object detection in all three-dimensional spaces around the robot. It is.
  • this method requires calculation of many object positions, such as ceiling positions, which are unnecessary for robot movement, increasing the processing load. Furthermore, there is a problem in that high-speed processing becomes difficult, resulting in a reduction in the running speed of the robot.
  • the present disclosure is intended to solve such problems, and in a configuration that detects the position of an object using a sensor using an audio pulse signal such as an ultrasonic sensor, for example, if a wave reflected from a ceiling or the like is detected in a direction other than the intended direction. By removing the reflected waves, it is possible to quickly and accurately analyze the distance and direction of objects in the target direction.
  • an audio pulse signal such as an ultrasonic sensor
  • Example 1 Regarding an example using a sensor with a square microphone array
  • Example 1 of the object position analysis device of the present disclosure an example using a sensor having a square microphone array will be described.
  • the sensor of the object position analysis device of the present disclosure is an audio pulse sensor that outputs an audio pulse signal and receives its reflected wave.
  • an example using an ultrasonic sensor as an example of an audio pulse sensor will be described, but this is just an example, and the sensor used in the object position analysis device of the present disclosure is not limited to an ultrasonic sensor. Any sensor can be used as long as it is an audio pulse input/output type sensor that outputs an audio pulse signal and receives its reflected wave.
  • FIG. 7 shows the following two diagrams. (1) Conventional ultrasonic sensor (2) Ultrasonic sensor of the present disclosure
  • the ultrasonic sensor 20 shown in "(1) Conventional ultrasonic sensor” has the same configuration as that described above with reference to FIG. 2. That is, the ultrasonic sensor 20 includes an ultrasonic speaker 21 that outputs an ultrasonic pulse signal, and an ultrasonic microphone array 22 that has a linear array type microphone arrangement in which a plurality of microphones are arranged in a straight line.
  • the ultrasonic sensor 100 shown in "(2) Ultrasonic sensor of the present disclosure” has an ultrasonic speaker 101 that outputs an ultrasonic pulse signal and four microphones arranged in each square shape tilted with respect to the x-axis. It is composed of a square ultrasonic microphone array 102 arranged at the apex.
  • the ultrasonic sensor 100 of the present disclosure has a square ultrasonic microphone array 102 in which four microphones are arranged at each vertex of a square tilted with respect to the x-axis.
  • FIG. 8 shows a detailed layout diagram of the square ultrasonic microphone array 102.
  • the plane of the ultrasonic sensor is the xy plane, and the direction extending perpendicularly from the xy plane is the z axis.
  • the z-axis direction corresponds to the direction of ultrasonic output from the ultrasonic speaker 101.
  • the four microphones a (ch0) to d (ch3) forming the square ultrasonic microphone array 102 are arranged on the x-axis and on the y-axis.
  • the distance between adjacent microphones projected on each side is set to ⁇ /4 or less, and the projection positions of the respective microphones on the x-axis are arranged so as not to overlap.
  • the ultrasonic sensor of the object position analysis device of the first embodiment has four microphones a (ch0) to d (ch3) arranged on the xy plane and having an inclination with respect to the x axis, as shown in FIG. It has a square-arranged ultrasonic microphone array 102 configured to be arranged at each vertex of a square.
  • reflected waves can be obtained by removing the signal.
  • the reflected waves in the analysis target direction for example, the front of the robot corresponding to the sensor's z-axis direction, are extracted, and the position (distance, direction) of the object in the limited analysis target direction can be determined with high precision. can be analyzed into
  • the viewing angle (the angle that defines the object detection range (analysis target area)) becomes narrow because the analysis target direction is limited, but high precision without virtual images is achieved. This makes it possible to perform accurate object position analysis. Further, in the configuration of the present disclosure, since the process of calculating the position of an object such as a ceiling in a region other than the analysis target direction is not performed, the amount of calculation is suppressed, and high-speed analysis processing can be performed.
  • This patent document 2 discloses a configuration in which microphones are arranged on the circumference. This patent document 2 discloses a configuration that uses orthogonal function sequence expansion to obtain a received signal from a desired direction without depending on the frequency of the sound wave.
  • the object position analysis device of the present disclosure analyzes the phase difference between ultrasonic pulses constituted by reflected waves that are received signals of each microphone constituting the square-arranged ultrasonic microphone array 102 shown in FIG. This makes it possible to extract only the reflected waves in a specific analysis target direction.
  • Patent Document 3 International Publication WO2006/004099 A1 discloses a configuration in which microphones are arranged on a polygon.
  • the configuration described in Patent Document 3 only discloses a configuration in which output sounds from multiple speakers are input to a microphone, and the reverberation characteristics of the room are analyzed and adjusted using the microphone input sound. be. That is, like the object position analysis device of the present disclosure, the phase difference of the ultrasonic pulse formed by the reflected waves that are received signals of each microphone is analyzed, and the reflected waves in a specific analysis target direction are extracted. It does not disclose processing for analyzing the position (distance, direction) of an object in a specific analysis target direction.
  • the object position analysis device of the present disclosure uses a square-arranged ultrasonic microphone array 102 as shown in FIG. This makes it possible to analyze with high precision the position (distance, direction) of an object in the analysis target direction corresponding to the z-axis direction perpendicular to the xy plane).
  • an object position analysis device 150 according to the first embodiment includes an ultrasonic sensor 100 and a data processing section 120.
  • the ultrasonic sensor 100 has the configuration described above with reference to FIGS. 7 and 8. That is, it has an ultrasonic speaker 101 that outputs an ultrasonic pulse signal, and a square ultrasonic microphone array 102 in which four microphones are arranged at each vertex of an inclined square.
  • Microphones 1, 102-1 to n, 102-n shown in FIG. 7 correspond to microphones a (ch0) to d (ch3) at the respective apex positions of the square shown in FIG. 6.
  • the data processing unit 120 includes a timing control unit 121, an ultrasonic pulse transmission unit 122, an amplitude determination unit 123, a phase difference correlation determination unit 124, and an object position (distance, direction) estimation unit 125.
  • the timing control unit 121 controls the output timing of the ultrasonic pulse signal output from the ultrasonic speaker 101 of the ultrasonic sensor 100.
  • the ultrasonic pulse transmitter 122 generates an ultrasonic pulse signal, and outputs the generated ultrasonic pulse signal from the ultrasonic speaker 101 at a timing controlled by the timing controller 121.
  • the ultrasonic sensor 100 As described with reference to FIGS. 7 and 8, if the plane including the ultrasonic speaker 101 and the square-arranged ultrasonic microphone array 102 constituting the ultrasonic sensor 100 is an xy plane, the ultrasonic sensor 100 The output direction of the ultrasonic pulse signal output from the ultrasonic speaker 101 is the z-axis direction.
  • Ultrasonic pulse signals emitted from the ultrasonic speaker 101 of the ultrasonic sensor 100 are reflected by various objects.
  • the reflected waves from these objects are input to each of the microphones constituting the squarely arranged ultrasonic microphone array 102 of the ultrasonic sensor 100, that is, microphones 1, 102-1 to microphone n, 102-n shown in FIG.
  • FIG. 10 shows an example of an input signal (input ultrasonic signal) input to one microphone.
  • FIG. 10 shows the following diagram. (a) Example of microphone reception signal
  • the graph shown in FIG. 10 is a graph in which the horizontal axis shows time (t) and the vertical axis shows amplitude.
  • 3 is a graph showing an example of an ultrasonic signal (ultrasonic signal).
  • the microphone input signal includes a "direct wave” and a "reflected wave.”
  • a "direct wave” is a direct input signal of an ultrasonic pulse signal output from the ultrasonic speaker 101 of the ultrasonic sensor 100, and is not a reflected wave from an object.
  • a signal that is input to the microphone after a delay from this "direct wave” is a "reflected wave", and the ultrasonic pulse signal output from the ultrasonic speaker 101 of the ultrasonic sensor 100 is reflected by some object and is input to the microphone. This is the input signal.
  • Such audio signals are input to each of the microphones 1, 102-1 to microphone n, 102-n that constitute the squarely arranged ultrasonic microphone array 102 of the ultrasonic sensor 100.
  • the input signals (reflected waves) from each of these microphones 1, 102-1 to microphone n, 102-n are input to the amplitude determining section 123 of the data processing section 120.
  • the amplitude determination unit 123 of the data processing unit 120 selects a reflected wave portion from the input signals (reflected waves) of each of the microphones 1, 102-1 to microphone n, 102-n that constitute the square-arranged ultrasonic microphone array 102. , Further, from the selected reflected waves, only reflected waves exceeding a predefined amplitude threshold are extracted as valid reflected waves. Note that a reflected wave exceeding a prescribed amplitude threshold value means that the reflected wave has a reception intensity sufficiently greater than that of environmental noise.
  • FIG. 11 shows the following figures.
  • the amplitude determination unit 123 first selects a reflected wave portion from this microphone reception signal. Thereafter, from the selected reflected waves, only reflected waves exceeding a predefined amplitude threshold are extracted as valid reflected waves.
  • the waveform shown in "(b1) Processing example-1 of the amplitude determination unit 123" shown in the lower part of FIG. 11 is data obtained by extracting the waveform of the upper half of the reflected wave part of "(a) Example of microphone reception signal". .
  • the amplitude determination unit 123 extracts only reflected waves exceeding a predefined amplitude threshold from the reflected waves as valid reflected waves.
  • the peak portion in the first half (left side) is defined as “reflected wave #1”, and the peak portion in the second half is defined as “reflected wave #2”.
  • FIG. 12 shows the following figures. (b1) Processing example-1 of amplitude determination unit 123 (b2) Processing example-2 of amplitude determination unit 123
  • “(b1) Processing example-1 of the amplitude determining unit 123” is the same diagram as “(b1) Processing example-1 of the amplitude determining unit 123” shown in FIG.
  • the amplitude determination unit 123 extracts only reflected waves exceeding a predefined amplitude threshold from the reflected waves as valid reflected waves.
  • “(b1) Processing example-1 of amplitude determination unit 123” shows a line indicating the amplitude threshold.
  • the amplitude determination unit 123 extracts a portion of “reflected wave #1” and a portion of “reflected wave #2” that exceed this threshold line as effective reflected waves.
  • the waveform portion shown in “(b2) Processing Example-2 of Amplitude Determining Unit 123” is a reflected wave extracted as an effective reflected wave exceeding a predefined amplitude threshold.
  • a reflected wave that exceeds a specified amplitude threshold means that the reflected wave has a reception intensity that is sufficiently greater than the environmental noise.
  • the reflected waves exceeding the specified amplitude threshold value extracted by the amplitude determining section 123 are input to the phase difference correlation determining section 124 .
  • the phase difference correlation determination unit 124 further extracts only the reflected waves exceeding a prescribed phase difference correlation evaluation value corresponding threshold from the reflected waves exceeding a prescribed amplitude threshold.
  • the reflected waves exceeding the phase difference correlation evaluation value corresponding threshold extracted by the phase difference correlation determination unit 124 are reflected waves from a preset analysis target region.
  • the analysis target region is set as a conical region centered on a specific direction, that is, a specific analysis target direction.
  • the area containing the reflected waves exceeding the phase difference correlation evaluation value corresponding threshold extracted by the phase difference correlation determination unit 124 is the analysis target area 170.
  • FIG. 13 shows a specific example of the direction to be analyzed and the region to be analyzed.
  • the analysis target direction can be set to any direction.
  • the example shown in FIG. 13 is an example in which the analysis target direction 160 is set to the ( ⁇ , ⁇ ) direction in the spherical coordinate system.
  • the ( ⁇ , ⁇ ) direction is the analysis target direction 160.
  • is the angle of the analysis target direction 160 with respect to the z-axis
  • is the angle between the x-axis and a line that projects the analysis target direction 160 onto the xy plane.
  • the spherical coordinates of a certain point on the analysis target direction 160 for example, a point with a length r from the origin, are (r, ⁇ , ⁇ ).
  • a conical region having the central axis in the direction of analysis 160 set in the ( ⁇ , ⁇ ) direction can be set as the region to be analyzed 170.
  • the reflected waves extracted by the phase difference correlation determination unit 124 that is, the reflected waves having a phase difference correlation evaluation value exceeding the phase difference correlation evaluation value corresponding threshold, are the reflected waves from this analysis target area 170. becomes.
  • the area size of the analysis target area 170 can be freely adjusted by setting the threshold value (threshold value corresponding to the phase difference correlation evaluation value) used by the phase difference correlation determination unit 124.
  • FIG. 14 shows two types of analysis target regions 170, namely, analysis target regions a, 170a and analysis target regions b, 170b.
  • the analysis target regions a and 170a are composed of small cones with small diameters. This is the area to be analyzed.
  • the analysis target area b, 170b is an analysis target area composed of a large cone with a large diameter. In this way, the analysis target region 170 can be adjusted by setting the threshold value (threshold value corresponding to the phase difference correlation evaluation value) used by the phase difference correlation determination unit 124.
  • phase difference correlation determination unit 124 that is, extraction processing of reflected waves exceeding a prescribed phase difference correlation evaluation value corresponding threshold will be described.
  • the analysis target region 170 is a region corresponding to a region including reflected waves exceeding the phase difference correlation evaluation value corresponding threshold extracted by the phase difference correlation determination unit 124.
  • the evaluation value calculation process executed by the phase difference correlation determination unit 124 will be described with reference to FIGS. 16 and 17.
  • the phase difference correlation evaluation value calculated by the phase difference correlation determination unit 124 is an evaluation value that becomes larger as the probability that the reflected wave received by the microphone comes from the analysis target direction is higher.
  • the phase difference correlation determining section 124 first receives as input the reflected wave that exceeds a prescribed amplitude threshold and has been extracted by the amplitude determining section 123.
  • FIG. 16(b2) is a diagram similar to "(b2) Processing example-2 of amplitude determining unit 123" described earlier with reference to FIG. This is a reflected wave that exceeds the value.
  • the phase difference correlation determination unit 124 inputs the received signals of each microphone regarding the reflected waves exceeding these prescribed amplitude thresholds, and evaluates the response to each reflected wave based on the input signal according to the formula shown in FIG. 16(c). Calculate the value (phase difference correlation evaluation value).
  • the phase difference correlation determination unit 124 compares the calculated evaluation value with a predefined threshold (threshold corresponding to the phase difference correlation evaluation value), and selects an area with an evaluation value exceeding the threshold as an analysis target. It is determined that the area is 170. That is, the area where the phase difference correlation evaluation value exceeds the phase difference correlation evaluation value corresponding threshold is determined to be the analysis target area 170.
  • the phase difference correlation determining unit 124 calculates an evaluation value (phase difference correlation evaluation value) according to the following (Formula 1) as shown in FIG. ) is calculated.
  • Equation 1 pd( ⁇ , ⁇ ) is the distance between each microphone constituting the square-arranged ultrasonic microphone array 102 of the first embodiment with respect to the reflected wave arriving from the direction ( ⁇ , ⁇ ). This is the inter-microphone phase difference that occurs in , and as shown in FIG. 17, it is calculated by the following (Equation 2).
  • ( ⁇ , ⁇ ) are coordinates indicating the arrival direction of the reflected wave in which the inter-mic phase difference calculated by the above (Equation 2) occurs, and the microphone array surface of the ultrasonic sensor 100 is set as the xy plane, and the audio output direction is set as the xy plane.
  • the angle with respect to the z-axis in the setting of the z-direction is ⁇ , and the angle between the x-axis and a line obtained by projecting the direction of arrival of the reflected wave onto the xy plane is ⁇ .
  • the matrix shown in the above (Equation 2) is a matrix that shows the amplitude values of the received pulses of the other microphones b to d (ch1 to ch3) at the timing when the amplitude value of the received pulse of microphone a (ch0) is 1, This is a determinant showing the phase difference of each microphone a to d (ch0 to ch3).
  • pd( ⁇ , ⁇ ) H is the Hermitian conjugate of pd( ⁇ , ⁇ ).
  • pd ( ⁇ , ⁇ ) and pd ( ⁇ , ⁇ ) H are the coordinate positions of each microphone a to d constituting the square-arranged ultrasonic microphone array 102 described with reference to FIG. 8, and the arrival of reflected waves. It can be calculated by specifying the coordinate ( ⁇ , ⁇ ) position indicating the direction.
  • R is the reception signal calculated by the phase difference correlation determination unit 124 based on the reflected wave exceeding the prescribed amplitude threshold input from the amplitude determination unit 123 in order to determine the analysis target region 170.
  • the covariance matrix R of the received signal is calculated according to the following (Equation 3), as shown in FIG. 17, when the observed signal x(t) at the reception time t of the received signal is taken as the observed signal x(t).
  • x(t) is the Hermitian conjugate of x(t)
  • E[ ⁇ ] is the ensemble average. Note that the collective average is performed in a preset time window.
  • the observed signal x(t) at the reception time t of the received signal is shown as a matrix of the following (Formula 4), as shown in FIG.
  • x0(t) to x3(t) are the values of each of the microphones a (ch0) to microphone d (ch3) constituting the square-arranged ultrasonic microphone array 102 described with reference to FIG. The amplitude at time t is shown.
  • the microphone arrangement is determined by the square ultrasonic microphone array 102 described with reference to FIG. Further, the coordinates ( ⁇ , ⁇ ) indicating the reflected wave arrival direction are determined based on the analysis target direction 160, for example, as described earlier with reference to FIG. For example, as described with reference to FIG. 15, when the analysis target direction 160 is the z-axis direction, the coordinates ( ⁇ , ⁇ ) can be set to (0, 0).
  • the value of the numerator (pd( ⁇ , ⁇ ) H ⁇ R ⁇ pd( ⁇ , ⁇ )) in the above (Equation 1) changes depending on the value of the covariance matrix R of the actual observed signal.
  • the covariance matrix R indicates that the actual observed signal, that is, the phase difference correlation determining section 124 exceeds the prescribed amplitude threshold input from the amplitude determining section 123 in order to determine the analysis target region 170.
  • This is a covariance matrix of a received signal calculated based on reflected waves.
  • the phase difference correlation evaluation value calculated by the above (Formula 1), which is the evaluation value calculation formula shown in FIGS.
  • the reflected waves exceeding the specified amplitude threshold input from the amplitude determination unit 123 in order to do this include many reflected waves from the coordinate ( ⁇ , ⁇ ) direction indicating the analysis target direction 160 used in (Equation 1). The larger the value becomes.
  • Equation 1 An example of a specific calculation result of the evaluation value (phase difference correlation evaluation value) calculated by the above (Equation 1) which is the evaluation value calculation formula shown in FIGS. 16 and 17, that is, an example of a simulation result of the evaluation value. This will be explained with reference to 18.
  • FIG. 18 is a diagram showing an example of simulation results of evaluation values.
  • phase difference correlation evaluation value is calculated in the range of 0.0 to 4.0. The higher the phase difference correlation evaluation value, the darker the color (closer to black), and the lower the phase difference correlation evaluation value, the lighter the color (closer to white).
  • FIG. 18A shows phase difference correlation evaluation value distribution data observed from the upper right front of the z-axis, which is the analysis target direction.
  • FIG. 18(b) shows phase difference correlation evaluation value distribution data observed from the direction of the z-axis, which is the analysis target direction. Note that the x-axis and y-axis shown in FIG. , 50°).
  • the evaluation value calculated by the above (Equation 1) is calculated based on the phase difference of the microphone, which is calculated based on the coordinates ( ⁇ , ⁇ ) indicating the direction to be analyzed, and the observed signal (reflected wave).
  • the phase difference correlation determination unit 124 further compares the phase difference correlation evaluation value calculated according to the above (Formula 1) with a predefined threshold (threshold corresponding to the phase difference correlation evaluation value), and determines the threshold value. A process is executed to determine a region having a phase difference correlation evaluation value exceeding , as an analysis target region.
  • a process is performed to determine the analysis target region 170, which was previously explained with reference to FIG. 15 and the like, based on a threshold value (threshold value corresponding to the phase difference correlation evaluation value). This process will be explained with reference to FIG. 19.
  • the graph shown in FIG. 19 is a graph in which the horizontal axis shows the angle from the analysis target direction, and the vertical axis shows the evaluation value.
  • the curve shown in the graph is the curve calculated by (Equation 1), which is the evaluation value (phase difference correlation evaluation value) calculation formula explained earlier with reference to FIGS. 16 and 17, and the shading shown in FIG. This is data that is a graph of information.
  • the analysis target area is an area whose angle from the analysis target direction is within 20 degrees.
  • the area where the evaluation value exceeds 3.0 becomes, for example, the analysis target area 170 shown in FIG. 20.
  • the area within 20 degrees from the analysis target direction 160 where the evaluation value (phase difference correlation evaluation value) exceeds 3.0 is the analysis target area 170.
  • a region whose angle from the analysis target direction 160 is 20 degrees or more has an evaluation value (phase difference correlation evaluation value) of 3.0 or less, and becomes a non-analysis target region 175.
  • the threshold value (threshold value corresponding to the phase difference correlation evaluation value) can be set in various ways, and by setting the threshold value to a low value, a wider range of analysis target regions can be set. On the other hand, if the threshold value is set to a high value, a more limited and narrow range of analysis target regions can be set.
  • phase difference correlation determination unit 124 of the data processing unit 120 of the object position analysis device 150 shown in FIG. A phase difference correlation evaluation value is calculated according to the value calculation formula (Equation 1), and only reflected waves exceeding a predefined threshold (threshold corresponding to the phase difference correlation evaluation value) are extracted. That is, only the reflected waves of the analysis target area 170 shown in FIG. 20 are extracted.
  • the reflected wave extracted by the phase difference correlation determination unit 124 that is, the reflected wave whose evaluation value calculated according to the above-mentioned evaluation value calculation formula (Formula 1) exceeds the specified threshold (threshold corresponding to the phase difference correlation evaluation value) is input to the object position (distance, direction) calculation unit 125 shown in FIG.
  • the object position (distance, direction) calculation unit 125 shown in FIG.
  • only the reflected waves of the analysis target region 170 shown in FIG. 20 are input to the object position (distance, direction) calculation unit 125.
  • the object position (distance, direction) calculation unit 125 calculates the object position (distance, direction) based on the reflected waves, using only the reflected waves of the analysis target area 170 as an analysis target.
  • the distance to the object is calculated based on the response time, which is the time from the output timing of the audio pulse to the reception timing of the reflected wave, based on the principle of ToF (Time of Flight), for example.
  • the direction of the object is estimated by applying an existing method, for example, an algorithm such as the beamforming method or the MUSIC method, based on the phase difference between the microphones of the reflected waves.
  • microphones a (ch0) to microphone d (ch3) of the square microphone array shown in FIG. 21(1) are projected onto the x-axis as shown in FIG. 21(2).
  • the direction ⁇ of the reflected wave in the xz plane can be calculated based on the inter-microphone phase difference of the reflected wave.
  • the direction ⁇ of this reflected wave is an angle indicating the plane direction (direction in the xz plane) of the object that reflected the reflected wave.
  • the angle ⁇ corresponds to the angle between the object direction in the xz plane and the Z axis. .
  • microphones a (ch0) to microphone d (ch3) of the square microphone array shown in FIG. 22(1) are projected onto the Y axis as shown in FIG. 22(2). do.
  • the direction ⁇ of the reflected wave in the yz plane can be calculated based on the inter-microphone phase difference of the reflected wave.
  • the direction ⁇ of this reflected wave is an angle indicating the vertical direction (direction in the yz plane) of the object that reflected the reflected wave.
  • the angle ⁇ corresponds to the angle between the object direction in the yz plane and the Z axis. .
  • the object position (distance, direction) calculation unit 125 can calculate the direction of the reflected wave, that is, the direction of the object, in this way, for example.
  • the object analysis device 150 of the present disclosure limits the analysis target area around the analysis target direction, selects only the reflected waves from this limited analysis target area, and selects the reflected waves from the selected reflector.
  • the position of the object that generated the reflected wave that is, the distance and direction to the object, is calculated using only the By performing this kind of processing, it is possible to analyze the object position (distance, direction) without the influence of reflected waves from objects outside the analysis target area, such as reflected waves from the ceiling, etc., and achieve highly accurate object positioning. Analysis is realized.
  • FIG. 23 is a flowchart illustrating the processing sequence executed by the first embodiment described above, that is, the object analysis device 150 described earlier with reference to FIG.
  • processing according to the flowchart shown in FIG. 23 can be executed according to a program stored in the storage unit of the object analysis device 150 shown in FIG. 9.
  • the processing according to the flowchart shown in FIG. 23 is executed under the control of a control section of the object analysis device 150, such as a CPU, which has a program execution function.
  • a control section of the object analysis device 150 such as a CPU
  • Step S101 First, the object analysis device 150 shown in FIG. 9 transmits an ultrasonic pulse in step S101.
  • This process is executed by the timing control section 121 of the data processing section 120 of the object analysis device 150 shown in FIG. 9, the ultrasonic pulse transmitting section 122, and the ultrasonic speaker 101 of the ultrasonic sensor 100.
  • the timing control unit 121 controls the output timing of the ultrasonic pulse signal output from the ultrasonic speaker 101 of the ultrasonic sensor 100.
  • the ultrasonic pulse transmitter 122 generates an ultrasonic pulse signal, and outputs the generated ultrasonic pulse signal from the ultrasonic speaker 101 at a timing controlled by the timing controller 121.
  • the ultrasonic sensor 100 As described with reference to FIGS. 7 and 8, if the plane including the ultrasonic speaker 101 and the square-arranged ultrasonic microphone array 102 constituting the ultrasonic sensor 100 is an xy plane, the ultrasonic sensor 100 The output direction of the ultrasonic pulse signal output from the ultrasonic speaker 101 is the z-axis direction.
  • Step S102 the object analysis device 150 receives the reflected wave of the ultrasonic pulse transmitted in step S101.
  • Ultrasonic pulse signals emitted from the ultrasonic speaker 101 of the ultrasonic sensor 100 are reflected by various objects, and these reflected waves constitute the square ultrasonic microphone array 102 of the ultrasonic sensor 100.
  • the signal is input to each microphone, that is, microphone 1, 102-1 to microphone n, 102-n shown in FIG.
  • a sound wave signal such as the microphone reception signal (a) shown on the right side of FIG. 23 is input to the microphone.
  • This figure corresponds to the (a) microphone reception signal described earlier with reference to FIG.
  • the microphone input signal includes a "direct wave” and a "reflected wave.”
  • a "direct wave” is a direct input signal of an ultrasonic pulse signal output from the ultrasonic speaker 101 of the ultrasonic sensor 100, and is not a reflected wave from an object.
  • a signal that is input to the microphone after a delay from this "direct wave” is a "reflected wave", and the ultrasonic pulse signal output from the ultrasonic speaker 101 of the ultrasonic sensor 100 is reflected by some object and is input to the microphone. This is the input signal.
  • Such audio signals are input to each of the microphones 1, 102-1 to microphone n, 102-n that constitute the squarely arranged ultrasonic microphone array 102 of the ultrasonic sensor 100.
  • Step S103 the object analysis device 150 executes a process of extracting only reflected waves exceeding a predefined threshold from the reflected waves received by the microphone in step S102.
  • This process is executed by the amplitude determination unit 123 of the data processing unit 120 of the object analysis device 150 shown in FIG.
  • the amplitude determination unit 123 selects a reflected wave portion from the input signals (reflected waves) of each microphone 1, 102-1 to microphone n, 102-n constituting the square-arranged ultrasonic microphone array 102, and further From the reflected waves, only reflected waves exceeding a predefined amplitude threshold are extracted as valid reflected waves. Note that a reflected wave exceeding a prescribed amplitude threshold value means that the reflected wave has a reception intensity sufficiently greater than that of environmental noise.
  • the process executed by the amplitude determination unit 123 in step S103 corresponds to the process previously described with reference to FIGS. 11 and 12.
  • the amplitude determination unit 123 first selects a reflected wave portion from the microphone reception signal. Thereafter, from the selected reflected waves, only reflected waves exceeding a predefined amplitude threshold are extracted as valid reflected waves. For example, as previously explained with reference to FIG. 12, the waveform portion shown in "(b2) Processing example-2 of amplitude determination unit 123" in FIG. 12 is an effective reflection exceeding a predefined amplitude threshold. Extracted as a wave.
  • step S104 the object analysis device 150 further determines that the phase difference correlation evaluation value is a predefined threshold value (phase difference correlation evaluation value Execute processing to extract only the reflected waves exceeding the corresponding threshold value).
  • This process is executed by the phase difference correlation determining unit 124 of the data processing unit 120 of the object analysis device 150 shown in FIG.
  • the process executed by the phase difference correlation determination unit 124 in step S104 corresponds to the process previously described with reference to FIGS. 13 to 20.
  • the reflected waves exceeding the phase difference correlation evaluation value corresponding threshold extracted by the phase difference correlation determination unit 124 in step S104 are detected in the preset analysis target area. corresponds to the reflected wave from
  • the analysis target area is set as a conical area centered on a specific direction, that is, a specific analysis target direction.
  • a conical region having a central axis centered on an analysis target direction 160 set in the ( ⁇ , ⁇ ) direction can be set as an analysis target region 170.
  • the direction to be analyzed ( ⁇ , ⁇ ) can be set to any direction.
  • the area size of the analysis target area can be freely adjusted by setting the threshold value (threshold value corresponding to the phase difference correlation evaluation value) used by the phase difference correlation determination unit 124.
  • the phase difference correlation determination unit 124 first calculates an evaluation value (phase difference correlation evaluation value) for each of the reflected waves exceeding the prescribed amplitude threshold that the amplitude determination unit 123 extracted in step S103. That is, the evaluation value (phase difference correlation evaluation value) is calculated according to (Formula 1) previously explained with reference to FIGS. 16 and 17.
  • the phase difference correlation evaluation value calculated according to (Equation 1) has a high correlation between the phase difference distribution of each microphone obtained from the observed signal and the phase difference distribution based on the reflected wave from the analysis target direction ( ⁇ , ⁇ ). The lower the correlation (the more dissimilar), the smaller the value. That is, for example, the evaluation value distribution is as described above with reference to FIG. 18.
  • the phase difference correlation determination unit 124 compares the phase difference correlation evaluation value calculated based on the observed signal with a predefined threshold (threshold corresponding to the phase difference correlation evaluation value), and determines the threshold value.
  • a process is executed to determine a region having a phase difference correlation evaluation value exceeding , as an analysis target region. This process is the process previously described with reference to FIG.
  • the evaluation value phase difference correlation evaluation value
  • the analysis target area is an area whose angle from the analysis target direction is within 20 degrees, and becomes the analysis target area 170 shown in FIG. 20.
  • the threshold value (threshold value corresponding to the phase difference correlation evaluation value) can be set in various ways, and by setting the threshold value to a low value, a wider range of analysis target regions can be set. Can be done. On the other hand, if the threshold value is set to a high value, a more limited and narrow range of analysis target regions can be set.
  • step S104 the phase difference correlation determining unit 124 calculates a value according to the above-mentioned evaluation value calculation formula (formula 1) based on the reflected wave exceeding the prescribed amplitude threshold extracted by the amplitude determining unit 123 in step S103. , a phase difference correlation evaluation value is calculated, and only reflected waves exceeding a predefined threshold (threshold corresponding to the phase difference correlation evaluation value) are extracted. That is, only the reflected waves of the analysis target area 170 shown in FIG. 20 are extracted.
  • a predefined threshold threshold corresponding to the phase difference correlation evaluation value
  • Steps S105-S106 the object analysis device 150 calculates the reflected wave extracted by the phase difference correlation determination unit 124 in step S104, that is, a predefined threshold value (threshold value corresponding to the phase difference correlation evaluation value).
  • the object position is calculated based on the reflected waves, with only the reflected waves having a phase difference correlation evaluation value exceeding the above as the object of analysis.
  • This process is executed by the object position (distance, direction) calculation unit 125 of the data processing unit 120 of the object analysis device 150 shown in FIG.
  • the object position (distance, direction) calculation unit 125 calculates the object distance based on the response time, which is the time from the output timing of the audio pulse to the reception timing of the reflected wave, for example, based on the principle of ToF (Time of Flight). .
  • the object direction is estimated by applying an algorithm such as a beamforming method or a MUSIC method. That is, as previously explained with reference to FIG. 21, microphones a (ch0) to microphone d (ch3) of the square microphone array are projected onto the x-axis as shown in FIG. 21(2). . At this projection position, the direction ⁇ of the reflected wave in the xz plane can be calculated based on the inter-microphone phase difference of the reflected wave. Similarly, as shown in FIG. 22, microphones a (ch0) to microphone d (ch3) of the square microphone array shown in FIG. 22(1) are projected onto the y-axis as shown in FIG. 22(2). do. At this projection position, the direction ⁇ of the reflected wave in the yz plane can be calculated based on the inter-microphone phase difference of the reflected wave.
  • an algorithm such as a beamforming method or a MUSIC method. That is, as previously explained with reference to FIG. 21, microphones a (ch0) to microphone d (ch3) of
  • the object position (distance, direction) calculation unit 125 calculates the distance and direction of the object that generated the reflected wave in steps S105 to S106.
  • the object analysis device 150 of the present disclosure limits the analysis target area around the analysis target direction, selects only the reflected waves from this limited analysis target area, and uses only the selected reflector. Then, the position of the object that generated the reflected wave, that is, the distance and direction to the object, is calculated. By performing such processing, it is possible to analyze object positions (distance, direction) that eliminates the influence of reflected waves from objects outside the analysis target area, such as reflected waves from ceilings, etc., and enables highly accurate object positioning. It becomes possible to perform analysis.
  • the ultrasonic sensor 100 of the second embodiment has an ultrasonic speaker 101 that outputs an ultrasonic pulse signal and four microphones arranged in a vertically long diamond shape tilted with respect to the x-axis. It is composed of a diamond-shaped ultrasonic microphone array 103 arranged at each vertex.
  • the ultrasonic sensor 100 of the present disclosure has a diamond-shaped ultrasonic microphone array 103 in which four microphones are arranged at each apex of a rhombus that is long in the vertical direction (y-axis direction) and has an inclination.
  • FIG. 25 shows a detailed layout diagram of the diamond-shaped ultrasonic microphone array 103.
  • the plane of the ultrasonic sensor is the xy plane, and the direction extending perpendicularly from the xy plane is the z axis.
  • the z-axis direction corresponds to the direction of ultrasonic output from the ultrasonic speaker 101.
  • Microphone a (ch0), microphone b (ch1), microphone c (ch2), and microphone d (ch3) shown on the xy coordinates on the right side of FIG. 25 are the four microphones a to d that constitute the diamond-shaped ultrasonic microphone array 103. The detailed location is shown. As shown in the figure, each microphone a (ch0) to d (ch3) is set on the xy plane, has an inclination with respect to the x-axis, and is placed at each vertex of a rhombus that is long in the vertical direction (y-axis direction). .
  • each of the microphones a (ch0) to d (ch3) constituting the diamond-shaped ultrasonic microphone array 103 is connected to the adjacent microphone projected on the x-axis.
  • the microphone interval is set to be ⁇ /4 or less
  • the adjacent microphone interval projected on the y-axis is set to be ⁇ or less.
  • the positions of the respective microphones are arranged so that they do not overlap when projected onto the x-axis. By arranging them in this way, the direction in the xz plane can be estimated with high accuracy. Furthermore, by arranging the projected positions of the microphones on the y-axis so that they do not overlap, the direction in the yz plane can also be estimated with high accuracy.
  • the ultrasonic sensor of the object position analysis device of the second embodiment has the four microphones a (ch0) to d (ch3) tilted on the xy plane as shown in FIG. It has a microphone array arranged at each vertex of a diamond shape long in the vertical direction (y-axis direction), that is, a diamond-shaped ultrasonic microphone array 103.
  • the viewing angle in the yz plane can be narrowed. That is, reflected waves from the ceiling and floor can be eliminated by narrowing the viewing angle, and reflected waves from the horizontal plane (xz plane) can have a wide viewing angle, so a wide positioning range can be secured.
  • the horizontal viewing angle per ultrasonic sensor can be set widely. Therefore, even in a configuration in which it is desired to sense a 360-degree circumference in a horizontal plane, such as an automatic transfer robot, the number of sensors mounted on the robot can be set to a smaller number.
  • the configuration of the data processing unit of the object position analysis device of the second embodiment is similar to the configuration of the data processing unit 120 in the object position analysis device 150 of the first embodiment described above with reference to FIG.
  • the amplitude determination unit 123 of the data processing unit 120 selects a reflected wave portion from the input signal (reflected wave) of each microphone constituting the diamond-shaped ultrasonic microphone array 103, and further selects a reflected wave portion from the selected reflected waves. Only reflected waves exceeding an amplitude threshold are extracted as valid reflected waves.
  • phase difference correlation determination unit 124 calculates a phase difference correlation evaluation value according to the above-mentioned evaluation value calculation formula (Formula 1) based on the reflected waves exceeding the specified amplitude threshold extracted by the amplitude determination unit 123. Then, only reflected waves exceeding a predefined threshold (threshold corresponding to phase difference correlation evaluation value) are extracted.
  • phase difference correlation evaluation value is calculated according to (Equation 1) below.
  • Equation 1 pd( ⁇ , ⁇ ) is the distance between each microphone constituting the diamond-shaped ultrasonic microphone array 103 of the second embodiment with respect to the reflected wave arriving from the direction ( ⁇ , ⁇ ). This is the inter-microphone phase difference that occurs in , and is calculated by the following (Equation 5).
  • ( ⁇ , ⁇ ) are coordinates indicating the direction of arrival of the reflected wave in which the inter-microphone phase difference calculated by the above (Equation 5) occurs, and the microphone array surface of the ultrasonic sensor 100 is the xy plane, and the audio output direction is the
  • which is the angle between the x-axis and a line obtained by projecting the direction of arrival of the reflected wave onto the xy plane.
  • the matrix shown in the above (Equation 5) is a matrix indicating the amplitude values of the received pulses of the other microphones b to d (ch1 to ch3) at the timing when the amplitude value of the received pulse of microphone a (ch0) is 1, This is a determinant showing the phase difference of each microphone a to d (ch0 to ch3).
  • R is the reception signal calculated by the phase difference correlation determination unit 124 based on the reflected wave exceeding the prescribed amplitude threshold input from the amplitude determination unit 123 in order to determine the analysis target region 170.
  • This is a signal covariance matrix, and is the same covariance matrix as in the first embodiment described above.
  • the covariance matrix R of the received signal is calculated according to the above-mentioned (Equation 3) when the observed signal x(t) at the reception time t of the received signal.
  • phase difference correlation evaluation value calculated when using the diamond-shaped ultrasonic microphone array 103 of the second embodiment will be described.
  • phase difference correlation evaluation value is calculated in the range of 0.0 to 4.0. The higher the phase difference correlation evaluation value, the darker the color (closer to black), and the lower the phase difference correlation evaluation value, the lighter the color (closer to white).
  • FIG. 26(a) shows phase difference correlation evaluation value distribution data observed from the upper right front of the z-axis, which is the analysis target direction.
  • FIG. 26(b) shows phase difference correlation evaluation value distribution data observed from the direction of the z-axis, which is the analysis target direction. Note that the x-axis and y-axis shown in FIG. , 50°).
  • the evaluation value becomes low. Further, in the vertical direction (y-axis direction), the evaluation value decreases rapidly, and in the horizontal direction (x-axis direction), the evaluation value decreases gradually. In other words, it has a flat evaluation value distribution that extends in the horizontal direction.
  • the analysis target area can be made into a flat conical shape that is wide in the horizontal direction and narrow in the vertical direction. For example, it is possible to remove reflected waves from the ceiling and floor, and to set a wide area in the horizontal direction as the area to be analyzed.
  • the phase difference correlation determination unit 124 further compares the phase difference correlation evaluation value calculated according to the above-mentioned (Formula 1) with a predefined threshold (threshold corresponding to the phase difference correlation evaluation value), and determines the threshold value.
  • a predefined threshold threshold corresponding to the phase difference correlation evaluation value
  • the graph shown in FIG. 27 is a graph in which the horizontal axis shows the angle from the direction to be analyzed, and the vertical axis shows the evaluation value.
  • the curve shown in the graph is the curve calculated by the above-mentioned evaluation value (phase difference correlation evaluation value) calculation formula (Equation 1), and is data obtained by graphing the shading information shown in FIG. 26.
  • the evaluation value phase difference correlation evaluation value
  • the evaluation value decreases.
  • the evaluation value decreases rapidly in the vertical direction (y-axis direction) and gradually decreases in the horizontal direction (x-axis direction). do. In other words, it has a flat evaluation value distribution that extends in the horizontal direction.
  • the analysis target region is an area whose angle from the analysis target direction is within 20° in the vertical direction (y-axis direction) and 45° in the horizontal direction (x-axis direction).
  • the analysis target area of the second embodiment can be made into a flat conical shape that is wide in the horizontal direction and narrow in the vertical direction.
  • reflected waves from the ceiling or floor can be removed, and a wide area can be set as the analysis target area in the horizontal direction. That is, by using a diamond-shaped microphone array, reflected waves from the ceiling and floor can be eliminated with a narrow viewing angle, and a wide positioning range can be secured on the horizontal plane (xz plane).
  • the square-arranged ultrasonic microphone array 102 of the ultrasonic sensor 100 of the object position analysis device 150 of the first embodiment described earlier with reference to FIG. 9 is triangular instead of square. This configuration is replaced with a triangularly arranged ultrasonic microphone array.
  • the ultrasonic sensor 100 of the third embodiment has a triangularly arranged ultrasonic sensor in which an ultrasonic speaker 101 that outputs an ultrasonic pulse signal and three microphones are arranged at each apex of an inclined triangle. It is composed of a microphone array 104.
  • FIG. 28 shows a detailed layout diagram of the triangularly arranged ultrasonic microphone array 104.
  • the plane of the ultrasonic sensor is the xy plane, and the direction extending perpendicularly from the xy plane is the z axis.
  • the z-axis direction corresponds to the direction of ultrasonic output from the ultrasonic speaker 101.
  • each of the microphones a (ch0) to c (ch2) constituting the triangularly arranged ultrasonic microphone array 103 is arranged on the x-axis and on the y-axis.
  • the distance between adjacent microphones projected on each is set to ⁇ /4 or less.
  • the ultrasonic sensor of the object position analysis device of Example 3 arranges the three microphones a (ch0) to c (ch2) in a triangular shape with an inclination set on the xy plane as shown in FIG. , that is, a triangularly arranged ultrasonic microphone array 104.
  • Example 4 which will be described below, is an example in which an object position analysis device having an ultrasonic sensor and a posture sensor is attached to a walking support cane for a visually impaired person, for example.
  • an object position analysis device 150B is attached to a cane 240 held by a user 180, such as a visually impaired person.
  • the object position analysis device 150B is a device including an ultrasonic sensor 100 and a posture sensor 200.
  • attitude information obtained from an acceleration sensor or a gyro sensor may be used to control the attitude of a gimbal or a drone.
  • attitude control using these mechanisms there is a high possibility that a delay due to physical effects such as weight will occur before the information from the posture sensor is reflected in the posture of the device.
  • an object position analysis device 150B having an attitude sensor 200 is attached to the cane 240 together with the ultrasonic sensor 100, and the analysis target direction and analysis target area are dynamically changed based on the angle information from the attitude sensor 200. , the object position analysis in the front direction (walking direction) of the user 180 is executed without delay. With this configuration, it is possible to quickly correct posture fluctuations of the positioning device using only signal processing, without dynamically changing the placement or orientation of the ultrasonic speaker or microphone.
  • FIG. 30 shows the following two diagrams.
  • the user 180 holds the cane 240 in his right hand
  • the direction of the cane 240 is diagonally forward to the left of the user 180
  • the user 180 is in front of the user 180. It is out of direction.
  • the ultrasonic sensor 100 of the object position analysis device 150B attached to the cane 240 faces in the direction of the cane 240, that is, diagonally in front of the left of the user 180.
  • the analysis target direction 160a shown in "(a) Before analysis target area correction” is the front direction of the plane (xy plane) of the ultrasonic sensor 100 of the object position analysis device 150B, that is, perpendicular to the plane (plane) of the ultrasonic sensor 100.
  • the z-axis direction is the forward direction
  • the analysis target area 170b is set to have a conical shape facing in front of the user 180, making it possible to reliably detect objects in the user's advancing direction. Become.
  • FIG. 31 shows a configuration example of the object position analysis device B of the fourth embodiment.
  • the object position analysis device B shown in FIG. 31 corresponds to a configuration in which a posture sensor 200 is added to the object position analysis device 150 of the first embodiment described above with reference to FIG.
  • the amplitude determination unit 123 of the data processing unit 120 selects a reflected wave portion from the input signal (reflected wave) of each microphone constituting the square-arranged ultrasonic microphone array 102, and further selects a reflected wave portion from the selected reflected waves. Only reflected waves exceeding an amplitude threshold are extracted as valid reflected waves.
  • phase difference correlation determination unit 124 calculates a phase difference correlation evaluation value according to the above-mentioned evaluation value calculation formula (Formula 1) based on the reflected waves exceeding the specified amplitude threshold extracted by the amplitude determination unit 123. Then, only reflected waves exceeding a predefined threshold (threshold corresponding to phase difference correlation evaluation value) are extracted.
  • the phase difference correlation evaluation value calculated by the evaluation value calculation formula according to the above is calculated in the front direction of the plane (xy plane) of the ultrasonic sensor 100 of the object position analysis device 150B, that is, the plane of the ultrasonic sensor 100.
  • the phase difference correlation evaluation value calculated by the evaluation value calculation formula according to the above is calculated in the front direction of the plane (xy plane) of the ultrasonic sensor 100 of the object position analysis device 150B, that is, the ultrasonic sensor
  • the analysis target direction 160a is set in the z-axis direction in the vertical forward direction from the 100th plane (plane).
  • the analysis target direction 160a shown in FIG. 30 "(a) Before analysis target area correction" is obtained.
  • phase difference correlation evaluation value is calculated using the evaluation value calculation formula shown in (Formula 6b) below.
  • the evaluation value calculation formula according to the above (Equation 6b) is as shown in FIG. It is a formula.
  • the analysis target direction 160b shown in FIG. 30 "(b) Before analysis target area correction" is obtained.
  • the phase difference correlation determination unit 124 inputs the angle information of the direction of movement (front direction) of the user 180 from the posture sensor 200, and determines the direction of movement (front direction) of the user 180.
  • a phase difference correlation evaluation value calculation process is executed such that the evaluation value is the highest in the direction to be analyzed.
  • FIG. 32 is a flowchart illustrating a processing sequence executed by the fourth embodiment, that is, the object analysis device 150B shown in FIG. 31.
  • the processing according to the flowchart shown in FIG. 32 can be executed according to a program stored in the storage unit of the object analysis device 150B shown in FIG. 31.
  • the processing according to the flowchart shown in FIG. 32 is executed under the control of a control unit, such as a CPU, having a program execution function of the object analysis device 150B.
  • a control unit such as a CPU
  • Step S100 First, the object analysis device 150B shown in FIG. 31 acquires a detected value of the attitude sensor 200 in step S100.
  • the angle information of the user's front direction ( ⁇ , ⁇ ) ( ⁇ s, ⁇ s) (angle information with respect to the sensor front direction (z-axis direction)) acquired by the posture sensor 200 is sent to the phase difference correlation determination unit 124 of the data processing unit 120. is input.
  • Step S101 The processes in the next steps S101 to S103 are similar to the processes in steps S101 to S103 in the process flow of the first embodiment described earlier with reference to FIG.
  • step S101 the object analysis device 150B transmits an ultrasonic pulse.
  • This process is executed by the timing control section 121 of the data processing section 120, the ultrasonic pulse transmitting section 122, and the ultrasonic speaker 101 of the ultrasonic sensor 100 of the object analysis device 150B shown in FIG.
  • the timing control unit 121 controls the output timing of the ultrasonic pulse signal output from the ultrasonic speaker 101 of the ultrasonic sensor 100.
  • the ultrasonic pulse transmitter 122 generates an ultrasonic pulse signal, and outputs the generated ultrasonic pulse signal from the ultrasonic speaker 101 at a timing controlled by the timing controller 121.
  • the output of the ultrasonic pulse signal output from the ultrasonic speaker 101 of the ultrasonic sensor 100 is an xy plane
  • the output of the ultrasonic pulse signal output from the ultrasonic speaker 101 of the ultrasonic sensor 100 The direction is the z-axis direction.
  • Step S102 the object analysis device 150 receives the reflected wave of the ultrasonic pulse transmitted in step S101.
  • Ultrasonic pulse signals emitted from the ultrasonic speaker 101 of the ultrasonic sensor 100 are reflected by various objects, and these reflected waves constitute the square ultrasonic microphone array 102 of the ultrasonic sensor 100.
  • the signal is input to each microphone, that is, microphone 1, 102-1 to microphone n, 102-n shown in FIG.
  • Step S103 the object analysis device 150B executes a process of extracting only reflected waves exceeding a predefined threshold from the reflected waves received by the microphone in step S102.
  • This process is executed by the amplitude determination unit 123 of the data processing unit 120 of the object analysis device 150B shown in FIG.
  • the amplitude determination unit 123 selects a reflected wave portion from the input signals (reflected waves) of each microphone 1, 102-1 to microphone n, 102-n constituting the square-arranged ultrasonic microphone array 102, and further From the reflected waves, only reflected waves exceeding a predefined amplitude threshold are extracted as valid reflected waves. Note that a reflected wave exceeding a prescribed amplitude threshold value means that the reflected wave has a reception intensity sufficiently greater than that of environmental noise.
  • the process executed by the amplitude determination unit 123 in step S103 corresponds to the process previously described with reference to FIGS. 11 and 12.
  • the amplitude determination unit 123 first selects a reflected wave portion from the microphone reception signal. Thereafter, from the selected reflected waves, only reflected waves exceeding a predefined amplitude threshold are extracted as valid reflected waves. For example, as previously explained with reference to FIG. 12, the waveform portion shown in "(b2) Processing example-2 of amplitude determination unit 123" in FIG. 12 is an effective reflection exceeding a predefined amplitude threshold. Extracted as a wave.
  • step S104 the object analysis device 150B further determines that the phase difference correlation evaluation value is a predefined threshold value (phase difference correlation evaluation value Execute processing to extract only the reflected waves exceeding the corresponding threshold value).
  • phase difference correlation evaluation value is calculated by generating an evaluation value calculation formula according to (Equation 6b) described above.
  • the evaluation value calculation formula according to (Formula 6b) explained earlier is as shown in FIG. This is an evaluation value calculation formula.
  • the analysis target direction 160b shown in FIG. 30 "(b) Before analysis target area correction" is obtained.
  • the phase difference correlation determination unit 124 inputs the angle information of the direction of movement (front direction) of the user 180 from the posture sensor 200, and determines the direction of movement (front direction) of the user 180.
  • a phase difference correlation evaluation value calculation process is executed such that the evaluation value is the highest in the direction to be analyzed. This process makes it possible to set the analysis target area in the front direction of the user 180.
  • phase difference correlation determination unit 124 calculates the phase difference correlation evaluation value calculated based on the evaluation value calculation formula according to the above (Formula 6b) and a predefined threshold value (phase difference correlation evaluation value corresponding threshold value). ) and determines a region having a phase difference correlation evaluation value exceeding a threshold as an analysis target region. This process is similar to the process previously described with reference to FIG.
  • the threshold value (threshold value corresponding to the phase difference correlation evaluation value) can be set in various ways, and by setting the threshold value to a low value, a wider range of analysis target regions can be set. Can be done. On the other hand, if the threshold value is set to a high value, a more limited and narrow range of analysis target regions can be set.
  • step S104 the phase difference correlation determining unit 124 calculates a value according to the above-mentioned evaluation value calculation formula (formula 6b) based on the reflected waves exceeding the prescribed amplitude threshold extracted by the amplitude determining unit 123 in step S103. , a phase difference correlation evaluation value is calculated, and only reflected waves exceeding a predefined threshold (threshold corresponding to the phase difference correlation evaluation value) are extracted. This process makes it possible to extract only the reflected waves of the analysis target area 170b set in the front direction of the user 180, as shown in FIG. 30(b).
  • Steps S105 to S106 the object analysis device 150 detects only the reflected waves extracted by the phase difference correlation determination unit 124 in step S104, that is, the reflected waves of the analysis target area 170b set in the front direction of the user 180.
  • the object position is calculated based on reflected waves.
  • This process is executed by the object position (distance, direction) calculation unit 125 of the data processing unit 120 of the object analysis device 150B shown in FIG.
  • the object position (distance, direction) calculation unit 125 calculates the object distance based on the response time, which is the time from the output timing of the audio pulse to the reception timing of the reflected wave, for example, based on the principle of ToF (Time of Flight). .
  • the object direction is estimated by applying an algorithm such as a beamforming method or a MUSIC method.
  • an algorithm such as a beamforming method or a MUSIC method.
  • the direction of the reflected wave that is, the direction of the object, is calculated according to the processing described with reference to FIGS. 21 and 22.
  • the object position (distance, direction) calculation unit 125 calculates the distance and direction of the object that generated the reflected wave in steps S105 to S106.
  • the object analysis device 150B of the fourth embodiment changes the analysis target direction to the user's traveling direction (frontal direction) based on the user's traveling direction (frontal direction) information acquired by the posture sensor 200.
  • a limited analysis target area is set, and the reflected waves from the set analysis target area are used to calculate the position of the object that generated the reflected wave, that is, the distance and direction to the object.
  • FIG. 33 an example of the hardware configuration of the object position analysis device of the present disclosure will be described.
  • the object position analysis device corresponds to the object position analysis devices 150 and 150B described earlier with reference to 23, FIG. 32, and the like.
  • Each component of the hardware configuration of the object position analysis device of the present disclosure shown in FIG. 33 will be described below.
  • a CPU (Central Processing Unit) 301 functions as a data processing unit that executes various processes according to programs stored in a ROM (Read Only Memory) 302 or a storage unit 308. For example, processing according to the sequence described in the embodiment described above is executed.
  • a RAM (Random Access Memory) 303 stores programs executed by the CPU 301, data, and the like. These CPU 301, ROM 302, and RAM 303 are interconnected by a bus 304.
  • the CPU 301 is connected to an input/output interface 305 via a bus 304, and the input/output interface 305 is connected to an input section 306, an output section 307, a storage section 308, a communication section 309, and a drive 310 connected to a removable medium. has been done.
  • the input unit 306 includes various sensors such as the ultrasonic sensor and posture sensor described in the above embodiments, as well as various switches, a keyboard, a touch panel, a mouse, a microphone, and a user input unit.
  • the output unit 307 is composed of a speaker for outputting audio pulses such as ultrasonic waves described in the above-mentioned embodiments, a display, and the like.
  • the CPU 301 receives commands, situation data, etc. input from the input unit 306, executes various processes, and outputs the processing results to, for example, the output unit 307.
  • a storage unit 308 connected to the input/output interface 305 is made up of, for example, a hard disk, and stores programs executed by the CPU 301 and various data.
  • the communication unit 309 functions as a transmitting/receiving unit for data communication via a network such as the Internet or a local area network, and communicates with an external device.
  • a drive 310 connected to the input/output interface 305 drives a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and records or reads data.
  • a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card
  • a speaker that outputs an audio pulse signal, a plurality of microphones that input reflected waves of the audio pulse signal outputted by the speaker; a data processing unit that analyzes the reflected waves input by the plurality of microphones and analyzes the position of the object that reflected the audio pulse signal;
  • the data processing unit includes: From the reflected waves input by the plurality of microphones, a reflected wave having a phase difference that is highly correlated with a phase difference of an audio pulse signal from a predefined direction to be analyzed is selected as a reflected wave to be analyzed;
  • An object position analysis device that analyzes the position of an object within an analysis target area near the analysis target direction by analyzing a selected analysis target reflected wave.
  • the data processing unit includes: calculating a phase difference correlation evaluation value that increases as the correlation between the reflected waves input by the plurality of microphones and the phase difference of the audio pulse signal from the analysis target direction increases; The object position analysis device according to (1), wherein a reflected wave whose calculated phase difference correlation evaluation value exceeds a predefined threshold value is selected as the reflected wave to be analyzed.
  • the plurality of microphones are Three or more microphones arranged on an xy plane so that the projection positions of each microphone on the x axis do not overlap
  • the data processing unit includes: From among the reflected waves input by the three or more microphones, a reflected wave having a phase difference that is highly correlated with a phase difference of an audio pulse signal from a predefined direction to be analyzed is selected as a reflected wave to be analyzed (1); or The object position analysis device according to (2).
  • the plurality of microphones are: Three or more microphones arranged on the xy plane, arranged so that the projected positions of the microphones on the x-axis do not overlap, and the projected positions of the microphones on the y-axis do not overlap,
  • the data processing unit includes: From the reflected waves input by the three or more microphones, a reflected wave having a phase difference that is highly correlated with a phase difference of an audio pulse signal from a predefined analysis target direction is selected as an analysis target reflected wave (1) (3)
  • the object position analysis device according to any one of the above.
  • the plurality of microphones are: arranged on the xy plane,
  • the data processing unit includes: Selecting, as a reflected wave to be analyzed, a reflected wave having a phase difference that is highly correlated with a phase difference of an audio pulse signal from a predefined direction to be analyzed from among the reflected waves input by the microphones constituting the square-arranged microphone array;
  • the object position analysis device according to (5) wherein the object position analysis device analyzes the position of the object within the analysis target region that is constituted by a conical region having the analysis target direction as the central axis by analyzing the selected analysis target reflected wave.
  • the plurality of microphones are: arranged on the xy plane,
  • the object position analysis device according to any one of (1) to (4), which is a diamond-shaped microphone array in which four microphones are arranged at four vertices of a diamond that is inclined with respect to the x-axis and long in the y-axis direction.
  • the data processing unit Selecting a reflected wave having a phase difference that is highly correlated with a phase difference of an audio pulse signal from a predefined analysis target direction from among the reflected waves input by the microphones constituting the diamond-shaped microphone array, as a reflected wave to be analyzed;
  • the object position analysis device which analyzes the position of an object within an analysis target region composed of a flat conical region having the analysis target direction as a central axis by analyzing the selected analysis target reflected wave. .
  • the plurality of microphones are: arranged on the xy plane,
  • the audio pulse signal is an ultrasonic signal, the speaker outputs an ultrasonic signal;
  • the plurality of microphones input reflected waves of the ultrasonic signals output by the speakers,
  • the data processing unit includes: The object position analysis device according to any one of (1) to (9), which executes analysis processing of reflected waves of ultrasonic signals inputted by the plurality of microphones.
  • the data processing unit includes: an amplitude determination unit that extracts only reflected waves exceeding a predefined amplitude threshold as valid reflected waves from the reflected waves input by the plurality of microphones; a phase difference correlation determination unit that further extracts only reflected waves exceeding a prescribed phase difference correlation evaluation value corresponding threshold from the reflected waves exceeding a prescribed amplitude threshold extracted by the amplitude determination unit; an object position calculation unit that analyzes the distance and direction of the object within the analysis target area by analyzing a reflected wave exceeding a threshold corresponding to a certain phase difference correlation evaluation value extracted by the phase difference correlation determination unit (1); ) to (10).
  • the phase difference correlation determining unit includes: calculating a phase difference correlation evaluation value that increases as the correlation between the reflected waves input by the plurality of microphones and the phase difference of the audio pulse signal from the analysis target direction increases; The object position analysis device according to (11), wherein a reflected wave whose calculated phase difference correlation evaluation value exceeds a predefined threshold is extracted as the analysis target reflected wave.
  • the object position calculation unit includes: As an analysis process for reflected waves exceeding a certain phase difference correlation evaluation value corresponding threshold extracted by the phase difference correlation determination unit, The plurality of microphones arranged on the xy plane are projected onto the x-axis, and the direction ⁇ of the reflected wave on the xz plane is calculated based on the inter-microphone phase difference of the reflected wave at the projected microphone position. 11) or the object position analysis device according to (12).
  • the object position calculation unit further includes: The plurality of microphones arranged on the xy plane are projected onto the y axis, and the direction ⁇ of the reflected waves on the yz plane is calculated based on the inter-microphone phase difference of the reflected waves at the projected microphone positions. 13) The object position analysis device according to item 13).
  • the object position analysis device further includes: comprising a posture sensor that analyzes the posture of the object position analysis device;
  • the phase difference correlation determining unit includes: The object position analysis device according to any one of (11) to (14), which controls the direction to be analyzed and the region to be analyzed based on the detected value of the attitude sensor.
  • the phase difference correlation determining unit includes: The object position analysis device according to (15), wherein the object position analysis device is controlled to set the analysis target direction to the traveling direction of the user holding the object position analysis device, based on the detected value of the posture sensor.
  • An object position analysis method executed in an object position analysis device the speaker outputting an audio pulse signal; inputting reflected waves of the audio pulse signal output by the speaker into a plurality of microphones;
  • the data processing unit has an object position analysis processing step of analyzing the reflected waves input by the plurality of microphones to analyze the position of the object that reflected the audio pulse signal,
  • the data processing unit includes: In the object position analysis processing step, From the reflected waves input by the plurality of microphones, a reflected wave having a phase difference that is highly correlated with a phase difference of an audio pulse signal from a predefined direction to be analyzed is selected as a reflected wave to be analyzed; An object position analysis method that analyzes the position of an object within an analysis target area near the analysis target direction by analyzing a selected analysis target reflected wave.
  • a program that causes an object position analysis device to execute object position analysis processing a step of causing the speaker to output an audio pulse signal; inputting reflected waves of the audio pulse signal outputted by the speaker into a plurality of microphones; causing the data processing unit to execute an object position analysis processing step of analyzing the reflected waves input by the plurality of microphones and analyzing the position of the object that reflected the audio pulse signal;
  • the program includes, in the object position analysis processing step, A process of selecting, from the reflected waves input by the plurality of microphones, a reflected wave having a phase difference that is highly correlated with a phase difference of an audio pulse signal from a predefined direction to be analyzed as a reflected wave to be analyzed;
  • a program that records the processing sequence can be installed and executed in the memory of a computer built into dedicated hardware, or the program can be installed on a general-purpose computer that can execute various types of processing. It is possible to install and run it.
  • the program can be recorded in advance on a recording medium.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet, and installed on a recording medium such as a built-in hard disk.
  • a system is a logical collective configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same housing.
  • an object position analysis device that analyzes the position of an object within a specific analysis target area.
  • a speaker that outputs an audio pulse signal
  • multiple microphones that input reflected waves of the audio pulse signal output by the speakers
  • an audio pulse signal that is generated by analyzing the reflected waves input by the multiple microphones.
  • It has a data processing unit that analyzes the position of the object that reflected the light.
  • the data processing unit selects, as a reflected wave to be analyzed, a reflected wave having a phase difference that is highly correlated with the phase difference of the audio pulse signal from a predefined direction to be analyzed from among the reflected waves input by the plurality of microphones.
  • the reflected wave to be analyzed the position of the object in the area to be analyzed near the direction to be analyzed is analyzed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

特定の解析対象領域内の物体の位置を解析する物***置解析装置を実現する。音声パルス信号を出力するスピーカーと、スピーカーが出力した音声パルス信号の反射波を入力する複数のマイクと、複数のマイクが入力した反射波を解析して、音声パルス信号を反射した物体の位置を解析するデータ処理部を有する。データ処理部は、複数のマイクが入力した反射波から、予め規定した解析対象方向からの音声パルス信号の位相差との相関が高い位相差を有する反射波を解析対象反射波として選択し、選択した解析対象反射波の解析処理により、解析対象方向近傍の解析対象領域内の物体の位置を解析する。

Description

物***置解析装置、および物***置解析方法、並びにプログラム
 本開示は、物***置解析装置、および物***置解析方法、並びにプログラムに関する。さらに詳細には、ロボット等の移動装置に装着したセンサを用いて物体の距離や方向を解析する物***置解析装置、および物***置解析方法、並びにプログラムに関する。
 ロボットや自動運転車両等の移動装置が自律走行を行う場合、周囲の障害物の位置など、周囲状況を把握することが必要となる。
 移動装置が障害物に衝突あるいは接触することなく安全に目的地まで自律走行するためには、障害物の位置や方向を正確に把握することが必要であり、この処理のためにロボットや自動運転車両等の移動装置には様々なセンサが装着されている。
 障害物の位置や方向を解析するセンサとして、超音波センサ等、音声パルス信号を利用したセンサがある。
 超音波センサは、光学センサに比べてガラスや鏡なども検知可能、低消費電力などの利点がある。
 超音波センサは、超音波パルス波を送信し、物体からの反射波を受信する。パルス波の送信から受信までの時間を計測し、計測時間に音速を乗算することで物体までの距離を算出することができる。また、物体の方向は、超音波を出力するマイクを複数配置したマイクアレイを利用したビームフォーミング法やMUSIC法などのアルゴリズムを利用して算出することができる。
 しかし、超音波は送信波の指向性が広く、物体検出範囲以外の様々な方向からの反射波がノイズとしてマイクに入力されてしまうという問題がある。
 例えばロボット走行方向であるロボット正面方向の物体を検出するため、センサをロボットの正面方向に向けた場合でも、ロボット正面方向以外の天井や床面、側壁等からの反射波がマイクに入力される。
 このように、目的の物体検出領域であるロボット正面方向以外の外部領域からの反射波がセンサのマイクに入力すると、目的のロボット正面方向の物体検出精度が低下する。
 例えば、ロボットが自立走行する場合、ロボット進行方向の走行面から一定の高さにある障害物など、特定領域にある物体検出を高精度に実行することが必要であり、天井や床面からの反射波(ノイズ)はできるだけ除外したい。
 このようなノイズを除去する手法として、例えば、超音波を出力するスピーカーにホーンを取り付けてスピーカーの指向性を高める手法がある。しかし、ホーンの効果には限界があり、十分なノイズ除去効果を得ることは困難である。
 また、例えば、特許文献1(特開2001-183437号公報)には、物***置検出を水平方向のみならず、仰角方向にも実行して天井面や床面の検出も行い、ロボット周囲の3次元空間全ての物体検出を実現する構成を開示している。
 しかし、この手法は、ロボット走行に不要な天井位置などの多くのオブジェクト位置算出処理を行うことが必要であり処理負荷が増大する。さらに高速処理が困難になり、結果としてロボットの走行速度を低下させることになるという問題がある。
特開2001-183437号公報 特開2000-152372号公報 国際公開WO2006/004099号公報
 本開示は、例えば上記問題点に鑑みてなされたものであり、ロボット等の移動装置に装着した超音波センサ等、音声パルス信号を用いたセンサを利用して物***置検出を行う構成において、例えば天井からの反射波等、目的方向以外の反射波を除去して、目的方向の物体の距離や方向を高速かつ高精度に解析することを可能とした物***置解析装置、および物***置解析方法、並びにプログラムを提供することを目的とする。
 本開示の第1の側面は、
 音声パルス信号を出力するスピーカーと、
 前記スピーカーが出力した音声パルス信号の反射波を入力する複数のマイクと、
 前記複数のマイクが入力した反射波を解析して、音声パルス信号を反射した物体の位置を解析するデータ処理部を有し、
 前記データ処理部は、
 前記複数のマイクが入力した反射波から、予め規定した解析対象方向からの音声パルス信号の位相差との相関が高い位相差を有する反射波を解析対象反射波として選択し、
 選択した解析対象反射波の解析処理により、前記解析対象方向近傍の解析対象領域内の物体の位置を解析する物***置解析装置にある。
 さらに、本開示の第2の側面は、
 物***置解析装置において実行する物***置解析方法であり、
 スピーカーが、音声パルス信号を出力するステップと、
 複数のマイクが、前記スピーカーが出力した音声パルス信号の反射波を入力するステップと、
 データ処理部が、前記複数のマイクが入力した反射波を解析して、音声パルス信号を反射した物体の位置を解析する物***置解析処理ステップを有し、
 前記データ処理部は、
 前記物***置解析処理ステップにおいて、
 前記複数のマイクが入力した反射波から、予め規定した解析対象方向からの音声パルス信号の位相差との相関が高い位相差を有する反射波を解析対象反射波として選択し、
 選択した解析対象反射波の解析処理により、前記解析対象方向近傍の解析対象領域内の物体の位置を解析する物***置解析方法にある。
 さらに、本開示の第3の側面は、
 物***置解析装置において物***置解析処理を実行させるプログラムであり、
 スピーカーに、音声パルス信号を出力させるステップと、
 複数のマイクに、前記スピーカーが出力した音声パルス信号の反射波を入力させるステップと、
 データ処理部に、前記複数のマイクが入力した反射波を解析して、音声パルス信号を反射した物体の位置を解析させる物***置解析処理ステップを実行させ、
 前記プログラムは、前記物***置解析処理ステップにおいて、
 前記複数のマイクが入力した反射波から、予め規定した解析対象方向からの音声パルス信号の位相差との相関が高い位相差を有する反射波を解析対象反射波として選択する処理と、
 選択した解析対象反射波の解析処理により、前記解析対象方向近傍の解析対象領域内の物体の位置を解析する処理を実行させるプログラムにある。
 なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
 本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、特定の解析対象領域内の物体の位置を解析する物***置解析装置が実現される。
 具体的には、例えば、音声パルス信号を出力するスピーカーと、スピーカーが出力した音声パルス信号の反射波を入力する複数のマイクと、複数のマイクが入力した反射波を解析して、音声パルス信号を反射した物体の位置を解析するデータ処理部を有する。データ処理部は、複数のマイクが入力した反射波から、予め規定した解析対象方向からの音声パルス信号の位相差との相関が高い位相差を有する反射波を解析対象反射波として選択し、選択した解析対象反射波の解析処理により、解析対象方向近傍の解析対象領域内の物体の位置を解析する。
 本構成により、特定の解析対象領域内の物体の位置を解析する物***置解析装置が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の移動装置の一例であるロボットの例について説明する図である。 超音波センサを用いた物***置(距離と方向)の解析処理の概要について説明する図である。 超音波スピーカーが出力するパルス信号の例について説明する図である。 超音波マイクアレイを構成する各マイクの入力パルス信号の例について説明する図である。 物***置解析方向以外の様々な方向からの反射波によって解析精度が低下する問題について説明する図である。 物***置解析方向以外の様々な方向からの反射波によって解析精度が低下する問題を解決するための従来構成例について説明する図である。 本開示の物***置解析装置のセンサの一例である超音波センサの構成例について説明する図である 正方形配置超音波マイクアレイの詳細構成について説明する図である。 実施例1の物***置解析装置の構成例について説明する図である。 1つのマイクに入力される入力信号(入力超音波信号)の例について説明する図である。 振幅判定部が実行する処理の具体例について説明する図である。 振幅判定部が実行する処理の具体例について説明する図である。 解析対象方向と、解析対象領域の具体例について説明する図である。 解析対象領域の領域サイズの調整例について説明する図である。 位相差相関判定部が実行する規定の位相差相関評価値対応しきい値を超えた反射波の抽出処理の具体例について説明する図である。 位相差相関判定部が実行する規定の位相差相関評価値対応しきい値を超えた反射波の抽出処理の具体例について説明する図である。 位相差相関判定部が実行する規定の位相差相関評価値対応しきい値を超えた反射波の抽出処理の具体例について説明する図である。 評価値(位相差相関評価値)の具体的な算出結果の例について説明する図である。 解析対象領域を、しきい値(位相差相関評価値対応しきい値)に基づいて決定する処理の例について説明する図である。 しきい値(位相差相関評価値対応しきい値)に基づいて決定した解析対象領域の例について説明図である。 物***置(距離、方向)算出部が実行する物体の方向の解析処理例について説明図である。 物***置(距離、方向)算出部が実行する物体の方向の解析処理例について説明図である。 実施例1の物体解析装置が実行する処理シーケンスについて説明するフローチャートを示す図である。 実施例2の超音波センサのひし形配置超音波マイクアレイの構成例について説明する図である。 実施例2の超音波センサのひし形配置超音波マイクアレイの構成例について説明する図である。 実施例2のひし形配置超音波マイクアレイを利用した場合に算出される位相差相関評価値の具体例について説明する図である。 位相差相関評価値と、予め規定したしきい値(位相差相関評価値対応しきい値)を比較して、しきい値を超えた位相差相関評価値を有する領域を解析対象領域と判定する処理について説明する図である。 実施例3の超音波センサの三角形配置超音波マイクアレイの構成例について説明する図である。 実施例4の超音波センサと姿勢センサを有する物***置解析装置について説明する図である。 超音波センサと姿勢センサを有する実施例4の物***置解析装置が実行する処理について説明する図である。 超音波センサと姿勢センサを有する実施例4の物***置解析装置の構成例について説明する図である。 実施例4の物***置解析装置が実行する処理シーケンスについて説明するフローチャートを示す図である。 本開示の物***置解析装置のハードウェア構成例について説明する図である。
 以下、図面を参照しながら本開示の物***置解析装置、および物***置解析方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
 1.センサを用いた物***置解析処理の概要と問題点について
 2.(実施例1)正方形配置マイクアレイを持つセンサを利用した実施例について
 3.(実施例1)正方形配置マイクアレイを持つセンサを利用した実施例の処理シーケンスについて
 4.(実施例2)ひし形配置マイクアレイを持つセンサを利用した実施例について
 5.(実施例3)三角形配置マイクアレイを持つセンサを利用した実施例について
 6.(実施例4)超音波センサと姿勢センサを有する物***置解析装置の実施例について
 7.物***置解析装置のハードウェア構成例について
 8.本開示の構成のまとめ
  [1.センサを用いた物***置解析処理の概要と問題点について]
 まず、センサを用いた物***置解析処理の概要と問題点について説明する。
 前述したように、ロボットや自動運転車両等の移動装置が障害物にぶつかることなく安全に目的地まで走行するためには、障害物の位置や方向を正確に把握することが必要である。
 障害物等の物体の位置を解析するためにロボットや自動運転車両等の移動装置には様々なセンサが装着されている。
 障害物の位置や方向を解析するセンサの一つに超音波センサ等、音声パルス信号を利用したセンサがある。超音波センサは、光学センサに比べてガラスや鏡なども検知可能、低消費電力などの利点がある。
 図1は、超音波センサ20を装着したロボット10の例を示す図である。ロボット10は、ロボット10の進行方向にある障害物など、様々な物体との衝突回避のため、ロボット10の進行方向にある物体50の位置、すなわちロボット10から物体50までの距離や、ロボット10に対する物体の方向を解析する必要がある。
 図1に示すロボット10に装着された超音波センサ20は、超音波パルス波を送信し、物体50からの反射波を受信する。ロボット10内の物***置解析装置は、パルス波の送信から受信までの時間を計測し、計測時間に音速を乗算して物体50までの距離を算出する。
 また、超音波センサ20は、マイクを複数配置したマイクアレイ構成を有しており、ロボット10内の物***置解析装置は、ビームフォーミング法やMUSIC法などのアルゴリズムを利用して、ロボット10に対する物体50の方向を算出することができる。
 図2を参照して、超音波センサを用いた物***置(距離と方向)の解析処理の概要について説明する。
 図2(a1)には、物体検出環境の一例を示している。超音波センサ20と物体50を示している。図にはロボット10を示していないが、超音波センサ20は例えば図1に示すロボット10に装着されたセンサである。
 なお、超音波センサ20の平面をxy平面とし、超音波センサ20の正面方向をz方向として示している。
 超音波センサ20からはz軸方向に送信波として超音波パルス信号が出力される。
 図2(a2)は、従来の一般的な超音波センサ20の構成例を示す図である。
 超音波センサ20は、超音波パルス信号を出力する超音波スピーカー21と、複数のマイクを直線状に配列した超音波マイクアレイ22を有する。
 超音波センサ20の超音波スピーカー21が、図2(a1)に示すz軸方向に超音波パルス信号(送信波)を出力する。
 超音波スピーカー21が出力するパルス信号の例を図3に示す。図3に示すように、超音波スピーカー21は、所定波長、例えば波長λの超音波パルス信号を出力する。
 超音波スピーカー21から出力された送信波としての超音波パルス信号は、物体50によって反射され、反射波が超音波センサ20のマイク(超音波マイクアレイ22)に入力される。
 超音波センサ20の超音波マイクアレイ22の各マイクに入力された反射波は、図示しないロボット10内のデータ処理部に入力され、データ処理部において解析され、反射波を生成した物体50の距離と方向が算出される。
 データ処理部は、例えば超音波マイクアレイ22が取得した反射波のうち、受信強度がしきい値を超えたものを有効な反射波と判定し、超音波パルス信号送信から受信までの時間に対して、音速を乗算して物体50までの距離を算出する。
 さらに、データ処理部は、超音波マイクアレイ22を構成する各マイクの取得信号の差分(位相差)を解析することで、物体の方向(超音波センサ20に対する物体の方向)を算出する。
 図2(b1)は、図2(a1)の物体検出環境の上面図である。
 図2(b2)は、図2(a1)上面図中の超音波センサ20の超音波マイクアレイ22を構成するマイクa~dを示している。
 図2(b2)に示すように、超音波マイクアレイ22が、1つの物体50からの反射波をz軸方向から傾いた方向から入力すると、マイクa~d各々が入力する超音波パルス信号には位相差が発生する。
 図2(b2)は、超音波センサ20の垂直前方方向であるz軸方向から角度(θ)傾いた方向から反射波を入力した場合の左端のマイクaと右端のマイクd間の位相差の例を示した図である。
 超音波マイクアレイ22を構成する各マイクの入力パルス信号の例について、図4を参照して説明する。
 図4に示すグラフは、図2(b2)と同様、超音波センサ20の垂直前方方向であるz軸方向から角度(θ)傾いた方向から反射波を入力した場合の左端のマイクaと右端のマイクdの入力パルス信号の例を示すグラフである。
 図4上段の図に示すように、z軸方向から角度(θ)傾いた方向から反射波を入力した場合、左端のマイクaと右端のマイクdでは、反射波の入力タイミングが左端のマイクaの方が早い。
 この結果、図4の下段のグラフに示すように、マイクaとマイクdの入力パルス信号には図に示すような位相差が発生する。
 位相差は、反射波の到来方向の角度によって異なるものとなる。すなわち、超音波センサ20の垂直前方方向であるz軸方向から角度(θ)によって異なってくる。
 例えば、反射波の到来方向が超音波センサ20の垂直前方方向であるz軸方向である場合、すなわちθ=0である場合は、マイクa~dの全てにおいて、反射波の入力タイミングが一致するため位相差は発生しない。
 一方、反射波の到来方向がz軸方向からのずれているほど、すなわち角度θが大きいほど、マイクa~d各々の反射波の入力タイミングのずれ量が大きくなり、位相差が大きくなる。
 マイクを直線上に配置したリニアアレイ型のマイク配列とした場合、超音波パルス信号の波長λに対して、マイク間隔をλ/2以下に配置することで、マイク間の位相差から反射波の到来方向、すなわち物体50の方向を推定することができる。反射波到来方向の推定方法は、ビームフォーミング法やMUSIC法など、既存の様々な物体方向解析アルゴリズムが適用可能である。
 このように、既存の物体方向解析アルゴリズムを適用することで、図2(b2)や(b3)に示すように、反射波の到来方向、すなわち物体50の方向(θ)を算出することができる。
 物体50の方向(θ)は、図2(b3)に示すように、超音波センサ20の超音波マイクアレイ22のマイク配列方向をx軸とし、超音波センサ20の超音波パルス出力方向をz軸方向としたxz平面のz軸に対する角度(θ)として算出することができる。
 しかし、図2(a2)に示すようにマイクを直線上に配置したリニアアレイ型の超音波マイクアレイ22を用いた場合、目的とする物***置解析方向以外の様々な方向からの反射波、すなわちノイズとなる反射波によって解析精度が低下するという問題がある。
 図5を参照してこの問題について説明する。
 超音波は送信波の指向性が広く、センサ正面方向から離れた壁や床面、天井などからの反射波も検出される。例えば、平らな走行面を走行する自動搬送ロボットの場合、ロボット走行面上に突出している障害物などの物体からの反射波を検出すればよく、走行面から離れた天井や、平らな走行面からの反射波はノイズ信号となり、物体検出の妨げになる。
 図5(a)は、先に図2(a1)を参照して説明したと同様の物体検出環境の一例を示す図である。図5(a)には、超音波センサ20と物体50を示している。図にはロボット10を示していないが、超音波センサ20は例えば図1に示すロボット10に装着されたセンサである。
 超音波センサ20の平面をxy平面とし、超音波センサ20の正面方向をz方向として示している。
 超音波センサ20からはz軸方向に送信波として超音波パルス信号が出力される。超音波センサ20から出力された送信波である超音波パルス信号は、物体50によって反射され、その反射波が図2を参照して説明した超音波センサ20の超音波マイクアレイ22に入力する。
 さらに、超音波センサ20から出力された送信波である超音波パルス信号は、図5(a)に示すように、天井や床面(ロボット走行面)でも反射し、これらの反射波も超音波センサ20の超音波マイクアレイ22に入力する。
 このように、様々な方向からの反射波が超音波センサ20の超音波マイクアレイ22に入力すると、前述したビームフォーミング法やMUSIC法など、既存の様々な物体方向解析アルゴリズムを適用して物体方向の解析を行っても、実際の物体の方向と異なる位置に実際には存在しない物体があると判定してしまう誤判定が発生する可能性がある。
 例えば、図5(b)物体方向解析結果例(上面図)に虚像60として示すように、実際の物体50の方向と異なる位置に実際には存在しない物体があると判定されてしまう場合がある。
 このような虚像60の検出がなされると、超音波センサ20を装着したロボット10は、虚像60の位置に実際に物体(障害物)が存在すると認識し、虚像60の位置を避けた走行ルートを設定する。結果として、本来、走行可能なルートを走行できず、遠回りの誤ったルート設定を行うことになる。
 このような問題を解決する従来手法の例について、図6を参照して説明する。
 図6(1)は、超音波を出力するスピーカーにホーンを取り付けてスピーカーの指向性を高める手法を示している。しかし、ホーンの効果には限界があり、十分なノイズ除去効果を得ることは困難である。
 また、図6(2)は、物***置検出を水平方向のみならず、仰角方向にも実行して天井面や床面の検出も行い、ロボット周囲の3次元空間全ての物体検出を実現する手法である。
 しかし、この手法は、ロボット走行に不要な天井位置などの多くのオブジェクト位置算出処理を行うことが必要であり処理負荷が増大する。さらに高速処理が困難になり、結果としてロボットの走行速度を低下させることになるという問題がある。
 本開示は、このような問題を解決するものであり、超音波センサ等、音声パルス信号を用いたセンサを利用して物***置検出を行う構成において、例えば天井からの反射波等、目的方向以外の反射波を除去して、目的方向の物体の距離や方向を高速かつ高精度に解析することを可能とする。
 以下、本開示の物***置解析装置の構成と処理の詳細について説明する。
  [2.(実施例1)正方形配置マイクアレイを持つセンサを利用した実施例について]
 まず、本開示の物***置解析装置の実施例1として、正方形配置マイクアレイを持つセンサを利用した実施例について説明する。
 なお、本開示の物***置解析装置のセンサは音声パルス信号を出力し、その反射波を受信する音声パルスセンサである。以下の実施例では、音声パルスセンサの一例として超音波センサを用いた実施例について説明するが、これは一例であり、本開示の物***置解析装置に利用するセンサは超音波センサに限らず、音声パルス信号を出力し、その反射波を受信する音声パルス入出力型のセンサであればよい。
 図7を参照して、本開示の物***置解析装置のセンサの一例である超音波センサの構成例について説明する。
 図7には、以下の2つの図を示している。
 (1)従来の超音波センサ
 (2)本開示の超音波センサ
 「(1)従来の超音波センサ」に示す超音波センサ20は、先に図2を参照して説明したと同様の構成である。すなわち、超音波センサ20は、超音波パルス信号を出力する超音波スピーカー21と、複数のマイクを直線状に配列したリニアアレイ型のマイク配列を有する超音波マイクアレイ22によって構成されている。
 一方、「(2)本開示の超音波センサ」に示す超音波センサ100は、超音波パルス信号を出力する超音波スピーカー101と、4つのマイクを、x軸に対して傾きを持つ正方形の各頂点に配列した正方形配置超音波マイクアレイ102によって構成されている。
 図8を参照して、「(2)本開示の超音波センサ」に示す超音波センサ100内の正方形配置超音波マイクアレイ102の詳細構成について説明する。
 図8に示すように、本開示の超音波センサ100は、x軸に対して傾きを持つ正方形の各頂点に4つのマイクを配列した正方形配置超音波マイクアレイ102を有する。
 図8の右側には、正方形配置超音波マイクアレイ102の詳細配置図を示している。
 超音波センサの平面をxy平面として、xy平面から垂直に伸びる方向をz軸として示している。z軸方向は、超音波スピーカー101からの超音波出力方向に相当する。
 図8右側のxy座標上に示すマイクa(ch0),マイクb(ch1),マイクc(ch2),マイクd(ch3)が、正方形配置超音波マイクアレイ102を構成する4つのマイクa~dの詳細位置を示している。各マイクa(ch0)~d(ch3)は、図に示すように、xy平面上に設定される傾きを持つ正方形の各頂点に配置される。
 超音波スピーカー101から出力される超音波パルス信号の波長をλとしたとき、正方形配置超音波マイクアレイ102を構成する4つのマイクa(ch0)~d(ch3)は、x軸上、y軸上それぞれに投影した隣接マイク間隔をλ/4以下とし、かつ、x軸上の各マイクの投影位置は重ならないように配置する。このようにマイク配置を設定することで、xz平面内の方向推定を精度よく行うことができる。
 また、y軸上の各マイクの投影位置も重ならないように配置することで、yz平面内の方向推定も精度よく行うことができる。
 なお、本実施例では、4つのマイクを利用した例について説明するが、マイク数は3個以上であれば、様々な設定が可能である。マイク数を3つとした実施例については後段で説明する。
 図8の右側の図に示すように、マイク(ch0)を、xy座標における原点(x,y)=(0,0)位置に設定した場合、4つのマイク(ch0~ch3)は以下の座標位置に設定される。
 マイクa(ch0)の位置(x,y)=(0,0)
 マイクb(ch1)の位置(x,y)=(λ/4,-λ/2)
 マイクc(ch2)の位置(x,y)=(λ/2,λ/4)
 マイクd(ch3)の位置(x,y)=(3λ/4,-λ/4)
 このように、本実施例1の物***置解析装置の超音波センサは、4つのマイクa(ch0)~d(ch3)を、図8に示すようにxy平面上でかつx軸に対する傾きを持つ正方形の各頂点に配置した構成からなる、正方形配置超音波マイクアレイ102を有する。
 このような正方形配置超音波マイクアレイ102を用い、各マイクが入力する反射波間の位相差を解析することで、予め設定された解析対象方向、例えばセンサ平面(xy平面)に対する直交軸であるz軸方向に相当するロボット正面の解析対象方向の反射波のみを抽出して、解析対象方向にある物体の位置(距離、方向)を高精度に解析することができる。
 具体的には、図8に示すようなマイク配置を持つ正方形配置超音波マイクアレイ102を用いることで、予め設定された解析対象方向以外のオブジェクト、例えば天井や床面などからの反射波(ノイズ)を除去した信号を取得することができる。
 この結果、解析対象方向、例えばセンサのz軸方向に相当するロボット正面の解析対象方向の反射波のみを抽出して、限定された解析対象方向にある物体の位置(距離、方向)を高精度に解析することができる。
 図8に示す正方形配置超音波マイクアレイ102を用いることで、センサのz軸方向に相当する解析対象方向の反射波のみを抽出可能となる原理については、後段で説明する。
 なお、図8に示す正方形配置超音波マイクアレイ102を用いると、解析対象方向を限定するため視野角(物体検出範囲(解析対象領域)を規定する角度)は狭くなるが、虚像のない高精度な物***置解析を行うことが可能となる。
 また、本開示の構成では、解析対象方向以外の領域にある天井などのオブジェクト位置等を算出する処理は行わないため計算量が抑えられ、高速な解析処理を行うことが可能となる。
 なお、先に図2等を参照して説明した直線配列型としたリニアアレイマイク配列以外のマイク配列(アレイ)に関する構成を開示した従来技術として、例えば特許文献2(特開2000-152372号公報)がある。
 この特許文献2には、円周上にマイクを配置する構成を開示している。この特許文献2では、直交関数列展開を利用して音波の周波数に依存せずに所望方向からの受信信号を取得する構成を開示している。
 これに対して、本開示の物***置解析装置では、図8に示す正方形配置超音波マイクアレイ102を構成する各マイクの受信信号である反射波によって構成される超音波パルスの位相差を解析して、特定の解析対象方向の反射波のみを抽出することを可能としている。
 また、特許文献3(国際公開WO2006/004099 A1公報)は、多角形上にマイクを配置する構成を開示している。しかし、この特許文献3に記載の構成は、複数のスピーカーからの出力音をマイクに入力し、マイク入力音を用いて部屋の残響特性を解析して、調整する構成を開示しているのみである。
 すなわち、本開示の物***置解析装置のように、各マイクの受信信号である反射波によって構成される超音波パルスの位相差を解析して、特定の解析対象方向の反射波を抽出して、特定の解析対象方向の物体の位置(距離、方向)を解析する処理については開示していない。
 本開示の物***置解析装置は、例えば図8に示すような正方形配置超音波マイクアレイ102を用いることで、センサのz軸方向に相当する解析対象方向の反射波のみを抽出し、センサ平面(xy平面)に対して直交するz軸方向に相当する解析対象方向にある物体の位置(距離、方向)を高精度に解析することを可能とするものである。
 図9を参照して、実施例1の物***置解析装置150の構成例について説明する。
 図9に示すように、実施例1の物***置解析装置150は、超音波センサ100と、データ処理部120によって構成される。
 超音波センサ100は、先に図7、図8を参照して説明した構成を有する。すなわち、超音波パルス信号を出力する超音波スピーカー101と、4つのマイクを、傾きを持つ正方形の各頂点に配列した正方形配置超音波マイクアレイ102を有する。
 図7に示すマイク1,102-1~マイクn,102-nが、図6に示す正方形の各頂点位置のマイクa(ch0)~d(ch3)に対応する。
 データ処理部120は、タイミング制御部121、超音波パルス送信部122、振幅判定部123、位相差相関判定部124、物***置(距離、方向)推定部125を有する。
 タイミング制御部121は、超音波センサ100の超音波スピーカー101から出力する超音波パルス信号の出力タイミングを制御する。
 超音波パルス送信部122は超音波パルス信号を生成し、タイミング制御部121において制御されたタイミングで、超音波スピーカー101から生成した超音波パルス信号を出力する。
 なお、図7や図8を参照して説明したように、超音波センサ100を構成する超音波スピーカー101と正方形配置超音波マイクアレイ102を有する平面をxy平面とした場合、超音波センサ100の超音波スピーカー101から出力される超音波パルス信号の出力方向はz軸方向である。
 超音波センサ100の超音波スピーカー101から放射された超音波パルス信号は、様々な物体(オブジェクト)によって反射される。
 これら物体からの反射波が、超音波センサ100の正方形配置超音波マイクアレイ102を構成する各マイク、すなわち、図9に示すマイク1,102-1~マイクn,102-nに入力される。
 1つのマイクに入力される入力信号(入力超音波信号)の例を図10に示す。
 図10には、以下の図を示している。
 (a)マイク受信信号の例
 図10示すグラフは、横軸に時間(t)、縦軸に振幅を示すグラフであり、超音波センサ100の正方形配置超音波マイクアレイ102を構成する1つのマイクに入力される入力信号(入力超音波信号)の例を示したグラフである。
 図に示すように、マイク入力信号には、「直接波」と「反射波」が含まれる。「直接波」は、超音波センサ100の超音波スピーカー101から出力される超音波パルス信号の直接入力信号であり、物体からの反射波ではない。
 この「直接波」から遅れてマイクに入力されている信号が「反射波」であり、超音波センサ100の超音波スピーカー101から出力される超音波パルス信号が、何らかの物体によって反射されてマイクに入力した信号である。
 このような音声信号が、超音波センサ100の正方形配置超音波マイクアレイ102を構成する各マイク1,102-1~マイクn,102-nに入力される。
 これら各マイク1,102-1~マイクn,102-nの入力信号(反射波)は、データ処理部120の振幅判定部123に入力される。
 データ処理部120の振幅判定部123は、正方形配置超音波マイクアレイ102を構成する各マイク1,102-1~マイクn,102-nの入力信号(反射波)から、反射波部分を選択し、さらに、選択した反射波から、予め規定した振幅しきい値を超える反射波のみを有効な反射波として抽出する。
 なお、規定の振幅しきい値を超える反射波は、環境雑音より十分大きな受信強度がある反射波であることを意味する。
 図11、図12を参照して、振幅判定部123が実行する処理の具体例について説明する。
 図11には、以下の各図を示している。
 (a)マイク受信信号の例
 (b1)振幅判定部123の処理例-1
 「(a)マイク受信信号の例」は、図10を参照して説明したと同様の「(a)マイク受信信号の例」である。
 振幅判定部123は、まず、このマイク受信信号から、反射波部分を選択する。その後、選択した反射波から、予め規定した振幅しきい値を超える反射波のみを有効な反射波として抽出する。
 図11の下段に示す「(b1)振幅判定部123の処理例-1」に示す波形は、「(a)マイク受信信号の例」の反射波部分の上半分の波形を抽出したデータである。
 振幅判定部123は、この反射波から、予め規定した振幅しきい値を超える反射波のみを有効な反射波として抽出する。
 図に示す例では、反射波から2つの山が検出されている。前半(左側)の山部分を「反射波#1」とし、後半の山部分を「反射波#2」とする。
 図12を参照して、振幅判定部123が実行する予め規定した振幅しきい値を超える反射波のみを抽出する処理の具体例について説明する。
 図12には、以下の各図を示している。
 (b1)振幅判定部123の処理例-1
 (b2)振幅判定部123の処理例-2
 「(b1)振幅判定部123の処理例-1」は、図11に示す「(b1)振幅判定部123の処理例-1」と同じ図である。
 振幅判定部123は、この反射波から、予め規定した振幅しきい値を超える反射波のみを有効な反射波として抽出する。
 「(b1)振幅判定部123の処理例-1」には、振幅しきい値を示すラインを示している。
 振幅判定部123は、このしきい値ラインを超える「反射波#1」の一部と、「反射波#2」の一部を有効反射波として抽出する。
 「(b2)振幅判定部123の処理例-2」に示す波形部分が、予め規定した振幅しきい値を超える有効な反射波として抽出された反射波である。
 前述したように、規定の振幅しきい値を超える反射波は、環境雑音より十分大きな受信強度がある反射波であることを意味する。
 振幅判定部123が抽出した規定の振幅しきい値を超える反射波は、位相差相関判定部124に入力される。
 位相差相関判定部124は、規定の振幅しきい値を超える反射波から、さらに規定の位相差相関評価値対応しきい値を超える反射波のみを抽出する。
 位相差相関判定部124が抽出する位相差相関評価値対応しきい値を超える反射波は、予め設定された解析対象領域からの反射波である。
 なお、解析対象領域は、特定方向、すなわち特定の解析対象方向を中心とした円錐状の領域として設定される。
 位相差相関判定部124が抽出する位相差相関評価値対応しきい値を超えた反射波を含む領域が、解析対象領域170である。
 解析対象方向と、解析対象領域の具体例を図13に示す。
 解析対象方向は、任意の方向に設定することが可能である。
 図13に示す例は、解析対象方向160を球面座標系における(θ、φ)方向に設定した例である。
 すなわち、超音波センサの平面をxy平面とし、超音波センサ100のxy平面から前方に垂直なz軸を有するxyz3次元空間に設定した球面座標系において(θ、φ)方向を解析対象方向160とした例を示している。
 なお、θはz軸に対する解析対象方向160の角度、φは、解析対象方向160をxy平面に射影した線とx軸とのなす角度である。
 解析対象方向160上のある点、例えば原点からの長さrの点の球面座標は(r,θ,φ)である。
 図13に示すように、(θ、φ)方向に設定した解析対象方向160を中心軸とした円錐状の領域を解析対象領域170として設定することができる。
 前述したように、位相差相関判定部124が抽出する反射波、すなわち、位相差相関評価値対応しきい値を超える位相差相関評価値を有する反射波が、この解析対象領域170からの反射波となる。
 解析対象領域170は、位相差相関判定部124が利用するしきい値(位相差相関評価値対応しきい値)の設定により、領域サイズを自在に調整することができる。
 図14を参照して、解析対象領域170の領域サイズの調整例について説明する。
 図14には、2種類の解析対象領域170、すなわち、解析対象領域a,170aと、解析対象領域b,170bを示している。
 これらは、いずれも、(θ、φ)方向に設定した解析対象方向160を中心軸とした円錐状の領域であるが、解析対象領域a,170aは直径の小さな小サイズの円錐から構成される解析対象領域である。一方、解析対象領域b,170bは直径の大きな大サイズの円錐から構成される解析対象領域である。
 このように、解析対象領域170は、位相差相関判定部124が利用するしきい値(位相差相関評価値対応しきい値)の設定により調整可能となる。
 図15以下を参照して、位相差相関判定部124による反射波抽出処理、すなわち、規定の位相差相関評価値対応しきい値を超えた反射波の抽出処理の具体例について説明する。
 なお、ここでは、一例として、図15に示すように、解析対象方向160を方向(θ,φ)=(0,0)とした場合、すなわち解析対象方向160をz軸方向に設定した場合の解析対象領域170の設定例について説明する。
 前述したように、解析対象領域170とは、位相差相関判定部124が抽出する位相差相関評価値対応しきい値を超えた反射波を含む領域に相当する領域である。
 図16、図17を参照して、位相差相関判定部124が実行する評価値算出処理について説明する。
 位相差相関判定部124が算出する位相差相関評価値は、マイクが受信した反射波が解析対象方向から到来した可能性が高いほど大きい値となる評価値である。
 図16に示すように、位相差相関判定部124は、まず、振幅判定部123が抽出した規定の振幅しきい値を超える反射波を入力する。
 図16(b2)は、先に図12を参照して説明した「(b2)振幅判定部123の処理例-2」と同様の図であり、振幅判定部123が抽出した規定の振幅しきい値を超える反射波である。
 位相差相関判定部124は、これら規定の振幅しきい値を超える反射波に関する各マイクの受信信号を入力し、入力信号に基づいて、図16(c)に示す式に従って各反射波対応の評価値(位相差相関評価値)を算出する。
 位相差相関判定部124は、算出した評価値と、予め規定したしきい値(位相差相関評価値対応しきい値)を比較して、しきい値を超えた評価値となる領域を解析対象領域170と判定する。
 すなわち、位相差相関評価値が位相差相関評価値対応しきい値を超えた領域を解析対象領域170と判定する。
 位相差相関判定部124は、振幅判定部123が抽出した規定の振幅しきい値を超える反射波の各々について、図16に示すように以下の(式1)に従って評価値(位相差相関評価値)を算出する。
Figure JPOXMLDOC01-appb-M000001
 なお、上記(式1)において、pd(θ,φ)は、方向(θ,φ)から到来した反射波に対して、本実施例1の正方形配置超音波マイクアレイ102を構成する各マイク間で発生するマイク間位相差であり、図17に示すように、以下の(式2)によって算出される。
Figure JPOXMLDOC01-appb-M000002
 上記(式2)において、
 i:虚数単位
 n:円周率
 λ:音声パルス信号の波長
 である。
 (θ,φ)は、上記(式2)によって算出するマイク間位相差が発生する反射波の到来方向を示す座標であり、超音波センサ100のマイクアレイ面をxy平面とし、音声出力方向をz方向とした設定におけるz軸に対する角度がθ、反射波到来方向をxy平面に射影した線とx軸とのなす角度がφである。
 pd(θ,φ)のnは、図8を参照して説明した正方形配置超音波マイクアレイ102を構成する各マイクa~dのチャンネル番号ch0~ch3でありn=0~3である。
 上記(式2)に示す行列は、マイクa(ch0)の受信パルスの振幅値を1としたタイミングにおけるその他のマイクb~d(ch1~ch3)の受信パルスの振幅値を示す行列であり、各マイクa~d(ch0~ch3)の位相差を示す行列式である。
 また、評価値算出式である上記(式1)において、
 pd(θ,φ)は、pd(θ,φ)のエルミート共役である。
 なお、pd(θ,φ)と、pd(θ,φ)は、図8を参照して説明した正方形配置超音波マイクアレイ102を構成する各マイクa~dの座標位置と、反射波到来方向を示す座標(θ,φ)位置を規定すれば、算出可能である。
 さらに、上記(式1)において、
 Rは、実際の観測信号、すなわち、位相差相関判定部124が、解析対象領域170を決定するために振幅判定部123から入力した規定の振幅しきい値を超える反射波に基づいて算出する受信信号の共分散行列である。
 受信信号の共分散行列Rは、受信信号の受信時間tにおける観測信号x(t)とした場合、図17に示すように、以下の(式3)に従って算出される。
Figure JPOXMLDOC01-appb-M000003
 上記(式3)において、
 x(t)は、x(t)のエルミート共役、
 E[・]は、集合平均である。
 なお、集合平均は、予め設定した時間窓の区間において行う。
 また、上記(式3)において、受信信号の受信時間tにおける観測信号x(t)は、図17に示すように、以下の(式4)の行列として示される。
Figure JPOXMLDOC01-appb-M000004
 上記(式4)において、x0(t)~x3(t)は、図8を参照して説明した正方形配置超音波マイクアレイ102を構成する各マイクa(ch0)~マイクd(ch3)各々の時間tにおける振幅を示す。
 図16、図17に示す評価値算出式である上記(式1)の分母(pd(θ,φ)pd(θ,φ))の値は、図8を参照して説明した正方形配置超音波マイクアレイ102を構成する各マイクa~dの座標位置と、反射波到来方向を示す座標(θ,φ)位置に基づいて算出可能な値である。
 マイク配列は、図8を参照して説明した正方形配置超音波マイクアレイ102によって決定されている。
 また、反射波到来方向を示す座標(θ,φ)は、例えば先に図15を参照して説明したように、解析対象方向160に基づいて決定される。例えば図15を参照して説明したように、解析対象方向160をz軸方向とした場合、座標(θ,φ)=(0,0)とすることができる。
 また、上記(式1)の分子(pd(θ,φ)・R・pd(θ,φ))の値は、実際の観測信号の共分散行列Rの値によって変化することになる。
 前述したように、共分散行列Rは、実際の観測信号、すなわち、位相差相関判定部124が、解析対象領域170を決定するために振幅判定部123から入力した規定の振幅しきい値を超える反射波に基づいて算出する受信信号の共分散行列である。
 図16、図17に示す評価値算出式である上記(式1)によって算出される位相差相関評価値は、実際の観測信号、すなわち、位相差相関判定部124が、解析対象領域170を決定するために振幅判定部123から入力した規定の振幅しきい値を超える反射波に、(式1)において利用する解析対象方向160を示す座標(θ,φ)方向からの反射波が多く含まれるほど大きな値となる。
 すなわち、座標(θ,φ)方向からの反射波に基づいて算出される各マイクの位相差分布と、観測信号から得られる各マイクの位相差分布との相関が高いほど(類似するほど)、上記(式1)によって算出される評価値(位相差相関評価値)の値が大きくなる。
 一方、座標(θ,φ)方向からの反射波に基づいて算出される各マイクの位相差分布と、観測信号から得られる各マイクの位相差分布との相関が低いほど(非類似であるほど)、上記(式1)によって算出される評価値(位相差相関評価値)の値が小さくなる。
 図16、図17に示す評価値算出式である上記(式1)によって算出される評価値(位相差相関評価値)の具体的な算出結果の例、すなわち評価値のシミュレーション結果の例について図18を参照して説明する。
 図18は評価値のシミュレーション結果の一例を示す図である。
 図18に示す評価値算出結果の例は、マイク配列を、図8を参照して説明した正方形配置超音波マイクアレイ102とし、解析対象方向を示す座標(θ,φ)=(0,0)、すなわち図15を参照して説明したように解析対象方向160をz軸とした場合の評価値算出結果である。
 位相差相関評価値は0.0~4.0の範囲で算出される。位相差相関評価値が高いほど濃い色(黒に近づく)で示し、位相差相関評価値が低いほど薄い色(白に近づく)で示している。
 図18(a)は、解析対象方向であるz軸の右上前方から観察した位相差相関評価値分布データを示している。
 図18(b)は、解析対象方向であるz軸の方向から観察した位相差相関評価値分布データを示している。
 なお、図18(b)に示すx軸とy軸には、には、解析対象方向を示す座標(θ,φ)=(0,0)、すなわちz軸からの角度(10°、30°、50°)を示している。
 図から理解されるように、z軸に近いほど位相差相関評価値が高く、z軸から離れるほど位相差相関評価値が低くなる。
 このように、上記(式1)によって算出される評価値は、解析対象方向を示す座標(θ,φ)に基づいて算出されるマイクの位相差と、観測信号(反射波)に基づいて算出されるマイクの位相差との相関が高いほど、高い評価値となり、相関が低いほど低い評価値となる。
 これは、すなわち、観測信号(反射波)に解析対象方向からの反射波が多く含まれるほど高い評価値となり、観測信号である反射波に含まれる解析対象方向からの反射波の量が少なくなるほど低い評価値となることを意味する。
 位相差相関判定部124は、さらに、上記(式1)に従って算出した位相差相関評価値と、予め規定したしきい値(位相差相関評価値対応しきい値)を比較して、しきい値を超えた位相差相関評価値を有する領域を解析対象領域と判定する処理を実行する。
 すなわち、先に図15等を参照して説明した解析対象領域170を、しきい値(位相差相関評価値対応しきい値)に基づいて決定する処理を行う。
 この処理について、図19を参照して説明する。
 図19に示すグラフは、横軸に解析対象方向からの角度、縦軸に評価値を示したグラフである。
 グラフ中に示す曲線が、先に図16、図17を参照して説明した評価値(位相差相関評価値)算出式である(式1)によって算出される曲線であり、図18に示す濃淡情報をグラフ化したデータである。
 なお、横軸の角度は、例えば図15に示す例では解析対象方向を示す座標(θ,φ)=(0,0)、すなわちz軸からの角度になる。
 図に示すグラフから理解されるように、解析対象方向からの角度が大きくなるにつれ、評価値(位相差相関評価値)が低下する。
 図19では、しきい値(位相差相関評価値対応しきい値)を、評価値=3.0とした例を示している。
 評価値=3.0とした場合、解析対象領域は、解析対象方向からの角度が20°以内の領域となる。
 例えば、先に図15を参照して説明したように、解析対象方向(θ,φ)=(0,0)、すなわちz軸を解析対象方向とした場合、評価値=3.0を超える領域は、例えば、図20に示す解析対象領域170となる。
 図20に示す例では、評価値(位相差相関評価値)=3.0を超える解析対象方向160からの角度が20°以内の領域が解析対象領域170となる。
 解析対象方向160からの角度が20°以上の領域は評価値(位相差相関評価値)=3.0以下となり、解析対象外領域175となる。
 なお、しきい値(位相差相関評価値対応しきい値)は、様々な設定が可能であり、しきい値を低い値に設定すれば、より広範囲な解析対象領域を設定することができる。一方、しきい値を高い値に設定すれば、より限定された狭い範囲の解析対象領域を設定することができる。
 このように、図9に示す物***置解析装置150のデータ処理部120の位相差相関判定部124は、振幅判定部123が抽出した規定の振幅しきい値を超える反射波に基づいて前述の評価値算出式(式1)に従って、位相差相関評価値を算出し、予め規定したしきい値(位相差相関評価値対応しきい値)を超える反射波のみを抽出する。
 すなわち、図20に示す解析対象領域170の反射波のみを抽出する。
 図9に戻り、物***置解析装置150のデータ処理部120の、その後の処理について説明する。
 位相差相関判定部124が抽出した反射波、すなわち、前述の評価値算出式(式1)に従って算出された評価値が規定しきい値(位相差相関評価値対応しきい値)を超える反射波は、図9に示す物***置(距離、方向)算出部125に入力される。
 具体的には、例えば、図20に示す解析対象領域170の反射波のみが、物***置(距離、方向)算出部125に入力される。
 物***置(距離、方向)算出部125は、解析対象領域170の反射波のみを解析対象として、反射波に基づく物***置(距離、方向)の算出を行う。
 物体の距離については、例えばToF(Time of Flight)の原理により、音声パルスの出力タイミングから、反射波の受信タイミングまでの時間である応答時間に基づいて算出する。
 また、物体の方向については、反射波のマイク間位相差に基づいて既存の手法、例えば、ビームフォーミング法やMUSIC法などのアルゴリズムを適用して推定する。
 例えば図21に示すように、図21(1)に示す正方形配置マイクアレイのマイクa(ch0)~マイクd(ch3)を、図21(2)に示すように、x軸上に投影する。
 この投影位置において、反射波のマイク間位相差に基づいてxz平面における反射波の方向αを算出することができる。
 この反射波の方向αは、反射波を反射した物体の平面方向(xz平面における方向)を示す角度である、すなわち、角度αは、xz平面における物体方向とZ軸とのなす角度に相当する。
 同様に、図22に示すように、図22(1)に示す正方形配置マイクアレイのマイクa(ch0)~マイクd(ch3)を、図22(2)に示すように、Y軸上に投影する。
 この投影位置において、反射波のマイク間位相差に基づいてyz平面における反射波の方向βを算出することができる。
 この反射波の方向βは、反射波を反射した物体の垂直方向(yz平面における方向)を示す角度である、すなわち、角度βは、yz平面における物体方向とZ軸とのなす角度に相当する。
 物***置(距離、方向)算出部125は、例えばこのようにして反射波の方向、すなわち、物体の方向を算出することができる。
 上述した説明から理解されるように、本開示の物体解析装置150は、解析対象方向周囲の解析対象領域を限定し、この限定した解析対象領域からの反射波のみを選択し、選択した反射機のみを利用して、反射波を生成した物体の位置、すなわち物体まで距離や方向を算出する。
 このような処理を行うことで、解析対象領域外の物体からの反射波、例えば天井等からの反射波の影響を排除した物***置(距離、方向)解析処理が可能となり、高精度な物***置解析が実現される。
  [3.(実施例1)正方形配置マイクアレイを持つセンサを利用した実施例の処理シーケンスについて]
 次に、上述した実施例1、すなわち、正方形配置マイクアレイを持つセンサを利用した実施例の処理シーケンスについて説明する。
 図23は、上述した実施例1、すなわち、先に図9を参照して説明した物体解析装置150が実行する処理シーケンスについて説明するフローチャートである。
 なお、図23に示すフローチャートに従った処理は、図9に示す物体解析装置150の記憶部に格納されたプログラムに従って実行することが可能である。
 図23に示すフローチャートに従った処理は、物体解析装置150の例えばCPU等のプログラム実行機能を持つ制御部の制御の下で実行される。以下、図23に示すフローの各ステップの処理の詳細について順次、説明する。
  (ステップS101)
 まず、図9に示す物体解析装置150は、ステップS101において、超音波パルスを送信する。
 この処理は、図9に示す物体解析装置150のデータ処理部120のタイミング制御部121、超音波パルス送信部122、および超音波センサ100の超音波スピーカー101によって実行される。
 タイミング制御部121は、超音波センサ100の超音波スピーカー101から出力する超音波パルス信号の出力タイミングを制御する。
 超音波パルス送信部122は超音波パルス信号を生成し、タイミング制御部121において制御されたタイミングで、超音波スピーカー101から生成した超音波パルス信号を出力する。
 なお、図7や図8を参照して説明したように、超音波センサ100を構成する超音波スピーカー101と正方形配置超音波マイクアレイ102を有する平面をxy平面とした場合、超音波センサ100の超音波スピーカー101から出力される超音波パルス信号の出力方向はz軸方向である。
  (ステップS102)
 次に、物体解析装置150は、ステップS102において、ステップS101で送信した超音波パルスの反射波を受信する。
 超音波センサ100の超音波スピーカー101から放射された超音波パルス信号は、様々な物体(オブジェクト)によって反射され、これらの反射波が、超音波センサ100の正方形配置超音波マイクアレイ102を構成する各マイク、すなわち、図9に示すマイク1,102-1~マイクn,102-nに入力される。
 例えば図23の右側に示す(a)マイク受信信号のような音波信号がマイクに入力される。
 この図は先に図10を参照して説明した(a)マイク受信信号に相当する。図に示すように、マイク入力信号には、「直接波」と「反射波」が含まれる。「直接波」は、超音波センサ100の超音波スピーカー101から出力される超音波パルス信号の直接入力信号であり、物体からの反射波ではない。
 この「直接波」から遅れてマイクに入力されている信号が「反射波」であり、超音波センサ100の超音波スピーカー101から出力される超音波パルス信号が、何らかの物体によって反射されてマイクに入力した信号である。
 このような音声信号が、超音波センサ100の正方形配置超音波マイクアレイ102を構成する各マイク1,102-1~マイクn,102-nに入力される。
  (ステップS103)
 次に、物体解析装置150は、ステップS103において、ステップS102でマイクが受信した反射波から、予め規定したしきい値を超える反射波のみを抽出する処理を実行する。
 この処理は、図9に示す物体解析装置150のデータ処理部120の振幅判定部123が実行する処理である。
 振幅判定部123は、正方形配置超音波マイクアレイ102を構成する各マイク1,102-1~マイクn,102-nの入力信号(反射波)から、反射波部分を選択し、さらに、選択した反射波から、予め規定した振幅しきい値を超える反射波のみを有効な反射波として抽出する。
 なお、規定の振幅しきい値を超える反射波は、環境雑音より十分大きな受信強度がある反射波であることを意味する。
 このステップS103において振幅判定部123が実行する処理は、先に図11、図12を参照して説明した処理に相当する。
 振幅判定部123は、まずマイク受信信号から、反射波部分を選択する。その後、選択した反射波から、予め規定した振幅しきい値を超える反射波のみを有効な反射波として抽出する。
 例えば、先に図12を参照して説明したように、図12の「(b2)振幅判定部123の処理例-2」に示す波形部分が、予め規定した振幅しきい値を超える有効な反射波として抽出される。
  (ステップS104)
 次に、物体解析装置150は、ステップS104において、ステップS103で抽出された規定振幅しきい値を超える反射波から、さらに、位相差相関評価値が予め規定したしきい値(位相差相関評価値対応しきい値)を超える反射波のみを抽出する処理を実行する。
 この処理は、図9に示す物体解析装置150のデータ処理部120の位相差相関判定部124が実行する処理である。
 このステップS104において位相差相関判定部124が実行する処理は、先に図13~図20を参照して説明した処理に相当する。
 先に図13~図20を参照して説明したように、位相差相関判定部124がステップS104で抽出する位相差相関評価値対応しきい値を超える反射波は、予め設定された解析対象領域からの反射波に相当する。
 先に図13等を参照して説明したように、解析対象領域は、特定方向、すなわち特定の解析対象方向を中心とした円錐状の領域として設定される。
 図13に示すように、(θ、φ)方向に設定した解析対象方向160を中心軸とした円錐状の領域を解析対象領域170として設定することができる。
 なお、先に図13、図14を参照して説明したように、解析対象方向(θ、φ)は任意の方向に設定可能である。また、解析対象領域についても位相差相関判定部124が利用するしきい値(位相差相関評価値対応しきい値)の設定により、領域サイズを自在に調整可能である。
 位相差相関判定部124は、まず、振幅判定部123がステップS103で抽出した規定の振幅しきい値を超える反射波の各々について評価値(位相差相関評価値)を算出する。すなわち、先に図16、図17を参照して説明した(式1)に従って評価値(位相差相関評価値)を算出する。
 (式1)に従って算出される位相差相関評価値は、観測信号から得られる各マイクの位相差分布と、解析対象方向(θ、φ)からの反射波に基づく位相差分布との相関が高いほど(類似するほど)値が大きくなり、相関が低いほど(非類似であるほど)値が小さくなる。すなわち、例えば先に図18を参照して説明した評価値分布となる。
 位相差相関判定部124は、次に、観測信号に基づいて算出した位相差相関評価値と、予め規定したしきい値(位相差相関評価値対応しきい値)を比較して、しきい値を超えた位相差相関評価値を有する領域を解析対象領域と判定する処理を実行する。
 この処理は、先に図19を参照して説明した処理である。
 先に図19を参照して説明したように、解析対象方向からの角度が大きくなるにつれ、評価値(位相差相関評価値)が低下する。図19に示す例は、位相差相関評価値対応しきい値を、評価値=3.0とした例を示している。
 評価値=3.0とした場合、解析対象領域は、解析対象方向からの角度が20°以内の領域となり、図20に示す解析対象領域170となる。
 前述したように、しきい値(位相差相関評価値対応しきい値)は、様々な設定が可能であり、しきい値を低い値に設定すれば、より広範囲な解析対象領域を設定することができる。一方、しきい値を高い値に設定すれば、より限定された狭い範囲の解析対象領域を設定することができる。
 このように、位相差相関判定部124は、ステップS104において、ステップS103で振幅判定部123が抽出した規定の振幅しきい値を超える反射波に基づいて前述の評価値算出式(式1)に従って、位相差相関評価値を算出し、予め規定したしきい値(位相差相関評価値対応しきい値)を超える反射波のみを抽出する。
 すなわち、図20に示す解析対象領域170の反射波のみを抽出する。
  (ステップS105~S106)
 次に、物体解析装置150は、ステップS105~S106において、ステップS104で位相差相関判定部124が抽出した反射波、すなわち、予め規定したしきい値(位相差相関評価値対応しきい値)を超える位相差相関評価値を有する反射波のみを解析対象として、反射波に基づく物***置(距離、方向)の算出を行う。
 この処理は、図9に示す物体解析装置150のデータ処理部120の物***置(距離、方向)算出部125が実行する処理である。
 物***置(距離、方向)算出部125は、例えばToF(Time of Flight)の原理により、音声パルスの出力タイミングから、反射波の受信タイミングまでの時間である応答時間に基づいて物体距離を算出する。
 さらに、物体方向については、例えば、ビームフォーミング法やMUSIC法などのアルゴリズムを適用して推定する。
 すなわち、先に、図21を参照して説明したように、正方形配置マイクアレイのマイクa(ch0)~マイクd(ch3)を、図21(2)に示すように、x軸上に投影する。
 この投影位置において、反射波のマイク間位相差に基づいてxz平面における反射波の方向αを算出することができる。
 同様に、図22に示すように、図22(1)に示す正方形配置マイクアレイのマイクa(ch0)~マイクd(ch3)を、図22(2)に示すように、y軸上に投影する。
 この投影位置において、反射波のマイク間位相差に基づいてyz平面における反射波の方向βを算出することができる。
 このように、物***置(距離、方向)算出部125は、ステップS105~S106において、反射波を生成した物体の距離と方向を算出する。
 以上、説明したように、本開示の物体解析装置150は、解析対象方向周囲の解析対象領域を限定し、この限定した解析対象領域からの反射波のみを選択し、選択した反射機のみを利用して、反射波を生成した物体の位置、すなわち物体まで距離や方向を算出する。
 このような処理を行うことで、解析対象領域外の物体からの反射波、例えば天井等からの反射波の影響を排除した物***置(距離、方向)解析処理が可能となり、高精度の物***置解析を行うことが可能となる。
  [4.(実施例2)ひし形配置マイクアレイを持つセンサを利用した実施例について]
 次に、本開示の物***置解析装置の実施例2として、ひし形配置マイクアレイを持つセンサを利用した実施例について説明する。
 実施例2の物***置解析装置は、先に図9を参照して説明した実施例1の物***置解析装置150の超音波センサ100の正方形配置超音波マイクアレイ102を、正方形型ではなくひし形としたひし形配置超音波マイクアレイに置き換えた構成である。
 図24を参照して、本実施例2の超音波センサ100のひし形配置超音波マイクアレイ103の構成例について説明する。
 図24に示すように、本実施例2の超音波センサ100は、超音波パルス信号を出力する超音波スピーカー101と、4つのマイクを、x軸に対して傾きを持つ上下方向に長いひし形の各頂点に配列したひし形配置超音波マイクアレイ103によって構成される。
 図25を参照して、本実施例2の超音波センサ100内のひし形配置超音波マイクアレイ103の詳細構成について説明する。
 図25に示すように、本開示の超音波センサ100は、傾きを持つ上下方向(y軸方向)に長いひし形の各頂点に4つのマイクを配列したひし形配置超音波マイクアレイ103を有する。
 図25の右側には、ひし形配置超音波マイクアレイ103の詳細配置図を示している。
 超音波センサの平面をxy平面として、xy平面から垂直に伸びる方向をz軸として示している。z軸方向は、超音波スピーカー101からの超音波出力方向に相当する。
 図25右側のxy座標上に示すマイクa(ch0),マイクb(ch1),マイクc(ch2),マイクd(ch3)が、ひし形配置超音波マイクアレイ103を構成する4つのマイクa~dの詳細位置を示している。各マイクa(ch0)~d(ch3)は、図に示すように、xy平面上に設定され、x軸に対する傾きを持ち、上下方向(y軸方向)に長いひし形の各頂点に配置される。
 超音波スピーカー101から出力される超音波パルス信号の波長をλとしたとき、ひし形配置超音波マイクアレイ103を構成する各マイクa(ch0)~d(ch3)は、x軸上に投影した隣接マイク間隔をλ/4以下とし、y軸上に投影した隣接マイク間隔をλ以下とする。また、各マイクの位置はx軸上に投影した時に重ならないように配置する。このように配置することで、xz平面内の方向推定を精度よく行うことができる。
 また、y軸上の各マイクの投影位置も重ならないように配置することで、yz平面内の方向推定も精度よく行うことができる。
 なお、本例では、マイク数を4つとした例について説明するが、マイク数は少なくとも3個以上あれば本実施例と同様の処理が可能である。
 図25に示すように、マイク(ch0)を、xy座標における原点(x,y)=(0,0)位置に設定した場合、4つのマイク(ch0~ch3)は以下の座標位置に設定される。
 マイクa(ch0)の位置(x,y)=(0,0)
 マイクb(ch1)の位置(x,y)=(λ/4,-λ)
 マイクc(ch2)の位置(x,y)=(λ/2,3λ/4)
 マイクd(ch3)の位置(x,y)=(3λ/4,-λ/4)
 このように、本実施例2の物***置解析装置の超音波センサは、4つのマイクa(ch0)~d(ch3)を、図25に示すようにxy平面上に設定される傾きを持ち、上下方向(y軸方向)に長いひし形の各頂点に配置したマイクアレイ、すなわち、ひし形配置超音波マイクアレイ103を有する。
 このようなひし形配置超音波マイクアレイ103を用い、各マイクが入力する反射波間の位相差を解析することで、予め設定された解析対象方向、例えばセンサのz軸方向に相当するロボット正面の解析対象方向の反射波のみを抽出して、解析対象方向にある物体の位置(距離、方向)を高精度に解析することができる。
 本実施例2の上下方向(y軸方向)に長いひし形のマイクアレイを利用することで、yz平面における視野角を狭くすることができる。すなわち、天井や床からの反射波は狭い視野角にすることで排除でき、かつ水平面(xz平面)の反射波は視野角を広くとれるため、広い測位範囲を確保できる。
 本実施例2のひし形のマイクアレイを利用した構成では超音波センサ1個当たりの水平面視野角が広く設定できる。従って、例えば自動搬送ロボットのように水平面内の周囲360度をセンシングしたい構成でも、ロボットに装着するセンサをより少ないセンサ数に設定することができる。
 本実施例2の物***置解析装置のデータ処理部の構成は、先に図9を参照して説明した実施例1の物***置解析装置150内のデータ処理部120の構成と同様である。
 データ処理部120の振幅判定部123が、ひし形配置超音波マイクアレイ103を構成する各マイクの入力信号(反射波)から、反射波部分を選択し、さらに、選択した反射波から、予め規定した振幅しきい値を超える反射波のみを有効な反射波として抽出する。
 さらに、位相差相関判定部124は、振幅判定部123が抽出した規定の振幅しきい値を超える反射波に基づいて、前述の評価値算出式(式1)に従って、位相差相関評価値を算出し、予め規定したしきい値(位相差相関評価値対応しきい値)を超える反射波のみを抽出する。
 すなわち、以下の(式1)に従って評価値(位相差相関評価値)を算出する。
Figure JPOXMLDOC01-appb-M000005
 なお、上記(式1)において、pd(θ,φ)は、方向(θ,φ)から到来した反射波に対して、本実施例2のひし形配置超音波マイクアレイ103を構成する各マイク間で発生するマイク間位相差であり、以下の(式5)によって算出される。
Figure JPOXMLDOC01-appb-M000006
 上記(式5)において、
 i:虚数単位
 n:円周率
 λ:音声パルス信号の波長
 である。
 (θ,φ)は、上記(式5)によって算出するマイク間位相差が発生する反射波の到来方向を示す座標であり、超音波センサ100のマイクアレイ面をxy平面とし、音声出力方向をz方向とした設定におけるz軸に対する角度がθ、反射波到来方向をxy平面に射影した線とx軸とのなす角度である。
 pd(θ,φ)のnは、図25を参照して説明したひし形配置超音波マイクアレイ103を構成する各マイクa~dのチャンネル番号ch0~ch3でありn=0~3である。
 上記(式5)に示す行列は、マイクa(ch0)の受信パルスの振幅値を1としたタイミングにおけるその他のマイクb~d(ch1~ch3)の受信パルスの振幅値を示す行列であり、各マイクa~d(ch0~ch3)の位相差を示す行列式である。
 さらに、上記(式1)において、
 Rは、実際の観測信号、すなわち、位相差相関判定部124が、解析対象領域170を決定するために振幅判定部123から入力した規定の振幅しきい値を超える反射波に基づいて算出する受信信号の共分散行列であり、先に説明した実施例1と同様の共分散行列である。
 先に図17を参照して説明したように、受信信号の共分散行列Rは、受信信号の受信時間tにおける観測信号x(t)とした場合、前述した(式3)に従って算出される。
 図26を参照して、本実施例2のひし形配置超音波マイクアレイ103を利用した場合に算出される位相差相関評価値の具体例について説明する。
 図26に示す評価値算出結果の例は、マイク配列をひし形配置超音波マイクアレイ103とし、解析対象方向を示す座標(θ,φ)=(0,0)、すなわち先に説明した実施例1において図15を参照して説明したと同様、解析対象方向160をz軸とした場合の評価値算出結果である。
 位相差相関評価値は0.0~4.0の範囲で算出される。位相差相関評価値が高いほど濃い色(黒に近づく)で示し、位相差相関評価値が低いほど薄い色(白に近づく)で示している。
 図26(a)は、解析対象方向であるz軸の右上前方から観察した位相差相関評価値分布データを示している。
 図26(b)は、解析対象方向であるz軸の方向から観察した位相差相関評価値分布データを示している。
 なお、図26(b)に示すx軸とy軸には、には、解析対象方向を示す座標(θ,φ)=(0,0)、すなわちz軸からの角度(10°、30°、50°)を示している。
 図から理解されるように、本実施例2のひし形配置超音波マイクアレイ103を利用した場合、評価値は、z軸に近いほど位相差相関評価値が高く、z軸から離れるほど位相差相関評価値が低くなる。さらに、上下方向(y軸方向)では、評価値が急激に減少し、横方向(x軸方向)では、評価値が緩やかに減少する。
 すなわち、横方向に伸びた扁平型の評価値分布を持つ。
 この結果、解析対象領域は、横方向に広く、縦方向に狭い、扁平型の円錐形とすることができる。例えば天井や床からの反射波は除去し、水平方向には広い領域を解析対象領域として設定することが可能となる。
 位相差相関判定部124は、さらに、前述した(式1)に従って算出した位相差相関評価値と、予め規定したしきい値(位相差相関評価値対応しきい値)を比較して、しきい値を超えた位相差相関評価値を有する領域を解析対象領域と判定する処理を実行する。
 この処理について、図27を参照して説明する。
 図27に示すグラフは、横軸に解析対象方向からの角度、縦軸に評価値を示したグラフである。
 グラフ中に示す曲線が、前述した評価値(位相差相関評価値)算出式である(式1)によって算出される曲線であり、図26に示す濃淡情報をグラフ化したデータである。
 なお、横軸の角度は、解析対象方向を示す座標(θ,φ)=(0,0)、すなわちz軸からの角度になる。
 図に示すグラフから理解されるように、解析対象方向からの角度が大きくなるにつれ、評価値(位相差相関評価値)が低下する。
 本実施例2のひし形配置超音波マイクアレイ103を利用した構成では、上下方向(y軸方向)では、評価値が急激に減少し、横方向(x軸方向)では、評価値が緩やかに減少する。
 すなわち、横方向に伸びた扁平型の評価値分布を持つ。
 図27に示す例では、しきい値(位相差相関評価値対応しきい値)を、評価値=1.0とした例を示している。
 評価値=1.0とした場合、解析対象領域は、解析対象方向からの角度が、上下方向(y軸方向)で20°、横方向(x軸方向)で45°以内の領域となる。
 このようなしきい値によって解析対象領域を決定することが可能となる。本実施例2の解析対象領域は、横方向に広く、縦方向に狭い、扁平型の円錐形とすることが可能となる。
 この結果、例えば天井や床からの反射波は除去し、水平方向には広い領域を解析対象領域として設定することが可能となる。
 すなわち、ひし形配置マイクアレイを用いることで、天井や床からの反射波は狭い視野角で排除でき、かつ水平面(xz平面)は広い測位範囲を確保できる。
  [5.(実施例3)三角形配置マイクアレイを持つセンサを利用した実施例について]
 次に、本開示の物***置解析装置の実施例3として、三角形配置マイクアレイを持つセンサを利用した実施例について説明する。
 実施例3の物***置解析装置は、先に図9を参照して説明した実施例1の物***置解析装置150の超音波センサ100の正方形配置超音波マイクアレイ102を、正方形型ではなく三角形とし三角形配置超音波マイクアレイに置き換えた構成である。
 図28を参照して、本実施例3の超音波センサ100の三角形配置超音波マイクアレイ104の構成例について説明する。
 図28に示すように、本実施例3の超音波センサ100は、超音波パルス信号を出力する超音波スピーカー101と、3つのマイクを、傾きを持つ三角形の各頂点に配列した三角形配置超音波マイクアレイ104によって構成される。
 図28を参照して、本実施例3の超音波センサ100内の三角形配置超音波マイクアレイ104の詳細構成について説明する。
 図28の右側には、三角形配置超音波マイクアレイ104の詳細配置図を示している。
 超音波センサの平面をxy平面として、xy平面から垂直に伸びる方向をz軸として示している。z軸方向は、超音波スピーカー101からの超音波出力方向に相当する。
 図28右側のxy座標上に示すマイクa(ch0),マイクb(ch1),マイクc(ch2)が、三角形配置超音波マイクアレイ103を構成する3つのマイクa~cの詳細位置を示している。各マイクa(ch0)~c(ch2)は、図に示すように、xy平面上に設定され、x軸に対して傾きを持ち、上下方向(y軸方向)に長い三角形の各頂点に配置される。
 超音波スピーカー101から出力される超音波パルス信号の波長をλとしたとき、三角形配置超音波マイクアレイ103を構成する各マイクa(ch0)~c(ch2)は、x軸上、y軸上それぞれに投影した隣接マイク間隔をλ/4以下とする。各マイクの位置はx軸上に投影した時に重ならないように配置することで、xz平面内の方向推定を精度よく行うことができる。
 また、y軸上の各マイクの投影位置も重ならないように配置することで、yz平面内の方向推定も精度よく行うことができる。
 図28に示すように、マイク(ch0)を、xy座標における原点(x,y)=(0,0)位置に設定した場合、3つのマイク(ch0~ch2)は以下の座標位置に設定される。
 マイクa(ch0)の位置(x,y)=(0,0)
 マイクb(ch1)の位置(x,y)=(λ/4,-λ/4)
 マイクc(ch2)の位置(x,y)=(λ/2,λ/4)
 このように、本実施例3の物***置解析装置の超音波センサは、3つのマイクa(ch0)~c(ch2)を、図28に示すようにxy平面上に設定される傾きを持つ三角形の各頂点に配置したマイクアレイ、すなわち、三角形配置超音波マイクアレイ104を有する。
 このような三角形配置超音波マイクアレイ104を用い、各マイクが入力する反射波間の位相差を解析することで、予め設定された解析対象方向、例えばセンサのz軸方向に相当するロボット正面の解析対象方向の反射波のみを抽出して、解析対象方向にある物体の位置(距離、方向)を高精度に解析することができる。
  [6.(実施例4)超音波センサと姿勢センサを有する物***置解析装置の実施例について]
 次に、(実施例4)として、超音波センサと姿勢センサを有する物***置解析装置の実施例について説明する。
 以下に説明する実施例4は、例えば視覚障がい者のための歩行支援用の杖に超音波センサと姿勢センサを有する物***置解析装置を装着した実施例である。
 図29を参照して、本実施例4の概要について説明する。
 図29に示すように、例えば視覚障がい者等のユーザ180が手に持っている杖240に物***置解析装置150Bを装着する。
 物***置解析装置150Bは、超音波センサ100と、姿勢センサ200を備えた装置である。
 物***置解析装置150B内の超音波センサ100を利用してユーザ180の正面方向に絞って障害物検知をする場合、杖240の動きによる超音波センサの姿勢ブレが生じてしまう可能性がある。
 この姿勢ブレを補正するために、例えば加速度センサやジャイロセンサから得られる姿勢情報を使い、ジンバルやドローンの姿勢制御等を行うことがある。しかしこれらメカによる姿勢制御では姿勢センサの情報を装置の姿勢に反映するまでに、重量などの物理的な影響による遅延が発生してしまう可能性が高い。
 そこで、超音波センサ100と一緒に姿勢センサ200を有する物***置解析装置150Bを杖240に取り付け、姿勢センサ200からの角度情報に基づいて、解析対象方向や解析対象領域を動的に変更して、ユーザ180の正面方向(歩行方向)の物***置解析を、遅延なく実行する。
 この構成により、超音波スピーカーやマイクの配置や向きを動的に変えることなく、信号処理だけで高速に測位装置の姿勢ブレを補正できる。
 図30を参照して、具体例について説明する。
 図30には、以下の2つの図を示している。
 (a)解析対象領域補正前
 (b)解析対象領域補正後
 いずれの図も、ユーザ180は、杖240を右手に持ち、杖240の方向がユーザ180の左斜め前方であり、ユーザ180の正面方向とはずれた状態にある。
 (a)(b)とも、杖240に装着された物***置解析装置150Bの超音波センサ100は、杖240の方向、すなわち、ユーザ180の左斜め前方を向いている。
 「(a)解析対象領域補正前」に示す解析対象方向160aは、物***置解析装置150Bの超超音波センサ100の面(xy面)の正面方向、すなわち超音波センサ100面(平面)から垂直前方方向のz軸方向であり、解析対象領域170aは、z軸方向(=解析対象方向160a)を中心軸とする円錐領域に設定される。すなわち、図30(a)に示すように、ユーザ180の正面方向ではなく、左斜め前方方向に傾いた円錐形状となる。
 この状態では、ユーザ180の進行方向(正面方向)の障害物ではなく、ユーザ180の左前方の障害物を検出するのみとなってしまい、ユーザ正面方向の障害物検出が不十分となる。
 そこで、物***置解析装置150Bは、姿勢センサ200の検出情報を用いて、ユーザ180の進行方向(=杖240の進行方向)と、物***置解析装置150Bの超超音波センサ100の面(xy面)の正面方向、すなわち超音波センサ100面(平面)から垂直前方方向のz軸方向との角度を検出する。
 ユーザ180の進行方向(=杖240の進行方向)とは、図30(a),(b)に示すユーザ正面方向(θ,φ)=(θs,φs)である。
 物***置解析装置150Bは、姿勢センサ200から入力したユーザ正面方向(θ,φ)=(θs,φs)の角度情報を取得して、図30(b)に示すように、このユーザ正面方向(θ,φ)=(θs,φs)に解析対象方向160bを設定する解析対象方向補正処理を実行し、さらに、補正後の解析対象方向160bを中心軸とする円錐領域に解析対象領域170bを設定する補正処理を実行する。
 この補正処理により、図30(b)に示すように、解析対象領域170bはユーザ180の正面方向を向いた円錐形状に設定され、ユーザの進行方向の物体検出を確実に実行することが可能となる。
 なお、ユーザ正面方向(θ,φ)=(θs,φs)に解析対象方向160bを設定し、その周囲に解析対象領域170bを設定する処理は、位相相関判定部124において実行される。
 図31に、本実施例4の物***置解析装置Bの構成例を示す。
 図31に示す物***置解析装置Bは、先に図9を参照して説明した実施例1の物***置解析装置150に姿勢センサ200を追加した構成に相当する。
 データ処理部120の振幅判定部123は、正方形配置超音波マイクアレイ102を構成する各マイクの入力信号(反射波)から、反射波部分を選択し、さらに、選択した反射波から、予め規定した振幅しきい値を超える反射波のみを有効な反射波として抽出する。
 さらに、位相差相関判定部124は、振幅判定部123が抽出した規定の振幅しきい値を超える反射波に基づいて、前述の評価値算出式(式1)に従って、位相差相関評価値を算出し、予め規定したしきい値(位相差相関評価値対応しきい値)を超える反射波のみを抽出する。
 ただし、本実施例4の位相差相関判定部124は、姿勢センサ200から、ユーザ180の進行方向(=杖240の進行方向)、すなわち、図30(a),(b)に示すユーザ正面方向(θ,φ)=(θs,φs)の角度情報を入力し、このユーザ正面方向角度情報に基づいて位相差相関評価値を算出する。
 図30(a)の下部に示す評価値算出式、すなわち、以下の(式6a)は、ユーザ正面方向(θ,φ)=(θs,φs)ではなく超音波センサ100の正面方向(z軸方向)(θ,φ)=(0,0)を解析対象方向160aに設定した評価値算出式である。
Figure JPOXMLDOC01-appb-M000007
 上記(式6a)に従った評価値算出式で算出される位相差相関評価値は、物***置解析装置150Bの超超音波センサ100の面(xy面)の正面方向、すなわち超音波センサ100面(平面)から垂直前方方向のz軸方向((θ,φ)=(0,0))が最も評価値が高くなる。
 すなわち、上記(式6a)に従った評価値算出式で算出される位相差相関評価値は、物***置解析装置150Bの超超音波センサ100の面(xy面)の正面方向、すなわち超音波センサ100面(平面)から垂直前方方向のz軸方向に解析対象方向160aを設定した構成に対応する。結果として、図30「(a)解析対象領域補正前」に示す解析対象方向160aとなる。
 この設定では、解析対象領域170aは、超音波センサ100面(平面)から垂直前方方向のz軸方向(=解析対象方向160a)を中心軸とする円錐領域に設定される。すなわち、図30(a)に示すように、ユーザ180の正面方向ではなく、左斜め前方方向に傾いた円錐形状に設定されてしまう。
 このような問題を解決するため、本実施例4の位相差相関判定部124は、姿勢センサ200から、ユーザ180の進行方向(=杖240の進行方向)、すなわち、図30(a),(b)に示すユーザ正面方向(θ,φ)=(θs,φs)の角度情報を入力し、このユーザ正面方向角度情報に基づいて位相差相関評価値を算出する。
 すなわち、以下の(式6b)に示す評価値算出式を用いて位相差相関評価値を算出する。
Figure JPOXMLDOC01-appb-M000008
 上記(式6b)に従った評価値算出式は、図30(b)に示すように、ユーザ正面方向(θ,φ)=(θs,φs)を解析対象方向160bに設定したす評価値算出式である。
 上記(式6b)に従った評価値算出式で算出される位相差相関評価値は、ユーザ正面方向(θ,φ)=(θs,φs)が最も評価値が高くなる。
 すなわち、上記(式6b)に従った評価値算出式で算出される位相差相関評価値は、ユーザ正面方向(θ,φ)=(θs,φs)に解析対象方向160bを設定した構成に対応する。結果として、図30「(b)解析対象領域補正前」に示す解析対象方向160bとなる。
 この設定では、解析対象領域170bは、ユーザ正面方向(θ,φ)=(θs,φs)を中心軸とする円錐領域に設定される。すなわち、図30(b)に示すように、ユーザ180の正面方向の円錐形状に設定される。
 このように、本実施例4の構成では、位相差相関判定部124が、姿勢センサ200からユーザ180の進行方向(正面方向)の角度情報を入力し、ユーザ180の進行方向(正面方向)を解析対象方向として評価値が最も高くなるような位相差相関評価値算出処理を実行する。
 この処理により、解析対象領域をユーザ180の正面方向に設定することが可能となる。
 次に、図32を参照して、本実施例4の物***置解析装置Bの実行する処理シーケンスについて説明する。
 図32は、実施例4、すなわち、図31に示す物体解析装置150Bが実行する処理シーケンスについて説明するフローチャートである。
 なお、図32に示すフローチャートに従った処理は、図31に示す物体解析装置150Bの記憶部に格納されたプログラムに従って実行することが可能である。
 図32に示すフローチャートに従った処理は、物体解析装置150Bの例えばCPU等のプログラム実行機能を持つ制御部の制御の下で実行される。以下、図32に示すフローの各ステップの処理の詳細について順次、説明する。
  (ステップS100)
 まず、図31に示す物体解析装置150Bは、ステップS100において、姿勢センサ200の検出値を取得する。
 この処理は、図31に示す物体解析装置150Bの姿勢センサ200によって実行される。
 姿勢センサ200は、ユーザの進行方向(=杖の進行方向)、すなわち、先に説明した図30(a),(b)に示すユーザ正面方向(θ,φ)=(θs,φs)の角度情報(センサ正面方向(z軸方向)に対する角度情報)を取得する。
 姿勢センサ200が取得したユーザ正面方向(θ,φ)=(θs,φs)の角度情報(センサ正面方向(z軸方向)に対する角度情報)は、データ処理部120の位相差相関判定部124に入力される。
  (ステップS101)
 次のステップS101~S103の処理は、先に図23を参照して説明した実施例1の処理フローのステップS101~S103の処理と同様の処理である。
 まず、ステップS101において、物体解析装置150Bは超音波パルスを送信する。
 この処理は、図31に示す物体解析装置150Bのデータ処理部120のタイミング制御部121、超音波パルス送信部122、および超音波センサ100の超音波スピーカー101によって実行される。
 タイミング制御部121は、超音波センサ100の超音波スピーカー101から出力する超音波パルス信号の出力タイミングを制御する。
 超音波パルス送信部122は超音波パルス信号を生成し、タイミング制御部121において制御されたタイミングで、超音波スピーカー101から生成した超音波パルス信号を出力する。
 なお、超音波センサ100を構成する超音波スピーカー101と正方形配置超音波マイクアレイ102を有する平面をxy平面とした場合、超音波センサ100の超音波スピーカー101から出力される超音波パルス信号の出力方向はz軸方向である。
  (ステップS102)
 次に、物体解析装置150は、ステップS102において、ステップS101で送信した超音波パルスの反射波を受信する。
 超音波センサ100の超音波スピーカー101から放射された超音波パルス信号は、様々な物体(オブジェクト)によって反射され、これらの反射波が、超音波センサ100の正方形配置超音波マイクアレイ102を構成する各マイク、すなわち、図9に示すマイク1,102-1~マイクn,102-nに入力される。
  (ステップS103)
 次に、物体解析装置150Bは、ステップS103において、ステップS102でマイクが受信した反射波から、予め規定したしきい値を超える反射波のみを抽出する処理を実行する。
 この処理は、図31に示す物体解析装置150Bのデータ処理部120の振幅判定部123が実行する処理である。
 振幅判定部123は、正方形配置超音波マイクアレイ102を構成する各マイク1,102-1~マイクn,102-nの入力信号(反射波)から、反射波部分を選択し、さらに、選択した反射波から、予め規定した振幅しきい値を超える反射波のみを有効な反射波として抽出する。
 なお、規定の振幅しきい値を超える反射波は、環境雑音より十分大きな受信強度がある反射波であることを意味する。
 このステップS103において振幅判定部123が実行する処理は、先に図11、図12を参照して説明した処理に相当する。
 振幅判定部123は、まずマイク受信信号から、反射波部分を選択する。その後、選択した反射波から、予め規定した振幅しきい値を超える反射波のみを有効な反射波として抽出する。
 例えば、先に図12を参照して説明したように、図12の「(b2)振幅判定部123の処理例-2」に示す波形部分が、予め規定した振幅しきい値を超える有効な反射波として抽出される。
  (ステップS104)
 次に、物体解析装置150Bは、ステップS104において、ステップS103で抽出された規定振幅しきい値を超える反射波から、さらに、位相差相関評価値が予め規定したしきい値(位相差相関評価値対応しきい値)を超える反射波のみを抽出する処理を実行する。
 ただし、本実施例4では、図30、図31を参照して説明したように、姿勢センサ200から、ユーザ180の進行方向(=杖240の進行方向)、すなわち、図30(a),(b)に示すユーザ正面方向(θ,φ)=(θs,φs)の角度情報を入力し、このユーザ正面方向角度情報に基づいて位相差相関評価値を算出する。
 すなわち、先に説明した(式6b)に従った評価値算出式を生成して位相差相関評価値を算出する。
 先に説明した(式6b)に従った評価値算出式は、図30(b)に示すように、ユーザ正面方向(θ,φ)=(θs,φs)を解析対象方向160bに設定したす評価値算出式である。
 上記(式6b)に従った評価値算出式で算出される位相差相関評価値は、ユーザ正面方向(θ,φ)=(θs,φs)が最も評価値が高くなる。
 すなわち、上記(式6b)に従った評価値算出式で算出される位相差相関評価値は、ユーザ正面方向(θ,φ)=(θs,φs)に解析対象方向160bを設定した構成に対応する。結果として、図30「(b)解析対象領域補正前」に示す解析対象方向160bとなる。
 この設定では、解析対象領域170bは、ユーザ正面方向(θ,φ)=(θs,φs)を中心軸とする円錐領域に設定される。すなわち、図30(b)に示すように、ユーザ180の正面方向の円錐形状に設定される。
 このように、本実施例4の構成では、位相差相関判定部124が、姿勢センサ200からユーザ180の進行方向(正面方向)の角度情報を入力し、ユーザ180の進行方向(正面方向)を解析対象方向として評価値が最も高くなるような位相差相関評価値算出処理を実行する。
 この処理により、解析対象領域をユーザ180の正面方向に設定することが可能となる。
 さらに、位相差相関判定部124は、上記(式6b)に従った評価値算出式に基づいて算出した位相差相関評価値と、予め規定したしきい値(位相差相関評価値対応しきい値)を比較して、しきい値を超えた位相差相関評価値を有する領域を解析対象領域と判定する処理を実行する。
 この処理は、先に図19を参照して説明した処理と同様のである。
 前述したように、しきい値(位相差相関評価値対応しきい値)は、様々な設定が可能であり、しきい値を低い値に設定すれば、より広範囲な解析対象領域を設定することができる。一方、しきい値を高い値に設定すれば、より限定された狭い範囲の解析対象領域を設定することができる。
 このように、位相差相関判定部124は、ステップS104において、ステップS103で振幅判定部123が抽出した規定の振幅しきい値を超える反射波に基づいて前述の評価値算出式(式6b)に従って、位相差相関評価値を算出し、予め規定したしきい値(位相差相関評価値対応しきい値)を超える反射波のみを抽出する。
 この処理により、図30(b)に示すようにユーザ180の正面方向に設定された解析対象領域170bの反射波のみを抽出することが可能となる。
  (ステップS105~S106)
 次に、物体解析装置150は、ステップS105~S106において、ステップS104で位相差相関判定部124が抽出した反射波、すなわち、ユーザ180の正面方向に設定された解析対象領域170bの反射波のみを解析対象として、反射波に基づく物***置(距離、方向)の算出を行う。
 この処理は、図31に示す物体解析装置150Bのデータ処理部120の物***置(距離、方向)算出部125が実行する処理である。
 物***置(距離、方向)算出部125は、例えばToF(Time of Flight)の原理により、音声パルスの出力タイミングから、反射波の受信タイミングまでの時間である応答時間に基づいて物体距離を算出する。
 さらに、物体方向については、例えば、ビームフォーミング法やMUSIC法などのアルゴリズムを適用して推定する。
 例えば実施例1において、図21、図22を参照して説明した処理に従って、反射波の方向を、すなわち物体の方向を算出する。
 このように、物***置(距離、方向)算出部125は、ステップS105~S106において、反射波を生成した物体の距離と方向を算出する。
 以上、説明したように、本実施例4の物体解析装置150Bは、姿勢センサ200が取得するユーザの進行方向(正面方向)情報に基づいて、解析対象方向をユーザの進行方向(正面方向)に限定した解析対象領域を設定し、設定した解析対象領域からの反射波を利用して、反射波を生成した物体の位置、すなわち物体まで距離や方向を算出する。
 このような処理を行うことで、ユーザの進行方向(正面方向)にある物体の位置(距離、方向)解析処理を高精度に実行することが可能となる。
  [7.物***置解析装置のハードウェア構成例について]
 次に、図33を参照して、本開示の物***置解析装置のハードウェア構成例について説明する。
 なお、物***置解析装置は、先に23、図32等を参照して説明した物***置解析装置150,150Bに相当する。
 以下、図33に示す本開示の物***置解析装置のハードウェア構成の各構成部について説明する。
 CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
 CPU301はバス304を介して入出力インタフェース305に接続され、入出力インタフェース305には、入力部306、出力部307、記憶部308、通信部309、さらに、リムーバブルメディアに接続されたドライブ310が接続されている。
 入力部306は、上述した実施例において説明した超音波センサや姿勢センサ等の各種センサの他、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、ユーザ入力部などから構成される。
 出力部307は、上述した実施例において説明した超音波等の音声パルス出力用のスピーカーや、ディスプレィなどによって構成される。
 CPU301は、入力部306から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部307に出力する。
 入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
 入出力インタフェース305に接続されているドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア311を駆動し、データの記録あるいは読み取りを実行する。
  [8.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) 音声パルス信号を出力するスピーカーと、
 前記スピーカーが出力した音声パルス信号の反射波を入力する複数のマイクと、
 前記複数のマイクが入力した反射波を解析して、音声パルス信号を反射した物体の位置を解析するデータ処理部を有し、
 前記データ処理部は、
 前記複数のマイクが入力した反射波から、予め規定した解析対象方向からの音声パルス信号の位相差との相関が高い位相差を有する反射波を解析対象反射波として選択し、
 選択した解析対象反射波の解析処理により、前記解析対象方向近傍の解析対象領域内の物体の位置を解析する物***置解析装置。
 (2) 前記データ処理部は、
 前記複数のマイクが入力した反射波と、前記解析対象方向からの音声パルス信号の位相差との相関が高いほど大きな値となる位相差相関評価値を算出し、
 算出した位相差相関評価値が予め規定したしきい値を超える反射波を、前記解析対象反射波として選択する(1)に記載の物***置解析装置。
 (3) 前記複数のマイクは、
 xy平面上に配列され、x軸上への各マイクの投影位置が重ならないように配置した3個以上のマイクであり、
 前記データ処理部は、
 前記3個以上のマイクが入力した反射波から、予め規定した解析対象方向からの音声パルス信号の位相差との相関が高い位相差を有する反射波を解析対象反射波として選択する(1)または(2)に記載の物***置解析装置。
 (4) 前記複数のマイクは、
 xy平面上に配列され、x軸上への各マイクの投影位置が重ならず、かつy軸上への各マイクの投影位置も重ならないように配置した3個以上のマイクであり、
 前記データ処理部は、
 前記3個以上のマイクが入力した反射波から、予め規定した解析対象方向からの音声パルス信号の位相差との相関が高い位相差を有する反射波を解析対象反射波として選択する(1)~(3)いずれかに記載の物***置解析装置。
 (5) 前記複数のマイクは、
 xy平面上に配列され、
 x軸に対して傾きを持つ正方形の4頂点位置に4つのマイクを配置した正方形配置マイクアレイである(1)~(4)いずれかに記載の物***置解析装置。
 (6) 前記データ処理部は、
 前記正方形配置マイクアレイを構成するマイクが入力した反射波から、予め規定した解析対象方向からの音声パルス信号の位相差との相関が高い位相差を有する反射波を解析対象反射波として選択し、
 選択した解析対象反射波の解析処理により、前記解析対象方向を中心軸とする円錐領域から構成される解析対象領域内の物体の位置を解析する(5)に記載の物***置解析装置。
 (7) 前記複数のマイクは、
 xy平面上に配列され、
 x軸に対して傾きを持ち、y軸方向に長いひし形の4頂点位置に4つのマイクを配置したひし形配置マイクアレイである(1)~(4)いずれかに記載の物***置解析装置。
 (8) 前記データ処理部は、
 前記ひし形配置マイクアレイを構成するマイクが入力した反射波から、予め規定した解析対象方向からの音声パルス信号の位相差との相関が高い位相差を有する反射波を解析対象反射波として選択し、
 選択した解析対象反射波の解析処理により、前記解析対象方向を中心軸とする扁平型の円錐領域から構成される解析対象領域内の物体の位置を解析する(7)に記載の物***置解析装置。
 (9) 前記複数のマイクは、
 xy平面上に配列され、
 x軸に対して傾きを持つ三角形の3頂点位置に3つのマイクを配置した三角形配置構成を有する(1)~(4)いずれかに記載の物***置解析装置。
 (10) 前記音声パルス信号は超音波信号であり、
 前記スピーカーは、超音波信号を出力し、
 前記複数のマイクは、前記スピーカーが出力した超音波信号の反射波を入力し、
 前記データ処理部は、
 前記複数のマイクが入力した超音波信号の反射波の解析処理を実行する(1)~(9)いずれかに記載の物***置解析装置。
 (11) 前記データ処理部は、
 前記複数のマイクが入力した反射波から、予め規定した振幅しきい値を超える反射波のみを有効な反射波として抽出する振幅判定部と、
 前記振幅判定部が抽出した規定の振幅しきい値を超える反射波から、さらに規定の位相差相関評価値対応しきい値を超える反射波のみを抽出する位相差相関判定部と、
 前記位相差相関判定部が抽出した定の位相差相関評価値対応しきい値を超える反射波の解析により、前記解析対象領域内の物体の距離と方向を解析する物***置算出部を有する(1)~(10)いずれかに記載の物***置解析装置。
 (12) 前記位相差相関判定部は、
 前記複数のマイクが入力した反射波と、前記解析対象方向からの音声パルス信号の位相差との相関が高いほど大きな値となる位相差相関評価値を算出し、
 算出した位相差相関評価値が予め規定したしきい値を超える反射波を、前記解析対象反射波として抽出する(11)に記載の物***置解析装置。
 (13) 前記物***置算出部は、
 前記位相差相関判定部が抽出した定の位相差相関評価値対応しきい値を超える反射波の解析処理として、
 xy平面上に配列された前記複数のマイクをx軸上に投影し、投影したマイク位置における反射波のマイク間位相差に基づいてxz平面における反射波の方向αを算出する処理を実行する(11)または(12)に記載の物***置解析装置。
 (14) 前記物***置算出部は、さらに、
 xy平面上に配列された前記複数のマイクをy軸上に投影し、投影したマイク位置における反射波のマイク間位相差に基づいてyz平面における反射波の方向βを算出する処理を実行する(13)に記載の物***置解析装置。
 (15) 前記物***置解析装置は、さらに、
 前記物***置解析装置の姿勢を解析する姿勢センサを有し、
 前記位相差相関判定部は、
 前記姿勢センサの検出値に基いて、前記解析対象方向、および前記解析対象領域を制御する(11)~(14)いずれかに記載の物***置解析装置。
 (16) 前記位相差相関判定部は、
 前記姿勢センサの検出値に基いて、前記解析対象方向を、前記物***置解析装置を保持するユーザの進行方向に設定するように制御する(15)に記載の物***置解析装置。
 (17) 物***置解析装置において実行する物***置解析方法であり、
 スピーカーが、音声パルス信号を出力するステップと、
 複数のマイクが、前記スピーカーが出力した音声パルス信号の反射波を入力するステップと、
 データ処理部が、前記複数のマイクが入力した反射波を解析して、音声パルス信号を反射した物体の位置を解析する物***置解析処理ステップを有し、
 前記データ処理部は、
 前記物***置解析処理ステップにおいて、
 前記複数のマイクが入力した反射波から、予め規定した解析対象方向からの音声パルス信号の位相差との相関が高い位相差を有する反射波を解析対象反射波として選択し、
 選択した解析対象反射波の解析処理により、前記解析対象方向近傍の解析対象領域内の物体の位置を解析する物***置解析方法。
 (18) 物***置解析装置において物***置解析処理を実行させるプログラムであり、
 スピーカーに、音声パルス信号を出力させるステップと、
 複数のマイクに、前記スピーカーが出力した音声パルス信号の反射波を入力させるステップと、
 データ処理部に、前記複数のマイクが入力した反射波を解析して、音声パルス信号を反射した物体の位置を解析させる物***置解析処理ステップを実行させ、
 前記プログラムは、前記物***置解析処理ステップにおいて、
 前記複数のマイクが入力した反射波から、予め規定した解析対象方向からの音声パルス信号の位相差との相関が高い位相差を有する反射波を解析対象反射波として選択する処理と、
 選択した解析対象反射波の解析処理により、前記解析対象方向近傍の解析対象領域内の物体の位置を解析する処理を実行させるプログラム。
 なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 また、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、特定の解析対象領域内の物体の位置を解析する物***置解析装置が実現される。
 具体的には、例えば、音声パルス信号を出力するスピーカーと、スピーカーが出力した音声パルス信号の反射波を入力する複数のマイクと、複数のマイクが入力した反射波を解析して、音声パルス信号を反射した物体の位置を解析するデータ処理部を有する。データ処理部は、複数のマイクが入力した反射波から、予め規定した解析対象方向からの音声パルス信号の位相差との相関が高い位相差を有する反射波を解析対象反射波として選択し、選択した解析対象反射波の解析処理により、解析対象方向近傍の解析対象領域内の物体の位置を解析する。
 本構成により、特定の解析対象領域内の物体の位置を解析する物***置解析装置が実現される。
  10 ロボット
  20 超音波センサ
  21 超音波スピーカー
  22 超音波マイクアレイ
  50 物体
  60 虚像
 100 超音波センサ
 101 超音波スピーカー
 102 正方形配置超音波マイクアレイ
 103 ひし形配置超音波マイクアレイ
 104 三角形配置超音波マイクアレイ
 120 データ処理部
 121 タイミング制御部
 122 超音波パルス送信部
 123 振幅判定部
 124 位相差相関判定部
 125 物***置(距離、方向)推定部
 160 解析対象方向
 170 解析対象領域
 175 解析対象外領域
 200 姿勢センサ
 240 杖
 301 CPU
 302 ROM
 303 RAM
 304 バス
 305 入出力インタフェース
 306 入力部
 307 出力部
 308 記憶部
 309 通信部
 310 ドライブ
 311 リムーバブルメディア

Claims (18)

  1.  音声パルス信号を出力するスピーカーと、
     前記スピーカーが出力した音声パルス信号の反射波を入力する複数のマイクと、
     前記複数のマイクが入力した反射波を解析して、音声パルス信号を反射した物体の位置を解析するデータ処理部を有し、
     前記データ処理部は、
     前記複数のマイクが入力した反射波から、予め規定した解析対象方向からの音声パルス信号の位相差との相関が高い位相差を有する反射波を解析対象反射波として選択し、
     選択した解析対象反射波の解析処理により、前記解析対象方向近傍の解析対象領域内の物体の位置を解析する物***置解析装置。
  2.  前記データ処理部は、
     前記複数のマイクが入力した反射波と、前記解析対象方向からの音声パルス信号の位相差との相関が高いほど大きな値となる位相差相関評価値を算出し、
     算出した位相差相関評価値が予め規定したしきい値を超える反射波を、前記解析対象反射波として選択する請求項1に記載の物***置解析装置。
  3.  前記複数のマイクは、
     xy平面上に配列され、x軸上への各マイクの投影位置が重ならないように配置した3個以上のマイクであり、
     前記データ処理部は、
     前記3個以上のマイクが入力した反射波から、予め規定した解析対象方向からの音声パルス信号の位相差との相関が高い位相差を有する反射波を解析対象反射波として選択する請求項1に記載の物***置解析装置。
  4.  前記複数のマイクは、
     xy平面上に配列され、x軸上への各マイクの投影位置が重ならず、かつy軸上への各マイクの投影位置も重ならないように配置した3個以上のマイクであり、
     前記データ処理部は、
     前記3個以上のマイクが入力した反射波から、予め規定した解析対象方向からの音声パルス信号の位相差との相関が高い位相差を有する反射波を解析対象反射波として選択する請求項1に記載の物***置解析装置。
  5.  前記複数のマイクは、
     xy平面上に配列され、
     x軸に対して傾きを持つ正方形の4頂点位置に4つのマイクを配置した正方形配置マイクアレイである請求項1に記載の物***置解析装置。
  6.  前記データ処理部は、
     前記正方形配置マイクアレイを構成するマイクが入力した反射波から、予め規定した解析対象方向からの音声パルス信号の位相差との相関が高い位相差を有する反射波を解析対象反射波として選択し、
     選択した解析対象反射波の解析処理により、前記解析対象方向を中心軸とする円錐領域から構成される解析対象領域内の物体の位置を解析する請求項5に記載の物***置解析装置。
  7.  前記複数のマイクは、
     xy平面上に配列され、
     x軸に対して傾きを持ち、y軸方向に長いひし形の4頂点位置に4つのマイクを配置したひし形配置マイクアレイである請求項1に記載の物***置解析装置。
  8.  前記データ処理部は、
     前記ひし形配置マイクアレイを構成するマイクが入力した反射波から、予め規定した解析対象方向からの音声パルス信号の位相差との相関が高い位相差を有する反射波を解析対象反射波として選択し、
     選択した解析対象反射波の解析処理により、前記解析対象方向を中心軸とする扁平型の円錐領域から構成される解析対象領域内の物体の位置を解析する請求項7に記載の物***置解析装置。
  9.  前記複数のマイクは、
     xy平面上に配列され、
     x軸に対して傾きを持つ三角形の3頂点位置に3つのマイクを配置した三角形配置構成を有する請求項1に記載の物***置解析装置。
  10.  前記音声パルス信号は超音波信号であり、
     前記スピーカーは、超音波信号を出力し、
     前記複数のマイクは、前記スピーカーが出力した超音波信号の反射波を入力し、
     前記データ処理部は、
     前記複数のマイクが入力した超音波信号の反射波の解析処理を実行する請求項1に記載の物***置解析装置。
  11.  前記データ処理部は、
     前記複数のマイクが入力した反射波から、予め規定した振幅しきい値を超える反射波のみを有効な反射波として抽出する振幅判定部と、
     前記振幅判定部が抽出した規定の振幅しきい値を超える反射波から、さらに規定の位相差相関評価値対応しきい値を超える反射波のみを抽出する位相差相関判定部と、
     前記位相差相関判定部が抽出した定の位相差相関評価値対応しきい値を超える反射波の解析により、前記解析対象領域内の物体の距離と方向を解析する物***置算出部を有する請求項1に記載の物***置解析装置。
  12.  前記位相差相関判定部は、
     前記複数のマイクが入力した反射波と、前記解析対象方向からの音声パルス信号の位相差との相関が高いほど大きな値となる位相差相関評価値を算出し、
     算出した位相差相関評価値が予め規定したしきい値を超える反射波を、前記解析対象反射波として抽出する請求項11に記載の物***置解析装置。
  13.  前記物***置算出部は、
     前記位相差相関判定部が抽出した定の位相差相関評価値対応しきい値を超える反射波の解析処理として、
     xy平面上に配列された前記複数のマイクをx軸上に投影し、投影したマイク位置における反射波のマイク間位相差に基づいてxz平面における反射波の方向αを算出する処理を実行する請求項11に記載の物***置解析装置。
  14.  前記物***置算出部は、さらに、
     xy平面上に配列された前記複数のマイクをy軸上に投影し、投影したマイク位置における反射波のマイク間位相差に基づいてyz平面における反射波の方向βを算出する処理を実行する請求項13に記載の物***置解析装置。
  15.  前記物***置解析装置は、さらに、
     前記物***置解析装置の姿勢を解析する姿勢センサを有し、
     前記位相差相関判定部は、
     前記姿勢センサの検出値に基いて、前記解析対象方向、および前記解析対象領域を制御する請求項11に記載の物***置解析装置。
  16.  前記位相差相関判定部は、
     前記姿勢センサの検出値に基いて、前記解析対象方向を、前記物***置解析装置を保持するユーザの進行方向に設定するように制御する請求項15に記載の物***置解析装置。
  17.  物***置解析装置において実行する物***置解析方法であり、
     スピーカーが、音声パルス信号を出力するステップと、
     複数のマイクが、前記スピーカーが出力した音声パルス信号の反射波を入力するステップと、
     データ処理部が、前記複数のマイクが入力した反射波を解析して、音声パルス信号を反射した物体の位置を解析する物***置解析処理ステップを有し、
     前記データ処理部は、
     前記物***置解析処理ステップにおいて、
     前記複数のマイクが入力した反射波から、予め規定した解析対象方向からの音声パルス信号の位相差との相関が高い位相差を有する反射波を解析対象反射波として選択し、
     選択した解析対象反射波の解析処理により、前記解析対象方向近傍の解析対象領域内の物体の位置を解析する物***置解析方法。
  18.  物***置解析装置において物***置解析処理を実行させるプログラムであり、
     スピーカーに、音声パルス信号を出力させるステップと、
     複数のマイクに、前記スピーカーが出力した音声パルス信号の反射波を入力させるステップと、
     データ処理部に、前記複数のマイクが入力した反射波を解析して、音声パルス信号を反射した物体の位置を解析させる物***置解析処理ステップを実行させ、
     前記プログラムは、前記物***置解析処理ステップにおいて、
     前記複数のマイクが入力した反射波から、予め規定した解析対象方向からの音声パルス信号の位相差との相関が高い位相差を有する反射波を解析対象反射波として選択する処理と、
     選択した解析対象反射波の解析処理により、前記解析対象方向近傍の解析対象領域内の物体の位置を解析する処理を実行させるプログラム。
PCT/JP2023/019360 2022-06-14 2023-05-24 物***置解析装置、および物***置解析方法、並びにプログラム WO2023243348A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022095492 2022-06-14
JP2022-095492 2022-06-14

Publications (1)

Publication Number Publication Date
WO2023243348A1 true WO2023243348A1 (ja) 2023-12-21

Family

ID=89191193

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/019360 WO2023243348A1 (ja) 2022-06-14 2023-05-24 物***置解析装置、および物***置解析方法、並びにプログラム

Country Status (1)

Country Link
WO (1) WO2023243348A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010197342A (ja) * 2009-02-27 2010-09-09 Nippon Soken Inc 物体検出装置
DE102013200458A1 (de) * 2013-01-15 2014-07-17 Robert Bosch Gmbh System zur Umfeldsensorik
JP2015161551A (ja) * 2014-02-26 2015-09-07 株式会社東芝 音源方向推定装置、音源方向推定方法およびプログラム
JP2019015598A (ja) * 2017-07-06 2019-01-31 株式会社東芝 計測装置および方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010197342A (ja) * 2009-02-27 2010-09-09 Nippon Soken Inc 物体検出装置
DE102013200458A1 (de) * 2013-01-15 2014-07-17 Robert Bosch Gmbh System zur Umfeldsensorik
JP2015161551A (ja) * 2014-02-26 2015-09-07 株式会社東芝 音源方向推定装置、音源方向推定方法およびプログラム
JP2019015598A (ja) * 2017-07-06 2019-01-31 株式会社東芝 計測装置および方法

Similar Documents

Publication Publication Date Title
CN107533134B (zh) 相机、音频声音***、检测物体的位置的方法和***
JP6333412B2 (ja) 障害物検知装置
US7047132B2 (en) Mobile vehicle sensor array
JP6330200B2 (ja) 音源位置推定装置、移動体および移動体の制御方法
JP5815318B2 (ja) シーンを検知するための方法及びシステム
CN106898360B (zh) 音频信号处理方法、装置和电子设备
US9945946B2 (en) Ultrasonic depth imaging
CN108008379B (zh) 生成表示车辆环境的物体的轮廓的折线的方法
EP2823332B1 (en) System and method for target detection
JP2014098568A (ja) 音源位置推定装置、音源位置推定方法および音源位置推定プログラム
JPWO2016208318A1 (ja) 距離画像処理装置、距離画像処理方法、距離画像処理プログラムおよび記録媒体
JP7021019B2 (ja) 検出システム、検出装置、および検出方法
US20170371038A1 (en) Systems and methods for ultrasonic velocity and acceleration detection
US8369550B2 (en) Artificial ear and method for detecting the direction of a sound source using the same
US8416642B2 (en) Signal processing apparatus and method for removing reflected wave generated by robot platform
WO2023243348A1 (ja) 物***置解析装置、および物***置解析方法、並びにプログラム
US20240001941A1 (en) Method and system for testing a control unit of a vehicle
US11262234B2 (en) Directional acoustic sensor and method of detecting distance from sound source using the directional acoustic sensor
JP2014200882A (ja) 把持対象物の把持パターン検出方法およびロボット
KR20200066891A (ko) 2차원 마이크 어레이를 이용한 3차원 음원 위치 검출 장치 및 방법
JP2012146149A (ja) 死角車両検知システム、死角車両検知装置、死角車両検知方法およびそのプログラム
CN104166133B (zh) 用于通过自适应的波束成形检测对象的方法
CN109031192B (zh) 对象定位方法、对象定位装置和电子设备
WO2023199786A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR102627513B1 (ko) 거리 측정 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23823647

Country of ref document: EP

Kind code of ref document: A1