WO2022085625A1 - 自律走行車 - Google Patents

自律走行車 Download PDF

Info

Publication number
WO2022085625A1
WO2022085625A1 PCT/JP2021/038420 JP2021038420W WO2022085625A1 WO 2022085625 A1 WO2022085625 A1 WO 2022085625A1 JP 2021038420 W JP2021038420 W JP 2021038420W WO 2022085625 A1 WO2022085625 A1 WO 2022085625A1
Authority
WO
WIPO (PCT)
Prior art keywords
transport
target
docking
control device
autonomous
Prior art date
Application number
PCT/JP2021/038420
Other languages
English (en)
French (fr)
Inventor
耕志 寺田
達 礒部
潤 ▲羽▼鳥
遼介 奥田
博俊 九乗
Original Assignee
株式会社Preferred Robotics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Preferred Robotics filed Critical 株式会社Preferred Robotics
Priority to JP2022557518A priority Critical patent/JP7367231B2/ja
Publication of WO2022085625A1 publication Critical patent/WO2022085625A1/ja
Priority to US18/302,115 priority patent/US20230259137A1/en

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output

Definitions

  • This disclosure relates to autonomous vehicles.
  • An automatic guided vehicle which is an example of an autonomous vehicle, is generally used for industrial purposes, and can automatically transport a transport target according to a predetermined task without a driving operation by a user.
  • the present disclosure provides an autonomous vehicle capable of performing a task according to a transport instruction by sound.
  • the autonomous vehicle has, for example, the following configuration. That is, An autonomous vehicle that docks with a transport target and transports the transport target. A docking mechanism for docking with the transport target, Sound input device and Control to control docking with the transport target specified based on the transport instruction acquired via the sound input device by the docking mechanism and transport of the docked transport target to the position of the transport destination specified based on the transport instruction. Has a device.
  • FIG. 1 is a diagram showing an example of a usage scene of an autonomous vehicle.
  • FIG. 2 is a diagram showing an example of the appearance configuration of the autonomous traveling vehicle.
  • FIG. 3 is a diagram showing an example of the internal configuration and the lower surface configuration of the autonomous traveling vehicle.
  • FIG. 4 is a diagram showing how an autonomous vehicle docks with a shelf to be transported.
  • FIG. 5 is a diagram showing the positional relationship between the casters on the shelves and the docking mechanism of the autonomous vehicle.
  • FIG. 6 is a diagram showing an operation example of the docking mechanism at the time of docking.
  • FIG. 7 is a diagram showing an example of the hardware configuration of the control device.
  • FIG. 8 is a diagram showing an example of the functional configuration of the control device.
  • FIG. 1 is a diagram showing an example of a usage scene of an autonomous vehicle.
  • FIG. 2 is a diagram showing an example of the appearance configuration of the autonomous traveling vehicle.
  • FIG. 3 is a diagram showing an example of the internal configuration and the
  • FIG. 9 is a diagram showing an example of a transport target management table.
  • FIG. 10 is an example of a flowchart showing the flow of autonomous traveling processing.
  • FIG. 11 is an example of a flowchart showing the flow of delivery and transportation processing by voice instruction.
  • FIG. 12 is a diagram showing an operation example of the autonomous traveling vehicle at the time of delivery and transportation.
  • FIG. 13 is an example of a flowchart showing the flow of the return transfer process by voice instruction.
  • FIG. 14 is a diagram showing an operation example of the autonomous traveling vehicle during return transportation.
  • FIG. 1 is a diagram showing an example of a usage scene of an autonomous vehicle.
  • the autonomous driving vehicle 120 is used, for example, in a predetermined space 100 such as a living room at home, in a scene where the user 110 relaxes on a sofa or the like.
  • the user 110 tries to use the notebook PC with respect to the autonomous driving vehicle 120.
  • ⁇ After uttering a wake word
  • the autonomous driving vehicle 120 identifies the shelf 130 on which the work tool 131 such as a notebook PC or a book is placed from the shelves 130 to 150 with casters as a transport target, docks the shelf 130 with the shelf 130, and then docks the shelf 130.
  • the shelves 130 are transported to a position near the user 110.
  • the autonomous vehicle 120 may be configured to follow voice instructions given without a wake word.
  • the user 110 can keep the notebook PC at a remote position at hand without moving from the sofa by simply giving a voice instruction.
  • FIG. 1 shows a case where the shelf 130 is waiting at the position of the anchor 170 in the predetermined space 100 when the user 110 gives a voice instruction. Further, in the example of FIG. 1, when the shelf 130 waiting at the position of the anchor 170 is transported to the position 172 near the user 110, the trash can 160 is placed as an obstacle on the shortest transport path. It shows the case where it was.
  • the autonomous vehicle 120 detects the trash can 160 during the transportation of the shelf 130 and transports the shelf 130 along the transportation route indicated by the dotted arrow 171 to avoid a collision with the trash can 160.
  • the autonomous traveling vehicle 120 transports the shelf 130 to the position 172 near the user 110, and after the user 110 takes out the notebook PC from the shelf 130, the autonomous traveling vehicle 120 is referred to.
  • a voice instruction is given to "return the shelf to its original position".
  • the autonomous vehicle 120 transports the shelf 130 to the position of the anchor 170.
  • the autonomous traveling vehicle 120 transports the shelf 130 as a transport target is shown, but the autonomous traveling vehicle 120 transports the shelf 140 or the shelf 150 depending on the content of the voice instruction of the user 110. It may be specified as a target and transported. Further, in the example of FIG. 1, the autonomous traveling vehicle 120 specified a position in the vicinity of the user 110 as the position of the transport destination of the shelf 130. However, depending on the content of the voice instruction of the user 110, the autonomous traveling vehicle 120 may be located near a predetermined installation object (for example, furniture) installed in the predetermined space 100 or an arbitrary position in the predetermined space 100. May be specified as the position of the transport destination of the shelf 130.
  • a predetermined installation object for example, furniture
  • FIG. 2 is a diagram showing an example of the appearance configuration of the autonomous traveling vehicle.
  • the autonomous traveling vehicle 120 has a rectangular parallelepiped shape as a whole, and is in the height direction (z-axis direction) so that it can enter the lower side of the lowermost stage of the shelf to be transported. And the dimensions in the width direction (x-axis direction) are specified.
  • the shape of the autonomous vehicle 120 is not limited to a rectangular parallelepiped.
  • a lock pin 211 which is a member constituting a docking mechanism for docking with a shelf to be transported, is installed on the upper surface 210 of the autonomous traveling vehicle 120.
  • a LIDAR (Laser Imaging Detection and Ringing) 212 is installed on the upper surface 210 of the autonomous traveling vehicle 120.
  • the LIDAR 212 has a measurement range in the front-rear direction (y-axis direction) and a width direction (x-axis direction) at the height position of the upper surface 210 of the autonomous traveling vehicle 120, and by using the measurement result by the LIDAR 212, the measurement range can be set. It is possible to detect certain obstacles and the like.
  • a front RGB camera 221 and a ToF (Time of Flight) camera (ToF camera 222) are installed on the front 220 of the autonomous vehicle 120.
  • the front RGB camera 221 of the present embodiment is installed above the ToF camera 222, but the installation position of the front RGB camera 221 is not limited to this position.
  • the front RGB camera 221 may be used, for example, when the autonomous vehicle 120 moves in the forward direction.
  • -Shelves to be transported for example, shelves 130
  • -A user in the vicinity of the transport destination for example, user 110
  • an installation object in the vicinity of the transport destination for example, ⁇ Obstacles on the transport route (for example, Recycle Bin 160), Etc. are taken and a color image is output.
  • the ToF camera 222 is an example of a distance image sensor, and in order to avoid the multi-pass problem, the traveling surface (floor surface 240 shown in 2b of FIG. 2) on which the autonomous vehicle 120 travels is not included in the measurement range. , Installed upward on the front 220 of the autonomous vehicle 120.
  • the light emitted from the light source is reflected by another object via the floor surface 240, and the reflected light is received by the ToF camera 222, so that the measurement accuracy is deteriorated.
  • the upward installation angle ⁇ of the ToF camera 222 on the front surface 220 of the autonomous vehicle 120 is about 50 degrees with respect to the floor surface 240.
  • the ToF camera 222 has an obstacle as a measurement range at least in the area through which the docked shelf passes (the area corresponding to the height of the docked shelf x the width of the docked shelf) when the autonomous traveling vehicle 120 moves in the forward direction. Etc. are taken and a distance image (depth image) is output.
  • the vertical angle of view ⁇ v of the ToF camera 222 is 70 degrees and the horizontal angle of view ⁇ h is 90 degrees.
  • a drive wheel 231 and a driven wheel 232 are installed on the lower surface 230 of the autonomous traveling vehicle 120 to support the autonomous traveling vehicle 120.
  • the drive wheels 231 are installed one by one in the width direction (x-axis direction) (two in total are installed in the width direction), and each is independently driven by a motor to drive the autonomous vehicle 120. , Can be moved in the forward / backward direction (y-axis direction). Further, the drive wheel 231 can turn the autonomous traveling vehicle 120 around the z-axis.
  • the driven wheels 232 are installed one by one in the width direction (x-axis direction) (two in total in the width direction). Further, the driven wheels 232 are installed so as to be able to turn around the z-axis with respect to the autonomous traveling vehicle 120.
  • the installation position and number of driven wheels 232 may be other than the above.
  • FIG. 3 is a diagram showing an example of the internal configuration and the lower surface configuration of the autonomous traveling vehicle.
  • 3a in FIG. 3 shows a state in which the top cover of the autonomous vehicle 120 is removed and viewed from directly above.
  • each part constituting the inside of the autonomous traveling vehicle 120 will be described with reference to 3a of FIG.
  • the autonomous vehicle 120 has a first control board 311 and a second control board 312.
  • the first control board 311 controls, for example, an electronic device
  • the second control board 312 controls, for example, a drive device.
  • the role classification of the first control board 311 and the second control board 312 is not limited to this.
  • first control board 311 and the second control board 312 are separately installed, but the first control board 311 and the second control board 312 are different from each other. It may be integrally installed as one substrate. Regardless of whether the first control board 311 and the second control board 312 are installed separately or integrally, in the present embodiment, the functions of the first control board 311 and the second control board 312 have.
  • a device having both functions is referred to as a control device 310.
  • the autonomous traveling vehicle 120 has a solenoid-type lock pin 211 and a photoreflector 330 as a docking mechanism for docking with a shelf to be transported.
  • the docking mechanism of this embodiment uses a solenoid type lock pin, even if the lock pin is raised and lowered by an electromagnetic actuator other than the solenoid, a rack and pinion mechanism, a trapezoidal screw mechanism, a pneumatic drive mechanism, etc. can be used. It may be performed by another actuator.
  • the solenoid type lock pins 211 are at the center position in the width direction (x-axis direction) of the drive wheels 231 installed one by one in the width direction (x-axis direction), and the rotation of the drive wheels 231. It is installed on the shaft (see the alternate long and short dash line in FIGS. 3a and 3b).
  • the solenoid type lock pin 211 has a built-in compression coil spring, and when the solenoid is turned on, the lock pin 211 is sucked and the compression coil spring contracts. On the other hand, when the solenoid is turned off, the solenoid-type lock pin 211 projects upward (in the z-axis direction, in the case of 3a in FIG. 3a, on the front side of the paper surface) due to the compressive force of the compression coil spring.
  • the ON / OFF of the solenoid is controlled by the control device 310.
  • the photo reflector 330 When the autonomous vehicle 120 enters the lower side of the bottom of the shelf to be transported, the photo reflector 330 has a lock pin 211 in a hole (details will be described later) of a lock guide attached to the shelf to be transported. Outputs a signal for determining whether or not it is possible to project.
  • the autonomous driving vehicle 120 turns off the solenoid when it is determined that the lock pin 211 can be projected based on the signal output from the photo reflector 330.
  • the photoreflector is used to detect the facing state between the lock pin 211 and the hole of the lock guide, but this detection may be performed by a method other than the photoreflector. Examples of the method other than the photo-reflector include a method using a camera, a physical switch, a magnetic sensor, an ultrasonic sensor, or the like.
  • the lock pin 211 protrudes toward the hole of the lock guide, and the protruding lock pin 211 is inserted into the hole of the lock guide. As a result, docking between the autonomous traveling vehicle 120 and the shelf to be transported is completed.
  • the solenoid type lock pins 211 are installed at the center position in the width direction (x-axis direction) of the drive wheels 231 installed one by one in the width direction (x-axis direction) (width). Symmetrical in direction). Therefore, when the autonomous vehicle 120 enters the lower side of the lowermost stage of the shelf to be transported, it can enter in the forward direction or in the backward direction.
  • the autonomous vehicle 120 has various input / output devices such as the rear RGB camera 320, microphones 301 to 304, and speakers 305 to, in addition to the above-mentioned LIDAR 212, front RGB camera 221 and ToF camera 222. Has 306.
  • the rear RGB camera 320 may be used, for example, when the autonomous vehicle 120 moves in the backward direction.
  • -Shelves to be transported for example, shelves 130
  • ⁇ Obstacles around the shelves to be transported, Etc. are taken and a color image is output.
  • the microphones 301 to 304 are examples of sound input devices, and are installed at four corners (two on the front side and two on the rear side) of the autonomous vehicle 120 to detect sound from each direction. do. In this way, by installing the microphones 301 to 304 at the four corners of the autonomous vehicle 120, the user 110 who has given a voice instruction to the current position and orientation of the autonomous vehicle 120 is in any direction. It is possible to determine whether or not the user is in and estimate the position of the user 110.
  • Speakers 305 to 306 are examples of audio output devices, and output audio toward the side surface of the autonomous vehicle 120.
  • the speakers 305 to 306 output, for example, a voice for confirming the content of the task recognized by the autonomous traveling vehicle 120 in response to the voice instruction by the user 110.
  • 3b in FIG. 3 shows a state in which the autonomous traveling vehicle 120 is viewed from the lower surface.
  • each part constituting the lower surface of the autonomous traveling vehicle 120 will be described with reference to 3b of FIG.
  • the drive wheels 231 will be described. As shown in 3b of FIG. 3, the autonomous traveling vehicle 120 has drive wheels 231 installed one by one in the width direction (x-axis direction). As described above, the drive wheels 231 are independently driven by motors to move the autonomous vehicle 120 in the forward / backward direction (y-axis direction) or turn around the z-axis. be able to.
  • the autonomous traveling vehicle 120 is moved in the forward direction, and by reversing both of the drive wheels 231, the autonomous traveling vehicle 120 is moved in the backward direction. Can be done. Further, by rotating one of the drive wheels 231 in the normal direction and reversing the other, the autonomous traveling vehicle 120 can be turned.
  • one rotation shaft of the drive wheel 231 and the other rotation shaft are formed coaxially, and the solenoid type lock pin 211 is coaxially driven with one of the drive wheels 231. It is installed at the center position of the wheel 231 with the other side. Therefore, when one of the drive wheels 231 is rotated forward and the other of the drive wheels 231 is reversed, the autonomous traveling vehicle 120 will rotate around the solenoid type lock pin 211.
  • the autonomous traveling vehicle 120 has driven wheels 232 installed one by one in the width direction (x-axis direction). As described above, each of the driven wheels 232 is rotatably installed around the z-axis. Therefore, for example, when the autonomous traveling vehicle 120 turns after moving in the forward direction or the backward direction, the driven wheel 232 can immediately follow the direction in the turning direction. Further, for example, when the autonomous traveling vehicle 120 moves in the forward direction or the backward direction after turning, the driven wheel 232 can immediately follow the direction in the forward or backward direction.
  • FIG. 4 is a diagram showing how an autonomous vehicle docks with a shelf to be transported.
  • 4a of FIG. 4 shows a state immediately before the autonomous traveling vehicle 120 stands by at the position of the anchor 170 and docks with the shelf 130 to be transported.
  • the shelf 130 is a shelf with three stages, and frame guides 410 and 420 are located below the lowermost stage 400 at intervals according to the width of the autonomous vehicle 120. It is installed in parallel. Thereby, the approach direction when the autonomous traveling vehicle 120 enters the lower side of the lowermost stage 400 of the shelf 130 to be transported is defined. Further, the frame guides 410 and 420 function as guide portions in the width direction when the autonomous traveling vehicle 120 conveys the shelf 130 to be conveyed, so that the shelf 130 is displaced in the width direction with respect to the autonomous traveling vehicle 120. To prevent.
  • casters 431 to 434 are rotatably attached to the feet of the shelf 130. As a result, the autonomous vehicle 120 can easily transport the docked shelves 130.
  • 4b in FIG. 4 shows the state after the autonomous traveling vehicle 120 is docked on the shelf 130 to be transported.
  • the front surface 220 of the autonomous vehicle 120 is not covered by each stage of the shelf 130 even when docked to the shelf 130 (the front surface 220 is larger than each stage of the shelf 130). Protruding in the forward direction). Therefore, when the autonomous vehicle 120 conveys the shelf 130, the measurement range of the front RGB camera 221 is not obstructed by any stage of the shelf 130.
  • the measurement range (vertical angle of view ⁇ v, horizontal angle of view ⁇ h) is not obstructed by any stage of the shelf 130. ..
  • the front and rear measurement ranges at the height position of the autonomous vehicle 120 are not obstructed when the autonomous vehicle 120 is docked on the shelf 130.
  • the measurement range in the width direction may be obstructed by the frame guides 410 and 420.
  • the frame guides 410 and 420 of the shelf 130 are provided with openings 411 and 421 in order to reduce the ratio of shielding the measurement range in the width direction of the LIDAR 212.
  • the LIDAR 212 can measure the measurement range in the front, rear, and width directions at the height position of the autonomous vehicle 120 without being obstructed by the shelf 130. can.
  • the microphones 301 and 302 are also advanced from each stage of the shelf 130 with the autonomous vehicle 120 docked to the shelf 130. It is placed in a position that protrudes in the direction. Therefore, when the autonomous vehicle 120 conveys the shelf 130, the detection range of the microphones 301 and 302 on the front side is not obstructed by any stage of the shelf 130.
  • FIG. 5 is a diagram showing the positional relationship between the casters on the shelves and the docking mechanism of the autonomous vehicle.
  • 5a in FIG. 5 shows a state in which the autonomous vehicle 120 is docked to the shelf 130, as viewed from directly above the bottom 400 of the shelf 130.
  • the lowermost 400 shows only the outer frame.
  • 5b in FIG. 5 shows a state in which the autonomous traveling vehicle 120 is docked on the shelf 130 as viewed from the direction of the front surface 220 of the autonomous traveling vehicle 120.
  • the four casters 431 to 434 of the shelf 130 are rotatably attached to the corners of the lowermost 400.
  • the turning range of the four casters 431 to 434 is as shown by reference numerals 501 to 504, and the center position of the turning range of reference numerals 501 to 504 is the position of the turning center of the casters 431 to 434.
  • a lock guide 510 is attached to the lower side of the lowermost stage 400 of the shelf 130, and is inserted into the lock guide 510 when the solenoid type lock pin 211 protrudes.
  • a hole 511 is provided.
  • the surface of the lock guide 510 is made of, for example, white. This is to facilitate determination when determining whether or not the lock pin 211 can be inserted into the hole 511 of the lock guide 510 based on the signal output from the photoreflector 330.
  • the lock pin 211 By inserting the lock pin 211 into the hole 511 of the lock guide 510, it is possible to prevent the shelf 130 from shifting in the forward direction or the backward direction with respect to the autonomous traveling vehicle 120 when the autonomous traveling vehicle 120 conveys the shelf 130. be able to.
  • the locked pin 211 in the protruding state is shown in black in the drawing.
  • the hole 511 of the lock guide 510 is configured so that its center position coincides with the center position of the four casters 431 to 434 of the shelf 130 with respect to each turning center (dashed lines of 5a and 5b in FIG. 5). And the alternate long and short dash line). Therefore, when the autonomous vehicle 120 is docked to the shelf 130, the center position of the lock pin 211 is also the center position with respect to each turning center of the four casters 431 to 434 of the shelf 130.
  • the shelf 130 turns each of the four casters 431 to 434. It will rotate around the center position with respect to the center. That is, when the autonomous traveling vehicle 120 turns, the turning range of the shelf 130 is the range indicated by the reference numeral 520 (the autonomous traveling vehicle 120 can turn the shelf 130 in the minimum turning range).
  • FIG. 6 is a diagram showing an operation example of the docking mechanism at the time of docking. Similar to 5a of FIG. 5, FIG. 6 shows a view seen from directly above the bottom 400 of the shelf 130. However, for convenience of explanation, the lowermost 400 shows only the outer frame.
  • FIG. 6a of FIG. 6 shows a state in which the autonomous vehicle 120 searches for the shelf 130 based on the color image taken by the front RGB camera 221 after moving to a position near the shelf 130 to be transported.
  • the search method for the shelf 130 is arbitrary. For example, pattern matching is performed based on the shape feature amount of the shelf 130 calculated in advance and the shape feature amount of the shelf 130 extracted from the color image, and the shelf 130 is searched. You may search for.
  • the shelf 130 may be searched by extracting a marker previously applied to the shelf 130 for identifying the shelf 130 from the color image.
  • the shelf 130 may be explored by performing instance segmentation on a color image using a deep learning-based object recognition model.
  • 6a in FIG. 6 recognizes the position and orientation of the shelf 130 (directions of the frame guides 410 and 420) when the autonomous vehicle 120 can search the shelf 130, and indicates an approach direction when docking. It shows a state of turning 180 degrees with respect to.
  • the autonomous vehicle 120 that has turned 180 degrees starts docking based on the color image taken by the rear RGB camera 320.
  • FIG. 6b in FIG. 6 shows how the autonomous vehicle 120 enters between the frame guide 410 and the frame guide 420 while moving in the backward direction.
  • the autonomous vehicle 120 monitors the measurement result of the photoreflector 330 and determines whether or not the lock pin 211 can be inserted into the hole 511 of the lock guide 510.
  • 6c in FIG. 6 shows a state in which the lock pin 211 can be inserted into the hole 511 of the lock guide 510.
  • the autonomous traveling vehicle 120 causes the lock pin 211 to protrude and is inserted into the hole 511 by turning off the solenoid. As a result, docking to the shelf 130 by the autonomous vehicle 120 is completed.
  • FIG. 7 is a diagram showing an example of the hardware configuration of the control device.
  • the control device 310 has a processor 701, a main storage device (memory) 702, an auxiliary storage device 703, a network interface 704, and a device interface 705 as components.
  • the control device 310 is realized as a computer in which these components are connected via a bus 706.
  • the control device 310 is shown to include one component for each component, but the control device 310 may include a plurality of the same components.
  • control device 310 may be executed in parallel processing using one or a plurality of processors. Further, various operations may be distributed to a plurality of arithmetic cores in the processor 701 and executed in parallel processing. In addition, some or all of the processes, means, etc. of the present disclosure are executed by an external device 730 (at least one of a processor and a storage device) provided on the cloud that can communicate with the control device 310 via the network interface 704. You may. As described above, the control device 310 may take the form of parallel computing by one or a plurality of computers.
  • the processor 701 may be an electronic circuit (processing circuit, Processing circuitry, CPU, GPU, FPGA, ASIC, etc.). Further, the processor 701 may be a semiconductor device or the like including a dedicated processing circuit. The processor 701 is not limited to an electronic circuit using an electronic logic element, and may be realized by an optical circuit using an optical logic element. Further, the processor 701 may include an arithmetic function based on quantum computing.
  • the processor 701 performs various calculations based on various data and instructions input from each device and the like of the internal configuration of the control device 310, and outputs the calculation result and the control signal to each device and the like.
  • the processor 701 controls each component included in the control device 310 by executing an OS (Operating System), an application, or the like.
  • OS Operating System
  • the processor 701 may refer to one or more electronic circuits arranged on one chip, or may refer to one or more electronic circuits arranged on two or more chips or devices. When a plurality of electronic circuits are used, each electronic circuit may communicate by wire or wirelessly.
  • the main storage device 702 is a storage device that stores instructions executed by the processor 701, various data, and the like, and various data stored in the main storage device 702 are read out by the processor 701.
  • the auxiliary storage device 703 is a storage device other than the main storage device 702. It should be noted that these storage devices mean arbitrary electronic components capable of storing various data (for example, data stored in the transport target management table storage unit 801 and the environment map storage unit 802 described later), and are semiconductors. It may be memory.
  • the semiconductor memory may be either a volatile memory or a non-volatile memory.
  • the storage device for storing various data in the control device 310 may be realized by the main storage device 702 or the auxiliary storage device 703, or may be realized by the built-in memory built in the processor 701.
  • a plurality of processors 701 may be connected (combined) to one main storage device 702, or a single processor 701 may be connected.
  • a plurality of main storage devices 702 may be connected (combined) to one processor 701.
  • the control device 310 is composed of at least one main storage device 702 and a plurality of processors 701 connected (combined) to the at least one main storage device 702, at least one of the plurality of processors 701 is a processor.
  • it may include a configuration connected (combined) to at least one main storage device 702. Further, this configuration may be realized by the main storage device 702 and the processor 701 included in the plurality of control devices 310.
  • the main storage device 702 may include a configuration in which the processor is integrated (for example, a cache memory including an L1 cache and an L2 cache).
  • the network interface 704 is an interface for connecting to the communication network 740 wirelessly or by wire.
  • an appropriate interface such as one conforming to an existing communication standard is used.
  • the network interface 704 may exchange various data with the external device 730 connected via the communication network 740.
  • the communication network 740 may be any one of WAN (Wide Area Network), LAN (Local Area Network), PAN (Personal Area Network), or a combination thereof, and may be a computer and another external device 730. It suffices as long as information is exchanged with.
  • WAN Wide Area Network
  • LAN Local Area Network
  • PAN Personal Area Network
  • An example of WAN is the Internet
  • an example of LAN is 802.11, Ethernet, etc.
  • PAN is Bluetooth (registered trademark), NFC (Near Field Communication), etc.
  • the device interface 705 is an interface such as USB that directly connects to the external device 750.
  • the external device 750 is a device connected to a computer.
  • the external device 750 may be an input device as an example.
  • the input device is an electronic device such as a camera (front RGB camera 221, ToF camera 222, rear RGB camera 320), microphones (microphones 301 to 304), various sensors (photoreflector 330), and the like. Give the acquired information to the computer.
  • the external device 750 may be an output device as an example.
  • the output device may be, for example, a display device such as an LCD (Liquid Crystal Display), a CRT (Cathode Ray Tube), a PDP (Plasma Display Panel), or an organic EL (Electro Luminescence) panel.
  • a speaker (speaker 305 to 306) that outputs voice or the like may be used.
  • it may be a drive device such as various drive devices (motor, solenoid).
  • the external device 750 may be a storage device (memory).
  • the external device 750 may be a network storage or the like, and the external device 750 may be a storage such as an HDD.
  • the external device 750 may be a device having some functions of the components of the control device 310. That is, the computer may transmit or receive a part or all of the processing result of the external device 750.
  • FIG. 8 is a diagram showing an example of the functional configuration of the control device.
  • a control program is installed in the control device 310, and when the program is executed, the control device 310 has a voice instruction acquisition unit 810, a transfer target identification unit 821, a transfer target position identification unit 822, and a docking control unit 823. Functions as. Further, the control device 310 functions as a transport destination specifying unit 831, a transport destination position specifying unit 832, and a transport control unit 833.
  • the original position is the transport for delivering the article to the user according to the voice instruction (referred to as “delivery transport”) and the shelf after the delivery transport is performed according to the voice instruction.
  • delivery transport the transport for delivering the article to the user according to the voice instruction
  • return transport the transport for returning to
  • each part functions of each part during delivery and transportation
  • the voice instruction acquisition unit 810 recognizes the wake word uttered by the user 110 from the sound data detected by the microphones 301 to 304, and acquires the voice instruction following the wake word. Further, the voice instruction acquisition unit 810 notifies the transfer target identification unit 821 and the transfer destination identification unit 831 of the acquired voice instruction.
  • the transport target specifying unit 821 analyzes the voice instruction notified from the voice instruction acquisition unit 810, and identifies the article (for example, a notebook PC) to be transported by the autonomous vehicle 120. Further, the transport target specifying unit 821 identifies the shelf on which the specified article is placed (for example, the shelf 130) as the transport target in the delivery transport by referring to the transport target management table storage unit 801. Further, the transport target specifying unit 821 notifies the transport target position specifying unit 822 of the specified shelf to be transported.
  • the article for example, a notebook PC
  • the transport target specifying unit 821 directly directs the shelf to be transported. (For example, the shelf 130) is specified, and the transport target position specifying unit 822 is notified.
  • the transport target position specifying unit 822 identifies the current position of the transport target shelf in the delivery transport notified by the transport target identification unit 821 by referring to the transport target management table storage unit 801. do. Further, the transport target position specifying unit 822 notifies the docking control unit 823 of the coordinates indicating the position of the specified shelf to be transported (for example, the coordinates indicating the position of the anchor 170).
  • the docking control unit 823 is based on the coordinates indicating the position of the shelf to be transported in the delivery transport and the coordinates indicating the current position of the autonomous vehicle 120 notified by the transport target position specifying unit 822. Is moved and controlled to be docked to the shelf to be transported. Further, when the docking control unit 823 completes docking to the shelf to be transported by the autonomous traveling vehicle 120, the docking control unit 823 notifies the transport control unit 833 that the docking is completed.
  • the transport destination specifying unit 831 analyzes the voice instruction notified from the voice instruction acquisition unit 810 and identifies the position of the transport destination of the shelf to be transported in the delivery transport (for example, the position near the user 110). Further, the transport destination specifying unit 831 notifies the transport destination position specifying unit 832 of the position of the specified transport destination.
  • the transport destination position specifying unit 832 is the position of the transport destination when the position of the transport destination notified by the transport destination specifying unit 831 is a position near an installed object (for example, furniture) in the predetermined space 100.
  • the coordinates indicating the above are specified by referring to the environment map storage unit 802.
  • the environment map storage unit 802 stores the coordinates of each installation object in the predetermined space 100.
  • the transport destination position specifying unit 832 when the transport destination notified by the transport destination specifying unit 831 is a position in the vicinity of the user 110, the transport destination position specifying unit 832 may be used.
  • the autonomous vehicle 120 is -Measurement results measured by LIDAR212, -Color images taken by the front RGB camera 221 -Distance image taken by ToF camera 222, Based on at least one of the above, the position and orientation of the own vehicle in the predetermined space 100 are calculated at a predetermined cycle.
  • the transport destination position specifying unit 832 notifies the transport control unit 833 of the coordinates indicating the position of the specified transport destination.
  • the transport control unit 833 moves the autonomous vehicle 120 based on the coordinates indicating the position of the transport destination notified by the transport destination position specifying unit 832. Control.
  • the transport control unit 833 refers to the measurement result by the LIDAR 212, the color image by the front RGB camera 221 and the distance image by the ToF camera 222 while the autonomous vehicle 120 is moving. Then, the transport control unit 833 calculates the current position of the autonomous traveling vehicle 120, and controls to avoid a collision when an obstacle is detected on the transport path.
  • the transport control unit 833 releases the docking with the shelf to be transported in the delivery transport, and exits from the lower side of the lowermost stage 400.
  • the voice instruction acquisition unit 810 recognizes the wake word uttered by the user 110 from the sound data detected by the microphones 301 to 304, and acquires the voice instruction following the wake word. Further, the voice instruction acquisition unit 810 notifies the transfer target identification unit 821 and the transfer destination identification unit 831 of the acquired voice instruction.
  • the transport target specifying unit 821 analyzes the voice instruction notified from the voice instruction acquisition unit 810, and returns and transports the shelf (for example, the shelf 130 after delivery transport) to be transported to the original position by the autonomous traveling vehicle 120. It is specified as a transportation target in. Further, the transport target specifying unit 821 notifies the transport target position specifying unit 822 of the specified transport target.
  • the transport target position specifying unit 822 specifies the current position of the shelf to be transported in the return transport, which is notified by the transport target specifying unit 821, by referring to the transport target management table storage unit 801. .. Further, the transport target position specifying unit 822 notifies the docking control unit 823 of the coordinates indicating the positions of the specified shelves to be transported (for example, the coordinates indicating the positions in the vicinity of the user 110).
  • the docking control unit 823 is the autonomous traveling vehicle 120 based on the coordinates indicating the position of the shelf to be transported in the return transport and the coordinates indicating the current position of the autonomous traveling vehicle 120 notified by the transport target position specifying unit 822. Is moved and controlled to be docked to the shelf to be transported. Further, when the docking control unit 823 completes docking to the shelf to be transported by the autonomous traveling vehicle 120, the docking control unit 823 notifies the transport control unit 833 that the docking is completed.
  • the transport destination specifying unit 831 analyzes the voice instruction notified from the voice instruction acquisition unit 810 and identifies the position of the transport destination of the shelf to be transported in the return transport (for example, the position of the anchor 170). Further, the transport destination specifying unit 831 notifies the transport destination position specifying unit 832 of the position of the specified transport destination.
  • the transfer destination position specifying unit 832 determines the position of the transfer destination.
  • the indicated coordinates are specified by referring to the environment map storage unit 802.
  • the transport destination position specifying unit 832 notifies the transport control unit 833 of the coordinates indicating the position of the specified transport destination.
  • the transport control unit 833 moves the autonomous vehicle 120 based on the coordinates indicating the position of the transport destination notified by the transport destination position specifying unit 832. Control.
  • the transport control unit 833 refers to the measurement result by the LIDAR 212, the color image by the front RGB camera 221 and the distance image by the ToF camera 222 while the autonomous traveling vehicle 120 is moving. Then, the transport control unit 833 calculates the current position of the autonomous traveling vehicle, and controls to avoid a collision when an obstacle is detected on the transport path.
  • the transport control unit 833 releases the docking with the shelf to be transported in the return transport, and exits from the lower side of the lowermost stage 400.
  • FIG. 9 is a diagram showing an example of a transport target management table.
  • the transport target management table is a table for associating a shelf to be transported with an article placed on the shelf, and the transport target management table 900 has a “shelf” as an information item. Includes “information”, “articles”, and “tags”.
  • the “shelf information” further includes an "ID", an "initial position”, a “release position”, and a "docking position”.
  • An identifier for identifying each shelf is stored in the "ID”.
  • coordinates indicating the position of the shelf first recognized by the autonomous vehicle 120 while traveling in the predetermined space 100 are stored.
  • coordinates indicating a position designated in advance by the user 110 for example, the position of the anchor 170 are stored.
  • the coordinates indicating the position where the autonomous vehicle 120 last released docking with the shelf to be transported are stored.
  • the shelves to be transported by the autonomous vehicle 120 and the coordinates indicating the last docked position are stored.
  • the coordinates indicating each position are the coordinates on the environmental map. However, instead of the coordinates indicating each position, the name of the place assigned in advance on the environment map may be stored.
  • the name of the article placed on the shelf to be transported is stored in the "article”.
  • the type of the corresponding article is stored in the "tag”.
  • the “shelf information”, the “article”, and the “tag” are directly associated with each other, but these are indirectly associated with each other. May be good.
  • "Indirect correspondence" means, for example, when information A and information B are associated with each other, information A and information C are directly associated with each other, and information C and information B are directly associated with each other. This means that information A and information B are indirectly associated with each other via information C.
  • FIG. 10 is an example of a flowchart showing the flow of autonomous traveling processing. As shown in FIG. 10, the autonomous driving process by the autonomous driving vehicle 120 can be roughly classified into two types of processing.
  • the first process is a delivery / transport process by voice instruction.
  • the delivery and transportation process by voice instruction means that the autonomous vehicle 120 -Based on the voice instruction from the user 110, the positions of the shelves to be transported and the transport destination are specified, and the positions are specified. ⁇ Dock to the specified shelf and -Transport the specified shelves to the specified transport destination position (here, the position near the user 110). Refers to the process (step S1001).
  • the second process is a return transfer process by voice instruction.
  • the return transport process by voice instruction means that after the first process is completed, the autonomous vehicle 120 -Based on the voice instruction from the user 110, the positions of the shelves to be transported and the transport destination are specified, and the positions are specified. ⁇ Dock to the specified shelf and -Transport the specified shelves to the specified destination position (here, the anchor 170 position). Refers to the process (step S1002).
  • step S1001 delivery transfer process by voice instruction
  • step S1002 return transfer process by voice instruction
  • FIG. 11 is an example of a flowchart showing the flow of delivery and transportation processing by voice instruction.
  • FIG. 12 is a diagram showing an operation example of the autonomous traveling vehicle at the time of delivery and transportation.
  • step S1101 the autonomous traveling vehicle 120 recognizes the wake word uttered by the user 110 from the sound data detected by the microphones 301 to 304, and analyzes the voice data detected following the recognized wake word.
  • the wake word is preset in the autonomous vehicle 120, the user 110 can change it to any word.
  • step S1102 it is assumed that the autonomous traveling vehicle 120 has acquired a voice instruction (for example, "bring a notebook PC") requesting an article by the user 110 as a result of analyzing the voice data.
  • the autonomous driving vehicle 120 by analyzing the voice data detected by the microphones 301 to 304, it is determined from which direction the voice of the user 110 is emitted (direction in which the user 110 is present).
  • the determination result regarding the direction in which the user 110 is located is determined by the coordinates indicating the position of the autonomous driving vehicle 120 on the environment map (for example, the map in the predetermined space 100) created in advance and the autonomous vehicle. It is stored in the memory together with the information indicating the direction of the traveling vehicle 120.
  • the autonomous traveling vehicle 120 identifies a shelf to be transported based on the recognized task. Specifically, in the autonomous traveling vehicle 120, the transport target management table 900 is referred to, and the shelf to which the specific article is associated, which is handled in the recognized task, is specified as the transport target. In the present embodiment, since the notebook PC is managed in association with the shelf 130, the autonomous vehicle 120 specifies the shelf 130 as a transport target.
  • the autonomous traveling vehicle 120 specifies the coordinates indicating the positions of the shelves to be transported by referring to the transport target management table 900.
  • the coordinates (x1', y1') of the release position are specified as the position of the shelf 130. This is because the coordinates (x1', y1') of the release position are the positions where the autonomous vehicle 120 finally released the docking of the shelf 130, so that there is a high probability that the shelf 130 exists at that position.
  • the coordinates of the "initial position" in the transport target management table 900 may be specified as the coordinates indicating the position of the shelf to be transported.
  • step S1106 the autonomous traveling vehicle 120 controls the drive wheels 231 to move to the position of the shelf to be transported.
  • the autonomous vehicle 120 detects an obstacle by using the front RGB camera 221, the ToF camera 222, and the LIDAR 212, and moves while avoiding a collision with the detected obstacle.
  • the autonomous vehicle 120 since the autonomous vehicle 120 is not docked with the shelf 130, even if it is an obstacle that contacts the shelf 130 when the shelf 130 is docked, it does not contact the autonomous vehicle 120. Obstacles are not recognized as obstacles.
  • step S1107 when the autonomous traveling vehicle 120 reaches a position near the shelf 130 to be transported, the autonomous traveling vehicle 120 moves the autonomous traveling vehicle 120 and analyzes the color image acquired from the front RGB camera 221 to move the shelf 130.
  • Search see 12a in FIG. 12
  • the method of searching the shelf 130 includes pattern matching of the shape of the shelf, recognition of the shelf using a deep learning-based object recognition model, and the like, but the method of searching the shelf 130 is not limited to these. ..
  • the shelf may be recognized by recognizing the marker applied to the shelf. The type of marker does not matter.
  • a marker that encodes information such as a barcode, a QR code (registered trademark), or an AR code may be used, or a marker having a characteristic pattern may be used.
  • a method of recognizing a shelf using a marker for example, information indicating that the shelf can be transported by the autonomous traveling vehicle 120 is associated with a predetermined marker, and the autonomous traveling vehicle detects the predetermined marker. Therefore, the shelves to be transported may be specified.
  • step S1108 when the autonomous traveling vehicle 120 can search for the shelf 130 to be transported, it turns 180 degrees and enters the lower side of the lowermost stage 400 of the shelf 130 in the backward direction (FIG. 12). See 12b).
  • the rear RGB camera 320 is used to recognize the lower side of the lowermost stage 400 of the shelf 130 and adjust the positional relationship with the lowermost stage 400 even while approaching in the backward direction. , Controls the movement of the autonomous vehicle 120.
  • step S1109 it is determined that the autonomous traveling vehicle 120 has moved to a position where the lock pin 211 can be inserted into the hole 511 of the lock guide 510, based on the signal output from the photo reflector 330.
  • the autonomous vehicle 120 moves to a position where the lock pin 211 can be inserted into the hole 511 of the lock guide 510, the solenoid is turned off to project the lock pin 211 and make the lock pin 211 a hole. Insert into 511. As a result, the autonomous vehicle 120 completes docking with the shelf 130 to be transported (see 12c in FIG. 12).
  • the autonomous vehicle 120 updates the coordinates of the "docking position" stored in the transport target management table 900 to the coordinates of the actually docked position for the shelf 130 to be transported.
  • the autonomous vehicle 120 sets the coordinates of the "docking position" of the shelf 130 of the transport target management table to (x1 ". , Y1 ”).
  • the autonomous vehicle 120 estimates the position where the user 110 is likely to be present based on the information stored in the memory in step S1102. Further, the autonomous vehicle 120 specifies the coordinates on the environmental map indicating the positions in the vicinity of the estimated positions.
  • the information stored in the memory in step S1102 is the coordinates indicating the position of the autonomous traveling vehicle 120 on the environmental map, the information indicating the direction of the autonomous traveling vehicle 120, and the determination result regarding the direction in which the user 110 is located.
  • step S1111 the autonomous traveling vehicle 120 controls the drive wheels 231 to move to the specified transport destination position (position near the user 110) (see 12d in FIG. 12).
  • the autonomous vehicle 120 detects an obstacle by using the front RGB camera 221, the ToF camera 222, and the LIDAR 212, and moves while avoiding a collision with the detected obstacle.
  • step S1112 when the autonomous traveling vehicle 120 reaches the position of the transport destination (for example, the position near the user 110), the autonomous traveling vehicle 120 releases the docking. Further, the autonomous traveling vehicle 120 updates the coordinates indicating the "release position" recorded in the transport target management table 900 for the shelf 130 to be transported with the coordinates indicating the position of the transport destination (see 12e in FIG. 12). ).
  • the shelf 130 is transported to a position specified by the coordinates (x1''', y''') on the environmental map and then docked, the shelf 130 of the transport target management table 900 is released.
  • the coordinates indicating the release position of are updated to (x1''', y''').
  • the autonomous vehicle 120 When the autonomous vehicle 120 reaches the position of the transport destination, the color image acquired from the front RGB camera 221 is analyzed, the user 110 is searched, and the user 110 can be searched, and the docking is performed. To cancel.
  • step S1113 the autonomous traveling vehicle 120 confirms the presence or absence of obstacles in front or behind by using the front RGB camera 221, the ToF camera 222, and the LIDAR 212. Then, the autonomous traveling vehicle 120 exits from the lower side of the lowermost stage 400 of the shelf 130 in the direction in which there is no obstacle, either forward or backward (see 12f in FIG. 12).
  • the autonomous traveling vehicle 120 alternately repeats confirmation of the presence or absence of obstacles in the front-rear direction and standby.
  • the autonomous driving vehicle 120 may wait on the spot. Further, in the above description, the presence or absence of obstacles in the front-rear direction is confirmed after the docking is released, but the presence or absence of obstacles may not be confirmed and the device may be configured to stand by immediately after the docking is released. ..
  • FIG. 13 is an example of a flowchart showing the flow of the return transfer process by voice instruction.
  • FIG. 14 is a diagram showing an operation example of the autonomous traveling vehicle during return transportation.
  • step S1301 the autonomous traveling vehicle 120 recognizes the wake word uttered by the user 110 from the sound data detected by the microphones 301 to 304, and analyzes the voice data detected following the recognized wake word.
  • step S1302 it is assumed that the autonomous traveling vehicle 120 has acquired a voice instruction (for example, "returning the shelf to the original position") for transporting the shelf 130 to the original position as a result of analyzing the voice data.
  • step S1303 the autonomous traveling vehicle 120 specifies the coordinates indicating the positions of the shelves to be transported by referring to the transport target management table 900.
  • step S1304 the autonomous traveling vehicle 120 controls the drive wheels 231 and moves to the position of the shelf 130 to be transported.
  • step S1305 when the autonomous traveling vehicle 120 reaches a position near the shelf 130 to be transported, the autonomous traveling vehicle 120 analyzes the color image acquired from the front RGB camera 221 while moving the autonomous traveling vehicle 120, and searches for the shelf 130. (See 14a in FIG. 14).
  • Examples of the method for searching the shelf 130 include pattern matching of the shape of the shelf, recognition of markers applied to the shelf, recognition of the shelf using a deep learning-based object recognition model, and the like. The method of searching is not limited to these.
  • step S1306 when the autonomous traveling vehicle 120 can search for the shelf 130 to be transported, it enters the lower side of the lowermost stage 400 of the shelf 130 in the forward direction.
  • step S1307 when the autonomous vehicle 120 moves to a position where the lock pin 211 can be inserted into the hole 511 of the lock guide 510, the lock pin 211 is projected and inserted into the hole 511. As a result, the autonomous traveling vehicle 120 completes docking with the shelf 130 to be transported (see 14b in FIG. 14). After that, the autonomous vehicle 120 moves a predetermined distance in the backward direction and turns 180 degrees (see 14c in FIG. 14).
  • step S1308 the autonomous vehicle 120 specifies the coordinates indicating the position of the anchor 170 as the coordinates indicating the position of the transport destination of the docked shelf 130 based on the task recognized in step S1302.
  • step S1309 the autonomous traveling vehicle 120 controls the drive wheels 231 to move to the specified transport destination position (position of the anchor 170) (see 14d in FIG. 14).
  • step S1310 when the autonomous vehicle 120 reaches the vicinity of the position of the transport destination (position of the anchor 170), it identifies the posture of the transport target at the position of the transport destination (position of the anchor 170) and turns 180 degrees. ..
  • step S1311 the autonomous vehicle 120 analyzes the color image acquired from the rear RGB camera 320 and moves in the backward direction while recognizing the position of the anchor 170, thereby moving the shelf 130 to be transported to the anchor 170. Return to position (see 14e in FIG. 14).
  • step S1312 the autonomous vehicle 120 releases docking with the shelf 130. Further, the autonomous traveling vehicle 120 updates the coordinates indicating the "release position" recorded in the transport target management table 900 with the coordinates indicating the position of the anchor 170 for the shelf 130 to be transported.
  • step S1313 the autonomous traveling vehicle 120 moves in the forward direction and exits from the lower side of the lowermost stage 400 of the shelf 130 to be transported (see 14f in FIG. 14).
  • the autonomous traveling vehicle 120 is -Has a docking mechanism for docking with the shelf to be transported.
  • -Has a sound input device for acquiring a user's voice instruction.
  • a voice instruction is acquired via the sound input device, docking with the shelf to be transported specified based on the voice instruction by the docking mechanism and to the position of the transport destination specified based on the voice instruction. It has a control device that controls the transport of docked shelves to be transported.
  • a docking mechanism having a solenoid-type lock pin 211 and a photoreflector 330 has been exemplified, but the docking mechanism is not limited to this, and any conventional mechanism can be applied. Further, in the first embodiment, the case of docking after entering the lower side of the lowermost stage of the shelf to be transported has been described, but the case is described without entering the lower side of the lowermost stage of the shelf to be transported. It may be configured to dock. For example, the legs of the shelf to be transported may be docked by gripping them with a gripper.
  • a shelf is exemplified as a transport target, but the transport target is not limited to the shelf, and other furniture may be used as long as the furniture is rotatably attached to the casters.
  • the transport target management table is stored in the transport target management table storage unit 801 in advance.
  • the transport target management table may be sequentially updated by, for example, a voice instruction by the user 110.
  • the smart terminal held by the user 110 and the autonomous traveling vehicle 120 may be sequentially updated by wireless communication.
  • the autonomous traveling vehicle 120 in the case of docking with the shelf at the anchor position, the autonomous traveling vehicle 120 is described as moving in the backward direction when entering the lower side of the bottom of the shelf. However, you may enter by moving in the forward direction to the lower side of the bottom of the shelf.
  • the shelf to be transported is specified by specifying the shelf directly associated with the article.
  • the method for specifying the shelves to be transported is not limited to this, and may be configured to specify, for example, the shelves indirectly associated with the article.
  • the anchor position is provided with, for example, a two-dimensional identifier such as a QR code (registered trademark) in the predetermined space 100. It is assumed that it is in the correct position.
  • a two-dimensional identifier such as a QR code (registered trademark) in the predetermined space 100. It is assumed that it is in the correct position.
  • the initial position of the shelf is the position of the anchor
  • the initial position of the shelf is not limited to the position of the anchor.
  • a predetermined position on the environment map may be used as the initial position of the shelf.
  • the method of specifying the posture of the shelf when returning the shelf to the anchor position was not mentioned.
  • the posture of the shelf when the shelf is docked with the autonomous traveling vehicle 120 in delivery transportation may be specified, and the shelf may be returned to the same posture as the posture. Alternatively, it may be returned to the predetermined default posture.
  • a voice instruction requesting another task for example, "bring a snack"
  • the autonomous vehicle 120 queues this new task after the task being executed, and operates according to this new task after the task being executed is completed.
  • the task being executed here is, for example, a task of transporting the shelf 130 to the transport destination, and the new task is a task on which a snack is placed (for example, the shelf 140) of the user 110. It is a task to transport to a nearby position.
  • a voice instruction requesting the cancellation of the task for example, "stop carrying"
  • the autonomous traveling vehicle 120 stops moving on the spot before docking on the shelf to be transported (for example, the shelf 130). Further, the autonomous traveling vehicle 120 returns the shelf to be transported to the original position after docking with the shelf to be transported.
  • the autonomous vehicle 120 operates according to a new task immediately before docking with the shelf to be transported (for example, the shelf 130). Further, after docking with the shelf to be transported (for example, shelf 130), the dock to be undocked on the spot without returning the shelf to be transported to the position of the anchor 170 (that is, to the position of the anchor 170). It may operate according to a new task (stopping the transport in the middle). Alternatively, the new task may be queued after the running task to complete the running task and then act according to this new task.
  • -Cancel a running task and execute a new task immediately, or -To execute a new task after completing the task being executed May be preset by the user as "behavior of the autonomous vehicle when a voice instruction requesting a new task is recognized after docking with the shelf to be transported". Alternatively, it may be set on the spot by the user when the voice instruction of the new task is recognized.
  • the new task referred to here is a task of transporting a shelf on which a snack is placed (for example, a shelf 140) to a position in the vicinity of the user 110.
  • the autonomous traveling vehicle 120 when the user 110 gives a voice instruction, the autonomous traveling vehicle 120 immediately executes the task corresponding to the voice instruction. However, if the voice instruction of the user 110 is a voice instruction for reserving the execution of the task at a predetermined time, the autonomous vehicle 120 executes the task after the predetermined time.
  • the autonomous vehicle 120 does not execute the task at the timing when the voice instruction is acquired, but at the timing when it is 9:00 am, the task (the shelf 130 on which the work tools are placed is moved to the position near the desk). Execute the task to be transported).
  • the autonomous driving vehicle 120 detects that the timing to execute the task has arrived, and the timing specified based on the voice instruction. Run the task with.
  • the setting of the timing for executing the task (also referred to as reservation) is not limited to the case where the task is executed by voice instruction, and the task is performed by electronic instruction from the external device 730 capable of communicating with the autonomous vehicle 120 (control device 310). You may be broken. Examples of the external device 730 include mobile terminals such as smartphones owned by the user.
  • the autonomous vehicle 120 may have a function of executing a transport task when a specific event occurs.
  • FIG. 1 shows a predetermined space 100 such as a living room where the user 110 can relax, but there are other spaces in the house, and when a specific event occurs in the other space, the autonomous vehicle 120 The transport task may be executed automatically.
  • an autonomous vehicle 120 may execute the task of transporting the luggage together with the delivery box to a predetermined place in the house.
  • the delivery box has a structure that can be docked with the door of the delivery box as a delivery box of a house and can be transported by docking with the autonomous vehicle 120, for example. sell.
  • the delivery box may have, for example, a function of detecting that an operation of opening / closing the door has been performed. Then, when the door is opened and then closed (for example, locked), the delivery box considers that the package has been placed in the delivery box and gives a predetermined notification in the house. It may be transmitted to the autonomous vehicle 120 via the local network.
  • the autonomous vehicle 120 Upon receiving the predetermined notification, the autonomous vehicle 120 moves to the position of the delivery box, docks with the delivery box in which the luggage is placed, transports the delivery box to the predetermined place, and then releases the docking. You may.
  • the control device 310 controls the reception of predetermined notifications, the docking mechanism, and the transport.
  • the delivery box may transmit the predetermined notification by detecting the opening / closing operation of the door or by detecting the weight change of the delivery box.
  • the notification may reach the autonomous vehicle 120 (control device 310) as a predetermined notification.
  • the autonomous traveling vehicle 120 outputs the voice corresponding to the recognized task to the user 110 via the speakers 305 to 306, and then moves to the position of the shelf to be transported. The case has been described (see steps S1105 and S1106).
  • the output timing of the voice corresponding to the recognized task is not limited to this, and for example, the voice corresponding to the recognized task after the autonomous vehicle 120 starts moving to the position of the shelf to be transported. May be output to the user 110 via the speakers 305 to 306. That is, the autonomous traveling vehicle 120 may output the voice corresponding to the task from the speaker before docking with the shelf to be transported and completing the transport. Before the transportation to the destination of the transportation target is completed, the movement toward the transportation target is started, is moving, docked with the transportation target, and after docking with the transportation target, the transportation target is being transported. It may be any timing before the transportation is completed.
  • the docking with the transport target by the autonomous traveling vehicle 120 and the transport of the transport target are controlled based on the voice of the user acquired through the microphone which is the sound input device. bottom.
  • docking with the transport target and transport of the transport target may be controlled based on a specific sound acquired via a microphone which is a sound input device. Examples of the specific sound include a series of sounds of clapping hands N times at intervals of about M seconds, whistling, and the like.
  • at least one of the transport target and the transport destination may be preset for each specific sound. That is, the autonomous traveling vehicle 120 of each of the above embodiments may control docking with the transport target and transport of the transport target based on the transport instruction by the sound acquired via the sound input device.
  • the expression (including similar expressions) of "at least one (one) of a, b and c" or "at least one (one) of a, b or c" is used. When used, it comprises any of a, b, c, ab, ac, bc, or abc. Further, a plurality of instances may be included for any of the elements, such as aa, abb, aabbbcc, and the like. It also includes the addition of other elements than the listed elements (a, b and c), such as having d, such as abcd.
  • connection and “coupled” are used in the present specification (including claims), direct connection / connection and indirect connection are used. Unlimited including / coupling, electrically connected / coupled, communicatively connected / coupled, operatively connected / coupled, physically connected / coupled, etc. Intended as a term. The term should be interpreted as appropriate according to the context in which the term is used, but any connection / coupling form that is not intentionally or naturally excluded is not included in the term. It should be interpreted in a limited way.
  • the physical structure of the element A executes the operation B. It has a possible configuration, and the permanent or temporary setting (setting / configuration) of the element A is set (configured / set) to actually execute the operation B. May include.
  • the element A is a general-purpose processor
  • the processor has a hardware configuration capable of executing the operation B, and the operation B is set by setting a permanent or temporary program (instruction). It suffices if it is configured to actually execute.
  • the element A is a dedicated processor, a dedicated arithmetic circuit, or the like, the circuit structure of the processor actually executes the operation B regardless of whether or not the control instruction and data are actually attached. It only needs to be implemented.
  • each hardware when a plurality of hardware perform predetermined processing, each hardware may cooperate to perform predetermined processing, and some hardware may perform predetermined processing. You may perform all of the processing of. Further, some hardware may perform a part of a predetermined process, and another hardware may perform the rest of the predetermined process.
  • expressions such as "one or more hardware performs the first process and the one or more hardware performs the second process" are used.
  • the hardware that performs the first process and the hardware that performs the second process may be the same or different. That is, the hardware that performs the first process and the hardware that performs the second process may be included in the one or a plurality of hardware.
  • the hardware may include an electronic circuit, a device including the electronic circuit, or the like.
  • each storage device (memory) among the plurality of storage devices (memory) is a part of the data. Only may be stored, or the entire data may be stored.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

音による搬送指示に応じたタスクを実行可能な自律走行車を提供する。搬送対象とドッキングし、該搬送対象を搬送する自律走行車であって、前記搬送対象とドッキングするためのドッキング機構と、音入力装置と、前記音入力装置を介して取得された搬送指示に基づき特定した搬送対象との前記ドッキング機構によるドッキング及び該搬送指示に基づき特定した搬送先の位置への該ドッキングした搬送対象の搬送を制御する制御装置とを有する。

Description

自律走行車
 本開示は、自律走行車に関する。
 自律走行車の一例である無人搬送車は、一般に産業用途に用いられ、予め定められたタスクに応じた搬送対象を、ユーザによる運転操作を伴うことなく、自動で搬送することができる。
 一方で、無人搬送車の場合、例えば、ユーザの声による搬送指示に基づき、新たなタスクを認識したり、認識した新たなタスクに応じた搬送対象を、適宜判断して搬送することはできない。
特開2019-148881号公報
 本開示は、音による搬送指示に応じたタスクを実行可能な自律走行車を提供する。
 本開示の一態様による自律走行車は、例えば、以下のような構成を有する。即ち、
 搬送対象とドッキングし、該搬送対象を搬送する自律走行車であって、
 前記搬送対象とドッキングするためのドッキング機構と、
 音入力装置と、
 前記音入力装置を介して取得された搬送指示に基づき特定した搬送対象との前記ドッキング機構によるドッキング及び該搬送指示に基づき特定した搬送先の位置への該ドッキングした搬送対象の搬送を制御する制御装置とを有する。
図1は、自律走行車の利用シーンの一例を示す図である。 図2は、自律走行車の外観構成の一例を示す図である。 図3は、自律走行車の内部構成及び下面構成の一例を示す図である。 図4は、自律走行車が搬送対象となる棚とドッキングする様子を示した図である。 図5は、棚のキャスタと自律走行車のドッキング機構との位置関係を示す図である。 図6は、ドッキング時のドッキング機構の動作例を示す図である。 図7は、制御装置のハードウェア構成の一例を示す図である。 図8は、制御装置の機能構成の一例を示す図である。 図9は、搬送対象管理テーブルの一例を示す図である。 図10は、自律走行処理の流れを示すフローチャートの一例である。 図11は、音声指示による納入搬送処理の流れを示すフローチャートの一例である。 図12は、納入搬送時の自律走行車の動作例を示す図である。 図13は、音声指示による戻し搬送処理の流れを示すフローチャートの一例である。 図14は、戻し搬送時の自律走行車の動作例を示す図である。
 以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
 [第1の実施形態]
 <自律走行車の利用シーン>
 はじめに、第1の実施形態に係る自律走行車の利用シーンについて説明する。図1は、自律走行車の利用シーンの一例を示す図である。図1に示すように、自律走行車120は、例えば、自宅のリビング等の所定空間100において、ユーザ110がソファでくつろぐシーン等で利用される。
 図1に示す利用シーンは、例えば、ユーザ110がノートPCを使用しようとして、自律走行車120に対して、
・ウェイクワードを発声した後、
・「ノートPCを持ってきて」と発声した場合(すなわち、音声による搬送指示(以降、音声指示と呼ぶ)が行われた場合)、
を示している。この場合、自律走行車120は、キャスタ付きの棚130~150の中から、ノートPCや書物等の仕事道具131が載置された棚130を搬送対象として特定し、棚130とドッキングした後、棚130をユーザ110の近傍の位置まで搬送する。なお、自律走行車120は、ウェイクワードなしに行われた音声指示に従うよう構成されてもよい。
 このように、自律走行車120を利用すれば、ユーザ110は、音声指示を行うだけで、ソファから動くことなく、離れた位置にあるノートPCを手元に置くことができる。
 なお、図1の例は、ユーザ110が音声指示を行った時点で、棚130が、所定空間100内のアンカ170の位置に待機していた場合を示している。また、図1の例は、アンカ170の位置に待機していた棚130を、ユーザ110の近傍の位置172まで搬送する際に、最短の搬送経路上に、障害物として、ごみ箱160が置かれていた場合を示している。
 このような場合、自律走行車120は、棚130の搬送中にごみ箱160を検知し、点線矢印171に示す搬送経路で棚130を搬送することで、ごみ箱160との衝突を回避する。
 また、図1には示していないが、自律走行車120が棚130をユーザ110の近傍の位置172まで搬送し、ユーザ110がノートPCを棚130から取り出した後、自律走行車120に対して、「棚を元の位置に戻して」との音声指示を行ったとする。この場合、自律走行車120は、棚130を、アンカ170の位置まで搬送する。
 また、図1の例では、自律走行車120が搬送対象として棚130を搬送する場合について示したが、ユーザ110の音声指示の内容によっては、自律走行車120が、棚140または棚150を搬送対象として特定して搬送してもよい。また、図1の例では、自律走行車120が、ユーザ110の近傍の位置を棚130の搬送先の位置として特定した。しかしながら、ユーザ110の音声指示の内容によっては、自律走行車120が、所定空間100内に設置された所定の設置物(例えば、家具等)の近傍の位置や、所定空間100内の任意の位置を、棚130の搬送先の位置として特定してもよい。
 <自律走行車の外観構成>
 次に、自律走行車120の外観構成について説明する。図2は、自律走行車の外観構成の一例を示す図である。
 図2の2aに示すように、自律走行車120は、全体として直方体の形状を有しており、搬送対象となる棚の最下段の下側に進入できるよう、高さ方向(z軸方向)及び幅方向(x軸方向)の寸法が規定されている。なお、自律走行車120の形状は直方体に限定されない。
 自律走行車120の上面210には、搬送対象となる棚とドッキングするためのドッキング機構を構成する部材であるロックピン211が設置されている。また、自律走行車120の上面210には、LIDAR(Laser Imaging Detection and Ranging)212が設置されている。LIDAR212は、自律走行車120の上面210の高さ位置における、前後方向(y軸方向)及び幅方向(x軸方向)を測定範囲としており、LIDAR212による測定結果を用いることで、当該測定範囲にある障害物等を検出することができる。
 自律走行車120の前面220には、前面RGBカメラ221と、ToF方式(Time of Flight方式)のカメラ(ToFカメラ222)とが設置されている。なお、本実施形態の前面RGBカメラ221は、ToFカメラ222の上側に設置されるが、前面RGBカメラ221の設置位置は、この位置に限定されない。
 前面RGBカメラ221は、自律走行車120が前進方向に移動する際、例えば、
・搬送対象となる棚(例えば、棚130)、
・搬送先の近傍にいるユーザ(例えば、ユーザ110)、搬送先の近傍にある設置物、
・搬送経路上の障害物(例えば、ごみ箱160)、
等を撮影し、カラー画像を出力する。
 ToFカメラ222は距離画像センサの一例であり、マルチパス問題を回避するために、自律走行車120が走行する走行面(図2の2bに示す床面240)が測定範囲に含まれない程度に、自律走行車120の前面220において上向きに設置される。マルチパス問題の一例として、光源から出射した光が床面240を経由して他の対象物で反射し、その反射光をToFカメラ222が受光することによる測定精度の悪化が挙げられる。本実施形態において、ToFカメラ222の自律走行車120の前面220における上向きの設置角度Θは、床面240に対して約50度であるとする。
 また、ToFカメラ222は、自律走行車120が前進方向に移動する際、少なくともドッキングした棚が通過する領域(ドッキングした棚の高さ×ドッキングした棚の幅分の領域)を測定範囲として障害物等を撮影し、距離画像(深度画像)を出力する。なお、本実施形態において、ToFカメラ222の垂直画角θvは70度、水平画角θhは90度であるとする。
 自律走行車120の下面230には、駆動輪231と、従動輪232とが設置され、自律走行車120を支持する。
 駆動輪231は、幅方向(x軸方向)に1つずつ設置されており(幅方向に計2つ設置されており)、それぞれが独立してモータ駆動されることで、自律走行車120を、前進/後退方向(y軸方向)に移動させることができる。また、駆動輪231は、自律走行車120を、z軸周りに旋回させることができる。
 従動輪232は、幅方向(x軸方向)に1つずつ(幅方向に計2つ)設置されている。また、従動輪232は、自律走行車120に対して、それぞれがz軸周りに旋回可能に設置されている。なお、従動輪232の設置位置や設置数は、上記以外でもよい。
 <自律走行車の内部構成及び下面構成の詳細>
 次に、自律走行車の内部構成及び下面構成の詳細について説明する。図3は、自律走行車の内部構成及び下面構成の一例を示す図である。
 このうち、図3の3aは、自律走行車120の上面カバーを取り外して、真上から見た様子を示している。以下、図3の3aを参照しながら、自律走行車120の内部を構成する各部について説明する。
 (a-1)第1制御基板及び第2制御基板
 はじめに第1制御基板及び第2制御基板について説明する。図3の3aに示すように、自律走行車120は、第1制御基板311及び第2制御基板312を有する。本実施形態において、第1制御基板311は、例えば、電子デバイスを制御し、第2制御基板312は、例えば、駆動デバイスを制御する。ただし、第1制御基板311と第2制御基板312の役割区分はこれに限定されない。
 なお、図3の3aの例では、第1制御基板311と第2制御基板312とが、分かれて設置される場合を示しているが、第1制御基板311と第2制御基板312とは、1つの基板として一体的に設置されてもよい。第1制御基板311と第2制御基板312とを分けて設置するか、一体的に設置するかに関わらず、本実施形態では、第1制御基板311が有する機能と第2制御基板312が有する機能の両方を備える装置を、制御装置310と称す。
 (a-2)ドッキング機構
 次に、ドッキング機構について説明する。図3の3aに示すように、自律走行車120は、搬送対象となる棚とドッキングするためのドッキング機構として、ソレノイド式のロックピン211と、フォトリフレクタ330とを有する。なお、本実施形態のドッキング機構はソレノイド式のロックピンを用いているが、ロックピンの昇降を、ソレノイド以外の電磁アクチュエータで行っても、ラックアンドピニオン機構、台形ねじ機構、空気圧駆動機構など、他のアクチュエータで行ってもよい。
 本実施形態において、ソレノイド式のロックピン211は、幅方向(x軸方向)に1つずつ設置された駆動輪231の幅方向(x軸方向)の中心位置であって、駆動輪231の回転軸上に設置される(図3の3a、3bの一点鎖線参照)。
 ソレノイド式のロックピン211は、圧縮コイルばねを内蔵しており、ソレノイドがONになるとロックピン211が吸引されて、圧縮コイルばねが縮む。一方、ソレノイド式のロックピン211は、ソレノイドがOFFになると、圧縮コイルばねの圧縮力により、上方(z軸方向、図3の3aの場合は紙面手前側)に突出する。なお、ソレノイドのON/OFFは、制御装置310によって制御される。
 フォトリフレクタ330は、自律走行車120が、搬送対象となる棚の最下段の下側に進入した際に、搬送対象となる棚に取り付けられたロックガイドの孔(詳細は後述)にロックピン211を突出させることが可能であるか否かを判定するための信号を出力する。
 自律走行車120は、フォトリフレクタ330より出力された信号に基づいて、ロックピン211を突出させることが可能であると判定した場合に、ソレノイドをOFFにする。なお、本実施形態でフォトリフレクタを用いてロックピン211とロックガイドの孔との対面状態を検出するようにしているが、フォトリフレクタ以外の方式で、この検出を行うようにしてもよい。フォトリフレクタ以外の方式としては、例えば、カメラや物理スイッチ、磁気式センサ、超音波センサ等を用いた方式が挙げられる。
 これにより、ロックピン211がロックガイドの孔に向けて突出し、突出したロックピン211がロックガイドの孔に挿入される。この結果、自律走行車120と、搬送対象の棚とのドッキングが完了する。
 なお、上述したように、ソレノイド式のロックピン211は、幅方向(x軸方向)に1つずつ設置された駆動輪231の幅方向(x軸方向)の中心位置に設置されている(幅方向において対称である)。このため、自律走行車120は、搬送対象となる棚の最下段の下側へ進入する際、前進方向で進入することも後退方向で進入することもできる。
 一方、自律走行車120が、搬送対象の棚とドッキングした状態で、ソレノイドをONにすることで、ロックピン211を吸引すると、自律走行車120と搬送対象の棚との間のドッキングが解除される。
 (a-3)各種入出力装置
 次に、各種入出力装置について説明する。図3の3aに示すように、自律走行車120は、各種入出力装置として、上述したLIDAR212、前面RGBカメラ221、ToFカメラ222に加えて、後面RGBカメラ320、マイク301~304、スピーカ305~306を有する。
 このうち、LIDAR212、前面RGBカメラ221、ToFカメラ222の設置位置、設置方向、測定範囲、測定対象等については説明済みであるため、ここでは説明を省略する。
 後面RGBカメラ320は、自律走行車120が後退方向に移動する際、例えば、
・搬送対象となる棚(例えば、棚130)、
・搬送対象の棚の周辺の障害物、
等を撮影し、カラー画像を出力する。
 マイク301~304は、音入力装置の一例であり、自律走行車120のコーナ部4か所(前面側2か所、後面側2か所)にそれぞれ設置され、それぞれの方向からの音を検出する。このように、自律走行車120のコーナ部4か所にマイク301~304を設置することで、自律走行車120の現在の位置及び向きに対して、音声指示を行ったユーザ110がいずれの方向にいるのかを判定し、ユーザ110の位置を推定することができる。
 スピーカ305~306は、音声出力装置の一例であり、自律走行車120の側面方向に向かって、音声を出力する。スピーカ305~306は、例えば、ユーザ110による音声指示に対して、自律走行車120が認識したタスクの内容を確認するための音声を出力する。
 一方、図3の3bは、自律走行車120を下面から見た様子を示している。以下、図3の3bを参照しながら、自律走行車120の下面を構成する各部について説明する。
 (b-1)駆動輪
 はじめに、駆動輪231について説明する。図3の3bに示すように、自律走行車120は、幅方向(x軸方向)に1つずつ設置された駆動輪231を有する。上述したように、駆動輪231は、それぞれが独立してモータ駆動されることで、自律走行車120を、前進/後退方向(y軸方向)に移動させたり、z軸周りに旋回させたりすることができる。
 具体的には、駆動輪231の両方を正転させることで、自律走行車120を前進方向に移動させ、駆動輪231の両方を逆転させることで、自律走行車120を後退方向に移動させることができる。また、駆動輪231の一方を正転させ、他方を逆転させることで、自律走行車120を旋回させることができる。
 なお、上述したように、駆動輪231の一方の回転軸と他方の回転軸とは、同軸上に形成されており、ソレノイド式のロックピン211は、同軸上において、駆動輪231の一方と駆動輪231の他方との中心位置に設置されている。このため、駆動輪231の一方を正転させ、駆動輪231の他方を逆転させた場合、自律走行車120は、ソレノイド式のロックピン211を中心に、旋回することになる。
 (b-2)従動輪
 次に、従動輪232について説明する。図3の3bに示すように、自律走行車120は、幅方向(x軸方向)に1つずつ設置された従動輪232を有する。上述したように、従動輪232は、それぞれが、z軸周りに旋回可能に設置されている。このため、例えば、自律走行車120が前進方向または後退方向に移動した後に旋回する場合、従動輪232は、その向きを旋回方向に直ちに追従させることができる。また、例えば、自律走行車120が旋回した後に前進方向または後退方向に移動する場合、従動輪232は、その向きを前進または後退方向に直ちに追従させることができる。
 <ドッキングの概要>
 次に、ドッキングの概要について説明する。図4は、自律走行車が搬送対象となる棚とドッキングする様子を示した図である。このうち、図4の4aは、自律走行車120が、アンカ170の位置に待機する、搬送対象となる棚130とドッキングする直前の様子を示したものである。
 図4の4aに示すように、棚130は段数が3段の棚であり、最下段400の下側には、フレームガイド410、420が、自律走行車120の幅に応じた間隔で、略平行に取り付けられている。これにより、自律走行車120が、搬送対象となる棚130の最下段400の下側に進入する際の進入方向が規定される。また、フレームガイド410、420は、自律走行車120が搬送対象となる棚130を搬送する際、幅方向のガイド部として機能し、棚130が自律走行車120に対して幅方向にずれることを防止する。
 また、棚130の足元には、キャスタ431~434が旋回可能に取り付けられている。これにより、自律走行車120は、ドッキングした棚130を容易に搬送することができる。
 一方、図4の4bは、自律走行車120が搬送対象となる棚130にドッキングした後の様子を示したものである。図4の4bに示すように、棚130にドッキングした状態であっても、自律走行車120の前面220は、棚130の各段によって覆われない(前面220が、棚130の各段よりも前進方向に突出する)。このため、自律走行車120が棚130を搬送する際に、前面RGBカメラ221の測定範囲が、棚130のいずれかの段によって遮られることはない。
 同様に、ToFカメラ222についても、自律走行車120が棚130を搬送する際に、測定範囲(垂直画角θv、水平画角θh)が、棚130のいずれかの段によって遮られることはない。
 一方、LIDAR212は、自律走行車120が棚130にドッキングした状態で、自律走行車120の高さ位置における前方及び後方の測定範囲が遮られることはない。しかしながら、幅方向の測定範囲についてはフレームガイド410、420によって遮られる可能性がある。
 このため、棚130のフレームガイド410、420には、LIDAR212の幅方向の測定範囲を遮蔽する割合を低減するために、開口部411、421が設けられている。これにより、自律走行車120が棚130を搬送する際に、LIDAR212は、自律走行車120の高さ位置における前方、後方及び幅方向の測定範囲を、棚130によって遮られることなく測定することができる。
 なお、図4の4bにおいては示されていないが、マイク301及び302(前面側に設置されたマイク)も、自律走行車120が棚130にドッキングした状態で、棚130の各段よりも前進方向に突出した位置に配置される。このため、自律走行車120が棚130を搬送する際に、前面側のマイク301及び302の検出範囲が、棚130のいずれかの段によって遮られることはない。
 <棚のキャスタの位置と自律走行車のドッキング機構の位置との関係>
 次に、棚130に旋回可能に取り付けられたキャスタ431~434と、自律走行車120のドッキング機構との位置関係について説明する。図5は、棚のキャスタと自律走行車のドッキング機構との位置関係を示す図である。
 このうち、図5の5aは、自律走行車120が棚130にドッキングした状態を、棚130の最下段400の真上から見た様子を示している。ただし、説明の便宜上、最下段400は、外枠のみを示している。また、図5の5bは、自律走行車120が棚130にドッキングした状態を、自律走行車120の前面220の方向から見た様子を示している。
 図5の5aに示すように、棚130の4つのキャスタ431~434は、最下段400の角部に旋回可能に取り付けられている。4つのキャスタ431~434の旋回範囲は、符号501~符号504で示す通りであり、符号501~符号504の旋回範囲の中心位置が、キャスタ431~434の旋回中心の位置となる。
 また、図5の5aに示すように、棚130の最下段400の下側には、ロックガイド510が取り付けられており、ロックガイド510には、ソレノイド式のロックピン211が突出した際に挿入される孔511が設けられている。
 なお、ロックガイド510は、表面が、例えば、白色により構成されているものとする。これは、ロックガイド510の孔511にロックピン211を挿入することが可能であるか否かを、フォトリフレクタ330より出力される信号に基づいて判定する際に、判定しやすくするためである。
 ロックガイド510の孔511にロックピン211を挿入することで、自律走行車120が棚130を搬送する際に、棚130が自律走行車120に対して前進方向または後退方向にずれることを防止することができる。なお、本実施形態では、ロックピン211が突出した状態にあるか否かを明示するために、突出した状態にあるロックピン211については、図面上、黒色で示すこととする。
 ここで、ロックガイド510の孔511は、その中心位置が、棚130の4つのキャスタ431~434の各旋回中心に対する中心位置と一致するように構成されている(図5の5a、5bの破線及び一点鎖線参照)。このため、自律走行車120が棚130にドッキングした状態では、ロックピン211の中心位置は、棚130の4つのキャスタ431~434の各旋回中心に対しても中心位置となる。
 上述したように、自律走行車120は、ロックピン211を中心に旋回するように構成されていることから、自律走行車120が旋回した場合、棚130は、4つのキャスタ431~434の各旋回中心に対する中心位置の周りを旋回することになる。つまり、自律走行車120が旋回した場合の、棚130の旋回範囲は符号520で示す範囲となる(自律走行車120は、棚130を、最小の旋回範囲で旋回させることができる)。
 <ドッキング機構の動作例>
 次に、自律走行車120が棚130にドッキングする場合のドッキング機構の動作例(ここでは、アンカ170の位置に待機していた棚130にドッキングする場合の動作例)について説明する。図6は、ドッキング時のドッキング機構の動作例を示す図である。図5の5aと同様に、図6は、棚130の最下段400の真上から見た様子を示している。ただし、説明の便宜上、最下段400は、外枠のみを示している。
 図6の6aは、自律走行車120が搬送対象となる棚130の近傍の位置まで移動した後、前面RGBカメラ221により撮影されたカラー画像に基づき、棚130を探索した様子を示している。なお、棚130の探索方法は任意であり、例えば、予め算出された棚130の形状特徴量と、カラー画像から抽出された棚130の形状特徴量とに基づいて、パターンマッチングを行い、棚130を探索してもよい。あるいは、予め棚130に施された、棚130を識別するためのマーカを、カラー画像から抽出することで、棚130を探索してもよい。あるいは、深層学習ベースの物体認識モデルを用いて、カラー画像に対してインスタンスセグメンテーションを行うことで、棚130を探索してもよい。
 更に、図6の6aは、自律走行車120が棚130を探索することができた場合に、棚130の位置と向き(フレームガイド410、420の向き)を認識し、ドッキングする際の進入方向に対して180度旋回した様子を示している。
 180度旋回した自律走行車120は、後面RGBカメラ320により撮影されたカラー画像に基づいて、ドッキングを開始する。
 具体的には、ソレノイドをONにすることで、ロックピン211を吸引した後、後退方向への移動を開始し、最下段400の下側であって、フレームガイド410とフレームガイド420との間に進入する。
 図6の6bは、自律走行車120が後退方向に移動しながら、フレームガイド410とフレームガイド420との間に進入する様子を示している。進入中、自律走行車120は、フォトリフレクタ330の測定結果を監視し、ロックガイド510の孔511にロックピン211を挿入することが可能であるか否かを判定する。
 図6の6cは、ロックガイド510の孔511にロックピン211を挿入することが可能な状態を示している。図6の6cに示す状態で、自律走行車120は、ソレノイドをOFFにすることで、ロックピン211を突出させ、孔511に挿入する。これにより、自律走行車120による、棚130へのドッキングが完了する。
 <制御装置のハードウェア構成>
 次に、制御装置310のハードウェア構成について説明する。図7は、制御装置のハードウェア構成の一例を示す図である。制御装置310は、構成要素として、プロセッサ701、主記憶装置(メモリ)702、補助記憶装置703、ネットワークインタフェース704、デバイスインタフェース705を有する。制御装置310は、これらの構成要素がバス706を介して接続されたコンピュータとして実現される。なお、図7の例では、制御装置310は、各構成要素を1個ずつ備えるものとして示しているが、制御装置310は、同じ構成要素を複数備えていてもよい。
 制御装置310の各種演算は、1または複数のプロセッサを用いて、並列処理で実行されてもよい。また、各種演算は、プロセッサ701内に複数ある演算コアに振り分けられて、並列処理で実行されてもよい。また、本開示の処理、手段等の一部または全部は、ネットワークインタフェース704を介して制御装置310と通信可能なクラウド上に設けられた外部装置730(プロセッサ及び記憶装置の少なくとも一方)により実行されてもよい。このように、制御装置310は、1台または複数台のコンピュータによる並列コンピューティングの形態をとってもよい。
 プロセッサ701は、電子回路(処理回路、Processing circuit、Processing circuitry、CPU、GPU、FPGA、又はASIC等)であってもよい。また、プロセッサ701は、専用の処理回路を含む半導体装置等であってもよい。なお、プロセッサ701は、電子論理素子を用いた電子回路に限定されるものではなく、光論理素子を用いた光回路により実現されてもよい。また、プロセッサ701は、量子コンピューティングに基づく演算機能を含むものであってもよい。
 プロセッサ701は、制御装置310の内部構成の各装置等から入力された各種データや命令に基づいて各種演算を行い、演算結果や制御信号を各装置等に出力する。プロセッサ701は、OS(Operating System)や、アプリケーション等を実行することにより、制御装置310が備える各構成要素を制御する。
 また、プロセッサ701は、1チップ上に配置された1又は複数の電子回路を指してもよいし、2つ以上のチップあるいはデバイス上に配置された1又は複数の電子回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線又は無線により通信してもよい。
 主記憶装置702は、プロセッサ701が実行する命令及び各種データ等を記憶する記憶装置であり、主記憶装置702に記憶された各種データがプロセッサ701により読み出される。補助記憶装置703は、主記憶装置702以外の記憶装置である。なお、これらの記憶装置は、各種データ(例えば、後述する搬送対象管理テーブル格納部801、環境地図格納部802に格納されるデータ)を格納可能な任意の電子部品を意味するものとし、半導体のメモリでもよい。半導体のメモリは、揮発性メモリ、不揮発性メモリのいずれでもよい。制御装置310において各種データを保存するための記憶装置は、主記憶装置702又は補助記憶装置703により実現されてもよく、プロセッサ701に内蔵される内蔵メモリにより実現されてもよい。
 また、1つの主記憶装置702に対して、複数のプロセッサ701が接続(結合)されてもよいし、単数のプロセッサ701が接続されてもよい。あるいは、1つのプロセッサ701に対して、複数の主記憶装置702が接続(結合)されてもよい。制御装置310が、少なくとも1つの主記憶装置702と、この少なくとも1つの主記憶装置702に接続(結合)される複数のプロセッサ701とで構成される場合、複数のプロセッサ701のうち少なくとも1つのプロセッサが、少なくとも1つの主記憶装置702に接続(結合)される構成を含んでもよい。また、複数台の制御装置310に含まれる主記憶装置702とプロセッサ701とによって、この構成が実現されてもよい。さらに、主記憶装置702がプロセッサと一体になっている構成(例えば、L1キャッシュ、L2キャッシュを含むキャッシュメモリ)を含んでもよい。
 ネットワークインタフェース704は、無線又は有線により、通信ネットワーク740に接続するためのインタフェースである。ネットワークインタフェース704には、既存の通信規格に適合したもの等、適切なインタフェースが用いられる。ネットワークインタフェース704により、通信ネットワーク740を介して接続された外部装置730と各種データのやり取りが行われてもよい。なお、通信ネットワーク740は、WAN(Wide Area Network)、LAN(Local Area Network)、PAN(Personal Area Network)等のいずれか、又は、それらの組み合わせであってもよく、コンピュータとその他の外部装置730との間で情報のやり取りが行われるものであればよい。WANの一例としてインタネット等があり、LANの一例としてIEEE802.11やイーサネット等があり、PANの一例としてBluetooth(登録商標)やNFC(Near Field Communication)等がある。
 デバイスインタフェース705は、外部装置750と直接接続するUSB等のインタフェースである。
 外部装置750はコンピュータと接続されている装置である。外部装置750は、一例として、入力装置であってもよい。本実施形態において、入力装置は、例えば、カメラ(前面RGBカメラ221、ToFカメラ222、後面RGBカメラ320)、マイクロフォン(マイク301~304)、各種センサ(フォトリフレクタ330)等の電子デバイスであり、取得した情報をコンピュータに与える。
 また、外部装置750は、一例として、出力装置であってもよい。本実施形態において、出力装置は、例えば、LCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)、PDP(Plasma Display Panel)、又は有機EL(Electro Luminescence)パネル等の表示装置であってもよいし、音声等を出力するスピーカ(スピーカ305~306)等であってもよい。また、各種駆動装置(モータ、ソレノイド)等の駆動デバイスであってもよい。
 また、外部装置750は、記憶装置(メモリ)であってもよい。例えば、外部装置750はネットワークストレージ等であってもよく、外部装置750はHDD等のストレージであってもよい。
 また、外部装置750は、制御装置310の構成要素の一部の機能を有する装置でもよい。つまり、コンピュータは、外部装置750の処理結果の一部又は全部を送信または受信してもよい。
 <制御装置の機能構成>
 次に、制御装置310の機能構成について説明する。図8は、制御装置の機能構成の一例を示す図である。制御装置310には制御プログラムがインストールされており、当該プログラムが実行されることで、制御装置310は、音声指示取得部810、搬送対象特定部821、搬送対象位置特定部822、ドッキング制御部823として機能する。また、制御装置310は、搬送先特定部831、搬送先位置特定部832、搬送制御部833として機能する。なお、制御装置310の各部の説明に際しては、音声指示に従って物品をユーザに送り届けるための搬送(「納入搬送」と称す)と、音声指示に従って納入搬送が行われた後の棚を、元の位置に戻す搬送(「戻し搬送」と称す)とに分けて説明する。
 (1)納入搬送時の各部の機能
 はじめに、納入搬送時の各部(音声指示取得部810~搬送制御部833)の機能について説明する。音声指示取得部810は、マイク301~304で検出された音データから、ユーザ110が発声したウェイクワードを認識し、ウェイクワードに続く音声指示を取得する。また、音声指示取得部810は、取得した音声指示を、搬送対象特定部821及び搬送先特定部831に通知する。
 搬送対象特定部821は、音声指示取得部810より通知された音声指示を解析し、自律走行車120が搬送すべき物品(例えば、ノートPC)を特定する。また、搬送対象特定部821は、搬送対象管理テーブル格納部801を参照することで、特定した物品が載置された棚(例えば、棚130)を、納入搬送における搬送対象として特定する。更に、搬送対象特定部821は、特定した搬送対象となる棚を、搬送対象位置特定部822に通知する。
 なお、取得した音声指示に、(搬送すべき物品の代わりに)搬送対象となる棚を示すワードが含まれている場合にあっては、搬送対象特定部821は、直接、搬送対象となる棚(例えば、棚130)を特定し、搬送対象位置特定部822に通知する。
 搬送対象位置特定部822は、搬送対象特定部821より通知された、納入搬送における搬送対象となる棚が、現在、どの位置にあるかを、搬送対象管理テーブル格納部801を参照することで特定する。また、搬送対象位置特定部822は、特定した搬送対象となる棚の位置を示す座標(例えば、アンカ170の位置を示す座標)を、ドッキング制御部823に通知する。
 ドッキング制御部823は、搬送対象位置特定部822より通知された、納入搬送における搬送対象となる棚の位置を示す座標と、自律走行車120の現在の位置を示す座標とに基づき自律走行車120を移動させ、搬送対象となる棚にドッキングするよう制御する。また、ドッキング制御部823は、自律走行車120による搬送対象となる棚へのドッキングが完了すると、搬送制御部833に、ドッキングが完了したことを通知する。
 搬送先特定部831は、音声指示取得部810より通知された音声指示を解析し、納入搬送において搬送対象となる棚の搬送先の位置(例えば、ユーザ110の近傍の位置)を特定する。また、搬送先特定部831は、特定した搬送先の位置を、搬送先位置特定部832に通知する。
 搬送先位置特定部832は、搬送先特定部831より通知された搬送先の位置が、所定空間100内の設置物(例えば、家具等)の近傍の位置である場合には、搬送先の位置を示す座標を、環境地図格納部802を参照することで特定する。なお、環境地図格納部802には、所定空間100内の各設置物の座標が格納されている。
 また、搬送先位置特定部832は、搬送先特定部831より通知された搬送先が、ユーザ110の近傍の位置である場合には、
・マイク301~304において検出された音データのいずれから音声指示が取得されたかに基づいて判定した、ユーザ110がいる方向と、
・音声指示が取得された際の自律走行車120の現在の位置及び向きと、
に基づいて、搬送先の位置を示す座標を特定する。
 なお、自律走行車120は、
・LIDAR212により測定された測定結果、
・前面RGBカメラ221により撮影されたカラー画像、
・ToFカメラ222により撮影された距離画像、
の少なくとも1つに基づいて、所定空間100内における自車の位置及び向きを所定周期で算出する。
 更に、搬送先位置特定部832は、特定した搬送先の位置を示す座標を、搬送制御部833に通知する。
 搬送制御部833は、ドッキング制御部823よりドッキング完了の通知があった場合に、搬送先位置特定部832より通知された搬送先の位置を示す座標に基づいて、自律走行車120を移動させるよう制御する。
 搬送制御部833では、自律走行車120の移動中、LIDAR212による測定結果、前面RGBカメラ221によるカラー画像、ToFカメラ222による距離画像を参照する。そして、搬送制御部833は、自律走行車120の現在の位置を算出するとともに、搬送経路上に障害物を検知した場合には、衝突を回避するよう制御する。
 また、搬送制御部833は、自律走行車120が搬送先の位置に到達した後は、納入搬送における搬送対象の棚とのドッキングを解除し、最下段400の下側から退出する。
 (2)戻し搬送時の各部の機能
 次に、戻し搬送時の各部(音声指示取得部810~搬送制御部833)の機能について説明する。音声指示取得部810は、マイク301~304で検出された音データから、ユーザ110が発声したウェイクワードを認識し、ウェイクワードに続く音声指示を取得する。また、音声指示取得部810は、取得した音声指示を、搬送対象特定部821及び搬送先特定部831に通知する。
 搬送対象特定部821は、音声指示取得部810より通知された音声指示を解析し、自律走行車120によって元の位置に搬送されるべき棚(例えば、納入搬送後の棚130)を、戻し搬送における搬送対象として特定する。また、搬送対象特定部821は、特定した搬送対象を、搬送対象位置特定部822に通知する。
 搬送対象位置特定部822は、搬送対象特定部821より通知された、戻し搬送における搬送対象となる棚が、現在、どの位置にあるかを搬送対象管理テーブル格納部801を参照することで特定する。また、搬送対象位置特定部822は、特定した搬送対象となる棚の位置を示す座標(例えば、ユーザ110の近傍の位置を示す座標)を、ドッキング制御部823に通知する。
 ドッキング制御部823は、搬送対象位置特定部822より通知された、戻し搬送における搬送対象となる棚の位置を示す座標と、自律走行車120の現在の位置を示す座標とに基づき自律走行車120を移動させ、搬送対象となる棚にドッキングするよう制御する。また、ドッキング制御部823は、自律走行車120による搬送対象となる棚へのドッキングが完了すると、搬送制御部833に、ドッキングが完了したことを通知する。
 搬送先特定部831は、音声指示取得部810より通知された音声指示を解析し、戻し搬送において搬送対象となる棚の搬送先の位置(例えば、アンカ170の位置)を特定する。また、搬送先特定部831は、特定した搬送先の位置を、搬送先位置特定部832に通知する。
 搬送先位置特定部832は、搬送先特定部831より通知された搬送先の位置が、所定空間100内のアンカの位置(例えば、アンカ170の位置)である場合には、搬送先の位置を示す座標を、環境地図格納部802を参照することで特定する。
 更に、搬送先位置特定部832は、特定した搬送先の位置を示す座標を、搬送制御部833に通知する。
 搬送制御部833は、ドッキング制御部823よりドッキング完了の通知があった場合に、搬送先位置特定部832より通知された搬送先の位置を示す座標に基づいて、自律走行車120を移動させるよう制御する。
 搬送制御部833では、自律走行車120の移動中、LIDAR212による測定結果、前面RGBカメラ221によるカラー画像、ToFカメラ222による距離画像を参照する。そして、搬送制御部833は、自律走行車の現在の位置を算出するとともに、搬送経路上に障害物を検知した場合には、衝突を回避するよう制御する。
 また、搬送制御部833は、自律走行車120が搬送先の位置に到達した後は、戻し搬送における搬送対象の棚とのドッキングを解除し、最下段400の下側から退出する。
 <搬送対象管理テーブルの具体例>
 次に、搬送対象管理テーブル格納部801に格納された搬送対象管理テーブルの具体例について説明する。図9は、搬送対象管理テーブルの一例を示す図である。
 図9に示すように、搬送対象管理テーブルは、搬送対象となる棚と、棚に載置されている物品とを対応付けるテーブルであり、搬送対象管理テーブル900には、情報の項目として、“棚情報”、“物品”、“タグ”が含まれる。
 “棚情報”には、更に、“ID”、“初期位置”、“解除位置”、“ドッキング位置”が含まれる。“ID”には、それぞれの棚を識別するための識別子が格納される。“初期位置”には、自律走行車120が所定空間100内を走行中に最初に認識した棚の位置を示す座標が格納される。あるいは、“初期位置”には、ユーザ110が予め指定した位置(例えば、アンカ170の位置)を示す座標が格納される。
 “解除位置”には、自律走行車120が搬送対象の棚とのドッキングを最後に解除した位置を示す座標が格納される。“ドッキング位置”には、自律走行車120が搬送対象となる棚と最後にドッキングした位置を示す座標が格納される。なお、各位置を示す座標は、環境地図上における座標である。ただし、各位置を示す座標に代えて、環境地図上で予め割り当てられた場所の名前が格納されてもよい。
 “物品”には、搬送対象となる棚に載置された物品の名称が格納される。“タグ”には、対応する物品の種別が格納される。
 なお、図9に示す搬送対象管理テーブル900の場合、“棚情報”と、“物品”、“タグ”とが、直接、対応付けられているが、これらは、間接的に対応付けられていてもよい。「間接的に対応付け」るとは、例えば、情報Aと情報Bとを対応付ける際に、情報Aと情報Cとを直接的に対応付け、かつ、情報Cと情報Bとを直接的に対応付けることで、情報Aと情報Bとを、情報Cを介して間接的に対応付けることを指す。
 <自律走行処理の流れ>
 次に、自律走行車120による自律走行処理の流れについて説明する。図10は、自律走行処理の流れを示すフローチャートの一例である。図10に示すように、自律走行車120による自律走行処理は、2種類の処理に大別することができる。
 第1の処理は、音声指示による納入搬送処理である。音声指示による納入搬送処理とは、自律走行車120が、
・ユーザ110からの音声指示に基づいて、搬送対象となる棚及び搬送先の位置を特定し、
・特定した棚にドッキングし、
・特定した搬送先の位置(ここでは、ユーザ110の近傍の位置)まで、特定した棚を搬送する、
処理を指す(ステップS1001)。
 第2の処理は、音声指示による戻し搬送処理である。音声指示による戻し搬送処理とは、第1の処理が完了した後に、自律走行車120が、
・ユーザ110からの音声指示に基づいて、搬送対象となる棚及び搬送先の位置を特定し、
・特定した棚にドッキングし、
・特定した搬送先の位置(ここでは、アンカ170の位置)まで、特定した棚を搬送する、
処理を指す(ステップS1002)。以下、第1の処理(ステップS1001:音声指示による納入搬送処理)及び第2の処理(ステップS1002:音声指示による戻し搬送処理)の詳細について説明する。
 <音声指示による納入搬送処理の詳細>
 はじめに、音声指示による納入搬送処理(ステップS1001)の詳細について図12を参照しながら、図11に沿って説明する。図11は、音声指示による納入搬送処理の流れを示すフローチャートの一例である。また、図12は、納入搬送時の自律走行車の動作例を示す図である。
 ステップS1101において、自律走行車120は、マイク301~304で検出された音データから、ユーザ110が発声したウェイクワードを認識し、認識したウェイクワードに続いて検出された音声データを解析する。
 なお、ウェイクワードは、自律走行車120に予め設定されているが、ユーザ110が任意のワードに変更することも可能である。
 ステップS1102において、自律走行車120は、音声データを解析した結果、ユーザ110が物品を要求する音声指示(例えば、「ノートPCを持ってきて」)を取得したとする。この場合、自律走行車120では、物品=ノートPCを、搬送先の位置=ユーザ110の近傍の位置、まで納入搬送するタスクであると認識する。
 また、自律走行車120では、マイク301~304で検出された音声データを解析することで、ユーザ110の音声がどの方向から発せられたか(ユーザ110がいる方向)を判定する。
 なお、自律走行車120では、ユーザ110がいる方向についての判定結果を、予め作成された環境地図(例えば、所定空間100内の地図)上での、自律走行車120の位置を示す座標及び自律走行車120の向きを示す情報とともにメモリに保存する。
 ステップS1103において、自律走行車120は、認識したタスクに基づいて、搬送対象となる棚を特定する。具体的には、自律走行車120では、搬送対象管理テーブル900を参照し、認識したタスクにおいて取り扱われる、特定の物品が対応付けられている棚を、搬送対象として特定する。本実施形態では、ノートPCが棚130と対応付けて管理されているため、自律走行車120では、棚130を搬送対象として特定する。
 ステップS1104において、自律走行車120は、搬送対象となる棚の位置を示す座標を、搬送対象管理テーブル900を参照することで特定する。例えば、搬送対象となる棚が棚130である場合には、棚130の位置として、解除位置の座標(x1’,y1’)を特定する。解除位置の座標(x1’,y1’)は、自律走行車120が最後に棚130のドッキングを解除した位置であるので、その位置に棚130が存在する確率が高いからである。
 なお、自律走行車120では、搬送対象管理テーブル900中の“初期位置”の座標を、搬送対象となる棚の位置を示す座標として特定してもよい。
 ステップS1105において、自律走行車120は、ステップS1102において認識したタスクに応じた音声を、スピーカ305~306を介してユーザ110に出力する。例えば、物品=ノートPCを、搬送先の位置=ユーザ110の近傍の位置、まで納入搬送するタスクであった場合には、「ノートPCをユーザまで搬送します」という音声を、スピーカ305~306を介してユーザ110に出力する。
 ステップS1106において、自律走行車120は、駆動輪231を制御して、搬送対象となる棚の位置に移動する。このとき、自律走行車120は、前面RGBカメラ221、ToFカメラ222、LIDAR212を用いて障害物を検出し、検出した障害物との衝突を回避しながら移動する。
 なお、この時点では、自律走行車120は、棚130とドッキングしていないため、棚130がドッキングしていた場合には棚130に接触する障害物であっても、自律走行車120に接触しない障害物については、障害物として認識しない。
 ステップS1107において、自律走行車120は、搬送対象となる棚130の近傍の位置に到達すると、自律走行車120を移動させながら、前面RGBカメラ221から取得したカラー画像を解析して、棚130を探索する(図12の12a参照)。なお、棚130を探索する方法としては、棚の形状のパターンマッチングや、深層学習ベースの物体認識モデルを用いた棚の認識等が挙げられるが、棚130を探索する方法は、これらに限定されない。例えば、棚に施されたマーカを認識することによっても棚を認識してもよい。なお、マーカの種類は問わない。例えば、バーコード、QRコード(登録商標)、ARコードなど、情報をエンコードするマーカでも、特徴的な模様を持つマーカでもよい。マーカを用いた棚の認識方法としては、例えば、自律走行車120で搬送可能な棚であることを示す情報を、所定のマーカと紐づけておき、当該所定のマーカを自律走行車が検出することで、搬送対象の棚を特定してもよい。
 ステップS1108において、自律走行車120は、搬送対象となる棚130を探索することができた場合に、180度旋回し、棚130の最下段400の下側に、後退方向で進入する(図12の12b参照)。なお、自律走行車120では、後退方向で進入している間も、後面RGBカメラ320を用いて、棚130の最下段400の下側を認識し、最下段400との位置関係を調整しながら、自律走行車120の移動を制御する。
 ステップS1109において、自律走行車120は、ロックガイド510の孔511にロックピン211を挿入することが可能な位置まで移動したことを、フォトリフレクタ330より出力された信号に基づいて判定する。
 また、自律走行車120は、ロックガイド510の孔511にロックピン211を挿入することが可能な位置まで移動すると、ソレノイドをOFFにすることで、ロックピン211を突出させ、ロックピン211を孔511に挿入する。これにより、自律走行車120は、搬送対象となる棚130とのドッキングを完了する(図12の12c参照)。
 ドッキングが完了すると、自律走行車120は、搬送対象となる棚130について、搬送対象管理テーブル900に格納されている“ドッキング位置”の座標を、実際にドッキングした位置の座標に更新する。
 例えば、搬送対象となる棚130と、座標(x1”,y1”)の位置でドッキングした場合、自律走行車120は、搬送対象管理テーブルの棚130の“ドッキング位置”の座標を、(x1”,y1”)に更新する。
 ステップS1110において、自律走行車120は、ステップS1102において認識したタスクに基づいて、ドッキングした棚130の搬送先の位置の座標を特定する。例えば、物品=ノートPCを、搬送先の位置=ユーザ110の近傍の位置、まで搬送するタスクの場合、自律走行車120は、ドッキングした棚130の搬送先の位置を示す座標として、ユーザ110の近傍の位置を示す座標を特定する。
 なお、搬送先の位置として、ユーザ110の近傍の位置を特定した場合、自律走行車120は、ステップS1102においてメモリに保存した情報に基づいて、ユーザ110がいる可能性の高い位置を推定する。また、自律走行車120は、推定した位置の近傍の位置を示す、環境地図上の座標を特定する。ステップS1102においてメモリに保存した情報とは、自律走行車120の環境地図上の位置を示す座標及び自律走行車120の向きを示す情報、ユーザ110がいる方向についての判定結果である。
 ステップS1111において、自律走行車120は、駆動輪231を制御して、特定した搬送先の位置(ユーザ110の近傍の位置)に移動する(図12の12d参照)。このとき、自律走行車120は、前面RGBカメラ221、ToFカメラ222、LIDAR212を用いて障害物を検出し、検出した障害物との衝突を回避しながら移動する。
 なお、この時点では、既に自律走行車120は、棚130とドッキングしているため、自律走行車120が接触しない障害物であっても、棚130が接触する障害物については、これを回避しながら移動する。
 ステップS1112において、自律走行車120は、搬送先の位置(例えば、ユーザ110の近傍の位置)に到達すると、ドッキングを解除する。また、自律走行車120は、搬送対象の棚130について、搬送対象管理テーブル900に記録されている“解除位置”を示す座標を、搬送先の位置を示す座標で更新する(図12の12e参照)。
 例えば、棚130が環境地図上の座標(x1’’’,y’’’)により特定される位置まで搬送された後にドッキングが解除された場合にあっては、搬送対象管理テーブル900の棚130の解除位置を示す座標は、(x1’’’,y’’’)に更新される。
 なお、自律走行車120は、搬送先の位置に到達した際、前面RGBカメラ221から取得したカラー画像を解析して、ユーザ110を探索し、ユーザ110を探索することができた場合に、ドッキングを解除する。
 ステップS1113において、自律走行車120は、前面RGBカメラ221、ToFカメラ222、LIDAR212を用いて前方または後方の障害物の有無を確認する。そして、自律走行車120は、棚130の最下段400の下側から、前方あるいは後方のうち、障害物がない方向に退出する(図12の12f参照)。
 前方または後方の両方に障害物がある場合には、一定時間、自律走行車120を待機させ、再度、前方あるいは後方の障害物の有無を確認する。つまり、自律走行車120は、前後方向の障害物の有無の確認と待機とを交互に繰り返す。
 なお、確認と待機の繰り返しを所定回数行っても、まだ前後方向に障害物があることが確認された場合には、自律走行車120は、その場で待機してもよい。また、上記説明では、ドッキング解除後に前後方向の障害物の有無を確認したが、障害物の有無を確認することなく、ドッキング解除後は、ただちに、その場で待機するように構成してもよい。
 <音声指示による戻し搬送処理の流れ>
 次に、音声指示による戻し搬送処理(ステップS1002)の詳細について図14を参照しながら、図13に沿って説明する。図13は、音声指示による戻し搬送処理の流れを示すフローチャートの一例である。図14は、戻し搬送時の自律走行車の動作例を示す図である。
 ステップS1301において、自律走行車120は、マイク301~304で検出された音データから、ユーザ110が発声したウェイクワードを認識し、認識したウェイクワードに続いて検出された音声データを解析する。
 ステップS1302において、自律走行車120は、音声データを解析した結果、棚130を元の位置に搬送する音声指示(例えば、「棚を元の位置に戻して」)を取得したとする。この場合、自律走行車120では、搬送対象=棚を、搬送先の位置=元の位置、まで搬送するタスクであると認識する。
 ステップS1303において、自律走行車120は、搬送対象となる棚の位置を示す座標を、搬送対象管理テーブル900を参照することで特定する。
 ステップS1304において、自律走行車120は、駆動輪231を制御して、搬送対象となる棚130の位置に移動する。
 ステップS1305において、自律走行車120は、搬送対象となる棚130の近傍の位置に到達すると、自律走行車120を移動させながら、前面RGBカメラ221から取得したカラー画像を解析し、棚130を探索する(図14の14a参照)。なお、棚130を探索する方法としては、棚の形状のパターンマッチングや、棚に施されたマーカの認識、深層学習ベースの物体認識モデルを用いた棚の認識等が挙げられるが、棚130を探索する方法は、これらに限定されない。
 ステップS1306において、自律走行車120は、搬送対象となる棚130を探索することができた場合に、棚130の最下段400の下側に前進方向で進入する。
 ステップS1307において、自律走行車120は、ロックガイド510の孔511にロックピン211を挿入することが可能な位置まで移動すると、ロックピン211を突出させ、孔511に挿入する。これにより、自律走行車120は、搬送対象となる棚130とのドッキングを完了する(図14の14b参照)。その後、自律走行車120は、所定の距離、後退方向に移動し、180度旋回する(図14の14c参照)。
 ステップS1308において、自律走行車120は、ステップS1302において認識したタスクに基づいて、ドッキングした棚130の搬送先の位置を示す座標として、アンカ170の位置を示す座標を特定する。
 ステップS1309において、自律走行車120は、駆動輪231を制御して、特定した搬送先の位置(アンカ170の位置)に移動する(図14の14d参照)。
 ステップS1310において、自律走行車120は、搬送先の位置(アンカ170の位置)の近傍に到達すると、搬送先の位置(アンカ170の位置)での搬送対象の姿勢を特定し、180度旋回する。
 ステップS1311において、自律走行車120は、後面RGBカメラ320から取得したカラー画像を解析して、アンカ170の位置を認識しながら、後退方向に移動することで、搬送対象の棚130をアンカ170の位置に戻す(図14の14e参照)。
 ステップS1312において、自律走行車120は、棚130とのドッキングを解除する。また、自律走行車120は、搬送対象の棚130について、搬送対象管理テーブル900に記録されている“解除位置”を示す座標を、アンカ170の位置を示す座標で更新する。
 ステップS1313において、自律走行車120は、前進方向に移動することで、搬送対象の棚130の最下段400の下側から退出する(図14の14f参照)。
 <まとめ>
 以上の説明から明らかなように、第1の実施形態に係る自律走行車120は、
・搬送対象の棚とドッキングするためのドッキング機構を有する。
・ユーザの音声指示を取得するための音入力装置を有する。
・音入力装置を介して音声指示が取得された場合に、該音声指示に基づき特定した搬送対象の棚との、ドッキング機構によるドッキング、及び、該音声指示に基づき特定した搬送先の位置へのドッキングした搬送対象の棚の搬送、を制御する制御装置を有する。
 これにより、第1の実施形態によれば、ユーザの音声指示に応じたタスクを実行可能な自律走行車を提供することができる。
 [第2の実施形態]
 上記第1の実施形態では、ソレノイド式のロックピン211とフォトリフレクタ330とを有するドッキング機構を例示したが、ドッキング機構はこれに限定されず、従来の任意の機構が適用されうる。また、上記第1の実施形態では、搬送対象となる棚の最下段の下側に進入したうえでドッキングする場合について説明したが、搬送対象となる棚の最下段の下側に進入することなくドッキングするように構成してもよい。例えば、搬送対象となる棚の脚部をグリッパでグリップすることで、ドッキングしてもよい。
 また、上記第1の実施形態では、搬送対象として棚を例示したが、搬送対象は棚に限定されず、キャスタが旋回可能に取り付けられた家具であれば、他の家具であってもよい。
 また、上記第1の実施形態では、搬送対象管理テーブルが予め搬送対象管理テーブル格納部801に格納されているものとして説明した。しかしながら、搬送対象管理テーブルは、例えば、ユーザ110による音声指示によって、逐次更新されてもよい。あるいは、ユーザ110が保持するスマート端末と自律走行車120とが、無線通信することによって、逐次更新されてもよい。
 また、上記第1の実施形態では、アンカの位置にある棚とドッキングする場合において、自律走行車120は、棚の最下段の下側に進入する際、後退方向に移動するものとして説明した。しかしながら、棚の最下段の下側に、前進方向に移動することで進入してもよい。
 また、上記第1の実施形態では、ユーザ110の音声指示に物品が含まれる場合に、当該物品と直接的に対応付けられている棚を特定することで、搬送対象となる棚を特定するものとして説明した。しかしながら、搬送対象となる棚の特定方法は、これに限定されず、例えば、当該物品と間接的に対応付けられている棚を特定するように、構成してもよい。
 また、上記第1の実施形態では、納入搬送の一例として、アンカの位置に待機している棚とドッキングして搬送する場合について説明したが、ドッキングを最後に解除した解除位置にある棚とドッキングして搬送してもよい。また、上記第1の実施形態では、戻し搬送の一例として、ドッキングした棚をアンカの位置に戻す場合について説明したが、アンカ以外の位置として、最後にドッキングしたドッキング位置に戻してもよい。
 また、上記第1の実施形態では、アンカの位置についての詳細な説明を省略したが、アンカの位置は、例えば、所定空間100内においてQRコード(登録商標)等の2次元の識別子が設置された位置であるとする。
 また、上記第1の実施形態では、棚の初期位置がアンカの位置である場合について説明したが、棚の初期位置は、アンカの位置に限定されない。例えば、環境地図上の所定の位置を、棚の初期位置としてもよい。
 また、上記第1の実施形態では、棚をアンカの位置に戻す際の、棚の姿勢の特定方法について言及しなかった。しかしながら、棚をアンカの位置に戻す際は、例えば、当該棚が納入搬送において自律走行車120とドッキングした際の棚の姿勢を特定し、当該姿勢と同じ姿勢となるように戻してもよい。あるいは、予め定められたデフォルトの姿勢となるように戻してもよい。
 また、上記第1の実施形態では、ユーザからの音声指示によりタスクを認識した場合、タスクが完了するまで、次の音声指示がない場合について説明した。しかしながら、実行中のタスクが完了する前に、次の音声指示が入力されてもよい。
 一例として、実行中のタスク(納入搬送するタスク)が完了する前に、他のタスクを要求する音声指示(例えば、「おやつを持ってきて」)が認識された場合について説明する。この場合、自律走行車120は、この新たなタスクを、実行中のタスクの後にキューイングし、実行中のタスクの完了後に、この新たなタスクに従って動作する。なお、ここでいう実行中のタスクとは、例えば、棚130を搬送先に搬送するタスクであり、新たなタスクとは、おやつが載置された棚(例えば、棚140)を、ユーザ110の近傍の位置まで搬送するタスクである。
 また、他の一例として、実行中のタスク(納入搬送するタスク)が完了する前に、タスクのキャンセルを要求する音声指示(例えば、「運ぶのを中止して」)が認識された場合について説明する。この場合、自律走行車120は、搬送対象となる棚(例えば、棚130)にドッキングする前であれば、その場で移動を停止する。また、自律走行車120は、搬送対象となる棚とドッキングした後であれば、搬送対象の棚を、元の位置に戻す。
 また、他の一例として、実行中のタスク(戻し搬送)が完了する前に、他のタスクを要求する音声指示(例えば、「おやつを持ってきて」)が認識された場合について説明する。この場合、自律走行車120は、搬送対象となる棚(例えば、棚130)とドッキングする前であれば、直ちに、新たなタスクに従って動作する。また、搬送対象となる棚(例えば、棚130)とドッキングした後であれば、搬送対象の棚をアンカ170の位置に戻すことなくその場でドッキングを解除して(つまり、アンカ170の位置への搬送を途中で停止して)新たなタスクに従って動作してもよい。あるいは、新たなタスクを、実行中のタスクの後にキューイングして実行中のタスクを完了した後に、この新たなタスクに従って動作してもよい。なお、
・実行中のタスクをキャンセルして新たなタスクを即座に実行するか、
・実行中のタスクを完了した後に新たなタスクを実行するか、
は、“搬送対象となる棚とドッキングした後に新たなタスクを要求する音声指示が認識されたときの自律走行車の挙動”として、ユーザによって予め設定されていてもよい。あるいは、新たなタスクの音声指示を認識したときに、ユーザによってその場で設定されてもよい。なお、ここでいう新たなタスクとは、おやつが載置された棚(例えば、棚140)を、ユーザ110の近傍の位置まで搬送するタスクである。
 また、上記第1の実施形態では、ユーザ110が音声指示を行った際、当該音声指示に応じたタスクを、自律走行車120が直ちに実行する場合について説明した。しかしながら、ユーザ110の音声指示が、所定の時刻でのタスクの実行を予約する音声指示であった場合には、自律走行車120は、所定の時刻になってから、タスクを実行する。
 例えば、ユーザ110の音声指示が、「午前9時に、仕事道具を机まで持ってきて」であったとする。この場合、自律走行車120は、音声指示が取得されたタイミングではタスクを実行せず、午前9時になったタイミングで、タスク(仕事道具が載置された棚130を、机の近傍の位置まで搬送するタスク)を実行する。
 つまり、自律走行車120は、ユーザ110の音声指示に、タスクを実行するタイミングが含まれていた場合には、タスクを実行するタイミングが到来したことを検知し、当該音声指示に基づき特定したタイミングでタスクを実行する。なお、タスクを実行するタイミングの設定(予約ともいう)は音声指示によって行われる場合に限定されず、自律走行車120(制御装置310)と通信可能な外部装置730からの電子的な指示によって行われてもよい。この外部装置730としては、例えば、ユーザが所有するスマートフォンなどのモバイル端末が挙げられる。
 また、上記第1の実施形態では、ユーザ110が音声指示を行った際、当該音声指示に応じたタスクを、自律走行車120が実行する機能について説明した。しかしながら、自律走行車120は、搬送タスクを特定のイベントが発生した場合に実行する機能を有してもよい。例えば、図1では、ユーザ110がくつろぐリビング等の所定空間100を示したが、住宅には他の空間もあり、当該他の空間において特定のイベントが発生した場合に、自律走行車120は、搬送タスクを自動的に実行してもよい。
 例えば、玄関等に組み込まれたビルトインタイプの宅配ボックスを備える住宅において、自律走行車120が利用される場合であって、当該宅配ボックスに荷物が届けられた場合について説明する。この場合、自律走行車120は、荷物を宅配ボックスごと住宅内の所定の場所まで搬送するタスクを実行してもよい。このときの宅配ボックスには、例えば、住宅の宅配ボックスとして宅配ボックスの扉とドッキングすることが可能であって、かつ、自律走行車120とドッキングして搬送されることが可能な構造が採用されうる。
 また、宅配ボックスは、例えば、扉の開閉操作が行われたことを検出する機能を有してもよい。そして、宅配ボックスは、扉の開操作が行われた後に閉操作が行われた(例えば、ロックされた)場合に、荷物が宅配ボックスに置かれたとみなして、所定の通知を、住宅内のローカルネットワークを介して自律走行車120に送信してもよい。
 自律走行車120は、所定の通知を受信すると、宅配ボックスの位置まで移動し、荷物が置かれている宅配ボックスとドッキングして、当該宅配ボックスを所定の場所まで搬送した後、ドッキングを解除してもよい。このとき、所定の通知の受信、ドッキング機構及び搬送の制御は、制御装置310によって行われる。
 なお、宅配ボックスによる所定の通知の送信は、扉の開閉操作を検出して行う方法のほか、宅配ボックスが重量変化を検出して行う方法であってもよい。あるいは、宅配業者が自身の端末で宅配完了通知を行うと、当該通知が所定の通知として、自律走行車120(の制御装置310)に届く方法であってもよい。
 また、上記第1の実施形態では、自律走行車120が、認識したタスクに応じた音声を、スピーカ305~306を介してユーザ110に出力してから、搬送対象となる棚の位置に移動する場合について説明した(ステップS1105、S1106参照)。
 しかしながら、認識したタスクに応じた音声の出力タイミングはこれに限定されず、例えば、自律走行車120が、搬送対象となる棚の位置への移動を開始してから、認識したタスクに応じた音声を、スピーカ305~306を介してユーザ110に出力してもよい。すなわち、自律走行車120は、搬送対象となる棚とドッキングして搬送を完了する前に、タスクに応じた音声を、スピーカから出力してもよい。搬送対象の搬送先への搬送が完了する前とは、搬送対象に向かっての移動開始時、移動中、搬送対象とドッキングする時、搬送対象とドッキングした後の搬送対象の搬送時、搬送中など、搬送が完了する前のいかなるタイミングであってもよい。
 なお、上記各実施形態では、自律走行車120による搬送対象とのドッキング及び当該搬送対象の搬送が、音入力装置であるマイクを介して取得されたユーザの音声に基づいて制御されるものとして説明した。しかしながら、搬送対象とのドッキング及び搬送対象の搬送は、音入力装置であるマイクを介して取得された特定音に基づいて制御されてもよい。特定音としては、例えば、約M秒間隔でN回手をたたく一連の音や、口笛などが挙げられる。この場合、特定音ごとに搬送対象と搬送先の少なくとも一方が、予め設定されていてもよい。つまり、上記各実施形態の自律走行車120は、音入力装置を介して取得された音による搬送指示に基づいて、搬送対象とのドッキング及び当該搬送対象の搬送を制御してよい。
 [その他の実施形態]
 本明細書(請求項を含む)において、「a、bおよびcの少なくとも1つ(一方)」又は「a、b又はcの少なくとも1つ(一方)」の表現(同様な表現を含む)が用いられる場合は、a、b、c、a-b、a-c、b-c、又はa-b-cのいずれかを含む。また、a-a、a-b-b、a-a-b-b-c-c等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、a-b-c-dのようにdを有する等、列挙された要素(a、b及びc)以外の他の要素を加えることも含む。
 また、本明細書(請求項を含む)において、「データを入力として/データに基づいて/に従って/に応じて」等の表現(同様な表現を含む)が用いられる場合は、特に断りがない場合、各種データそのものを入力として用いる場合や、各種データに何らかの処理を行ったもの(例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等)を入力として用いる場合を含む。また「データに基づいて/に従って/に応じて」何らかの結果が得られる旨が記載されている場合、当該データのみに基づいて当該結果が得られる場合を含むとともに、当該データ以外の他のデータ、要因、条件、及び/又は状態等にも影響を受けて当該結果が得られる場合をも含み得る。また、「データを出力する」旨が記載されている場合、特に断りがない場合、各種データそのものを出力として用いる場合や、各種データに何らかの処理を行ったもの(例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等)を出力とする場合も含む。
 また、本明細書(請求項を含む)において、「接続される(connected)」及び「結合される(coupled)」との用語が用いられる場合は、直接的な接続/結合、間接的な接続/結合、電気的(electrically)な接続/結合、通信的(communicatively)な接続/結合、機能的(operatively)な接続/結合、物理的(physically)な接続/結合等のいずれをも含む非限定的な用語として意図される。当該用語は、当該用語が用いられた文脈に応じて適宜解釈されるべきであるが、意図的に或いは当然に排除されるのではない接続/結合形態は、当該用語に含まれるものして非限定的に解釈されるべきである。
 また、本明細書(請求項を含む)において、「AがBするよう構成される(A configured to B)」との表現が用いられる場合は、要素Aの物理的構造が、動作Bを実行可能な構成を有するとともに、要素Aの恒常的(permanent)又は一時的(temporary)な設定(setting/configuration)が、動作Bを実際に実行するように設定(configured/set)されていることを含んでよい。例えば、要素Aが汎用プロセッサである場合、当該プロセッサが動作Bを実行可能なハードウェア構成を有するとともに、恒常的(permanent)又は一時的(temporary)なプログラム(命令)の設定により、動作Bを実際に実行するように設定(configured)されていればよい。また、要素Aが専用プロセッサ又は専用演算回路等である場合、制御用命令及びデータが実際に付属しているか否かとは無関係に、当該プロセッサの回路的構造が動作Bを実際に実行するように構築(implemented)されていればよい。
 また、本明細書(請求項を含む)において、含有又は所有を意味する用語(例えば、「含む(comprising/including)」及び「有する(having)」等)が用いられる場合は、当該用語の目的語により示される対象物以外の物を含有又は所有する場合を含む、open-endedな用語として意図される。これらの含有又は所有を意味する用語の目的語が数量を指定しない又は単数を示唆する表現(a又はanを冠詞とする表現)である場合は、当該表現は特定の数に限定されないものとして解釈されるべきである。
 また、本明細書(請求項を含む)において、ある箇所において「1つ又は複数(one or more)」又は「少なくとも1つ(at least one)」等の表現が用いられ、他の箇所において数量を指定しない又は単数を示唆する表現(a又はanを冠詞とする表現)が用いられているとしても、後者の表現が「1つ」を意味することを意図しない。一般に、数量を指定しない又は単数を示唆する表現(a又はanを冠詞とする表現)は、必ずしも特定の数に限定されないものとして解釈されるべきである。
 また、本明細書において、ある実施例の有する特定の構成について特定の効果(advantage/result)が得られる旨が記載されている場合、別段の理由がない限り、当該構成を有する他の1つ又は複数の実施例についても当該効果が得られると理解されるべきである。但し当該効果の有無は、一般に種々の要因、条件、及び/又は状態等に依存し、当該構成により必ず当該効果が得られるものではないと理解されるべきである。当該効果は、種々の要因、条件、及び/又は状態等が満たされたときに実施例に記載の当該構成により得られるものに過ぎず、当該構成又は類似の構成を規定したクレームに係る発明において、当該効果が必ずしも得られるものではない。
 また、本明細書(請求項を含む)において、複数のハードウェアが所定の処理を行う場合、各ハードウェアが協働して所定の処理を行ってもよいし、一部のハードウェアが所定の処理の全てを行ってもよい。また、一部のハードウェアが所定の処理の一部を行い、別のハードウェアが所定の処理の残りを行ってもよい。本明細書(請求項を含む)において、「1又は複数のハードウェアが第1の処理を行い、前記1又は複数のハードウェアが第2の処理を行う」等の表現が用いられている場合、第1の処理を行うハードウェアと第2の処理を行うハードウェアは同じものであってもよいし、異なるものであってもよい。つまり、第1の処理を行うハードウェア及び第2の処理を行うハードウェアが、前記1又は複数のハードウェアに含まれていればよい。なお、ハードウェアは、電子回路、又は、電子回路を含む装置等を含んでよい。
 また、本明細書(請求項を含む)において、複数の記憶装置(メモリ)がデータの記憶を行う場合、複数の記憶装置(メモリ)のうち個々の記憶装置(メモリ)は、データの一部のみを記憶してもよいし、データの全体を記憶してもよい。
 以上、本開示の実施形態について詳述したが、本開示は上記した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲において種々の追加、変更、置き換え及び部分的削除等が可能である。例えば、前述した全ての実施形態において、説明に用いた数値は、一例として示したものであり、これらに限られるものではない。また、実施形態における各動作の順序は、一例として示したものであり、これらに限られるものではない。
 本出願は、2020年10月19日に出願された日本国特許出願第2020-175627号に基づきその優先権を主張するものであり、同日本国特許出願の全内容を参照することにより本願に援用する。

Claims (27)

  1.  搬送対象とドッキングし、該搬送対象を搬送する自律走行車であって、
     前記搬送対象とドッキングするためのドッキング機構と、
     音入力装置と、
     前記音入力装置を介して取得された搬送指示に基づき特定した搬送対象との前記ドッキング機構によるドッキング及び該搬送指示に基づき特定した搬送先の位置への該ドッキングした搬送対象の搬送を制御する制御装置と
     を有する自律走行車。
  2.  前記制御装置は、搬送対象の位置を示すデータを記憶するメモリを有し、
     前記制御装置は、前記搬送指示に基づき特定した搬送対象について、前記メモリに記憶されている前記データを参照することで位置を特定する、請求項1に記載の自律走行車。
  3.  前記制御装置は、前記特定した位置に基づき、前記自律走行車を移動させて前記搬送対象を探索し、前記搬送対象を探索することができた場合に、前記ドッキング機構によるドッキングを制御する、請求項2に記載の自律走行車。
  4.  前記搬送指示が物品を要求する搬送指示である場合、前記制御装置は、前記搬送指示において要求された物品を有する搬送対象を特定し、特定した搬送対象との前記ドッキング機構によるドッキングを制御する、請求項1に記載の自律走行車。
  5.  前記メモリは、更に、搬送対象と、該搬送対象に載置された物品の名称または該搬送対象に載置された物品の種別の少なくともいずれか一方とを、対応付けて記憶し、
     前記制御装置は、前記搬送指示が、前記物品の名称または前記物品の種別を指定することで物品を要求する搬送指示である場合、前記メモリを参照することで搬送対象の位置を特定する、請求項2に記載の自律走行車。
  6.  前記搬送指示が搬送対象を搬送する搬送指示である場合、前記制御装置は、前記搬送指示された搬送対象との前記ドッキング機構によるドッキングを制御する、請求項1に記載の自律走行車。
  7.  前記制御装置は、前記ドッキング機構によるドッキングを制御した後に、ドッキング位置を示すデータを前記メモリに記憶する、請求項2に記載の自律走行車。
  8.  前記搬送指示に基づいて、搬送先の位置がユーザの近傍の位置であると特定した場合、前記制御装置は、前記ユーザの音声が検出された方向から判定した前記ユーザがいる方向に向けて、当該搬送対象の搬送を制御する、請求項1に記載の自律走行車。
  9.  前記搬送指示に基づいて、搬送先の位置がユーザの近傍の位置であると特定した場合、前記制御装置は、該ユーザの音声が検出された方向から判定した該ユーザがいる方向と、前記自律走行車の現在の位置及び向きとに基づいて該ユーザの位置を推定することで、特定した搬送先の位置への前記搬送対象の搬送を制御する、請求項1に記載の自律走行車。
  10.  前記メモリは、更に、所定空間における設置物の位置を示すデータを記憶し、
     前記制御装置は、前記搬送指示に基づいて、搬送先の位置が設置物の近傍の位置であると特定した場合、前記メモリに記憶されている前記データを参照して搬送先の位置を特定することで、特定した搬送先の位置への前記搬送対象の搬送を制御する、請求項2に記載の自律走行車。
  11.  前記制御装置は、前記搬送指示に基づいて、搬送先の位置が、前記搬送対象が搬送される前の元の位置であると特定した場合、前記メモリに記憶されている前記搬送対象のドッキング位置を示すデータを参照して搬送先の位置を特定することで、特定した搬送先の位置への前記搬送対象の搬送を制御する、請求項7に記載の自律走行車。
  12.  前記メモリは、更に、搬送対象の初期位置として、アンカの位置を示すデータを記憶し、
     前記制御装置は、前記搬送指示に基づいて、搬送先の位置が、前記搬送対象の初期位置であると特定した場合、前記メモリに記憶されている前記搬送対象のアンカの位置を示すデータを参照して搬送先の位置を特定することで、特定した搬送先の位置への前記搬送対象の搬送を制御する、請求項2に記載の自律走行車。
  13.  前記制御装置は、前記搬送指示に基づいて、搬送先の位置が、前記搬送対象の初期位置であると特定した場合、該初期位置において最後にドッキングした際の搬送対象の姿勢と同じになるように、特定した搬送先の位置への前記搬送対象の搬送を制御する、請求項12に記載の自律走行車。
  14.  前記制御装置は、前記搬送指示に基づいて、搬送先の位置が、前記搬送対象の初期位置であると特定した場合、該初期位置において予め定められたデフォルトの姿勢となるように、特定した搬送先の位置への前記搬送対象の搬送を制御する、請求項12に記載の自律走行車。
  15.  前記制御装置は、前記ドッキングした搬送対象の搬送を制御した後に、前記搬送対象との前記ドッキング機構によるドッキングを解除する、請求項2に記載の自律走行車。
  16.  前記制御装置は、前記ドッキング機構によるドッキングを解除した後に、解除位置を示すデータを前記メモリに記憶する、請求項7に記載の自律走行車。
  17.  前記制御装置は、前記搬送指示に応じたタスクが完了する前であって、搬送対象との前記ドッキング機構によるドッキングの前に、該タスクのキャンセルを要求する搬送指示が取得された場合、動作を停止する、請求項1に記載の自律走行車。
  18.  前記制御装置は、前記搬送指示に応じたタスクが完了する前であって、搬送対象との前記ドッキング機構によるドッキングの後に、該タスクのキャンセルを要求する搬送指示が取得された場合、該搬送対象とドッキングした際の位置に該搬送対象を搬送する、請求項1に記載の自律走行車。
  19.  前記搬送対象とドッキングした際の位置に前記搬送対象を搬送する際に、新たな搬送指示が取得された場合、前記制御装置は、
     前記搬送対象の搬送先への搬送を途中で停止するか、搬送を完了してから、前記搬送対象との前記ドッキング機構によるドッキングを解除し、その後、該新たな搬送指示に基づき特定した搬送対象との前記ドッキング機構によるドッキング及び該新たな搬送指示に基づき特定した搬送先の位置への該ドッキングした搬送対象の搬送を制御する、請求項18に記載の自律走行車。
  20.  前記制御装置は、予め設定された条件が満たされた場合に、前記搬送対象との前記ドッキング機構によるドッキング及び前記搬送先の位置への該ドッキングした搬送対象の搬送を制御する、請求項1に記載の自律走行車。
  21.  前記制御装置は、予め設定されたタイミングが到来したことを検知し、当該予め設定されたタイミングで、前記搬送対象との前記ドッキング機構によるドッキング及び前記搬送先の位置への該ドッキングした搬送対象の搬送を制御する、請求項1に記載の自律走行車。
  22.  前記制御装置は、前記搬送指示に基づき特定した搬送対象及び前記搬送指示に基づき特定した搬送先の少なくとも1つを含む音声を、当該搬送対象の当該搬送先への搬送が完了する前に出力する、請求項1に記載の自律走行車。
  23.  前記ドッキング機構は、前記自律走行車が前記搬送対象の最下段の下側に進入して、前記搬送対象とドッキングする、請求項1に記載の自律走行車。
  24.  前記制御装置は、前記音入力装置を介して取得されたウェイクワードを認識し、当該認識されたウェイクワードに続いて前記音入力装置を介して取得された音声を解析し、当該解析に基づいて前記搬送指示を認識する、請求項1に記載の自律走行車。
  25.  前記制御装置は、前記搬送指示をウェイクワードなしに認識する、請求項1に記載の自律走行車。
  26.  前記ウェイクワードは、前記自律走行車のユーザによって別のウェイクワードに変更可能である、請求項24または25に記載の自律走行車。
  27.  前記自律走行車は、ビルトインタイプの宅配ボックスを備える住宅において利用され、
     前記制御装置は、前記宅配ボックスに荷物が届けられた場合に、前記ドッキング機構による当該宅配ボックスとのドッキング及び所定の場所への該ドッキングした宅配ボックスの搬送を制御する、請求項1に記載の自律走行車。
PCT/JP2021/038420 2020-10-19 2021-10-18 自律走行車 WO2022085625A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022557518A JP7367231B2 (ja) 2020-10-19 2021-10-18 自律走行車、制御装置及びプログラム
US18/302,115 US20230259137A1 (en) 2020-10-19 2023-04-18 Autonomous vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-175627 2020-10-19
JP2020175627 2020-10-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/302,115 Continuation US20230259137A1 (en) 2020-10-19 2023-04-18 Autonomous vehicle

Publications (1)

Publication Number Publication Date
WO2022085625A1 true WO2022085625A1 (ja) 2022-04-28

Family

ID=81290866

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/038420 WO2022085625A1 (ja) 2020-10-19 2021-10-18 自律走行車

Country Status (3)

Country Link
US (1) US20230259137A1 (ja)
JP (1) JP7367231B2 (ja)
WO (1) WO2022085625A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099147A (ja) * 1998-09-18 2000-04-07 Shinko Electric Co Ltd 無人搬送車システムの操作盤および無人搬送車発進方法
JP2002087539A (ja) * 2000-09-18 2002-03-27 Murata Mach Ltd 搬送システム
JP2003345435A (ja) * 2002-05-24 2003-12-05 Mitsubishi Heavy Ind Ltd ロボットおよびロボットシステム
JP2007152446A (ja) * 2005-12-01 2007-06-21 Mitsubishi Heavy Ind Ltd ロボットシステム
JP2018043832A (ja) * 2016-09-13 2018-03-22 株式会社日立製作所 搬送システム及び搬送方法
KR20180038871A (ko) * 2016-10-07 2018-04-17 엘지전자 주식회사 공항용 로봇 및 그의 동작 방법
JP2018173830A (ja) * 2017-03-31 2018-11-08 カシオ計算機株式会社 移動装置、移動装置の制御方法及びプログラム
JP2020091571A (ja) * 2018-12-04 2020-06-11 パナソニックIpマネジメント株式会社 移動型ロボット、制御方法、プログラム
JP2020147214A (ja) * 2019-03-14 2020-09-17 本田技研工業株式会社 エージェント装置、システム、エージェント装置の制御方法、およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004243504A (ja) 2003-02-17 2004-09-02 Matsushita Electric Works Ltd ロボット及び該ロボットに情報提供可能な作業対象物並びに対人サービスロボット
JP2008264901A (ja) 2007-04-17 2008-11-06 Ihi Corp 移動ロボット及びその自動連結方法、並びにパラレルリンク機構の駆動制御方法
JP6332018B2 (ja) 2014-12-25 2018-05-30 トヨタ自動車株式会社 搬送ロボット、及びその制御方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099147A (ja) * 1998-09-18 2000-04-07 Shinko Electric Co Ltd 無人搬送車システムの操作盤および無人搬送車発進方法
JP2002087539A (ja) * 2000-09-18 2002-03-27 Murata Mach Ltd 搬送システム
JP2003345435A (ja) * 2002-05-24 2003-12-05 Mitsubishi Heavy Ind Ltd ロボットおよびロボットシステム
JP2007152446A (ja) * 2005-12-01 2007-06-21 Mitsubishi Heavy Ind Ltd ロボットシステム
JP2018043832A (ja) * 2016-09-13 2018-03-22 株式会社日立製作所 搬送システム及び搬送方法
KR20180038871A (ko) * 2016-10-07 2018-04-17 엘지전자 주식회사 공항용 로봇 및 그의 동작 방법
JP2018173830A (ja) * 2017-03-31 2018-11-08 カシオ計算機株式会社 移動装置、移動装置の制御方法及びプログラム
JP2020091571A (ja) * 2018-12-04 2020-06-11 パナソニックIpマネジメント株式会社 移動型ロボット、制御方法、プログラム
JP2020147214A (ja) * 2019-03-14 2020-09-17 本田技研工業株式会社 エージェント装置、システム、エージェント装置の制御方法、およびプログラム

Also Published As

Publication number Publication date
JP7367231B2 (ja) 2023-10-23
US20230259137A1 (en) 2023-08-17
JPWO2022085625A1 (ja) 2022-04-28

Similar Documents

Publication Publication Date Title
US20230302654A1 (en) Moving robot
US8010231B2 (en) Communication robot
JP4516592B2 (ja) 移動型ロボット
KR101910382B1 (ko) 자동 이동 장치 및 그 수동 조작 방법
US11675072B2 (en) Mobile robot and method of controlling the same
US20200182634A1 (en) Providing path directions relating to a shopping cart
US20210046644A1 (en) Automated personalized feedback for interactive learning applications
US11241790B2 (en) Autonomous moving body and control program for autonomous moving body
WO2020192421A1 (zh) 自动运输装置
US11474527B2 (en) Moving apparatus, information processing apparatus, and method
CN114026462A (zh) 电子设备及其控制方法
WO2022085625A1 (ja) 自律走行車
WO2022085626A1 (ja) 自律走行車
CN113544614A (zh) 移动体控制方法、移动体控制***以及程序
US20220202266A1 (en) Autonomous mobile system, autonomous mobile method, and autonomous mobile program
US20210157300A1 (en) Conveyance control system, conveyance control program, and conveyance control method
WO2020262059A1 (ja) 情報処理装置、情報処理方法、並びにプログラム
WO2019116913A1 (ja) 移動装置、情報処理装置、および方法、並びにプログラム
JP2023184159A (ja) 自律走行車
KR102260046B1 (ko) Rfid 안테나 승하강 메커니즘을 포함하는 자율 주행 로봇
CN114434453B (zh) 一种机器人乘梯方法、***、机器人和存储介质
KR101976815B1 (ko) 스마트 카트
JP7492790B1 (ja) 情報処理システム
EP4060448A1 (en) Methods of controlling a mobile robot device to follow or guide a person
JP7332737B1 (ja) 無人航空機、情報処理方法、プログラム及び情報処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21882766

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022557518

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21882766

Country of ref document: EP

Kind code of ref document: A1