WO2023187890A1 - 移動体の制御装置、移動体の制御方法、移動体、情報処理方法及びプログラム - Google Patents
移動体の制御装置、移動体の制御方法、移動体、情報処理方法及びプログラム Download PDFInfo
- Publication number
- WO2023187890A1 WO2023187890A1 PCT/JP2022/014966 JP2022014966W WO2023187890A1 WO 2023187890 A1 WO2023187890 A1 WO 2023187890A1 JP 2022014966 W JP2022014966 W JP 2022014966W WO 2023187890 A1 WO2023187890 A1 WO 2023187890A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- stop position
- information
- vehicle
- control device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 65
- 230000010365 information processing Effects 0.000 title claims description 24
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000004891 communication Methods 0.000 claims abstract description 57
- 230000004044 response Effects 0.000 claims abstract description 18
- 238000009826 distribution Methods 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 description 54
- 238000013459 approach Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 230000000007 visual effect Effects 0.000 description 13
- 230000001133 acceleration Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 11
- 230000007704 transition Effects 0.000 description 9
- 230000003993 interaction Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/10—Interpretation of driver requests or demands
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
Definitions
- the present invention relates to a mobile body control device, a mobile body control method, a mobile body, an information processing method, and a program.
- ultra-compact mobility also called micromobility
- Patent Document 1 discloses a technique for reducing the distance the user has to walk to the boarding position to avoid inconvenience when the user comes out of the house and gets into the self-driving car.
- Patent Document 2 discloses that when a vehicle running automatically recognizes that an occupant of the own vehicle is present in a boarding/alighting area, it stops at a position within the area where the distance between the own vehicle and the occupant is within several meters. Discloses a technique for determining a position and traveling to the stop position.
- a use case can be considered in which the ultra-compact mobility and the user dynamically adjust the stopping position of the mobility while moving respectively.
- This kind of use case is effective when merging at a planned location becomes difficult due to congestion or regulations, or when finely adjusting the stopping location.
- the above-mentioned conventional technology does not take into consideration a use case in which the vehicle and the user dynamically adjust the stopping position of the vehicle while moving respectively.
- the present invention has been made in view of the above-mentioned problems, and its purpose is to realize a technology that allows a user and a moving object (such as a vehicle) to flexibly adjust the stopping position of the moving object. .
- a control device for a movable body that adjusts a stop position of the movable body based on a user's instruction, instruction acquisition means for acquiring user instruction information; image acquisition means for acquiring a photographed image photographed by the moving body; determining means for determining a stop position of the moving body; control means for controlling running of the movable body so that the movable body travels toward the determined stop position,
- the determining means (i) determines a first stop position using position information of a communication device used by a user or position information corresponding to a destination included in first instruction information of the user; (ii) identified in the second instruction information of the user and the photographed image in response to the position of the mobile body becoming within a predetermined distance from the first stop position due to the movement of the mobile body;
- a control device for a moving body is provided that determines a second stop position based on a predetermined target area.
- FIG. 1 A diagram showing an example of an information processing system according to an embodiment of the present invention Block diagram (1) showing an example of the hardware configuration of the vehicle according to the present embodiment Block diagram (2) showing an example of the hardware configuration of the vehicle according to the present embodiment A block diagram showing an example of the functional configuration of a vehicle according to this embodiment A block diagram showing an example of a functional configuration realized by the control unit according to the present embodiment Diagram (1) for explaining determination of a vehicle stopping position using speech and images according to the present embodiment Diagram (2) for explaining the determination of the vehicle stopping position using speech and images according to the present embodiment Diagram (3) for explaining the determination of the vehicle stopping position using speech and images according to the present embodiment Diagram (4) for explaining the determination of the vehicle stopping position using speech and images according to the present embodiment Diagram (5) for explaining the determination of the vehicle stopping position using speech and images according to the present embodiment Diagram (6) for explaining the determination of the vehicle stopping position using speech and images according to the present embodiment Diagram (7) for explaining the determination of the vehicle stopping position using speech and images according to the present embodiment Diagram (8) for explaining the determination of the vehicle stopping position using speech
- Information processing system 10 includes a vehicle 100 and a communication device 120.
- the vehicle 100 is an example of a moving object, and is, for example, an ultra-compact mobility device that is equipped with a battery and moves mainly using the power of a motor.
- Ultra-compact mobility is an ultra-compact vehicle that is more compact than a typical automobile and has a passenger capacity of about one or two people. The micromobility may be able to travel on roadways or sidewalks.
- the vehicle 100 is, for example, a four-wheeled vehicle. Note that this embodiment is applicable not only to vehicles but also to other moving objects.
- the mobile object is not limited to a vehicle, but may also include a small mobile device that runs parallel to a walking user, carrying luggage or leading a person, and other mobile objects capable of autonomous movement (e.g., a walking user). type robots, etc.).
- the vehicle 100 connects to the network 140 via, for example, fifth generation mobile communication, road-to-vehicle communication, or wireless communication such as Wi-Fi.
- the vehicle 100 uses various sensors to measure conditions inside and outside the vehicle (such as the position of the vehicle, driving conditions, and targets of surrounding objects), and accumulates the measured data.
- the data collected and transmitted in this way is generally also called floating data, probe data, traffic information, etc.
- Vehicle 100 may transmit the accumulated data to a server (not shown). When information about the vehicle is sent to the server, it is sent at regular intervals or in response to the occurrence of certain events.
- the vehicle 100 can run automatically even when the user 130 is not on board.
- the vehicle 100 can start traveling from the initial stop position toward the position where the user 130 is to ride, depending on the speech information from the communication device 120 and the like. As will be described later, the vehicle 100 obtains the user's utterance information transmitted from the communication device 120 via the network 111, transmits the utterance information to the communication device 120, and makes a stop communication with the user. Adjust the position. The vehicle 100 is stopped at the adjusted stop position, and the user is allowed to board the vehicle.
- the communication device 120 is, for example, a smartphone, but is not limited to this, and may be an earphone type communication terminal, a personal computer, a tablet terminal, a game machine, or the like.
- the communication device 120 connects to the network 140 via, for example, fifth generation mobile communication or wireless communication such as Wi-Fi.
- the network 111 includes, for example, a communication network such as the Internet or a mobile phone network, and transmits information between the vehicle 100, the communication device 120, a server (not shown), and the like.
- a communication network such as the Internet or a mobile phone network
- this information processing system 10 when a user 130 and a vehicle 100 who are located far apart approach a target (which serves as a visual landmark) to the extent that they can be visually confirmed, the utterance information and the vehicle 100 are photographed.
- the stopping position is adjusted using the image information obtained.
- the vehicle 100 Before the user 130 and the vehicle 100 get close enough to visually confirm a target, etc., the vehicle 100 first determines the user's current location on the map or the location of the destination on the map obtained from the user's utterance information. Move as the stop position. Then, when the vehicle 100 approaches the stop position, utterance information that identifies the user and asks about the location related to the visual landmark (for example, "Is there a store nearby?") is transmitted to the communication device 120. . This allows the vehicle 100 to move toward the user's location if it is possible to discover (identify) the user from image information, or to move toward a landmark obtained from speech information even in a situation where it is difficult to identify the user. can do.
- utterance information that identifies the user and asks about the location related to the visual landmark
- the location related to the visual landmark includes, for example, the name of the target that can be identified from the image.
- Vehicle 100 receives spoken information from communication device 120 that includes a location associated with a visual landmark (eg, "Stop in front of the vending machine"). Then, the vehicle 100 identifies the landmark target from the image information and moves to the front of the location of the landmark.
- a visual landmark eg, "Stop in front of the vending machine”
- FIG. 2A shows a side view of the vehicle 100 according to this embodiment
- FIG. 2B shows the internal configuration of the vehicle 100.
- an arrow X indicates the front and back direction of the vehicle 100
- F indicates the front and R indicates the rear
- Arrows Y and Z indicate the width direction (horizontal direction) and the vertical direction of the vehicle 100.
- the vehicle 100 is an electric autonomous vehicle that includes a traveling unit 12 and uses a battery 13 as a main power source.
- the battery 13 is, for example, a secondary battery such as a lithium ion battery, and the vehicle 100 is driven by the traveling unit 12 using electric power supplied from the battery 13 .
- the traveling unit 12 is, for example, a four-wheeled vehicle including a pair of left and right front wheels 20 and a pair of left and right rear wheels 21.
- the traveling unit 12 may have other forms, such as a tricycle form.
- the vehicle 100 includes a seat 14 for one or two people.
- the traveling unit 12 includes a steering mechanism 22.
- the steering mechanism 22 is a mechanism that changes the steering angle of the pair of front wheels 20 using a motor 22a as a drive source. By changing the steering angle of the pair of front wheels 20, the traveling direction of the vehicle 100 can be changed.
- the travel unit 12 also includes a drive mechanism 23 .
- the drive mechanism 23 is a mechanism that rotates the pair of rear wheels 21 using a motor 23a as a drive source. By rotating the pair of rear wheels 21, the vehicle 100 can be moved forward or backward.
- the traveling unit 12 can detect and output physical quantities representing the motion of the vehicle 100, such as the traveling speed, acceleration, steering angle, and rotational acceleration of the body of the vehicle 100.
- the vehicle 100 includes detection units 15 to 17 that detect targets around the vehicle 100.
- the detection units 15 to 17 are a group of external sensors that monitor the surroundings of the vehicle 100, and in the case of the present embodiment, they are all imaging devices that capture images of the surroundings of the vehicle 100, and for example, they are equipped with an optical system such as a lens. and an image sensor.
- Vehicle 100 can also employ radar or lidar (Light Detection and Ranging) in addition to the imaging device.
- Vehicle 100 can acquire the position of a specific person or a specific target (hereinafter referred to as relative position) as viewed from the coordinate system of vehicle 100 based on the image information obtained by the detection unit.
- the relative position can be indicated, for example, as 1 m to the left, 10 m in front, and so on.
- Two detection units 15 are arranged at the front of the vehicle 100, spaced apart in the Y direction, and mainly detect targets in front of the vehicle 100.
- the detection units 16 are arranged on the left side and the right side of the vehicle 100, respectively, and mainly detect targets on the sides of the vehicle 100.
- the detection unit 17 is arranged at the rear of the vehicle 100 and mainly detects targets behind the vehicle 100.
- FIG. 3 is a block diagram of the control system of vehicle 100.
- Vehicle 100 includes a control unit (ECU) 30.
- the control unit 30 functions as a control device for a vehicle (mobile body).
- the control unit 30 includes a processor represented by a CPU, a storage device such as a semiconductor memory, an interface with an external device, and the like.
- the storage device stores programs executed by the processor, data used by the processor for processing, and the like.
- a plurality of processors, storage devices, and interfaces may be provided for each function of vehicle 100 and configured to be able to communicate with each other.
- the control unit 30 acquires the detection results of the detection units 15 to 17, input information from the operation panel 31, voice information input from the voice input device 33, speech information from the communication device 120, etc., and executes the corresponding processing. do.
- the control unit 30 controls the motors 22a and 23a (travel control of the travel unit 12), controls the display of the operation panel 31, notifies the occupants of the vehicle 100 by voice, and outputs information.
- the control unit 30 may further include, as a processor, dedicated hardware suitable for executing machine learning model processing such as a GPU or a neural network.
- the control unit 30 executes a stop position determination process according to the present embodiment, which will be described later.
- the audio input device 33 collects the voices of the occupants of the vehicle 100.
- the control unit 30 is capable of recognizing input speech and executing corresponding processing.
- a GNSS (Global Navigation Satellite system) sensor 34 receives a GNSS signal and detects the current position of the vehicle 100.
- the storage device 35 is a large-capacity storage device that stores map data, etc., including information on roads on which the vehicle 100 can travel, landmarks such as buildings, stores, etc.
- the storage device 35 may also store programs executed by the processor, data used by the processor for processing, and the like.
- the storage device 35 may store various parameters of machine learning models for voice recognition and image recognition executed by the control unit 30 (for example, learned parameters and hyperparameters of a deep neural network). Further, the storage device 35 may be provided on a server (not shown).
- the communication device 36 is a communication device that can be connected to the network 140 via, for example, fifth generation mobile communication or wireless communication such as Wi-Fi.
- the software configuration according to this embodiment includes an interaction section 401, a vehicle control section 402, and a database 403.
- the interaction unit 401 performs processing on audio information (utterance information) exchanged with the communication device 120, processing on image information acquired by the detection unit 15, etc., processing for estimating a stop position, and the like.
- the vehicle control unit 402 determines the route to the stop position set by the interaction unit 401 and controls each part of the vehicle along the route. Although the details will be described later, when the vehicle 100 approaches the stop position while traveling using the relative position, the vehicle control unit 402 controls the traveling speed according to the remaining distance. For example, if the remaining distance to the stop position is greater than a predetermined value, the vehicle control unit 402 controls the vehicle to approach the stop position at a predetermined (relatively fast) first speed. In addition, when the remaining distance becomes equal to or less than a predetermined value, the vehicle control unit 402 returns to the stop position at a second speed (first speed>second speed) that allows quick stop control through safe acceleration and deceleration. Control it to get closer.
- a second speed first speed>second speed
- the database 403 stores various data such as the above-described map data including information on roads on which the vehicle 100 can travel, landmarks such as buildings, stores, etc., and travel history information of the own vehicle and other vehicles.
- the user data acquisition unit 413 acquires speech information and position information transmitted from the communication device 120.
- the user data acquisition unit 413 may store the acquired utterance information and position information in the database 403.
- the utterance information acquired by the user data acquisition unit 413 is input to a trained machine learning model in order to estimate the user's intention.
- a user's instruction is acquired based on utterance information.
- the information including the user's instructions is not limited to voice information, and may be other information including the user's intention, such as text information.
- the audio information processing unit 414 includes a machine learning model that processes audio information, and executes processing at the inference stage of the machine learning model.
- the machine learning model of the voice information processing unit 414 for example, performs calculations of a deep learning algorithm using a deep neural network (DNN) to recognize the content of the user's utterance and estimate the user's utterance intention.
- DNN deep neural network
- Separate machine learning algorithms may be used for recognizing the user's utterances and estimating the user's intentions.
- Estimating the user's intention may be a classification process that classifies the utterance information into predetermined intention classes.
- the utterance intention class may be defined for each usage scene in which the user 130 uses the vehicle 100 (for example, before getting on the vehicle, during the ride, and after getting off the vehicle). By defining an intention class for each usage scene, the number of classifications in intention recognition is limited, and recognition accuracy can be improved.
- the usage scene "before boarding" may be associated with intention classes such as inquiry, pick-up request, greeting, location instruction, landmark expression, agreement, denial, and asking questions, for example.
- the usage scene of "while riding” may be associated with an intention class that is at least partially different from before riding, such as route instructions, stop instructions, acceleration instructions, deceleration instructions, consent, denial, and asking questions. .
- the usage scene “after getting off the vehicle” may be associated with an intention class that is at least partially different from those before and during the ride.
- intent class estimation an utterance such as “Can I ride now?" before boarding is classified as an "inquiry” intent.
- an utterance such as "Can you come right away?" is classified as an intention of "request to pick up.”
- utterance information such as "in front of the vending machine” is classified as an intention of "landmark expression.”
- the place name etc. included in the utterance information may be identified.
- the name of a place, the name of a landmark such as a building, the name of a store, the name of a target, etc. included in the utterance information is recognized.
- Targets may include passersby included in the utterance information, billboards, signs, equipment installed outdoors such as vending machines, building components such as windows and entrances, roads, vehicles, motorcycles, and the like.
- the DNN becomes a learned state by performing the learning stage process, and by inputting the utterance information to the learned DNN, the recognition process (inference stage process) can be performed on the utterance information.
- the recognition process inference stage process
- the vehicle 100 executes the voice recognition process
- the voice recognition process may be executed by a server (not shown) and the recognition result is received from the server.
- the image information processing unit 415 includes a machine learning model that processes image information, and the trained machine learning model executes processing at the inference stage.
- the machine learning model of the image information processing unit 415 performs a process of recognizing a target included in image information by, for example, calculating a deep learning algorithm using a deep neural network (DNN).
- Targets may include passersby included in the image, billboards, signs, equipment installed outdoors such as vending machines, building components such as windows and entrances, roads, vehicles, motorcycles, and the like.
- the machine learning model of the image information processing unit 415 can recognize a person's face, a person's actions (for example, hand gestures), the shape of clothes, the color of clothes, etc. included in the image information.
- the stop position determination unit 416 cooperates with the above-mentioned audio information processing unit 414 and image information processing unit 415 to execute the operation of the stop position determination process described below.
- the stop position determination process will be described later.
- the stop position determination process when a pick-up request is made by the user, first, the user 130 and the vehicle 100, who were at a distant location, approach the user and the vehicle 100 to the extent that they can visually confirm the user and the landmark. After that, the vehicle 100 adjusts the stopping position with the user 130 based on the audio information (utterance information) and the image information, and stops at the position desired by the user 130.
- the reason why the stop position can be adjusted in this way is to take into account the possibility that the user may modify the once determined stop position depending on the surrounding situation.
- the stopping position adjustable it is possible to easily respond to situations where the accuracy of voice recognition and image recognition may fluctuate depending on the surrounding environment such as noise or light conditions. become.
- a new stopping position can be adjusted while the vehicle 100 is moving to the currently set stopping position or while the vehicle 100 is stopped, and merging at the new stopping position can be performed. It can be done smoothly.
- FIG. 5A schematically shows a state in which the user 130 uses speech to summon the vehicle 100 that is stopped at a waiting area in an area where the vehicle 100 can travel.
- the user 130 uses the communication device 120 to transmit speech information 510 to the vehicle 100 such as "Can you come right away?".
- Vehicle 100 acquires the utterance information of user 130 and, when determining that the utterance intention of the utterance information is "request to pick up", transmits utterance information 511 "Yes, I'll go right away" to communication device 120.
- the user 130 wants to get into the vehicle 100 while moving toward the vending machine 500 located ahead in the direction of travel.
- the user 130 transmits utterance information 512 such as "I'm in a hurry, please come after me” from the communication device 120 to the vehicle 100.
- the vehicle 100 receives the utterance information 512 and recognizes the intention and content of the utterance, it transmits the utterance information 513 "I understand" to the communication device 120.
- the vehicle 100 acquires the location information (for example, GPS information) of the communication device 120 of the user 130 and uses it as the location of the user 130. Set the stop position based on the map information. Then, the vehicle 100 calculates a route to travel to the stop position (currently the user's 130 position) from the map information, and moves along the route.
- FIG. 5B schematically shows an example of the system status after the vehicle 100 acquires the utterance information 510 "Can you come soon?" and performs voice information processing and the like.
- the system status is indicated by, for example, visual information understanding 520 indicating the processing result of visual information, linguistic information understanding 521 indicating the processing result of speech information, and likelihood 522 of the estimated stop position.
- an indication 524 of the recognized target is displayed within the captured image information 523.
- information about objects that are irrelevant to the description is omitted. Therefore, in the example shown in FIG. 5B, although nothing is written in the image information 523, there is actually a subject in the photographed background. In the example shown in FIG. 5B, "None" indicating that the target object is not recognized is superimposed.
- an estimation result 525 of the utterance intention of the user 130 is shown.
- the horizontal bar graph indicates the probability that the estimated user's intention falls into a category (pick-up request, location instruction, etc.). This example shows that the utterance intention of the utterance information "Can you come soon?" by the user 130 is highly likely to be a pick-up request.
- the likelihood 522 of the stop position is represented by a map 526 that is a mesh of the regions shown in FIG. be.
- the black area indicates the area with the highest probability as a stop position. Further, the hatched area indicates the area with the next highest probability.
- FIG. 5C shows a situation in which the vehicle 100 has approached the user 130 to the extent that the user 130 can be confirmed by image information.
- the vehicle 100 switches its operating state from the "running state based on absolute position” using latitude and longitude to the "stopping control state based on relative position” for controlling the stopping position using relative position.
- the position of a moving object or target from a position based on specific geographic coordinates such as latitude and longitude is referred to as an absolute position.
- vehicle 100 interacts to confirm whether the person in the image is user 130. For example, the vehicle 100 transmits utterance information 530 such as "I'm close.
- the user 130 transmits utterance information 531 saying “Hey, I'm here” to the vehicle 100 from the communication device 120 while waving his hand.
- the vehicle 100 recognizes the user 130 waving in the image and transmits speech information 532 such as "Are you the one wearing red?” to the communication device 120.
- the user 130 transmits utterance information 533 indicating consent such as "Yes, that's right” from the communication device 120 to the vehicle 100.
- FIG. 5D schematically shows an example of the system status in a state where the interaction shown in FIG. 5C has progressed between the vehicle 100 and the user 130.
- the image information 523 shows a recognition result 541 in which a person waving his hand was recognized, and a recognition result 540 in which a vending machine as a target was recognized.
- the utterance information 533 of "Yes, that's right" from the user 130 is received, and the utterance intention estimation result 525 indicating that there is a high probability that the utterance intention is "agree” is shown. There is.
- the vehicle 100 calculates the likelihood 522 of the stop position based on the relative position of the user 130 obtained from the recognition result 541 based on image information and the absolute position of the vehicle 100.
- the position of the color-coded area 542 has moved to the right on the map 526.
- FIG. 5E shows an example of the interaction after the vehicle 100 obtains the relative position of the user 130.
- Vehicle 100 transmits utterance information 550 such as "It will stop right in front of you" to communication device 120.
- the user 130 since the user 130 wishes to board the vehicle at another location, the user 130 transmits the utterance information 551 saying "No, stop over there" to the vehicle 100.
- the user 130 is pointing at the vending machine 500.
- the vehicle 100 Based on the utterance information 551 (including "over there") of the user 130 and the pointing motion, the vehicle 100 recognizes the landmark (vending machine) from the image information.
- the vehicle 100 transmits the utterance information 552 saying "Isn't it at the vending machine?" to confirm the landmark, and then receives the utterance information 553 from the user 130 saying "Yes, that's right.”
- the vehicle 100 sets the position of the vending machine 500 as a stop position, and controls the vehicle 100 so as to stop at the position. In this way, the vehicle 100 can search for a stopping position by interacting with the user 130 while approaching the initially set stopping position, and even when a new stopping position is specified, the vehicle 100 can flexibly A new stopping position can be reset.
- FIG. 5F schematically shows an example of the system status in a state where the vehicle 100 has processed the utterance information 551 of "No, stop over there" by the user 130.
- the image information 523 shows a recognition result 561 in which a person pointing a finger is recognized, and a recognition result 560 in which a vending machine as a target is recognized.
- the utterance information 551 of "No, stop over there" from the user 130 is received, and the utterance intention estimation result 525 indicates that there is a high probability that the utterance intention is "instruction of a place". It shows.
- the vehicle 100 calculates the likelihood 522 of the stop position based on the relative position of the vending machine 500 obtained from the recognition results 560 and 561 based on image information and the absolute position of the vehicle 100.
- the position of the vending machine 500 is likely to be the stop position, so the position of the color-coded area 562 has moved to the right on the map 526 (to the position corresponding to the vending machine 500). .
- FIG. 5G shows an example of the interaction between the vehicle 100 and the user 130 when the vehicle 100 approaches the location of the vending machine 500.
- the vehicle 100 travels while continuously measuring the relative position of the vending machine appearing in the image information, and when it approaches the relative position, it transmits utterance information 570 saying "I'm sorry for the inconvenience” to the communication device 120. Furthermore, the vehicle 100 stops at the currently set stop position. When the utterance information 571 of "Thank you" from the user 130 is received, the vehicle 100 can determine that the vehicle allocation has been completed (that is, the relative position will not be respecified).
- FIG. 5H schematically shows an example of the system status in a state where the vehicle 100 has processed the utterance information 571 of "Thank you” by the user 130.
- the image information 523 shows a recognition result 581 for recognizing a person and a recognition result 580 for recognizing a vending machine as a target.
- the linguistic information understanding 521 receives the utterance information 571 of "Thank you” from the user 130, and shows an estimation result 525 of the utterance intention indicating that there is a high probability that the utterance intention is "Thank you”.
- the vehicle 100 calculates the likelihood 522 of the stop position based on the relative position of the vending machine 500 obtained from the recognition result 580 based on image information and the absolute position of the vehicle 100.
- the position of the region 582 showing a high probability indicates the position corresponding to the vending machine 500 on the map 526.
- vehicle 100 enters a "stop" state. In this state, when an outgoing command such as a pick-up request is received, the vehicle 100 enters an automatic driving state.
- the automatic running state roughly includes a "running state based on absolute position,” "a stop control state based on relative position,” and a "stop control state.”
- the vehicle 100 when the vehicle 100 receives a pick-up request from the user, it first sets the first stop position as an absolute position. For example, if the speech information of the pick-up request includes a landmark, the vehicle 100 sets the position of the landmark as an absolute position, and if the speech information does not include the landmark, the vehicle 100 sets the location of the user (the communication device 120 (GPS position information) as an absolute position. Therefore, the vehicle 100 transitions to the "absolute position-based driving state" of the "automatic driving state” and starts driving. Vehicle 100 may confirm the stopping position with user 130 while driving.
- the vehicle 100 transitions to the stop control state upon arriving at the stop position. For example, when a predetermined period of time has elapsed in the stop control state, the vehicle 100 determines that dispatch has been completed and changes the state to "stop".
- the vehicle 100 enters the "stop position searching" state of the "stop control state based on relative position". Transition to. While searching for a stop position, the vehicle 100 identifies a user or a landmark, and sets a stop position at the relative position of the identified landmark. For example, the vehicle 100 transmits speech information to the user 130 to confirm the stopping position. As in the above example, when the vehicle 100 acquires the utterance information 551 saying "No, stop over there", the vehicle 100 identifies the referent (vending machine 500) and sets the relative position of the referent to the stop position. Then, the state transitions to the "approach/stop control" state.
- the vehicle 100 moves toward the set stop position. At this time, if the vehicle 100 is unable to detect a landmark that is a stop position from the image information, such as when an obstacle appears in front of the vehicle, the state of the vehicle 100 is changed to "searching for a stop position.” Further, as described above, when the vehicle 100 approaches the stop position while traveling using the relative position, the traveling speed may be controlled according to the remaining distance.
- the vehicle 100 stops and enters a standby state. In the stop standby state, if speech information for respecifying the relative position is acquired from the user 130, the vehicle 100 resets the stop position and returns the state to the "approach/stop control" state.
- the utterance information of the user 130 indicates that the stop position is acceptable, such as "thank you,” the vehicle 100 transitions to the stop control state.
- the vehicle 100 sets travel control parameters corresponding to each state of "searching for stop position”, “approach/stop control”, and “waiting to stop”, and adjusts the vehicle speed according to the vehicle speed control parameters. Traveling may be controlled. For example, for each state of “searching for stop position”, “approach/stop control”, and “waiting to stop”, predetermined target (limit) vehicle speed, target acceleration/deceleration, and minimum state holding time are maintained as a table, and the state The vehicle speed, etc. may be controlled in accordance with the transition. For example, in "Searching for stop position", there is a high possibility that the driving route where the (new) stop position is determined will be changed, so it is more likely to be changed than in "Approach/stop control" where the stop position has already been determined.
- the target vehicle speed may be low. That is, the target vehicle speeds for "searching for stop position", “approach/stop control”, and “waiting to stop” may each be set to be (A, B, 0) (here, A ⁇ B). By doing so, it is possible to realize driving in accordance with the acceleration/deceleration and target vehicle speed set for each state as the state changes.
- the driving control of vehicle 100 is not limited to this example. As will be described later, the vehicle speed may be controlled depending on the degree of certainty regarding the stop position.
- the control unit 30 receives the utterance information of the pick-up request and the user's location information from the communication device 120.
- the utterance information of the pick-up request includes, for example, utterances such as "Can you come right away?" described above with reference to FIG. 5A.
- the utterance information of the pick-up request may include the destination, such as "Can you come right away in front of AAA?"
- the user's location information is, for example, location information detected by the communication device 120.
- the control unit 30 identifies the destination from the user utterance information of the pick-up request.
- control unit 30 can identify "AAA” as the destination from utterance information such as "Can you come right now in front of AAA?" If the utterance information does not include the destination, such as "Can you come soon?", the control unit 30 may determine that the destination cannot be identified. Further, the control unit 30 may transmit speech information such as asking about the destination to the communication device 120, and may additionally acquire speech information including the destination.
- control unit 30 determines whether the destination has been identified. For example, if the speech information of the pick-up request includes a word indicating the destination, the control unit 30 determines that the destination has been identified and advances the process to S705; otherwise, the process advances to S704. .
- control unit 30 sets the user's position as the stop position (if the destination cannot be identified from the utterance information).
- the user's position information is an absolute position.
- the control unit 30 specifies the position of the identified destination from the map information and sets it as the stop position. For example, the control unit 30 searches the map information for the name of AAA, which is the destination, and sets the position information (for example, latitude and longitude information) obtained by the search as the stop position. In this case as well, the position information is an absolute position.
- control unit 30 moves the vehicle 100 to the set stop position. For example, the control unit 30 determines a travel route to a stop position based on map information, and travels according to the travel route.
- the control unit 30 determines whether the stop position has been approached. For example, the control unit 30 acquires current position information of the vehicle 100 and determines whether the position information is within a predetermined distance from the latitude and longitude determined as the stop position. If the current position of the vehicle is within a predetermined distance from the stop position, the control unit 30 determines that the vehicle has approached the stop position and advances the process to S708; otherwise, returns the process to S707. (In other words, the determination is repeated while traveling the route).
- control unit 30 executes a stop position adjustment process using the relative position. Details of the stop position adjustment process will be described later with reference to FIG. After the control unit 30 completes the stop position adjustment process using the relative position, the control unit 30 then ends the series of operations.
- This process is a process that specifies the relative position of a target object such as a user or landmark identified by image information acquired by the detection unit 15, etc., and controls travel to a stop position using the relative position based on the image information. .
- this process generally corresponds to the process in the "stop control state based on relative position" described above with reference to FIG.
- control unit 30 performs object recognition processing on the image acquired by the detection unit 15, etc., and identifies an object region in the image (corresponding to a visual landmark).
- control unit 30 determines whether there are a predetermined number or more of objects around. For example, the control unit 30 determines whether the number of object regions identified in S801 is greater than or equal to a predetermined number, and if the number of object regions is greater than or equal to the predetermined number, the process proceeds to S804; The process advances to S803.
- control unit 30 identifies the user from the image information. At this time, the control unit 30 may further identify user actions such as hand gestures and pointing actions of the user. Further, it is also possible to transmit to the communication device 120 utterance information for limiting the target person when identifying the user, such as "Would you please wave my hand?" or "Isn't it the one in red?” good.
- the control unit 30 transmits speech information to the communication device 120 asking for a landmark of the stop position.
- the utterance information can be used to combine the utterance information and the image information, such as by sending utterance information asking for a landmark of the stopping position. Identify the landmarks used.
- the control unit 30 may also send additional spoken information to narrow down the visual landmarks, such as, for example, "Is it a red vending machine?" If it is not possible to narrow down the visual landmarks to one in the relationship between the utterance information of the user 130 and the image information of the vehicle 100, by making it possible to obtain additional utterance information from the user, it is possible to The ambiguity of landmarks can be reduced. Thereby, the landmark can be identified with higher accuracy.
- the control unit 30 acquires the user's utterance information and identifies the landmark from the utterance information. At this time, the control unit 30 may further identify user actions such as hand gestures and pointing actions of the user. For example, when the utterance information of the user 130 is “stop over there", the instruction word "over there” is identified. Further, when the utterance information of the user 130 is "stop in front of the vending machine", the control unit 30 identifies the "vending machine" as a landmark.
- the control unit 30 identifies the landmark corresponding to the speech information identified in S805 from the image information, and specifies its relative position. For example, when “over there" is identified from the user's utterance information, the control unit 30 recognizes the user's pointing finger in the image and identifies an object in that direction as a landmark. Furthermore, when "vending machine” is identified from the utterance information, the control unit 30 identifies the region of the vending machine in the image information. The control unit 30 then specifies the relative position of the identified object. As described above, the relative distance is the position seen from the vehicle 100, and is expressed as, for example, 1 m to the left, 10 m to the front, etc.
- a probability distribution indicating the probability of corresponding to a visual landmark may be calculated for one or more object regions in an image. For example, if the landmark included in the utterance information is "vending machine" and there are two or more regions of "vending machine” in the image, the control unit 30 controls the limited linguistic elements ( For example, the probability distribution of the object region may be calculated based on the color (for example, “blue”). In this case, for example, if a blue vending machine and a red vending machine exist in the image, the probability of the blue vending machine is "0.90" and the probability of the red vending machine is "0.10". A distribution may also be calculated.
- the control unit 30 may further vary the probability distribution depending on the relative positional relationship between the target object serving as a visual landmark and the user 130. If the red vending machine is closer to the current position of the user 130 or the vehicle 100, the control unit 30 corrects the probability distribution so that the probability of the red vending machine becomes "0.6" and The probability of the vending machine may be set to "0.4". It is possible to provide a probability distribution in which the probability increases in the order of possible candidates when viewed from the direction in which the user approaches.
- the control unit 30 calculates a probability distribution that takes into account the relative positional relationship as seen from the vehicle 100. Good too. For example, the probability of the vending machine area on the left side of the building may be calculated as "0.9", and the probability of the vending machine area on the right side of the building may be calculated as "0.1".
- control unit 30 When the probability distribution for the landmark is calculated, the control unit 30 identifies the object with the highest probability as the landmark and specifies its relative position.
- the control unit 30 transmits speech information for confirming the stop position to the communication device 120.
- the control unit 30 transmits speech information such as "It will stop right in front of you" to the communication device 120.
- the control unit 30 receives utterance information regarding confirmation from the user 130 in response to utterance information for confirming the stop position.
- the control unit 30 receives speech information such as "No, please go over there.”
- the control unit 30 determines whether the received speech information includes a designation of a stop position. That is, the control unit 30 determines whether there is a designation to change the stop position in response to the check of the stop position in S807. For example, if the control unit 30 determines that the utterance information of the user 130 includes a designation of a location such as "over there" or "in front of the vending machine", the control unit 30 advances the process to S805; otherwise, the process advances to S809. proceed. When proceeding to S809, for example, utterance information such as "OK" may be received from the user 130.
- control unit 30 specifies the relative position of the user or landmark target identified by the image information.
- the relative distance is the position seen from the vehicle 100, and is expressed as, for example, 1 m to the left, 10 m to the front, etc.
- the control unit 30 sets the specified relative position as the stop position, and controls traveling to the stop position. At this time, when a mark of the stop position is identified in the image information, the stop position is updated with the position of the mark. As described above, the control unit 30 may control the traveling speed according to the remaining distance to the stop position. Further, the traveling speed may be adjusted depending on the certainty of the stop position. For example, if there are multiple visual landmarks obtained from the user's utterance information on the image (for example, two vending machines), the control unit 30 may Accordingly, each vending machine can be assigned a probability distribution. In this case, the control unit 30 may use the value of the probability distribution as the certainty factor.
- control unit 30 reduces the traveling speed when the confidence level is low than when the confidence level is high. By doing so, when there is a high possibility that the stopping position will be changed, the speed of the vehicle can be suppressed and the vehicle can be driven, and preparation can be made for the changing of the stopping position. On the other hand, if the confidence is high, the vehicle can quickly approach the stop position.
- final speed (maximum set speed - minimum set speed) * certainty of stop position + minimum set speed.
- the present invention is not limited to this example, and a nonlinear function may be used to set the traveling speed according to the confidence level.
- control unit 30 may acquire the stop position together with the reliability distribution, and determine the final speed by using an evaluation function.
- ⁇ Stage cost ⁇ * Step time + ⁇ * Acceleration/deceleration operation cost
- ⁇ Terminal cost ⁇ * divergence (distribution distance) (distribution of stopping positions, distribution of own vehicle position)
- Constraints Considering optimization problems such as upper limit vehicle speed and upper limit acceleration/deceleration, the target speed that minimizes the above cost within the prediction time may be determined. In this way, it is possible to perform speed control that balances acceleration/deceleration and arrival time to the stop position with respect to the distribution of stop positions.
- control unit 30 determines whether there is a re-designation of the stop position (for example, by receiving speech information designating the stop position from the user 130), and if it is determined that there is a re-designation of the stop position, If so, the process advances to S805, and if not, the process advances to S812. In S812, the control unit 30 determines whether the distance to the stop position has approached within a predetermined distance. If the distance to the stop position approaches within a predetermined distance, the control unit 30 advances the process to S813, and otherwise returns the process to S811.
- control unit 30 decelerates and travels, and stops at the stop position, since the stop position has not been specified again and the vehicle has approached the stop position. At this time, the control unit 30 transmits speech information (for example, "Thank you for keeping you waiting") informing the communication device 120 of the arrival. The control unit 30 then ends the stop position adjustment process using the relative position and returns to the calling source. Then, the control unit 30 also ends the series of processes shown in FIG.
- the vehicle 100 first uses the absolute position to approach the user or a landmark to the extent that it can be visually confirmed, and then exchanges audio information (utterance information) with the user 130.
- audio information utterance information
- the stopping position By adjusting the stopping position based on the image information and the image information, it is possible to stop at the position desired by the user 130. By doing so, it becomes possible to flexibly adjust the stopping position of the vehicle (mobile object) between the user and the vehicle (mobile object).
- the information processing system 900 includes a vehicle 910, a communication device 120, and a server 901, as shown in FIG.
- Information processing system 900 includes a vehicle 910, a server 901, and a communication device 120.
- the server 901 is composed of one or more server devices, and acquires vehicle-related information transmitted from the vehicle 910 and speech information and position information transmitted from the communication device 120 via the network 111. Driving can be controlled. Generally speaking, a server can use more abundant computational resources than a vehicle or the like. Furthermore, by receiving and accumulating image data taken from various vehicles, learning data in a wide variety of situations can be collected, making it possible to learn in a wider variety of situations.
- the user's utterance information is transmitted from the communication device 120 to the server 901. Further, the server 901 acquires image information taken by the vehicle 910 as part of the floating data of the vehicle 910 along with position information and the like via the network 140 . For example, after the server 901 performs the processing corresponding to S701 to S705 of the above-described stop position determination processing, the server 901 transmits a control amount such as the traveling speed to the vehicle 910 in S706. Vehicle 910 travels (continues to travel) according to the received control amount. The server 901 then executes the processes corresponding to S707 and S708.
- the server 901 In the stop position adjustment process using the relative position, the server 901 also executes the processes corresponding to S801 to S809, and in S810 transmits control variables such as traveling speed to the vehicle 910. Vehicle 910 travels (continues to travel) according to the received control amount. The server 901 then executes processes corresponding to S811 to S813. These processes by the server 901 are realized by a processor (not shown) included in the server 901 executing a program stored in a storage medium (not shown) included in the server 901.
- the configuration of the vehicle 910 may be the same as that of the vehicle 100, except that the control unit 30 does not execute the stop position determination process and runs the vehicle according to the control amount from the server 901.
- the server 901 uses the absolute position to bring the vehicle close to the user or a landmark to the extent that it can be visually confirmed, and then exchanges audio information (utterance information) and images with the user 130.
- the stopping position based on the information, the vehicle is stopped at the position desired by the user 130. By doing so, it becomes possible to flexibly adjust the stopping position of the vehicle (mobile object) between the user and the vehicle (mobile object).
- the stopping position of the vehicle (moving object) is adjusted between the user who is trying to merge with the vehicle (moving object), but the application of the present invention is limited to this. It's not a thing.
- the present invention may be applied when a user is in a vehicle (moving object) and instructs a stop position based on a target that serves as a landmark.
- a target that serves as a landmark.
- the mobile object in response to the user's utterance information (instruction information), ⁇ Park in front of that vending machine over there,'' the mobile object responds by saying, ⁇ Is that the red vending machine?'' The stop position is determined while responding. Thereafter, the moving object may adjust its stopping position based on the user's utterance information (instruction information) such as "I guess you should park at that convenience store.”
- a control device for a movable body (e.g., 100) that adjusts a stop position of the movable body based on a user's instruction, instruction acquisition means (for example, 413) for acquiring user instruction information; image acquisition means (for example, 15 to 17) that acquires a photographed image photographed by the moving object; determining means (for example, 416) for determining a stop position of the moving body; control means (for example, 402) for controlling the traveling of the mobile body so that the mobile body travels toward the determined stop position,
- the determining means (i) determines a first stop position using position information of a communication device used by a user or position information corresponding to a destination included in first instruction information of the user; (ii) identified in the second instruction information of the user and the photographed image in response to the position of the mobile body becoming within a predetermined distance from the first stop position due to the movement of the mobile body;
- the determining means identifies the designation of the predetermined target from the second instruction information of the user, and then identifies the region of the predetermined target from the photographed image, thereby determining the second stop. Determine the position.
- an area of a target object (for example, a vending machine) in a photographed image is identified from user instruction information such as "stop in front of a vending machine", and the area of the target object (for example, a vending machine) is identified. (vending machine) can be set as the stop position.
- the determining means specifies the user in the photographed image based on the user's instruction information and the photographed image, and then identifies the user's behavior identified by the second instruction information of the user and the photographed image.
- the second stopping position is determined by identifying the area of the predetermined target from the photographed image based on.
- the position of the target can be set as the stop position based on speech and pointing.
- the determining means determines the first stop position using position information of the communication device in response to receiving instruction information including a pick-up request.
- the mobile object can be directed to the user's location simply by uttering a pick-up request such as "Can you come?"
- the determining means determines the first stopping position using one or more pieces of instruction information including a pick-up request and the destination.
- the control means causes the movable body to travel at a travel speed reduced according to a predetermined standard in response to the position of the movable body becoming within a predetermined distance from the first stop position.
- the traveling speed can be reduced to enable safe acceleration and deceleration when the vehicle is sufficiently close to the stop position or when there are multiple targets and confidence is low.
- the control means reduces the traveling speed depending on the distance from the position of the moving body to the position of the predetermined target object.
- the determining means calculates a probability distribution indicating a probability of being a stop position for one or more target object areas identified in the photographed image, and determines the target object area based on the target area having the highest probability. determining a second stopping position; The control means lowers the traveling speed as the probability given to the target object corresponding to the second stop position is lower.
- the determining means calculates a probability distribution indicating a probability of being a stop position for one or more target object areas identified in the photographed image, and determines the target object area based on the target area having the highest probability. determining a second stopping position; The control means controls the traveling speed so that the higher the probability given to the target object corresponding to the second stop position, the higher the traveling speed is than the traveling speed reduced according to the predetermined criterion.
- the traveling speed can be adjusted so as to reduce the traveling speed when the vehicle is sufficiently close to the stop position, and increase the traveling speed when the probability that the vehicle is at the stopping position is high.
- the determining means calculates a probability distribution indicating a probability of being a stop position for one or more target object areas identified in the photographed image, and calculates the first target object area based on the target area having the highest probability. Determine the stop position of step 2.
- the stopping position can be determined from the most likely target.
- the determining means calculates a probability distribution indicating a probability of a stop position for a plurality of target object areas identified in the photographed image, and selects a predetermined number of target object areas having a high probability as candidates. , a second stopping position is determined according to the distance to the candidate target.
- the stopping position is determined. It becomes possible to flexibly determine the stopping position to match the closest one.
- the determining means may continue traveling if the utterance acquisition means acquires instruction information regarding another destination or another target while the mobile body is traveling toward the determined stop position. At the same time, a new stopping position related to another destination or another target is determined.
- the stop position can be adjusted while the moving body continues to travel.
- the determination means determines whether the moving object is the other destination or not. Alternatively, additional instruction information for narrowing down other targets is transmitted to the communication device.
- the first stopping position is determined by an absolute position that is the position of the target from a position based on specific geographic coordinates
- the second stop position is determined by a relative position that is a relative position of the target as seen from the coordinate system of the moving body.
- the instruction acquisition means acquires the instruction information based on user's utterance information.
- the mobile object is a micro-mobility.
- a method for controlling a moving object which adjusts a stop position of the moving object based on a user's instructions, the method comprising: obtaining user instruction information; Obtaining a captured image captured by the moving object; determining a stopping position of the moving body; controlling the travel of the mobile body so that the mobile body travels toward the determined stop position, Determining the stop position of the mobile object may include (i) determining the stop position of the mobile object by first using the position information of the communication device used by the user or the position information corresponding to the destination included in the first instruction information of the user; (ii) in response to the position of the mobile body becoming within a predetermined distance from the first stop position due to the travel of the mobile body, the second instruction information of the user; A method for controlling a moving body is provided, which includes determining a second stop position based on a region of a predetermined target identified within a captured image.
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本開示に係る移動体の制御装置は、ユーザの指示に基づき移動体の停止位置を調整する、移動体の制御装置であって、ユーザの指示情報を取得する指示取得手段と、移動体において撮影される撮影画像を取得する画像取得手段と、移動体の停止位置を決定する決定手段と、決定された停止位置に向かって移動体が走行するように移動体の走行を制御する制御手段と、を含む。決定手段は、(i)ユーザの使用する通信装置の位置情報、又は、ユーザの第1の指示情報に含まれる目的地に対応する位置情報を用いて第1の停止位置を決定し、(ii)移動体の走行により移動体の位置が第1の停止位置から所定の距離以内となったことに応じて、ユーザの第2の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第2の停止位置を決定する。
Description
本発明は、移動体の制御装置、移動体の制御方法、移動体、情報処理方法及びプログラムに関する。
近年、超小型モビリティ(マイクロモビリティともいわれる)と呼ばれる、乗車定員が1~2名程度である電動車両が知られており、手軽な移動手段として普及することが期待されている。
自動運転により走行する超小型モビリティを手軽な移動手段として利用するためには、ユーザが容易に乗車することができる適切な場所に、超小型モビリティが停止することが望ましい。特許文献1は、家屋から出てくるユーザを自動運転車に乗車させる場合に、ユーザが乗車位置まで歩く距離をできるだけ短くし、不便を感じさせないようにする技術を開示している。また、特許文献2は、自動運転により走行する車両が、自車両の乗員が乗降エリアに存在すると認識した場合に、当該エリア内で自車両と乗員との距離が数メートル以内となる位置に停止位置を決定し、当該停止位置まで走行する技術を開示している。
ところで、ユーザが超小型モビリティを利用する場合に、超小型モビリティとユーザとがそれぞれ移動しながら動的にモビリティの停止位置を調整するようなユースケースが考えられる。このようなユースケースは、予定していた位置での合流が混雑や規制などにより困難となった場合や、停止位置を細かく調整する場合などに有効である。上述の従来技術では、車両とユーザとがそれぞれ移動しながら動的に車両の停止位置を調整するようなユースケースは考慮していなかった。
本発明は、上記課題に鑑みてなされ、その目的は、ユーザと(例えば車両などの)移動体との間で移動体の停止位置を柔軟に調整することが可能な技術を実現することである。
本発明によれば、
ユーザの指示に基づき移動体の停止位置を調整する、移動体の制御装置であって、
ユーザの指示情報を取得する指示取得手段と、
前記移動体において撮影される撮影画像を取得する画像取得手段と、
前記移動体の停止位置を決定する決定手段と、
前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御する制御手段と、を含み、
前記決定手段は、(i)ユーザの使用する通信装置の位置情報、又は、前記ユーザの第1の指示情報に含まれる目的地に対応する位置情報を用いて第1の停止位置を決定し、(ii)前記移動体の走行により前記移動体の位置が前記第1の停止位置から所定の距離以内となったことに応じて、前記ユーザの第2の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第2の停止位置を決定する、移動体の制御装置が提供される。
ユーザの指示に基づき移動体の停止位置を調整する、移動体の制御装置であって、
ユーザの指示情報を取得する指示取得手段と、
前記移動体において撮影される撮影画像を取得する画像取得手段と、
前記移動体の停止位置を決定する決定手段と、
前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御する制御手段と、を含み、
前記決定手段は、(i)ユーザの使用する通信装置の位置情報、又は、前記ユーザの第1の指示情報に含まれる目的地に対応する位置情報を用いて第1の停止位置を決定し、(ii)前記移動体の走行により前記移動体の位置が前記第1の停止位置から所定の距離以内となったことに応じて、前記ユーザの第2の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第2の停止位置を決定する、移動体の制御装置が提供される。
本発明によれば、ユーザと移動体との間で移動体の停止位置を柔軟に調整することが可能になる。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
(情報処理システムの構成)
図1を参照して、本実施形態に係る情報処理システム10の構成について説明する。情報処理システム10は、車両100と通信装置120とを含む。
図1を参照して、本実施形態に係る情報処理システム10の構成について説明する。情報処理システム10は、車両100と通信装置120とを含む。
車両100は、移動体の一例であり、例えば、バッテリを搭載しており、主にモータの動力で移動する超小型モビリティである。超小型モビリティとは、一般的な自動車よりもコンパクトであり、乗車定員が1又は2名程度の超小型車両である。超小型モビリティは、車道或いは歩道を走行可能であってよい。本実施形態では、車両100は、例えば、四輪車である。なお、本実施形態は、車両に限らず他の移動体にも適用可能である。移動体は、乗物に限らず、歩くユーザと並走して荷物を運んだり、人を先導したりするような小型モビリティを含んでよく、また、その他の自律移動が可能な移動体(例えば歩行型ロボットなど)を含んでもよい。
車両100は、例えば、第5世代移動体通信、路車間通信、又はWi‐Fiなどの無線通信を介してネットワーク140に接続する。車両100は、様々なセンサによって(車両の位置、走行状態、周囲の物体の物標などの)車両内外の状態を計測し、計測したデータを蓄積する。このように収集されて送信されるデータは、一般にフローティングデータ、プローブデータ、交通情報などとも呼ばれる。車両100は蓄積したデータを不図示のサーバに送信してもよい。車両に関する情報がサーバに送信される場合、一定の間隔でまたは特定のイベントが発生したことに応じて、送信される。車両100は、ユーザ130が乗車していない場合であっても自動運転により走行可能である。車両100は、通信装置120からの発話情報などに応じて、最初の停止位置からユーザ130を乗車させる位置に向かって走行を開始することができる。車両100は、後述するように、ネットワーク111を介して、通信装置120から送信されるユーザの発話情報を取得したり、通信装置120に発話情報を送信したりして、ユーザとの間で停止位置を調整する。車両100は、調整した停止位置に車両を停止させて、ユーザを乗車させる。
通信装置120は、例えばスマートフォンであるが、これに限らず、イヤフォン型の通信端末であってもよいし、パーソナルコンピュータ、タブレット端末、ゲーム機などであってもよい。通信装置120は、例えば、第5世代移動体通信やWi‐Fiなどの無線通信を介してネットワーク140に接続する。
ネットワーク111は、例えばインターネットや携帯電話網などの通信網を含み、車両100、通信装置120、不図示のサーバなどの間の情報を伝送する。
この情報処理システム10では、離れた場所にいたユーザ130と車両100が、(視覚的な目印となる)物標等を視覚で確認できる程度に近づいた場合に、発話情報と車両100で撮影された画像情報とを用いて停止位置を調整する。
ユーザ130と車両100とが物標等を視覚で確認できる程度に近づく前には、まず車両100は、ユーザの地図上の現在位置、又はユーザの発話情報から得られる目的地の地図上の位置を停止位置として移動する。そして、車両100が停止位置に接近すると、ユーザを識別したり、視覚的な目印に関連する場所を尋ねる発話情報(例えば「近くにお店ありますか?」)を通信装置120へ送信したりする。これにより、車両100が画像情報からユーザを発見(識別)可能な場合にはユーザの位置に向かったり、ユーザを識別困難な状況であっても、発話情報から得られる目印に向かって移動したりすることができる。
視覚的な目印に関連する場所は、例えば、画像から識別可能な物標の名称を含む。車両100は、視覚的な目印に関連する場所を含む発話情報(例えば「自動販売機の前に止まって」)を通信装置120から受け付ける。そして、車両100は、画像情報から目印の物標を識別して当該目印の場所の前まで移動する。
(車両の構成)
次に、図2A、図2Bを参照して、本実施形態に係る車両の一例としての車両100の構成について説明する。
次に、図2A、図2Bを参照して、本実施形態に係る車両の一例としての車両100の構成について説明する。
図2Aは本実施形態に係る車両100の側面を示し、図2Bは車両100の内部構成を示している。図中矢印Xは車両100の前後方向を示しFが前をRが後を示す。矢印Y、Zは車両100の幅方向(左右方向)、上下方向を示す。
車両100は、走行ユニット12を備え、バッテリ13を主電源とした電動自律式車両である。バッテリ13は例えばリチウムイオンバッテリ等の二次電池であり、バッテリ13から供給される電力により走行ユニット12によって車両100は自走する。走行ユニット12は、例えば、左右一対の前輪20と、左右一対の後輪21とを備えた四輪車である。走行ユニット12は三輪車の形態等、他の形態であってもよい。車両100は、一人用又は二人用の座席14を備える。
走行ユニット12は操舵機構22を備える。操舵機構22はモータ22aを駆動源として一対の前輪20の舵角を変化させる機構である。一対の前輪20の舵角を変化させることで車両100の進行方向を変更することができる。走行ユニット12は、また、駆動機構23を備える。駆動機構23はモータ23aを駆動源として一対の後輪21を回転させる機構である。一対の後輪21を回転させることで車両100を前進又は後進させることができる。走行ユニット12は、車両100の走行速度、加速度、操舵角、車両100のボディの回転加速度などの車両100の運動を表す物理量を検知して出力することができる。
車両100は、車両100の周囲の物標を検知する検知ユニット15~17を備える。検知ユニット15~17は、車両100の周辺を監視する外界センサ群であり、本実施形態の場合、いずれも車両100の周囲の画像を撮像する撮像装置であり、例えば、レンズなどの光学系とイメージセンサとを備える。車両100は、撮像装置に加えて、レーダやライダ(Light Detection and Ranging)を採用することも可能である。車両100は、検知ユニットで得られた画像情報に基づいて、車両100の座標系から見た特定の人物或いは特定の物標の位置(以下、相対位置という)を取得することができる。相対位置は例えば、左に1m、前方10mの位置などのように示すことができる。
検知ユニット15は車両100の前部にY方向に離間して二つ配置されており、主に、車両100の前方の物標を検知する。検知ユニット16は車両100の左側部及び右側部にそれぞれ配置されており、主に、車両100の側方の物標を検知する。検知ユニット17は車両100の後部に配置されており、主に、車両100の後方の物標を検知する。
図3は、車両100の制御系のブロック図である。車両100は、制御ユニット(ECU)30を備える。制御ユニット30は、車両(移動体)の制御装置として機能する。制御ユニット30は、CPUに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。プロセッサ、記憶デバイス、インタフェースは、車両100の機能別に複数組設けられて互いに通信可能に構成されてもよい。
制御ユニット30は、検知ユニット15~17の検知結果、操作パネル31の入力情報、音声入力装置33から入力された音声情報、通信装置120からの発話情報などを取得して、対応する処理を実行する。制御ユニット30は、モータ22a、23aの制御(走行ユニット12の走行制御)、操作パネル31の表示制御、音声による車両100の乗員への報知、情報の出力を行う。制御ユニット30は、プロセッサとして、CPUのほか、GPU、或いは、ニューラルネットワーク等の機械学習モデルの処理の実行に適した専用のハードウェアを更に含んでよい。その他、制御ユニット30は、後述する本実施形態に係る停止位置決定処理を実行する。
音声入力装置33は、車両100の乗員の音声を収音する。制御ユニット30は、入力された音声を認識して、対応する処理を実行可能である。GNSS(Global Navigation Satellite system)センサ34は、GNSS信号を受信して車両100の現在位置を検知する。
記憶装置35は、車両100が走行可能な走路、建造物などのランドマーク、店舗等の情報を含む地図データ等を記憶する大容量記憶デバイスである。記憶装置35にも、プロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納されてよい。記憶装置35は、制御ユニット30によって実行される音声認識や画像認識用の機械学習モデルの各種パラメータ(例えばディープニューラルネットワークの学習済みパラメータやハイパーパラメータなど)を格納してもよい。また、記憶装置35は不図示のサーバ上に設けられてもよい。
通信装置36は、例えば、第5世代移動体通信やWi‐Fiなどの無線通信を介してネットワーク140に接続可能な通信装置である。
(停止位置決定処理のためのソフトウェア構成)
次に、図4を参照して、制御ユニット30における停止位置決定処理のためのソフトウェア構成について説明する。本ソフトウェア構成は、制御ユニット30が、記憶媒体に格納されたプログラムを実行することにより実現される。
次に、図4を参照して、制御ユニット30における停止位置決定処理のためのソフトウェア構成について説明する。本ソフトウェア構成は、制御ユニット30が、記憶媒体に格納されたプログラムを実行することにより実現される。
本実施形態に係るソフトウェア構成は、インタラクション部401と、車両制御部402と、データベース403とを含む。インタラクション部401は、通信装置120との間でやりとりされる音声情報(発話情報)に対する処理や、検知ユニット15等で取得される画像情報に対する処理、停止位置を推定する処理等を行う。
車両制御部402は、インタラクション部401で設定される停止位置までの経路の決定、経路に沿った車両各部の制御などを行う。詳細は後述するが、車両制御部402は、相対位置を用いた走行中に車両100が停止位置に接近すると、残存距離に応じて走行速度を制御する。例えば、車両制御部402は、停止位置までの残存距離が所定値より大きい場合には、予め定めた(比較的速度の速い)第1速度で停止位置まで接近するように制御する。また、車両制御部402は、残存距離が所定値以下になった場合には、安全な加減速によって素早く停止制御を行うことができる第2速度(第1速度>第2速度)で停止位置まで近づくように制御する。
データベース403は、上述した、車両100が走行可能な走路、建造物などのランドマーク、店舗等の情報を含む地図データ、自車両や他の車両の走行履歴情報などの各種データを格納する。
ユーザデータ取得部413は、通信装置120から送信される発話情報や位置情報を取得する。ユーザデータ取得部413は、取得した発話情報や位置情報をデータベース403に格納してもよい。後述するように、ユーザデータ取得部413が取得した発話情報は、ユーザの意図を推定するために、学習済み機械学習モデルに入力される。なお、以下の説明では、ユーザの指示を発話情報に基づいて取得する場合を例に説明する。しかし、ユーザの指示を含む情報(指示情報)は、音声情報に限らず、テキスト情報などユーザの意図を含む他の情報であってもよい。
音声情報処理部414は、音声情報を処理する機械学習モデルを含み、当該機械学習モデルの推論段階の処理を実行する。音声情報処理部414の機械学習モデルは、例えば、ディープニューラルネットワーク(DNN)を用いた深層学習アルゴリズムの演算を行って、ユーザの発話内容を認識したり、ユーザの発話意図を推定したりする。ユーザの発話内容の認識と、ユーザの意図の推定とは別個の機械学習アルゴリズムが用いられてよい。
ユーザの意図の推定は、発話情報を、予め定められた意図クラスに分類する分類処理であってよい。発話の意図クラスは、ユーザ130が車両100を利用する利用シーンごと(例えば、乗車前、乗車中、降車後)に定義されてもよい。利用シーンごとに意図クラスを定義することにより、意図認識における分類数が制限され、認識精度を向上させることができる。「乗車前」の利用シーンには、例えば、問い合わせ、お迎え要求、挨拶、場所指示、目印表現、同意、否定、聞き返しといった意図クラスが対応付けられてよい。また、「乗車中」の利用シーンには、例えば、経路指示、停止指示、加速指示、減速指示、同意、否定、聞き返しといった、乗車前とは少なくとも一部が異なる意図クラスが対応付けられてよい。同様に、「降車後」の利用シーンにも乗車前及び乗車中とは少なくとも一部が異なる意図クラスが対応付けられてよい。意図クラスの推定の一例としては、乗車前の段階で「今乗車できる?」といった発話は、「問い合わせ」の意図に分類される。また、「すぐ来られる?」といった発話は、「お迎え要求」の意図に分類される。更に、「自動販売機の前」といった発話情報は、「目印表現」の意図に分類される。
ユーザの発話内容の認識では、例えば、ユーザの発話意図が、場所指示である場合に、発話情報に含まれる場所名等を識別してもよい。ユーザの発話内容の認識では、例えば、発話情報に含まれる場所名、建造物などのランドマーク名、店舗名、物標の名称などを認識する。物標は、発話情報に含まれる通行人、看板、標識、自動販売機など野外に設置される設備、窓や入口などの建物の構成要素、道路、車両、二輪車、などを含んでよい。
DNNは、学習段階の処理を行うことにより学習済みの状態となり、発話情報を学習済みのDNNに入力することにより当該発話情報に対する認識処理(推論段階の処理)を行うことができる。なお、本実施形態では、車両100が音声認識処理を実行する場合を例に説明するが、不図示のサーバで音声認識処理を実行し、認識結果をサーバから受信するようにしてもよい。
画像情報処理部415は、画像情報を処理する機械学習モデルを含み、学習済みの機械学習モデルが推論段階の処理を実行する。画像情報処理部415の機械学習モデルは、例えば、ディープニューラルネットワーク(DNN)を用いた深層学習アルゴリズムの演算を行って、画像情報に含まれる物標を認識する処理を行う。物標は、画像内に含まれる通行人、看板、標識、自動販売機など野外に設置される設備、窓や入口などの建物の構成要素、道路、車両、二輪車、などを含んでよい。そのほか、画像情報処理部415の機械学習モデルは、画像情報に含まれる人物の顔、人物の行動(例えば手振り)、服の形状、及び服の色などを認識することができる。
停止位置決定部416は、上述の音声情報処理部414、画像情報処理部415と連携して、後述する停止位置決定処理の動作を実行する。停止位置決定処理については後述する。
(停止位置決定処理の概要)
図5A~図5Hを参照して、車両100において実行される停止位置決定処理の概要について説明する。なお、この説明で車両100を動作主体として説明する動作は、車両100の制御ユニット30がプログラムを実行し、図4に示した各部が動作することにより実現される。
図5A~図5Hを参照して、車両100において実行される停止位置決定処理の概要について説明する。なお、この説明で車両100を動作主体として説明する動作は、車両100の制御ユニット30がプログラムを実行し、図4に示した各部が動作することにより実現される。
停止位置決定処理では、ユーザによるお迎え要求があった場合に、まず、離れた場所にいたユーザ130と車両100が、ユーザや目印となる物標等を視覚で確認できる程度まで近づく。その後、車両100は、ユーザ130との間で、音声情報(発話情報)と画像情報とに基づいて停止位置を調整し、ユーザ130の所望の位置に停止する。このように停止位置を調整できるようにするのは、周囲の状況に応じてユーザが一度決めた停止位置を修正する可能性を考慮したものである。また、騒音や光の状態などの周囲環境に応じて、音声認識や画像認識の精度が変動する可能性がある場合にも、停止位置を調整可能にすることで容易に対応することができるようになる。後述するように、本実施形態では、車両100が現在設定されている停止位置へ移動しながら、或いは停止中に、新たな停止位置の調整を行うことができ、新たな停止位置での合流を円滑に行うことができる。
図5Aは、車両100が走行可能な区域において、待機場所に停止している車両100をユーザ130が発話によって呼び寄せる際の様子を模式的に示している。まず、ユーザ130は、通信装置120を用いて、車両100に「直ぐ来られる?」という発話情報510を送信する。車両100は、ユーザ130の発話情報を取得して、その発話情報の発話意図が「お迎え要求」であると判定すると、「はい、すぐ行きます」という発話情報511を通信装置120に送信する。ユーザ130の現在の位置の近傍には、例えば、車両の停止が不可能な領域が存在する。また、ユーザ130は、移動方向の先にある自動販売機500の方に向かって移動しながら、車両100に乗車したいと考えている。このため、ユーザ130は、「急いでいるから、追いかけてきて」という発話情報512を通信装置120から車両100に送信する。車両100は、当該発話情報512を受信してその発話意図及び内容を認識すると、「了解しました」という発話情報513を通信装置120に送信する。このとき、ユーザの発話情報には、目的地の指定が含まれていないため、車両100は、ユーザ130の通信装置120の位置情報(例えばGPSの情報)を取得して、ユーザ130の位置と地図情報とに基づいて停止位置に設定する。そして、車両100は、停止位置(現時点ではユーザ130の位置)まで移動する経路を地図情報から算出し、当該経路に従って移動する。
図5Bは、車両100が「直ぐ来られる?」という発話情報510を取得して音声情報処理等を行った後の、システムステータスの例を模式的に示している。システムステータスは、一例として、視覚情報の処理結果を示す視覚情報理解520と、発話情報の処理結果を示す言語情報理解521と、推定される停止位置の尤もらしさ522とによって示している。
視覚情報理解520では、撮像された画像情報523内に、認識された物標の表示524が表示される。なお、本説明では、図面の視認性を確保するため、説明と無関係な被写体の情報を省略している。このため、図5Bに示す例では、画像情報523には何も記載されていないが、実際には撮影された背景の被写体等が存在する。図5Bに示す例では、物標が認識されていないことを示す「None」が重畳されている。
言語情報理解521では、ユーザ130の発話意図の推定結果525が示されている。横向きの棒グラフは、推定されたユーザの意図がカテゴリ(お迎え要求、場所指示、等)に該当する確率を示している。この例では、ユーザ130の「直ぐ来られる?」という発話情報の発話意図が、お迎え要求である確率が高いことを示す。
停止位置の尤もらしさ522は、図5Aに示した領域をメッシュ状にしたマップ526で表されており、色分けされている領域527は、停止位置として推定される確率(尤度)が高い領域である。黒く塗りつぶされた領域は、停止位置として最も確率の高い領域を示している。また、ハッチングで表される領域は、次いで確率の高い領域を示す。
図5Cは、車両100がユーザ130を画像情報により確認できる程度までユーザに近づいた状況を示している。この状況では、車両100は、緯度・経度を用いる「絶対位置に基づく走行状態」から、相対位置を用いて停止位置を制御するための「相対位置に基づく停止制御状態」に動作状態を切り替える。ここで、緯度、経度など、特定の地理座標を基準とした位置からの移動体或いは物標の位置を絶対位置という。相対位置は、画像情報を用いて決定されるため、車両100は、画像内の人物がユーザ130であるかを確認するための対話を行う。例えば、車両100は、「近くまで来ました。手を振ってくれますか?」との発話情報530を送信する。ユーザ130は、手を振りながら、「おーい、ここにいるよ」との発話情報531を通信装置120から車両100に送信する。車両100は、画像内で手を振っているユーザ130を認識して、例えば、「赤い服の方ですか?」という発話情報532を通信装置120に送信する。これに対して、ユーザ130は「はい、そうです」という同意を表す発話情報533を通信装置120から車両100に送信する。
図5Dは、車両100とユーザ130の間で図5Cに示した対話が進行した状態のシステムステータスの例を模式的に示している。画像情報523では、手を振っている人物を認識した認識結果541と、物標としての自動販売機を認識した認識結果540とを示している。また、言語情報理解521では、ユーザ130の「はい、そうです」という発話情報533を受信して、発話意図が「同意」である確率が高いことを示す、発話意図の推定結果525を示している。更に、車両100は、画像情報による認識結果541から得られるユーザ130の相対位置と、車両100の絶対位置とに基づいて、停止位置の尤もらしさ522を算出する。この例では、ユーザ130が移動したため、色分けされている領域542の位置がマップ526上で右側に移動している。
図5Eは、車両100がユーザ130の位置を相対位置で取得した後の対話例を示している。車両100は、「目の前に止まりますね」との発話情報550を通信装置120に送信する。これに対して、ユーザ130は、他の場所での乗車を希望しているため、「いや、あっちに止まって」との発話情報551を車両100に送信する。このとき、ユーザ130は、自動販売機500を指さししている。ユーザ130の(「あっち」を含む)発話情報551と指差し動作に基づいて、車両100は、目印(自動販売機)を画像情報から認識する。そして、車両100は、目印を確認するための「自動販売機のところですね?」との発話情報552を送信したうえで、ユーザ130による「はい、そうです」との発話情報553を受信する。これらの対話及び認識処理により、車両100は、自動販売機500の位置を停止位置として設定し、当該位置で停止するように走行を制御する。このように、車両100は、最初に設定した停止位置にアプローチしながらユーザ130と対話を進めて、停止位置を探索することができ、新規の停止位置が指示された場合であっても柔軟に新規の停止位置を再設定することができる。
図5Fでは、車両100がユーザ130による「いや、あっちに止まって」との発話情報551を処理した状態のシステムステータスの例を模式的に示している。画像情報523では、指を指している人物を認識した認識結果561と、物標としての自動販売機を認識した認識結果560とを示している。また、言語情報理解521では、ユーザ130の「いや、あっちに止まって」という発話情報551を受信して、発話意図が「場所指示」である確率が高いことを示す、発話意図の推定結果525を示している。更に、車両100は、画像情報による認識結果560及び561から得られる自動販売機500の相対位置と、車両100の絶対位置とに基づいて、停止位置の尤もらしさ522を算出する。この例では、自動販売機500の位置が停止位置となる可能性が高いため、色分けされている領域562の位置がマップ526上で右側(自動販売機500に相当する位置)に移動している。
図5Gは、車両100が自動販売機500の位置に接近した際の車両100とユーザ130の対話例を示している。車両100は、画像情報に現れる自動販売機の相対位置を継続的に計測しながら走行し、その相対位置に接近すると、「おまたせしました」との発話情報570を通信装置120に送信する。また、車両100は、現在設定されている停止位置で停止する。ユーザ130による「ありがとう」との発話情報571を受信した場合、車両100は、配車を完了した(すなわち相対位置が再指定されない)と判定することができる。
図5Hは、車両100がユーザ130による「ありがとう」との発話情報571を処理した状態のシステムステータスの例を模式的に示している。画像情報523では、人物を認識した認識結果581と、物標としての自動販売機を認識した認識結果580とを示している。また、言語情報理解521では、ユーザ130の「ありがとう」という発話情報571を受信して、発話意図が「お礼」である確率が高いことを示す、発話意図の推定結果525を示している。更に、車両100は、画像情報による認識結果580から得られる自動販売機500の相対位置と、車両100の絶対位置とに基づいて、停止位置の尤もらしさ522を算出する。この例では、自動販売機500の位置が停止位置である可能性が極めて高いため、高い確率を示す領域582の位置がマップ526上の自動販売機500に相当する位置を示している。
次に、図6を参照して、停止位置の指示に応じた車両100の走行系制御の状態遷移について説明する。まず、車両100の状態遷移が開始されると、車両100は「停止」状態に入る。この状態で、お迎え要求などの発信指令が入ると、車両100は、自動走行状態に入る。自動走行状態は、大まかに、「絶対位置に基づく走行状態」と「相対位置に基づく停止制御状態」と、「停止制御状態」とを含む。
「絶対位置に基づく走行状態」は、上述のように、車両100は、ユーザによるお迎え要求を受け付けると、まず、最初の停止位置を絶対位置で設定する。例えば、車両100は、お迎え要求の発話情報に目印が含まれる場合にはその目印の位置を絶対位置で設定し、発話情報に当該目印が含まれない場合には、ユーザの位置(通信装置120のGPS位置情報)を絶対位置で設定する。このため、車両100は、「自動走行状態」のうちの「絶対位置に基づく走行状態」に遷移して、走行を開始する。車両100は、走行中にユーザ130に停止位置を確認してもよい。ユーザ130の発話情報が、現在の停止位置で良いことを示す場合、車両100は、停止位置に到着すると停止制御状態に遷移する。例えば、停止制御状態において所定時間が経過すると、車両100は、配車が完了したと判定して、状態を「停止」に遷移させる。
車両100は、ユーザや目印となる物標等を視覚で確認できる程度まで、(絶対位置で設定された)停止位置に接近すると、「相対位置に基づく停止制御状態」の「停止位置探索中」に遷移する。停止位置探索中において、車両100は、ユーザ或いは目印を特定し、特定した目印等の相対位置で停止位置を設定する。例えば、車両100は、ユーザ130に停止位置を確認する発話情報を送信する。上述の例のように、「いや、あっちに止まって」との発話情報551を取得すると、車両100は、指示対象(自動販売機500)を特定し、指示対象の相対位置を停止位置に設定して、「接近/停止制御」状態に遷移する。
「接近/停止制御」状態では、車両100は、設定した停止位置に向かって移動する。このとき、車両100は、障害物が目の前に現れるなど、画像情報から停止位置となる目印を検出できなくなった場合、車両100の状態を「停止位置探索中」に遷移させる。また、車両100は、上述したように、相対位置を用いた走行中に車両100が停止位置に接近すると、残存距離に応じて走行速度を制御してよい。車両100は、相対位置に到着すると停止して停止待機状態となる。停止待機状態において、ユーザ130から相対位置を再指定する発話情報を取得した場合、車両100は、停止位置を再設定して、状態を「接近/停止制御」状態に戻す。ユーザ130の発話情報が「ありがとう」のように、停止位置がそれで良いことを示す場合、車両100は、停止制御状態に遷移する。
車両100は、「停止位置探索中」、「接近/停止制御」及び「停止待機中」の各状態において、それぞれの状態に対応する走行制御パラメータを設定し、当該車速制御パラメータに応じて車両の走行を制御してもよい。例えば、「停止位置探索中」、「接近/停止制御」及び「停止待機中」の各状態について、予め定めた目標(制限)車速、目標加減速度、最低状態保持時間をテーブルとして保持し、状態の遷移に応じて、車速等を制御するようにしてもよい。例えば、「停止位置探索中」では、(新たに)停止位置が決定される走行経路が変更される可能性が高いことから、既に停止位置が決定している「接近/停止制御」よりも、目標車速が低くてもよい。すなわち、「停止位置探索中」、「接近/停止制御」及び「停止待機中」に対する目標車速がそれぞれ(A、B、0)(ここでA<B)となるように設定されてもよい。このようにすることで、状態の遷移に伴って、状態ごとに設定されている加減速度や目標車速に合わせた走行を実現することができる。なお、車両100の走行制御はこの例に限定されない。後述するように、停止位置に対する確信度の高さに応じて、車速を制御するようにしてもよい。
(停止位置決定処理の一連の動作)
次に、車両100における停止位置決定処理の一連の動作について、図7を参照して説明する。なお、本処理は、制御ユニット30がプログラムを実行することにより実現される。以下の説明では、説明の簡単のために制御ユニット30が各処理を実行するものとして説明するが、(図4にて上述した)インタラクション部401の各部と車両制御部402により対応する処理が実行される。
次に、車両100における停止位置決定処理の一連の動作について、図7を参照して説明する。なお、本処理は、制御ユニット30がプログラムを実行することにより実現される。以下の説明では、説明の簡単のために制御ユニット30が各処理を実行するものとして説明するが、(図4にて上述した)インタラクション部401の各部と車両制御部402により対応する処理が実行される。
S701において、制御ユニット30は、お迎え要求の発話情報とユーザの位置情報とを通信装置120から受信する。お迎え要求の発話情報は、例えば、図5Aで上述した「直ぐ来られる?」のような発話を含む。お迎え要求の発話情報は、「AAAの前に、直ぐ来られる?」のように、目的地を含んだものであってもよい。ユーザの位置情報は、例えば通信装置120が検出している位置情報である。S702において、制御ユニット30は、お迎え要求のユーザ発話情報から目的地を識別する。例えば、制御ユニット30は、「AAAの前に、直ぐ来られる?」のような発話情報から「AAA」を目的地として識別することができる。制御ユニット30は、「直ぐ来られる?」のように発話情報が目的地を含まない場合、目的地を識別できなかったと判定してよい。また、制御ユニット30は、目的地を尋ねるような発話情報を通信装置120に送信し、目的地を含む発話情報を追加的に取得してもよい。
S703において、制御ユニット30は、目的地を識別できたかを判定する。制御ユニット30は、例えば、お迎え要求の発話情報に目的地を示す語が含まれている場合、目的地を識別できたと判定して処理をS705に進め、そうでない場合にはS704に処理を進める。
S704において、制御ユニット30は、(発話情報から目的地を識別できない場合に)ユーザの位置を停止位置として設定する。このとき、ユーザの位置情報は、絶対位置である。停止位置としてユーザの位置を設定することで、車両100は、まずユーザの位置に向かってユーザに接近する経路を走行することになる。
S705において、制御ユニット30は、識別できた目的地の位置を、地図情報から特定して、停止位置に設定する。例えば、制御ユニット30は、例えば、目的地であるAAAの名称を地図情報から検索し、検索して得られる位置情報(例えば緯度・経度情報)を停止位置として設定する。この場合も位置情報は絶対位置である。
S706において、制御ユニット30は、設定した停止位置へ車両100を移動させる。例えば、制御ユニット30は、地図情報に基づいて停止位置までの走行経路を決定し、走行経路に従って走行する。
S707において、制御ユニット30は、停止位置に接近したかを判定する。例えば、制御ユニット30は、車両100の現在の位置情報を取得して、当該位置情報が、停止位置として定めた緯度・経度から所定の距離以内であるかを判定する。制御ユニット30は、現在の車両の位置が停止位置から所定の距離以内である場合には、停止位置に接近したと判定してS708に処理を進め、そうでない場合には、処理をS707に戻す(すなわち経路を走行しながら判定を繰り返す)。
S708において、制御ユニット30は、相対位置を用いた停止位置調整処理を実行する。停止位置調整処理の詳細は、図8を参照して後述する。制御ユニット30は、相対位置を用いた停止位置調整処理を完了すると、その後、一連の動作を終了する。
(相対位置を用いた停止位置調整処理の動作)
更に、車両100における、相対位置を用いた停止位置調整処理の動作について、図8を参照して説明する。なお、本処理は、図7に示した処理と同様、制御ユニット30がプログラムを実行することにより実現される。本処理は、検知ユニット15等で取得する画像情報で識別されるユーザや目印の物標の相対位置を特定し、画像情報に基づく相対位置を用いて停止位置までの走行を制御する処理である。換言すれば、本処理は、概ね、図6で上述した「相対位置に基づく停止制御状態」における処理に対応する。
更に、車両100における、相対位置を用いた停止位置調整処理の動作について、図8を参照して説明する。なお、本処理は、図7に示した処理と同様、制御ユニット30がプログラムを実行することにより実現される。本処理は、検知ユニット15等で取得する画像情報で識別されるユーザや目印の物標の相対位置を特定し、画像情報に基づく相対位置を用いて停止位置までの走行を制御する処理である。換言すれば、本処理は、概ね、図6で上述した「相対位置に基づく停止制御状態」における処理に対応する。
S801において、制御ユニット30は、検知ユニット15などで取得した画像に対する物体認識処理を実行して、(視覚的な目印に対応する)画像内の物体領域を識別する。
S802において、制御ユニット30は、周囲に所定数以上の物体が存在するかを判定する。例えば、制御ユニット30は、S801で識別された物体領域の数が所定数以上であるかを判定し、物体領域の数が所定数以上である場合には処理をS804に進め、そうでない場合にはS803に処理を進める。
S803において、制御ユニット30は、画像情報からユーザを識別する。制御ユニット30は、このとき、ユーザの手振りや指差し動作などのユーザ動作を更に識別してもよい。また、「手を振ってくれますか?」、又は「赤い服の方ですね?」のようなユーザを特定する際に対象人物を限定するための発話情報を通信装置120に送信してもよい。
S804において、制御ユニット30は、停止位置の目印を尋ねる発話情報を通信装置120に送信する。このように、画像内で検出された領域数が一定以上である場合、画像認識結果のみから高い確度で目印を特定することが難しい。このため、画像内で検出された領域数が一定以上である場合である場合には、停止位置の目印を尋ねる発話情報を送信する等、発話情報を活用して、発話情報と画像情報とを用いた目印の識別を行う。制御ユニット30は、例えば「赤い自動販売機ですか?」などの、視覚的な目印を絞り込むための追加的な発話情報を送信してもよい。ユーザ130の発話情報と車両100の画像情報との関係において、視覚的な目印を1つに絞り込めない場合には、ユーザからの追加的な発話情報を得られるようにすることで、視覚的な目印の曖昧性を低減させることができる。これにより、より確度の高い目印の識別を行うことができる。
S805において、制御ユニット30は、ユーザの発話情報を取得して、発話情報から目印を識別する。制御ユニット30は、このとき、ユーザの手振りや指差し動作などのユーザ動作を更に識別してもよい。例えば、ユーザ130の発話情報が、「あっちに止まって」である場合、指示語である「あっち」を識別する。また、ユーザ130の発話情報が「自動販売機の前に止まって」である場合、制御ユニット30は、「自動販売機」を目印として識別する。
S806において、制御ユニット30は、S805で識別した発話情報に対応する目印を画像情報から識別して、その相対位置を特定する。制御ユニット30は、例えば、ユーザの発話情報から「あっち」が識別された場合、画像内のユーザの指差しを認識し、その方向にある物体を目印として識別する。また、制御ユニット30は、発話情報から「自動販売機」が識別された場合、画像情報のなかの自動販売機の領域を識別する。そして、制御ユニット30は、識別した物体の相対位置を特定する。相対距離は上述したように、車両100から見た位置であり、例えば、左に1m、前方に10mなどで表す。
なお、画像内の1つ以上の物体領域に対して、視覚的な目印に対応する確率を示す確率分布を算出してもよい。例えば、発話情報に含まれる目印が「自動販売機」であって、画像内に「自動販売機」の領域が2つ以上存在する場合、制御ユニット30は、発話内容の限定的な言語要素(例えば「青い」)に更に基づいて、物体領域の確率分布を算出してよい。この場合、例えば、画像内に青い自動販売機と赤い自動販売機が存在する場合、青い自動販売機の確率が「0.90」、赤い自動販売機の確率が「0.10」となる確率分布を算出してもよい。
発話情報に含まれる目印が「自動販売機」であって、画像内に「自動販売機」の領域が2つ以上存在する場合、両方の物体領域に同じ確率を付与してもよい。このとき、制御ユニット30は、視覚的な目印となる物標と、ユーザ130との相対的な位置関係に応じて、更に確率分布を変動させてよい。制御ユニット30は、仮にユーザ130或いは車両100の現在位置から赤い自動販売機の方が近い場合には、確率分布を補正して、赤い自動販売機の確率が「0.6」となり、青い自動販売機の確率が「0.4」となるようにしてもよい。ユーザが近づいてくる方向から見て候補になり得る順に確率が高くなる確率分布を付与することができる。
発話情報が「建物の左側の自動販売機」のような物体との位置関係を含む場合、制御ユニット30は、車両100から見た相対的な位置関係を考慮した確率分布を算出するようにしてもよい。例えば、建物に対して左側にある自動販売機の領域の確率を「0.9」、右側になる自動販売機の領域の確率を「0.1」として算出してもよい。
制御ユニット30は、目印に対する確率分布を算出した場合、最も確率の高い物体を目印として識別して、その相対位置を特定する。
S807において、制御ユニット30は、停止位置を確認する発話情報を通信装置120に送信する。例えば、制御ユニット30は、「目の前に止まりますね」といった発話情報を通信装置120に送信する。また、制御ユニット30は、停止位置を確認する発話情報に対して、ユーザ130の確認に関する発話情報を受信する。例えば、制御ユニット30は、「いや、あっちによろしく」という発話情報を受信する。
S808において、制御ユニット30は、受信した発話情報に、停止位置の指定があるかを判定する。つまり、制御ユニット30は、S807における停止位置の確認に対して、停止位置を変更する指定があるかを判定する。例えば、制御ユニット30は、ユーザ130の発話情報に「あっち」或いは「自動販売機の前」などの場所の指定を含むと判定した場合、処理をS805に進め、そうでない場合にはS809に処理を進める。S809に進める場合は、例えば、ユーザ130から「OK」という発話情報を受信した場合がある。
S809において、制御ユニット30は、画像情報で識別されるユーザ或いは目印の物標の相対位置を特定する。相対距離は上述したように、車両100から見た位置であり、例えば、左に1m、前方に10mなどで表す。
S810において、制御ユニット30は、特定した相対位置を停止位置に設定し、停止位置までの走行を制御する。このとき、画像情報において停止位置の目印が識別されるときは、停止位置を目印の位置で更新する。制御ユニット30は、上述したように、停止位置までの残存距離に応じて走行速度を制御してよい。また、走行速度は、停止位置の確信度に応じて調整されてもよい。例えば、ユーザの発話情報から得られた視覚的な目印が、画像上に複数存在(例えば2つの自動販売機が存在)する場合、上述のように、制御ユニット30はユーザの発話や相対位置に応じて、各自動販売機に確率分布を割り当てることができる。この場合、制御ユニット30は、当該確率分布の値を確信度として用いてもよい。つまり、制御ユニット30は、確信度が低い場合には確信度が高い場合よりも走行速度を低下させる。このようにすることで、停止位置が変更になる可能性が高い場合に車両の速度を抑えて走行することができ、停止位置の変更に備えることができる。一方、確信度が高い場合には速やかに停止位置まで接近することができる。
例えば、
最終速度=(最大設定速度-最小設定速度)*停止位置の確信度+最小設定速度
のように確信度に応じて線形に車両の速度を変化させてもよい。この例に限らず、非線形な関数を用いて、確信度に応じた走行速度を設定してもよい。
最終速度=(最大設定速度-最小設定速度)*停止位置の確信度+最小設定速度
のように確信度に応じて線形に車両の速度を変化させてもよい。この例に限らず、非線形な関数を用いて、確信度に応じた走行速度を設定してもよい。
更に、ユーザと車両との間の対話の進行度合いに応じて、速度を変化させてもよい。例えば、
最終速度=(最大設定速度-最小設定速度)*対話の進行度合い+最小設定速度
のようにして車両の走行速度を設定してもよい。
最終速度=(最大設定速度-最小設定速度)*対話の進行度合い+最小設定速度
のようにして車両の走行速度を設定してもよい。
また、制御ユニット30は、停止位置を確信度の分布とセットで取得し、評価関数を用いることにより最終速度を求めてもよい。例えば、
・ステージコスト=α*ステップ時間 + β*加減速操作コスト
・終端コスト=β*divergence(分布距離)(停止位置の分布、自車両位置の分布)
・制約: 上限車速、上限加減速度
のような最適化問題を考え、予測時間内における上記コストが最小となる目標速度を求めてもよい。このようにすれば、停止位置の分布に対して、加減速と停止位置への到達時間とを両立した速度制御を行うことができる。
・ステージコスト=α*ステップ時間 + β*加減速操作コスト
・終端コスト=β*divergence(分布距離)(停止位置の分布、自車両位置の分布)
・制約: 上限車速、上限加減速度
のような最適化問題を考え、予測時間内における上記コストが最小となる目標速度を求めてもよい。このようにすれば、停止位置の分布に対して、加減速と停止位置への到達時間とを両立した速度制御を行うことができる。
S811において、制御ユニット30は、(例えばユーザ130から停止位置を指定する発話情報を受信するなどの)停止位置の再指定があるかを判定し、停止位置の再指定があると判定した場合には処理をS805に進め、そうでない場合にはS812に処理を進める。S812において、制御ユニット30は、停止位置までの距離が所定の距離以内にまで接近したかを判定する。制御ユニット30は、停止位置までの距離が所定の距離以内にまで接近した場合には処理をS813に進め、そうでない場合には処理をS811に戻す。
S813において、制御ユニット30は、停止位置の再指定が無く且つ停止位置に接近したため、減速して走行し、停止位置で停止する。このとき、制御ユニット30は、到着を知らせる発話情報(例えば「お待たせしました」)を通信装置120に送信する。制御ユニット30は、その後、相対位置を用いた停止位置調整処理を終了して、呼び出し元に戻る。そして、制御ユニット30は、図7に示す一連の処理も終了する。
以上説明したように、車両100は、まず、絶対位置を用いてユーザや目印となる物標等を視覚で確認できる程度まで接近し、その後、ユーザ130との間で、音声情報(発話情報)と画像情報とに基づいて停止位置を調整することで、ユーザ130の所望の位置に停止するようにした。このようにすることで、ユーザと車両(移動体)との間で車両(移動体)の停止位置を柔軟に調整することが可能になる。
(変形例)
以下、本発明に係る変形例について説明する。上記実施形態では、停止位置決定処理を車両100において実行する例について説明した。しかし、上述の停止位置決定処理は、サーバ側で実行することもできる。この場合、情報処理システム900は、図9に示すように、車両910と通信装置120とサーバ901とで構成される。
以下、本発明に係る変形例について説明する。上記実施形態では、停止位置決定処理を車両100において実行する例について説明した。しかし、上述の停止位置決定処理は、サーバ側で実行することもできる。この場合、情報処理システム900は、図9に示すように、車両910と通信装置120とサーバ901とで構成される。
図9を参照して、本実施形態に係る情報処理システム900の構成について説明する。情報処理システム900は、車両910と、サーバ901と、通信装置120とを含む。サーバ901は、1つ以上のサーバ装置で構成され、車両910から送信される車両に関する情報や、通信装置120から送信される発話情報及び位置情報を、ネットワーク111を介して取得し、車両910の走行を制御可能である。サーバは、一般に、車両などと比べて豊富な計算資源を用いることができる。また、様々な車両で撮影された画像データを受信、蓄積することで、多種多用な状況における学習データを収集することができ、より多くの状況に対応した学習が可能になる。
例えば、本変形例に係る実施形態では、ユーザの発話情報は、通信装置120からサーバ901へ送信される。また、サーバ901は、車両910で撮影された画像情報を、車両910のフローティングデータの一部として位置情報等と共に、ネットワーク140を介して取得する。例えば、サーバ901は、上述の停止位置決定処理のS701~S705に対応する処理を行うと、S706において、走行速度などの制御量を車両910に送信する。車両910は、受信した制御量に従って走行する(走行を継続する)。サーバ901は、続いてS707、及び、S708に対応する処理を実行する。サーバ901は、相対位置を用いた停止位置調整処理においても、S801~S809に対応する処理を実行し、S810において、走行速度などの制御量を車両910に送信する。車両910は、受信した制御量に従って走行する(走行を継続する)。サーバ901は、続いてS811~S813に対応する処理を実行する。サーバ901によるこれらの処理は、サーバ901が含む不図示のプロセッサが、サーバ901が含む不図示の記憶媒体に格納されるプログラムを実行することにより実現される。
また、車両910の構成は、制御ユニット30が停止位置決定処理を実行しないこと、及びサーバ901からの制御量に従って車両を走行させることを除き、車両100と同一の構成であってよい。
このように、サーバ901は、絶対位置を用いてユーザや目印となる物標等を視覚で確認できる程度まで車両を接近させ、その後、ユーザ130との間で、音声情報(発話情報)と画像情報とに基づいて停止位置を調整することで、ユーザ130の所望の位置に車両を停止させる。このようにすることで、ユーザと車両(移動体)との間で車両(移動体)の停止位置を柔軟に調整することが可能になる。
なお、上述の実施形態では、合流しようとするユーザと車両(移動体)との間で車両(移動体)の停止位置を調整することについて説明したが、本発明の適用はこれに限定されるものではない。たとえば、ユーザが車両(移動体)に搭乗した状態で、目印となる物標に基づき停止位置の指示を行う場合に本発明を適用してもよい。たとえば、ユーザが移動体に搭乗した状態で、ユーザの「あそこの自動販売機の前に停めて」との発話情報(指示情報)に対して、移動体が「あの赤い自販機ですか?」などと応答しながら停止位置を決定する。その後、移動体が、ユーザの「やっぱりあっちのコンビニエンスストアに停めて」などの発話情報(指示情報)に基づいて、停止位置を調整する場合が考えられる。
<実施形態のまとめ>
1.上述の実施形態では、
ユーザの指示に基づき移動体の停止位置を調整する、移動体(例えば、100)の制御装置(例えば、30)であって、
ユーザの指示情報を取得する指示取得手段(例えば、413)と、
前記移動体において撮影される撮影画像を取得する画像取得手段(例えば、15~17)と、
前記移動体の停止位置を決定する決定手段(例えば、416)と、
前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御する制御手段(例えば、402)と、を含み、
前記決定手段は、(i)ユーザの使用する通信装置の位置情報、又は、前記ユーザの第1の指示情報に含まれる目的地に対応する位置情報を用いて第1の停止位置を決定し、(ii)前記移動体の走行により前記移動体の位置が前記第1の停止位置から所定の距離以内となったことに応じて、前記ユーザの第2の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第2の停止位置を決定する、移動体の制御装置が提供される。
1.上述の実施形態では、
ユーザの指示に基づき移動体の停止位置を調整する、移動体(例えば、100)の制御装置(例えば、30)であって、
ユーザの指示情報を取得する指示取得手段(例えば、413)と、
前記移動体において撮影される撮影画像を取得する画像取得手段(例えば、15~17)と、
前記移動体の停止位置を決定する決定手段(例えば、416)と、
前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御する制御手段(例えば、402)と、を含み、
前記決定手段は、(i)ユーザの使用する通信装置の位置情報、又は、前記ユーザの第1の指示情報に含まれる目的地に対応する位置情報を用いて第1の停止位置を決定し、(ii)前記移動体の走行により前記移動体の位置が前記第1の停止位置から所定の距離以内となったことに応じて、前記ユーザの第2の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第2の停止位置を決定する、移動体の制御装置が提供される。
この実施形態によれば、ユーザと移動体との間で移動体の停止位置を柔軟に調整することが可能になる。
2.上述の実施形態では、
前記決定手段は、前記ユーザの前記第2の指示情報から前記所定の物標の指定を識別したうえで、前記所定の物標の領域を前記撮影画像から識別することにより、前記第2の停止位置を決定する。
前記決定手段は、前記ユーザの前記第2の指示情報から前記所定の物標の指定を識別したうえで、前記所定の物標の領域を前記撮影画像から識別することにより、前記第2の停止位置を決定する。
この実施形態によれば、「自動販売機の前に止まって」のようなユーザの指示情報から、撮影画像内の物標(例えば自動販売機)の領域を識別して、その物標(例えば自動販売機)の位置を停止位置とすることができる。
3.上述の実施形態では、
前記決定手段は、前記ユーザの指示情報と前記撮影画像に基づいて前記撮影画像内のユーザを特定したうえで、前記ユーザの前記第2の指示情報と前記撮影画像で識別されるユーザの行動とに基づいて前記所定の物標の領域を前記撮影画像から識別することにより、前記第2の停止位置を決定する。
前記決定手段は、前記ユーザの指示情報と前記撮影画像に基づいて前記撮影画像内のユーザを特定したうえで、前記ユーザの前記第2の指示情報と前記撮影画像で識別されるユーザの行動とに基づいて前記所定の物標の領域を前記撮影画像から識別することにより、前記第2の停止位置を決定する。
この実施形態によれば、発話とユーザの動作でユーザを特定することができ、更にそのユーザが物標(例えば自動販売機)を指差しながら「あっちに止まって」等と発話する場合に、発話と指差しに基づいて物標の位置を停止位置とすることができる。
4.上述の実施形態では、
前記決定手段は、迎えの要求を含む指示情報を受け付けたことに応じて、前記通信装置の位置情報を用いて前記第1の停止位置を決定する。
前記決定手段は、迎えの要求を含む指示情報を受け付けたことに応じて、前記通信装置の位置情報を用いて前記第1の停止位置を決定する。
この実施形態によれば、「来られる?」のようなお迎え要求の発話だけで、ユーザの位置へ移動体を向かわせることができる。
5.上述の実施形態では、
前記決定手段は、迎えの要求と前記目的地とを含む1以上の指示情報を用いて、前記第1の停止位置を決定する。
前記決定手段は、迎えの要求と前記目的地とを含む1以上の指示情報を用いて、前記第1の停止位置を決定する。
この実施形態によれば、例えば「AAAの前に、直ぐ来られる?」のように、目的地を含んだお迎え要求や、目的地を含む追加的な発話に基づいて、当該指定の目的地に移動体を向かわせることができる。
6.上述の実施形態では、
前記制御手段は、前記移動体の位置が前記第1の停止位置から所定の距離以内となったことに応じて、所定の基準に従って低下させた走行速度で前記移動体を走行させる。
前記制御手段は、前記移動体の位置が前記第1の停止位置から所定の距離以内となったことに応じて、所定の基準に従って低下させた走行速度で前記移動体を走行させる。
この実施形態によれば、停止位置に十分に近づいている場合や、複数の物標が存在して確信度が低い場合などに走行速度を低下させ、安全な加減速を可能にすることができる。
7.上述の実施形態では、
前記制御手段は、前記移動体の位置から前記所定の物標の位置までの距離に応じて、前記走行速度を低下させる。
前記制御手段は、前記移動体の位置から前記所定の物標の位置までの距離に応じて、前記走行速度を低下させる。
この実施形態によれば、停止位置から遠い場合には速やかに近づき、停止位置に十分に近づいているときは、安全な加減速を可能にすることができる。
8.上述の実施形態では、
前記決定手段は、撮影画像において識別される1つ以上の物標の領域に対して、停止位置である確率を示す確率分布を算出して、最も高い確率を有する物標の領域に基づいて前記第2の停止位置を決定し、
前記制御手段は、前記第2の停止位置に対応する物標に付与された確率が低いほど、走行速度を低くする。
前記決定手段は、撮影画像において識別される1つ以上の物標の領域に対して、停止位置である確率を示す確率分布を算出して、最も高い確率を有する物標の領域に基づいて前記第2の停止位置を決定し、
前記制御手段は、前記第2の停止位置に対応する物標に付与された確率が低いほど、走行速度を低くする。
この実施形態によれば、複数の物標が存在する場合に最も可能性の高い物標から停止位置を決定することができ、また、停止位置が変更されても安全な加減速で対応することができる。
9.上述の実施形態では、
前記決定手段は、撮影画像において識別される1つ以上の物標の領域に対して、停止位置である確率を示す確率分布を算出して、最も高い確率を有する物標の領域に基づいて前記第2の停止位置を決定し、
前記制御手段は、前記第2の停止位置に対応する物標に付与された確率が高いほど、前記所定の基準に従って低下させた走行速度より高くなるように走行速度を制御する。
前記決定手段は、撮影画像において識別される1つ以上の物標の領域に対して、停止位置である確率を示す確率分布を算出して、最も高い確率を有する物標の領域に基づいて前記第2の停止位置を決定し、
前記制御手段は、前記第2の停止位置に対応する物標に付与された確率が高いほど、前記所定の基準に従って低下させた走行速度より高くなるように走行速度を制御する。
この実施形態によれば、停止位置に十分に近づいている場合に走行速度を低下させつつ、停止位置である確立が高ければ走行速度を向上させるように走行速度を調節することができる。
10.上述の実施形態では、
前記決定手段は、撮影画像において識別される1つ以上の物標の領域に対して、停止位置である確率を示す確率分布を算出し、最も高い確率を有する物標の領域に基づいて前記第2の停止位置を決定する。
10.上述の実施形態では、
前記決定手段は、撮影画像において識別される1つ以上の物標の領域に対して、停止位置である確率を示す確率分布を算出し、最も高い確率を有する物標の領域に基づいて前記第2の停止位置を決定する。
この実施形態によれば、複数の物標が存在する場合に最も可能性の高い物標から停止位置を決定することができる。
11.上述の実施形態では、
前記決定手段は、撮影画像において識別される複数の物標の領域に対して、停止位置である確率を示す確率分布を算出し、高い確率を有する所定数の複数の物標の領域を候補として、候補の物標までの距離に応じて第二の停止位置を決定する。
前記決定手段は、撮影画像において識別される複数の物標の領域に対して、停止位置である確率を示す確率分布を算出し、高い確率を有する所定数の複数の物標の領域を候補として、候補の物標までの距離に応じて第二の停止位置を決定する。
この実施形態によれば、遠くにある最も確率が高い領域(第1の候補)と、近くにある最大確率より少しだけ確率が低い領域(第2の候補)があった際に、停止位置を近い方に合わせるような柔軟な停止位置の決定が可能になる。
12.上述の実施形態では、
前記決定手段は、前記決定された停止位置に向かって前記移動体が走行する間に、前記発話取得手段が他の目的地又は他の物標に係る指示情報を取得した場合、走行を継続しながら、他の目的地又は他の物標に係る新たな停止位置を決定する。
前記決定手段は、前記決定された停止位置に向かって前記移動体が走行する間に、前記発話取得手段が他の目的地又は他の物標に係る指示情報を取得した場合、走行を継続しながら、他の目的地又は他の物標に係る新たな停止位置を決定する。
この実施形態によれば、移動体の走行を継続しながら、停止位置の調整を行うことができる。
13.上述の実施形態では、
前記決定手段は、前記決定された停止位置に向かって前記移動体が走行する間に、前記発話取得手段が他の目的地又は他の物標に係る指示情報を取得した場合、他の目的地又は他の物標を絞り込むための追加の指示情報を前記通信装置に送信する。
前記決定手段は、前記決定された停止位置に向かって前記移動体が走行する間に、前記発話取得手段が他の目的地又は他の物標に係る指示情報を取得した場合、他の目的地又は他の物標を絞り込むための追加の指示情報を前記通信装置に送信する。
この実施形態によれば、識別すべき物標を絞り込むための対話をユーザとの間で行うことができ、ユーザの意図する停止位置を精度よく特定することが可能になる。
14.上述の実施形態では、
前記第1の停止位置は、特定の地理座標を基準とした位置からの物標の位置である絶対位置で定められ、
前記第2の停止位置は、前記移動体の座標系からみた前記物標の相対的な位置である相対位置で定められる。
前記第1の停止位置は、特定の地理座標を基準とした位置からの物標の位置である絶対位置で定められ、
前記第2の停止位置は、前記移動体の座標系からみた前記物標の相対的な位置である相対位置で定められる。
この実施形態によれば、移動体とユーザとが近づいた後は、画像を通した停止位置の見え方と親和性の高い座標系を処理を行うことができる。
15.上述の実施形態では、
前記指示取得手段は、前記指示情報をユーザの発話情報に基づき取得する。
前記指示取得手段は、前記指示情報をユーザの発話情報に基づき取得する。
この実施形態によれば、ユーザは指示情報を、発話によって容易に提供することが可能になる。
16.上述の実施形態では、
前記移動体は超小型モビリティである。
16.上述の実施形態では、
前記移動体は超小型モビリティである。
この実施形態によれば、手軽な移動手段を利用することができる。
17.上述の実施形態では、
ユーザの指示に基づき移動体の停止位置を調整する、移動体の制御方法であって、
ユーザの指示情報を取得することと、
前記移動体において撮影される撮影画像を取得することと、
前記移動体の停止位置を決定することと、
前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御することと、を含み、
前記移動体の停止位置を決定することは、(i)ユーザの使用する通信装置の位置情報、又は、前記ユーザの第1の指示情報に含まれる目的地に対応する位置情報を用いて第1の停止位置を決定し、(ii)前記移動体の走行により前記移動体の位置が前記第1の停止位置から所定の距離以内となったことに応じて、前記ユーザの第2の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第2の停止位置を決定することを含む、移動体の制御方法が提供される。
ユーザの指示に基づき移動体の停止位置を調整する、移動体の制御方法であって、
ユーザの指示情報を取得することと、
前記移動体において撮影される撮影画像を取得することと、
前記移動体の停止位置を決定することと、
前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御することと、を含み、
前記移動体の停止位置を決定することは、(i)ユーザの使用する通信装置の位置情報、又は、前記ユーザの第1の指示情報に含まれる目的地に対応する位置情報を用いて第1の停止位置を決定し、(ii)前記移動体の走行により前記移動体の位置が前記第1の停止位置から所定の距離以内となったことに応じて、前記ユーザの第2の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第2の停止位置を決定することを含む、移動体の制御方法が提供される。
この実施形態によれば、この実施形態によれば、ユーザと移動体との間で移動体の停止位置を柔軟に調整することが可能になる。
100…車両、120…通信装置、30…制御ユニット、413…ユーザデータ取得部、414…音声情報処理部、415…画像情報処理部、416…停止位置決定部
Claims (21)
- ユーザの指示に基づき移動体の停止位置を調整する、移動体の制御装置であって、
ユーザの指示情報を取得する指示取得手段と、
前記移動体において撮影される撮影画像を取得する画像取得手段と、
前記移動体の停止位置を決定する決定手段と、
前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御する制御手段と、を含み、
前記決定手段は、(i)ユーザの使用する通信装置の位置情報、又は、前記ユーザの第1の指示情報に含まれる目的地に対応する位置情報を用いて第1の停止位置を決定し、(ii)前記移動体の走行により前記移動体の位置が前記第1の停止位置から所定の距離以内となったことに応じて、前記ユーザの第2の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第2の停止位置を決定する、ことを特徴とする移動体の制御装置。 - 前記決定手段は、前記ユーザの前記第2の指示情報から前記所定の物標の指定を識別したうえで、前記所定の物標の領域を前記撮影画像から識別することにより、前記第2の停止位置を決定する、ことを特徴とする請求項1に記載の移動体の制御装置。
- 前記決定手段は、前記ユーザの指示情報と前記撮影画像に基づいて前記撮影画像内のユーザを特定したうえで、前記ユーザの前記第2の指示情報と前記撮影画像で識別されるユーザの行動とに基づいて前記所定の物標の領域を前記撮影画像から識別することにより、前記第2の停止位置を決定する、ことを特徴とする請求項1に記載の移動体の制御装置。
- 前記決定手段は、迎えの要求を含む指示情報を受け付けたことに応じて、前記通信装置の位置情報を用いて前記第1の停止位置を決定する、ことを特徴とする請求項1から3のいずれか1項に記載の移動体の制御装置。
- 前記決定手段は、迎えの要求と前記目的地とを含む1以上の指示情報を用いて、前記第1の停止位置を決定する、ことを特徴とする請求項1から3のいずれか1項に記載の移動体の制御装置。
- 前記制御手段は、前記移動体の位置が前記第1の停止位置から所定の距離以内となったことに応じて、所定の基準に従って低下させた走行速度で前記移動体を走行させる、ことを特徴とする請求項1から5のいずれか1項に記載の移動体の制御装置。
- 前記制御手段は、前記移動体の位置から前記所定の物標の位置までの距離に応じて、前記走行速度を低下させる、ことを特徴とする請求項6に記載の移動体の制御装置。
- 前記決定手段は、撮影画像において識別される1つ以上の物標の領域に対して、停止位置である確率を示す確率分布を算出して、最も高い確率を有する物標の領域に基づいて前記第2の停止位置を決定し、
前記制御手段は、前記第2の停止位置に対応する物標に付与された確率が低いほど、走行速度を低くする、ことを特徴とする請求項6に記載の移動体の制御装置。 - 前記決定手段は、撮影画像において識別される1つ以上の物標の領域に対して、停止位置である確率を示す確率分布を算出して、最も高い確率を有する物標の領域に基づいて前記第2の停止位置を決定し、
前記制御手段は、前記第2の停止位置に対応する物標に付与された確率が高いほど、前記所定の基準に従って低下させた走行速度より高くなるように走行速度を制御する、ことを特徴とする請求項6に記載の移動体の制御装置。 - 前記決定手段は、撮影画像において識別される1つ以上の物標の領域に対して、停止位置である確率を示す確率分布を算出し、最も高い確率を有する物標の領域に基づいて前記第2の停止位置を決定する、ことを特徴とする請求項1から7のいずれか1項に記載の移動体の制御装置。
- 前記決定手段は、撮影画像において識別される複数の物標の領域に対して、停止位置である確率を示す確率分布を算出し、高い確率を有する所定数の複数の物標の領域を候補として、候補の物標までの距離に応じて第二の停止位置を決定する、ことを特徴とする請求項1から7のいずれか1項に記載の移動体の制御装置。
- 前記決定手段は、前記決定された停止位置に向かって前記移動体が走行する間に、前記指示取得手段が他の目的地又は他の物標に係る指示情報を取得した場合、走行を継続しながら、他の目的地又は他の物標に係る新たな停止位置を決定する、ことを特徴とする請求項1から11のいずれか1項に記載の移動体の制御装置。
- 前記決定手段は、前記決定された停止位置に向かって前記移動体が走行する間に、前記指示取得手段が他の目的地又は他の物標に係る指示情報を取得した場合、他の目的地又は他の物標を絞り込むための追加の指示情報を前記通信装置に送信する、ことを特徴とする請求項1から12のいずれか1項に記載の移動体の制御装置。
- 前記第1の停止位置は、特定の地理座標を基準とした位置からの物標の位置である絶対位置で定められ、
前記第2の停止位置は、前記移動体の座標系からみた前記物標の相対位置で定められる、ことを特徴とする請求項1から13のいずれか1項に記載の移動体の制御装置。 - 前記指示取得手段は、前記指示情報をユーザの発話情報に基づき取得する、ことを特徴とする請求項1から14のいずれか1項に記載の移動体の制御装置。
- 前記移動体は超小型モビリティである、ことを特徴とする請求項1から15のいずれか1項に記載の移動体の制御装置。
- ユーザの指示に基づき移動体の停止位置を調整する、移動体の制御方法であって、
ユーザの指示情報を取得することと、
前記移動体において撮影される撮影画像を取得することと、
前記移動体の停止位置を決定することと、
前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御することと、を含み、
前記移動体の停止位置を決定することは、(i)ユーザの使用する通信装置の位置情報、又は、前記ユーザの第1の指示情報に含まれる目的地に対応する位置情報を用いて第1の停止位置を決定し、(ii)前記移動体の走行により前記移動体の位置が前記第1の停止位置から所定の距離以内となったことに応じて、前記ユーザの第2の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第2の停止位置を決定することを含む、ことを特徴とする移動体の制御方法。 - ユーザの指示に基づき停止位置を調整する移動体であって、
ユーザの指示情報を取得する発話取得手段と、
前記移動体において撮影される撮影画像を取得する画像取得手段と、
前記移動体の停止位置を決定する決定手段と、
前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御する制御手段と、を含み、
前記決定手段は、(i)ユーザの使用する通信装置の位置情報、又は、前記ユーザの第1の指示情報に含まれる目的地に対応する位置情報を用いて第1の停止位置を決定し、(ii)前記移動体の走行により前記移動体の位置が前記第1の停止位置から所定の距離以内となったことに応じて、前記ユーザの第2の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第2の停止位置を決定する、ことを特徴とする移動体。 - ユーザの指示に基づき移動体の停止位置を調整する、情報処理装置において実行される情報処理方法であって、
ユーザの指示情報を取得することと、
前記移動体において撮影される撮影画像と前記移動体の位置情報とを、前記移動体から取得することと、
前記移動体の停止位置を決定することと、
前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御する制御命令を前記移動体に送信することと、を含み、
前記移動体の停止位置を決定することは、(i)ユーザの使用する通信装置の位置情報、又は、前記ユーザの第1の指示情報に含まれる目的地に対応する位置情報を用いて第1の停止位置を決定し、(ii)前記移動体の走行により前記移動体の位置が前記第1の停止位置から所定の距離以内となったことに応じて、前記ユーザの第2の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第2の停止位置を決定することを含む、ことを特徴とする情報処理方法。 - コンピュータを、請求項1から16のいずれか1項に記載の移動体の制御装置の各手段として機能させるためのプログラム。
- 請求項1から16のいずれか1項に記載の移動体の制御装置の各手段としてコンピュータを機能させるためのプログラムを格納する記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/014966 WO2023187890A1 (ja) | 2022-03-28 | 2022-03-28 | 移動体の制御装置、移動体の制御方法、移動体、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/014966 WO2023187890A1 (ja) | 2022-03-28 | 2022-03-28 | 移動体の制御装置、移動体の制御方法、移動体、情報処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023187890A1 true WO2023187890A1 (ja) | 2023-10-05 |
Family
ID=88199645
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/014966 WO2023187890A1 (ja) | 2022-03-28 | 2022-03-28 | 移動体の制御装置、移動体の制御方法、移動体、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023187890A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019067012A (ja) * | 2017-09-29 | 2019-04-25 | 日本電気株式会社 | 車両制御装置、車両、及び自動配車方法 |
JP2020135113A (ja) * | 2019-02-14 | 2020-08-31 | トヨタ自動車株式会社 | 走行制御装置および走行制御方法 |
WO2021100190A1 (ja) * | 2019-11-22 | 2021-05-27 | 三菱電機株式会社 | 合流支援装置、合流支援システム、及び、合流支援方法 |
JP2021177283A (ja) * | 2020-05-07 | 2021-11-11 | トヨタ自動車株式会社 | 自動運転車両の制御装置、配車システム、及び配車方法 |
-
2022
- 2022-03-28 WO PCT/JP2022/014966 patent/WO2023187890A1/ja unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019067012A (ja) * | 2017-09-29 | 2019-04-25 | 日本電気株式会社 | 車両制御装置、車両、及び自動配車方法 |
JP2020135113A (ja) * | 2019-02-14 | 2020-08-31 | トヨタ自動車株式会社 | 走行制御装置および走行制御方法 |
WO2021100190A1 (ja) * | 2019-11-22 | 2021-05-27 | 三菱電機株式会社 | 合流支援装置、合流支援システム、及び、合流支援方法 |
JP2021177283A (ja) * | 2020-05-07 | 2021-11-11 | トヨタ自動車株式会社 | 自動運転車両の制御装置、配車システム、及び配車方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200307648A1 (en) | Parking lot management device, parking lot management method, and storage medium | |
US11709490B1 (en) | Behavior and intent estimations of road users for autonomous vehicles | |
KR102219595B1 (ko) | 자율 차량들의 승객 픽업 배치 | |
US20200361462A1 (en) | Vehicle control device, terminal device, parking lot management device, vehicle control method, and storage medium | |
CN115175841A (zh) | 自主车辆的行为规划 | |
JP2019206327A (ja) | 自動運転車両の軌道の生成方法 | |
JP2019194073A (ja) | 自動運転車の軌跡候補を評価するための方法 | |
JP2020512635A (ja) | 自動運転乗り物のための動的センサ選択 | |
JP7195161B2 (ja) | 案内システム、案内方法、およびプログラム | |
JP2016095851A (ja) | 自律的な乗客用の乗り物のためのコンピューティング装置、コンピュータにより実施される方法及びシステム | |
US11372417B2 (en) | Method for predicting exiting intersection of moving obstacles for autonomous driving vehicles | |
US11613254B2 (en) | Method to monitor control system of autonomous driving vehicle with multiple levels of warning and fail operations | |
US20220315062A1 (en) | Information processing apparatus, control apparatus for moving body, method of controlling information processing apparatus, and method of controlling moving body | |
CN111731295B (zh) | 行驶控制装置、行驶控制方法以及存储程序的存储介质 | |
US20220044337A1 (en) | Management device, management system, and management method | |
US11225228B2 (en) | Method for enhancing in-path obstacle detection with safety redundancy autonomous system | |
US20190263262A1 (en) | Vehicle control system, vehicle control method, and vehicle control program | |
US11254326B2 (en) | Automatic comfort score system based on human driving reference data | |
KR102359497B1 (ko) | 단일 차량 동작용으로 설계된 자율 주행 시스템에 따른 차량 플래툰 구현 | |
WO2020000396A1 (en) | Theft proof techniques for autonomous driving vehicles used for transporting goods | |
US20220319514A1 (en) | Information processing apparatus, information processing method, mobile object control device, and mobile object control method | |
US20230298340A1 (en) | Information processing apparatus, mobile object, control method thereof, and storage medium | |
WO2023187890A1 (ja) | 移動体の制御装置、移動体の制御方法、移動体、情報処理方法及びプログラム | |
US20220314987A1 (en) | Mobile object control device and mobile object control method | |
JP2023135479A (ja) | 移動体の制御装置、移動体の制御方法、移動体、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22935045 Country of ref document: EP Kind code of ref document: A1 |