WO2022113707A1 - 情報処理装置、自律移動装置、情報処理方法及びプログラム - Google Patents
情報処理装置、自律移動装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- WO2022113707A1 WO2022113707A1 PCT/JP2021/040909 JP2021040909W WO2022113707A1 WO 2022113707 A1 WO2022113707 A1 WO 2022113707A1 JP 2021040909 W JP2021040909 W JP 2021040909W WO 2022113707 A1 WO2022113707 A1 WO 2022113707A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information processing
- unit
- environmental
- control model
- information
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 56
- 238000003672 processing method Methods 0.000 title claims description 7
- 230000007613 environmental effect Effects 0.000 claims abstract description 145
- 238000000034 method Methods 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 20
- 238000010801 machine learning Methods 0.000 claims description 16
- 238000004088 simulation Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 230000003068 static effect Effects 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 abstract description 3
- 230000033001 locomotion Effects 0.000 description 86
- 238000004891 communication Methods 0.000 description 48
- 238000001514 detection method Methods 0.000 description 45
- 238000012545 processing Methods 0.000 description 41
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 12
- 238000012546 transfer Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- YIWGJFPJRAEKMK-UHFFFAOYSA-N 1-(2H-benzotriazol-5-yl)-3-methyl-8-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carbonyl]-1,3,8-triazaspiro[4.5]decane-2,4-dione Chemical compound CN1C(=O)N(c2ccc3n[nH]nc3c2)C2(CCN(CC2)C(=O)c2cnc(NCc3cccc(OC(F)(F)F)c3)nc2)C1=O YIWGJFPJRAEKMK-UHFFFAOYSA-N 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- VCUFZILGIRCDQQ-KRWDZBQOSA-N N-[[(5S)-2-oxo-3-(2-oxo-3H-1,3-benzoxazol-6-yl)-1,3-oxazolidin-5-yl]methyl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C1O[C@H](CN1C1=CC2=C(NC(O2)=O)C=C1)CNC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F VCUFZILGIRCDQQ-KRWDZBQOSA-N 0.000 description 1
- JAWMENYCRQKKJY-UHFFFAOYSA-N [3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-ylmethyl)-1-oxa-2,8-diazaspiro[4.5]dec-2-en-8-yl]-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]methanone Chemical compound N1N=NC=2CN(CCC=21)CC1=NOC2(C1)CCN(CC2)C(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F JAWMENYCRQKKJY-UHFFFAOYSA-N 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
Definitions
- This disclosure relates to an information processing device, an autonomous mobile device, an information processing method and a program.
- An autonomous mobile system that uses an autonomous mobile device such as an AGV (Automatic Guided Vehicle) will be introduced in a human coexistence environment, a complicated environment, or an unknown environment such as a factory or an exhibition hall.
- the user needs to adjust and set the operation parameters, the route, the environment, and the like in order to realize the desired operation of the autonomous mobile device.
- This setting work requires various operations and is a complicated work for the user.
- Patent Document 1 has been proposed as a means for avoiding this complicated work.
- the autonomous mobile device is made to perform a desired operation according to the surrounding environment (peripheral situation) of the autonomous mobile device. That is, the setting work remains a complicated work for the user, and it is difficult to make the setting related to the autonomous movement control.
- the present disclosure provides an information processing device, an autonomous mobile device, an information processing method, and a program that can easily make settings related to autonomous movement control.
- One form of the information processing apparatus includes a control model setting unit that sets a control model for the autonomous mobile device for each scene determined based on the environmental characteristics extracted from the surrounding environment of the autonomous mobile device. ..
- each of one or more embodiments (including examples and modifications) described below can be implemented independently.
- at least a part of the plurality of embodiments described below may be carried out in combination with at least a part of other embodiments as appropriate.
- These plurality of embodiments may contain novel features that differ from each other. Therefore, these plurality of embodiments may contribute to solving different purposes or problems, and may have different effects. It should be noted that the effects in each embodiment are merely examples and are not limited, and other effects may be obtained.
- First Embodiment 1-1 Schematic configuration example of an autonomous mobile system 1-2. Autonomous movement processing 1-3. Environmental feature extraction 1-4. Scenes and rules 1-5. Control model 1-6. First processing example 1-7. Second processing example 1-8. First display example 1-9. Second display example 1-10. Action / effect 2. Second embodiment 3. Other embodiments 4. Hardware configuration 5. Application example 6. Addendum
- FIG. 1 is a block diagram showing a schematic configuration example of the autonomous mobile system 1 according to the first embodiment.
- the autonomous movement system 1 includes an autonomous movement control device 10 and a user input / output device 20.
- the autonomous movement system 1 is a system that controls an autonomous movement device 30 that can move autonomously, such as an AGV (automated guided vehicle).
- the autonomous mobile system 1 is configured to be able to communicate with the autonomous mobile device 30 via radio, for example.
- the autonomous mobile system 1 may include an autonomous mobile device 30.
- the autonomous movement control device 10 has an environmental feature extraction unit 11, a scene determination unit 12, a control model setting unit 13, and a motion control unit (control unit) 14. Further, the user input / output device 20 has a rule input unit 21, a control model input unit 22, and a display unit 23.
- the environmental feature extraction unit 11 describes the surrounding environment of the autonomous mobile device 30 as an environmental feature based on the input observation information and task information, and extracts the environmental feature from the surrounding environment.
- the environmental characteristics will be described in detail later.
- the observation information is, for example, information regarding the physical state around the autonomous mobile device 30.
- This observation information is input from, for example, a sensor included in the autonomous mobile device 30, a sensor installed in a factory, an exhibition, or the like.
- the sensor for example, LIDAR (Light Detection and Ringing, Laser Imaging Detection and Ringing), RGB camera, IMU (Inertial Measurement Unit) and the like are used.
- the observation information include log information obtained from sensors such as LIDAR, RGB cameras, and IMUs, and log information of control command values.
- Task information is, for example, information related to tasks such as routes, destinations, and actions. This task information is input from, for example, the autonomous mobile device 30, or is input from another input device. Examples of the task include various tasks such as "carrying luggage to a destination along a predetermined route”.
- the rule input unit 21 inputs a rule to the autonomous movement control device 10 in response to an input operation from the user.
- the user can classify the environment according to his / her preference by the rule input unit 21.
- a rule for example, there is a rule that "if a predetermined environmental feature amount is 0.5 or more, the environment is a scene with poor visibility". The rules will be described in detail later.
- the scene determination unit 12 dynamically determines the scene according to the environmental features extracted by the environmental feature extraction unit 11 and the rules input by the rule input unit 21. That is, the scene determination unit 12 changes the scene according to the environmental characteristics and rules. Examples of the scene include "a scene with poor visibility”. The details of the scene will be described later.
- the scene determination unit 12 stores in the memory the correspondence relationship between the environmental features and the scenes, that is, the scenes corresponding to the environmental features for each environmental feature.
- the scene determination unit 12 selects and determines a scene corresponding to the extracted environmental feature from the scenes for each stored environmental feature based on the extracted environmental feature and the input rule.
- the memory for example, a non-volatile memory such as a flash memory or a hard disk drive is used.
- the control model input unit 22 inputs a control model and a scene in which the control model is used to the autonomous movement control device 10 in response to an input operation from the user.
- the user can set a control model (for example, a control parameter) according to the scene.
- the control model setting unit 13 sets the control model according to the scene determined by the scene determination unit 12. For example, the control model setting unit 13 dynamically changes the control model according to changes in the scene. Examples of the control model include a "model for a narrow space”.
- control model setting unit 13 stores the correspondence between the scene and the control model, that is, the control model corresponding to the scene for each scene in the memory.
- the control model setting unit 13 selects and uses a control model corresponding to the determined scene from the stored control models for each scene.
- the memory for example, a non-volatile memory such as a flash memory or a hard disk drive is used.
- the motion control unit 14 controls the autonomous moving device 30.
- the motion control unit 14 generates a control command value for controlling the autonomous movement device 30 based on a control model (for example, a control parameter) set by the control model setting unit 13, and causes the autonomous movement device 30 to generate a control command value. Send. This controls the operation of the autonomous mobile device 30.
- a control model for example, a control parameter
- the display unit 23 displays various information.
- the display unit 23 has various information obtained from each unit such as the environment feature extraction unit 11, the scene determination unit 12, the control model setting unit 13, and the motion control unit 14, for example, the environment, environment features, scenes, control models, and the like. Display the history information of. This makes it easier for the user to manage the effects and side effects of changing the scene and control model when making settings.
- each functional unit such as the above-mentioned environmental feature extraction unit 11, scene determination unit 12, control model setting unit 13, motion control unit 14, rule input unit 21, control model input unit 22, and display unit 23 is hardware. And / or software may be configured, and the configuration thereof is not particularly limited.
- each of the above-mentioned functional units is realized by a computer such as a CPU (Central Processing Unit) or an MPU (Micro Control Unit), a program stored in advance in ROM is executed using RAM or the like as a work area. good.
- each functional unit may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array).
- a display device such as a liquid crystal display or an organic EL (Electro-Luminescence) display may be used.
- the above-mentioned autonomous movement control device 10 and user input / output device 20 may be realized by a terminal device capable of communicating with the autonomous mobile device 30.
- the autonomous movement control device 10 may be realized by cloud computing
- the user input / output device 20 may be realized by a terminal device capable of communicating with cloud computing.
- the terminal device for example, various electronic devices such as a notebook PC (Personal Computer), a desktop PC, a smartphone, a tablet terminal, a mobile phone, and a PDA (Personal Digital Assistant) are used.
- FIG. 2 is a flowchart showing the flow of autonomous movement processing according to the first embodiment.
- the environmental feature extraction unit 11 acquires observation information from the sensor (step S1), and extracts environmental features from the current environment based on the observation information and task information (step S2).
- the scene determination unit 12 determines a scene according to the extracted environmental features and the input rules (step S3).
- the control model setting unit 13 determines whether or not a scene transition is necessary (step S4).
- step S5 When the control model setting unit 13 determines that the scene transition is not necessary (NO in step S4), the motion control unit 14 generates a control command value based on the current control model (step S5). This control command value is input to the autonomous mobile device 30.
- step S6 when the control model setting unit 13 determines that the transition of the scene is necessary (YES in step S4), the control model is switched based on the transitioned scene (step S6), and the motion control unit 14 is switched. A control command value based on the control model is generated (step S5). This control command value is input to the autonomous mobile device 30.
- the motion control unit 14 determines whether or not the task has been accomplished (step S7). When the motion control unit 14 determines that the task has not been accomplished (NO in step S7), the process returns to step S1.
- This control loop is a control loop with a period of several msec to several sec. On the other hand, when the motion control unit 14 determines that the task has been accomplished (YES in step S7), the motion control unit 14 ends the process.
- the observation information is three-dimensional such as LIDAR. Obstacle position information in the environment using the measuring instrument is input to the autonomous movement control device 10. Further, as task information, a route, a destination (destination), a speed command, and the like are input to the autonomous movement control device 10.
- the environmental feature extraction unit 11 extracts the environmental feature and inputs it to the scene determination unit 12.
- the scene determination unit 12 determines what kind of environmental feature (for example, the amount of environmental feature) corresponds to which scene by referring to the information in the memory.
- control model setting unit 13 determines which control model to use for the scene by referring to the information in the memory.
- the individual information in each memory is information that can be changed by the user for each use case.
- the motion control unit 14 determines the motion using the control model, and outputs a control command value for controlling the autonomous moving device 30.
- control model set (control parameter set) may be defined by the weight of the evaluation function, the update frequency, the calculation amount, and the like.
- evaluation function the cost for being low in speed and the cost for being close to an obstacle are set.
- the information in the memory of the control model setting unit 13 is set so as to select the control parameter whose value is updated frequently.
- control model set may be changed according to the use case. Even if the scene has the same amount of environmental features, the required movement will change depending on the use case. For example, in an environment where people are known to avoid objects in advance (for example, when they collaborate with robots on a daily basis in factories, etc.), a control model set with a low cost of approaching obstacles is prepared. You may. On the other hand, in an environment where people do not know how to move (for example, when many people touch the robot for the first time in entertainment), a control model set that costs a lot to approach an obstacle may be prepared. ..
- the autonomous mobile system 1 for adjusting control parameters. For example, if there is a scene that does not move ideally when moved in the environment using a certain control model, check which environmental feature is different from the scene that moves ideally. Then, a new control model with adjusted control parameters may be created, and the memory of the control model setting unit 13 may be set according to the correspondence with the scene. When the autonomous mobile device 30 collides with an obstacle that pops out at a corner, the update frequency is increased in a scene such as a corner that has an environmental feature that there is a possibility that a dynamic obstacle pops out. A control model may be prepared and the correspondence between the scene and the control model may be registered in the memory of the control model setting unit 13.
- the environmental feature extraction unit 11 describes the environment by machine learning technology (machine learning method) and extracts the amount of environmental features. For example, the environmental feature extraction unit 11 performs mapping by inputting "observation information and task information" and outputting "probability of a plurality of dimensions (for example, two-dimensional or three-dimensional) of the environmental feature amount". It is an extractor (vectorization). This feature amount extractor is realized by configuring it with a function approximator such as a neural network, for example.
- a function approximator such as a neural network
- machine learning technique is not limited to neural networks, but other machine learning such as support vector machines and recursive neural networks can also be adopted. Moreover, not only supervised learning but also non-supervised learning and semi-supervised learning can be adopted. In addition, observation information and the like can be used in each learning.
- a label may be attached with information from an external sensor.
- the application result of a complicated rule that takes a long time to be executed may be used as a label, and a feature extractor may be configured as a role of approximating the label.
- a feature extractor may be configured as a role of approximating the label.
- the environmental feature amount expresses the environment according to the definitions shown in FIGS. 3 to 5 and expresses the likelihood of each item (for example, a vector value of 0.0 to 1.0).
- This environmental feature amount may include, for example, at least one of map information, static environmental information, and dynamic environmental information.
- environmental feature quantities are defined.
- Fig. 3 there is an environmental feature that expresses the environment according to the definition of "based on map information-> the area is determined by coordinates", and the definition is "based on map information-> related to unknown areas-> inconsistency with the map”.
- environmental features that express the environment according to. In this way, environmental features are defined hierarchically.
- the environmental feature amount corresponding to the environment around the autonomous mobile device 30 is automatically obtained by the environmental feature extraction unit 11 based on the observation information and the task information.
- the images acquired from the RGB camera are labeled in advance and taught by teachers to extract characteristics such as places such as airports and poor road surface conditions. It is possible to change the control method from the semantics assumed from the characteristics.
- FIG. 3 is a diagram for explaining the definition of the environmental feature amount according to the first embodiment.
- the scene is a classification of the environment according to the rules defined by the user.
- the user specifies a preferred control model for this classified scene.
- the rules classify the environment. This rule is described in the form of, for example, a condition according to the likelihood of each environmental feature with respect to the environmental feature, and classifies the current environment.
- the user creates a rule for the environmental features. For example, the user defines a rule that "if the environmental feature amount is 0.5 or more, the environment is a scene with poor visibility”. By this rule, the environment is classified as a "scene with poor visibility”.
- the user wants to manage the movement of the robot in a place with "poor visibility", “according to the static environment (topography, etc.)” in the environmental features shown in Fig. 3 ⁇ based on the judgment from the observation information ⁇ regarding occlusion ⁇
- the environmental feature amount (having a likelihood of 0.0 to 1.0 as defined by the environmental feature) of "Occupancy filling (the number of free pixels on the Occupancy grid)" is selected by the rule input unit 21.
- the user inputs the rule that "if the environmental feature amount is 0.5 or more, the environment is a scene with poor visibility" by the rule input unit 21. This is the definition of "a scene with poor visibility”.
- the control model set by default is used. It should be noted that the scene may be defined using a plurality of environmental features.
- Control model> The control model according to the first embodiment will be described with reference to FIG.
- FIG. 6 is a diagram for explaining the definition of the control parameter according to the first embodiment.
- the control model is determined by the method for performing control and the control parameters (for example, parameter values) that determine the characteristics of the method.
- the method may be a well-known method such as the following algorithm example, or may be configured by a machine learning technique (machine learning method).
- the user inputs the control model corresponding to the scene through the control model input unit 22.
- the control model setting unit 13 stores the correspondence between the rule and the control model, and plays a role of switching the control model depending on the environment.
- Examples of algorithms include those that perform route planning, general methods for route search (for example, A *: A-star, Hybrid A *, potential method, etc.), those that perform motion control, and those that perform trajectory simulation (rollout). (For example, DWA and MPC (Model Predictive Control)) and the like can be mentioned.
- other methods may include an end-to-end method composed of machine learning, and may include a method of performing route planning and motion control at the same time.
- DWA simulates the trajectory that the vehicle will follow if it actually takes several actions for a few seconds, and the result is whether it is close to the target point, how far it is from the route, or collision with an obstacle. It is a model that controls movement by allocating costs to criteria such as whether or not there is.
- machine learning technology As an example of machine learning technology (machine learning method), it is possible to adopt machine learning such as neural networks, support vector machines, and recursive neural networks. Moreover, it is possible to adopt not only supervised learning but also non-supervised learning and semi-supervised learning. In addition, observation information and the like can be used in each learning.
- the user can set the catalog and custom settings to set the control model.
- the user may select a control model from the catalog (pre-installed model of specific algorithms and parameters).
- the control model registered in the catalog includes, for example, a method and a parameter defined in a form having a certain characteristic.
- the custom setting the user may be aware of a specific movement and directly specify a method or a parameter. It also includes adjusting control parameters related to that particular movement, or setting values that have similar effects.
- Examples of the control model catalog include the default, a model for narrow spaces (a model in which the maximum speed is suppressed to 0.3 m / sec and the target portion goal is 1 meter in front to improve the path followability), and the autonomous movement device 30.
- a model that moves gracefully on a route in a wide place (a model in which the rollout time is set to a longer 10 seconds and the parameter with the minimum degree is increased), and a model in which the autonomous moving device 30 keeps a distance from a person in a crowd (a person)
- a model that stops when a person approaches the autonomous mobile device 30 a model that increases the cost of leaving the route and increases the speed penalty when the distance from the person is short
- the autonomous mobile device 30 does not leave the route at all and stops with an emphasis on safety.
- the above-mentioned default is a model in which the autonomous mobile device 30 operates relatively stably in many environments.
- the default is to create a data set of orbits that many users consider to be good, and set control parameters that satisfy many orbits on average, assuming data that reflects the user's intentions and various environments.
- the control parameters are determined by using a method such as using a model of the result of searching the control parameters statistically or using machine learning with the assumption as an input.
- the control parameter may be a fixed parameter recommended by a craftsman. However, in that case, it often works worse than a model specialized for a specific environment.
- the control parameter indicates the parameter (operation parameter) related to the control model according to the definition shown in FIG.
- control parameters are defined.
- the control parameters are defined hierarchically.
- the control command value corresponding to the control parameter is automatically obtained by the motion control unit 14 based on the control model.
- control model that is, the control parameter is used for two-dimensional autonomous movement control
- the present invention is not limited to this.
- the control parameter is extended to three dimensions to be three-dimensional. It may be used for autonomous movement control of. In this case, it is possible to apply control parameters to movement control related to three-dimensional autonomous movement such as drones and airplanes.
- the first processing example according to the first embodiment will be described with reference to FIGS. 7 to 9.
- the first processing example is a processing example in which the user changes the control mode based on the environmental characteristics.
- 7 to 9 are diagrams for explaining a first processing example according to the first embodiment.
- the transfer robot which is an example of the autonomous mobile device 30 in an office or a shopping center, travels.
- the user defines a "poor visibility” scene with the rule "area in which the Occupancy of environmental features is 0.5 or more”, and the catalog is displayed only in that scene. Changed the setting to use "model for narrow space”. As a result, the desired movement could be achieved (see the dotted line in FIG. 9).
- Second processing example> A second processing example according to the first embodiment will be described with reference to FIGS. 10 and 11.
- the second processing example is a processing example (example in a human coexistence environment) in which the user changes the control mode based on the environmental characteristics.
- 10 and 11 are diagrams for explaining a second processing example according to the first embodiment.
- a transfer robot which is an example of an autonomous mobile device 30 in an underground unloading place where a pillar (see a square in FIG. 10) is present at a distribution site, is assumed.
- the user sets the environmental feature "Occupancy filling degree” as the list 1 for the environmental feature list, and "Occupancy filling degree> 0.5 as the scene 1 for the rule and the scene.
- ", And set the” model for narrow places “as the control model corresponding to the scene 1 with respect to the scene and the control model.
- the user sets the environmental feature "distance from the person” as the list 2 for the environmental feature list, and registers the rule "distance from the person ⁇ 3 m” as the scene 2 for the rule and the scene.
- a "model that stops when a person approaches” is set as a control model corresponding to the scene 2.
- the movement of the transport robot is dynamically captured as an environmental feature, such as the unusual distance to the luggage and the distance to the person. You can switch.
- the setting work for switching the movement of the transfer robot that is, the setting work of the control model is easy.
- FIG. 12 is a diagram for explaining a first display example according to the first embodiment.
- the display unit 23 displays the traveling history of the autonomous mobile device 30 and the observed environmental features on the GUI (graphic user interface) in order to make it easier for the user to grasp the environmental features in the user environment.
- the display unit 23 displays information obtained by processing observation information, likelihood of environmental features, a scene defined by a user, a travel locus of the autonomous mobile device 30 (an example of travel history), and the like.
- the display unit 23 includes an output unit 23a and an input unit 23b, as shown in FIG. These output units 23a and input units 23b are realized by, for example, a GUI.
- the display mode (first display mode) is a display mode that realizes a UI (user interface) for map display.
- the output unit 23a is an area for outputting various information in the GUI.
- the output unit 23a holds information such as a travel locus (traveled route), environmental features, a scene (scene discrimination result), and a control model (control information) of the autonomous moving device 30 in the user's environment.
- the output unit 23a appropriately displays various retained information.
- the output unit 23a displays information on the environmental features on the map in each region (location) on the traveling locus.
- the input unit 23b is an area for inputting various information (for example, environmental features, rules and scenes, scenes and control models, etc.) in the GUI.
- the user inputs an environmental feature (candidate), a rule and a scene for the environmental feature, and a control model used in the scene by the input unit 23b.
- An environmental feature (for example, an environmental feature amount) is input by the user in the input area R1 of the input unit 23b.
- two environmental feature quantities are input as the environmental feature list.
- a plurality of environmental features (for example, hundreds to thousands and hundreds) are set in the pull-down list in advance, and the environmental features are selected and input from this pull-down list.
- the user operates the rule input unit 21 to make a selection.
- the user may operate the rule input unit 21 to directly input the environmental feature amount into the input area R1.
- Occupancy filling degree is input as the environmental feature list, and the feature area for the filling degree is divided according to the numerical values of 0.3, 0.5, and 0.7. It is displayed superimposed on the traveling locus A1.
- the characteristic region T1 is a region in which the filling degree of Occupancy is 0.3 or more.
- the characteristic region T2 is a region in which the filling degree of Occupancy is 0.5 or more.
- the characteristic region T3 is a region in which the filling degree of Occupancy is 0.7 or more.
- "2. Turn" is input as the environmental feature list, and the feature area T4 and the feature area T5 corresponding to the turn are displayed.
- environmental features with low likelihood may be displayed at the top and recommended even in other areas (locations) on the route.
- an environmental feature having a wide area (characteristic area) related to the environmental feature on the route may be displayed at the higher level.
- the feature region T1 is wider than the feature region T4 and the feature region T5, and the feature region T4 and the feature region T5 are wider than the other feature regions. Therefore, as the environmental feature list, "1. Occupancy filling degree" and "2. Corner” may be displayed and recommended in ascending order.
- the display unit 23 draws the environmental features on the map, the environment in which the autonomous mobile device 30 has traveled, for example, the observation information (information obtained from the sensor) acquired when the autonomous mobile device 30 has traveled once. ) And the map entered in advance, the terrain is captured in the simulation environment and maintained as the simulation environment.
- the display unit 23 performs a simulation (an example of a simulation related to the running of the autonomous moving device 30) assuming the posture of the robot at the coordinates even if the own vehicle is not running. It is possible to construct a likelihood map as shown in FIG. Further, in this simulation environment, the display unit 23 displays a simulated trajectory prediction (prediction route on which the autonomous moving device 30 travels) as to how the autonomous moving device 30 travels according to the designated control model. May be good.
- the rule and the scene are input by the user in the input area R2 of the input unit 23b.
- a scene with poor visibility (occupancy filling degree> 0.5) is input.
- a plurality of rules (for example, hundreds) and scenes for those rules are set in a pull-down list in advance, and rules and scenes are selected and input from this pull-down list.
- the user operates the rule input unit 21 to make a selection.
- the user may operate the rule input unit 21 to directly input the rule and the scene in the input area R2.
- the scene and the control model are input by the user in the input area R3 of the input unit 23b.
- a "default model” is input as a control model for unclassified scenes.
- a "model for narrow spaces” is input as a control model for scenes with poor visibility.
- a plurality of scenes (for example, hundreds) and a control model for those scenes are set in a pull-down list in advance, and a control model is selected and input for each scene from this pull-down list.
- the user operates the control model input unit 22 to make a selection.
- the user may operate the control model input unit 22 to directly input the control model to the input area R3 for each scene.
- a second display mode that realizes replay of observation information (sensor information) by the sensor may be used.
- the second display mode when each scene that can be registered is determined, information such as observation information, self-position of the autonomous mobile device 30, a map, a route, etc. is retained, and the information is displayed in a moving image format. do.
- the first display mode and the second display mode may be switched by the user. In this case, the user can switch between the first display mode and the second display mode. As a result, the display mode of one's preference can be used, and the convenience of the user can be improved.
- FIG. 13 is a diagram for explaining a second display example according to the first embodiment.
- FIG. 14 is a diagram for explaining a modified example of the second display example according to the first embodiment.
- the display unit 23 includes two output units 23c and 23d and an input unit 23e, as shown in FIG. These output units 23c, 23d and input unit 23e are realized by, for example, a GUI.
- the display mode is a display mode that realizes a UI for map display.
- the output unit 23c and the output unit 23d are areas for outputting various information in the GUI.
- the output unit 23c is the same as the output unit 23a described above, and displays various information as appropriate.
- the output unit 23c displays information on environmental features (turning angle in the example of FIG. 13) on the map in each region (location) on the traveling locus A1.
- the output unit 23d functions as a recommended control model output unit that recommends a control model based on log information such as environmental features, scenes, and control models. In the example of FIG. 13, the output unit 23d displays and recommends a “model for a narrow space”.
- the input unit 23e is an area for inputting various information in the GUI.
- the input unit 23e functions as an area input unit for which the user wants to improve the movement.
- the user inputs an area on the route for which the movement of the autonomous moving device 30 is desired to be improved by the input unit 23e.
- the output unit 23d displays and recommends a control model suitable for the input area (in the example of FIG. 13, a model for a narrow place).
- the user specifies some points on the screen that are of concern by the input unit 23e, it is possible to recommend pre-registered recommended environmental features (environmental features) from the environmental features of the space.
- the correspondence between the user input / output device 20 used by the user and the scene defined by the user is stored in the cloud, and the environment and features are used from the data of the correspondence by machine learning or statistical methods.
- the correspondence between the control parameter and the control parameter preferred by the user may be extracted, and the environmental feature amount may be recommended based on the information. Further, a control model according to the user's enforcement may be recommended based on the past user's input history.
- the display unit 23 may display the prediction path A2 on which the autonomous moving device 30 travels as the trajectory prediction obtained by the above-mentioned simulation.
- the user can predict the movement route of the autonomous movement device 30 before executing the traveling of the autonomous movement device 30, and the convenience of the user can be improved.
- a control model for the autonomous mobile device 30 is provided for each scene determined based on the environmental characteristics extracted from the surrounding environment (driving environment) of the autonomous mobile device 30. It is set by the control model setting unit 13. As a result, the control model is set according to the scene, so that the setting related to the autonomous movement control can be easily performed.
- the scene is determined according to the rules entered by the user.
- This rule or modification of the control model allows adjustments to make the autonomous mobile device 30 make the desired movement.
- the user wants to introduce the autonomous mobile system 1 it is possible to define rules for environmental features, define a scene, and further set a control model (operation model) for each scene.
- the desired operation can be realized according to the user's usage environment, and the range of sites that can be introduced can be expanded.
- control parameter operation parameter
- route route
- environment etc.
- control parameter can be suppressed. Can be tuned.
- autonomous movement control it is possible to realize stable control by a high-speed execution time. That is, it becomes possible to make a judgment at high speed based on the observation information, and it is possible to realize the stabilization of control.
- by extracting environmental features using machine learning it is possible to lighten the arithmetic processing and further simplify the expressions such as rules.
- by displaying the environmental features on the map and displaying them to the user the user can make smooth adjustments, which makes it easier for the user to manage the effects and side effects.
- FIG. 15 is a block diagram showing a schematic configuration example of the autonomous mobile device 30A according to the second embodiment.
- the differences from the first embodiment will be mainly described, and other explanations will be omitted.
- the autonomous movement device 30A includes an autonomous movement control device 10 and a user input / output device 20.
- the autonomous mobile device 30A include an AGV (automated guided vehicle).
- the user input / output device 20 may be separate from the autonomous mobile device 30A. In this case, a terminal device is used as the user input / output device 20.
- the autonomous mobile device 30A alone is the same as the first embodiment. The effect can be obtained.
- each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of them may be functionally or physically distributed / physically in any unit according to various loads and usage conditions. Can be integrated and configured.
- FIG. 16 is a diagram showing a configuration example of hardware that realizes the functions of information devices such as the autonomous movement control device 10 according to each embodiment.
- the computer 500 has a CPU 510, a RAM 520, a ROM (Read Only Memory) 530, an HDD (Hard Disk Drive) 540, a communication interface 550, and an input / output interface 560. Each part of the computer 500 is connected by a bus 570.
- the CPU 510 operates based on the program stored in the ROM 530 or the HDD 540, and controls each part. For example, the CPU 510 expands the program stored in the ROM 530 or the HDD 540 into the RAM 520, and executes processing corresponding to various programs.
- the ROM 530 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 510 when the computer 500 is started, a program depending on the hardware of the computer 500, and the like.
- BIOS Basic Input Output System
- the HDD 540 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 510 and data used by the program.
- the HDD 540 is a recording medium for recording an information processing program according to the present disclosure, which is an example of program data 541.
- the communication interface 550 is an interface for the computer 500 to connect to an external network 580 (for example, the Internet).
- an external network 580 for example, the Internet.
- the CPU 510 receives data from another device or transmits data generated by the CPU 510 to another device via the communication interface 550.
- the input / output interface 560 is an interface for connecting the input / output device 590 and the computer 500.
- the CPU 510 receives data from an input device such as a keyboard or mouse via the input / output interface 560. Further, the CPU 510 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 560.
- the input / output device 590 functions as the user input / output device 20 according to each embodiment.
- the input / output interface 560 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
- media include optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable Disk), magneto-optical recording media such as MO (Magneto-Optical disk), tape media, magnetic recording media, or semiconductors.
- optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable Disk)
- magneto-optical recording media such as MO (Magneto-Optical disk), tape media, magnetic recording media, or semiconductors.
- MO Magneto-optical disk
- the CPU 510 of the computer 500 executes the information processing program loaded on the RAM 520 to execute the autonomous movement control device 10. Realize the functions of each part.
- the information processing program and data related to the present disclosure are stored in the HDD 540.
- the CPU 510 reads the program data 541 from the HDD 540 and executes the program, but as another example, these programs may be acquired from another device via the external network 580.
- the technique according to the present disclosure can be applied to various products.
- the technology according to the present disclosure is any kind of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor). It may be realized as a device mounted on the body.
- FIG. 17 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
- the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
- the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. ..
- the communication network 7010 connecting these multiple control units conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network) or FlexRay (registered trademark). It may be an in-vehicle communication network.
- CAN Controller Area Network
- LIN Local Interconnect Network
- LAN Local Area Network
- FlexRay registered trademark
- Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various arithmetic, and a drive circuit that drives various controlled devices. To prepare for.
- Each control unit is provided with a network I / F for communicating with other control units via the communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication.
- a communication I / F for performing communication is provided. In FIG.
- control unit 7600 As the functional configuration of the integrated control unit 7600, the microcomputer 7610, the general-purpose communication I / F7620, the dedicated communication I / F7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F7660, the audio image output unit 7670, The vehicle-mounted network I / F 7680 and the storage unit 7690 are illustrated.
- Other control units also include a microcomputer, a communication I / F, a storage unit, and the like.
- the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
- the drive system control unit 7100 has a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
- the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
- the vehicle state detection unit 7110 is connected to the drive system control unit 7100.
- the vehicle state detection unit 7110 may include, for example, a gyro sensor that detects the angular speed of the axial rotation motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an accelerator pedal operation amount, a brake pedal operation amount, or steering wheel steering. It includes at least one of sensors for detecting angles, engine speeds, wheel speeds, and the like.
- the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, and the like.
- the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
- the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, turn signals or fog lamps.
- a radio wave transmitted from a portable device that substitutes for a key or signals of various switches may be input to the body system control unit 7200.
- the body system control unit 7200 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
- the battery control unit 7300 controls the secondary battery 7310, which is the power supply source of the drive motor, according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 7300 from the battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature control of the secondary battery 7310 or the cooling device provided in the battery device.
- the vehicle outside information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
- the image pickup unit 7410 and the vehicle exterior information detection unit 7420 is connected to the vehicle exterior information detection unit 7400.
- the image pickup unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
- the vehicle outside information detection unit 7420 is used, for example, to detect the current weather or an environment sensor for detecting the weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the ambient information detection sensors is included.
- the environment sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
- the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
- the image pickup unit 7410 and the vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
- FIG. 18 shows an example of the installation position of the image pickup unit 7410 and the vehicle exterior information detection unit 7420.
- the image pickup unit 7910, 7912, 7914, 7916, 7918 are provided, for example, at at least one of the front nose, side mirror, rear bumper, back door, and upper part of the windshield of the vehicle interior of the vehicle 7900.
- the image pickup unit 7910 provided in the front nose and the image pickup section 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
- the image pickup units 7912 and 7914 provided in the side mirrors mainly acquire images of the side of the vehicle 7900.
- the image pickup unit 7916 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 7900.
- the image pickup unit 7918 provided on the upper part of the front glass in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
- FIG. 18 shows an example of the shooting range of each of the imaging units 7910, 7912, 7914, 7916.
- the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
- the imaging ranges b and c indicate the imaging range of the imaging units 7912 and 7914 provided on the side mirrors, respectively
- the imaging range d indicates the imaging range d.
- the imaging range of the imaging unit 7916 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the image pickup units 7910, 7912, 7914, 7916, a bird's-eye view image of the vehicle 7900 as viewed from above can be obtained.
- the vehicle exterior information detection unit 7920, 7922, 7924, 7926, 7928, 7930 provided at the front, rear, side, corner and the upper part of the windshield of the vehicle interior of the vehicle 7900 may be, for example, an ultrasonic sensor or a radar device.
- the vehicle exterior information detection units 7920, 7926, 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, a lidar device.
- These out-of-vehicle information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like.
- the vehicle outside information detection unit 7400 causes the image pickup unit 7410 to capture an image of the outside of the vehicle and receives the captured image data. Further, the vehicle outside information detection unit 7400 receives the detection information from the connected vehicle outside information detection unit 7420.
- the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a lidar device
- the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
- the out-of-vehicle information detection unit 7400 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on a road surface based on the received information.
- the out-of-vehicle information detection unit 7400 may perform an environment recognition process for recognizing rainfall, fog, road surface conditions, etc. based on the received information.
- the out-of-vehicle information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
- the vehicle outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a vehicle, an obstacle, a sign, a character on the road surface, or the like based on the received image data.
- the vehicle outside information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and synthesizes the image data captured by different image pickup units 7410 to generate a bird's-eye view image or a panoramic image. May be good.
- the vehicle exterior information detection unit 7400 may perform the viewpoint conversion process using the image data captured by different image pickup units 7410.
- the in-vehicle information detection unit 7500 detects the in-vehicle information.
- a driver state detection unit 7510 that detects the state of the driver is connected to the in-vehicle information detection unit 7500.
- the driver state detection unit 7510 may include a camera that captures the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
- the biosensor is provided on, for example, a seat surface or a steering wheel, and detects biometric information of a passenger sitting on the seat or a driver holding the steering wheel.
- the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether or not the driver is dozing. You may.
- the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
- the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
- An input unit 7800 is connected to the integrated control unit 7600.
- the input unit 7800 is realized by a device that can be input-operated by the occupant, such as a touch panel, a button, a microphone, a switch, or a lever. Data obtained by recognizing the voice input by the microphone may be input to the integrated control unit 7600.
- the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) corresponding to the operation of the vehicle control system 7000. You may.
- the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Further, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on the information input by the passenger or the like using the above input unit 7800 and outputs the input signal to the integrated control unit 7600. By operating the input unit 7800, the passenger or the like inputs various data to the vehicle control system 7000 and instructs the processing operation.
- the storage unit 7690 may include a ROM (Read Only Memory) for storing various programs executed by the microcomputer, and a RAM (Random Access Memory) for storing various parameters, calculation results, sensor values, and the like. Further, the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
- ROM Read Only Memory
- RAM Random Access Memory
- the general-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
- General-purpose communication I / F7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced).
- GSM Global System of Mobile communications
- WiMAX registered trademark
- LTE registered trademark
- LTE-A Long Term Evolution-Advanced
- Bluetooth® may be implemented.
- the general-purpose communication I / F7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a business-specific network) via a base station or an access point, for example. You may. Further, the general-purpose communication I / F7620 uses, for example, P2P (Peer To Peer) technology, and is a terminal existing in the vicinity of the vehicle (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal). May be connected with.
- P2P Peer To Peer
- MTC Machine Type Communication
- the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in a vehicle.
- the dedicated communication I / F7630 uses a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), which is a combination of the lower layer IEEE802.11p and the upper layer IEEE1609, or a cellular communication protocol. May be implemented.
- Dedicated communication I / F7630 is typically vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-house (Vehicle to Home) communication, and pedestrian-to-vehicle (Vehicle to Pedestrian) communication. ) Carry out V2X communication, a concept that includes one or more of the communications.
- the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), executes positioning, and executes positioning, and the latitude, longitude, and altitude of the vehicle. Generate location information including.
- the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
- the beacon receiving unit 7650 receives, for example, a radio wave or an electromagnetic wave transmitted from a radio station or the like installed on a road, and acquires information such as a current position, a traffic jam, a road closure, or a required time.
- the function of the beacon receiving unit 7650 may be included in the above-mentioned dedicated communication I / F 7630.
- the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 existing in the vehicle.
- the in-vehicle device I / F7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
- a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
- the in-vehicle device I / F7660 is via a connection terminal (and a cable if necessary) (not shown), USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface, or MHL (Mobile High)).
- -Definition Link and other wired connections may be established.
- the in-vehicle device 7760 includes, for example, at least one of a passenger's mobile device or wearable device, or an information device carried in or attached to the vehicle. Further, the in-vehicle device 7760 may include a navigation device for searching a route to an arbitrary destination.
- the in-vehicle device I / F 7660 may be a control signal to and from these in-vehicle devices 7760. Or exchange the data signal.
- the in-vehicle network I / F7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
- the vehicle-mounted network I / F7680 transmits / receives signals and the like according to a predetermined protocol supported by the communication network 7010.
- the microcomputer 7610 of the integrated control unit 7600 is via at least one of general-purpose communication I / F7620, dedicated communication I / F7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F7660, and in-vehicle network I / F7680.
- the vehicle control system 7000 is controlled according to various programs based on the information acquired. For example, the microcomputer 7610 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. May be good.
- the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. Cooperative control may be performed for the purpose of.
- the microcomputer 7610 automatically travels autonomously without relying on the driver's operation by controlling the driving force generator, steering mechanism, braking device, etc. based on the acquired information on the surroundings of the vehicle. Coordinated control may be performed for the purpose of driving or the like.
- the microcomputer 7610 has information acquired via at least one of general-purpose communication I / F 7620, dedicated communication I / F 7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F 7660, and in-vehicle network I / F 7680. Based on the above, three-dimensional distance information between the vehicle and an object such as a surrounding structure or a person may be generated, and local map information including the peripheral information of the current position of the vehicle may be created. Further, the microcomputer 7610 may predict the danger of a vehicle collision, a pedestrian or the like approaching or entering a closed road, and generate a warning signal based on the acquired information.
- the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
- the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
- an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are exemplified as output devices.
- the display unit 7720 may include, for example, at least one of an onboard display and a head-up display.
- the display unit 7720 may have an AR (Augmented Reality) display function.
- the output device may be other devices such as headphones, wearable devices such as eyeglass-type displays worn by passengers, projectors or lamps other than these devices.
- the display device displays the results obtained by various processes performed by the microcomputer 7610 or the information received from other control units in various formats such as texts, images, tables, and graphs. Display visually.
- the audio output device converts an audio signal composed of reproduced audio data, acoustic data, or the like into an analog signal and outputs the audio signal audibly.
- At least two control units connected via the communication network 7010 may be integrated as one control unit.
- each control unit may be composed of a plurality of control units.
- the vehicle control system 7000 may include another control unit (not shown).
- the other control unit may have a part or all of the functions carried out by any of the control units. That is, as long as information is transmitted and received via the communication network 7010, predetermined arithmetic processing may be performed by any of the control units.
- a sensor or device connected to any control unit may be connected to another control unit, and a plurality of control units may send and receive detection information to and from each other via the communication network 7010. .
- a computer program for realizing each function of the autonomous movement control device 10 according to the present embodiment described with reference to FIG. 1 can be mounted on any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
- the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed, for example, via a network without using a recording medium.
- the autonomous movement control device 10 can be applied to the integrated control unit 7600 of the application example shown in FIG.
- each part of the autonomous movement control device 10 corresponds to the microcomputer 7610 of the integrated control unit 7600, the storage unit 7690, and the like.
- the integrated control unit 7600 sets a control model for each scene, it becomes possible to easily make settings related to autonomous movement control.
- the components of the autonomous movement control device 10 according to the present embodiment described with reference to FIG. 1 is composed of a module for the integrated control unit 7600 shown in FIG. 17 (for example, one die). It may be realized in an integrated circuit module). Alternatively, the autonomous movement control device 10 according to the present embodiment described with reference to FIG. 1 may be realized by a plurality of control units of the vehicle control system 7000 shown in FIG.
- the present technology can also have the following configurations.
- a control model setting unit for setting a control model for the autonomous mobile device is provided for each scene determined based on the environmental characteristics extracted from the surrounding environment of the autonomous mobile device. Information processing equipment.
- the control model setting unit is Switching the control model according to changes in the scene, The information processing device according to (1) above.
- the scene is determined according to a rule entered by the user.
- the control model is input by the user.
- a control model input unit for inputting the control model is further provided.
- the information processing device according to (5) above. (7) Further provided with a scene determination unit that determines the scene based on the environmental characteristics.
- the information processing apparatus according to any one of (1) to (6) above.
- the environmental feature includes at least one of map information, static environmental information and dynamic environmental information.
- the information processing apparatus according to any one of (1) to (7) above.
- the information processing apparatus according to any one of (1) to (8) above.
- the environmental feature extraction unit Extracting the environmental features using machine learning techniques, The information processing apparatus according to (9) above.
- the environmental feature extraction unit The environmental features are extracted by performing mapping that outputs the multidimensional likelihood of the environmental feature amount related to the environmental features.
- a control unit that controls the autonomous mobile device based on the set control model is further provided.
- the information processing apparatus according to any one of (1) to (11) above. (13) With more display The display unit is A map including a route on which the autonomous mobile device travels and a multidimensional likelihood of an environmental feature amount related to the environmental feature are displayed on the map.
- the display unit is Displaying the travel history of the autonomous mobile device, the scene, and the control model for each scene.
- the display unit is Display and recommend either or both of the environmental features and the control model.
- the display unit is The environment in which the autonomous mobile device travels is maintained as a simulation environment. Based on the set control model, the simulation regarding the running of the autonomous mobile device is executed in the held simulation environment.
- the display unit is Displaying the predicted route on which the autonomous mobile device travels, The information processing apparatus according to (16) above.
- the information processing apparatus according to any one of (1) to (17) above is provided.
- Autonomous mobile device (19) A control model for the autonomous mobile device is set for each scene determined based on the environmental characteristics extracted from the surrounding environment of the autonomous mobile device. Information processing method.
- Autonomous movement system 10 Autonomous movement control device 11
- Environmental feature extraction unit 12
- Scene determination unit 13
- Control model setting unit 14
- Motion control unit 20
- User input / output device 21
- Rule input unit 22
- Control model input unit 23 Display unit 23a Output unit 23b Input unit 23c Output unit 23d Output unit 23e Input unit
- Autonomous mobile device 30A Autonomous mobile device
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本開示に係る一形態の情報処理装置は、自律移動装置(30)の周辺環境から抽出された環境特徴に基づいて決定されたシーンごとに、前記自律移動装置(30)に対する制御モデルを設定する制御モデル設定部(13)を備える。
Description
本開示は、情報処理装置、自律移動装置、情報処理方法及びプログラムに関する。
AGV(Automatic Guided Vehicle)などの自律移動装置を用いる自律移動システムは、例えば、工場や展示会場など、人共存環境や複雑な環境、未知の環境に導入される。この際、ユーザは自律移動装置の所望の動作を実現するため、動作パラメータや経路、環境などを調整して設定する必要がある。この設定作業は、各種操作を要し、ユーザにとって煩雑な作業である。この煩雑な作業を回避する手段としては、例えば、特許文献1が提案されている。
しかしながら、前述の回避手段では、自律移動装置の周辺環境(周辺状況)に応じて、自律移動装置に所望の動作を実行させるため、ユーザが希望する設定を行うことは困難である。つまり、設定作業はユーザにとって煩雑な作業のままであり、自律移動制御に関する設定を行うことは難しい。
そこで、本開示では、自律移動制御に関する設定を容易に行うことが可能な情報処理装置、自律移動装置、情報処理方法及びプログラムを提供する。
本開示に係る一形態の情報処理装置は、自律移動装置の周辺環境から抽出された環境特徴に基づいて決定されたシーンごとに、前記自律移動装置に対する制御モデルを設定する制御モデル設定部を備える。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本開示に係る情報処理装置や自律移動装置、情報処理方法、プログラムなどが限定されるものではない。また、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
以下に説明される1又は複数の実施形態(実施例、変形例を含む)は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。なお、各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
また、以下に示す項目順序に従って本開示を説明する。
1.第1の実施形態
1-1.自律移動システムの概略構成例
1-2.自律移動処理
1-3.環境特徴抽出
1-4.シーンとルール
1-5.制御モデル
1-6.第1の処理例
1-7.第2の処理例
1-8.第1の表示例
1-9.第2の表示例
1-10.作用・効果
2.第2の実施形態
3.他の実施形態
4.ハードウェア構成
5.応用例
6.付記
1.第1の実施形態
1-1.自律移動システムの概略構成例
1-2.自律移動処理
1-3.環境特徴抽出
1-4.シーンとルール
1-5.制御モデル
1-6.第1の処理例
1-7.第2の処理例
1-8.第1の表示例
1-9.第2の表示例
1-10.作用・効果
2.第2の実施形態
3.他の実施形態
4.ハードウェア構成
5.応用例
6.付記
<1.第1の実施形態>
<1-1.自律移動システムの概略構成例>
本開示に係る情報処理装置を適用した第1の実施形態に係る自律移動システム1の概略構成例について図1を参照して説明する。図1は、第1の実施形態に係る自律移動システム1の概略構成例を示すブロック図である。
<1-1.自律移動システムの概略構成例>
本開示に係る情報処理装置を適用した第1の実施形態に係る自律移動システム1の概略構成例について図1を参照して説明する。図1は、第1の実施形態に係る自律移動システム1の概略構成例を示すブロック図である。
図1に示すように、自律移動システム1は、自律移動制御装置10と、ユーザ入出力装置20とを備える。この自律移動システム1は、AGV(無人搬送車)等の自律移動可能な自律移動装置30を制御するシステムである。自律移動システム1は、例えば、無線を介して自律移動装置30と通信することが可能に構成されている。なお、自律移動システム1は、自律移動装置30を含んでもよい。
自律移動制御装置10は、環境特徴抽出部11と、シーン決定部12と、制御モデル設定部13と、運動制御部(制御部)14とを有する。また、ユーザ入出力装置20は、ルール入力部21と、制御モデル入力部22と、表示部23とを有する。
環境特徴抽出部11は、入力される観測情報及びタスク情報に基づき、自律移動装置30の周辺環境を環境特徴として記述し、その周辺環境から環境特徴を抽出する。なお、環境特徴について詳しくは後述する。
ここで、観測情報とは、例えば、自律移動装置30の周囲の物理的な状態に関する情報である。この観測情報は、例えば、自律移動装置30が備えるセンサ、また、工場や展示会などに設置されたセンサなどから入力される。センサとしては、例えば、LIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、RGBカメラ、IMU(Inertial Measurement Unit)などが用いられる。この場合、観測情報としては、例えば、LIDAR、RGBカメラ、IMUなどのセンサから得られるログ情報や制御指令値のログ情報などが挙げられる。
タスク情報とは、例えば、経路や目的地、動作などのタスクに関する情報である。このタスク情報は、例えば、自律移動装置30から入力され、あるいは、他の入力装置から入力される。タスクとしては、例えば、「所定経路に沿って目的地まで荷物を運ぶ」など各種のタスクが挙げられる。
ルール入力部21は、ユーザからの入力操作に応じ、自律移動制御装置10に対してルールを入力する。ユーザは、ルール入力部21により自身の好みに応じて環境を分類することが可能となる。ルールとしては、例えば、「所定の環境特徴量が0.5以上であれば、環境は見通しが悪いシーンである」というルールが挙げられる。なお、ルールについて詳しくは後述する。
シーン決定部12は、環境特徴抽出部11により抽出された環境特徴と、ルール入力部21により入力されたルールに応じ、動的にシーンを決定する。すなわち、シーン決定部12は、環境特徴やルールに応じてシーンを変更する。シーンとしては、例えば、「見通しが悪いシーン」などが挙げられる。なお、シーンについて詳しくは後述する。
例えば、シーン決定部12は、環境特徴とシーンとの対応関係、すなわち環境特徴ごとに、環境特徴に対応するシーンをメモリに記憶している。このシーン決定部12は、抽出された環境特徴と、入力されたルールに基づき、記憶した環境特徴ごとのシーンから、抽出された環境特徴に対応するシーンを選択して決定する。メモリとしては、例えば、例えば、フラッシュメモリやハードディスクドライブ等の不揮発性メモリが用いられる。
制御モデル入力部22は、ユーザからの入力操作に応じ、自律移動制御装置10に対して制御モデルとその制御モデルを使用するシーンとを入力する。ユーザは、シーンに応じて制御モデル(例えば、制御パラメータ)を設定することが可能となる。
制御モデル設定部13は、シーン決定部12により決定されたシーンに応じ、制御モデルを設定する。例えば、制御モデル設定部13は、シーンの変化に応じ、制御モデルを動的に変更する。制御モデルとしては、例えば、「狭い場所向けモデル」などが挙げられる。
例えば、制御モデル設定部13は、シーンと制御モデルとの対応関係、すなわち、シーンごとに、シーンに対応する制御モデルをメモリに記憶している。この制御モデル設定部13は、記憶したシーンごとの制御モデルから、決定されたシーンに対応する制御モデルを選択して用いる。メモリとしては、例えば、例えば、フラッシュメモリやハードディスクドライブ等の不揮発性メモリが用いられる。
運動制御部14は、自律移動装置30を制御する。例えば、運動制御部14は、制御モデル設定部13により設定された制御モデル(例えば、制御パラメータ)に基づいて、自律移動装置30を制御するための制御指令値を生成し、自律移動装置30に送信する。これにより、自律移動装置30の動作を制御する。
表示部23は、各種情報を表示する。例えば、表示部23は、環境特徴抽出部11やシーン決定部12、制御モデル設定部13、運動制御部14などの各部から得られる各種情報、例えば、環境や環境特徴、シーン、制御モデル、それらの履歴情報などを表示する。これにより、ユーザが設定をする際、シーンや制御モデルの変更による効果や副作用の管理を行いやすくなる。
ここで、前述の環境特徴抽出部11やシーン決定部12、制御モデル設定部13、運動制御部14、ルール入力部21、制御モデル入力部22、表示部23等の各機能部は、ハードウェア及びソフトウェアの両方又はどちらか一方により構成されてもよく、それらの構成は、特に限定されるものではない。
例えば、前述の各機能部は、CPU(Central Processing Unit)やMPU(Micro Control Unit)などのコンピュータによって、ROMに予め記憶されたプログラムがRAM等を作業領域として実行されることにより実現されてもよい。また、各機能部は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)等の集積回路により実現されてもよい。表示部23としては、例えば、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイなどの表示装置が用いられてもよい。
また、前述の自律移動制御装置10及びユーザ入出力装置20は、自律移動装置30と通信可能な端末装置により実現されてもよい。また、自律移動制御装置10はクラウドコンピューティングにより実現され、ユーザ入出力装置20は、クラウドコンピューティングと通信可能な端末装置により実現されてもよい。端末装置としては、例えば、ノート型PC(Personal Computer)、デスクトップPC、スマートフォン、タブレット型端末、携帯電話機、PDA(Personal Digital Assistant)等の各種の電子機器が用いられる。
<1-2.自律移動処理>
第1の実施形態に係る自律移動処理について図2を参照して説明する。図2は、第1の実施形態に係る自律移動処理の流れを示すフローチャートである。
第1の実施形態に係る自律移動処理について図2を参照して説明する。図2は、第1の実施形態に係る自律移動処理の流れを示すフローチャートである。
図2に示すように、環境特徴抽出部11は、センサから観測情報を取得し(ステップS1)、観測情報及びタスク情報に基づき、現在の環境から環境特徴を抽出する(ステップS2)。シーン決定部12は、抽出された環境特徴と、入力されたルールに応じ、シーンを決定する(ステップS3)。制御モデル設定部13は、シーンの遷移が必要であるか否かを判断する(ステップS4)。
制御モデル設定部13は、シーンの遷移が必要でないと判断すると(ステップS4のNO)、運動制御部14は、現状の制御モデルに基づく制御指令値を生成する(ステップS5)。この制御指令値は、自律移動装置30に入力される。一方、制御モデル設定部13は、シーンの遷移が必要であると判断すると(ステップS4のYES)、遷移されたシーンに基づいて制御モデルを切り替え(ステップS6)、運動制御部14は、切り替えた制御モデルに基づく制御指令値を生成する(ステップS5)。この制御指令値は、自律移動装置30に入力される。
運動制御部14は、タスクが達成されたか否かを判断する(ステップS7)。運動制御部14は、タスクが達成されていないと判断すると(ステップS7のNO)、処理をステップS1に戻す。この制御ループは、数msec~数sec周期の制御ループである。一方、運動制御部14は、タスクが達成されたと判断すると(ステップS7のYES)、処理を終了する。
ここで、例えば、自律移動装置30(例えば、差動二輪台車)が環境中の障害物を回避しながら所与の経路をたどるというタスクにおいて、観測情報(環境情報)として、LIDARなどの三次元測定器を用いた環境中の障害物位置情報が自律移動制御装置10に入力される。また、タスク情報として、経路や到達地点(目的地)、速度指令などが自律移動制御装置10に入力される。自律移動制御装置10では、環境特徴抽出部11が環境特徴を抽出し、シーン決定部12に入力する。シーン決定部12は、どのような環境特徴(例えば、環境特徴量)がどのシーンに対応するのかを、メモリ内の情報を参照して決定する。また、制御モデル設定部13は、シーンに対してどの制御モデルを用いるかを、メモリ内の情報を参照して決定する。各メモリ内の個々の情報は、各々のユースケースに対して使用者が変更することが可能な情報である。運動制御部14は、制御モデルを用いて運動を決定し、自律移動装置30を制御するための制御指令値を出力する。
なお、制御モデルとしてDWA(Dynamic Window Approach)を用いた場合、制御モデルセット(制御パラメータセット)は評価関数の重みや更新頻度と計算量などによって定義されてもよい。評価関数として、速度が小さいことへのコスト、障害物に近いことへのコストが設定される。なお、環境特徴量としてオクルージョンが多いシーンにおいては、速度が小さいことへのコストの重みが小さい制御パラメータを選択するように、また、環境特徴量として動的な障害物が多いシーンでは、制御指令値の更新頻度が高い制御パラメータを選択するように、制御モデル設定部13のメモリ内の情報が設定される。
また、制御モデルセットは、ユースケースに応じて変更されてもよい。同じ環境特徴量を持つシーンだとしても、ユースケースによって求められる動きが変わる。例えば、人が事前に物体を回避することが分かっている環境(例えば、工場などでロボットと日々協業している場合など)では、障害物に近づくことへのコストが小さい制御モデルセットが用意されてもよい。一方、人がどのような動きをするかわからない環境(例えば、エンタテインメントなどで初めてロボットに触れる人が多い場合など)では、障害物に近づくことへのコストが大きい制御モデルセットが用意されてもよい。
また、自律移動システム1を制御パラメータの調整に用いることも可能である。例えば、ある制御モデルを用いて環境中で動かしたときに理想的な動きをしてないシーンが存在した場合には、理想的な動きをするシーンとどの環境特徴量が異なるのかを確認することで、制御パラメータを調整した新たな制御モデルを作成し、制御モデル設定部13のメモリにシーンとの対応を合わせて設定してもよい。自律移動装置30が曲がり角で飛び出してくる障害物に衝突する場合には、動的な障害物の飛び出しがある可能性があるという環境特徴量を持つ曲がり角のようなシーンにおいて、更新頻度を高くした制御モデルを用意し、シーンと制御モデルとの対応を制御モデル設定部13のメモリに登録してもよい。
<1-3.環境特徴抽出>
第1の実施形態に係る環境特徴抽出について図3から図5を参照して説明する。図3から図5は、第1の実施形態に係る環境特徴量の定義を説明するための図である。
第1の実施形態に係る環境特徴抽出について図3から図5を参照して説明する。図3から図5は、第1の実施形態に係る環境特徴量の定義を説明するための図である。
環境特徴抽出部11は、機械学習技術(機械学習の手法)により環境を記述して環境特徴量を抽出する。例えば、環境特徴抽出部11は、「観測情報及びタスク情報」を入力として、「環境特徴量の複数次元(例えば、二次元や三次元など)の尤度」を出力とするマッピングを行う特徴量抽出器である(ベクトル化)。この特徴量抽出器は、例えば、ニューラルネットワークなどの関数近似器により構成することで実現される。
なお、機械学習技術(機械学習の手法)としては、ニューラルネットワークに限らず、サポートベクターマシンや再帰型ニューラルネットワークなどの他の機械学習を採用することもできる。また、教師有学習に限らず、教師無学習や半教師学習などを採用することもできる。また、各学習において、観測情報などを用いることもできる。
また、マッピングでは、外部センサからの情報でラベルを付けてもよい。例えば、実行に時間がかかるような複雑なルールの適用結果をラベルとし、それを近似する役割として特徴抽出器を構成してもよい。センサ入力から直接環境特徴を推定することで高速な実行時間を実現し、遅延や認識誤差の影響を抑えることができ、制御の安定性を向上させることができる。なお、マッピングではなく、ルールで環境を記述して環境特徴量を抽出しても良い。
環境特徴量は、図3から図5に示す定義に従って環境を表現し、各項目の尤度を表現するものである(例えば、0.0~1.0のベクトル値)。この環境特徴量(環境特徴)は、例えば、地図情報、静的環境情報及び動的環境情報のうち少なくとも一つを含み得る。
図3から図5に示すように、環境特徴量が定義される。例えば、図3に示すように、「地図情報による→座標で領域を決める」という定義に従って環境を表現する環境特徴量があり、「地図情報による→未知領域に関する→地図との不整合」という定義に従って環境を表現する環境特徴量がある。このように、環境特徴量は階層状に定義される。自律移動装置30の周囲の環境に対応する環境特徴量は、環境特徴抽出部11によって観測情報及びタスク情報に基づいて自動的に求められる。
なお、図3中のマンハッタンワールド(Manhattan World Assumption)のハイパープレーン数に関して、マンハッタンワールドは、世界が3軸に平行な壁や天井のみで構成されるとする仮説を世界に適用し、複雑な現実世界を、特徴を捉えながら、より抽象度の高い形式で表現する手法である。ハイパープレーンはその仮定の下で、世界を構成する面を指す。
また、図5中のセマンティックスに関して、RGBカメラから取得した画像に対して、あらかじめラベルを付けて教師有学習をすることで、空港などの場所や、路面状況の悪さなどの特性を抽出し、その特性から想定されるセマンティックスから、制御方法を変えることが可能となる。
<1-4.シーンとルール>
第1の実施形態に係るシーンとルールについて図3を参照して説明する。図3は、第1の実施形態に係る環境特徴量の定義を説明するための図である。
第1の実施形態に係るシーンとルールについて図3を参照して説明する。図3は、第1の実施形態に係る環境特徴量の定義を説明するための図である。
シーンは、ユーザが定義したルールによって環境が分類されたものである。この分類されたシーンに対して、好みの制御モデルがユーザにより指定される。ルールは、環境を分類するものである。このルールは、例えば、環境特徴に対して個別の環境特徴の尤度に応じた条件などの形式で記述され、現在の環境を分類するものである。
ユーザは、環境特徴量に対してルールを作成する。例えば、ユーザが「環境特徴量が0.5以上であれば、環境は見通しが悪いシーンである」というルールを定義する。このルールによって、環境は「見通しが悪いシーン」に分類される。
詳しくは、ユーザが「見通しが悪い」場所でロボットの動きを管理したい場合、図3に示す環境特徴量の中の「静的環境(地形など)による→観測情報からの判断に基づく→オクルージョンに関する→Occupancyの埋まりぐあい(Occupancy grid上のfreeのピクセル数)」の環境特徴量(環境特徴の定義通り、0.0~1.0の尤度を持つ)をルール入力部21により選択する。そして、ユーザは、「その環境特徴量が0.5以上であれば、環境は見通しが悪いシーンである」というルールをルール入力部21により入力する。これが「見通しが悪いシーン」の定義となる。ここで、ユーザが何もルールを指定しなければ、デフォルトで設定されている制御モデルが使用される。なお、複数の環境特徴を使用してシーンを定義してもよい。
<1-5.制御モデル>
第1の実施形態に係る制御モデルについて図6を参照して説明する。図6は、第1の実施形態に係る制御パラメータの定義を説明するための図である。
第1の実施形態に係る制御モデルについて図6を参照して説明する。図6は、第1の実施形態に係る制御パラメータの定義を説明するための図である。
制御モデルは、制御を行うための手法と、その手法の特性を決定する制御パラメータ(例えば、パラメータ値)で決められる。手法は以下のアルゴリズムの例のようによく知られたものでも良いし、機械学習技術(機械学習の手法)によって構成されたものでもよい。ユーザは、制御モデル入力部22を通して、シーンに対応する制御モデルを入力する。制御モデル設定部13は、ルールと制御モデルの対応関係を記憶し、環境によって制御モデルを切り替える役割を担う。
アルゴリズムの例としては、経路計画を行うもの、経路探索を行う手法全般(例えば、A*:A-star、Hybrid A*、ポテンシャル法など)、運動制御を行うもの、軌跡のシミュレーション(ロールアウト)を行う手法全般(例えば、DWAやMPC(Model Predictive Control))などが挙げられる。また、その他としては、機械学習で構成されたend-to-endの方法を含んでよく、経路計画と運動制御を同時に行うような手法を含んでよい。
DWAは、いくつかのactionを実際に数秒間とった場合に自車が辿る軌道をシミュレートし、その結果に対して、目標地点に近づいたか、経路からの距離はどうか、障害物との衝突はないか、などのクライテリアにコストを割り当てて、動きを制御するモデルである。
機械学習技術(機械学習の手法)の例としては、ニューラルネットワークやサポートベクターマシンや再帰型ニューラルネットワークなどの機械学習を採用することが可能である。また、教師有学習に限らず、教師無学習や半教師学習などを採用することも可能である。また、各学習において、観測情報などを用いることもできる。
ユーザは、制御モデルを設定するため、カタログ設定やカスタム設定を行うことが可能である。例えば、カタログ設定に関して、ユーザは、制御モデルをカタログ(特定アルゴリズムとパラメータのプリインモデル)から選択してもよい。カタログに登録される制御モデルは、例えば、手法とパラメータを、ある特性を持たせる形で定めたものを含む。また、カスタム設定に関して、ユーザは、特定の動きを意識し、手法やパラメータを直接指定してもよい。その特定の動きに関係する制御パラメータ、又は、それと同様の効果を持つ設定値を調整するものも含まれる。
制御モデルのカタログの例としては、デフォルト、狭い場所向けモデル(最大速度を0.3m/secに抑え、目標部ゴールを1メートル手前にして経路追従性を上げたモデル)、自律移動装置30が広い場所で経路の上を優雅に動くモデル(ロールアウトタイムを長めの10秒に設定し、約度最少のパラメータを大きくしたモデル)、自律移動装置30が人ごみで人から距離をとるモデル(人からの距離に対するコストを大きくしたモデル)、人が自律移動装置30に近づくと止まるモデル(経路から離れるコストを大きくし、人からの距離が近いときの速度のペナルティを大きくしたモデル)などが挙げられる。なお、人が自律移動装置30に近づくと止まるモデルでは、自律移動装置30は、経路から一切離れず、安全重視で止まる。
前述のデフォルトは、自律移動装置30が多くの環境で比較的安定して動くモデルである。例えば、デフォルトは、多くのユーザが良いとする軌道のデータセットを作り、平均的に多くの軌道を満足するような制御パラメータを設定するなど、ユーザの志向を反映したデータや多様な環境想定した想定を入力に制御パラメータを統計的または機械学習を用いて探索した結果のモデルを使用するなどの方法をもちいて制御パラメータを決定したものである。また、その制御パラメータは、職人が推奨する決め打ちパラメータでもよい。ただし、その場合、特定環境に特化したモデルよりは動きが悪いことが多い。
制御パラメータ(2次元)は、図6に示す定義に従って制御モデルに係るパラメータ(動作パラメータ)を示す。図6に示すように、制御パラメータが定義されている。図6の例では、「運動制御、経路計画にかかわるパラメータ値(パラメタ値)又はコストを表現するもの→指定経路との相対位置」という定義に従う制御パラメータがある。このように、制御パラメータは階層状に定義される。制御パラメータに対応する制御指令値は、運動制御部14によって制御モデルに基づいて自動的に求められる。
なお、第1の実施形態では、制御モデル、すなわち制御パラメータを二次元の自律移動制御に用いることを例示したが、これに限るものではなく、例えば、制御パラメータを三次元に拡張し、三次元の自律移動制御に用いるようにしてもよい。この場合、ドローンや飛行機などの三次元の自律移動に関する移動制御に制御パラメータを適用することが可能である。
<1-6.第1の処理例>
第1の実施形態に係る第1の処理例について図7から図9を参照して説明する。第1の処理例は、ユーザが環境特徴に基づいて制御モードを変更する処理例である。図7から図9は、第1の実施形態に係る第1の処理例を説明するための図である。なお、第1の処理例では、オフィスやショッピングセンターなどにおける自律移動装置30の一例である搬送ロボットの走行を想定する。
第1の実施形態に係る第1の処理例について図7から図9を参照して説明する。第1の処理例は、ユーザが環境特徴に基づいて制御モードを変更する処理例である。図7から図9は、第1の実施形態に係る第1の処理例を説明するための図である。なお、第1の処理例では、オフィスやショッピングセンターなどにおける自律移動装置30の一例である搬送ロボットの走行を想定する。
ユーザがデフォルトモードで搬送ロボットを走行させたところ、搬送ロボットが壁寄りを通行してほしいのに、図7に示すように、経路上を外れてショートカットしてしまった(図7中の点線参照)。そこで、ユーザは、制御モデルをカタログの「狭い場所向けモデル」に変更したところ、図8に示すように、ショートカットしてほしいところでも経路の上しか走らなくなってしまった(図8中の点線参照)。
このため、ユーザは、図9に示すように、「環境特徴のOccupancyの埋まり具合が0.5以上である領域」というルールで、「見通しが悪い」シーンを定義し、そのシーンでのみカタログの「狭い場所向けモデル」を使用するように設定を変更した。これにより、所望の動きを実現することができた(図9中の点線参照)。
このようにして、搬送ロボットを走行させながら、搬送ロボットの動きを判断するため、搬送ロボットからの見通しなどの状態を環境特徴としてとらえ、搬送ロボットの動きを切り替えることができる。この搬送ロボットの動きを切り替えるための設定作業、すなわち制御モデルの設定作業は容易である。
<1-7.第2の処理例>
第1の実施形態に係る第2の処理例について図10及び図11を参照して説明する。第2の処理例は、ユーザが環境特徴に基づいて制御モードを変更する処理例(人共存環境での例)である。図10及び図11は、第1の実施形態に係る第2の処理例を説明するための図である。なお、第2の処理例では、物流現場で柱(図10中の正方形参照)があるような地下の荷卸し所における自律移動装置30の一例である搬送ロボットを想定する。
第1の実施形態に係る第2の処理例について図10及び図11を参照して説明する。第2の処理例は、ユーザが環境特徴に基づいて制御モードを変更する処理例(人共存環境での例)である。図10及び図11は、第1の実施形態に係る第2の処理例を説明するための図である。なお、第2の処理例では、物流現場で柱(図10中の正方形参照)があるような地下の荷卸し所における自律移動装置30の一例である搬送ロボットを想定する。
ユーザがデフォルトモードで搬送ロボットを走行させたところ、図10に示すように、仮積みしておいた荷物(図10中の斜線による塗り潰し領域参照)が密集して狭い地形ができていた際に、思ったよりも搬送ロボットの速度が速いため不安になった。また、ユーザは、重い荷物を積んでいる作業員と搬送ロボットがすれ違うような動きをしたため不安になった。
そこで、ユーザは、図11に示すように、環境特徴リストに関して、リスト1として「Occupancyの埋まり具合」という環境特徴を設定し、ルールとシーンに関して、シーン1として「Occupancyの埋まり具合>0.5」というルールを登録し、シーンと制御モデルに関して、シーン1に対応する制御モデルとして「狭い場所向けモデル」を設定した。また、ユーザは、環境特徴リストに関して、リスト2として「人からの距離」という環境特徴を設定し、ルールとシーンに関して、シーン2として「人からの距離<3m」というルールを登録し、シーンと制御モデルに関して、シーン2に対応する制御モデルとして「人が近づくと止まるモデル」を設定した。これらの設定で搬送ロボットを走らせてみたところ、ユーザが搬送ロボットの動きが遅いと感じたため、狭い場所向けモデルの速度上限を0.5m/sec上げ、カスタムモードを設定した。
このようにして、搬送ロボットを走行させながら、搬送ロボットの動きを判断するため、いつもはない荷物との距離や人との距離などの状態を環境特徴として動的にとらえ、搬送ロボットの動きを切り替えることができる。この搬送ロボットの動きを切り替えるための設定作業、すなわち制御モデルの設定作業は容易である。
<1-8.第1の表示例>
第1の実施形態に係る第1の表示例について図12を参照して説明する。図12は、第1の実施形態に係る第1の表示例を説明するための図である。
第1の実施形態に係る第1の表示例について図12を参照して説明する。図12は、第1の実施形態に係る第1の表示例を説明するための図である。
表示部23は、ユーザがユーザ環境における環境特徴を把握しやすくするために、自律移動装置30の走行履歴と、観測された環境特徴とをGUI(グラフィックユーザインタフェース)上に表示する。環境特徴を表示することで、ユーザがシーンや制御モデルを変更したことによる効果や副作用の管理を行いやすくなる。例えば、表示部23は、観測情報を加工した情報、環境特徴の尤度、ユーザが定義したシーン、自律移動装置30の走行軌跡(走行履歴の一例)などを表示する。
GUI(UI画像)の一例として、表示部23は、図12に示すように、出力部23aと、入力部23bとを含む。これらの出力部23a及び入力部23bは、例えば、GUIにより実現される。図12の例では、表示モード(第1の表示モード)は、地図表示のUI(ユーザインタフェース)を実現する表示モードである。
例えば、出力部23aは、GUIにおいて各種情報を出力するための領域である。出力部23aは、ユーザの環境において、自律移動装置30の走行軌跡(走行した経路)、環境特徴、シーン(シーン判別結果)、制御モデル(制御情報)などの情報を保持する。出力部23aは、適宜、保持した各種情報を表示する。このとき、出力部23aは、走行軌跡に加え、その走行軌跡上の各領域(場所)において、環境特徴に関する情報を地図上に表示する。入力部23bは、GUIにおいて各種情報(例えば、環境特徴、ルールとシーン、シーンと制御モデルなど)を入力するための領域である。例えば、ユーザは、入力部23bにより、環境特徴(候補)と、その環境特徴に対するルールとシーンと、そのシーンで使用する制御モデルとを入力する。
入力部23bの入力領域R1には、環境特徴(例えば、環境特徴量)がユーザによって入力される。図12の例では、環境特徴リストとして、二つの環境特徴量が入力される。一例として、複数(例えば、数百から千数百個など)の環境特徴量が予めプルダウンリストに設定され、このプルダウンリストから環境特徴量が選択されて入力される。ユーザはルール入力部21を操作して選択を行う。なお、ユーザは、ルール入力部21を操作して入力領域R1に環境特徴量を直接入力してもよい。
図12の例では、環境特徴リストとして、「1.Occupancyの埋まり具合」が入力され、その埋まり具合に対する特徴領域が0.3、0.5、0.7の数値に応じて区分されて、走行軌跡A1上に重ねられて表示される。特徴領域T1は、Occupancyの埋まり具合が0.3以上となる領域である。特徴領域T2は、Occupancyの埋まり具合が0.5以上となる領域である。特徴領域T3は、Occupancyの埋まり具合が0.7以上となる領域である。また、環境特徴リストとして、「2.曲がり角」が入力され、その曲がり角に対応する特徴領域T4及び特徴領域T5が表示される。
なお、環境特徴リストに関して、例えば、現状のユーザの環境において、経路上の他の領域(場所)でも尤度が低い環境特徴が上位に表示されて推薦されてもよい。一例として、経路上の環境特徴に係る領域(特徴領域)が広い環境特徴が上位に表示されてもよい。この場合、図12の例では、特徴領域T1が特徴領域T4及び特徴領域T5よりも広く、特徴領域T4及び特徴領域T5が他の特徴領域よりも広い。このため、環境特徴リストとしては、「1.Occupancyの埋まり具合」及び「2.曲がり角」がその順位で昇順に表示されて推薦されてもよい。
ここで、表示部23が環境特徴を地図上に描画する際には、自律移動装置30が走行した環境、例えば、自律移動装置30が一度走行した際に取得した観測情報(センサから得られる情報)や事前に入力された地図に基づき、シミュレーション環境で地形を取り込み、シミュレーション環境として保持する。表示部23は、保持したシミュレーション環境において、自車が走行していない座標であっても、その座標でのロボットの姿勢を想定したシミュレーション(自律移動装置30の走行に関するシミュレーションの一例)を行い、図12に示すような尤度地図を構成することが可能である。また、このシミュレーション環境の中で、表示部23は、指定した制御モデルにより自律移動装置30がどのように走行するのか、シミュレーションした軌道予測(自律移動装置30が走行する予測経路)を表示してもよい。
入力部23bの入力領域R2には、ルールとシーンがユーザによって入力される。図12の例では、見通しが悪いシーン(Occupancyの埋まり具合>0.5)が入力される。一例として、複数(例えば、数百など)のルールと、それらのルールに対するシーンが予めプルダウンリストに設定され、このプルダウンリストからルール及びシーンが選択されて入力される。ユーザはルール入力部21を操作して選択を行う。なお、ユーザは、ルール入力部21を操作して入力領域R2にルール及びシーンを直接入力してもよい。
入力部23bの入力領域R3には、シーンと制御モデルがユーザによって入力される。図12の例では、未分類シーンに対する制御モデルとして、「デフォルトモデル」が入力される。また、見通しが悪いシーンに対する制御モデルとして、「狭い場所向けモデル」が入力される。一例として、複数(例えば、数百など)のシーンと、それらのシーンに対する制御モデルが予めプルダウンリストに設定され、このプルダウンリストからシーンごとに制御モデルが選択されて入力される。ユーザは、制御モデル入力部22を操作して選択を行う。なお、ユーザは、制御モデル入力部22を操作して入力領域R3にシーンごとに制御モデルを直接入力してもよい。
なお、表示モードとしては、前述の第1の表示モード以外にも、センサによる観測情報(センサ情報)のリプレイを実現する第2の表示モードを用いるようにしてもよい。例えば、第2の表示モードでは、登録可能な各シーンが判定された際に、観測情報、自律移動装置30の自己位置、地図、経路などの情報を保持し、それらの情報を動画形式で表示する。また、第1の表示モードと第2の表示モードは、ユーザにより切り替え可能にしてもよい。この場合、ユーザは、第1の表示モードと第2の表示モードを切り替えて用いることが可能となる。これにより、自分の好みの表示モードを利用することができ、ユーザの利便性を向上させることができる。
<1-9.第2の表示例>
第1の実施形態に係る第2の表示例について図13及び図14を参照して説明する。図13は、第1の実施形態に係る第2の表示例を説明するための図である。図14は、第1の実施形態に係る第2の表示例の変形例を説明するための図である。
第1の実施形態に係る第2の表示例について図13及び図14を参照して説明する。図13は、第1の実施形態に係る第2の表示例を説明するための図である。図14は、第1の実施形態に係る第2の表示例の変形例を説明するための図である。
表示部23は、GUI(UI画像)の一例として、図13に示すように、二つの出力部23c、23dと、入力部23eとを含む。これらの出力部23c、23d及び入力部23eは、例えば、GUIにより実現される。図13の例では、表示モードは、地図表示のUIを実現する表示モードである。
例えば、出力部23c及び出力部23dは、GUIにおいて各種情報を出力するための領域である。出力部23cは、前述の出力部23aと同じであり、適宜、各種情報を表示する。このとき、出力部23cは、走行軌跡A1に加え、その走行軌跡A1上の各領域(場所)において、環境特徴に関する情報(図13の例では、曲がり角)を地図上に表示する。出力部23dは、環境特徴やシーン、制御モデルなどのログ情報に基づいて制御モデルを推奨する推奨制御モデル出力部として機能する。図13の例では、出力部23dは「狭い場所向けモデル」を表示して推奨する。
入力部23eは、GUIにおいて各種情報を入力するための領域である。この入力部23eは、ユーザが動きを改善したい領域入力部として機能する。ユーザは、入力部23eにより、自律移動装置30の動きを改善したい、経路上の領域を入力する。これに応じて、出力部23dは、入力された領域に適した制御モデル(図13の例では、狭い場所向けモデル)を表示して推奨する。
例えば、ユーザが画面上の動きが気になったポイントをいくつか入力部23eにより指定すると、その空間の環境特徴から、事前登録されたおすすめの環境特徴(環境特徴量)を推薦することが可能である。この際、ユーザが使用するユーザ入出力装置20と、ユーザが定義したシーンの対応関係をクラウド上に保存し、その対応関係のデータから機械学習や統計的な手法を用いて、環境と特徴量とユーザが好む制御パラメータの対応関係を抽出し、その情報を基に環境特徴量を推薦してもよい。また、過去のユーザの入力履歴をもとに、ユーザの施行に応じた制御モデルを推薦してもよい。
ここで、図14に示すように、表示部23は、前述のシミュレーションにより得られた軌道予測として、自律移動装置30が走行する予測経路A2を表示してもよい。これにより、ユーザは、自律移動装置30の走行を実行する前に、自律移動装置30の移動経路を予測することが可能となり、ユーザの利便性を向上させることができる。
<1-10.作用・効果>
以上説明したように、第1の実施形態によれば、自律移動装置30の周辺環境(走行環境)から抽出された環境特徴に基づいて決定されたシーンごとに、自律移動装置30に対する制御モデルが制御モデル設定部13により設定される。これにより、シーンに応じて制御モデルが設定されるので、自律移動制御に関する設定を容易に行うことができる。
以上説明したように、第1の実施形態によれば、自律移動装置30の周辺環境(走行環境)から抽出された環境特徴に基づいて決定されたシーンごとに、自律移動装置30に対する制御モデルが制御モデル設定部13により設定される。これにより、シーンに応じて制御モデルが設定されるので、自律移動制御に関する設定を容易に行うことができる。
また、シーンは、ユーザによって入力されたルールに従って決定される。このルール又は制御モデルの変更により、自律移動装置30に所望の動きをさせるための調整が可能になる。つまり、フィールドでの柔軟な動きの設定による汎用性を向上させることができる。例えば、ユーザは自律移動システム1を導入したい環境において、環境特徴に対するルールを定めてシーンを定義し、さらに、シーンごとに制御モデル(動作モデル)を設定することが可能となる。これにより、ユーザの利用環境に応じた所望の動作を実現でき、導入可能な現場の幅を広げることができる。また、例えば、ユーザが制御パラメータ(動作パラメータ)や経路、環境などを変える作業に付随する操作が原因となる導入コストを抑えることができ、さらに、ユーザが運動制御に詳しくない場合でも、制御パラメータのチューニングを行うことが可能になる。
また、例えば、自律移動制御に関して、高速な実行時間による制御の安定化を実現することができる。つまり、観測情報を基に高速に判断をすることが可能になり、制御の安定化を実現することができる。また、機械学習を用いた環境特徴抽出で行うことで、演算処理を軽くすることができ、さらに、ルールなどの表現を簡略化することができる。また、環境特徴を地図と重畳してユーザに表示することで、ユーザによる円滑な調整を可能にするため、ユーザは効果や副作用の管理をしやすくなる。
<2.第2の実施形態>
本開示に係る情報処理装置を適用した第2の実施形態に係る自律移動装置30Aの概略構成例について図15を参照して説明する。図15は、第2の実施形態に係る自律移動装置30Aの概略構成例を示すブロック図である。以下、第1の実施形態との相違点を中心に説明を行い、その他の説明を省略する。
本開示に係る情報処理装置を適用した第2の実施形態に係る自律移動装置30Aの概略構成例について図15を参照して説明する。図15は、第2の実施形態に係る自律移動装置30Aの概略構成例を示すブロック図である。以下、第1の実施形態との相違点を中心に説明を行い、その他の説明を省略する。
図15に示すように、第2の実施形態に係る自律移動装置30Aは、自律移動制御装置10と、ユーザ入出力装置20とを備える。自律移動装置30Aとしては、例えば、AGV(無人搬送車)などが挙げられる。なお、自律移動装置30Aに対してユーザ入出力装置20を別体としてもよい。この場合には、ユーザ入出力装置20として、端末装置が用いられる。
以上説明したように、第2の実施形態によれば、自律移動装置30Aに自律移動制御装置10及びユーザ入出力装置20を組み込むことによって、自律移動装置30A単独で、第1の実施形態と同じ効果を得ることができる。
<3.他の実施形態>
前述の実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態(変形例)にて実施されてよい。例えば、システム構成は、上述した例に限らず、種々の態様であってもよい。また、例えば、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
前述の実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態(変形例)にて実施されてよい。例えば、システム構成は、上述した例に限らず、種々の態様であってもよい。また、例えば、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
<4.ハードウェア構成>
上述した各実施形態に係る自律移動制御装置10等の情報機器の具体的なハードウェア構成について説明する。各実施形態に係る自律移動制御装置10等の情報機器は、例えば、図16に示すような構成のコンピュータ500によって実現される。図16は、各実施形態に係る自律移動制御装置10等の情報機器の機能を実現するハードウェアの構成例を示す図である。
上述した各実施形態に係る自律移動制御装置10等の情報機器の具体的なハードウェア構成について説明する。各実施形態に係る自律移動制御装置10等の情報機器は、例えば、図16に示すような構成のコンピュータ500によって実現される。図16は、各実施形態に係る自律移動制御装置10等の情報機器の機能を実現するハードウェアの構成例を示す図である。
コンピュータ500は、CPU510、RAM520、ROM(Read Only Memory)530、HDD(Hard Disk Drive)540、通信インタフェース550及び入出力インタフェース560を有する。コンピュータ500の各部は、バス570によって接続される。
CPU510は、ROM530又はHDD540に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU510は、ROM530又はHDD540に格納されたプログラムをRAM520に展開し、各種プログラムに対応した処理を実行する。
ROM530は、コンピュータ500の起動時にCPU510によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ500のハードウェアに依存するプログラム等を格納する。
HDD540は、CPU510によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD540は、プログラムデータ541の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
通信インタフェース550は、コンピュータ500が外部ネットワーク580(一例としてインターネット)と接続するためのインタフェースである。例えば、CPU510は、通信インタフェース550を介して、他の機器からデータを受信したり、CPU510が生成したデータを他の機器へ送信したりする。
入出力インタフェース560は、入出力デバイス590とコンピュータ500とを接続するためのインタフェースである。例えば、CPU510は、入出力インタフェース560を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU510は、入出力インタフェース560を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。例えば、入出力デバイス590が各実施形態に係るユーザ入出力装置20として機能する。
なお、入出力インタフェース560は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインタフェースとして機能してもよい。メディアとしては、例えば、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は、半導体メモリ等が用いられる。
ここで、例えば、コンピュータ500が各実施形態に係る自律移動制御装置10として機能する場合、コンピュータ500のCPU510は、RAM520上にロードされた情報処理プログラムを実行することにより、自律移動制御装置10の各部の機能を実現する。また、HDD540には、本開示に係る情報処理プログラムやデータが格納される。なお、CPU510は、プログラムデータ541をHDD540から読み取って実行するが、他の例として、外部ネットワーク580を介して、他の装置からこれらのプログラムを取得してもよい。
<5.応用例>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図17は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図17に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図17では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図18は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図18には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図17に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX(登録商標)、LTE(登録商標)(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図17の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図17に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
なお、図1を用いて説明した本実施形態に係る自律移動制御装置10の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
以上説明した車両制御システム7000において、図1を用いて説明した本実施形態に係る自律移動制御装置10は、図17に示した応用例の統合制御ユニット7600に適用することができる。例えば、自律移動制御装置10の各部は、統合制御ユニット7600のマイクロコンピュータ7610や記憶部7690などに相当する。例えば、統合制御ユニット7600がシーンごとの制御モデルを設定することで、自律移動制御に関する設定を容易に行うことが可能になる。
また、図1を用いて説明した本実施形態に係る自律移動制御装置10の少なくとも一部の構成要素は、図17に示した統合制御ユニット7600のためのモジュール(例えば、一つのダイで構成される集積回路モジュール)において実現されてもよい。あるいは、図1を用いて説明した本実施形態に係る自律移動制御装置10が、図17に示した車両制御システム7000の複数の制御ユニットによって実現されてもよい。
<6.付記>
なお、本技術は以下のような構成も取ることができる。
(1)
自律移動装置の周辺環境から抽出された環境特徴に基づいて決定されたシーンごとに、前記自律移動装置に対する制御モデルを設定する制御モデル設定部を備える、
情報処理装置。
(2)
前記制御モデル設定部は、
前記シーンの変化に応じて前記制御モデルを切り替える、
上記(1)に記載の情報処理装置。
(3)
前記シーンは、ユーザによって入力されたルールに従って決定される、
上記(1)又は(2)に記載の情報処理装置。
(4)
前記ルールを入力するルール入力部をさらに備える、
上記(3)に記載の情報処理装置。
(5)
前記制御モデルは、ユーザによって入力される、
上記(1)から(4)のいずれか一つに記載の情報処理装置。
(6)
前記制御モデルを入力する制御モデル入力部をさらに備える、
上記(5)に記載の情報処理装置。
(7)
前記環境特徴に基づいて前記シーンを決定するシーン決定部をさらに備える、
上記(1)から(6)のいずれか一つに記載の情報処理装置。
(8)
前記環境特徴は、地図情報、静的環境情報及び動的環境情報のうち少なくとも一つを含む、
上記(1)から(7)のいずれか一つに記載の情報処理装置。
(9)
センサにより得られる前記周辺環境に関する観測情報と、タスクに関するタスク情報とに基づいて、前記環境特徴を抽出する環境特徴抽出部をさらに備える、
上記(1)から(8)のいずれか一つに記載の情報処理装置。
(10)
前記環境特徴抽出部は、
機械学習の手法を用いて前記環境特徴を抽出する、
上記(9)に記載の情報処理装置。
(11)
前記環境特徴抽出部は、
前記環境特徴に関する環境特徴量の複数次元の尤度を出力とするマッピングを行うことで、前記環境特徴を抽出する、
上記(10)に記載の情報処理装置。
(12)
設定された前記制御モデルに基づいて前記自律移動装置を制御する制御部をさらに備える、
上記(1)から(11)のいずれか一つに記載の情報処理装置。
(13)
表示部をさらに備え、
前記表示部は、
前記自律移動装置が走行する経路を含む地図と、前記地図上に前記環境特徴に関する環境特徴量の複数次元の尤度とを表示する、
上記(1)から(12)のいずれか一つに記載の情報処理装置。
(14)
前記表示部は、
前記自律移動装置の走行履歴、前記シーン及び前記シーンごとの前記制御モデルを表示する、
上記(13)に記載の情報処理装置。
(15)
前記表示部は、
前記環境特徴量及び前記制御モデルのどちらか一方又は両方を表示して推薦する、
上記(13)又は(14)に記載の情報処理装置。
(16)
前記表示部は、
前記自律移動装置が走行した環境をシミュレーション環境として保持し、
設定された前記制御モデルに基づいて、保持した前記シミュレーション環境において前記自律移動装置の走行に関するシミュレーションを実行する、
上記(13)から(15)のいずれか一つに記載の情報処理装置。
(17)
前記表示部は、
前記自律移動装置が走行する予測経路を表示する、
上記(16)に記載の情報処理装置。
(18)
上記(1)から(17)のいずれか一つに記載の情報処理装置を備える、
自律移動装置。
(19)
自律移動装置の周辺環境から抽出された環境特徴に基づいて決定されたシーンごとに、前記自律移動装置に対する制御モデルを設定する、
情報処理方法。
(20)
コンピュータに、
自律移動装置の周辺環境から抽出された環境特徴に基づいて決定されたシーンごとに、前記自律移動装置に対する制御モデルを設定するステップ、
を実行させるためのプログラム。
(21)
上記(1)から(17)のいずれか一つに記載の情報処理装置を用いる、
情報処理方法。
(22)
コンピュータを、
上記(1)から(17)のいずれか一つに記載の情報処理装置として、
機能させるためのプログラム。
なお、本技術は以下のような構成も取ることができる。
(1)
自律移動装置の周辺環境から抽出された環境特徴に基づいて決定されたシーンごとに、前記自律移動装置に対する制御モデルを設定する制御モデル設定部を備える、
情報処理装置。
(2)
前記制御モデル設定部は、
前記シーンの変化に応じて前記制御モデルを切り替える、
上記(1)に記載の情報処理装置。
(3)
前記シーンは、ユーザによって入力されたルールに従って決定される、
上記(1)又は(2)に記載の情報処理装置。
(4)
前記ルールを入力するルール入力部をさらに備える、
上記(3)に記載の情報処理装置。
(5)
前記制御モデルは、ユーザによって入力される、
上記(1)から(4)のいずれか一つに記載の情報処理装置。
(6)
前記制御モデルを入力する制御モデル入力部をさらに備える、
上記(5)に記載の情報処理装置。
(7)
前記環境特徴に基づいて前記シーンを決定するシーン決定部をさらに備える、
上記(1)から(6)のいずれか一つに記載の情報処理装置。
(8)
前記環境特徴は、地図情報、静的環境情報及び動的環境情報のうち少なくとも一つを含む、
上記(1)から(7)のいずれか一つに記載の情報処理装置。
(9)
センサにより得られる前記周辺環境に関する観測情報と、タスクに関するタスク情報とに基づいて、前記環境特徴を抽出する環境特徴抽出部をさらに備える、
上記(1)から(8)のいずれか一つに記載の情報処理装置。
(10)
前記環境特徴抽出部は、
機械学習の手法を用いて前記環境特徴を抽出する、
上記(9)に記載の情報処理装置。
(11)
前記環境特徴抽出部は、
前記環境特徴に関する環境特徴量の複数次元の尤度を出力とするマッピングを行うことで、前記環境特徴を抽出する、
上記(10)に記載の情報処理装置。
(12)
設定された前記制御モデルに基づいて前記自律移動装置を制御する制御部をさらに備える、
上記(1)から(11)のいずれか一つに記載の情報処理装置。
(13)
表示部をさらに備え、
前記表示部は、
前記自律移動装置が走行する経路を含む地図と、前記地図上に前記環境特徴に関する環境特徴量の複数次元の尤度とを表示する、
上記(1)から(12)のいずれか一つに記載の情報処理装置。
(14)
前記表示部は、
前記自律移動装置の走行履歴、前記シーン及び前記シーンごとの前記制御モデルを表示する、
上記(13)に記載の情報処理装置。
(15)
前記表示部は、
前記環境特徴量及び前記制御モデルのどちらか一方又は両方を表示して推薦する、
上記(13)又は(14)に記載の情報処理装置。
(16)
前記表示部は、
前記自律移動装置が走行した環境をシミュレーション環境として保持し、
設定された前記制御モデルに基づいて、保持した前記シミュレーション環境において前記自律移動装置の走行に関するシミュレーションを実行する、
上記(13)から(15)のいずれか一つに記載の情報処理装置。
(17)
前記表示部は、
前記自律移動装置が走行する予測経路を表示する、
上記(16)に記載の情報処理装置。
(18)
上記(1)から(17)のいずれか一つに記載の情報処理装置を備える、
自律移動装置。
(19)
自律移動装置の周辺環境から抽出された環境特徴に基づいて決定されたシーンごとに、前記自律移動装置に対する制御モデルを設定する、
情報処理方法。
(20)
コンピュータに、
自律移動装置の周辺環境から抽出された環境特徴に基づいて決定されたシーンごとに、前記自律移動装置に対する制御モデルを設定するステップ、
を実行させるためのプログラム。
(21)
上記(1)から(17)のいずれか一つに記載の情報処理装置を用いる、
情報処理方法。
(22)
コンピュータを、
上記(1)から(17)のいずれか一つに記載の情報処理装置として、
機能させるためのプログラム。
1 自律移動システム
10 自律移動制御装置
11 環境特徴抽出部
12 シーン決定部
13 制御モデル設定部
14 運動制御部
20 ユーザ入出力装置
21 ルール入力部
22 制御モデル入力部
23 表示部
23a 出力部
23b 入力部
23c 出力部
23d 出力部
23e 入力部
30 自律移動装置
30A 自律移動装置
10 自律移動制御装置
11 環境特徴抽出部
12 シーン決定部
13 制御モデル設定部
14 運動制御部
20 ユーザ入出力装置
21 ルール入力部
22 制御モデル入力部
23 表示部
23a 出力部
23b 入力部
23c 出力部
23d 出力部
23e 入力部
30 自律移動装置
30A 自律移動装置
Claims (20)
- 自律移動装置の周辺環境から抽出された環境特徴に基づいて決定されたシーンごとに、前記自律移動装置に対する制御モデルを設定する制御モデル設定部を備える、
情報処理装置。 - 前記制御モデル設定部は、
前記シーンの変化に応じて前記制御モデルを切り替える、
請求項1に記載の情報処理装置。 - 前記シーンは、ユーザによって入力されたルールに従って決定される、
請求項1に記載の情報処理装置。 - 前記ルールを入力するルール入力部をさらに備える、
請求項3に記載の情報処理装置。 - 前記制御モデルは、ユーザによって入力される、
請求項1に記載の情報処理装置。 - 前記制御モデルを入力する制御モデル入力部をさらに備える、
請求項5に記載の情報処理装置。 - 前記環境特徴に基づいて前記シーンを決定するシーン決定部をさらに備える、
請求項1に記載の情報処理装置。 - 前記環境特徴は、地図情報、静的環境情報及び動的環境情報のうち少なくとも一つを含む、
請求項1に記載の情報処理装置。 - センサにより得られる前記周辺環境に関する観測情報と、タスクに関するタスク情報とに基づいて、前記環境特徴を抽出する環境特徴抽出部をさらに備える、
請求項1に記載の情報処理装置。 - 前記環境特徴抽出部は、
機械学習の手法を用いて前記環境特徴を抽出する、
請求項9に記載の情報処理装置。 - 前記環境特徴抽出部は、
前記環境特徴に関する環境特徴量の複数次元の尤度を出力とするマッピングを行うことで、前記環境特徴を抽出する、
請求項10に記載の情報処理装置。 - 設定された前記制御モデルに基づいて前記自律移動装置を制御する制御部をさらに備える、
請求項1に記載の情報処理装置。 - 表示部をさらに備え、
前記表示部は、
前記自律移動装置が走行する経路を含む地図と、前記地図上に前記環境特徴に関する環境特徴量の複数次元の尤度とを表示する、
請求項1に記載の情報処理装置。 - 前記表示部は、
前記自律移動装置の走行履歴、前記シーン及び前記シーンごとの前記制御モデルを表示する、
請求項13に記載の情報処理装置。 - 前記表示部は、
前記環境特徴量及び前記制御モデルのどちらか一方又は両方を表示して推薦する、
請求項13に記載の情報処理装置。 - 前記表示部は、
前記自律移動装置が走行した環境をシミュレーション環境として保持し、
設定された前記制御モデルに基づいて、保持した前記シミュレーション環境において前記自律移動装置の走行に関するシミュレーションを実行する、
請求項13に記載の情報処理装置。 - 前記表示部は、
前記自律移動装置が走行する予測経路を表示する、
請求項16に記載の情報処理装置。 - 請求項1に記載の情報処理装置を備える、
自律移動装置。 - 自律移動装置の周辺環境から抽出された環境特徴に基づいて決定されたシーンごとに、前記自律移動装置に対する制御モデルを設定する、
情報処理方法。 - コンピュータに、
自律移動装置の周辺環境から抽出された環境特徴に基づいて決定されたシーンごとに、前記自律移動装置に対する制御モデルを設定するステップ、
を実行させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-194061 | 2020-11-24 | ||
JP2020194061 | 2020-11-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022113707A1 true WO2022113707A1 (ja) | 2022-06-02 |
Family
ID=81754406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/040909 WO2022113707A1 (ja) | 2020-11-24 | 2021-11-08 | 情報処理装置、自律移動装置、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2022113707A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02115904A (ja) * | 1988-10-26 | 1990-04-27 | Mazda Motor Corp | 移動車の走行制御装置 |
JP2010205228A (ja) * | 2009-03-06 | 2010-09-16 | Toyota Motor Corp | 移動軌跡生成装置 |
JP2016078185A (ja) * | 2014-10-17 | 2016-05-16 | トヨタ自動車株式会社 | ロボット |
JP2018108801A (ja) * | 2016-12-29 | 2018-07-12 | バイドゥ・ユーエスエイ・リミテッド・ライアビリティ・カンパニーBaidu USA LLC | 自律走行車の安定性を向上させるための方法及びシステム |
WO2020132943A1 (en) * | 2018-12-26 | 2020-07-02 | Baidu.Com Times Technology (Beijing) Co., Ltd. | A corner negotiation method for autonomous driving vehicles without map and localization |
-
2021
- 2021-11-08 WO PCT/JP2021/040909 patent/WO2022113707A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02115904A (ja) * | 1988-10-26 | 1990-04-27 | Mazda Motor Corp | 移動車の走行制御装置 |
JP2010205228A (ja) * | 2009-03-06 | 2010-09-16 | Toyota Motor Corp | 移動軌跡生成装置 |
JP2016078185A (ja) * | 2014-10-17 | 2016-05-16 | トヨタ自動車株式会社 | ロボット |
JP2018108801A (ja) * | 2016-12-29 | 2018-07-12 | バイドゥ・ユーエスエイ・リミテッド・ライアビリティ・カンパニーBaidu USA LLC | 自律走行車の安定性を向上させるための方法及びシステム |
WO2020132943A1 (en) * | 2018-12-26 | 2020-07-02 | Baidu.Com Times Technology (Beijing) Co., Ltd. | A corner negotiation method for autonomous driving vehicles without map and localization |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102071154B1 (ko) | 자율 주행 차량의 주행 결정을 위한 주변 환경 구성 방법 및 시스템 | |
US10457294B1 (en) | Neural network based safety monitoring system for autonomous vehicles | |
CN108205830B (zh) | 识别对于无人驾驶车辆的个人驾驶偏好的方法和*** | |
EP3335006B1 (en) | Controlling error corrected planning methods for operating autonomous vehicles | |
US10015537B2 (en) | System and method for providing content in autonomous vehicles based on perception dynamically determined at real-time | |
US20210116930A1 (en) | Information processing apparatus, information processing method, program, and mobile object | |
JP2019504373A (ja) | 車両の周囲の状況に基づいて車両の一つ又は複数の軌跡を予測する方法とシステム | |
JP2018531385A6 (ja) | 自律走行車を運行させるための制御エラー補正計画方法 | |
CN113785253B (zh) | 信息处理装置、信息处理方法和程序 | |
JP2019503523A (ja) | 自律走行車のための車両の位置点の配信方法 | |
KR20200143242A (ko) | 비전 기반 인식 시스템에 의한 대립적 샘플들 검출 방법 | |
US11812197B2 (en) | Information processing device, information processing method, and moving body | |
WO2019082670A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び、移動体 | |
WO2021033591A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
EP3815061B1 (en) | Theft proof techniques for autonomous driving vehicles used for transporting goods | |
JP2019061603A (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
JP2019045364A (ja) | 情報処理装置、自己位置推定方法、及び、プログラム | |
US20240069564A1 (en) | Information processing device, information processing method, program, and mobile apparatus | |
US20220277556A1 (en) | Information processing device, information processing method, and program | |
WO2021033574A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
WO2020129810A1 (en) | Information processing apparatus, information processing method, and program | |
WO2022113707A1 (ja) | 情報処理装置、自律移動装置、情報処理方法及びプログラム | |
WO2022024602A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN111240315A (zh) | 使用预定负载校准表确定自动驾驶车辆的车辆负载的方法 | |
US20240257508A1 (en) | Information processing device, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21897682 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21897682 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |