WO2020202378A1 - 表示制御装置、表示制御方法及びプログラム - Google Patents
表示制御装置、表示制御方法及びプログラム Download PDFInfo
- Publication number
- WO2020202378A1 WO2020202378A1 PCT/JP2019/014307 JP2019014307W WO2020202378A1 WO 2020202378 A1 WO2020202378 A1 WO 2020202378A1 JP 2019014307 W JP2019014307 W JP 2019014307W WO 2020202378 A1 WO2020202378 A1 WO 2020202378A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- display
- difficulty level
- vehicle
- control device
- moving body
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 20
- 230000008569 process Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 16
- 230000015654 memory Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/04—Monitoring the functioning of the control system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/097—Supervising of traffic control systems, e.g. by giving an alarm if two crossing streets have green light simultaneously
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Definitions
- the present invention relates to a display control device, a display control method, and a program.
- Patent Document 1 proposes to evaluate the surrounding situation from the viewpoint of the difficulty of automatic driving of the vehicle, and to give a warning notice to the driver based on the result. This prevents the driver from becoming accustomed to the alert notification.
- Patent Document 1 only presents information on the difficulty level of automatic driving to the driver, and it cannot be said that this information can be effectively utilized.
- a part of the present invention is aimed at providing a technique for effectively utilizing information on the difficulty level of automatic traveling control of a moving body.
- the display control device is provided with an acquisition means for acquiring the difficulty level of automatic traveling control of the moving body and a display device for being visually recognized by a person outside the moving body from which the difficulty level has been acquired.
- a display control device comprising: a control means for performing a display according to the difficulty level.
- the accompanying drawings are included in the specification, which form a part thereof, show an embodiment of the present invention, and are used together with the description to explain the principle of the present invention.
- the block diagram explaining the configuration example of the display control device and the display device which concerns on embodiment The block diagram explaining the configuration example of the display control device and the display device which concerns on embodiment.
- the block diagram explaining the configuration example of the display control device and the display device which concerns on embodiment The block diagram explaining the configuration example of the display control device and the display device which concerns on embodiment.
- the flow diagram explaining the example of the display control method which concerns on embodiment The schematic diagram explaining the display example of the screen which concerns on embodiment.
- the schematic diagram explaining the display example of the screen which concerns on embodiment The schematic diagram explaining the display example of the screen which concerns on embodiment.
- the vehicle 1 includes a vehicle control device 2 (hereinafter, simply referred to as a control device 2) that controls the vehicle 1.
- the control device 2 includes a plurality of ECUs 20 to 29 that are communicably connected by an in-vehicle network.
- Each ECU includes a processor typified by a CPU, a memory such as a semiconductor memory, an interface with an external device, and the like.
- the memory stores programs executed by the processor and data used by the processor for processing.
- Each ECU may include a plurality of processors, memories, interfaces, and the like.
- the ECU 20 includes a processor 20a and a memory 20b. When the processor 20a executes an instruction included in the program stored in the memory 20b, the processing by the ECU 20 is executed.
- the ECU 20 may be provided with a dedicated integrated circuit such as an ASIC for executing the process by the ECU 20. The same applies to other ECUs.
- each ECU 20 to 29 will be described.
- the number of ECUs and the functions in charge can be appropriately designed, and can be subdivided or integrated from the present embodiment.
- the ECU 20 executes driving control related to the automatic driving function and the remote driving function of the vehicle 1.
- the ECU 20 automatically controls the steering and / or acceleration / deceleration of the vehicle 1.
- the automatic driving function is a function in which the ECU 20 plans a traveling path of the vehicle 1 and controls steering and / or acceleration / deceleration of the vehicle 1 based on the traveling path.
- the remote control function is a function in which the ECU 20 controls steering and / or acceleration / deceleration of the vehicle 1 according to an instruction from an operator outside the vehicle 1.
- the external operator may be a human or AI (artificial intelligence).
- the ECU 20 can also execute the automatic operation function and the remote operation function in combination.
- the ECU 20 may plan a travel route and perform travel control while there is no instruction from the operator, and may perform travel control according to the instruction when the operator gives an instruction.
- the ECU 21 controls the electric power steering device 3.
- the electric power steering device 3 includes a mechanism for steering the front wheels in response to a driver's driving operation (steering operation) with respect to the steering wheel 31. Further, the electric power steering device 3 includes a motor that exerts a driving force for assisting the steering operation and automatically steering the front wheels, a sensor for detecting the steering angle, and the like.
- the ECU 21 automatically controls the electric power steering device 3 in response to an instruction from the ECU 20 to control the traveling direction of the vehicle 1.
- the ECUs 22 and 23 control the detection units 41 to 43 for detecting the state of the outside world of the vehicle and process the information processing of the detection results.
- the detection unit 41 is a camera that photographs the front of the vehicle 1 (hereinafter, may be referred to as a camera 41), and in the case of the present embodiment, it is attached to the vehicle interior side of the front window at the front of the roof of the vehicle 1. Be done. By analyzing the image taken by the camera 41, it is possible to extract the outline of the target and the lane marking line (white line or the like) on the road.
- the detection unit 42 is a lidar (Light Detection and Ringing) (hereinafter, may be referred to as a lidar 42), detects a target around the vehicle 1, and measures a distance from the target. ..
- a lidar 42 Light Detection and Ringing
- five riders 42 are provided, one in each corner of the front portion of the vehicle 1, one in the center of the rear portion, and one on each side of the rear portion.
- the detection unit 43 is a millimeter-wave radar (hereinafter, may be referred to as a radar 43), detects a target around the vehicle 1, and measures a distance from the target.
- five radars 43 are provided, one in the center of the front portion of the vehicle 1, one in each corner of the front portion, and one in each corner of the rear portion.
- the ECU 22 controls one of the cameras 41 and each rider 42 and processes the detection result.
- the ECU 23 controls the other camera 41 and each radar 43, and processes information processing of the detection result.
- the ECU 24 controls the gyro sensor 5, the GPS sensor 24b, and the communication device 24c, and processes the detection result or the communication result.
- the gyro sensor 5 detects the rotational movement of the vehicle 1. The course of the vehicle 1 can be determined based on the detection result of the gyro sensor 5, the wheel speed, and the like.
- the GPS sensor 24b detects the current position of the vehicle 1.
- the communication device 24c wirelessly communicates with a server that provides map information and traffic information, and acquires such information.
- the ECU 24 can access the map information database 24a built in the memory, and the ECU 24 searches for a route from the current location to the destination.
- the ECU 24, the map database 24a, and the GPS sensor 24b constitute a so-called navigation device.
- the ECU 25 includes a communication device 25a for vehicle-to-vehicle communication.
- the communication device 25a wirelessly communicates with other vehicles in the vicinity and exchanges information between the vehicles.
- the communication device 25a is also used for communication with an operator outside the vehicle 1.
- the ECU 26 controls the power plant 6.
- the power plant 6 is a mechanism that outputs a driving force for rotating the driving wheels of the vehicle 1, and includes, for example, an engine and a transmission.
- the ECU 26 controls the engine output in response to the driver's driving operation (accelerator operation or acceleration operation) detected by the operation detection sensor 7a provided on the accelerator pedal 7A, or the vehicle speed detected by the vehicle speed sensor 7c.
- the shift stage of the transmission is switched based on the information in.
- the ECU 26 automatically controls the power plant 6 in response to an instruction from the ECU 20 to control acceleration / deceleration of the vehicle 1.
- the ECU 27 controls a lighting device 8 (lighting device such as a head light and a tail light) including a direction indicator (winker).
- the lighting device 8 is provided at the front portion, the door mirror, and the rear portion of the vehicle 1.
- the ECU 27 further controls the sound device 11 directed to the outside of the vehicle, including the horn of the horn.
- the lighting device 8, the sound device 11, or a combination thereof has a function of providing information to the outside world of the vehicle 1.
- the ECU 28 controls the input / output device 9.
- the input / output device 9 outputs information to the driver and accepts input of information from the driver.
- the sound output device 91 notifies the driver of information by voice.
- the display device 92 notifies the driver of information by displaying an image.
- the display device 92 is arranged on the surface of the driver's seat, for example, and constitutes an instrument panel or the like.
- voice and display are illustrated here, information may be notified by vibration or light.
- information may be transmitted by combining a plurality of voices, displays, vibrations, and lights. Further, the combination may be different or the notification mode may be different depending on the level of information to be notified (for example, the degree of urgency).
- the input device 93 is a group of switches that are arranged at a position that can be operated by the driver and give an instruction to the vehicle 1, but a sound input device may also be included.
- the ECU 28 can provide guidance regarding the traveling control of the ECU 20. The details of the guidance will be described later.
- the input device 93 may include a switch used to control the operation of travel control by the ECU 20.
- the input device 93 may include a camera for detecting the direction of the driver's line of sight.
- the ECU 29 controls the braking device 10 and the parking brake (not shown).
- the brake device 10 is, for example, a disc brake device, which is provided on each wheel of the vehicle 1 and decelerates or stops the vehicle 1 by applying resistance to the rotation of the wheels.
- the ECU 29 controls the operation of the brake device 10 in response to the driver's driving operation (brake operation) detected by the operation detection sensor 7b provided on the brake pedal 7B, for example.
- the driving state of the vehicle 1 is the automatic driving state
- the ECU 29 automatically controls the brake device 10 in response to an instruction from the ECU 20 to control deceleration and stop of the vehicle 1.
- the braking device 10 and the parking brake can also be operated to maintain the stopped state of the vehicle 1. Further, when the transmission of the power plant 6 is provided with a parking lock mechanism, this can be operated to maintain the stopped state of the vehicle 1.
- the remote driving device 200 is a device for providing a remote driving service to a vehicle having a remote driving function.
- the remote driving device 200 is located remotely from the vehicle to be serviced.
- the remote control device 200 may be able to provide a remote control service in a plurality of operation modes.
- the plurality of operation modes of the remote driving service may include a lead mode and an assist mode.
- the driven mode is an operation mode in which the operator of the remote driving device 200 specifies a control amount of the vehicle (for example, steering angle, accelerator pedal opening, brake pedal opening, blinker lever position, light on / off, etc.). That is.
- the support mode is an operation mode in which the vehicle (specifically, the ECU 20) determines the control amount of the vehicle according to the route plan specified by the operator of the remote driving device 200. In the support mode, the operator of the remote driving device 200 may generate and specify the route plan by himself / herself, or may specify the route plan by adopting the route plan proposed by the vehicle.
- the remote control device 200 has each component shown in FIG.
- the processor 201 controls the operation of the entire remote control device 200.
- the processor 201 functions as, for example, a CPU.
- the memory 202 stores programs, temporary data, and the like used for operating the remote control device 200.
- the memory 202 is realized by, for example, a ROM or a RAM.
- the input unit 203 is used for the user of the remote control device 200 to input to the remote control device 200.
- the user of the remote driving device 200 is a human being when the human being is the operating subject, and a human being (monitorer) who monitors the operation of the AI when the AI is the operating subject.
- the output unit 204 is used to output information from the remote control device 200 to the user.
- the storage unit 205 stores data used for the operation of the remote control device 200.
- the storage unit 205 is realized by a storage device such as a disk drive (for example, HDD or SDD).
- the communication unit 206 provides a function in which the remote control device 200 communicates with another device (for example, a vehicle to be remotely controlled), and is realized by, for example, a network card or an antenna.
- the output unit 204 is configured by the display device 310 and the sound device 320
- the input unit 203 is configured by the steering wheel 330, the accelerator pedal 340, the brake pedal 350, the microphone 360, and the plurality of switches 370.
- the display device 310 is a device that outputs visual information for providing a remote control service.
- the sound device 320 is a device that outputs auditory information for providing a remote driving service.
- the screen displayed on the display device 310 includes one main area 311 and a plurality of sub areas 312.
- the main area 311 information on the controlled vehicle among the plurality of vehicles for which the remote driving service is provided is displayed.
- the controlled vehicle is a vehicle to which an instruction from the remote driving device 200 is transmitted.
- information about a vehicle other than the controlled vehicle among the plurality of vehicles for which the remote driving service is provided is displayed. Vehicles other than the controlled vehicle may also be referred to as a monitored vehicle.
- the operator When the remote driving service is provided to a plurality of vehicles by one remote driving device 200, the operator appropriately switches the vehicles displayed in the main area 311 (that is, the controlled vehicle).
- the information displayed in the main area 311 and the sub area 312 includes the traffic conditions around the vehicle, the speed of the vehicle, and the like.
- the steering wheel 330 is used to control the steering amount of the controlled vehicle in the driven mode.
- the accelerator pedal 340 is used to control the accelerator pedal opening degree of the vehicle to be controlled in the driven mode.
- the brake pedal 350 is used to control the brake pedal opening degree of the vehicle to be controlled in the driven mode.
- the microphone 360 is used to input voice information. The voice information input to the microphone 360 may be transmitted to the controlled vehicle and reproduced in the vehicle.
- the plurality of switches 370 are used to perform various inputs for providing a remote operation service.
- the plurality of switches 370 include a switch for switching a controlled vehicle, a switch for instructing an operator's determination result in a support mode, a switch for switching a plurality of operation modes, and the like.
- the remote control device 200 described with reference to FIGS. 2 and 3 can provide both a lead mode and a support mode.
- the remote control device 200 may be able to provide only one of the lead mode and the support mode.
- the steering wheel 330, accelerator pedal 340 and brake pedal 350 may be omitted if the lead mode is not provided.
- a plurality of remote control devices 200 may cooperate to provide a remote control service. In this case, the remote control device 200 may be able to take over the vehicle to be serviced to another remote control device 200.
- the display control device acquires the difficulty level of the automatic driving control of the vehicle, and causes the display device for the outside person of the vehicle to visually recognize the display according to the difficulty level.
- the display control device may be included in the vehicle from which the difficulty level is acquired, or may be included in the remote control device 200. Further, the display device may be mounted on a vehicle to which the difficulty level is acquired, may be mounted on a vehicle different from this vehicle, or may be included in the remote control device 200.
- the vehicle 1 includes a sensor group 401 that acquires data used for acquiring the difficulty level of automatic driving control.
- the sensor group 401 includes, for example, detection units 41 to 43 that detect the state of the outside world of the vehicle, and sensors that measure the vehicle speed of the vehicle 1.
- the data may also include a route planned by the ECU 20.
- the display control device 402 acquires the above-mentioned data from the sensor group 401, and acquires the difficulty level of the automatic driving control of the vehicle 1 based on this data. Specifically, the display control device 402 of the vehicle 1 determines the difficulty level of the automatic driving control of the vehicle 1 based on the above data, and acquires this difficulty level.
- the control device 2 (FIG. 1) described above may function as the display control device 402. For example, the display control device 402 may acquire the difficulty level of the automatic driving control in three stages of low difficulty level, medium difficulty level, and high difficulty level.
- the display control device 402 has difficulty in automatic driving control when there is a lot of traffic around the vehicle 1, there are vulnerable people (pedestrians, etc.) in the vicinity, or when a specific operation such as a lane change is planned. Increase the degree. After acquiring the difficulty level, the display control device 402 supplies the display device 403 with a display command for causing the display device 403 to display according to the difficulty level.
- FIG. 5 is a schematic view of the vehicle 1 as viewed from the rear.
- a display device 403 is mounted behind the outside of the vehicle interior of the vehicle 1.
- the display surface of the display device 403 faces the rear of the vehicle 1. That is, the display device 403 is a display device for a person behind the vehicle 1 (for example, the driver of the following vehicle) to visually recognize the display device 403.
- the display control device 402 causes the display device 403 to display according to the difficulty level of the automatic driving control. With reference to this display, the driver of the following vehicle can take an action corresponding to the display (for example, increasing the inter-vehicle distance).
- the display device 403 may be mounted at a position where the display is directed toward a person in front and / or side of the vehicle 1.
- the display device 403 may display the difficulty level by character information. For example, when the difficulty level of the automatic driving control is high, the display device 403 may display a message such as "traveling in a high difficulty level". Alternatively or additionally, the display device may display the difficulty level by color information. For example, the display device 403 emits blue light when the difficulty level is low, yellow light when the difficulty level is medium, and red light when the difficulty level is high.
- the display control device 402 may cause the display device 403 to display in an manner according to the difficulty level of the automatic driving control. For example, the display device 403 displays the difficulty level only by the character information in the case of the low difficulty level or the medium difficulty level, and displays the difficulty level by the color information in addition to the character information in the case of the high difficulty level.
- FIG. 6A A case where the display control device 402 is included in the vehicle 1A and the display device 92 is included in another vehicle 1B will be described with reference to FIG. 6A.
- the vehicle 1A and the vehicle 1B may each have the same configuration as the vehicle 1 of FIG. Instead, the vehicle 1B having the display device 92 may not have the automatic driving function and the remote driving function.
- Vehicle 1A includes the sensor group 401 described above.
- the display control device 402 acquires the difficulty level of the automatic driving control in the same manner as in the configuration example of FIG.
- the display control device 402 After acquiring the difficulty level, the display control device 402 supplies the display device 92 of the surrounding vehicle 1B with a display command for causing the display device 92 to display according to the difficulty level.
- the display device 92 is a display device for the driver of the vehicle 1B to visually recognize.
- the display command is supplied, for example, by vehicle-to-vehicle communication.
- the display control device 402 may supply a display command to each vehicle.
- the display control device 402 may supply information for identifying the own vehicle (for example, vehicle type, vehicle body color, vehicle registration number, relative position from vehicle 1B, etc.) together with the display command.
- the display device 92 displays according to the difficulty level of the automatic driving control of the vehicle 1A according to this display command. This display may be performed by, for example, character information, image information and / or color information.
- the display device 92 may display information for identifying the vehicle 1A together with this display. With reference to this display, the driver of the surrounding vehicle 1B can take an action corresponding to the display (for example, increasing the inter-vehicle distance).
- the display command from the display control device 402 to the display device 92 may be supplied via another device.
- the display control device 402 of the vehicle 1A may supply a display command to the control device 2 of the vehicle 1B, and the control device 2 of the vehicle 1B may control the display of the display device 92 of the vehicle 1B based on this display command. ..
- the display control device 402 of the vehicle 1A supplies the difficulty level to the vehicle 1B itself is a display command. It may be considered a supply.
- vehicle 1A, the vehicle 1B, and the vehicle 1C may each have the same configuration as the vehicle 1 of FIG. Instead, the vehicle 1C having the display device 92 may not have the automatic driving function and the remote driving function.
- vehicle 1A and vehicle 1B includes the above-mentioned sensor group 401.
- the display control device 402 acquires data used for acquiring the difficulty level of automatic driving control from the sensor group 401 from each of the vehicle 1A and the vehicle 1B, and performs automatic driving control in the same manner as the configuration example of FIG. Get the difficulty level of. Data is transmitted and received, for example, by vehicle-to-vehicle communication. Instead of this, data transmission / reception may be performed via another device.
- the display control device 402 may acquire information for identifying the vehicle (for example, vehicle type, vehicle body color, vehicle registration number, relative position from vehicle 1C, etc.) together with this data.
- the display control device 402 After acquiring the difficulty level, the display control device 402 causes the display device 92 to display according to the difficulty level of the automatic driving control of each of the vehicle 1A and the vehicle 1B.
- the display device 92 is a display device for the driver of the vehicle 1C to visually recognize. This display may be performed by, for example, character information, image information and / or color information. Along with this display, the display device 92 may display information for identifying the vehicle 1A and the vehicle 1B. With reference to this display, the driver of the vehicle 1C can take an action corresponding to the display (for example, increasing the inter-vehicle distance).
- the vehicle 1 includes the above-mentioned sensor group 401.
- the display control device 402 acquires the difficulty level of the automatic driving control in the same manner as in the configuration example of FIG.
- the display control device 402 After acquiring the difficulty level, the display control device 402 supplies the display device 310 of the remote control device 200 with a display command for causing the display device 310 to display according to the difficulty level.
- the display device 310 is a display device for the user of the remote control device 200 to visually recognize.
- the display control device 402 may supply information for identifying the own vehicle (for example, a service ID for remote control) together with the display command.
- the display device 310 displays according to the difficulty level of the automatic driving control of the vehicle 1 according to this display command. This display may be performed by, for example, character information, image information and / or color information.
- the display device 310 displays the vehicle 1 that is the target of the remote driving service in association with other information about the vehicle 1 according to the difficulty level of the automatic driving control. For example, when the information about the vehicle 1 is displayed in one sub-region 312, the display device 310 displays the sub-region 312 according to the difficulty level.
- the operator of the remote control device 200 can perform an action corresponding to the display (for example, switching the display to the main area 311).
- information on the monitored vehicle is displayed in each sub-area 312, and information on the operation target vehicle is displayed in the main area 311.
- the display mode used when the user of the remote control device 200 monitors the vehicle 1 is called a monitoring display mode.
- information about the monitored vehicle is displayed in the sub-region 312.
- the display mode used when the user of the remote driving device 200 remotely controls the vehicle 1 is called an operation display mode.
- information about the operation target vehicle is displayed in the main area 311.
- the main region 311 is larger than the sub region 312. Therefore, the user of the remote driving device 200 can grasp more detailed information about the vehicle 1 to be operated.
- the display control device 402 may display an image related to the vehicle on the display device 310 in the operation display mode when the difficulty level of the automatic driving control of the monitored vehicle is higher than the threshold value. For example, suppose that the difficulty level of automatic driving control is ranked into three stages (A is the most difficult) of "A", "B", and "C”. When the difficulty level of the automatic driving control of the monitored vehicle is "A”, the display control device 402 may switch the monitored vehicle to the controlled vehicle and display it in the main area 311 in the operation display mode. When the difficulty level of the automatic driving control of the monitored vehicle is "B” and "C”, the display in the monitoring display mode is continued. In this case, the boundary between "A" and "B” is the threshold value.
- the display control device 402 tells the user whether to display the displayed vehicle or the vehicle whose difficulty level exceeds the threshold value in the main area 311. You may inquire. Further, the display control device 402 may transfer the remote driving service of one vehicle to the other remote driving device 200.
- Character information and image 1201 are displayed in the sub-area 312.
- the character information includes the vehicle ID, the vehicle speed, the difficulty level, and the communication quality.
- the "vehicle ID” is an identifier for uniquely identifying the vehicle 1 to be provided with the service.
- Vehicle speed is the current speed of vehicle 1.
- the “difficulty level” is the difficulty level of the current automatic driving control of the vehicle 1.
- the "communication quality” is the current quality of communication of the communication device provided in the vehicle 1. Communication quality is ranked and displayed in three stages (A is the best) of "A", "B", and "C”.
- Image 1201 is an image of the driver's viewpoint of the vehicle 1. This image is generated, for example, based on data from a camera 41 mounted on the vehicle 1.
- Image 1301 is an image of the driver's viewpoint of the vehicle 1. Since the main area 311 is larger than the sub area 312, the display control device 402 can display the image 1301 larger than the image 1201. Therefore, the user of the remote driving device 200 can grasp more information about the driver's viewpoint of the vehicle 1.
- Image 1302 is a bird's-eye view of the periphery of the vehicle 1. This image is generated based on, for example, data from the detection units 41 to 43 mounted on the vehicle 1 and data from the road infrastructure.
- the image 1401 may be always displayed on the display device 310, or may be displayed on the display device 310 in response to a request from the user of the remote control device 200. Further, the image 1401 may be displayed in the main area 311 or may be displayed in an area other than the main area 311 and the sub area 312.
- the positions of the plurality of vehicles are indicated by circles on the map. Further, in the image 1401, the vehicle ID and the difficulty level of each vehicle are shown in association with the position of each vehicle represented by the circle. That is, information including the difficulty level of each vehicle is shown in association with the geographical position of the vehicle on the screen displaying the road (for example, on the map). Also in this image, a vehicle having a difficulty level higher than the threshold value (in the example, a vehicle having a vehicle ID of "001") may be highlighted. In order to generate the image 1401, the display control device 402 acquires the position of each vehicle in addition to the difficulty level of the automatic driving control of each vehicle.
- the display command from the display control device 402 to the display device 310 may be supplied via another device.
- the display control device 402 of the vehicle 1 may supply a display command to the processor 201 of the remote driving device 200, and the processor 201 may control the display of the display device 310 based on the display command.
- the display control device 402 of the vehicle 1 supplies the difficulty level to the remote control device 200 itself. May be considered as the supply of display instructions.
- the vehicle 1 includes a sensor group 401 that acquires data used for acquiring the difficulty level of automatic driving control.
- the display control device 402 acquires the data used for acquiring the difficulty level of the automatic driving control from the sensor group 401 of the vehicle 1, and acquires the difficulty level of the automatic driving control in the same manner as the configuration example of FIG. ..
- the display control device 402 of the remote control device 200 determines the difficulty level of the automatic driving control of the vehicle 1 based on this data, and acquires this difficulty level.
- the processor 201 of the remote control device 200 described above may function as the display control device 402.
- the display control device 402 After acquiring the difficulty level, the display control device 402 supplies the display device 403 of the vehicle 1 of the data supply source with a display command for causing the display device 403 to display according to the difficulty level.
- the display configuration in the display device 403 may be the same as that described with reference to FIGS. 4 and 5.
- the vehicle 1 includes the above-mentioned sensor group 401.
- the display control device 402 acquires the data used for acquiring the difficulty level of the automatic driving control from the sensor group 401 of the vehicle 1A, and acquires the difficulty level of the automatic driving control in the same manner as the configuration example of FIG. ..
- the display control device 402 After acquiring the difficulty level, the display control device 402 supplies the display device 310 of the remote control device 200 with a display command for causing the display device 310 to display according to the difficulty level.
- the display configuration in the display device 403 may be the same as that described with reference to FIGS. 7 and 12 to 14.
- the remote driving device 200 acquires data used for acquiring the difficulty level of automatic driving control from each of the plurality of vehicles 1A and 1B for which the remote driving service is provided, and the difficulty level of automatic driving control for each vehicle. May be obtained.
- the remote control device 200 causes the display device 310 to display a display according to the difficulty level in association with each vehicle. For example, the display device 310 displays the display area corresponding to the vehicle 1A (main area 311 or any of the sub-areas 312) according to the difficulty level of the vehicle 1A, and displays the display area corresponding to the vehicle 1B (main). Display is performed for the area 311 or any of the sub-areas 312) according to the difficulty level of the vehicle 1B.
- the vehicle 1A and the vehicle 1B may each have the same configuration as the vehicle 1 of FIG. Instead, the vehicle 1B having the display device 92 may not have the automatic driving function and the remote driving function.
- Vehicle 1A includes the sensor group 401 described above.
- the display control device 402 acquires data used for acquiring the difficulty level of automatic driving control from a plurality of vehicles 1A to which the remote driving service is provided, and performs automatic driving control in the same manner as the configuration example of FIG. Get the difficulty level.
- the display control device 402 After acquiring the difficulty level, the display control device 402 supplies the display device 92 of the vehicle 1B around the vehicle 1A with a display command for causing the display device 92 to display according to the difficulty level.
- the display on the display device 92 is the same as that described with reference to FIG. 6A.
- the display control method executed by the display control device 402 will be described with reference to FIG.
- This control method may be performed by the processor of the display control device 402 (specifically, the control device 2 or the remote control device 200) executing a program stored in the memory.
- some or all steps of the method may be performed in a dedicated circuit such as an ASIC (application specific integrated circuit).
- ASIC application specific integrated circuit
- the processor becomes a component for a specific operation
- a dedicated circuit becomes a component for a specific operation.
- the control method of FIG. 11 is repeatedly executed while the vehicle 1 is executing the automatic driving control.
- step S1101 the display control device 402 acquires data used for acquiring the difficulty level of automatic driving control from the sensor group 401 of the vehicle 1 as described in detail with reference to FIGS. 4 to 10.
- step S1102 the display control device 402 acquires the difficulty level of the automatic driving control of the vehicle 1 as described in detail with reference to FIGS. 4 to 10.
- step S1103 the display control device 402 causes the display device to display according to the difficulty level, as described in detail with reference to FIGS. 4 to 10.
- the present invention has been described by taking vehicle 1 as an example.
- the present invention may be applied to moving objects other than vehicles.
- ⁇ Summary of Embodiment> It is a display control device (402). Acquisition means (20a, 201, S1102) for acquiring the difficulty level of automatic driving control of the moving body (1, 1A), and Control means (20a, 201, S1103) for causing a display device (92, 310, 403) to be visually recognized by a person outside the moving body from which the difficulty level has been acquired to display according to the difficulty level.
- a display control device characterized by comprising According to this configuration, information on the difficulty level of automatic traveling control of the moving body can be effectively utilized. Specifically, since a person outside the moving body can know the difficulty level of the automatic running control of the moving body, he / she can act accordingly.
- ⁇ Structure 4> The display control device according to configuration 1 or 2, wherein the display device is mounted on a moving body (1B) different from the moving body (1A) for acquiring the difficulty level. According to this configuration, since the difficulty level of the automatic driving control is displayed on the moving body of an outside person, the difficulty level is displayed at a position that is easy for the outside person to see.
- the display device is a display device (210) for the user of the remote control device (200) to provide a remote control service to a moving body whose acquisition means acquires a difficulty level.
- the control means can display an image of the moving body in either the first display mode or the second display mode, and when the difficulty level of the automatic traveling control of the moving body is higher than the threshold value, the moving body
- the display control device according to configuration 5, wherein an image (1301, 1302) relating to the above is displayed on the display device in the second display mode. According to this configuration, an image related to a moving body can be displayed in a display mode according to the difficulty level of automatic driving control.
- the first display mode is used when the user of the remote control device monitors the moving object.
- ⁇ Structure 8> When the difficulty level of the automatic traveling control of the moving body is larger than the threshold value, the control means provides an image display area (311) for the moving body as compared with the case where the difficulty level is smaller than the threshold value.
- ⁇ Structure 9> The control means When the difficulty level of the automatic traveling control of the moving body is larger than the threshold value, an image relating to the moving body is displayed in the first region (311) of the display device.
- ⁇ Structure 12> The display control device according to any one of configurations 1 to 5, wherein the acquisition means acquires the difficulty level determined by the remote control device (200) that provides the remote control service to the mobile body. .. According to this configuration, the difficulty level can be determined by a remote control device having excellent processing power.
- the acquisition means acquires the difficulty level of automatic driving control for each of the plurality of moving bodies (1A, 1B).
- ⁇ Structure 14> The display control device according to the configuration 13, wherein the control means highlights a moving body having a difficulty level of automatic traveling control higher than a threshold value among the plurality of moving bodies. According to this configuration, the user can easily grasp that the difficulty level is high.
- ⁇ Structure 15> Among the plurality of moving bodies, the control means displays a moving body having a difficulty level of automatic traveling control higher than the threshold value in the first region (311) of the display device, and the difficulty level of the automatic traveling control is lower than the threshold value.
- ⁇ Structure 16> The display control device according to configuration 15, wherein the first region is larger than the second region. According to this configuration, it is possible to provide more detailed information about the moving object when the difficulty level is high.
- the acquisition means acquires the respective positions of the plurality of moving bodies, and obtains the positions of the plurality of moving bodies.
- ⁇ Structure 18> A program for operating a computer as each means of the display control device according to any one of the configurations 1 to 17. According to this configuration, the invention can be provided in the form of a program.
- ⁇ Structure 19> It is a display control method The acquisition process (S1102) for acquiring the difficulty level of automatic driving control of the moving body (1, 1A), and A control step (S1103) in which a display device (92, 310, 403) for viewing by a person outside the moving body from which the difficulty level has been acquired is made to display according to the difficulty level.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
表示制御装置は、移動体の自動走行制御の難易度を取得する取得部と、前記難易度が取得された移動体の外部の人が視認するための表示装置に前記難易度に応じた表示を行わせる制御部と、を有する。
Description
本発明は、表示制御装置、表示制御方法及びプログラムに関する。
車両の自動運転に関する様々な技術が提案されている。特許文献1は、車両の自動運転の難易の観点から周辺状況を評価して、その結果に基づいて、運転者に対して注意喚起通知を行うことを提案する。これによって、運転者が注意喚起通知に慣れてしまうことを抑制する。
特許文献1に記載された技術では、自動運転の難易度に関する情報を運転者に提示しているだけであり、この情報を有効に活用できているとは言えない。本発明の一部の側面は、移動体の自動走行制御の難易度に関する情報を有効活用するための技術を提供することを目的とする。
上記課題に鑑みて、表示制御装置であって、移動体の自動走行制御の難易度を取得する取得手段と、前記難易度が取得された移動体の外部の人が視認するための表示装置に前記難易度に応じた表示を行わせる制御手段と、を備えることを特徴する表示制御装置が提供される。
上記手段により、移動体の自動走行制御の難易度に関する情報を有効活用できる。
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
実施形態に係る車両の構成例を説明するブロック図。
実施形態に係る遠隔運転装置の構成例を説明するブロック図。
実施形態に係る遠隔運転のコンソール例を説明する模式図。
実施形態に係る表示制御装置及び表示装置の構成例を説明するブロック図。
実施形態に係る表示装置の搭載位置の例を説明する模式図。
実施形態に係る表示制御装置及び表示装置の構成例を説明するブロック図。
実施形態に係る表示制御装置及び表示装置の構成例を説明するブロック図。
実施形態に係る表示制御装置及び表示装置の構成例を説明するブロック図。
実施形態に係る表示制御装置及び表示装置の構成例を説明するブロック図。
実施形態に係る表示制御装置及び表示装置の構成例を説明するブロック図。
実施形態に係る表示制御装置及び表示装置の構成例を説明するブロック図。
実施形態に係る表示制御方法の例を説明するフロー図。
実施形態に係る画面の表示例を説明する模式図。
実施形態に係る画面の表示例を説明する模式図。
実施形態に係る画面の表示例を説明する模式図。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴うち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
車両1は、車両1を制御する車両用制御装置2(以下、単に制御装置2と呼ぶ)を含む。制御装置2は車内ネットワークにより通信可能に接続された複数のECU20~29を含む。各ECUは、CPUに代表されるプロセッサ、半導体メモリ等のメモリ、外部デバイスとのインタフェース等を含む。メモリにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ECUはプロセッサ、メモリおよびインタフェース等を複数備えていてもよい。例えば、ECU20は、プロセッサ20aとメモリ20bとを備える。メモリ20bに格納されたプログラムが含む命令をプロセッサ20aが実行することによって、ECU20による処理が実行される。これに代えて、ECU20は、ECU20による処理を実行するためのASIC等の専用の集積回路を備えてもよい。他のECUについても同様である。
以下、各ECU20~29が担当する機能等について説明する。なお、ECUの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、統合したりすることが可能である。
ECU20は、車両1の自動運転機能及び遠隔運転機能に関わる走行制御を実行する。この走行制御において、ECU20は、車両1の操舵及び/又は加減速を自動制御する。自動運転機能とは、ECU20が車両1の走行経路を計画し、この走行経路に基づいて車両1の操舵及び/又は加減速を制御する機能のことである。遠隔運転機能とは、ECU20が車両1の外部のオペレータからの指示に従って車両1の操舵及び/又は加減速を制御する機能のことである。外部のオペレータは人間であってもよいし、AI(人工知能)であってもよい。ECU20は、自動運転機能と遠隔運転機能とを組み合わせて実行することも可能である。例えば、ECU20は、オペレータからの指示がない間に走行経路を計画して走行制御を行い、オペレータからの指示があった場合にその指示に従って走行制御を行ってもよい。
ECU21は、電動パワーステアリング装置3を制御する。電動パワーステアリング装置3は、ステアリングホイール31に対する運転者の運転操作(操舵操作)に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置3は操舵操作をアシストしたり、前輪を自動操舵したりするための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両1の運転状態が自動運転状態の場合、ECU21は、ECU20からの指示に対応して電動パワーステアリング装置3を自動制御し、車両1の進行方向を制御する。
ECU22および23は、車両の外界の状況を検知する検知ユニット41~43の制御および検知結果の情報処理を行う。検知ユニット41は、車両1の前方を撮影するカメラであり(以下、カメラ41と表記する場合がある。)、本実施形態の場合、車両1のルーフ前部でフロントウィンドウの車室内側に取り付けられる。カメラ41が撮影した画像の解析により、物標の輪郭抽出や、道路上の車線の区画線(白線等)を抽出可能である。
検知ユニット42は、ライダ(Light Detection and Ranging)であり(以下、ライダ42と表記する場合がある)、車両1の周囲の物標を検知したり、物標との距離を測距したりする。本実施形態の場合、ライダ42は5つ設けられており、車両1の前部の各隅部に1つずつ、後部中央に1つ、後部各側方に1つずつ設けられている。検知ユニット43は、ミリ波レーダであり(以下、レーダ43と表記する場合がある)、車両1の周囲の物標を検知したり、物標との距離を測距したりする。本実施形態の場合、レーダ43は5つ設けられており、車両1の前部中央に1つ、前部各隅部に1つずつ、後部各隅部に一つずつ設けられている。
ECU22は、一方のカメラ41と、各ライダ42の制御および検知結果の情報処理を行う。ECU23は、他方のカメラ41と、各レーダ43の制御および検知結果の情報処理を行う。車両の周囲状況を検知する装置を二組備えたことで、検知結果の信頼性を向上でき、また、カメラ、ライダ、レーダといった種類の異なる検知ユニットを備えたことで、車両の周辺環境の解析を多面的に行うことができる。
ECU24は、ジャイロセンサ5、GPSセンサ24b、通信装置24cの制御および検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ5は車両1の回転運動を検知する。ジャイロセンサ5の検知結果や、車輪速等により車両1の進路を判定することができる。GPSセンサ24bは、車両1の現在位置を検知する。通信装置24cは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。ECU24は、メモリに構築された地図情報のデータベース24aにアクセス可能であり、ECU24は現在地から目的地へのルート探索等を行う。ECU24、地図データベース24a、GPSセンサ24bは、いわゆるナビゲーション装置を構成している。
ECU25は、車車間通信用の通信装置25aを備える。通信装置25aは、周辺の他車両と無線通信を行い、車両間での情報交換を行う。通信装置25aは、車両1の外部のオペレータとの通信にも使用される。
ECU26は、パワープラント6を制御する。パワープラント6は車両1の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。ECU26は、例えば、アクセルペダル7Aに設けた操作検知センサ7aにより検知した運転者の運転操作(アクセル操作あるいは加速操作)に対応してエンジンの出力を制御したり、車速センサ7cが検知した車速等の情報に基づいて変速機の変速段を切り替えたりする。車両1の運転状態が自動運転状態の場合、ECU26は、ECU20からの指示に対応してパワープラント6を自動制御し、車両1の加減速を制御する。
ECU27は、方向指示器(ウィンカー)を含む照明装置8(ヘッドライト、テールライト等の灯火器)を制御する。図1の例の場合、照明装置8は車両1の前部、ドアミラーおよび後部に設けられている。ECU27はさらに、クラクションのホーンを含む、車外に向けた音響装置11を制御する。照明装置8、音響装置11又はその組み合わせは、車両1の外界に対して情報を提供する機能を有する。
ECU28は、入出力装置9の制御を行う。入出力装置9は運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。音出力装置91は運転者に対して音声により情報を報知する。表示装置92は運転者に対して画像の表示により情報を報知する。表示装置92は例えば運転席表面に配置され、インストルメントパネル等を構成する。なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動または光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル(例えば緊急度)に応じて、組み合わせを異ならせたり、報知態様を異ならせたりしてもよい。入力装置93は運転者が操作可能な位置に配置され、車両1に対する指示を行うスイッチ群であるが、音入力装置も含まれてもよい。ECU28は、ECU20の走行制御に関する案内を実施可能である。案内の詳細については後述する。入力装置93は、ECU20による走行制御の動作を制御するために用いられるスイッチを含んでもよい。入力装置93は、運転者の視線方向を検知するためのカメラを含んでもよい。
ECU29は、ブレーキ装置10やパーキングブレーキ(不図示)を制御する。ブレーキ装置10は例えばディスクブレーキ装置であり、車両1の各車輪に設けられ、車輪の回転に抵抗を加えることで車両1を減速あるいは停止させる。ECU29は、例えば、ブレーキペダル7Bに設けた操作検知センサ7bにより検知した運転者の運転操作(ブレーキ操作)に対応してブレーキ装置10の作動を制御する。車両1の運転状態が自動運転状態の場合、ECU29は、ECU20からの指示に対応してブレーキ装置10を自動制御し、車両1の減速および停止を制御する。ブレーキ装置10やパーキングブレーキは車両1の停止状態を維持するために作動することもできる。また、パワープラント6の変速機がパーキングロック機構を備える場合、これを車両1の停止状態を維持するために作動することもできる。
図2のブロック図を参照して、本発明の一部の実施形態に係る遠隔運転装置200の構成について説明する。遠隔運転装置200は、遠隔運転機能を有する車両に対して遠隔運転サービスを提供するための装置である。遠隔運転装置200は、サービス提供対象の車両から遠隔に位置する。
遠隔運転装置200は、複数の動作モードで遠隔運転サービスを提供可能であってもよい。遠隔運転サービスの複数の動作モードは、主導モードと支援モードとを含んでもよい。主導モードとは、遠隔運転装置200のオペレータが車両の制御量(例えば、操舵角やアクセルペダル開度、ブレーキペダル開度、ウィンカーレバーの位置、ライトのオン・オフなど)を指定する動作モードのことである。支援モードとは、遠隔運転装置200のオペレータが指定した経路計画に従って車両(具体的にはECU20)が車両の制御量を決定する動作モードのことである。支援モードにおいて、遠隔運転装置200のオペレータは、自ら経路計画を生成して指定してもよいし、車両から提案された経路計画を採用することによって経路計画を指定してもよい。
遠隔運転装置200は、図2に示す各構成要素を有する。プロセッサ201は、遠隔運転装置200全体の動作を制御する。プロセッサ201は、例えばCPUとして機能する。メモリ202は、遠隔運転装置200の動作に用いられるプログラムや一時データなどを記憶する。メモリ202は、例えばROMやRAMなどにより実現される。入力部203は、遠隔運転装置200の使用者が遠隔運転装置200への入力を行うために用いられる。遠隔運転装置200の使用者とは、人間が操作主体である場合にこの人間であり、AIが操作主体である場合にAIの動作を監視する人間(監視者)である。出力部204は、遠隔運転装置200から使用者に向けて情報を出力するために用いられる。記憶部205は、遠隔運転装置200の動作に用いられるデータを記憶する。記憶部205は、ディスクドライブ(例えば、HDDやSDD)などの記憶装置で実現される。通信部206は、遠隔運転装置200が他の装置(例えば、遠隔運転対象の車両)と通信する機能を提供し、例えばネットワークカードやアンテナなどで実現される。
図3の概略図を参照して、遠隔運転装置200の入力部203及び出力部204の構成例について説明する。この構成例では、表示装置310及び音響装置320によって出力部204が構成され、ステアリングホイール330、アクセルペダル340、ブレーキペダル350、マイク360及び複数のスイッチ370によって入力部203が構成される。
表示装置310は、遠隔運転サービスを提供するための視覚情報を出力する装置である。音響装置320は、遠隔運転サービスを提供するための聴覚情報を出力する装置である。表示装置310に表示される画面は、1つのメイン領域311と、複数のサブ領域312とを含む。メイン領域311には、遠隔運転サービスの提供対象の複数の車両のうちの制御対象車両に関する情報が表示される。制御対象車両とは、遠隔運転装置200からの指示が送信される車両のことである。各サブ領域312には、遠隔運転サービスの提供対象の複数の車両のうちの制御対象車両以外の車両に関する情報が表示される。制御対象車両以外の車両は、監視対象車両と呼ばれることもある。1台の遠隔運転装置200によって複数台の車両に遠隔運転サービスを提供する場合に、オペレータは、メイン領域311に表示する車両(すなわち、制御対象車両)を適宜切り替える。メイン領域311及びサブ領域312に表示される情報は、車両の周囲の交通状況、車両の速度などを含む。
ステアリングホイール330は、主導モードにおいて制御対象車両の操舵量を制御するために用いられる。アクセルペダル340は、主導モードにおいて制御対象車両のアクセルペダル開度を制御するために用いられる。ブレーキペダル350は、主導モードにおいて制御対象車両のブレーキペダル開度を制御するために用いられる。マイク360は、音声情報を入力するために用いられる。マイク360に入力された音声情報は、制御対象車両へ送信され、その車内で再生されてもよい。
複数のスイッチ370は、遠隔運転サービスを提供するための様々な入力を行うために用いられる。例えば、複数のスイッチ370は、制御対象車両を切り替えるためのスイッチ、支援モードにおけるオペレータの判断結果を指示するためのスイッチ、複数の動作モードを切り替えるためのスイッチなどを含む。
図2及び図3で説明した遠隔運転装置200は、主導モードと支援モードとの両方を提供可能である。これに代えて、遠隔運転装置200は、主導モードと支援モードと一方のみを提供可能であってもよい。主導モードを提供しない場合に、ステアリングホイール330、アクセルペダル340及びブレーキペダル350は省略可能である。また、複数の遠隔運転装置200が協働して遠隔運転サービスを提供してもよい。この場合に、遠隔運転装置200は、サービス提供対象の車両を別の遠隔運転装置200に引継ぎ可能であってもよい。
図4~図10を参照して、本発明の様々な実施形態について説明する。これらの実施形態は、表示制御装置に関する。表示制御装置は、車両の自動走行制御の難易度を取得し、この車両の外部の人が視認するための表示装置に、難易度に応じた表示を行わせる。表示制御装置は、難易度が取得される車両に含まれていてもよいし、遠隔運転装置200に含まれていてもよい。また、表示装置は、難易度が取得される車両に搭載されてもよいし、この車両とは異なる車両に搭載されてもよいし、遠隔運転装置200に含まれてもよい。
図4を参照して、表示制御装置402及び表示装置403が同一の車両1に含まれる場合について説明する。車両1は、自動走行制御の難易度を取得するために用いられるデータを取得するセンサ群401を含む。センサ群401は、例えば車両の外界の状況を検知する検知ユニット41~43や、車両1の車速を計測するセンサを含む。また、このデータは、ECU20により計画された経路を含んでもよい。
表示制御装置402は、センサ群401から上述のデータを取得し、このデータに基づいて車両1の自動走行制御の難易度を取得する。具体的に、車両1の表示制御装置402は、上述のデータに基づいて車両1の自動走行制御の難易度を決定し、この難易度を取得する。上述の制御装置2(図1)が表示制御装置402として機能してもよい。例えば、表示制御装置402は、低難易度、中難易度及び高難易度の3段階で自動走行制御の難易度を取得してもよい。表示制御装置402は、車両1の周囲の交通量が多い場合、付近に交通弱者(歩行者など)がいる場合、車線変更などの特定の動作を計画している場合などに自動走行制御の難易度を高くする。表示制御装置402は、難易度を取得した後、この難易度に応じた表示を表示装置403に行わせるための表示命令を表示装置403に供給する。
図5を参照して、表示装置403の搭載位置について説明する。図5は、車両1を後方から見た模式図である。車両1の車室外の後方に表示装置403が搭載されている。表示装置403の表示面は車両1の後方に向いている。すなわち、表示装置403は、車両1の後方にいる人(例えば、後続車両の運転者)が視認するための表示装置である。表示制御装置402は、この表示装置403に、自動走行制御の難易度に応じた表示を行わせる。この表示を参考にして、後続車両の運転者はそれに応じた行動(例えば、車間距離を広げるなど)を行うことができる。表示装置403は、車両1の前方及び/又は側方にいる人に向けて表示を行う位置に搭載されてもよい。
表示装置403は、文字情報によって難易度を表示してもよい。例えば、自動走行制御の難易度が高い場合に、表示装置403は「難易度が高い状態で走行しています」のようなメッセージを表示してもよい。これに代えて又はこれに加えて、表示装置は色情報によって難易度を表示してもよい。例えば、表示装置403は、難易度が低い場合に青色に発光し、難易度が中程度の場合に黄色に発光し、難易度が高い場合に赤色に発光する。表示制御装置402は、表示装置403に、自動走行制御の難易度に応じた態様で表示を行わせてもよい。例えば、表示装置403は、低難易度又は中難易度の場合に、文字情報のみによって難易度を表示し、高難易度の場合に、文字情報に加えて色情報によって難易度を表示する。
図6Aを参照して、表示制御装置402が車両1Aに含まれ、表示装置92が別の車両1Bに含まれる場合について説明する。車両1A及び車両1Bはそれぞれ図1の車両1と同様の構成を有してもよい。これに代えて、表示装置92を有する車両1Bは、自動運転機能及び遠隔運転機能を有していなくてもよい。車両1Aは、上述のセンサ群401を含む。表示制御装置402は、図4の構成例と同様にして、自動走行制御の難易度を取得する。
表示制御装置402は、難易度を取得した後、この難易度に応じた表示を表示装置92に行わせるための表示命令を、周囲の車両1Bの表示装置92に供給する。表示装置92は、車両1Bの運転者が視認するための表示装置である。表示命令の供給は例えば車車間通信によって行われる。車両1Aの周囲に複数台の車両が存在する場合に、表示制御装置402はそれぞれの車両に対して表示命令を供給してもよい。表示制御装置402は、表示命令とともに、自車両を識別するための情報(例えば、車種、車体カラー、自動車登録番号、車両1Bからの相対位置など)を供給してもよい。
表示装置92は、この表示命令に従って、車両1Aの自動走行制御の難易度に応じた表示を行う。この表示は例えば文字情報、画像情報及び/又は色情報によって行われてもよい。表示装置92は、この表示とともに、車両1Aを識別するための情報を表示してもよい。この表示を参考にして、周囲の車両1Bの運転者はそれに応じた行動(例えば、車間距離を広げるなど)を行うことができる。
表示制御装置402から表示装置92への表示命令は、他の装置を介して供給されてもよい。例えば、車両1Aの表示制御装置402が車両1Bの制御装置2に表示命令を供給し、車両1Bの制御装置2がこの表示命令に基づいて車両1Bの表示装置92の表示を制御してもよい。また、車両1Aの自動走行制御の難易度に応じた表示が車両1Bの表示装置92において行われる場合に、車両1Aの表示制御装置402が車両1Bへ難易度を供給すること自体が表示命令の供給とみなされてもよい。
図6Bを参照して、表示制御装置402及び表示装置92が同一の車両1Cに含まれ、表示制御装置402が車両1A及び車両1Bの情報を表示装置92に表示する場合について説明する。車両1A、車両1B及び車両1Cはそれぞれ図1の車両1と同様の構成を有してもよい。これに代えて、表示装置92を有する車両1Cは、自動運転機能及び遠隔運転機能を有していなくてもよい。車両1A及び車両1Bのそれぞれは、上述のセンサ群401を含む。
表示制御装置402は、車両1A及び車両1Bのそれぞれからのセンサ群401から自動走行制御の難易度を取得するために用いられるデータを取得し、図4の構成例と同様にして、自動走行制御の難易度を取得する。データの送受信は、例えば車車間通信によって行われる。これに代えて、データの送受信は、他の装置を介してもよい。表示制御装置402は、このデータとともに、車両を識別するための情報(例えば、車種、車体カラー、自動車登録番号、車両1Cからの相対位置など)を取得してもよい。
表示制御装置402は、難易度を取得した後、車両1A及び車両1Bのそれぞれの自動走行制御の難易度に応じた表示を表示装置92に行わせる。表示装置92は、車両1Cの運転者が視認するための表示装置である。この表示は例えば文字情報、画像情報及び/又は色情報によって行われてもよい。表示装置92は、この表示とともに、車両1A及び車両1Bを識別するための情報を表示してもよい。この表示を参考にして、車両1Cの運転者はそれに応じた行動(例えば、車間距離を広げるなど)を行うことができる。
図7を参照して、表示制御装置402が車両1に含まれ、表示装置310が遠隔運転装置200に含まれる場合について説明する。車両1は、上述のセンサ群401を含む。表示制御装置402は、図4の構成例と同様にして、自動走行制御の難易度を取得する。
表示制御装置402は、難易度を取得した後、この難易度に応じた表示を表示装置310に行わせるための表示命令を、遠隔運転装置200の表示装置310に供給する。表示装置310は、遠隔運転装置200の使用者が視認するための表示装置である。表示制御装置402は、表示命令とともに、自車両を識別するための情報(例えば、遠隔運転のサービスIDなど)を供給してもよい。
表示装置310は、この表示命令に従って、車両1の自動走行制御の難易度に応じた表示を行う。この表示は例えば文字情報、画像情報及び/又は色情報によって行われてもよい。表示装置310は、遠隔運転サービスの対象である車両1について、車両1に関する他の情報に関連付けて、自動走行制御の難易度に応じた表示を行う。例えば、車両1に関する情報が1つのサブ領域312に表示されている場合に、表示装置310は、このサブ領域312に対して難易度に応じた表示を行う。この表示を参考にして、遠隔運転装置200のオペレータはそれに応じた行動(例えば、メイン領域311への表示の切り替えなど)を行うことができる。
上述のように、各サブ領域312に監視対象車両に関する情報が表示され、メイン領域311に操作対象車両に関する情報が表示される。遠隔運転装置200の使用者が車両1を監視する場合に使用される表示モードを監視表示モードと呼ぶ。監視表示モードにおいて、監視対象車両に関する情報がサブ領域312に表示される。遠隔運転装置200の使用者が車両1を遠隔操作する場合に使用される表示モードを操作表示モードと呼ぶ。監視表示モードにおいて、操作対象車両に関する情報がメイン領域311に表示される。メイン領域311はサブ領域312よりも大きい。そのため、遠隔運転装置200の使用者は、操作対象の車両1について、より詳細な情報を把握できる。
表示制御装置402は、監視対象車両の自動走行制御の難易度が閾値よりも高い場合に、車両に関する画像を操作表示モードで表示装置310に表示させてもよい。例えば、自動走行制御の難易度が「A」、「B」、「C」の3段階(Aが最も難しい)にランク付けされるとする。表示制御装置402は、監視対象車両の自動走行制御の難易度が「A」の場合に、監視対象車両を制御対象車両に切り替え、操作表示モードにおいてメイン領域311に表示してもよい。監視対象車両の自動走行制御の難易度が「B」及び「C」の場合に、監視表示モードでの表示が継続される。この場合に、「A」と「B」の境界が閾値となる。
メイン領域311に表示されている他の車両がある場合に、表示制御装置402は、表示中の車両と難易度が閾値を超えた車両とのどちらをメイン領域311に表示するかを使用者に問い合わせてもよい。また、表示制御装置402は、他の遠隔運転装置200へ一方の車両の遠隔運転サービスを転送してもよい。
図12を参照して、監視表示モードでサブ領域312に表示される画面について説明する。サブ領域312には、文字情報と、画像1201とが表示される。文字情報は、車両IDと、車速と、難易度と、通信品質とを含む。「車両ID」は、サービス提供対象の車両1を一意に識別するための識別子である。「車速」は、車両1の現在の速度である。「難易度」は、車両1の現在の自動走行制御の難易度である。「通信品質」は、車両1に設けられた通信装置の通信の現在の品質である。通信品質は「A」、「B」、「C」の3段階(Aが最もよい)にランク付けされて表示される。画像1201は、車両1の運転者視点の画像である。この画像は、例えば、車両1に搭載されたカメラ41からのデータに基づいて生成される。
図13を参照して、操作表示モードでサブ領域311に表示される画面について説明する。メイン領域311には、文字情報と、画像1301、1302とが表示される。文字情報は、サブ領域311に表示されるものと同様である。ただし、難易度が閾値を超えていること(例では、「A」であること)が強調表示されている。画像1301は、車両1の運転者視点の画像である。メイン領域311がサブ領域312よりも大きいため、表示制御装置402は、画像1301を画像1201よりも大きく表示できる。そのため、遠隔運転装置200の利用者は、車両1の運転者視点について、より多くの情報を把握できる。画像1302は、車両1の周辺を俯瞰図で表したものである。この画像は、例えば、車両1に搭載された検知ユニット41~43からのデータや、道路インフラからのデータに基づいて生成される。
図14を参照して、複数の車両1について位置情報と難易度とを一括して表示する画像1401について説明する。画像1401は、表示装置310に常に表示されていてもよいし、遠隔運転装置200の利用者からの要求に応じて表示装置310に表示されてもよい。また、画像1401は、メイン領域311に表示されてもよいし、メイン領域311及びサブ領域312以外の領域に表示されてもよい。
画像1401では、地図上に丸印で複数の車両のそれぞれの位置が示される。また、画像1401では、丸印で表される各車両の位置に対応付けて、各車両の車両IDと難易度が示される。すなわち、各車両の難易度を含む情報が、道路を表示する画面上(例えば地図上)に車両の地理的な位置に対応付けて示される。この画像でも、閾値よりも高い難易度を有する車両(例では、車両IDが「001」の車両)が強調表示されてもよい。画像1401を生成するために、表示制御装置402は、各車両の自動走行制御の難易度に加えて、各車両の位置を取得する。
表示制御装置402から表示装置310への表示命令は、他の装置を介して供給されてもよい。例えば、車両1の表示制御装置402が遠隔運転装置200のプロセッサ201に表示命令を供給し、プロセッサ201がこの表示命令に基づいて表示装置310の表示を制御してもよい。また、車両1の自動走行制御の難易度に応じた表示が遠隔運転装置200の表示装置210において行われる場合に、車両1の表示制御装置402が遠隔運転装置200へ難易度を供給すること自体が表示命令の供給とみなされてもよい。
図8を参照して、表示制御装置402が遠隔運転装置200に含まれ、表示装置403が車両1に含まれる場合について説明する。車両1は、自動走行制御の難易度を取得するために用いられるデータを取得するセンサ群401を含む。表示制御装置402は、車両1のセンサ群401から自動走行制御の難易度を取得するために用いられるデータを取得し、図4の構成例と同様にして、自動走行制御の難易度を取得する。この例では、遠隔運転装置200の表示制御装置402がこのデータに基づいて車両1の自動走行制御の難易度を決定し、この難易度を取得する。上述の遠隔運転装置200のプロセッサ201が表示制御装置402として機能してもよい。
表示制御装置402は、難易度を取得した後、この難易度に応じた表示を表示装置403に行わせるための表示命令を、データ供給元の車両1の表示装置403に供給する。表示装置403における表示の構成は図4及び図5で説明したものと同様であってもよい。
図9を参照して、表示制御装置402及び表示装置310が遠隔運転装置200に含まれる場合について説明する。車両1は、上述のセンサ群401を含む。表示制御装置402は、車両1Aのセンサ群401から自動走行制御の難易度を取得するために用いられるデータを取得し、図4の構成例と同様にして、自動走行制御の難易度を取得する。
表示制御装置402は、難易度を取得した後、この難易度に応じた表示を表示装置310に行わせるための表示命令を、遠隔運転装置200の表示装置310に供給する。表示装置403における表示の構成は図7及び図12~図14で説明したものと同様であってもよい。
遠隔運転装置200は、遠隔運転サービスの提供対象の複数の車両1A及び1Bのそれぞれから自動走行制御の難易度を取得するために用いられるデータを取得し、それぞれの車両について自動走行制御の難易度を取得してもよい。この場合に、遠隔運転装置200は、各車両に対応付けて、難易度に応じた表示を表示装置310に行わせる。例えば、表示装置310は、車両1Aに対応する表示領域(メイン領域311又は何れかのサブ領域312)に対して車両1Aの難易度に応じた表示を行い、車両1Bに対応する表示領域(メイン領域311又は何れかのサブ領域312)に対して車両1Bの難易度に応じた表示を行う。
図10を参照して、表示制御装置402が遠隔運転装置200に含まれ、表示装置92が車両1Bに含まれる場合について説明する。車両1A及び車両1Bはそれぞれ図1の車両1と同様の構成を有してもよい。これに代えて、表示装置92を有する車両1Bは、自動運転機能及び遠隔運転機能を有していなくてもよい。車両1Aは、上述のセンサ群401を含む。表示制御装置402は、遠隔運転サービスの提供対象の複数の車両1Aから自動走行制御の難易度を取得するために用いられるデータを取得し、図8の構成例と同様にして、自動走行制御の難易度を取得する。
表示制御装置402は、難易度を取得した後、この難易度に応じた表示を表示装置92に行わせるための表示命令を、車両1Aの周囲の車両1Bの表示装置92に供給する。表示装置92における表示は、図6Aで説明したものと同様である。
図11を参照して、表示制御装置402が実行する表示制御方法について説明する。この制御方法は、表示制御装置402(具体的には、制御装置2又は遠隔運転装置200)のプロセッサがメモリに格納されたプログラムを実行することによって行われてもよい。これに代えて、方法の一部又は全部の工程が、ASIC(特定用途向け集積回路)のような専用回路で実行されてもよい。前者の場合に、プロセッサが特定の動作のための構成要素となり、後者の場合に、専用回路が特定の動作のための構成要素となる。図11の制御方法は、車両1が自動走行制御を実行中に反復して実行される。
ステップS1101で、表示制御装置402は、図4~図10について詳細に説明したように、車両1のセンサ群401から自動走行制御の難易度を取得するために用いられるデータを取得する。ステップS1102で、表示制御装置402は、図4~図10について詳細に説明したように、車両1の自動走行制御の難易度を取得する。ステップS1103で、表示制御装置402は、図4~図10について詳細に説明したように、難易度に応じた表示を表示装置に行わせる。
上述の実施形態では、車両1を例として本発明が説明された。これに代えて、本発明は、車両以外の移動体に適用されてもよい。
<実施形態のまとめ>
<構成1>
表示制御装置(402)であって、
移動体(1、1A)の自動走行制御の難易度を取得する取得手段(20a、201、S1102)と、
前記難易度が取得された移動体の外部の人が視認するための表示装置(92、310、403)に前記難易度に応じた表示を行わせる制御手段(20a、201、S1103)と、
を備えることを特徴する表示制御装置。
この構成によれば、移動体の自動走行制御の難易度に関する情報を有効活用できる。具体的に、移動体の外部にいる人が移動体の自動走行制御の難易度を知ることができるため、それに応じた行動を行える。
<構成2>
前記制御手段は、前記表示装置に、前記難易度に応じた態様で表示を行わせることを特徴とする構成1に記載の表示制御装置。
この構成によれば、外部にいる人が移動体の自動走行制御の難易度をより容易に判断できる。
<構成3>
前記表示装置は、前記取得手段が難易度を取得する移動体に搭載されていることを特徴とする構成1又は2に記載の表示制御装置。
この構成によれば、移動体の表示装置がその移動体の自動走行制御の難易度を表示するため、どの移動体に関する難易度かを外部の人が容易に判断できる。
<構成4>
前記表示装置は、前記取得手段が難易度を取得する移動体(1A)とは異なる移動体(1B)に搭載されていることを特徴とする構成1又は2に記載の表示制御装置。
この構成によれば、外部の人の移動体に自動走行制御の難易度を表示するため、外部の人に見やすい位置に難易度が表示される。
<構成5>
前記表示装置は、前記取得手段が難易度を取得する移動体に遠隔運転サービスを提供する遠隔運転装置(200)の使用者が視認するための表示装置(210)であることを特徴とする構成1又は2に記載の表示制御装置。
この構成によれば、移動体に遠隔運転サービスを提供する遠隔運転装置のオペレータが難易度に応じた行動を行える。
<構成6>
前記制御手段は、前記移動体に関する画像を第1表示モードと第2表示モードとの何れかで表示可能であり、前記移動体の自動走行制御の難易度が閾値よりも高い場合に前記移動体に関する画像(1301、1302)を前記第2表示モードで前記表示装置に表示させることを特徴とする構成5に記載の表示制御装置。
この構成によれば、自動走行制御の難易度に応じた表示モードで移動体に関する画像を表示できる。
<構成7>
前記第1表示モードは、前記遠隔運転装置の使用者が前記移動体を監視する場合に使用され、
前記第2表示モードは、前記遠隔運転装置の使用者が前記移動体を遠隔操作する場合に使用される
ことを特徴とする構成6に記載の表示制御装置。
この構成によれば、使用者が移動体を監視する場合と遠隔操作する場合とで別々の表示モードを使用できる。
<構成8>
前記制御手段は、前記移動体の自動走行制御の難易度が前記閾値よりも大きい場合に、当該難易度が前記閾値よりも小さい場合と比べて、当該移動体に関する画像の表示領域(311)を大きくすることを特徴とする構成6又は7に記載の表示制御装置。
この構成によれば、難易度が高い場合に、より詳細に移動体に関する情報を提供できる。
<構成9>
前記制御手段は、
前記移動体の自動走行制御の難易度が前記閾値よりも大きい場合に、当該移動体に関する画像を前記表示装置の第1領域(311)に表示させ、
前記移動体の自動走行制御の難易度が前記閾値よりも小さい場合に、当該移動体に関する画像を前記表示装置の第2領域(312)に表示させる
ことを特徴とする構成8に記載の表示制御装置。
この構成によれば、難易度に応じた領域に移動体に関する画像を表示できる。
<構成10>
前記第1領域は前記第2領域よりも大きいことを特徴とする構成9に記載の表示制御装置。
この構成によれば、難易度が高い場合に、より詳細に移動体に関する情報を提供できる。
<構成11>
前記取得手段は、前記移動体が決定する前記難易度を取得することを特徴とする構成1乃至5の何れか1つに記載の表示制御装置。
この構成によれば、少ない遅延で得られたデータに基づいて難易度を決定できる。
<構成12>
前記取得手段は、前記移動体に遠隔運転サービスを提供する遠隔運転装置(200)が決定する前記難易度を取得することを特徴とする構成1乃至5の何れか1つに記載の表示制御装置。
この構成によれば、処理能力に優れた遠隔運転装置によって難易度を決定できる。
<構成13>
前記取得手段は、複数の移動体(1A、1B)のそれぞれについて自動走行制御の難易度を取得し、
前記制御手段は、各移動体に対応付けて前記難易度に応じた表示を前記表示装置に行わせる
ことを特徴とする構成1乃至12の何れか1つに記載の表示制御装置。
この構成によれば、遠隔運転サービスのオペレータが複数の移動体の難易度を個別に把握できる。
<構成14>
前記制御手段は、前記複数の移動体のうち、自動走行制御の難易度が閾値よりも高い移動体を前記表示装置に強調表示させることを特徴とする構成13に記載の表示制御装置。
この構成によれば、難易度が高いことを使用者が容易に把握できる。
<構成15>
前記制御手段は、前記複数の移動体のうち、自動走行制御の難易度が閾値よりも高い移動体を前記表示装置の第1領域(311)に表示させ、自動走行制御の難易度が閾値よりも低い移動体を前記表示装置の第2領域(312)に表示させることを特徴とする構成13に記載の表示制御装置。
この構成によれば、難易度に応じた領域に移動体に関する画像を表示できる。
<構成16>
前記第1領域は前記第2領域よりも大きいことを特徴とする構成15に記載の表示制御装置。
この構成によれば、難易度が高い場合に、より詳細に移動体に関する情報を提供できる。
<構成17>
前記取得手段は、複数の移動体のそれぞれの位置を取得し、
前記制御手段は、各移動体の位置に対応付けて前記難易度に応じた表示(1401)を前記表示装置に行わせる
ことを特徴とする構成13乃至16の何れか1つに記載の表示制御装置。
この構成によれば、移動体の位置と難易度とを対応付けて把握できる。
<構成18>
コンピュータを構成1乃至17の何れか1つに記載の表示制御装置の各手段として機能させるためのプログラム。
この構成によれば、発明をプログラムの形態で提供できる。
<構成19>
表示制御方法であって、
移動体(1、1A)の自動走行制御の難易度を取得する取得工程(S1102)と、
前記難易度が取得された移動体の外部の人が視認するための表示装置(92、310、403)に前記難易度に応じた表示を行わせる制御工程(S1103)と、
を有することを特徴する表示制御方法。
この構成によれば、移動体の自動走行制御の難易度に関する情報を有効活用できる。具体的に、移動体の外部にいる人が移動体の自動走行制御の難易度を知ることができるため、それに応じた行動を行えるようになる。
<構成1>
表示制御装置(402)であって、
移動体(1、1A)の自動走行制御の難易度を取得する取得手段(20a、201、S1102)と、
前記難易度が取得された移動体の外部の人が視認するための表示装置(92、310、403)に前記難易度に応じた表示を行わせる制御手段(20a、201、S1103)と、
を備えることを特徴する表示制御装置。
この構成によれば、移動体の自動走行制御の難易度に関する情報を有効活用できる。具体的に、移動体の外部にいる人が移動体の自動走行制御の難易度を知ることができるため、それに応じた行動を行える。
<構成2>
前記制御手段は、前記表示装置に、前記難易度に応じた態様で表示を行わせることを特徴とする構成1に記載の表示制御装置。
この構成によれば、外部にいる人が移動体の自動走行制御の難易度をより容易に判断できる。
<構成3>
前記表示装置は、前記取得手段が難易度を取得する移動体に搭載されていることを特徴とする構成1又は2に記載の表示制御装置。
この構成によれば、移動体の表示装置がその移動体の自動走行制御の難易度を表示するため、どの移動体に関する難易度かを外部の人が容易に判断できる。
<構成4>
前記表示装置は、前記取得手段が難易度を取得する移動体(1A)とは異なる移動体(1B)に搭載されていることを特徴とする構成1又は2に記載の表示制御装置。
この構成によれば、外部の人の移動体に自動走行制御の難易度を表示するため、外部の人に見やすい位置に難易度が表示される。
<構成5>
前記表示装置は、前記取得手段が難易度を取得する移動体に遠隔運転サービスを提供する遠隔運転装置(200)の使用者が視認するための表示装置(210)であることを特徴とする構成1又は2に記載の表示制御装置。
この構成によれば、移動体に遠隔運転サービスを提供する遠隔運転装置のオペレータが難易度に応じた行動を行える。
<構成6>
前記制御手段は、前記移動体に関する画像を第1表示モードと第2表示モードとの何れかで表示可能であり、前記移動体の自動走行制御の難易度が閾値よりも高い場合に前記移動体に関する画像(1301、1302)を前記第2表示モードで前記表示装置に表示させることを特徴とする構成5に記載の表示制御装置。
この構成によれば、自動走行制御の難易度に応じた表示モードで移動体に関する画像を表示できる。
<構成7>
前記第1表示モードは、前記遠隔運転装置の使用者が前記移動体を監視する場合に使用され、
前記第2表示モードは、前記遠隔運転装置の使用者が前記移動体を遠隔操作する場合に使用される
ことを特徴とする構成6に記載の表示制御装置。
この構成によれば、使用者が移動体を監視する場合と遠隔操作する場合とで別々の表示モードを使用できる。
<構成8>
前記制御手段は、前記移動体の自動走行制御の難易度が前記閾値よりも大きい場合に、当該難易度が前記閾値よりも小さい場合と比べて、当該移動体に関する画像の表示領域(311)を大きくすることを特徴とする構成6又は7に記載の表示制御装置。
この構成によれば、難易度が高い場合に、より詳細に移動体に関する情報を提供できる。
<構成9>
前記制御手段は、
前記移動体の自動走行制御の難易度が前記閾値よりも大きい場合に、当該移動体に関する画像を前記表示装置の第1領域(311)に表示させ、
前記移動体の自動走行制御の難易度が前記閾値よりも小さい場合に、当該移動体に関する画像を前記表示装置の第2領域(312)に表示させる
ことを特徴とする構成8に記載の表示制御装置。
この構成によれば、難易度に応じた領域に移動体に関する画像を表示できる。
<構成10>
前記第1領域は前記第2領域よりも大きいことを特徴とする構成9に記載の表示制御装置。
この構成によれば、難易度が高い場合に、より詳細に移動体に関する情報を提供できる。
<構成11>
前記取得手段は、前記移動体が決定する前記難易度を取得することを特徴とする構成1乃至5の何れか1つに記載の表示制御装置。
この構成によれば、少ない遅延で得られたデータに基づいて難易度を決定できる。
<構成12>
前記取得手段は、前記移動体に遠隔運転サービスを提供する遠隔運転装置(200)が決定する前記難易度を取得することを特徴とする構成1乃至5の何れか1つに記載の表示制御装置。
この構成によれば、処理能力に優れた遠隔運転装置によって難易度を決定できる。
<構成13>
前記取得手段は、複数の移動体(1A、1B)のそれぞれについて自動走行制御の難易度を取得し、
前記制御手段は、各移動体に対応付けて前記難易度に応じた表示を前記表示装置に行わせる
ことを特徴とする構成1乃至12の何れか1つに記載の表示制御装置。
この構成によれば、遠隔運転サービスのオペレータが複数の移動体の難易度を個別に把握できる。
<構成14>
前記制御手段は、前記複数の移動体のうち、自動走行制御の難易度が閾値よりも高い移動体を前記表示装置に強調表示させることを特徴とする構成13に記載の表示制御装置。
この構成によれば、難易度が高いことを使用者が容易に把握できる。
<構成15>
前記制御手段は、前記複数の移動体のうち、自動走行制御の難易度が閾値よりも高い移動体を前記表示装置の第1領域(311)に表示させ、自動走行制御の難易度が閾値よりも低い移動体を前記表示装置の第2領域(312)に表示させることを特徴とする構成13に記載の表示制御装置。
この構成によれば、難易度に応じた領域に移動体に関する画像を表示できる。
<構成16>
前記第1領域は前記第2領域よりも大きいことを特徴とする構成15に記載の表示制御装置。
この構成によれば、難易度が高い場合に、より詳細に移動体に関する情報を提供できる。
<構成17>
前記取得手段は、複数の移動体のそれぞれの位置を取得し、
前記制御手段は、各移動体の位置に対応付けて前記難易度に応じた表示(1401)を前記表示装置に行わせる
ことを特徴とする構成13乃至16の何れか1つに記載の表示制御装置。
この構成によれば、移動体の位置と難易度とを対応付けて把握できる。
<構成18>
コンピュータを構成1乃至17の何れか1つに記載の表示制御装置の各手段として機能させるためのプログラム。
この構成によれば、発明をプログラムの形態で提供できる。
<構成19>
表示制御方法であって、
移動体(1、1A)の自動走行制御の難易度を取得する取得工程(S1102)と、
前記難易度が取得された移動体の外部の人が視認するための表示装置(92、310、403)に前記難易度に応じた表示を行わせる制御工程(S1103)と、
を有することを特徴する表示制御方法。
この構成によれば、移動体の自動走行制御の難易度に関する情報を有効活用できる。具体的に、移動体の外部にいる人が移動体の自動走行制御の難易度を知ることができるため、それに応じた行動を行えるようになる。
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
Claims (19)
- 表示制御装置であって、
移動体の自動走行制御の難易度を取得する取得手段と、
前記難易度が取得された移動体の外部の人が視認するための表示装置に前記難易度に応じた表示を行わせる制御手段と、
を備えることを特徴する表示制御装置。 - 前記制御手段は、前記表示装置に、前記難易度に応じた態様で表示を行わせることを特徴とする請求項1に記載の表示制御装置。
- 前記表示装置は、前記取得手段が難易度を取得する移動体に搭載されていることを特徴とする請求項1又は2に記載の表示制御装置。
- 前記表示装置は、前記取得手段が難易度を取得する移動体とは異なる移動体に搭載されていることを特徴とする請求項1又は2に記載の表示制御装置。
- 前記表示装置は、前記取得手段が難易度を取得する移動体に遠隔運転サービスを提供する遠隔運転装置の使用者が視認するための表示装置であることを特徴とする請求項1又は2に記載の表示制御装置。
- 前記制御手段は、前記移動体に関する画像を第1表示モードと第2表示モードとの何れかで表示可能であり、前記移動体の自動走行制御の難易度が閾値よりも高い場合に前記移動体に関する画像を前記第2表示モードで前記表示装置に表示させることを特徴とする請求項5に記載の表示制御装置。
- 前記第1表示モードは、前記遠隔運転装置の使用者が前記移動体を監視する場合に使用され、
前記第2表示モードは、前記遠隔運転装置の使用者が前記移動体を遠隔操作する場合に使用される
ことを特徴とする請求項6に記載の表示制御装置。 - 前記制御手段は、前記移動体の自動走行制御の難易度が前記閾値よりも大きい場合に、当該難易度が前記閾値よりも小さい場合と比べて、当該移動体に関する画像の表示領域を大きくすることを特徴とする請求項6又は7に記載の表示制御装置。
- 前記制御手段は、
前記移動体の自動走行制御の難易度が前記閾値よりも大きい場合に、当該移動体に関する画像を前記表示装置の第1領域に表示させ、
前記移動体の自動走行制御の難易度が前記閾値よりも小さい場合に、当該移動体に関する画像を前記表示装置の第2領域に表示させる
ことを特徴とする請求項8に記載の表示制御装置。 - 前記第1領域は前記第2領域よりも大きいことを特徴とする請求項9に記載の表示制御装置。
- 前記取得手段は、前記移動体が決定する前記難易度を取得することを特徴とする請求項1乃至5の何れか1項に記載の表示制御装置。
- 前記取得手段は、前記移動体に遠隔運転サービスを提供する遠隔運転装置が決定する前記難易度を取得することを特徴とする請求項1乃至5の何れか1項に記載の表示制御装置。
- 前記取得手段は、複数の移動体のそれぞれについて自動走行制御の難易度を取得し、
前記制御手段は、各移動体に対応付けて前記難易度に応じた表示を前記表示装置に行わせる
ことを特徴とする請求項1乃至12の何れか1項に記載の表示制御装置。 - 前記制御手段は、前記複数の移動体のうち、自動走行制御の難易度が閾値よりも高い移動体を前記表示装置に強調表示させることを特徴とする請求項13に記載の表示制御装置。
- 前記制御手段は、前記複数の移動体のうち、自動走行制御の難易度が閾値よりも高い移動体を前記表示装置の第1領域に表示させ、自動走行制御の難易度が閾値よりも低い移動体を前記表示装置の第2領域に表示させることを特徴とする請求項13に記載の表示制御装置。
- 前記第1領域は前記第2領域よりも大きいことを特徴とする請求項15に記載の表示制御装置。
- 前記取得手段は、複数の移動体のそれぞれの位置を取得し、
前記制御手段は、各移動体の位置に対応付けて前記難易度に応じた表示を前記表示装置に行わせる
ことを特徴とする請求項13乃至16の何れか1項に記載の表示制御装置。 - コンピュータを請求項1乃至17の何れか1項に記載の表示制御装置の各手段として機能させるためのプログラム。
- 表示制御方法であって、
移動体の自動走行制御の難易度を取得する取得工程と、
前記難易度が取得された移動体の外部の人が視認するための表示装置に前記難易度に応じた表示を行わせる制御工程と、
を有することを特徴する表示制御方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/014307 WO2020202378A1 (ja) | 2019-03-29 | 2019-03-29 | 表示制御装置、表示制御方法及びプログラム |
JP2021511752A JP7297055B2 (ja) | 2019-03-29 | 2019-03-29 | 表示制御装置、表示制御方法及びプログラム |
DE112019007112.2T DE112019007112T5 (de) | 2019-03-29 | 2019-03-29 | Anzeige-Steuervorrichtung, Anzeige-Steuerverfahren und Programm |
CN201980094227.8A CN113614805B (zh) | 2019-03-29 | 2019-03-29 | 显示控制装置、显示控制方法以及存储介质 |
US17/485,451 US11829134B2 (en) | 2019-03-29 | 2021-09-26 | Display control device and display control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/014307 WO2020202378A1 (ja) | 2019-03-29 | 2019-03-29 | 表示制御装置、表示制御方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/485,451 Continuation US11829134B2 (en) | 2019-03-29 | 2021-09-26 | Display control device and display control method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020202378A1 true WO2020202378A1 (ja) | 2020-10-08 |
Family
ID=72666642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/014307 WO2020202378A1 (ja) | 2019-03-29 | 2019-03-29 | 表示制御装置、表示制御方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11829134B2 (ja) |
JP (1) | JP7297055B2 (ja) |
CN (1) | CN113614805B (ja) |
DE (1) | DE112019007112T5 (ja) |
WO (1) | WO2020202378A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022080018A1 (ja) * | 2020-10-16 | 2022-04-21 | 株式会社日立製作所 | 自律走行制御システム |
US11829134B2 (en) | 2019-03-29 | 2023-11-28 | Honda Motor Co., Ltd. | Display control device and display control method |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005339117A (ja) * | 2004-05-26 | 2005-12-08 | Nissan Motor Co Ltd | 運転支援装置 |
JP2010134499A (ja) * | 2008-12-02 | 2010-06-17 | Mitsubishi Electric Corp | 遠隔地画像表示装置、遠隔操縦装置、車両制御装置、遠隔操縦システム、遠隔操縦方法、遠隔操縦プログラム、車両制御プログラム、遠隔地画像表示方法、遠隔地画像表示プログラム |
WO2017110072A1 (ja) * | 2015-12-24 | 2017-06-29 | パナソニックIpマネジメント株式会社 | 運転支援方法およびそれを利用した運転支援装置、情報提示装置、車両およびプログラム |
JP2018060450A (ja) * | 2016-10-07 | 2018-04-12 | 日産自動車株式会社 | 無人運転システムの車外操作方法と車外操作装置 |
WO2018167891A1 (ja) * | 2017-03-15 | 2018-09-20 | 三菱電機株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP2018165762A (ja) * | 2017-03-28 | 2018-10-25 | パナソニックIpマネジメント株式会社 | 表示制御方法およびそれを利用した表示制御装置、車両、プログラム、表示制御システム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102963322B (zh) * | 2012-09-22 | 2015-04-22 | 仲玥 | 汽车行驶环境探测装置及其工作过程 |
CN103770648B (zh) * | 2012-10-23 | 2017-08-18 | 株式会社电装 | 车辆显示设备和车辆显示控制单元 |
JP6142718B2 (ja) | 2013-07-31 | 2017-06-07 | 株式会社デンソー | 運転支援装置、および運転支援方法 |
CN113643569B (zh) * | 2014-10-30 | 2024-02-02 | 三菱电机株式会社 | 自动驾驶辅助*** |
WO2018087828A1 (ja) * | 2016-11-09 | 2018-05-17 | 本田技研工業株式会社 | 車両制御装置、車両制御システム、車両制御方法、および車両制御プログラム |
JP6469635B2 (ja) * | 2016-12-16 | 2019-02-13 | 本田技研工業株式会社 | 車両制御装置 |
US9947221B1 (en) * | 2017-02-12 | 2018-04-17 | Robert Mazzola | Systems and methods of vehicular communication |
US10564638B1 (en) * | 2017-07-07 | 2020-02-18 | Zoox, Inc. | Teleoperator situational awareness |
JP7253446B2 (ja) * | 2018-10-05 | 2023-04-06 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理方法、及び、情報処理システム |
JP7297055B2 (ja) | 2019-03-29 | 2023-06-23 | 本田技研工業株式会社 | 表示制御装置、表示制御方法及びプログラム |
-
2019
- 2019-03-29 JP JP2021511752A patent/JP7297055B2/ja active Active
- 2019-03-29 CN CN201980094227.8A patent/CN113614805B/zh active Active
- 2019-03-29 WO PCT/JP2019/014307 patent/WO2020202378A1/ja active Application Filing
- 2019-03-29 DE DE112019007112.2T patent/DE112019007112T5/de active Pending
-
2021
- 2021-09-26 US US17/485,451 patent/US11829134B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005339117A (ja) * | 2004-05-26 | 2005-12-08 | Nissan Motor Co Ltd | 運転支援装置 |
JP2010134499A (ja) * | 2008-12-02 | 2010-06-17 | Mitsubishi Electric Corp | 遠隔地画像表示装置、遠隔操縦装置、車両制御装置、遠隔操縦システム、遠隔操縦方法、遠隔操縦プログラム、車両制御プログラム、遠隔地画像表示方法、遠隔地画像表示プログラム |
WO2017110072A1 (ja) * | 2015-12-24 | 2017-06-29 | パナソニックIpマネジメント株式会社 | 運転支援方法およびそれを利用した運転支援装置、情報提示装置、車両およびプログラム |
JP2018060450A (ja) * | 2016-10-07 | 2018-04-12 | 日産自動車株式会社 | 無人運転システムの車外操作方法と車外操作装置 |
WO2018167891A1 (ja) * | 2017-03-15 | 2018-09-20 | 三菱電機株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP2018165762A (ja) * | 2017-03-28 | 2018-10-25 | パナソニックIpマネジメント株式会社 | 表示制御方法およびそれを利用した表示制御装置、車両、プログラム、表示制御システム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11829134B2 (en) | 2019-03-29 | 2023-11-28 | Honda Motor Co., Ltd. | Display control device and display control method |
WO2022080018A1 (ja) * | 2020-10-16 | 2022-04-21 | 株式会社日立製作所 | 自律走行制御システム |
JP7479271B2 (ja) | 2020-10-16 | 2024-05-08 | 株式会社日立製作所 | 自律走行制御システム |
Also Published As
Publication number | Publication date |
---|---|
JP7297055B2 (ja) | 2023-06-23 |
CN113614805A (zh) | 2021-11-05 |
JPWO2020202378A1 (ja) | 2020-10-08 |
US20220011771A1 (en) | 2022-01-13 |
DE112019007112T5 (de) | 2022-02-24 |
US11829134B2 (en) | 2023-11-28 |
CN113614805B (zh) | 2024-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7154177B2 (ja) | 制御装置、制御方法及びプログラム | |
US11774964B2 (en) | Vehicle remote instruction system | |
JP7236310B2 (ja) | 経路設定装置、経路設定方法及びプログラム | |
JP7256668B2 (ja) | 制御装置、制御方法及びプログラム | |
US11151871B2 (en) | Autonomous driving vehicle information presentation apparatus | |
WO2020202380A1 (ja) | 制御装置、制御方法及びプログラム | |
US11829134B2 (en) | Display control device and display control method | |
US20220004187A1 (en) | Display control device and display control method | |
CN113401056B (zh) | 显示控制装置、显示控制方法以及计算机可读取存储介质 | |
US20210197863A1 (en) | Vehicle control device, method, and program | |
US20200309560A1 (en) | Control apparatus, control method, and storage medium | |
US11924652B2 (en) | Control device and control method | |
JP2021018636A (ja) | 車両遠隔指示システム | |
US20200310409A1 (en) | Communication apparatus, communication method, and storage medium | |
US20210171060A1 (en) | Autonomous driving vehicle information presentation apparatus | |
JP2022188453A (ja) | 車両遠隔操作装置、車両遠隔操作システム、車両遠隔操作方法、車両遠隔操作プログラム | |
JP7425911B2 (ja) | 制御装置、制御方法及びプログラム | |
US20210171065A1 (en) | Autonomous driving vehicle information presentation apparatus | |
JP2022118965A (ja) | 運転支援装置 | |
JP2020088605A (ja) | 走行制御装置、制御方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19922732 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021511752 Country of ref document: JP Kind code of ref document: A |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19922732 Country of ref document: EP Kind code of ref document: A1 |