WO2021100190A1 - 合流支援装置、合流支援システム、及び、合流支援方法 - Google Patents

合流支援装置、合流支援システム、及び、合流支援方法 Download PDF

Info

Publication number
WO2021100190A1
WO2021100190A1 PCT/JP2019/045734 JP2019045734W WO2021100190A1 WO 2021100190 A1 WO2021100190 A1 WO 2021100190A1 JP 2019045734 W JP2019045734 W JP 2019045734W WO 2021100190 A1 WO2021100190 A1 WO 2021100190A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
moving body
display
mobile
Prior art date
Application number
PCT/JP2019/045734
Other languages
English (en)
French (fr)
Inventor
下谷 光生
直志 宮原
義典 上野
祐介 荒井
圭作 福田
家田 邦代
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2021558134A priority Critical patent/JP7016455B2/ja
Priority to US17/636,643 priority patent/US20220295017A1/en
Priority to PCT/JP2019/045734 priority patent/WO2021100190A1/ja
Publication of WO2021100190A1 publication Critical patent/WO2021100190A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40Business processes related to the transportation industry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/005Traffic control systems for road vehicles including pedestrian guidance indicator
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/123Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00Economic sectors
    • G16Y10/40Transportation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00IoT characterised by the purpose of the information processing
    • G16Y40/60Positioning; Navigation

Definitions

  • the present invention relates to a merging support device, a merging support system, and a merging support method for supporting the merging of a first moving body and a second moving body.
  • Patent Document 1 proposes a technique of setting a merging point as a virtual meeting place and displaying the merging point on a map display of an in-vehicle information system.
  • the matching between the real world and the map world may be insufficient, and it may take time and effort to merge just by displaying the confluence points on the map.
  • the present invention has been made in view of the above-mentioned problems, and regarding the merging of the first moving body and the second moving body, an appropriate display capable of easily identifying the second moving body is provided. It is an object of the present invention to provide a technique that can be performed in one mobile body.
  • the merging support device is a merging support device that supports merging between a first moving body and a second moving body, and is a first acquisition unit that acquires a first image outside the first moving body, and a first unit.
  • the control that the first moving body transmits the first transmission information including the first image acquired by the 1 acquisition unit to the second moving body, and the first including the position of at least a part of the second moving body in the first image.
  • the first image or the first image is displayed.
  • a first control unit that controls the first display device of the first moving body to display a first display object that indicates the position of at least a part of the second moving body accompanying the scenery outside the corresponding first moving body. And.
  • At least one of the second mobile bodies is associated with the landscape outside the first mobile body corresponding to the first image or the first image. Control is performed so that the first display object indicating the position of the unit is displayed on the first display device of the first moving body. According to such a configuration, regarding the merging of the first moving body and the second moving body, an appropriate display that can easily identify the second moving body can be performed on the first moving body.
  • FIG. It is a block diagram which shows the structure of the merging support apparatus which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the structure of the merging support apparatus which concerns on Embodiment 2.
  • It is a flowchart which shows the operation on the own vehicle side which concerns on Embodiment 2.
  • FIG. It is a figure which shows the operation of the merging support apparatus which concerns on Embodiment 2.
  • FIG. It is a figure which shows the operation of the merging support apparatus which concerns on Embodiment 2.
  • FIG. It is a figure which shows an example of the vehicle peripheral image which concerns on Embodiment 2.
  • FIG. It is a figure which shows the operation of the merging support apparatus which concerns on Embodiment 2.
  • FIG. It is a flowchart which shows the operation of the mobile terminal side which concerns on Embodiment 2. It is a figure which shows the operation of the merging support apparatus which concerns on the modification 8 of Embodiment 2. It is a figure which shows the operation of the merging support apparatus which concerns on the modification 8 of Embodiment 2. It is a figure which shows the operation of the merging support apparatus which concerns on the modification 8 of Embodiment 2. It is a figure which shows the operation of the merging support apparatus which concerns on the modification 8 of Embodiment 2. It is a figure which shows the operation of the merging support apparatus which concerns on the modification 8 of Embodiment 2. It is a figure which shows the operation of the merging support apparatus which concerns on the modification 9 of Embodiment 2.
  • FIG. It is a block diagram which shows the structure of the merging support apparatus which concerns on Embodiment 4.
  • FIG. It is a figure which shows the operation of the merging support device which concerns on Embodiment 4.
  • FIG. It is a figure which shows the operation of the merging support device which concerns on Embodiment 4.
  • FIG. It is a block diagram which shows the structure of the merging support apparatus which concerns on Embodiment 5.
  • It is a flowchart which shows the operation of the vehicle allocation reservation server which concerns on Embodiment 5.
  • the merging support device is a device that supports the merging of the first moving body 1 and the second moving body 2.
  • Each of the first mobile body 1 and the second mobile body 2 is, for example, a vehicle or a person and a mobile terminal that moves with the person.
  • the example in which the first mobile body 1 is the own vehicle 1a, which is a vehicle, will be mainly described, but as described in the modified example, the first mobile body 1 may be a person and a mobile terminal that moves with the person.
  • FIG. 1 is a block diagram showing the configuration of the merging support device 11 according to the first embodiment.
  • the configuration in which the merging support device 11 is mounted on the own vehicle 1a will be mainly described, but the present invention is not limited to this as described in the modified example.
  • the merging support device 11 of FIG. 1 is connected to a first display device 19 that displays various information such as figures, characters, and images.
  • the first display device 19 may be a display device having a display screen and displaying a display object on the display screen.
  • the first display device 19 may be a head-up display (HUD) that displays a display object associated with the scenery outside the own vehicle 1a, or a transmissive liquid crystal display device for the window of the own vehicle 1a. ..
  • HUD head-up display
  • the first display device 19 in FIG. 1 is provided separately from the merging support device 11, it may be provided in the merging support device 11. Further, the first display device 19 may be a display device fixed to the own vehicle 1a or a display device brought into the own vehicle 1a.
  • the merging support device 11 of FIG. 1 includes a first acquisition unit 12, a first communication control unit 13, and a first control unit 14.
  • the first acquisition unit 12 acquires the first image outside the own vehicle 1a.
  • the first acquisition unit 12 uses, for example, a vehicle photographing device mounted on the own vehicle 1a and taking an image of the vicinity of the own vehicle 1a as the first image, or an interface thereof.
  • the first image outside the own vehicle 1a will be described as a “vehicle peripheral image”.
  • the first communication control unit 13 performs transmission control and reception control.
  • the first communication control unit 13 controls the own vehicle 1a to transmit the first transmission information including the vehicle peripheral image acquired by the first acquisition unit 12 to the second mobile body 2.
  • the first transmission information including the vehicle peripheral image may be referred to as "vehicle transmission information”.
  • the first communication control unit 13 controls the own vehicle 1a to receive the first reception information including the position of at least a part of the second mobile body 2 in the vehicle peripheral image from the second mobile body 2. ..
  • the first reception information including the position of at least a part of the second moving body 2 in the vehicle peripheral image may be referred to as "vehicle reception information”.
  • the own vehicle 1a is the position of the person (a part of the second mobile body 2) in the vehicle peripheral image by the above reception control.
  • the vehicle reception information including the above is received from the mobile terminal.
  • the second moving body 2 is another vehicle (a vehicle different from the own vehicle 1a)
  • the own vehicle 1a is the position of the other vehicle (second moving body 2) in the vehicle peripheral image by the above reception control.
  • the vehicle reception information including the above is received from another vehicle.
  • the first communication control unit 13 for example, a communication device, this interface, or the like is used.
  • the first control unit 14 controls to display the first display object on the first display device 19 of the own vehicle 1a based on the vehicle reception information received by the own vehicle 1a.
  • the first display object is a display object that indicates the position of at least a part of the second moving body 2 in association with the vehicle peripheral image or the landscape outside the own vehicle 1a corresponding to the vehicle peripheral image. An example of this will be described below.
  • the second mobile body 2 is a person and a mobile terminal
  • the first display device 19 is a display device having a display screen
  • the vehicle peripheral image and the vehicle peripheral image of the person are attached.
  • the first display object indicating the position is displayed on the display screen.
  • the first display device 19 is a HUD or a transmissive liquid crystal display device for a window of the own vehicle 1a, it corresponds to a vehicle peripheral image.
  • a first display object indicating the position of the person concerned is displayed along with the scenery outside the own vehicle 1a.
  • the second moving object 2 is another vehicle and the first display device 19 is a display device having a display screen
  • the vehicle peripheral image and the position of the other vehicle accompanying the vehicle peripheral image is displayed on the display screen.
  • the second moving object 2 is another vehicle and the first display device 19 is a HUD or a transmissive liquid crystal display device for the window of the own vehicle 1a
  • the self corresponding to the vehicle peripheral image.
  • a first display object indicating the position of the other vehicle is displayed along with the scenery outside the vehicle 1a.
  • the position of at least a part of the second moving body 2 is attached to the vehicle peripheral image or the scenery outside the own vehicle 1a corresponding to the vehicle peripheral image.
  • the first display object indicating is displayed.
  • the position of the second moving body 2 is indicated with respect to an image or a landscape that can be seen by an in-vehicle user such as the driver of the own vehicle 1a, so that the in-vehicle user can use the second.
  • the moving body 2 can be easily identified. That is, an appropriate display that can easily identify the second moving body 2 can be performed on the own vehicle 1a.
  • FIG. 2 is a block diagram showing the configuration of the merging support device 11 according to the second embodiment of the present invention.
  • the components that are the same as or similar to the above-mentioned components are designated by the same or similar reference numerals, and different components will be mainly described.
  • the first mobile body 1 is the own vehicle 1a as in the first embodiment, and the merging support device 11 is mounted on the own vehicle 1a as in the first embodiment.
  • the second mobile body 2 is a person and a mobile terminal 2a that moves with the person.
  • the mobile terminal 2a is, for example, a mobile phone, a smartphone, a tablet, or the like, and the merging support device 11 and the mobile terminal 2a can wirelessly communicate with each other via the communication network 3.
  • a person who moves with the mobile terminal 2a may be referred to as a "terminal holder".
  • the merging support device 11 of FIG. 2 is connected to a vehicle photographing device 16a, a GNSS (Global Navigation Satellite System) receiver 16b, a vehicle operating device 16c, a vehicle communication device 16d, and a vehicle display device 19a.
  • the configuration is not limited to that shown in FIG. 2, and at least one of the vehicle photographing device 16a, the GNSS receiver 16b, the vehicle operating device 16c, the vehicle communication device 16d, and the vehicle display device 19a is a merging support device. 11 may be provided.
  • the vehicle photographing device 16a is a photographing device mounted on the own vehicle 1a and taking an image in front of the own vehicle 1a as a vehicle peripheral image.
  • the GNSS receiver 16b receives a signal from the GNSS, and obtains the position information of the merging support device 11 and the own vehicle 1a based on the signal.
  • the vehicle operation device 16c accepts operations from in-vehicle users such as the driver of the own vehicle 1a.
  • the vehicle operation device 16c includes, for example, a touch panel and an operation switch for receiving a touch operation of a user in the vehicle, an image recognition device for receiving a gesture operation for the user in the vehicle, and voice recognition for receiving a voice operation from the user in the vehicle.
  • a device or the like is used.
  • the predetermined operation described below includes, for example, at least one of a touch operation, a gesture operation, and a voice operation. Further, in the following description, for convenience, it may be described that the vehicle operating device 16c accepts the operation, but the own vehicle 1a simply accepts the operation.
  • the vehicle communication device 16d wirelessly communicates with an external device of the own vehicle 1a.
  • the vehicle display device 19a is a display device having a display screen and displaying various information such as display objects on the display screen, and is included in the concept of the first display device 19 in FIG.
  • a liquid crystal display device, an organic EL (electroluminescence) display device, or the like is used for the vehicle display device 19a.
  • the merging support device 11 of FIG. 2 includes a video input unit 12a, a vehicle positioning unit 12b, a vehicle communication control unit 13a, and a vehicle control unit 14a.
  • the video input unit 12a and the vehicle positioning unit 12b in FIG. 2 are included in the concept of the first acquisition unit 12 in FIG. 1, and the vehicle communication control unit 13a and the vehicle control unit 14a in FIG. 2 are the first in FIG. It is included in the concept of the communication control unit 13 and the first control unit 14, respectively.
  • the video input unit 12a acquires a vehicle peripheral image taken by the vehicle photographing device 16a.
  • the vehicle positioning unit 12b detects (acquires) the position of the own vehicle 1a from the position information obtained by the GNSS receiver 16b.
  • the vehicle communication control unit 13a controls transmission and reception of the vehicle communication device 16d.
  • the vehicle communication control unit 13a controls the vehicle communication device 16d to transmit the vehicle transmission information including the vehicle peripheral image to the mobile terminal 2a, and the vehicle including the position of the terminal owner in the vehicle peripheral image.
  • the vehicle communication device 16d controls the reception information to be received from the mobile terminal 2a.
  • the vehicle communication control unit 13a controls the vehicle communication device 16d to receive the position of the mobile terminal 2a from the mobile terminal 2a.
  • the vehicle communication device 16d simply transmits and receives that the vehicle communication device 16d transmits and receives under the control of the vehicle communication control unit 13a, or that the own vehicle 1a transmits and receives. It may be noted.
  • the vehicle control unit 14a controls the components of the merging support device 11.
  • the vehicle control unit 14a uses the vehicle 1a based on the position of the vehicle 1a detected by the vehicle positioning unit 12b and the position of the mobile terminal 2a received by the vehicle communication device 16d. Control is performed so that the relative positional relationship between the mobile terminal 2a and the mobile terminal 2a is displayed on the vehicle display device 19a.
  • the vehicle control unit 14a controls the vehicle display device 19a to display the first display object when the vehicle operation device 16c receives a predetermined operation from the user in the vehicle.
  • the first display object is a display object that indicates the position of the terminal holder along with the vehicle peripheral image displayed by the vehicle display device 19a, like the first display object described in the first embodiment.
  • the mobile terminal 2a of FIG. 2 includes a mobile positioning unit 21, a mobile communication unit 22, a mobile operation unit 23, a mobile display unit 24, and an application execution unit 25.
  • the mobile positioning unit 21 corresponds to the GNSS receiver 16b and the vehicle positioning unit 12b on the own vehicle 1a side, and detects (acquires) the position of the mobile terminal 2a.
  • the mobile communication unit 22 corresponds to the vehicle communication device 16d and the vehicle communication control unit 13a on the own vehicle 1a side, and the own vehicle uses, for example, a mobile communication network, NFC (Near Field Communication), wireless LAN (Local Area Network), or the like. Communicate with 1a.
  • the mobile communication unit 22 receives the vehicle transmission information including the vehicle peripheral image from the own vehicle 1a. Further, the mobile communication unit 22 transmits the vehicle reception information including the position of the terminal owner in the vehicle peripheral image and the position of the mobile terminal 2a obtained by the mobile positioning unit 21 to the own vehicle 1a.
  • the transmission and reception by the mobile communication unit 22 may be simply described as transmission and reception by the mobile terminal 2a.
  • the mobile operation unit 23 corresponds to the vehicle operation device 16c on the own vehicle 1a side, and receives operations from the terminal owner.
  • the mobile operation unit 23 includes, for example, a touch panel and an operation switch that accepts operations of the terminal owner, an image recognition device that accepts gesture operations into the space of the terminal owner, and a voice recognition device that accepts voice operations from the terminal owner. Is used. In the following description, for convenience, it may be described that the mobile operation unit 23 accepts the operation, but the mobile terminal 2a simply accepts the operation.
  • the mobile display unit 24 corresponds to the vehicle display device 19a on the own vehicle 1a side, and is a display device that displays various information such as display objects on the display screen.
  • a liquid crystal display device, an organic EL display device, or the like is used for the portable display unit 24.
  • the application execution unit 25 corresponds to the vehicle control unit 14a on the own vehicle 1a side and controls the components of the mobile terminal 2a.
  • the application execution unit 25 displays the vehicle peripheral image included in the vehicle transmission information on the mobile display unit 24.
  • the application execution unit 25 When the application execution unit 25 receives a predetermined operation on the displayed vehicle peripheral image from the terminal owner on the mobile operation unit 23, the application execution unit 25 receives the terminal owner in the vehicle peripheral image based on the predetermined operation. Determine the position of.
  • a predetermined operation for determining a position may be referred to as a “position determination operation”.
  • the application execution unit 25 transmits information including the position of the terminal owner determined in the vehicle peripheral image from the mobile communication unit 22 as vehicle reception information, and displays the position on the mobile display unit 24.
  • FIG. 3 is a flowchart showing the operation of the own vehicle 1a according to the second embodiment.
  • step S1 when the vehicle operating device 16c receives an operation from a user in the vehicle such as a driver, the vehicle communication device 16d transmits a transmission request for the position of the mobile terminal 2a to the mobile terminal 2a.
  • the mobile terminal 2a receives the transmission request, the mobile terminal 2a transmits the position of the mobile terminal 2a detected by the mobile positioning unit 21 to the own vehicle 1a.
  • step S2 the vehicle communication device 16d receives the position of the mobile terminal 2a from the mobile terminal 2a.
  • step S3 the vehicle positioning unit 12b detects the position of the own vehicle 1a.
  • step S4 the vehicle control unit 14a carries with the own vehicle 1a based on the position of the own vehicle 1a detected by the vehicle positioning unit 12b and the position of the mobile terminal 2a received by the vehicle communication device 16d. Control is performed so that the vehicle display device 19a displays the relative positional relationship with the terminal 2a.
  • FIGS. 4 to 6 are diagrams showing the operation of step S4.
  • a display object 17a indicating the own vehicle 1a a circular scale centered on the display object 17a with radii of 20 m, 50 m, and 100 m
  • a display object 17b indicating the mobile terminal 2a a display object 17b indicating the mobile terminal 2a
  • the own vehicle 1a A display object 17c indicating the distance from the mobile terminal 2a in characters is displayed.
  • the mobile terminal 2a is located outside the circular scale, and in FIG. 5, the mobile terminal 2a is located inside the circular scale. In the case of FIG. 5, a light color is added to the inside of the circular scale.
  • the mobile terminal 2a is located inside the circular scale and within the photographing area of the vehicle photographing device 16a.
  • a triangular semitransparent display object 17d indicating a photographing area of the vehicle photographing apparatus 16a and a star mark display object 17e are displayed.
  • the display object 17b indicating the mobile terminal 2a may be displayed blinking.
  • step S5 of FIG. 3 the vehicle control unit 14a determines whether or not to transmit the vehicle transmission information.
  • the vehicle operation device 16c receives the transmission operation of the vehicle transmission information from the user in the vehicle, it is determined that the vehicle transmission information is transmitted, and the process proceeds to step S6.
  • the vehicle operation device 16c does not accept the vehicle transmission information transmission operation from the in-vehicle user, it is determined that the vehicle transmission information is not transmitted, and the process returns to step S2.
  • a vehicle communication device 16d suspends the process of receiving the position of the mobile terminal 2a from the mobile terminal 2a, and the vehicle returns to step S1.
  • a step may be provided to accept from the internal user.
  • step S6 the vehicle photographing device 16a captures the vehicle peripheral image, and the video input unit 12a acquires the vehicle peripheral image captured by the vehicle photographing device 16a.
  • FIG. 7 shows an example of a vehicle peripheral image. As shown in FIG. 7, when many people are shown in the image around the vehicle, it becomes difficult for the user in the vehicle to identify which person is the terminal owner who should join with himself / herself. ing.
  • step S7 transmission control of the vehicle communication control unit 13a is performed.
  • the vehicle communication device 16d transmits the vehicle transmission information including the vehicle peripheral image to the mobile terminal 2a.
  • the mobile terminal 2a displays the vehicle peripheral image included in the vehicle transmission information on the mobile display unit 24 (mobile display unit 24-1 in FIG. 8). ).
  • the mobile terminal 2a When the mobile terminal 2a receives the position determination operation for the vehicle peripheral image being displayed from the terminal owner, the mobile terminal 2a determines the position of the terminal owner in the vehicle peripheral image based on the position determination operation. Then, the mobile terminal 2a transmits vehicle reception information including the determined position of the terminal owner from the mobile communication unit 22, and displays the position on the mobile display unit 24 (mobile display unit 24-2 in FIG. 8). To do. In the operation of FIG. 8, an example is shown in which the position of the terminal holder is determined by a touch operation in the vehicle peripheral image, and the broken line elliptical display object indicating the position is displayed on the mobile display unit 24. ing.
  • step S8 the vehicle control unit 14a determines whether or not the reception control of the vehicle communication control unit 13a has been performed. That is, the vehicle control unit 14a determines whether or not the vehicle communication device 16d has received the vehicle reception information including the position of the terminal owner in the vehicle peripheral image from the mobile terminal 2a. If it is determined that the vehicle reception information has been received, the process proceeds to step S9, and if it is determined that the vehicle reception information has not been received, the process proceeds to step S10.
  • step S9 the vehicle control unit 14a displays the first display object indicating the position of the terminal owner along with the vehicle peripheral image displayed by the vehicle display device 19a based on the vehicle reception information. Controls the display on. The operation at this time is shown in the vehicle display device 19a-1 of FIG. 8, and the elliptical first display object 18 indicating the position of the terminal holder is shown. After that, the process proceeds to step S11.
  • step S10 the vehicle control unit 14a controls to display the vehicle peripheral image on the vehicle display device 19a.
  • the vehicle peripheral image displayed at this time may be the same as the vehicle peripheral image transmitted in step S7, or may be a vehicle peripheral image taken thereafter. After that, the process proceeds to step S11.
  • step S11 the vehicle control unit 14a determines whether or not to end the transmission of the vehicle transmission information.
  • the vehicle operation device 16c receives the transmission end operation of the vehicle transmission information from the user in the vehicle, it is determined that the transmission of the vehicle transmission information is completed, and the process proceeds to step S12.
  • the vehicle operation device 16c does not accept the operation of ending the transmission of the vehicle transmission information from the user in the vehicle, it is determined that the transmission of the vehicle transmission information is not completed, and the process returns to step S6.
  • step S12 the vehicle control unit 14a ends the transmission of the vehicle transmission information and ends the display of the vehicle peripheral image on the vehicle display device 19a. After that, the operation of FIG. 3 ends.
  • FIG. 9 is a flowchart showing the operation of the mobile terminal 2a side according to the second embodiment. This operation is performed, for example, when the mobile communication unit 22 receives the transmission request transmitted in step S1 of FIG.
  • step S21 the mobile communication unit 22 transmits the position of the mobile terminal 2a detected by the mobile positioning unit 21 to the own vehicle 1a that has transmitted the transmission request.
  • step S22 the application execution unit 25 determines whether or not the mobile communication unit 22 has received the vehicle transmission information including the vehicle peripheral image. If it is determined that the vehicle transmission information has been received, the process proceeds to step S23, and if it is determined that the vehicle transmission information has not been received, the process returns to step S21.
  • the loop processing of steps S21 and S22 may be performed periodically so that the transmission of step S21 is performed periodically, for example, every 10 seconds.
  • step S23 the application execution unit 25 controls the mobile display unit 24 to display the vehicle peripheral image included in the vehicle transmission information. As a result, the display as shown in the mobile display unit 24-1 of FIG. 8 is performed.
  • step S24 the application execution unit 25 determines whether or not the mobile operation unit 23 has accepted the position determination operation for the vehicle peripheral image.
  • the position-determining operation includes an operation of surrounding the terminal owner, an operation of instructing the terminal owner, and the like. If it is determined that the position determination operation has been accepted, the process proceeds to step S25, and if it is determined that the position determination operation has not been accepted, the process proceeds to step S28.
  • step S25 the application execution unit 25 determines the position of the terminal owner in the vehicle peripheral image based on the position determination operation, and generates vehicle reception information including the position of the terminal owner.
  • the position of the terminal holder included in the vehicle reception information may be, for example, drag locus information when the position determination operation is a drag operation, or a touch point when the position determination operation is a touch operation. It may be information surrounding. Further, for example, when the position determination operation is a touch operation and the mobile terminal 2a has an image recognition function for recognizing a person from an image, the position of the terminal holder included in the vehicle reception information is the touched person. It may be the surrounding information.
  • step S26 the mobile communication unit 22 transmits the vehicle reception information generated by the application execution unit 25 to the own vehicle 1a.
  • step S27 the application execution unit 25 controls the mobile display unit 24 to display a display object indicating the position of the terminal owner based on the position determination operation of the vehicle reception information. As a result, the display as shown in the mobile display unit 24-2 of FIG. 8 is performed. After that, the process returns to step S21.
  • step S28 the application execution unit 25 determines whether or not the time during which the mobile operation unit 23 has not accepted the position determination operation for the vehicle peripheral image is a certain time or more. If it is determined that the time is longer than a certain time, the process proceeds to step S29, and if it is determined that the time is less than a certain time, the process returns to step S21. As a result, when the display object is already displayed on the mobile display unit 24 and the time during which the position determination operation is not accepted is less than a certain period of time (for example, 5 seconds), the display of the display object is maintained. ..
  • step S29 the application execution unit 25 deletes the display object indicating the position of the terminal owner from the display of the mobile display unit 24. After that, the process returns to step S21.
  • the vehicle control unit 14a of the own vehicle 1a is based on the position of the own vehicle 1a and the position of the mobile terminal 2a. Control is performed to display the relative positional relationship between the mobile terminal 2a and the mobile terminal 2a on the vehicle display device 19a. According to such a configuration, the relative positional relationship as shown in FIGS. 4 to 6 is displayed. Therefore, the user in the vehicle determines whether or not the own vehicle 1a and the mobile terminal 2a are sufficiently close to each other, and whether or not it is appropriate to transmit the vehicle transmission information after step S6. You can judge.
  • the mobile terminal 2a when the mobile terminal 2a receives the vehicle transmission information from the own vehicle 1a, the mobile terminal 2a displays the vehicle peripheral image included in the vehicle transmission information on the mobile display unit 24, and the position with respect to the vehicle peripheral image.
  • the position of the terminal owner in the vehicle peripheral image is determined based on the determination operation. According to such a configuration, the terminal owner himself can determine the position of the terminal owner in the vehicle peripheral image, so that the position can be correctly notified to the own vehicle 1a.
  • step S1 of FIG. 3 of the second embodiment when the operation from the user in the vehicle is received, the own vehicle 1a transmits a transmission request for the position of the mobile terminal 2a to the mobile terminal 2a, but the present invention is limited to this. It's not a thing.
  • step S21 of FIG. 9 when the mobile terminal 2a is configured to automatically transmit the position of the mobile terminal 2a to the own vehicle 1a periodically or irregularly, step S1 of FIG. Operation does not have to be performed. Further, for example, in step S1 of FIG.
  • the own vehicle 1a automatically periodically transmits a transmission request for the position of the mobile terminal 2a to the mobile terminal 2a regardless of whether or not there is an operation from the user in the vehicle. May be good.
  • the mobile terminal 2a may transmit the position of the mobile terminal 2a in step S21 of FIG. 9 one or more times.
  • step S4 of FIG. 3 of the second embodiment only the relative positional relationship between the own vehicle 1a and the mobile terminal 2a is displayed, but the present invention is not limited to this.
  • map data may be displayed in addition to FIGS. 4 to 6. Further, the map data may be displayed on most of the screen of the vehicle display device 19a, and the relative positional relationship shown in FIGS. 4 to 6 may be displayed on a part of the screen.
  • the vehicle peripheral images of steps S9 and S10 of FIG. 3 may be displayed on most of the screen of the vehicle display device 19a, and the relative positional relationship of step S4 of FIG. 3 may be displayed on a part of the screen.
  • the vehicle display device 19a When the vehicle display device 19a is configured to include the main display device and the sub display device, the vehicle peripheral images of steps S9 and S10 of FIG. 3 are displayed on the main display device, and the sub display is displayed.
  • the device may display the relative positional relationship of step S4 of FIG.
  • the sub-display device is a display device or HUD having a display screen or display area smaller than that of the main display device, but is not limited thereto.
  • the vehicle peripheral images in steps S6 and S7 of FIG. 3 of the second embodiment may be moving images such as live images, or may be still images obtained intermittently every second. Further, in step S7, the own vehicle 1a may periodically transmit the vehicle transmission information including the still image as the vehicle peripheral image to the mobile terminal 2a, or only when the in-vehicle user performs the transmission operation. It may be transmitted to the mobile terminal 2a.
  • the vehicle peripheral images in steps S9 and S10 of FIG. 3 of the second embodiment may be moving images such as live images, or may be still images obtained intermittently every second.
  • the still images of the vehicle peripheral images in steps S9 and S10 may be continuously displayed until new vehicle reception information is received in step S8 again.
  • the still image of the vehicle peripheral image may be continuously displayed until a predetermined operation is performed by the user in the vehicle.
  • the vehicle control unit 14a displays a still image of the vehicle peripheral image and a first display object 18 accompanying the still image and indicating the position of the terminal owner when a predetermined condition is satisfied. Control to display on the vehicle display device 19a may be performed. Then, when the predetermined conditions are not satisfied, the vehicle control unit 14a is not a still image of the vehicle peripheral image but a moving image thereof, and a first display object that indicates the position of the terminal owner accompanying the moving image. 18 may be controlled to be displayed on the vehicle display device 19a.
  • the predetermined condition may be, for example, that a predetermined operation is performed by a user in the vehicle.
  • the vehicle reception information transmitted by the mobile terminal 2a includes only the position of the terminal owner in the vehicle peripheral image, but is not limited to this.
  • the vehicle reception information may include the vehicle peripheral image in addition to the position of the terminal holder in the vehicle peripheral image.
  • the vehicle control unit 14a controls the vehicle display device 19a to display the vehicle peripheral image included in the vehicle reception information and the first display object 18 indicating the position of the terminal owner in the vehicle peripheral image. You may.
  • the mobile terminal 2a may transmit vehicle reception information including the voice. That is, the vehicle reception information transmitted by the mobile terminal 2a may further include the voice.
  • This voice is, for example, a voice such as "I am the person in black clothes there.”
  • the merging support device 11 can control the voice output device (not shown), the display of the first display object 18 in step S9 of FIG. Not only that, the voice included in the vehicle reception information may be output.
  • step S9 of FIG. 3 not only the display of the first display object 18 but also the vehicle Characters obtained by converting the voice included in the received information may also be displayed.
  • the vehicle reception information includes voice and the mobile terminal 2a can convert the voice into characters
  • the vehicle reception information transmitted in step S26 of FIG. 9 of the second embodiment is portable. Characters obtained by converting the voice received by the terminal 2a may be further included. Then, in step S9 of FIG. 3, not only the display of the first display object 18 but also the display of the characters included in the vehicle reception information may be performed.
  • the display mode of the display object displayed on the mobile display unit 24 of the second embodiment and the display mode of the first display object 18 displayed on the vehicle display device 19a are not limited to the above.
  • examples of these display modes (graphics, characters, shapes, colors, presence / absence of animation) will be described.
  • the mobile terminal 2a according to the present modification 8 provides the selection area 26 including the plurality of display objects 26a to 26f together with the vehicle peripheral image in step S23 of FIG. indicate.
  • the number of display objects 26a and 26b of the downward arrow is only two, but the number is not limited to this, and may be the same as the number of people in the vehicle peripheral image, for example. Further, in this case, the color and pattern in the display object of the downward arrow may be the same as the color and pattern of the person's clothes in the vehicle peripheral image.
  • the mobile terminal 2a according to the present modification 8 accepts, for example, a drag operation of adding the display object 26a in the selection area 26 to the vehicle peripheral image as the position determination operation in step S24 of FIG.
  • the mobile display unit 24 displays the display object 26a in the vehicle peripheral image as shown in the mobile display unit 24-4 of FIG.
  • the display object in use may be displayed as a broken line or a semi-transparent object.
  • the mobile terminal 2a includes the position of the display object added to the vehicle peripheral image of the mobile display unit 24 as the position of the terminal holder in the vehicle peripheral image when the drag operation is received in step S24 of FIG.
  • the vehicle reception information is transmitted to the own vehicle 1a.
  • the vehicle display device 19a-2 of FIG. 10 shows the operation of the vehicle display device 19a when the own vehicle 1a receives such vehicle reception information.
  • step S24 of FIG. 9 the operation of adding the display object 26a in the selection area 26 of the mobile display unit 24-4 of FIG. 10 is performed, so that the first display object corresponding to the display object 26a is added. 18a is displayed.
  • step S24 of FIG. 9 the operation of adding the display object 26e in the selection area 26 of the mobile display unit 24-4 of FIG. 10 is performed, so that the first display object 18b corresponding to the display object 26e is generated. It is displayed.
  • the user in the vehicle can easily identify the terminal owner.
  • the terminal owner was shown in the vehicle peripheral image, but in actual operation, the terminal owner may not be shown in the vehicle peripheral image.
  • the terminal holder may be located on the right side of the vehicle peripheral image, etc., instead of being reflected in the vehicle peripheral image displayed on the mobile display unit 24. is there.
  • the mobile display unit 24-6 of FIG. 11 as the position determination operation of step S24 of FIG. 9, an operation of adding display objects 26d and 26f to the vehicle peripheral image is performed on the mobile terminal 2a. It is good.
  • the first display object 18c corresponding to the display object 26d and the first display object 18d corresponding to the display object 26f are performed. Will be displayed on the vehicle display device 19a.
  • the user in the vehicle can identify the terminal owner to some extent even when the terminal owner does not appear in the vehicle peripheral image.
  • the mobile terminal 2a can control the shooting direction of the vehicle photographing device 16a of the own vehicle 1a
  • the terminal owner can refer to the display of the vehicle display device 19a-3 of FIG. It is possible to control the shooting direction so that the vehicle itself appears in the image around the vehicle. This will be described in detail in the modified example 8 of the sixth embodiment.
  • the vehicle display devices 19a-4, 19a of FIG. 13 are displayed in substantially real time with these displays.
  • the display of -5, 19a-6 may be performed in this order. That is, regardless of whether or not the mobile terminal 2a is operated, the mirror link control is performed so that the display of the mobile display unit 24 of the mobile terminal 2a and the display of the vehicle display device 19a of the own vehicle 1a are substantially the same. May be good.
  • the mobile terminal 2a transmits the position-determining operation to the own vehicle 1a, so that a pseudo finger icon indicating the position-determining operation is interlocked with the vehicle display device 19a. It may be displayed. According to such a configuration, the user in the vehicle can know that the position-fixing operation is being performed.
  • the own vehicle 1a may accept an operation of adding or changing a display object displayed by the vehicle display device 19a. Then, when the own vehicle 1a accepts the operation, not only the display of the vehicle display device 19a is changed, but also the communication between the own vehicle 1a and the mobile terminal 2a is performed, so that the mobile display unit 24 The display may also be changed. At this time, the vehicle display device 19a may display an area similar to the selection area 26 in FIG.
  • the vehicle display device 19a is a display device that displays various information such as display objects on the display screen, but the present invention is not limited to this.
  • the vehicle display device 19a may be a HUD that displays a display object on the front glass 16g of the own vehicle 1a.
  • the vehicle display device 19a may be a transmissive liquid crystal display device for a window of the own vehicle 1a that displays a display object on the windshield 16g of the own vehicle 1a.
  • FIG. 15 is a diagram showing a state in which the same display as that of the modified example 3 of the second embodiment is performed as another example of the modified example 9.
  • the merging support device 11 may include a detection unit that detects the position of the driver's eyes, and may be configured to adjust the position of the display object based on the position of the eyes. With such a configuration, the display object can be displayed at an appropriate position.
  • the vehicle transmission information transmitted by the own vehicle 1a includes only the vehicle peripheral image, but is not limited to this.
  • the vehicle transmission information may further include at least one of dynamic information and static information of the own vehicle 1a used for display on the mobile display unit 24 (second display device) of the mobile terminal 2a. ..
  • the dynamic information includes, for example, the position of the own vehicle 1a, running, speed, state of whether or not the running is stopped, control state (lighting state of the headlamp, hazard, blinker, etc. of the own vehicle 1a, state of automatic driving). And, including the shooting direction and the like.
  • the vehicle transmission information includes the position of the own vehicle 1a as dynamic information
  • the terminal owner can know the positional relationship between the own vehicle 1a and itself, so that the own vehicle 1a is around the vehicle.
  • the image transmission request can be appropriately made.
  • the terminal owner confirms that the own vehicle 1a is stopped. It is possible to request the transmission of an image around the vehicle. According to such a configuration, the terminal owner can see the vehicle peripheral image in which the image blur is reduced because the image is taken while the own vehicle 1a is stopped.
  • the static information includes, for example, the attributes, profile (appearance), specific characters, symbols, images, avatars, driver profiles, etc. of the own vehicle 1a.
  • the vehicle transmission information includes the profile (appearance) of the own vehicle 1a as static information
  • the terminal owner can know the appearance of the own vehicle 1a, so that the own vehicle 1a can be easily specified. can do.
  • the vehicle reception information transmitted by the mobile terminal 2a includes only the position of the terminal owner in the vehicle peripheral image, but is not limited to this.
  • the vehicle reception information may further include at least one of the dynamic information and the static information of the terminal owner and the mobile terminal 2a used for the display on the vehicle display device 19a.
  • the dynamic information includes, for example, the position and speed of the terminal owner and the mobile terminal 2a, the state of whether or not the movement is stopped, the control state of the mobile terminal 2a, the shooting direction, and the like.
  • Static information includes, for example, terminal owner attributes, profiles (appearance, age, profile, clothing), specific characters, symbols, avatars, and the like.
  • the vehicle reception information includes the profile (appearance) of the terminal owner as static information, the user in the vehicle can know the appearance of the terminal owner, so that the terminal owner can be easily identified. can do.
  • step S5 of FIG. 3 when the own vehicle 1a receives the vehicle transmission information transmission operation from the in-vehicle user, the vehicle transmission information of step S6 is transmitted, and by extension, the subsequent steps. It worked, but it's not limited to this.
  • the own vehicle 1a may control the transmission of vehicle transmission information to the mobile terminal 2a when a predetermined condition is satisfied.
  • FIG. 16 is a flowchart showing the operation of the own vehicle 1a side according to the present modification 12.
  • the operation of FIG. 16 is the same as the operation of deleting step S5 and adding step S31 between steps S3 and S4 in the flowchart of FIG. Therefore, step S31 will be mainly described below.
  • step S31 after step S3, the vehicle control unit 14a determines whether or not the predetermined conditions are satisfied.
  • the predetermined conditions the conditions regarding the position of the own vehicle 1a detected in step S3 and the position of the mobile terminal 2a received in step S2 are used.
  • This condition includes, for example, a condition that the distance between the own vehicle 1a detected in step S3 and the mobile terminal 2a received in step S2 is equal to or less than a predetermined threshold value (for example, 50 m). Is done.
  • step S4 When the predetermined conditions are satisfied (for example, when the distance between the own vehicle 1a and the mobile terminal 2a becomes equal to or less than the threshold value), the processing is performed in step S4 and then in step S5, and the own vehicle is processed. 1a controls the transmission of vehicle transmission information to the mobile terminal 2a.
  • the predetermined condition when the predetermined condition is not satisfied (for example, when the distance between the own vehicle 1a and the mobile terminal 2a is larger than the threshold value), the process returns to step S2.
  • the own vehicle 1a automatically transmits the vehicle transmission information to the mobile terminal 2a when the predetermined conditions are satisfied. Therefore, when appropriate, the own vehicle 1a can transmit the vehicle transmission information to the mobile terminal 2a.
  • the predetermined conditions are not limited to the above.
  • the predetermined condition may be a condition that the user in the vehicle can visually recognize the terminal holder from the actual scenery outside the own vehicle 1a.
  • the vehicle control unit 14a determines the positional relationship between the building and the user in the vehicle based on 3D map data (not shown), so that the user in the vehicle can use the terminal owner from the actual scenery outside the vehicle 1a. It suffices to determine whether or not is visible.
  • the predetermined condition may be a condition for the movement information of the own vehicle 1a.
  • the movement information of the own vehicle 1a includes, for example, the position of the own vehicle 1a, the state of whether or not the vehicle is stopped, the state of automatic driving, and the like.
  • the case where some combinations of movement information are used will be described, but other combinations may be used.
  • the vehicle control unit 14a may determine that the predetermined conditions are satisfied when it is determined that the own vehicle 1a is stopped based on the movement information.
  • the vehicle control unit 14a determines in advance when it is determined that the own vehicle 1a is located at a distance equal to or less than the threshold value from the mobile terminal 2a based on the movement information and the own vehicle 1a is stopped. It may be determined that the specified conditions are satisfied.
  • the vehicle control unit 14a determines in advance when it is determined that the own vehicle 1a is located at a distance equal to or less than the threshold value from the mobile terminal 2a based on the movement information and the own vehicle 1a is in automatic driving. It may be determined that the specified conditions are satisfied.
  • the vehicle communication device 16d controls the own vehicle 1a to transmit the vehicle transmission information to the mobile terminal 2a when a predetermined condition is satisfied.
  • a predetermined condition is satisfied.
  • the vehicle communication device 16d satisfies a specific condition when a predetermined condition other than accepting a transmission operation of vehicle transmission information is satisfied. This may be displayed on the vehicle display device 19a.
  • the vehicle control unit 14a determines that the predetermined conditions are satisfied, and transmits the vehicle in step S6. Information may be transmitted, and thus the operation of the subsequent steps may be performed.
  • the own vehicle 1a and the mobile terminal 2a may share the confluence point of the own vehicle 1a and the mobile terminal 2a.
  • the merging point may be obtained by the own vehicle 1a and the mobile terminal 2a, or may be obtained by the merging support server described later.
  • step S1 of FIG. 3 of the second embodiment when the conditions for the position of the own vehicle 1a and the merging point are satisfied, the own vehicle 1a carries a transmission request for the position of the mobile terminal 2a. It may be transmitted to the terminal 2a.
  • the condition regarding the position of the own vehicle 1a and the merging point may be, for example, a condition that the distance between the own vehicle 1a and the merging point is equal to or less than a predetermined threshold value (for example, 1 km). It may be a condition that the estimated arrival time of the own vehicle 1a at the confluence is less than or equal to a predetermined time (for example, 20 minutes).
  • step S5 of FIG. 3 of the second embodiment when the conditions for the position of the own vehicle 1a and the merging point are satisfied, the vehicle transmission information of step S6 is transmitted, and by extension, the subsequent steps.
  • the operation may be performed.
  • the conditions for the position of the own vehicle 1a and the merging point may be used instead of the conditions for the position of the own vehicle 1a and the merging point. That is, in step S5 of FIG. 3 of the second embodiment, when the conditions for the position of the mobile terminal 2a and the merging point are satisfied, the vehicle transmission information of step S6 is transmitted, and by extension, the subsequent steps.
  • the operation may be performed.
  • the condition regarding the position of the mobile terminal 2a and the merging point may be, for example, a condition that the distance between the mobile terminal 2a and the merging point is equal to or less than a predetermined threshold value (for example, 500 m).
  • the condition may be that the estimated arrival time of the mobile terminal 2a at the confluence is less than or equal to a predetermined time (for example, 20 minutes).
  • a display object indicating the merging point may be displayed on the display in step S4 (display of FIGS. 4 to 6).
  • the second mobile body 2 is the terminal holder and the mobile terminal 2a, but may be another vehicle different from the own vehicle 1a.
  • the second moving body 2 is another vehicle, the other vehicle has the same configuration as that of the configuration on the own vehicle 1a side in FIG. 2 in which the video input unit 12a and the vehicle photographing device 16a are omitted.
  • the operation according to the operation of FIG. 9 may be performed.
  • the mobile terminal 2a determines the position of the terminal holder in the vehicle peripheral image based on the position determining operation with respect to the vehicle peripheral image, but the present invention is not limited to this. Absent. For example, when the mobile terminal 2a receives the vehicle transmission information from the own vehicle 1a, the mobile terminal 2a performs image recognition on the vehicle peripheral image included in the vehicle transmission information, and based on the result of the image recognition, the terminal in the vehicle peripheral image. The position of the holder may be determined automatically. As the image recognition, for example, image recognition may be performed to detect the face image of the terminal owner stored in advance from the image around the vehicle. According to such a configuration, it is possible to save the trouble of the terminal holder performing the position-determining operation.
  • FIG. 17 is a block diagram showing the configuration of the merging support device 11 according to the third embodiment of the present invention.
  • the components that are the same as or similar to the above-mentioned components are designated by the same or similar reference numerals, and different components will be mainly described.
  • the merging support device 11 is mounted on the own vehicle 1a, but in the third embodiment, the display control device 11a is mounted on the own vehicle 1a, and the merging support device is the mobile terminal 2a. That is, in the second embodiment, the first mobile body 1 is the own vehicle 1a and the second mobile body 2 is the mobile terminal 2a, but in the third embodiment, the first mobile body 1 is the mobile terminal 2a.
  • the second moving body 2 is the own vehicle 1a.
  • the mobile photographing unit 27 and the mobile positioning unit 21 of FIG. 17 are included in the concept of the first acquisition unit 12 of FIG. 1, and the mobile communication unit 22 and the application execution unit 25 of FIG. 17 are the first communication of FIG. It is included in the concept of the control unit 13 and the first control unit 14, respectively.
  • the display control device 11a on the own vehicle 1a side according to the third embodiment is not connected to the vehicle photographing device 16a among the components on the own vehicle 1a side described in the second embodiment. Further, the configuration of the display control device 11a is the same as the configuration in which the video input unit 12a is removed from the configuration on the own vehicle 1a side described in the second embodiment.
  • the configuration of the mobile terminal 2a which is the merging support device according to the third embodiment, is the same as the configuration on the mobile terminal 2a side described in the second embodiment with the mobile photographing unit 27 added.
  • the mobile shooting unit 27 takes a first image outside the mobile terminal 2a.
  • the first image outside the mobile terminal 2a is referred to as a "terminal peripheral image”
  • the first transmission information including the terminal peripheral image is referred to as “terminal transmission information”
  • the first including the position of the own vehicle 1a in the terminal peripheral image The received information will be described as "terminal reception information”.
  • the mobile photographing unit 27, the mobile positioning unit 21, the mobile communication unit 22, and the application execution unit 25 of the third embodiment include the video input unit 12a, the vehicle positioning unit 12b, and the vehicle communication control unit 13a of the second embodiment. The same operation as that of the vehicle control unit 14a is performed.
  • FIG. 18 is a flowchart showing the operation of the mobile terminal 2a side according to the third embodiment.
  • the operation of the mobile terminal 2a side of FIG. 18 is substantially the same as the operation of the own vehicle 1a side of FIG. 3 of the second embodiment.
  • step S41 when the mobile operation unit 23 receives an operation from the terminal owner, the mobile communication unit 22 transmits a transmission request for the position of the own vehicle 1a to the own vehicle 1a.
  • the display control device 11a of the own vehicle 1a receives the transmission request by the vehicle communication device 16d
  • the display control device 11a of the own vehicle 1a transmits the position of the own vehicle 1a detected by the vehicle positioning unit 12b from the vehicle communication device 16d to the mobile terminal 2a. To do.
  • step S42 the mobile communication unit 22 receives the position of the own vehicle 1a from the vehicle communication device 16d.
  • step S43 the mobile positioning unit 21 detects the position of the mobile terminal 2a.
  • step S44 the application execution unit 25 determines the own vehicle 1a and the mobile terminal based on the position of the mobile terminal 2a detected by the mobile positioning unit 21 and the position of the own vehicle 1a received by the mobile communication unit 22. Control is performed so that the mobile display unit 24 displays the relative positional relationship with 2a. As a result, the same display as in FIGS. 4 to 6 is performed.
  • the distance between the circle scales displayed on the mobile display unit 24 may be shorter than the distance between the circle scales displayed in the second embodiment.
  • step S45 the application execution unit 25 determines whether or not to transmit the terminal transmission information including the terminal peripheral image.
  • the mobile operation unit 23 receives the terminal transmission information transmission operation from the terminal owner, it is determined that the terminal transmission information is transmitted, and the process proceeds to step S46.
  • the mobile operation unit 23 does not accept the terminal transmission information transmission operation from the terminal owner, it is determined that the terminal transmission information is not transmitted, and the process returns to step S42.
  • step S45 the mobile photography unit 27 captures and acquires an image around the terminal.
  • FIG. 19 shows an example of an image around the terminal. As shown in FIG. 19, when many vehicles are shown in the image around the terminal, it becomes difficult for the terminal owner to identify which vehicle is the own vehicle 1a to join with the terminal owner. ing.
  • step S47 transmission control of the mobile communication unit 22 is performed.
  • the mobile communication unit 22 transmits the terminal transmission information including the terminal peripheral image to the own vehicle 1a.
  • the own vehicle 1a displays the terminal peripheral image included in the terminal transmission information on the vehicle display device 19a (vehicle display device 19a-7 in FIG. 20). ).
  • the display control device 11a of the own vehicle 1a receives the position determination operation for the terminal peripheral image being displayed from the user in the vehicle, the display control device 11a determines the position of the own vehicle 1a in the terminal peripheral image based on the position determination operation. .. Then, the display control device 11a transmits the terminal reception information including the determined position of the own vehicle 1a from the vehicle communication device 16d, and displays the terminal reception information on the vehicle display device 19a (vehicle display device 19a-8 in FIG. 20).
  • FIG. 20 an example is shown in which the position of the own vehicle 1a is determined by a touch operation in the terminal peripheral image, and the display object of the arrow indicating the position is displayed on the vehicle display device 19a.
  • step S48 the application execution unit 25 determines whether or not reception control of the mobile communication unit 22 has been performed. That is, the application execution unit 25 determines whether or not the mobile communication unit 22 has received the terminal reception information including the position of the own vehicle 1a in the terminal peripheral image from the vehicle communication device 16d. If it is determined that the terminal reception information has been received, the process proceeds to step S49, and if it is determined that the terminal reception information has not been received, the process proceeds to step S50.
  • step S49 the application execution unit 25 displays the first display object indicating the position of the own vehicle 1a along with the terminal peripheral image displayed on the mobile display unit 24 based on the terminal reception information. Controls the display on. The operation at this time is shown in the mobile display unit 24-10 of FIG. 20, and the first display object 18 of the arrow indicating the position of the own vehicle 1a is shown. After that, the process proceeds to step S51.
  • step S50 the application execution unit 25 controls the display of the terminal peripheral image on the mobile display unit 24. After that, the process proceeds to step S51.
  • step S51 the application execution unit 25 determines whether or not to end the transmission of the terminal transmission information.
  • the mobile operation unit 23 receives the terminal transmission information transmission end operation from the terminal owner, it is determined that the terminal transmission information transmission is completed and the process proceeds to step S52.
  • the mobile operation unit 23 does not accept the terminal transmission information transmission end operation from the terminal owner, it is determined that the terminal transmission information transmission is not completed, and the process returns to step S46.
  • step S52 the application execution unit 25 ends the transmission of the terminal transmission information and ends the display of the terminal peripheral image on the mobile display unit 24. After that, the operation of FIG. 18 ends.
  • FIG. 21 is a flowchart showing the operation of the own vehicle 1a according to the third embodiment.
  • the operation on the own vehicle 1a side in FIG. 21 is substantially the same as the operation on the mobile terminal 2a side in FIG. 9 in the third embodiment. This operation is performed, for example, when the vehicle communication device 16d receives the transmission request transmitted in step S41 of FIG.
  • step S61 the vehicle communication device 16d transmits the position of the own vehicle 1a detected by the vehicle positioning unit 12b to the mobile terminal 2a that has transmitted the transmission request.
  • step S62 the vehicle control unit 14a determines whether or not the vehicle communication device 16d has received the terminal transmission information including the terminal peripheral image. If it is determined that the terminal transmission information has been received, the process proceeds to step S63, and if it is determined that the terminal transmission information has not been received, the process returns to step S61.
  • step S63 the vehicle control unit 14a controls the vehicle display device 19a to display the terminal peripheral image included in the terminal transmission information. As a result, the display as shown in the vehicle display device 19a-7 of FIG. 20 is performed.
  • step S64 the vehicle control unit 14a determines whether or not the vehicle operation device 16c has accepted the position determination operation for the terminal peripheral image. If it is determined that the position determination operation has been accepted, the process proceeds to step S65, and if it is determined that the position determination operation has not been accepted, the process proceeds to step S68.
  • step S65 the vehicle control unit 14a determines the position of the own vehicle 1a in the terminal peripheral image based on the position determination operation, and generates terminal reception information including the position of the own vehicle 1a.
  • step S66 the vehicle communication device 16d transmits the terminal reception information generated by the vehicle control unit 14a to the mobile terminal 2a.
  • step S67 the vehicle control unit 14a controls the vehicle display device 19a to display a display object indicating the position of the own vehicle 1a based on the position determination operation of the terminal reception information. As a result, the display as shown in the vehicle display device 19a-8 of FIG. 20 is performed. After that, the process returns to step S61.
  • step S68 the vehicle control unit 14a determines whether or not the time during which the vehicle operation device 16c has not accepted the position determination operation for the terminal peripheral image is a certain time or more. If it is determined that the time is longer than a certain time, the process proceeds to step S69, and if it is determined that the time is less than a certain time, the process returns to step S61. As a result, when the display object is already displayed on the vehicle display device 19a and the time during which the position determination operation is not accepted is less than a certain period of time (for example, 5 seconds), the display of the display object is maintained. ..
  • step S69 the vehicle control unit 14a deletes the display object indicating the position of the own vehicle 1a from the display of the vehicle display device 19a. After that, the process returns to step S61.
  • the first display object 18 indicating the position of the own vehicle 1a is displayed along with the image around the terminal. According to such a configuration, since the position of the own vehicle 1a is shown with respect to the image that can be seen by the terminal owner, the terminal owner can easily identify the own vehicle 1a. That is, an appropriate display that can easily identify the own vehicle 1a can be performed on the mobile terminal 2a.
  • the second mobile body 2 is the own vehicle 1a, but it may be a mobile terminal different from the mobile terminal 2a.
  • the other mobile terminal may have the same configuration as the mobile terminal 2a of FIG. 2 and may perform an operation similar to the operation of FIG. 21.
  • FIG. 22 is a block diagram showing a configuration of a merging support device according to a fourth embodiment of the present invention.
  • the same or similar components as those described above will be designated by the same or similar reference numerals, and different components will be mainly described.
  • the merging support device substantially corresponds to the merging support system, and the merging support device 11 on the own vehicle 1a side described in the second embodiment (hereinafter referred to as "own vehicle support device 11b"). And the merging support device 11 (hereinafter referred to as "terminal support device 11c") on the mobile terminal 2a side described in the third embodiment.
  • Each of the own vehicle support device 11b and the terminal support device 11c has components included in the concepts of the first acquisition unit 12, the first communication control unit 13, and the first control unit 14 in FIG. ..
  • the object is read as a second acquisition unit, a second communication control unit, a second control unit, a second image, a second transmission information, a second reception information, and a second display object.
  • the first acquisition unit, the first communication control unit, the first control unit, the first image, the first transmission information, the first reception information, and the first display object of the terminal support device 11c are referred to as the second acquisition unit.
  • the second communication control unit, the second control unit, the second image, the second transmission information, the second reception information, and the second display object are referred to as the second acquisition unit.
  • the own vehicle support device 11b not only performs the same operation as the merging support device 11 described in the second embodiment, but also performs the same operation as the display control device 11a described in the third embodiment.
  • the terminal support device 11c not only performs the same operation as the merging support device 11 described in the third embodiment, but also performs the same operation as the mobile terminal 2a described in the second embodiment.
  • FIGS. 3 and 9 described in the second embodiment and the operations of FIGS. 18 and 21 described in the third embodiment are independently performed.
  • 23 and 24 are diagrams showing the operation of the own vehicle support device 11b and the terminal support device 11c according to the fourth embodiment.
  • the vehicle peripheral image is displayed on the upper side of the mobile display unit 24, and the terminal peripheral image is displayed on the lower side of the mobile display unit 24.
  • the vehicle display device 19a-10 of FIG. 24 a vehicle peripheral image is displayed on the right side of the vehicle display device 19a, and a terminal peripheral image is displayed on the left side of the vehicle display device 19a.
  • the display object is displayed on the mobile display unit 24. Further, in this case, by communicating between the own vehicle 1a and the mobile terminal 2a, as shown in the vehicle display device 19a-9 of FIG. 23, the first image of the vehicle surroundings of the vehicle display device 19a is displayed. The display object 18 will be displayed.
  • the display object is displayed on the vehicle display device 19a. Further, in this case, by communicating between the own vehicle 1a and the mobile terminal 2a, as shown in the mobile display unit 24-13 of FIG. 24, the second terminal peripheral image of the mobile display unit 24 is displayed. The display object 28 will be displayed.
  • the merging support device own vehicle support device 11b and terminal support device 11c
  • the first display object 18 is displayed on the vehicle display device 19a
  • the mobile display unit 24 displays the first display object 18.
  • the second display object 28 is displayed. According to such a configuration, the user in the vehicle can easily identify the terminal owner, and the terminal owner can easily identify the own vehicle 1a.
  • both the vehicle peripheral image and the terminal peripheral image are displayed on the vehicle display device 19a and the mobile display unit 24, but the present invention is not limited to this.
  • the own vehicle support device 11b and the terminal support device 11c determine one of the vehicle peripheral image and the terminal peripheral image by communicating with each other, and only the determined one is displayed on the vehicle display device 19a and the mobile display unit 24. It may be displayed.
  • the vehicle peripheral image when the vehicle peripheral image is transmitted earlier than the terminal peripheral image, only the vehicle peripheral image may be displayed on the vehicle display device 19a and the mobile display unit 24. Then, when the terminal peripheral image is transmitted earlier than the vehicle peripheral image, only the terminal peripheral image may be displayed on the vehicle display device 19a and the mobile display unit 24.
  • both the vehicle peripheral image and the terminal peripheral image are displayed in a certain range of the vehicle display device 19a and the mobile display unit 24, but the present invention is not limited to this.
  • the vehicle peripheral image when the vehicle peripheral image is transmitted earlier than the terminal peripheral image, the vehicle peripheral image may be displayed in a larger range than the terminal peripheral image. Then, when the terminal peripheral image is transmitted earlier than the vehicle peripheral image, the terminal peripheral image may be displayed in a larger range than the vehicle peripheral image.
  • the range in which the vehicle peripheral image and the terminal peripheral image are displayed on the vehicle display device 19a and the mobile display unit 24 may be changed by the operations of the in-vehicle user and the terminal owner, respectively.
  • FIG. 25 is a block diagram showing a configuration of a merging support device according to a fifth embodiment of the present invention.
  • the same or similar components as those described above will be designated by the same or similar reference numerals, and different components will be mainly described.
  • the merging support device substantially corresponds to the merging support system, and is the same as the configuration in which the vehicle allocation reservation server 41, which is the merging support server, is added to the configuration described in the second embodiment. ..
  • the vehicle allocation reservation server 41 can communicate with the own vehicle 1a and the mobile terminal 2a, and based on the information from the own vehicle 1a and the information from the terminal owner and the mobile terminal 2a, the own vehicle 1a and the terminal owner And support the merging with the mobile terminal 2a.
  • FIG. 26 is a flowchart showing the operation of the vehicle allocation reservation server 41.
  • the vehicle allocation reservation server 41 receives the vehicle allocation request from the mobile terminal 2a.
  • the vehicle dispatch request includes the confluence point desired by the terminal owner.
  • the vehicle allocation request may further include the vehicle type desired by the terminal owner.
  • step S72 the vehicle allocation reservation server 41 transmits a vehicle allocation request including the confluence point to the vehicle allocation candidates registered in advance based on the vehicle allocation request.
  • step S73 the vehicle allocation reservation server 41 receives a response from the vehicle allocation candidate as to whether or not the vehicle can be allocated.
  • the vehicle allocation reservation server 41 transmits the vehicle allocation possible information indicating the vehicle allocation candidate for which the vehicle allocation permission / rejection response was possible to the mobile terminal 2a.
  • the vehicle dispatchable information includes, for example, a profile of a vehicle dispatch candidate and a list of estimated arrival times for which the response of whether or not the vehicle can be dispatched was possible.
  • step S75 the vehicle allocation reservation server 41 receives the vehicle selection information indicating the vehicle selected by the mobile terminal 2a among the vehicle allocation candidates and the profile of the terminal owner from the mobile terminal 2a.
  • step S76 the vehicle allocation reservation server 41 determines the vehicle indicated by the vehicle selection information as the own vehicle 1a described so far, and determines that the contract has been concluded, the confluence point, and the profile of the terminal owner. Send to 1a. Further, the vehicle allocation reservation server 41 transmits to the mobile terminal 2a that the contract has been established and the confluence point.
  • the vehicle allocation reservation server is added to the configuration of the second embodiment, but the vehicle allocation reservation server may be added to the configuration of the third embodiment or the configuration of the fourth embodiment.
  • the vehicle allocation reservation server 41 receives the vehicle allocation request including the merging point in step S71, and transmits the vehicle allocation request to the vehicle allocation candidate in step S72, but the present invention is not limited to this.
  • the vehicle allocation reservation server 41 may transmit the vehicle allocation request to the vehicle allocation candidate in step S72.
  • the vehicle allocation reservation server 41 may obtain a confluence point based on the received vehicle allocation candidate position and the position of the mobile terminal 2a.
  • the vehicle allocation reservation server 41 may transmit the other position to one of the vehicle allocation candidate and the mobile terminal 2a when the predetermined conditions are satisfied.
  • the vehicle allocation reservation server 41 is a terminal including the vehicle transmission information including the vehicle peripheral image of step S7 of FIG. 3 and the terminal peripheral image of step S47 of FIG. 18 when a predetermined condition is satisfied. Transmission information and the like may be transmitted.
  • the predetermined conditions referred to here for example, conditions regarding the meeting time, the vehicle position, the mobile terminal position, and the confluence point are used.
  • the own vehicle 1a to be joined with the terminal owner of the mobile terminal 2a is determined starting from the transmission of the vehicle allocation request to the vehicle allocation reservation server 41 by the mobile terminal 2a.
  • the operation in which the mobile terminal 2a and the own vehicle 1a are exchanged may be performed. That is, the terminal owner to join the own vehicle 1a may be determined starting from the transmission of the terminal owner's allocation request to the vehicle allocation reservation server 41 by the own vehicle 1a.
  • FIG. 27 is a block diagram showing a configuration of a merging support device according to a sixth embodiment of the present invention.
  • the same or similar components as those described above will be designated by the same or similar reference numerals, and different components will be mainly described.
  • One or more imaging devices (front imaging device 16a1, right rear lateral imaging device 16a2, left rear lateral imaging device 16a3, and rear imaging device 16a4) of the merging support device 11 according to the sixth embodiment are the second embodiment. It corresponds to the vehicle photographing device 16a of the merging support device (FIG. 2) according to the above. Further, the general-purpose display device 19a1 and the electronic mirror display device 19ae of the merging support device 11 according to the sixth embodiment correspond to the vehicle display device 19a of the merging support device (FIG. 2) according to the second embodiment. ..
  • FIG. 28 is a diagram showing a photographing area of the front photographing device 16a1 to the rear photographing device 16a4.
  • the forward photographing device 16a1 photographs a forward image which is an image in the photographing area a1.
  • the right rear side photographing device 16a2 photographs the right rear side image which is an image in the photographing area a2.
  • the left posterior imaging device 16a3 captures a left posterior lateral image which is an image in the imaging area a3.
  • the rear photographing device 16a4 captures a rear image which is an image in the photographing area a4.
  • the right rear side photographing device 16a2 is arranged at the same position as the normal right door mirror, and the left rear side photographing device 16a3 is arranged at the same position as the normal left door mirror.
  • multi-direction image images taken by a plurality of shooting devices having different shooting directions, such as a front image, a right rear side image, a left rear side image, and a rear image, will be collectively referred to as a "multi-direction image”.
  • a front image, a right rear side image, a left rear side image, and a rear image will be collectively referred to as a "multi-direction image”.
  • the multi-directional image is used as the vehicle peripheral image described above.
  • FIG. 29 is a diagram showing an arrangement example of the general-purpose display device 19a1 and the electronic mirror display device 19ae in the room of the own vehicle 1a.
  • the electronic mirror display device 19ae of FIG. 27 includes a right rear side display device 19a2 of FIG. 29, a left rear side display device 19a3, and a rear display device 19a4.
  • the general-purpose display device 19a1 is arranged in the center of the instrument panel 16h, and displays a front image of the front photographing device 16a1.
  • the right rear side display device 19a2 is arranged on the right side of the instrument panel 16h, and displays the right rear side image of the right rear side photographing device 16a2 in a left-right inverted manner.
  • the left rear side display device 19a3 is arranged on the left side of the instrument panel 16h, and displays the left rear side image of the left rear side photographing device 16a3 by inverting the left and right sides.
  • the right rear side display device 19a2 and the left rear side display device 19a3 display an image similar to an image reflected on a normal door mirror, so that a so-called electronic mirror function is realized.
  • the rear-view display device 19a4 is arranged at the same position as a normal rear-view mirror of the own vehicle 1a, and displays the rear-view image of the rear-viewing device 16a4 in a left-right inverted manner. In the above configuration, the rear-view display device 19a4 displays an image similar to the image reflected on a normal rear-view mirror, so that a so-called electronic mirror function is realized.
  • FIG. 29 is a diagram showing an example of arrangement of a plurality of display devices, and the arrangement of the plurality of display devices is not limited to this.
  • one horizontally long display device may be arranged instead of the plurality of display devices.
  • FIG. 30 is a flowchart showing the operation of the own vehicle 1a according to the sixth embodiment.
  • the operation of FIG. 30 is the same as the operation of replacing steps S6 to S10 with steps S81 to S85 in the flowchart of FIG. Therefore, steps S81 to S85 will be mainly described below. Further, since the operation on the mobile terminal 2a side according to the sixth embodiment is almost the same as the operation of FIG. 9, detailed description thereof will be omitted.
  • step S81 the front imaging device 16a1 to the rear imaging device 16a4 capture a multi-directional image, and the video input unit 12a acquires the multi-directional image captured by the vehicle imaging device 16a.
  • step S82 transmission control of the vehicle communication control unit 13a is performed. That is, the vehicle communication device 16d transmits vehicle transmission information including a multi-directional image (vehicle peripheral image) to the mobile terminal 2a.
  • the mobile terminal 2a When the mobile terminal 2a receives the vehicle transmission information, the mobile terminal 2a displays the multi-directional image included in the vehicle transmission information on the mobile display unit 24.
  • the mobile terminal 2a receives a position-determining operation for the displayed multi-directional image from the terminal owner, the mobile terminal 2a determines the position of the terminal owner in any one of the multi-directional images based on the position-determining operation. To do.
  • the mobile terminal 2a transmits vehicle reception information including the determined position of the terminal owner from the mobile communication unit 22 and displays it on the mobile display unit 24.
  • the image in which the position of the terminal owner is determined may be described as a "position determination image”.
  • step S83 the vehicle control unit 14a determines whether or not the reception control of the vehicle communication control unit 13a has been performed. That is, the vehicle control unit 14a determines whether or not the vehicle communication device 16d has received the vehicle reception information including the position of the terminal owner in the position determination image (vehicle peripheral image) from the mobile terminal 2a. If it is determined that the vehicle reception information has been received, the process proceeds to step S84, and if it is determined that the vehicle reception information has not been received, the process proceeds to step S85.
  • step S84 the vehicle control unit 14a displays the first display object that indicates the position of the terminal owner along with the position determination image on the general-purpose display device 19a1 and the electronic mirror display device 19ae based on the vehicle reception information. Control the display on any one of them. Further, the vehicle control unit 14a controls to display a multi-directional image other than the position-determining image on the rest of the general-purpose display device 19a1 and the electronic mirror display device 19ae. After that, the process proceeds to step S11.
  • step S85 the vehicle control unit 14a controls to display the multi-directional image on the general-purpose display device 19a1 and the electronic mirror display device 19ae.
  • the multi-directional image displayed at this time may be the same as the multi-directional image transmitted in step S82, or may be a multi-directional image taken thereafter. After that, the process proceeds to step S11.
  • the general-purpose display device 19a1 and the electronic mirror display device 19ae are display devices that display various information such as display objects on the display screen, but the present invention is not limited to this.
  • the general-purpose display device 19a1 and the electronic mirror display device 19ae may be a HUD, or may be a transmissive liquid crystal display device for the window of the own vehicle 1a. You may. Then, a display object such as the first display object may be displayed not only on the windshield in front of the own vehicle 1a but also on the right, left, and rear glass of the own vehicle 1a.
  • the merging support device 11 may include a detection unit that detects the position of the driver's eyes, and may be configured to adjust the position of the display object based on the position of the eyes. With such a configuration, the display object can be displayed at an appropriate position.
  • step S82 of FIG. 30 of the sixth embodiment all of the multi-directional images are transmitted to the mobile terminal 2a, but the present invention is not limited to this.
  • any one of the front image, the right rear side image, the left rear side image, and the rear image is manually or automatically selected on the own vehicle 1a side, and the selected image is transmitted to the mobile terminal 2a. May be done.
  • the vehicle control unit 14a is the terminal position direction in which the mobile terminal 2a is located from the own vehicle 1a based on the position of the mobile terminal 2a received in step S2 and the position of the own vehicle 1a detected in step S3. May be sought. Then, in step S82, the vehicle control unit 14a automatically selects an image whose shooting area is close to the terminal position direction among the multi-directional images, and the vehicle communication device 16d carries the vehicle transmission information including the selected image. It may be transmitted to the terminal 2a. When there are a plurality of images whose photographing area is close to the terminal position direction, the vehicle communication device 16d may transmit vehicle transmission information including these a plurality of images to the mobile terminal 2a.
  • step S84 of FIG. 30 of the sixth embodiment the position-determining image is displayed with the first display object attached, and the multi-directional image other than the position-determining image is displayed without the display object. It is not limited to this.
  • the position-determining image is accompanied by the first display object, and the multi-directional image other than the position-determining image indicates that the first display object is displayed in the position-determining image.
  • a display object may be displayed with it.
  • step S84 of FIG. 30 of the sixth embodiment not only the position-fixing image but also a multi-directional image other than the position-fixing image is displayed, but the present invention is not limited to this.
  • the present invention is not limited to this.
  • the position-fixing image may be displayed without displaying the multi-directional image other than the position-fixing image. According to such a configuration, the user in the vehicle can easily identify the position-determining image to which the first display object is attached.
  • 31 and 32 are diagrams showing a wide-angle photographing area a8 of a photographing apparatus used for a general electronic mirror and a partial photographing area a9 which is a part of the wide-angle photographing area a8.
  • the angle of view of the wide-angle shooting area a8 is, for example, 25 degrees
  • the angle of view of the partial shooting area a9 is, for example, 10 degrees.
  • the wide-angle shooting area a8 is not displayed in its entirety, but the partial shooting area a9 is displayed. Then, the partial photographing area a9 can be moved up / down / left / right by the operation of the user in the vehicle in correspondence with the mirror surface of the normal door mirror being adjusted up / down / left / right by the operation of the user in the vehicle.
  • the multi-directional image (vehicle peripheral image) in the sixth embodiment in which the function of the electronic mirror is realized is not an image of the partial photographing area a9 but an image of the wide-angle photographing area a8. According to such a configuration, it is possible to reduce the possibility that the terminal owner does not appear in the vehicle peripheral image.
  • the vehicle control unit 14a uses the own vehicle based on the position of the mobile terminal 2a received in step S2 and the position of the own vehicle 1a detected in step S3.
  • the terminal position direction which is the direction in which the mobile terminal 2a is located, may be obtained from 1a.
  • the vehicle control unit 14a cuts out the image of the wide-angle shooting area a8 in the shooting area located in the terminal position direction and about the same as the partial shooting area a9, and the vehicle communication device 16d cuts out the image.
  • the vehicle transmission information including the above may be transmitted to the mobile terminal 2a.
  • the front imaging device 16a1 to the rear imaging device 16a4 are used assuming an electronic mirror, but the present invention is not limited to this.
  • the present invention is not limited to this.
  • one or more having a shooting area front shooting area a11, right shooting area a12, left shooting area a13, rear shooting area a14
  • the imaging device of the above may be used.
  • the vehicle transmission information transmitted in step S82 of FIG. 30 of the sixth embodiment may include a shooting profile indicating a shooting direction such as a shooting area of each shooting device.
  • a shooting profile indicating a shooting direction such as a shooting area of each shooting device.
  • a photographing profile showing the front photographing area a11, the right photographing area a12, the left photographing area a13, and the rear photographing area a14 is transmitted. May be good.
  • FIG. 34 shows the mobile display of the mobile terminal 2a when the vehicle transmission information including the shooting profile indicating the front shooting area a11, the right shooting area a12, the left shooting area a13, and the rear shooting area a14 of FIG. 33 is transmitted. It is a figure which shows the operation of the part 24.
  • the mobile display unit 24 displays the photographing profiles p11, p12, p13, and p14 indicating the front photographing area a11, the right photographing area a12, the left photographing area a13, and the rear photographing area a14. Then, the mobile display unit 24 displays thumbnails of the multi-directional images corresponding to the shooting profiles p11, p12, p13, and p14 as icons g11, g12, g13, and g14.
  • FIG. 35 is a diagram showing the operation of the mobile display unit 24 when the icon g12 corresponding to the shooting profile p12 in the right shooting area a12 is operated in FIG. 34.
  • the mobile display unit 24 displays the shooting profile p12 and the image g22 of the right shooting region a12.
  • the display of FIG. 35 may be returned to the display of FIG. 34.
  • the display on the mobile terminal 2a is not limited to the display shown in FIG. 34.
  • the mobile display unit 24 sets a shooting profile with images g21, g22, g23, g24 of the front shooting area a11, the right shooting area a12, the left shooting area a13, and the rear shooting area a14.
  • the indicated characters may be displayed.
  • the mobile display unit 24 may display the display object 26h indicating the terminal position direction in addition to the display shown in FIG. 34 and the like.
  • the vehicle communication control unit 13a controls one or more photographing devices such as the front photographing device 16a1 to the rear photographing device 16a4. Control may be performed to transmit controllable information to the mobile terminal 2a.
  • the mobile terminal 2a controls the mobile display unit 24 to display that one or more photographing devices of the own vehicle 1a can be controlled when the controllable information is received, and is based on the operation of the terminal owner. Then, a control request for controlling the above-mentioned one or more imaging devices may be transmitted to the own vehicle 1a.
  • the control request includes, for example, a request for enlarging or reducing an image of the photographing device and a request for controlling the photographing direction of the photographing device.
  • the vehicle communication control unit 13a may control the own vehicle 1a to receive the control request to the above-mentioned one or more imaging devices from the mobile terminal 2a. Then, the vehicle control unit 14a may control the above-mentioned one or more imaging devices based on the control request received by the own vehicle 1a.
  • the terminal owner sets the shooting direction of the photographing device of the own vehicle 1a so that the terminal owner is shown in the vehicle peripheral image. Can be changed.
  • the first acquisition unit 12, the first communication control unit 13, and the first control unit 14 in FIG. 1 described above are hereinafter referred to as “first acquisition unit 12 and the like”.
  • the first acquisition unit 12 and the like are realized by the processing circuit 81 shown in FIG. 38. That is, in the processing circuit 81, the first moving object receives the first transmission information including the first acquisition unit 12 that acquires the first image outside the first moving object and the first image acquired by the first acquisition unit 12.
  • a first communication that controls transmission to a second moving object and controls that the first moving body receives first reception information including at least a part of the position of the second moving body in the first image from the second moving body.
  • the first control unit 14 that controls the display of the first display object indicating the position of the first moving object on the first display device of the first moving body is provided.
  • Dedicated hardware may be applied to the processing circuit 81, or a processor that executes a program stored in the memory may be applied. Examples of the processor include a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a DSP (Digital Signal Processor), and the like.
  • the processing circuit 81 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate). Array), or a combination of these.
  • Each of the functions of each part such as the first acquisition unit 12 may be realized by a circuit in which processing circuits are dispersed, or the functions of each part may be collectively realized by one processing circuit.
  • the processing circuit 81 When the processing circuit 81 is a processor, the functions of the first acquisition unit 12 and the like are realized by combining with software and the like.
  • the software and the like correspond to, for example, software, firmware, or software and firmware.
  • Software and the like are described as programs and stored in memory.
  • the processor 82 applied to the processing circuit 81 realizes the functions of each part by reading and executing the program stored in the memory 83. That is, when the merging support device is executed by the processing circuit 81, the first moving object receives the step of acquiring the first image outside the first moving object and the first transmission information including the acquired first image.
  • the display object is provided with a step of controlling the display of the display object on the first display device of the first moving body, and a memory 83 for storing a program to be executed as a result. In other words, it can be said that this program causes the computer to execute the procedure or method of the first acquisition unit 12 or the like.
  • the memory 83 is a non-volatile or non-volatile memory such as a RAM (RandomAccessMemory), a ROM (ReadOnlyMemory), a flash memory, an EPROM (ErasableProgrammableReadOnlyMemory), or an EEPROM (ElectricallyErasableProgrammableReadOnlyMemory). Volatile semiconductor memory, HDD (Hard Disk Drive), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (Digital Versatile Disc), its drive device, etc., or any storage medium that will be used in the future. You may.
  • RAM RandomAccessMemory
  • ROM ReadOnlyMemory
  • flash memory an EPROM (ErasableProgrammableReadOnlyMemory), or an EEPROM (ElectricallyErasableProgrammableReadOnlyMemory).
  • Volatile semiconductor memory Volatile semiconductor memory, HDD (Hard Disk Drive), magnetic disk, flexible disk, optical disk,
  • each function of the first acquisition unit 12 and the like is realized by either hardware or software has been described above.
  • the present invention is not limited to this, and a configuration in which a part of the first acquisition unit 12 and the like is realized by dedicated hardware and another part is realized by software and the like may be used.
  • the first acquisition unit 12 realizes its function by a processing circuit 81 as dedicated hardware, an interface, a receiver, and the like, and other than that, the processing circuit 81 as a processor 82 is a program stored in the memory 83. It is possible to realize the function by reading and executing it.
  • the processing circuit 81 can realize each of the above-mentioned functions by hardware, software, or a combination thereof.
  • the merging support device described above is a function of a vehicle device such as a PND (Portable Navigation Device) or a navigation device, a communication terminal including a mobile terminal, and an application function installed in at least one of the vehicle device and the communication terminal. It can also be applied to a merge support system constructed as a system by appropriately combining a server and a server. In this case, each function or each component of the merging support device described above may be distributed to each device for constructing the system, or may be concentrated to any device. ..
  • each embodiment and each modification can be freely combined, and each embodiment and each modification can be appropriately modified or omitted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

第1移動体(1)と第2移動体(2)との合流に関して、第2移動体(2)を容易に特定可能な適切な表示を第1移動体(1)において行うことが可能な技術を提供することを目的とする。合流支援装置(11)は、第1移動体(1)と第2移動体(2)との合流に関して、第1移動体(1)で受信された第1受信情報に基づいて、第1画像または第1画像に対応する第1移動体外部の風景に付随して第2移動体(2)の少なくとも一部の位置を示す第1表示オブジェクトを、第1移動体(1)の第1表示装置(19)に表示させる制御を行う第1制御部(14)を備える。

Description

合流支援装置、合流支援システム、及び、合流支援方法
 本発明は、第1移動体と第2移動体との合流を支援する合流支援装置、合流支援システム、及び、合流支援方法に関する。
 自動車のシェアリングについて種々なサービスが実用化、または、技術開発されている。例えば、ライドヘイリング、ライドシェアリング、ダイナミックシャトルなどのようにユーザが自身で所有しない車両を必要に応じて利用するサービスが提案されている。これらのサービスでは、車両を利用しようとするユーザと、当該車両とがスムーズに合流することが重要である。そのような合流を実現するため、例えば特許文献1では、仮想的な待ち合わせ場所として合流地点を設定し、車載情報システムの地図表示上に合流地点を表示する技術が提案されている。
特開2019-053547号公報
 しかしながら、現実世界と地図世界とのマッチングが不十分である場合があり、地図上の合流地点の表示だけでは、合流に手間や時間を費やすことがあった。また、合流地点に多数の車両または多数の人物が存在する場合には、それらの中から相手を特定することが困難であった。なお、この問題を解決するために、相手側に顔画像を事前に送信する方法も考えられるが、顔画像の顔と実際の風景内の顔とが異なることがあり、相手の特定が依然として困難である場合があった。
 そこで、本発明は、上記のような問題点を鑑みてなされたものであり、第1移動体と第2移動体との合流に関して、第2移動体を容易に特定可能な適切な表示を第1移動体において行うことが可能な技術を提供することを目的とする。
 本発明に係る合流支援装置は、第1移動体と第2移動体との合流を支援する合流支援装置であって、第1移動体外部の第1画像を取得する第1取得部と、第1取得部で取得された第1画像を含む第1送信情報を第1移動体が第2移動体に送信する制御と、第1画像における第2移動体の少なくとも一部の位置を含む第1受信情報を第1移動体が第2移動体から受信する制御とを行う第1通信制御部と、第1移動体で受信された第1受信情報に基づいて、第1画像または第1画像に対応する第1移動体外部の風景に付随して第2移動体の少なくとも一部の位置を示す第1表示オブジェクトを、第1移動体の第1表示装置に表示させる制御を行う第1制御部とを備える。
 本発明によれば、第1移動体で受信された第1受信情報に基づいて、第1画像または第1画像に対応する第1移動体外部の風景に付随して第2移動体の少なくとも一部の位置を示す第1表示オブジェクトを、第1移動体の第1表示装置に表示させる制御を行う。このような構成によれば、第1移動体と第2移動体との合流に関して、第2移動体を容易に特定可能な適切な表示を第1移動体において行うことができる。
 本発明の目的、特徴、態様及び利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態1に係る合流支援装置の構成を示すブロック図である。 実施の形態2に係る合流支援装置の構成を示すブロック図である。 実施の形態2に係る自車両側の動作を示すフローチャートである。 実施の形態2に係る合流支援装置の動作を示す図である。 実施の形態2に係る合流支援装置の動作を示す図である。 実施の形態2に係る合流支援装置の動作を示す図である。 実施の形態2に係る車両周辺画像の一例を示す図である。 実施の形態2に係る合流支援装置の動作を示す図である。 実施の形態2に係る携帯端末側の動作を示すフローチャートである。 実施の形態2の変形例8に係る合流支援装置の動作を示す図である。 実施の形態2の変形例8に係る合流支援装置の動作を示す図である。 実施の形態2の変形例8に係る合流支援装置の動作を示す図である。 実施の形態2の変形例8に係る合流支援装置の動作を示す図である。 実施の形態2の変形例9に係る合流支援装置の動作を示す図である。 実施の形態2の変形例9に係る合流支援装置の動作を示す図である。 実施の形態2の変形例12に係る自車両側の動作を示すフローチャートである。 実施の形態3に係る合流支援装置の構成を示すブロック図である。 実施の形態3に係る携帯端末側の動作を示すフローチャートである。 実施の形態3に係る端末周辺画像の一例を示す図である。 実施の形態3に係る合流支援装置の動作を示す図である。 実施の形態3に係る自車両側の動作を示すフローチャートである。 実施の形態4に係る合流支援装置の構成を示すブロック図である。 実施の形態4に係る合流支援装置の動作を示す図である。 実施の形態4に係る合流支援装置の動作を示す図である。 実施の形態5に係る合流支援装置の構成を示すブロック図である。 実施の形態5に係る配車予約サーバの動作を示すフローチャートである。 実施の形態6に係る合流支援装置の構成を示すブロック図である。 実施の形態6に係る合流支援装置の撮影領域を示す図である。 実施の形態6に係る合流支援装置の配設例を示す図である。 実施の形態6に係る自車両側の動作を示すフローチャートである。 実施の形態6の変形例5に係る合流支援装置の動作を示す図である。 実施の形態6の変形例5に係る合流支援装置の動作を示す図である。 実施の形態6の変形例6に係る合流支援装置の撮影領域を示す図である。 実施の形態6の変形例7に係る携帯端末の動作を示す図である。 実施の形態6の変形例7に係る携帯端末の動作を示す図である。 実施の形態6の変形例7に係る携帯端末の動作を示す図である。 実施の形態6の変形例7に係る携帯端末の動作を示す図である。 その他の変形例に係る合流支援装置のハードウェア構成を示すブロック図である。 その他の変形例に係る合流支援装置のハードウェア構成を示すブロック図である。
 <実施の形態1>
 本発明の実施の形態1に係る合流支援装置は、第1移動体1と第2移動体2との合流を支援する装置である。第1移動体1及び第2移動体2のそれぞれは、例えば、車両、または、人及び当該人とともに移動する携帯端末である。以下、第1移動体1は、車両である自車両1aである例について主に説明するが、変形例で説明するように人及び当該人とともに移動する携帯端末であってもよい。
 図1は、本実施の形態1に係る合流支援装置11の構成を示すブロック図である。以下、合流支援装置11が自車両1aに搭載されている構成について主に説明するが、変形例で説明するようにこれに限ったものではない。
 図1の合流支援装置11は、図形、文字や画像などの各種情報を表示する第1表示装置19と接続されている。第1表示装置19は、表示画面を有して当該表示画面に表示オブジェクトを表示する表示装置であってもよい。または、第1表示装置19は、自車両1a外部の風景に付随する表示オブジェクトを表示するヘッドアップディスプレイ(HUD)、または、自車両1aの窓用の透過型の液晶表示装置であってもよい。なお、図1の第1表示装置19は、合流支援装置11と個別に設けられているが、合流支援装置11に備えられてもよい。また、第1表示装置19は、自車両1aに固定された表示装置であってもよいし、自車両1aに持ち込まれた表示装置であってもよい。
 図1の合流支援装置11は、第1取得部12と、第1通信制御部13と、第1制御部14とを備える。
 第1取得部12は、自車両1a外部の第1画像を取得する。なお、第1取得部12には、例えば、自車両1aに搭載され、自車両1a周辺の画像を第1画像として撮影する車両撮影装置、または、このインターフェースなどが用いられる。以下、自車両1a外部の第1画像を「車両周辺画像」と記して説明する。
 第1通信制御部13は、送信制御と受信制御とを行う。
 送信制御では、第1通信制御部13は、第1取得部12で取得された車両周辺画像を含む第1送信情報を、自車両1aが第2移動体2に送信する制御を行う。なお以下の説明では、車両周辺画像を含む第1送信情報を「車両送信情報」と記すこともある。
 受信制御では、第1通信制御部13は、車両周辺画像における第2移動体2の少なくとも一部の位置を含む第1受信情報を、自車両1aが第2移動体2から受信する制御を行う。なお以下の説明では、車両周辺画像における第2移動体2の少なくとも一部の位置を含む第1受信情報を「車両受信情報」と記すこともある。
 例えば、第2移動体2が、人及び当該人ととともに移動する携帯端末である場合、自車両1aは、上記受信制御によって、車両周辺画像における人(第2移動体2の一部)の位置を含む車両受信情報を、携帯端末から受信する。例えば、第2移動体2が、他車両(自車両1aとは別の車両)である場合、自車両1aは、上記受信制御によって、車両周辺画像における他車両(第2移動体2)の位置を含む車両受信情報を、他車両から受信する。
 以上のような第1通信制御部13には、例えば、通信装置、または、このインターフェースなどが用いられる。
 第1制御部14は、自車両1aで受信された車両受信情報に基づいて、第1表示オブジェクトを、自車両1aの第1表示装置19に表示させる制御を行う。ここで第1表示オブジェクトは、車両周辺画像または車両周辺画像に対応する自車両1a外部の風景に付随して、第2移動体2の少なくとも一部の位置を示す表示オブジェクトである。以下に、この例について説明する。
 例えば、第2移動体2が人及び携帯端末であり、かつ、第1表示装置19が、表示画面を有する表示装置である場合、車両周辺画像と、当該車両周辺画像に付随して当該人の位置を示す第1表示オブジェクトとが表示画面に表示される。
 例えば、第2移動体2が人及び携帯端末であり、かつ、第1表示装置19が、HUD、または、自車両1aの窓用の透過型の液晶表示装置である場合、車両周辺画像に対応する自車両1a外部の風景に付随して当該人の位置を示す第1表示オブジェクトが表示される。
 例えば、第2移動体2が他車両であり、かつ、第1表示装置19が、表示画面を有する表示装置である場合、車両周辺画像と、当該車両周辺画像に付随して当該他車両の位置を示す第1表示オブジェクトとが表示画面に表示される。
 例えば、第2移動体2が他車両であり、かつ、第1表示装置19が、HUD、または、自車両1aの窓用の透過型の液晶表示装置である場合、車両周辺画像に対応する自車両1a外部の風景に付随して当該他車両の位置を示す第1表示オブジェクトが表示される。
 <実施の形態1のまとめ>
 以上のような本実施の形態1に係る合流支援装置11によれば、車両周辺画像または車両周辺画像に対応する自車両1a外部の風景に付随して第2移動体2の少なくとも一部の位置を示す第1表示オブジェクトが表示される。このような構成によれば、自車両1aの運転者などの車両内ユーザが見ることができる画像または風景に対して、第2移動体2の位置が示されるので、車両内ユーザは、第2移動体2を容易に特定することができる。つまり、第2移動体2を容易に特定可能な適切な表示を自車両1aにおいて行うことができる。
 <実施の形態2>
 図2は、本発明の実施の形態2に係る合流支援装置11の構成を示すブロック図である。以下、本実施の形態2に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じまたは類似する参照符号を付し、異なる構成要素について主に説明する。
 本実施の形態2では、第1移動体1は、実施の形態1と同様に自車両1aであり、実施の形態1と同様に、合流支援装置11が自車両1aに搭載されている。
 また本実施の形態2では、第2移動体2は、人及び人とともに移動する携帯端末2aである。携帯端末2aは、例えば携帯電話、スマートフォン及びタブレットなどであり、合流支援装置11と携帯端末2aとは、通信網3を介して無線通信が可能となっている。なお以下では、携帯端末2aとともに移動する人を「端末所持者」と記すこともある。
 <合流支援装置11の外部構成>
 図2の合流支援装置11は、車両撮影装置16aと、GNSS(Global Navigation Satellite System)受信機16bと、車両操作装置16cと、車両通信装置16dと、車両表示装置19aと接続されている。なお、図2の構成に限ったものではなく、車両撮影装置16a、GNSS受信機16b、車両操作装置16c、車両通信装置16d、及び、車両表示装置19aの少なくともいずれか1つは、合流支援装置11に備えられてもよい。
 車両撮影装置16aは、自車両1aに搭載され、自車両1a前方の画像を車両周辺画像として撮影する撮影装置である。
 GNSS受信機16bは、GNSSからの信号を受信し、当該信号に基づいて合流支援装置11ひいては自車両1aの位置情報を求める。
 車両操作装置16cは、自車両1aの運転者などの車両内ユーザから操作を受け付ける。車両操作装置16cには、例えば、車両内ユーザのタッチ操作を受け付けるタッチパネル及び操作スイッチ、車両内ユーザの空間へのジェスチャー操作を受け付ける画像認識装置、並びに、車両内ユーザからの音声操作を受け付ける音声認識装置などが用いられる。なお以下で説明する予め定められた操作は、例えば、タッチ操作、ジェスチャー操作、及び、音声操作の少なくともいずれか1つを含む。また、以下の説明では便宜上、車両操作装置16cが操作を受け付けることを、単に自車両1aが操作を受け付けると記すこともある。
 車両通信装置16dは、自車両1aの外部装置と無線通信を行う。
 車両表示装置19aは、表示画面を有して当該表示画面に表示オブジェクトなどの各種情報を表示する表示装置であり、図1の第1表示装置19の概念に含まれる。車両表示装置19aには、例えば液晶表示装置や有機EL(electroluminescence)表示装置などが用いられる。
 <合流支援装置11の内部構成>
 図2の合流支援装置11は、映像入力部12aと、車両測位部12bと、車両通信制御部13aと、車両制御部14aとを備える。なお、図2の映像入力部12a及び車両測位部12bは、図1の第1取得部12の概念に含まれ、図2の車両通信制御部13a及び車両制御部14aは、図1の第1通信制御部13及び第1制御部14の概念にそれぞれ含まれる。
 映像入力部12aは、車両撮影装置16aで撮影された車両周辺画像を取得する。
 車両測位部12bは、GNSS受信機16bで求めた位置情報から、自車両1aの位置を検出(取得)する。
 車両通信制御部13aは、車両通信装置16dの送信及び受信を制御する。本実施の形態2では、車両通信制御部13aは、車両周辺画像を含む車両送信情報を、車両通信装置16dが携帯端末2aに送信する制御と、車両周辺画像における端末所持者の位置を含む車両受信情報を、車両通信装置16dが携帯端末2aから受信する制御とを行う。また、車両通信制御部13aは、携帯端末2aの位置を車両通信装置16dが携帯端末2aから受信する制御を行う。なお以下説明では便宜上、車両通信制御部13aの制御により車両通信装置16dが送信及び受信することを、単に車両通信装置16dが送信及び受信すると記すこともあれば、自車両1aが送信及び受信すると記すこともある。
 車両制御部14aは、合流支援装置11の構成要素を制御する。本実施の形態2では、車両制御部14aは、車両測位部12bで検出された自車両の1aの位置と、車両通信装置16dで受信された携帯端末2aの位置とに基づいて、自車両1aと携帯端末2aとの相対位置関係を車両表示装置19aに表示させる制御を行う。
 また、車両制御部14aは、車両操作装置16cで車両内ユーザから予め定められた操作を受け付けた場合などに、第1表示オブジェクトを車両表示装置19aに表示させる制御を行う。ここで第1表示オブジェクトは、実施の形態1で説明した第1表示オブジェクトと同様、車両表示装置19aで表示される車両周辺画像に付随して端末所持者の位置を示す表示オブジェクトである。
 <携帯端末2aの内部構成>
 図2の携帯端末2aは、携帯測位部21と、携帯通信部22と、携帯操作部23と、携帯表示部24と、アプリケーション実行部25とを備える。
 携帯測位部21は、自車両1a側のGNSS受信機16b及び車両測位部12bに相当し、携帯端末2aの位置を検出(取得)する。
 携帯通信部22は、自車両1a側の車両通信装置16d及び車両通信制御部13aに相当し、例えば携帯通信網、NFC(Near Field Communication)、無線LAN(Local Area Network)などを用いて自車両1aと通信を行う。本実施の形態2では、携帯通信部22は、車両周辺画像を含む車両送信情報を自車両1aから受信する。また、携帯通信部22は、車両周辺画像における端末所持者の位置を含む車両受信情報と、携帯測位部21で求めた携帯端末2aの位置とを自車両1aに送信する。なお以下の説明では便宜上、携帯通信部22が送信及び受信することを、単に携帯端末2aが送信及び受信すると記すこともある。
 携帯操作部23は、自車両1a側の車両操作装置16cに相当し、端末所持者から操作を受け付ける。携帯操作部23には、例えば端末所持者の操作を受け付けるタッチパネル及び操作スイッチ、端末所持者の空間へのジェスチャー操作を受け付ける画像認識装置、並びに、端末所持者からの音声操作を受け付ける音声認識装置などが用いられる。なお以下の説明では便宜上、携帯操作部23が操作を受け付けることを、単に携帯端末2aが操作を受け付けると記すこともある。
 携帯表示部24は、自車両1a側の車両表示装置19aに相当し、表示画面に表示オブジェクトなどの各種情報を表示する表示装置である。携帯表示部24には、例えば液晶表示装置や有機EL表示装置などが用いられる。
 アプリケーション実行部25は、自車両1a側の車両制御部14aに相当し、携帯端末2aの構成要素を制御する。本実施の形態2では、アプリケーション実行部25は、携帯通信部22が車両送信情報を受信した場合に、当該車両送信情報に含まれる車両周辺画像を携帯表示部24に表示する。
 アプリケーション実行部25は、表示中の車両周辺画像に対する予め定められた操作を、端末所持者から携帯操作部23で受け付けた場合に、当該予め定められた操作に基づいて車両周辺画像における端末所持者の位置を決定する。以下の説明では、位置を決定するための予め定められた操作を、「位置決定操作」と記すこともある。アプリケーション実行部25は、車両周辺画像における決定された端末所持者の位置を含む情報を、車両受信情報として携帯通信部22から送信するとともに、当該位置を携帯表示部24に表示する。
 <動作>
 以下、自車両1a側(合流支援装置11側)の動作と、携帯端末2a側の動作とについて説明する。なお、以下の動作においては、携帯端末2aでは、すでに合流支援アプリケーションが起動されているものとする。そして、既に自車両1a及び端末所持者は、予め定められた手順によって合流する相手として互いに決定されており、双方が相手側を認識して相互通信が可能な状態となっているものとする。
 <自車両1a側の動作>
 図3は、本実施の形態2に係る自車両1a側の動作を示すフローチャートである。
 まずステップS1にて、車両操作装置16cが、運転者などの車両内ユーザからの操作を受け付けると、車両通信装置16dは、携帯端末2aの位置の送信要求を携帯端末2aに送信する。後述するように、携帯端末2aは、送信要求を受けると、携帯測位部21で検出された携帯端末2aの位置を自車両1aに送信する。
 ステップS2にて、車両通信装置16dは、携帯端末2aの位置を携帯端末2aから受信する。
 ステップS3にて、車両測位部12bは、自車両1aの位置を検出する。
 ステップS4にて、車両制御部14aは、車両測位部12bで検出された自車両の1aの位置と、車両通信装置16dで受信された携帯端末2aの位置とに基づいて、自車両1aと携帯端末2aとの相対位置関係を車両表示装置19aに表示させる制御を行う。
 図4~図6は、ステップS4の動作を示す図である。図4~図6では、自車両1aを示す表示オブジェクト17aと、表示オブジェクト17aを中心とし20m、50m、100mを半径とする円スケールと、携帯端末2aを示す表示オブジェクト17bと、自車両1aと携帯端末2aとの間の距離を文字で示す表示オブジェクト17cとが表示されている。
 図4では、携帯端末2aは、円スケールの外側に位置し、図5では、携帯端末2aは、円スケールの内側に位置する。図5の場合には、円スケール内部に薄い色が付される。
 図6では、携帯端末2aは、円スケールの内側に位置し、かつ、車両撮影装置16aの撮影領域内に位置する。図6の場合には、車両撮影装置16aの撮影領域を示す三角形状の半透過型の表示オブジェクト17dと、星マークの表示オブジェクト17eとが表示される。なお、図6において、携帯端末2aを示す表示オブジェクト17bは点滅表示されてもよい。
 図3のステップS5にて、車両制御部14aは、車両送信情報を送信するか否かを判定する。本実施の形態2では、車両操作装置16cが車両送信情報の送信操作を車両内ユーザから受け付けた場合に、車両送信情報を送信すると判定して処理がステップS6に進む。一方、車両操作装置16cが車両送信情報の送信操作を車両内ユーザから受け付けなかった場合に、車両送信情報を送信しないと判定して処理がステップS2に戻る。
 なお、図3のステップS2からステップS5までのループ処理内に、携帯端末2aの位置を車両通信装置16dが携帯端末2aから受信する処理を中断して処理がステップS1に戻る中断要求を、車両内ユーザから受け付けるステップが設けられてもよい。
 ステップS5からステップS6に進んだ場合、車両撮影装置16aは、車両周辺画像を撮影し、映像入力部12aは、車両撮影装置16aで撮影された車両周辺画像を取得する。図7に、車両周辺画像の一例を示す。図7に示すように、車両周辺画像に多くの人が写っている場合には、車両内ユーザは、どの人が、自身と合流すべき端末所持者であるかを特定することが困難となっている。
 ステップS7にて、車両通信制御部13aの送信制御が行われる。これにより、車両通信装置16dは、車両周辺画像を含む車両送信情報を携帯端末2aに送信する。
 携帯端末2aの動作の詳細については後述するが、携帯端末2aは、車両送信情報を受信すると、当該車両送信情報に含まれる車両周辺画像を携帯表示部24(図8の携帯表示部24-1)に表示する。
 携帯端末2aは、表示中の車両周辺画像に対する位置決定操作を、端末所持者から受け付けた場合に、当該位置決定操作に基づいて車両周辺画像における端末所持者の位置を決定する。そして、携帯端末2aは、決定された端末所持者の位置を含む車両受信情報を携帯通信部22から送信するとともに、当該位置を携帯表示部24(図8の携帯表示部24-2)に表示する。図8の動作では、車両周辺画像のうち、タッチ操作によって端末所持者の位置が決定され、当該位置を示す破線の楕円形状の表示オブジェクトが、携帯表示部24で表示されている例が示されている。
 図3のステップS7の後、ステップS8にて、車両制御部14aは、車両通信制御部13aの受信制御が行われたか否かを判定する。つまり車両制御部14aは、車両通信装置16dが、車両周辺画像における端末所持者の位置を含む車両受信情報を携帯端末2aから受信したか否かを判定する。車両受信情報を受信したと判定した場合には処理がステップS9に進み、車両受信情報を受信しなかったと判定した場合には処理がステップS10に進む。
 ステップS9にて、車両制御部14aは、車両受信情報に基づいて、車両表示装置19aで表示される車両周辺画像に付随して端末所持者の位置を示す第1表示オブジェクトを、車両表示装置19aに表示させる制御を行う。このときの動作が、図8の車両表示装置19a-1に示されており、端末所持者の位置を示す楕円形状の第1表示オブジェクト18が示されている。その後、処理がステップS11に進む。
 ステップS10にて、車両制御部14aは、車両周辺画像を車両表示装置19aに表示させる制御を行う。なお、このときに表示される車両周辺画像は、ステップS7で送信された車両周辺画像と同一であってもよいし、その後に撮影された車両周辺画像であってもよい。その後、処理がステップS11に進む。
 ステップS11にて、車両制御部14aは、車両送信情報の送信を終了するか否かを判定する。本実施の形態2では、車両操作装置16cが車両送信情報の送信終了操作を車両内ユーザから受け付けた場合には、車両送信情報の送信を終了すると判定して処理がステップS12に進む。一方、車両操作装置16cが車両送信情報の送信終了操作を車両内ユーザから受け付けなかった場合には、車両送信情報の送信を終了しないと判定して処理がステップS6に戻る。
 ステップS12にて、車両制御部14aは、車両送信情報の送信を終了するとともに、車両表示装置19aにおける車両周辺画像の表示を終了する。その後、図3の動作が終了する。
 <携帯端末2a側の動作>
 図9は、本実施の形態2に係る携帯端末2a側の動作を示すフローチャートである。なお、この動作は、例えば、携帯通信部22が、図3のステップS1で送信された送信要求を受信した場合に行われる。
 まずステップS21にて、携帯通信部22は、送信要求を送信した自車両1aに、携帯測位部21で検出された携帯端末2aの位置を送信する。
 ステップS22にて、アプリケーション実行部25は、携帯通信部22が車両周辺画像を含む車両送信情報を受信したか否かを判定する。車両送信情報を受信したと判定した場合には処理がステップS23に進み、車両送信情報を受信しなかったと判定した場合には処理がステップS21に戻る。なお、ステップS21の送信が例えば10秒ごとに定期的に行われるように、ステップS21及びステップS22のループ処理は定期的に行われてもよい。
 ステップS23にて、アプリケーション実行部25は、車両送信情報に含まれる車両周辺画像を携帯表示部24に表示させる制御を行う。これにより、図8の携帯表示部24-1のような表示が行われる。
 ステップS24にて、アプリケーション実行部25は、携帯操作部23が車両周辺画像に対する位置決定操作を受け付けたか否かを判定する。本実施の形態2では、位置決定操作は、端末所持者を取り囲む操作、及び、端末所持者を指示する操作などを含む。位置決定操作を受け付けたと判定した場合には処理がステップS25に進み、位置決定操作を受け付けなかったと判定した場合には処理がステップS28に進む。
 ステップS25にて、アプリケーション実行部25は、位置決定操作に基づいて車両周辺画像における端末所持者の位置を決定し、当該端末所持者の位置を含む車両受信情報を生成する。車両受信情報に含まれる端末所持者の位置は、例えば、位置決定操作がドラッグ操作である場合にはドラッグ軌跡の情報であってもよいし、位置決定操作がタッチ操作である場合にはタッチ地点を囲む情報であってもよい。また、例えば、位置決定操作がタッチ操作であり、携帯端末2aが画像から人を認識する画像認識機能を有する場合には、車両受信情報に含まれる端末所持者の位置は、タッチされた人を囲む情報であってもよい。
 ステップS26にて、携帯通信部22は、アプリケーション実行部25で生成された車両受信情報を自車両1aに送信する。
 ステップS27にて、アプリケーション実行部25は、車両受信情報の位置決定操作に基づいて、端末所持者の位置を示す表示オブジェクトを携帯表示部24に表示させる制御を行う。これにより、図8の携帯表示部24-2のような表示が行われる。その後、処理がステップS21に戻る。
 ステップS28にて、アプリケーション実行部25は、携帯操作部23が車両周辺画像に対する位置決定操作を受け付けなかった時間が一定時間以上であるか否かを判定する。一定時間以上であると判定した場合には処理がステップS29に進み、一定時間未満であると判定した場合には処理がステップS21に戻る。これにより、携帯表示部24にて表示オブジェクトがすでに表示され、かつ、位置決定操作を受け付けていない時間が一定時間(例えば5秒)未満である場合には、当該表示オブジェクトの表示が維持される。
 ステップS29にて、アプリケーション実行部25は、端末所持者の位置を示す表示オブジェクトを携帯表示部24の表示から消去する。その後、処理がステップS21に戻る。
 <実施の形態2のまとめ>
 以上のような本実施の形態2に係る合流支援装置11によれば、自車両1aの車両制御部14aは、自車両の1aの位置と、携帯端末2aの位置とに基づいて、自車両1aと携帯端末2aとの相対位置関係を車両表示装置19aに表示させる制御を行う。このような構成によれば、図4~図6のような相対位置関係が表示される。このため、車両内ユーザは、自車両1aと携帯端末2aとが互いに十分近くに位置しているか否か、ひいてはステップS6以降の車両送信情報の送信などを行うことが適切であるか否かを判断することができる。
 また本実施の形態2では、携帯端末2aは、自車両1aから車両送信情報を受信した場合に、当該車両送信情報に含まれる車両周辺画像を携帯表示部24に表示し、車両周辺画像に対する位置決定操作に基づいて車両周辺画像における端末所持者の位置を決定する。このような構成によれば、端末所持者自身が、車両周辺画像における端末所持者の位置を決定することができるので、当該位置を正しく自車両1aに知らせることができる。
 <実施の形態2の変形例1>
 実施の形態2の図3のステップS1では、車両内ユーザからの操作を受け付けた場合に、自車両1aが、携帯端末2aの位置の送信要求を携帯端末2aに送信したが、これに限ったものではない。例えば、図9のステップS21にて、携帯端末2aが携帯端末2aの位置を自車両1aに定期的または不定期に自動的に送信するように構成されている場合には、図3のステップS1の動作は行われなくてもよい。また例えば、図3のステップS1にて、車両内ユーザからの操作の有無に関わらず、自車両1aが、携帯端末2aの位置の送信要求を定期的に携帯端末2aに自動的に送信してもよい。この際、携帯端末2aは、自車両1aから1回の送信要求を受信した場合に、図9のステップS21の携帯端末2aの位置の送信を1回以上行ってもよい。
 <実施の形態2の変形例2>
 実施の形態2の図3のステップS4では、図4~図6に示すように自車両1aと携帯端末2aとの相対位置関係のみが表示されたが、これに限ったものではない。例えば、合流支援装置11が、地物などを含む地図データを使用可能である場合には、図4~図6に加えて地図データも表示してもよい。また、車両表示装置19aの画面の大部分に地図データが表示され、当該画面の一部に図4~図6に示す相対位置関係が表示されてもよい。
 <実施の形態2の変形例3>
 実施の形態2の図3のステップS6以降では、図3のステップS4の自車両1aと携帯端末2aとの相対位置関係(例えば図4~図6)は表示されないことを想定していたが、ステップS6以降においても相対位置関係は表示されてもよい。
 例えば、車両表示装置19aの画面の大部分に図3のステップS9及びステップS10の車両周辺画像が表示され、当該画面の一部に図3のステップS4の相対位置関係が表示されてもよい。
 また、車両表示装置19aが、主表示装置と副表示装置とを含むように構成されている場合には、主表示装置に図3のステップS9及びステップS10の車両周辺画像が表示され、副表示装置に図3のステップS4の相対位置関係が表示されてもよい。なお、副表示装置は、主表示装置よりも小さな表示画面または表示領域を有する表示装置またはHUDであるが、これに限ったものではない。
 <実施の形態2の変形例4>
 実施の形態2の図3のステップS6及びステップS7の車両周辺画像は、ライブ映像などの動画像であってもよいし、1秒ごとに断続的に得られる静止画像であってもよい。また、ステップS7にて、自車両1aは、車両周辺画像として静止画像を含む車両送信情報を、定期的に携帯端末2aに送信してもよいし、車両内ユーザが送信操作を行ったときだけ携帯端末2aに送信してもよい。
 <実施の形態2の変形例5>
 実施の形態2の図3のステップS9及びステップS10の車両周辺画像は、ライブ映像などの動画像であってもよいし、1秒ごとに断続的に得られる静止画像であってもよい。例えば、再度のステップS8にて新たな車両受信情報が受信されるまで、ステップS9及びステップS10での車両周辺画像の静止画像の表示が継続して行われてもよい。また例えば、車両内ユーザから予め定められた操作が行われるまで、当該車両周辺画像の静止画像が継続して表示されてもよい。
 また例えば、車両制御部14aは、予め定められた条件が満たされた場合に、車両周辺画像の静止画像と、当該静止画像に付随して端末所持者の位置を示す第1表示オブジェクト18とを車両表示装置19aに表示させる制御を行ってもよい。そして、車両制御部14aは、予め定められた条件が満たされない場合に、車両周辺画像の静止画像ではなくその動画像と、当該動画像に付随して端末所持者の位置を示す第1表示オブジェクト18とを車両表示装置19aに表示させる制御を行ってもよい。なお、予め定められた条件は、例えば、車両内ユーザから予め定められた操作が行われることであってもよい。
 <実施の形態2の変形例6>
 実施の形態2では、携帯端末2aが送信する車両受信情報は、車両周辺画像における端末所持者の位置だけを含んでいたが、これに限ったものではない。例えば、車両受信情報は、車両周辺画像における端末所持者の位置に加えて、当該車両周辺画像も含んでもよい。そして、車両制御部14aは、当該車両受信情報に含まれる車両周辺画像と、当該車両周辺画像において端末所持者の位置を示す第1表示オブジェクト18とを、車両表示装置19aに表示させる制御を行ってもよい。
 <実施の形態2の変形例7>
 携帯端末2aが、車両周辺画像における端末所持者などの位置を示す音声を受け付けた場合、携帯端末2aは、当該音声をさらに含む車両受信情報を送信してもよい。つまり、携帯端末2aが送信する車両受信情報は、当該音声をさらに含んでもよい。この音声は、例えば、「そこの黒い服を着た人が私です」というような音声である。
 また例えば、車両受信情報に音声が含まれ、かつ、合流支援装置11が音声出力装置(図示せず)を制御可能である場合には、図3のステップS9において、第1表示オブジェクト18の表示だけでなく、車両受信情報に含まれる音声の出力も行われてもよい。
 また例えば、車両受信情報に音声が含まれ、かつ、合流支援装置11が音声を文字に変換可能である場合には、図3のステップS9において、第1表示オブジェクト18の表示だけでなく、車両受信情報に含まれる音声を変換した文字の表示も行われてもよい。
 また例えば、車両受信情報に音声が含まれ、かつ、携帯端末2aが音声を文字に変換可能である場合には、実施の形態2の図9のステップS26で送信される車両受信情報は、携帯端末2aで受け付けた音声を変換した文字をさらに含んでもよい。そして、図3のステップS9において、第1表示オブジェクト18の表示だけでなく、車両受信情報に含まれる文字の表示も行われてもよい。
 <実施の形態2の変形例8>
 実施の形態2の携帯表示部24で表示される表示オブジェクトの表示態様、及び、車両表示装置19aで表示される第1表示オブジェクト18の表示態様は、上記に限ったものではない。以下、これらの表示態様(図形、文字、形状、色、アニメーションの有無)の例について説明する。
 図10の携帯表示部24-3に示すように、本変形例8に係る携帯端末2aは、図9のステップS23において、車両周辺画像とともに、複数の表示オブジェクト26a~26fを含む選択エリア26を表示する。なお、下向き矢印の表示オブジェクト26a,26bの数は、2つだけであるが、これに限ったものではなく、例えば、車両周辺画像内の人の数と同じであってもよい。また、この場合に、下向き矢印の表示オブジェクト内の色及び模様は、車両周辺画像内の人の服装の色及び模様と同じであってもよい。
 本変形例8に係る携帯端末2aは、図9のステップS24の位置決定操作として、例えば、選択エリア26内の表示オブジェクト26aを車両周辺画像に付加するドラッグ操作を受け付けたとする。この場合、ステップS27にて、携帯表示部24は、図10の携帯表示部24-4に示すように、車両周辺画像内に表示オブジェクト26aを表示する。なお、図10の携帯表示部24-4のように、選択エリア26の表示オブジェクトのうち、使用中の表示オブジェクトは、破線または半透過などで表示されてもよい。
 携帯端末2aは、図9のステップS24にて上記ドラッグ操作を受け付けた場合に、携帯表示部24の車両周辺画像に付加された表示オブジェクトの位置を、車両周辺画像における端末所持者の位置として含む車両受信情報を自車両1aに送信する。
 図10の車両表示装置19a-2には、自車両1aがそのような車両受信情報を受信した場合の車両表示装置19aの動作が示されている。この例では、図9のステップS24で、図10の携帯表示部24-4の選択エリア26内の表示オブジェクト26aを付加する操作が行われたことにより、表示オブジェクト26aに対応する第1表示オブジェクト18aが表示されている。また、図9のステップS24で、図10の携帯表示部24-4の選択エリア26内の表示オブジェクト26eを付加する操作が行われたことにより、表示オブジェクト26eに対応する第1表示オブジェクト18bが表示されている。
 以上のように、第1表示オブジェクト18の表示態様が端末所持者によって変更される構成によれば、車両内ユーザは端末所持者を容易に特定することが可能となる。
 なお、これまでの説明では車両周辺画像に端末所持者が写っていたが、実運用上、車両周辺画像に端末所持者が写っていない場合がある。その結果、図11の携帯表示部24-5に示すように、端末所持者が、携帯表示部24に表示される車両周辺画像に写らずに、車両周辺画像の右方などに位置する場合がある。このような場合、図11の携帯表示部24-6に示すように、図9のステップS24の位置決定操作として、車両周辺画像に表示オブジェクト26d,26fを付加する操作が携帯端末2aに行われるとよい。このような操作が行われた場合には、図11の車両表示装置19a-3に示すように、表示オブジェクト26dに対応する第1表示オブジェクト18cと、表示オブジェクト26fに対応する第1表示オブジェクト18dとが車両表示装置19aに表示されることになる。
 このような本変形例8に係る構成によれば、端末所持者が車両周辺画像に写らない場合にも、車両内ユーザは端末所持者をある程度特定することが可能となる。また、携帯端末2aが、自車両1aの車両撮影装置16aの撮影方向を制御することが可能である場合には、図11の車両表示装置19a-3の表示を参考にして、端末所持者は自身が車両周辺画像に写るように上記撮影方向を制御することが可能となる。これについては、実施の形態6の変形例8において詳細に説明する。
 なお、図12の携帯表示部24-7,24-8,24-9の表示が、この順に行われた場合に、これらの表示とほぼリアルタイムで、図13の車両表示装置19a-4,19a-5,19a-6の表示が、この順に行われてもよい。すなわち、携帯端末2aの操作の有無に関わらず、携帯端末2aの携帯表示部24の表示と、自車両1aの車両表示装置19aの表示とが実質的に同じになるミラーリンク制御が行われてもよい。
 なお、ミラーリンク制御が行われている場合に、携帯端末2aが位置決定操作を自車両1aに送信することにより、位置決定操作を示す疑似的な指のアイコンが車両表示装置19aで連動して表示されてもよい。このような構成によれば、車両内ユーザは、位置決定操作が行われていることを知ることができる。
 また、ミラーリンク制御が行われている場合に、自車両1aは、車両表示装置19aで表示されている表示オブジェクトを付加または変更する操作を受け付けてもよい。そして、自車両1aが、当該操作を受け付けた場合に、車両表示装置19aの表示を変更するだけでなく、自車両1aと携帯端末2aとの間で通信を行うことにより、携帯表示部24の表示も変更してもよい。またこの際に、車両表示装置19aは、図10の選択エリア26と同様のエリアを表示してもよい。
 <実施の形態2の変形例9>
 実施の形態2では、車両表示装置19aは、表示画面に表示オブジェクトなどの各種情報を表示する表示装置であったが、これに限ったものではない。例えば、図14に示すように、車両表示装置19aは、自車両1aのフロントガラス16gに表示オブジェクトを表示するHUDであってもよい。また、車両表示装置19aは、自車両1aのフロントガラス16gに重ねて表示オブジェクトを表示する自車両1aの窓用の透過型の液晶表示装置であってもよい。
 このような車両表示装置19aによれば、図14に示すように、自車両1a外部の風景に付随する第1表示オブジェクト18を表示することができる。なお、図15は、本変形例9の別例として、実施の形態2の変形例3と同様の表示を行った状態を示す図である。
 また本変形例9において、合流支援装置11は、運転者の眼の位置を検出する検出部を備え、当該眼の位置に基づいて表示オブジェクトの位置を調整するように構成されてもよい。このような構成によれば、表示オブジェクトを適切な位置に表示することができる。
 <実施の形態2の変形例10>
 実施の形態2では、自車両1aが送信する車両送信情報は、車両周辺画像だけを含んでいたが、これに限ったものではない。例えば、車両送信情報は、携帯端末2aの携帯表示部24(第2表示装置)での表示に用いられる、自車両1aの動的情報及び静的情報の少なくともいずれか1つをさらに含でもよい。
 動的情報は、例えば、自車両1aの位置、走行、速度、走行停止中か否かの状態、制御状態(自車両1aのヘッドランプ、ハザード、ウィンカーなどの点灯状態、自動運転の状態)、及び、撮影方向などを含む。例えば、車両送信情報が、動的情報として、自車両1aの位置を含む場合には、端末所持者は、自車両1aと自身との位置関係を知ることができるので、自車両1aに車両周辺画像の送信要求を適切に行うことができる。また例えば、車両送信情報が、動的情報として、自車両1aが走行停止中か否かの情報を含む場合には、端末所持者は、自車両1aが走行停止していることを確認して車両周辺画像の送信要求を行うことができる。このような構成によれば、端末所持者は、自車両1aが走行停止している間に撮影されたことによって画像ブレが低減された車両周辺画像を見ることができる。
 静的情報は、例えば、自車両1aの属性、プロファイル(外観)、特定の文字、記号、画像、アバター、及び、ドライバプロファイルなどを含む。例えば、車両送信情報が、静的情報として、自車両1aのプロファイル(外観)を含む場合には、端末所持者は、自車両1aの外観を知ることができるので、自車両1aを容易に特定することができる。
 <実施の形態2の変形例11>
 実施の形態2では、携帯端末2aが送信する車両受信情報は、車両周辺画像における端末所持者の位置だけを含んでいたが、これに限ったものではない。例えば、車両受信情報は、車両表示装置19aでの表示に用いられる、端末所持者及び携帯端末2aの動的情報及び静的情報の少なくともいずれか1つをさらに含んでもよい。
 動的情報は、例えば、端末所持者及び携帯端末2aの位置、速度、及び、移動停止中か否かの状態、並びに、携帯端末2aの制御状態、及び、撮影方向などを含む。静的情報は、例えば、端末所持者の属性、プロファイル(外観、年齢、背格好、服装)、特定の文字、記号、アバターなどを含む。例えば、車両受信情報が、静的情報として、端末所持者のプロファイル(外観)を含む場合には、車両内ユーザは、端末所持者の外観を知ることができるので、端末所持者を容易に特定することができる。
 <実施の形態2の変形例12>
 実施の形態2では、図3のステップS5にて、自車両1aは、車両送信情報の送信操作を車両内ユーザから受け付けた場合に、ステップS6の車両送信情報の送信、ひいてはそれ以降のステップの動作を行ったが、これに限ったものではない。自車両1aは、予め定められた条件が満たされた場合に、車両送信情報を携帯端末2aに送信する制御を行えばよい。
 図16は、本変形例12に係る自車両1a側の動作を示すフローチャートである。この図16の動作は、図3のフローチャートにおいてステップS5を削除し、ステップS31をステップS3とステップS4との間に追加した動作と同様である。このため、以下ではステップS31について主に説明する。
 ステップS3後のステップS31にて、車両制御部14aは、予め定められた条件が満たされたか否かを判定する。本変形例12では、予め定められた条件には、ステップS3で検出された自車両1aの位置と、ステップS2で受信された携帯端末2aの位置とについての条件が用いられる。この条件には、例えば、ステップS3で検出された自車両1aと、ステップS2で受信された携帯端末2aとの間の距離が予め定められた閾値(例えば50m)以下になるという条件などが含まれる。
 予め定められた条件が満たされた場合(例えば自車両1aと携帯端末2aとの間の距離が閾値以下になった場合)には処理がステップS4を経てステップS5の処理が行われ、自車両1aは、車両送信情報を携帯端末2aに送信する制御を行う。一方、予め定められた条件が満たされなかった場合(例えば自車両1aと携帯端末2aとの間の距離が閾値よりも大きい場合)には処理がステップS2に戻る。
 以上のような本変形例12に係る構成によれば、予め定められた条件が満たされた場合に、自車両1aは車両送信情報を携帯端末2aに自動的に送信する。このため、適切な場合に、自車両1aは車両送信情報を携帯端末2aに送信することができる。
 なお、予め定められた条件は上記に限ったものではない。例えば、予め定められた条件は、車両内ユーザが、自車両1a外部の実際の風景から端末所持者を視認可能であるという条件であってもよい。ここで、車両制御部14aは、図示しない3D地図データに基づいて、建物と車両内ユーザとの位置関係を判定することによって、車両内ユーザが、自車両1a外部の実際の風景から端末所持者を視認可能であるか否かを判定すればよい。
 また例えば、予め定められた条件は、自車両1aの移動情報について条件であってもよい。自車両1aの移動情報は、例えば、自車両1aの位置、走行停止中か否かの状態、及び、自動運転の状態などを含む。以下、移動情報のいくつかの組み合わせが用いられる場合を説明するが、他の組み合わせが用いられてもよい。
 例えば、移動情報が、自車両1aの走行停止中か否かの状態を含む構成について説明する。この構成において、車両制御部14aは、移動情報に基づいて自車両1aが走行停止していると判定した場合に、予め定められた条件が満たされたと判定してもよい。
 例えば、移動情報が、自車両1aの位置、及び、走行停止中か否かの状態を含む構成について説明する。この構成において、車両制御部14aは、移動情報に基づいて自車両1aが携帯端末2aから閾値以下の距離に位置し、かつ、自車両1aが走行停止していると判定した場合に、予め定められた条件が満たされたと判定してもよい。
 例えば、移動情報が、自車両1aの位置、及び、自動運転の状態を含む構成について説明する。この構成において、車両制御部14aは、移動情報に基づいて自車両1aが携帯端末2aから閾値以下の距離に位置し、かつ、自車両1aが自動運転中であると判定した場合に、予め定められた条件が満たされたと判定してもよい。
 <実施の形態2の変形例13>
 実施の形態2の変形例12では、車両通信装置16dは、予め定められた条件が満たされた場合に、車両送信情報を自車両1aが携帯端末2aに送信する制御を行ったが、これに限ったものではない。例えば、その変形例12の図16のステップS31にて、車両通信装置16dは、車両送信情報の送信操作を受け付けること以外の予め定められた条件が満たされた場合に、特定の条件が満たされたことを車両表示装置19aに表示してもよい。そして、その表示後に、自車両1aが車両送信情報の送信操作を車両内ユーザから受け付けた場合に、車両制御部14aは、予め定められた条件が満たされたと判定して、ステップS6の車両送信情報の送信、ひいてはそれ以降のステップの動作を行ってもよい。
 <実施の形態2の変形例14>
 実施の形態2において、自車両1a及び携帯端末2aは、自車両1a及び携帯端末2aの合流地点を共有してもよい。合流地点は、自車両1a及び携帯端末2aで求められてもよいし、後述する合流支援サーバで求められてもよい。
 また、実施の形態2の図3のステップS1にて、自車両1aの位置と、合流地点とについての条件が満たされた場合に、自車両1aは、携帯端末2aの位置の送信要求を携帯端末2aに送信してもよい。自車両1aの位置と、合流地点とについての条件は、例えば、自車両1aと合流地点との間の距離が予め定められた閾値(例えば1km)以下になるという条件であってもよいし、自車両1aの合流地点への到着予定時間が予め定められた時間(例えば20分)以下になるという条件であってもよい。
 また、実施の形態2の図3のステップS5にて、自車両1aの位置と、合流地点とについての条件が満たされた場合に、ステップS6の車両送信情報の送信、ひいてはそれ以降のステップの動作を行ってもよい。
 なお、自車両1aの位置と、合流地点とについての条件の代わりに、携帯端末2aの位置と、合流地点とについての条件が用いられてもよい。つまり、実施の形態2の図3のステップS5にて、携帯端末2aの位置と、合流地点とについての条件が満たされた場合に、ステップS6の車両送信情報の送信、ひいてはそれ以降のステップの動作を行ってもよい。携帯端末2aの位置と、合流地点とについての条件は、例えば、携帯端末2aと合流地点との間の距離が予め定められた閾値(例えば500m)以下になるという条件であってもよいし、携帯端末2aの合流地点への到着予定時間が予め定められた時間(例えば20分)以下になるという条件であってもよい。
 また、ステップS4の表示(図4~図6の表示)に、合流地点を示す表示オブジェクトが表示されてもよい。
 <実施の形態2の変形例15>
 実施の形態2では、第2移動体2は、端末所持者及び携帯端末2aであったが、自車両1aとは別の他車両であってもよい。第2移動体2が他車両である場合、当該他車両は、図2の自車両1a側の構成のうち、映像入力部12a及び車両撮影装置16aを省いた構成と同様の構成を備えるとともに、図9の動作に準じる動作を行えばよい。
 <実施の形態2の変形例16>
 実施の形態2の図9のステップS24及びステップS25では、携帯端末2aは、車両周辺画像に対する位置決定操作に基づいて車両周辺画像における端末所持者の位置を決定したが、これに限ったものではない。例えば、携帯端末2aは、車両送信情報を自車両1aから受信した場合に、当該車両送信情報に含まれる車両周辺画像に画像認識を行い、当該画像認識の結果に基づいて、車両周辺画像における端末所持者の位置を自動的に決定してもよい。なお、当該画像認識としては、例えば、予め記憶された端末所持者の顔画像を、車両周辺画像から検出する画像認識が行われればよい。このような構成によれば、端末所持者が位置決定操作を行う手間を省くことができる。
 <実施の形態3>
 図17は、本発明の実施の形態3に係る合流支援装置11の構成を示すブロック図である。以下、本実施の形態3に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じまたは類似する参照符号を付し、異なる構成要素について主に説明する。
 実施の形態2では、合流支援装置11が自車両1aに搭載されていたが、本実施の形態3では、表示制御装置11aが自車両1aに搭載され、合流支援装置は携帯端末2aである。つまり、実施の形態2では、第1移動体1は自車両1aであり、第2移動体2は携帯端末2aであったが、本実施の形態3では、第1移動体1は携帯端末2aであり、第2移動体2は自車両1aである。
 なお、図17の携帯撮影部27及び携帯測位部21は、図1の第1取得部12の概念に含まれ、図17の携帯通信部22及びアプリケーション実行部25は、図1の第1通信制御部13及び第1制御部14の概念にそれぞれ含まれる。
 本実施の形態3に係る自車両1a側の表示制御装置11aは、実施の形態2で説明した自車両1a側の構成要素のうち車両撮影装置16aと接続されていない。また、表示制御装置11aの構成は、実施の形態2で説明した自車両1a側の構成から映像入力部12aが除去された構成と同様である。
 本実施の形態3に係る合流支援装置である携帯端末2aの構成は、実施の形態2で説明した携帯端末2a側の構成に、携帯撮影部27を加えた構成と同様である。携帯撮影部27は、携帯端末2a外部の第1画像撮影する。以下、携帯端末2a外部の第1画像を「端末周辺画像」と記し、端末周辺画像を含む第1送信情報を「端末送信情報」と記し、端末周辺画像における自車両1aの位置を含む第1受信情報を「端末受信情報」と記して説明する。
 また、本実施の形態3の携帯撮影部27、携帯測位部21、携帯通信部22、アプリケーション実行部25は、実施の形態2の映像入力部12a、車両測位部12b、車両通信制御部13a、車両制御部14aとそれぞれ同様の動作を行う。
 <動作>
 以下、携帯端末2a側(合流支援装置11側)の動作と、自車両1a側(表示制御装置11a側)の動作とについて説明する。なお、以下の動作においては、携帯端末2aでは、すでに合流支援アプリケーションが起動されているものとする。そして、既に自車両1a及び端末所持者は、予め定められた手順によって合流する相手として互いに決定されており、双方が相手側を認識して相互通信が可能な状態となっているものとする。
 <携帯端末2a側の動作>
 図18は、本実施の形態3に係る携帯端末2a側の動作を示すフローチャートである。図18の携帯端末2a側の動作は、実施の形態2の図3の自車両1a側の動作とほぼ同じである。
 まずステップS41にて、携帯操作部23が、端末所持者からの操作を受け付けると、携帯通信部22は、自車両1aの位置の送信要求を自車両1aに送信する。後述するように、自車両1aの表示制御装置11aは、送信要求を車両通信装置16dで受けると、車両測位部12bで検出された自車両1aの位置を車両通信装置16dから携帯端末2aに送信する。
 ステップS42にて、携帯通信部22は、自車両1aの位置を車両通信装置16dから受信する。
 ステップS43にて、携帯測位部21は、携帯端末2aの位置を検出する。
 ステップS44にて、アプリケーション実行部25は、携帯測位部21で検出された携帯端末2aの位置と、携帯通信部22で受信された自車両1aの位置とに基づいて、自車両1aと携帯端末2aとの相対位置関係を携帯表示部24に表示させる制御を行う。これにより、図4~図6と同様の表示が行われる。なお、携帯表示部24に表示される円スケールの間隔は、実施の形態2で表示された円スケールの間隔よりも短くてもよい。
 ステップS45にて、アプリケーション実行部25は、端末周辺画像を含む端末送信情報を送信するか否かを判定する。本実施の形態3では、携帯操作部23が端末送信情報の送信操作を端末所持者から受け付けた場合に、端末送信情報を送信すると判定して処理がステップS46に進む。一方、携帯操作部23が端末送信情報の送信操作を端末所持者から受け付けなかった場合に、端末送信情報を送信しないと判定して処理がステップS42に戻る。
 ステップS45からステップS46に進んだ場合、携帯撮影部27は、端末周辺画像を撮影して取得する。図19に、端末周辺画像の一例を示す。図19に示すように、端末周辺画像に多くの車両が写っている場合には、端末所持者は、どの車両が、自身と合流すべき自車両1aであるかを特定することが困難となっている。
 ステップS47にて、携帯通信部22の送信制御が行われる。これにより、携帯通信部22は、端末周辺画像を含む端末送信情報を自車両1aに送信する。
 自車両1aの動作の詳細については後述するが、自車両1aは、端末送信情報を受信すると、当該端末送信情報に含まれる端末周辺画像を車両表示装置19a(図20の車両表示装置19a-7)に表示する。
 自車両1aの表示制御装置11aは、表示中の端末周辺画像に対する位置決定操作を、車両内ユーザから受け付けた場合に、当該位置決定操作に基づいて端末周辺画像における自車両1aの位置を決定する。そして、表示制御装置11aは、決定された自車両1aの位置を含む端末受信情報を車両通信装置16dから送信するとともに、車両表示装置19a(図20の車両表示装置19a-8)に表示する。図20の動作では、端末周辺画像のうち、タッチ操作によって自車両1aの位置が決定され、当該位置を示す矢印の表示オブジェクトが、車両表示装置19aで表示されている例が示されている。
 図18のステップS47の後、ステップS48にて、アプリケーション実行部25は、携帯通信部22の受信制御が行われたか否かを判定する。つまり、アプリケーション実行部25は、携帯通信部22が、端末周辺画像における自車両1aの位置を含む端末受信情報を車両通信装置16dから受信したか否かを判定する。端末受信情報を受信したと判定した場合には処理がステップS49に進み、端末受信情報を受信しなかったと判定した場合には処理がステップS50に進む。
 ステップS49にて、アプリケーション実行部25は、端末受信情報に基づいて、携帯表示部24で表示される端末周辺画像に付随して自車両1aの位置を示す第1表示オブジェクトを、携帯表示部24に表示させる制御を行う。このときの動作が、図20の携帯表示部24-10に示されており、自車両1aの位置を示す矢印の第1表示オブジェクト18が示されている。その後、処理がステップS51に進む。
 ステップS50にて、アプリケーション実行部25は、端末周辺画像を携帯表示部24に表示させる制御を行う。その後、処理がステップS51に進む。
 ステップS51にて、アプリケーション実行部25は、端末送信情報の送信を終了するか否かを判定する。本実施の形態3では、携帯操作部23が端末送信情報の送信終了操作を端末所持者から受け付けた場合には、端末送信情報の送信を終了すると判定して処理がステップS52に進む。一方、携帯操作部23が端末送信情報の送信終了操作を端末所持者から受け付けなかった場合には、端末送信情報の送信を終了しないと判定して処理がステップS46に戻る。
 ステップS52にて、アプリケーション実行部25は、端末送信情報の送信を終了するとともに、携帯表示部24における端末周辺画像の表示を終了する。その後、図18の動作が終了する。
 <自車両1a側の動作>
 図21は、本実施の形態3に係る自車両1a側の動作を示すフローチャートである。図21の自車両1a側の動作は、実施の形態3の図9の携帯端末2a側の動作とほぼ同じである。なお、この動作は、例えば、車両通信装置16dが、図18のステップS41で送信された送信要求を受信した場合に行われる。
 まずステップS61にて、車両通信装置16dは、送信要求を送信した携帯端末2aに、車両測位部12bで検出された自車両1aの位置を送信する。
 ステップS62にて、車両制御部14aは、車両通信装置16dが端末周辺画像を含む端末送信情報を受信したか否かを判定する。端末送信情報を受信したと判定した場合には処理がステップS63に進み、端末送信情報を受信しなかったと判定した場合には処理がステップS61に戻る。
 ステップS63にて、車両制御部14aは、端末送信情報に含まれる端末周辺画像を車両表示装置19aに表示させる制御を行う。これにより、図20の車両表示装置19a-7のような表示が行われる。
 ステップS64にて、車両制御部14aは、車両操作装置16cが端末周辺画像に対する位置決定操作を受け付けたか否かを判定する。位置決定操作を受け付けたと判定した場合には処理がステップS65に進み、位置決定操作を受け付けなかったと判定した場合には処理がステップS68に進む。
 ステップS65にて、車両制御部14aは、位置決定操作に基づいて端末周辺画像における自車両1aの位置を決定し、当該自車両1aの位置を含む端末受信情報を生成する。
 ステップS66にて、車両通信装置16dは、車両制御部14aで生成された端末受信情報を携帯端末2aに送信する。
 ステップS67にて、車両制御部14aは、端末受信情報の位置決定操作に基づいて、自車両1aの位置を示す表示オブジェクトを車両表示装置19aに表示させる制御を行う。これにより、図20の車両表示装置19a-8のような表示が行われる。その後、処理がステップS61に戻る。
 ステップS68にて、車両制御部14aは、車両操作装置16cが端末周辺画像に対する位置決定操作を受け付けなかった時間が一定時間以上であるか否かを判定する。一定時間以上であると判定した場合には処理がステップS69に進み、一定時間未満であると判定した場合には処理がステップS61に戻る。これにより、車両表示装置19aにて表示オブジェクトがすでに表示され、かつ、位置決定操作を受け付けていない時間が一定時間(例えば5秒)未満である場合には、当該表示オブジェクトの表示が維持される。
 ステップS69にて、車両制御部14aは、自車両1aの位置を示す表示オブジェクトを車両表示装置19aの表示から消去する。その後、処理がステップS61に戻る。
 <実施の形態3のまとめ>
 以上のような本実施の形態3に係る合流支援装置11によれば、端末周辺画像に付随して自車両1aの位置を示す第1表示オブジェクト18が表示される。このような構成によれば、端末所持者が見ることができる画像に対して自車両1aの位置が示されるので、端末所持者は、自車両1aを容易に特定することができる。つまり、自車両1aを容易に特定可能な適切な表示を携帯端末2aにおいて行うことができる。
 <実施の形態3の変形例>
 実施の形態3では、第2移動体2は、自車両1aであったが、携帯端末2aとは別の携帯端末であってもよい。第2移動体2が別の携帯端末である場合、当該別の携帯端末は、図2の携帯端末2aと同様の構成を備えるとともに、図21の動作に準じる動作を行えばよい。
 <実施の形態4>
 図22は、本発明の実施の形態4に係る合流支援装置の構成を示すブロック図である。以下、本実施の形態4に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じまたは類似する参照符号を付し、異なる構成要素について主に説明する。
 本実施の形態4に係る合流支援装置は、実質的に合流支援システムに相当し、実施の形態2で説明した自車両1a側の合流支援装置11(以下「自車両支援装置11b」と記す)と、実施の形態3で説明した携帯端末2a側の合流支援装置11(以下「端末支援装置11c」と記す)とを備える。なお、自車両支援装置11b、及び、端末支援装置11cのそれぞれは、図1の第1取得部12、第1通信制御部13及び第1制御部14の概念に含まれる構成要素を備えていた。
 自車両支援装置11b及び端末支援装置11cのいずれか一方の第1取得部、第1通信制御部、第1制御部、第1画像、第1送信情報、第1受信情報、及び、第1表示オブジェクトは、第2取得部、第2通信制御部、第2制御部、第2画像、第2送信情報、第2受信情報、及び、第2表示オブジェクトと読み替えられる。以下では、端末支援装置11cの第1取得部、第1通信制御部、第1制御部、第1画像、第1送信情報、第1受信情報、及び、第1表示オブジェクトを、第2取得部、第2通信制御部、第2制御部、第2画像、第2送信情報、第2受信情報、及び、第2表示オブジェクトと読み替えて説明する。
 また、自車両支援装置11bは、実施の形態2で説明した合流支援装置11と同様の動作を行うだけでなく、実施の形態3で説明した表示制御装置11aと同様の動作も行う。そして、端末支援装置11cは、実施の形態3で説明した合流支援装置11と同様の動作を行うだけでなく、実施の形態2で説明した携帯端末2aと同様の動作も行う。
 そして、本実施の形態4では、実施の形態2で説明した図3及び図9の動作と、実施の形態3で説明した図18及び図21の動作とが独立的に行われる。図23及び図24は、本実施の形態4に係る自車両支援装置11b及び端末支援装置11cの動作を示す図である。
 図23の携帯表示部24-11に示すように、携帯表示部24の上側には車両周辺画像が表示され、携帯表示部24の下側には端末周辺画像が表示される。同様に、図24の車両表示装置19a-10に示すように、車両表示装置19aの右側には車両周辺画像が表示され、車両表示装置19aの左側には端末周辺画像が表示される。
 図23の携帯表示部24-12に示すように、携帯表示部24の車両周辺画像に対する位置決定操作が行われた場合、携帯表示部24に表示オブジェクトが表示される。また、この場合には、自車両1aと携帯端末2aとの間で通信が行われることにより、図23の車両表示装置19a-9に示すように、車両表示装置19aの車両周辺画像に第1表示オブジェクト18が表示されることになる。
 図24の車両表示装置19a-11に示すように、車両表示装置19aの端末周辺画像に対する位置決定操作が行われた場合、車両表示装置19aに表示オブジェクトが表示される。また、この場合には、自車両1aと携帯端末2aとの間で通信が行われることにより、図24の携帯表示部24-13に示すように、携帯表示部24の端末周辺画像に第2表示オブジェクト28が表示されることになる。
 なお、携帯表示部24の車両周辺画像に対する位置決定操作、及び、車両表示装置19aの端末周辺画像に対する位置決定操作がほぼ同時に行われた場合には、第1表示オブジェクト18及び第2表示オブジェクト28がほぼ同時に表示される。
 <実施の形態4のまとめ>
 以上のような本実施の形態4に係る合流支援装置(自車両支援装置11b及び端末支援装置11c)によれば、車両表示装置19aにて第1表示オブジェクト18が表示され、携帯表示部24にて第2表示オブジェクト28が表示される。このような構成によれば、車両内ユーザは、端末所持者を容易に特定することができ、端末所持者は、自車両1aを容易に特定することができる。
 <実施の形態4の変形例1>
 実施の形態4では、車両周辺画像及び端末周辺画像がいずれも、車両表示装置19a及び携帯表示部24で表示されたが、これに限ったものではない。例えば、自車両支援装置11b及び端末支援装置11cが、互いに通信を行うことによって、車両周辺画像及び端末周辺画像の一方を決定し、決定された一方だけが車両表示装置19a及び携帯表示部24で表示されてもよい。
 また例えば、車両周辺画像が、端末周辺画像よりも早く送信された場合には、車両周辺画像だけが車両表示装置19a及び携帯表示部24で表示されてもよい。そして、端末周辺画像が、車両周辺画像よりも早く送信された場合には、端末周辺画像だけが車両表示装置19a及び携帯表示部24で表示されてもよい。
 <実施の形態4の変形例2>
 実施の形態4では、車両周辺画像及び端末周辺画像がいずれも、車両表示装置19a及び携帯表示部24の一定範囲に表示されたが、これに限ったものではない。例えば、車両周辺画像が、端末周辺画像よりも早く送信された場合には、車両周辺画像が端末周辺画像よりも大きな範囲に表示されてもよい。そして、端末周辺画像が、車両周辺画像よりも早く送信された場合には、端末周辺画像が車両周辺画像よりも大きな範囲に表示されてもよい。
 また例えば、車両表示装置19a及び携帯表示部24の、車両周辺画像及び端末周辺画像が表示される範囲は、車両内ユーザ及び端末所持者の操作によってそれぞれ変更されてもよい。
 <実施の形態5>
 図25は、本発明の実施の形態5に係る合流支援装置の構成を示すブロック図である。以下、本実施の形態5に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じまたは類似する参照符号を付し、異なる構成要素について主に説明する。
 本実施の形態5に係る合流支援装置は、実質的に合流支援システムに相当し、実施の形態2で説明した構成に、合流支援サーバである配車予約サーバ41が追加された構成と同様である。
 配車予約サーバ41は、自車両1a及び携帯端末2aと通信可能であり、自車両1aからの情報と、端末所持者及び携帯端末2aからの情報とに基づいて、自車両1aと、端末所持者及び携帯端末2aとの合流を支援する。
 <動作>
 図26は、配車予約サーバ41の動作を示すフローチャートである。
 まずステップS71にて、配車予約サーバ41は、携帯端末2aから配車要求を受信する。配車要求には、端末所持者が希望する合流地点が含まれる。なお、配車要求には、端末所持者が希望する車種がさらに含まれていてもよい。
 ステップS72にて、配車予約サーバ41は、配車要求に基づいて、予め登録された配車候補に、合流地点を含む配車要求を送信する。
 ステップS73にて、配車予約サーバ41は、配車候補から配車可否の応答を受信する。
 ステップS74にて、配車予約サーバ41は、配車可否の応答が配車可であった配車候補を示す配車可能情報を携帯端末2aに送信する。なお、配車可能情報は、例えば、配車可否の応答が配車可であった配車候補のプロファイルや到着予定時間リストを含む。
 ステップS75にて、配車予約サーバ41は、配車候補のうち携帯端末2aで選択された車両を示す車両選択情報と、端末所持者のプロファイルとを、携帯端末2aから受信する。
 ステップS76にて、配車予約サーバ41は、車両選択情報が示す車両を、これまで説明した自車両1aとして決定し、契約が成立した旨と、合流地点と、端末所持者のプロファイルとを自車両1aに送信する。また、配車予約サーバ41は、契約が成立した旨と、合流地点とを携帯端末2aに送信する。
 <実施の形態5のまとめ>
 以上のような本実施の形態5に係る合流支援装置によれば、自車両1aとなる車両の配車予約を行うので、端末所持者が合流可能な自車両1aを決定することができる。
 <実施の形態5の変形例1>
 実施の形態5では、実施の形態2の構成に配車予約サーバが追加されたが、実施の形態3の構成、または、実施の形態4の構成に配車予約サーバが追加されてもよい。
 <実施の形態5の変形例2>
 実施の形態5では、配車予約サーバ41は、ステップS71にて合流地点を含む配車要求を受信し、ステップS72にて当該配車要求を配車候補に送信したが、これに限ったものではない。例えば、配車予約サーバ41は、ステップS71にて携帯端末2aの位置を含む配車要求を受信した場合には、ステップS72にてこの配車要求を配車候補に送信してもよい。そして、配車予約サーバ41は、受信した配車候補の位置及び携帯端末2aの位置に基づいて合流地点を求めてもよい。
 また、配車予約サーバ41は、予め定められた条件が満たされた場合に、配車候補及び携帯端末2aの一方に他方の位置を送信してもよい。同様に、配車予約サーバ41は、予め定められた条件が満たされた場合に、図3のステップS7の車両周辺画像を含む車両送信情報、及び、図18のステップS47の端末周辺画像を含む端末送信情報などの送信を行ってもよい。なお、ここでいう予め定められた条件には、例えば、待ち合わせ時刻、車両位置、携帯端末位置、合流地点についての条件が用いられる。
 また実施の形態5の図26の動作では、携帯端末2aが配車要求を配車予約サーバ41に送信することを起点として、携帯端末2aの端末所持者と合流すべき自車両1aが決定されたが、これに限ったものではない。例えば、図26の動作において、携帯端末2aと自車両1aとを入れ替えた動作が行われてもよい。つまり、自車両1aが端末所持者の割当要求を配車予約サーバ41に送信することを起点として、自車両1aと合流すべき端末所持者が決定されてもよい。
 <実施の形態6>
 図27は、本発明の実施の形態6に係る合流支援装置の構成を示すブロック図である。以下、本実施の形態6に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じまたは類似する参照符号を付し、異なる構成要素について主に説明する。
 本実施の形態6に係る合流支援装置11の1以上の撮影装置(前方撮影装置16a1、右後側方撮影装置16a2、左後側方撮影装置16a3及び後方撮影装置16a4)は、実施の形態2に係る合流支援装置(図2)の車両撮影装置16aに対応している。また、本実施の形態6に係る合流支援装置11の汎用表示装置19a1及び電子ミラー用表示装置19aeは、実施の形態2に係る合流支援装置(図2)の車両表示装置19aに対応している。
 図28は、前方撮影装置16a1~後方撮影装置16a4の撮影領域を示す図である。前方撮影装置16a1は、撮影領域a1内の画像である前方画像を撮影する。右後側方撮影装置16a2は、撮影領域a2内の画像である右後側方画像を撮影する。左後側方撮影装置16a3は、撮影領域a3内の画像である左後側方画像を撮影する。後方撮影装置16a4は、撮影領域a4内の画像である後方画像を撮影する。なお、右後側方撮影装置16a2は、通常の右ドアミラーと同様の位置に配設されており、左後側方撮影装置16a3は、通常の左ドアミラーと同様の位置に配設されている。
 以下、前方画像、右後側方画像、左後側方画像及び後方画像などの、撮影方向が異なる複数の撮影装置でそれぞれ撮影された画像を、まとめて「複数方向画像」と記して説明することもある。本実施の形態6では、複数方向画像は、上述した車両周辺画像として用いられる。
 図29は、自車両1a室内における汎用表示装置19a1及び電子ミラー用表示装置19aeの配設例を示す図である。図27の電子ミラー用表示装置19aeは、図29の右後側方表示装置19a2と、左後側方表示装置19a3と、後方表示装置19a4とを含む。
 汎用表示装置19a1は、インストルメントパネル16hの中央に配設されており、前方撮影装置16a1の前方画像を表示する。右後側方表示装置19a2は、インストルメントパネル16hの右側に配設されており、右後側方撮影装置16a2の右後側方画像を左右反転させて表示する。左後側方表示装置19a3は、インストルメントパネル16hの左側に配設されており、左後側方撮影装置16a3の左後側方画像を左右反転させて表示する。以上の構成では、右後側方表示装置19a2及び左後側方表示装置19a3は、通常のドアミラーに写る像と同様の画像を表示するため、いわゆる電子ミラーの機能が実現されている。後方表示装置19a4は、自車両1aの通常のルームミラーと同様の位置に配設されており、後方撮影装置16a4の後方画像を左右反転させて表示する。以上の構成では、後方表示装置19a4は、通常のルームミラーに写る像と同様の画像を表示するため、いわゆる電子ミラーの機能が実現されている。
 なお、図29は、複数の表示装置の配設の一例を示す図であり、複数の表示装置の配設はこれに限ったものではない。例えば、複数の表示装置の代わりに、1つの横長の表示装置が配設されてもよい。
 <動作>
 図30は、本実施の形態6に係る自車両1a側の動作を示すフローチャートである。この図30の動作は、図3のフローチャートにおいてステップS6~ステップS10をステップS81~ステップS85に置き換えた動作と同様である。このため、以下ではステップS81~S85について主に説明する。また、本実施の形態6に係る携帯端末2a側の動作は、図9の動作とほぼ同じであるため、その詳細な説明は省略する。
 ステップS5からステップS81に進んだ場合、前方撮影装置16a1~後方撮影装置16a4は、複数方向画像を撮影し、映像入力部12aは、車両撮影装置16aで撮影された複数方向画像を取得する。
 ステップS82にて、車両通信制御部13aの送信制御が行われる。つまり、車両通信装置16dが、複数方向画像(車両周辺画像)を含む車両送信情報を携帯端末2aに送信する。
 携帯端末2aは、車両送信情報を受信すると、当該車両送信情報に含まれる複数方向画像を携帯表示部24に表示する。携帯端末2aは、表示中の複数方向画像に対する位置決定操作を、端末所持者から受け付けた場合に、当該位置決定操作に基づいて複数方向画像のいずれか1つの画像における端末所持者の位置を決定する。携帯端末2aは、決定された端末所持者の位置を含む車両受信情報を携帯通信部22から送信するとともに、携帯表示部24に表示する。
 なお以下では、複数方向画像のうち、端末所持者の位置が決定された画像を「位置決定画像」と記して説明することもある。
 ステップS83にて、車両制御部14aは、車両通信制御部13aの受信制御が行われたか否かを判定する。つまり車両制御部14aは、車両通信装置16dが、位置決定画像(車両周辺画像)における端末所持者の位置を含む車両受信情報を携帯端末2aから受信したか否かを判定する。車両受信情報を受信したと判定した場合には処理がステップS84に進み、車両受信情報を受信しなかったと判定した場合には処理がステップS85に進む。
 ステップS84にて、車両制御部14aは、車両受信情報に基づいて、位置決定画像に付随して端末所持者の位置を示す第1表示オブジェクトを、汎用表示装置19a1及び電子ミラー用表示装置19aeのいずれか1つに表示させる制御を行う。また、車両制御部14aは、位置決定画像以外の複数方向画像を、汎用表示装置19a1及び電子ミラー用表示装置19aeの残りに表示させる制御を行う。その後、処理がステップS11に進む。
 ステップS85にて、車両制御部14aは、複数方向画像を汎用表示装置19a1及び電子ミラー用表示装置19aeに表示させる制御を行う。なお、このときに表示される複数方向画像は、ステップS82で送信された複数方向画像と同一であってもよいし、その後に撮影された複数方向画像であってもよい。その後、処理がステップS11に進む。
 <実施の形態6のまとめ>
 以上のような本実施の形態6に係る合流支援装置11によれば、複数方向で撮影された画像を車両周辺画像として用いる。このような構成によれば、端末所持者が車両周辺画像に写らない可能性を低減することができる。
 <実施の形態6の変形例1>
 実施の形態6では、汎用表示装置19a1及び電子ミラー用表示装置19aeは、表示画面に表示オブジェクトなどの各種情報を表示する表示装置であったが、これに限ったものではない。例えば、実施の形態2の変形例9のように、汎用表示装置19a1及び電子ミラー用表示装置19aeは、HUDであってもよいし、自車両1aの窓用の透過型の液晶表示装置であってもよい。そして、自車両1aの前方のフロントガラスだけでなく、自車両1aの右方、左方及び後方のガラスに第1表示オブジェクトなどの表示オブジェクトを表示してもよい。
 また本変形例1において、合流支援装置11は、運転者の眼の位置を検出する検出部を備え、当該眼の位置に基づいて表示オブジェクトの位置を調整するように構成されてもよい。このような構成によれば、表示オブジェクトを適切な位置に表示することができる。
 <実施の形態6の変形例2>
 実施の形態6の図30のステップS82では、複数方向画像の全てが携帯端末2aに送信されたがこれに限ったものではない。例えば、前方画像、右後側方画像、左後側方画像及び後方画像のうちのいずれかの画像が、自車両1a側において手動または自動で選択され、選択された画像が携帯端末2aに送信されてもよい。
 自動で選択する構成の例について説明する。車両制御部14aは、ステップS2で受信された携帯端末2aの位置と、ステップS3で検出された自車両1aの位置に基づいて、自車両1aから携帯端末2aが位置する方向である端末位置方向を求めてもよい。そして、ステップS82にて、車両制御部14aが、複数方向画像のうち撮影領域が端末位置方向に近い画像を自動で選択し、車両通信装置16dが、選択された画像を含む車両送信情報を携帯端末2aに送信してもよい。なお、撮影領域が端末位置方向に近い複数の画像が存在する場合には、車両通信装置16dは、これらの複数の画像を含む車両送信情報を携帯端末2aに送信してもよい。
 <実施の形態6の変形例3>
 実施の形態6の図30のステップS84では、位置決定画像には第1表示オブジェクトが付随して表示され、位置決定画像以外の複数方向画像には表示オブジェクトが付随されずに表示されたが、これに限ったものではない。例えば、ステップS84にて、位置決定画像には第1表示オブジェクトが付随して表示され、位置決定画像以外の複数方向画像には、位置決定画像に第1表示オブジェクトが表示されている旨を示す表示オブジェクトが付随して表示されてもよい。
 <実施の形態6の変形例4>
 実施の形態6の図30のステップS84では、位置決定画像だけでなく、位置決定画像以外の複数方向画像も表示されたが、これに限ったものではない。例えば、通常のドアミラー及びルームミラーが設けられている場合などには、位置決定画像以外の複数方向画像が表示されずに、位置決定画像だけが表示されてもよい。このような構成によれば、車両内ユーザは、第1表示オブジェクトが付随される位置決定画像を容易に特定することができる。
 <実施の形態6の変形例5>
 図31及び図32は、一般的な電子ミラーに用いられる撮影装置の広角撮影領域a8と、広角撮影領域a8のうちの一部の撮影領域である部分撮影領域a9とを示す図である。なお、広角撮影領域a8の画角は例えば25度であり、部分撮影領域a9の画角は例えば10度である。
 一般的な電子ミラーでは、広角撮影領域a8の全ては表示されずに、部分撮影領域a9が表示される。そして、通常のドアミラーの鏡面が車両内ユーザの操作によって上下左右に調整されることに対応させて、部分撮影領域a9が車両内ユーザの操作によって上下左右移動可能となっている。
 ここで、電子ミラーの機能が実現されている実施の形態6における、複数方向画像(車両周辺画像)は、部分撮影領域a9の画像ではなく、広角撮影領域a8の画像であることが好ましい。このような構成によれば、端末所持者が車両周辺画像に写らない可能性を低減することができる。
 また、実施の形態6の変形例2と同様に、車両制御部14aは、ステップS2で受信された携帯端末2aの位置と、ステップS3で検出された自車両1aの位置に基づいて、自車両1aから携帯端末2aが位置する方向である端末位置方向を求めてもよい。そして、車両制御部14aが、広角撮影領域a8の画像のうち、端末位置方向に位置し、かつ部分撮影領域a9と同程度の撮影領域の画像を切り取り、車両通信装置16dが、切り取られた画像を含む車両送信情報を携帯端末2aに送信してもよい。
 <実施の形態6の変形例6>
 実施の形態6では、電子ミラーを想定して前方撮影装置16a1~後方撮影装置16a4を用いたが、これに限ったものではない。例えば、図33に示すように、自車両1a周辺の全方位を撮影するような撮影領域(前方撮影領域a11、右方撮影領域a12、左方撮影領域a13、後方撮影領域a14)を有する1以上の撮影装置が用いられてもよい。
 <実施の形態6の変形例7>
 実施の形態6の図30のステップS82で送信される車両送信情報は、各撮影装置の撮影領域などの撮影方向を示す撮影プロファイルを含んでもよい。例えば、実施の形態6の変形例6の図33の撮影領域の場合には、前方撮影領域a11、右方撮影領域a12、左方撮影領域a13及び後方撮影領域a14を示す撮影プロファイルが送信されてもよい。
 図34は、図33の前方撮影領域a11、右方撮影領域a12、左方撮影領域a13及び後方撮影領域a14を示す撮影プロファイルを含む車両送信情報が送信されたときの、携帯端末2aの携帯表示部24の動作を示す図である。図34では、携帯表示部24は、前方撮影領域a11、右方撮影領域a12、左方撮影領域a13及び後方撮影領域a14を示す撮影プロファイルp11,p12,p13,p14を表示している。そして、携帯表示部24は、撮影プロファイルp11,p12,p13,p14に対応する複数方向画像のサムネイルを、アイコンg11,g12,g13,g14として表示している。
 図35は、図34において右方撮影領域a12の撮影プロファイルp12に対応するアイコンg12に操作が行われたときの、携帯表示部24の動作を示す図である。図35では、携帯表示部24は、撮影プロファイルp12と、右方撮影領域a12の画像g22とを表示している。例えば、図35の自車両のアイコンg1aに対して操作が行われた場合には、図35の表示から図34の表示に戻ってもよい。
 なお、携帯端末2aにおける表示は、図34の表示に限ったものではない。例えば、図36に示すように、携帯表示部24は、前方撮影領域a11、右方撮影領域a12、左方撮影領域a13及び後方撮影領域a14の画像g21,g22,g23,g24と、撮影プロファイルを示す文字とを表示してもよい。また例えば、図37に示すように、携帯表示部24は、図34などの表示に加えて、上記端末位置方向を示す表示オブジェクト26hを表示してもよい。
 <実施の形態6の変形例8>
 実施の形態6の図30のステップS82で車両送信情報が送信されている間に、車両通信制御部13aは、前方撮影装置16a1~後方撮影装置16a4などの1以上の撮影装置を制御するための制御可能情報を携帯端末2aに送信する制御を行ってもよい。
 そして、携帯端末2aは、制御可能情報を受信した場合に、自車両1aの1以上の撮影装置を制御可能であることを携帯表示部24に表示させる制御を行い、端末所持者の操作に基づいて、上記1以上の撮影装置を制御するための制御要求を自車両1aに送信してもよい。制御要求は、例えば、撮影装置の画像の拡大または縮小、撮影装置の撮影方向を制御する要求を含む。
 それから、車両通信制御部13aは、上記1以上の撮影装置への制御要求を自車両1aが携帯端末2aから受信する制御を行ってもよい。そして、車両制御部14aは、自車両1aで受信された制御要求に基づいて、上記1以上の撮影装置を制御してもよい。このような構成によれば、例えば、車両周辺画像に端末所持者が写っていない場合に、端末所持者は、車両周辺画像に端末所持者が写るように自車両1aの撮影装置の撮影方向を変更することができる。
 <その他の変形例>
 上述した図1の第1取得部12と、第1通信制御部13と、第1制御部14を、以下「第1取得部12等」と記す。第1取得部12等は、図38に示す処理回路81により実現される。すなわち、処理回路81は、第1移動体外部の第1画像を取得する第1取得部12と、第1取得部12で取得された第1画像を含む第1送信情報を第1移動体が第2移動体に送信する制御と、第1画像における第2移動体の少なくとも一部の位置を含む第1受信情報を第1移動体が第2移動体から受信する制御とを行う第1通信制御部13と、第1移動体で受信された第1受信情報に基づいて、第1画像または第1画像に対応する第1移動体外部の風景に付随して第2移動体の少なくとも一部の位置を示す第1表示オブジェクトを、第1移動体の第1表示装置に表示させる制御を行う第1制御部14と、を備える。処理回路81には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサが適用されてもよい。プロセッサには、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)などが該当する。
 処理回路81が専用のハードウェアである場合、処理回路81は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、またはこれらを組み合わせたものが該当する。第1取得部12等の各部の機能それぞれは、処理回路を分散させた回路で実現されてもよいし、各部の機能をまとめて1つの処理回路で実現されてもよい。
 処理回路81がプロセッサである場合、第1取得部12等の機能は、ソフトウェア等との組み合わせにより実現される。なお、ソフトウェア等には、例えば、ソフトウェア、ファームウェア、または、ソフトウェア及びファームウェアが該当する。ソフトウェア等はプログラムとして記述され、メモリに格納される。図39に示すように、処理回路81に適用されるプロセッサ82は、メモリ83に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、合流支援装置は、処理回路81により実行されるときに、第1移動体外部の第1画像を取得するステップと、取得された第1画像を含む第1送信情報を第1移動体が第2移動体に送信する制御と、第1画像における第2移動体の少なくとも一部の位置を含む第1受信情報を第1移動体が第2移動体から受信する制御とを行うステップと、第1移動体で受信された第1受信情報に基づいて、第1画像または第1画像に対応する第1移動体外部の風景に付随して第2移動体の少なくとも一部の位置を示す第1表示オブジェクトを、第1移動体の第1表示装置に表示させる制御を行うステップと、が結果的に実行されることになるプログラムを格納するためのメモリ83を備える。換言すれば、このプログラムは、第1取得部12等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ83は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの、不揮発性または揮発性の半導体メモリ、HDD(Hard Disk Drive)、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)、そのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
 以上、第1取得部12等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、第1取得部12等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、第1取得部12については専用のハードウェアとしての処理回路81、インターフェース及びレシーバなどでその機能を実現し、それ以外についてはプロセッサ82としての処理回路81がメモリ83に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
 以上のように、処理回路81は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
 また、以上で説明した合流支援装置は、PND(Portable Navigation Device)、ナビゲーション装置などの車両装置と、携帯端末を含む通信端末と、車両装置及び通信端末の少なくとも1つにインストールされるアプリケーションの機能と、サーバとを適宜に組み合わせてシステムとして構築される合流支援システムにも適用することができる。この場合、以上で説明した合流支援装置の各機能あるいは各構成要素は、前記システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。
 なお、本発明は、その発明の範囲内において、各実施の形態及び各変形例を自由に組み合わせたり、各実施の形態及び各変形例を適宜、変形、省略したりすることが可能である。
 本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。
 1 第1移動体、1a 自車両、2 第2移動体、2a 携帯端末、11 合流支援装置、12 第1取得部、13 第1通信制御部、14 第1制御部、18 第1表示オブジェクト、19 第1表示装置、28 第2表示オブジェクト、41 配車予約サーバ。

Claims (19)

  1.  第1移動体と第2移動体との合流を支援する合流支援装置であって、
     前記第1移動体外部の第1画像を取得する第1取得部と、
     前記第1取得部で取得された前記第1画像を含む第1送信情報を前記第1移動体が前記第2移動体に送信する制御と、前記第1画像における前記第2移動体の少なくとも一部の位置を含む第1受信情報を前記第1移動体が前記第2移動体から受信する制御とを行う第1通信制御部と、
     前記第1移動体で受信された前記第1受信情報に基づいて、前記第1画像または前記第1画像に対応する前記第1移動体外部の風景に付随して前記第2移動体の少なくとも一部の位置を示す第1表示オブジェクトを、前記第1移動体の第1表示装置に表示させる制御を行う第1制御部と
    を備える、合流支援装置。
  2.  請求項1に記載の合流支援装置であって、
     前記第1移動体及び前記第2移動体のそれぞれは、車両、または、人及び当該人とともに移動する携帯端末である、合流支援装置。
  3.  請求項1に記載の合流支援装置であって、
     前記第2移動体外部の第2画像を取得する第2取得部と、
     前記第2取得部で取得された前記第2画像を含む第2送信情報を前記第2移動体が前記第1移動体に送信する制御と、前記第2画像における前記第1移動体の少なくとも一部の位置を含む第2受信情報を前記第2移動体が前記第1移動体から受信する制御とを行う第2通信制御部と、
     前記第2移動体で受信された前記第2受信情報に基づいて、前記第2画像または前記第2画像に対応する前記第2移動体外部の風景に付随して前記第1移動体の少なくとも一部の位置を示す第2表示オブジェクトを、前記第2移動体の第2表示装置に表示させる制御を行う第2制御部と
    をさらに備える、合流支援装置。
  4.  請求項1に記載の合流支援装置であって、
     前記第1送信情報は、前記第2移動体の第2表示装置での表示に用いられる、前記第1移動体の動的情報及び静的情報の少なくともいずれか1つをさらに含む、合流支援装置。
  5.  請求項1に記載の合流支援装置であって、
     前記第1受信情報は、前記第1表示装置での表示に用いられる、前記第2移動体の動的情報及び静的情報の少なくともいずれか1つをさらに含む、合流支援装置。
  6.  請求項1に記載の合流支援装置であって、
     前記第1受信情報は、前記第1画像における前記第2移動体の位置を示し、前記第1表示装置での表示に用いられる音声または文字をさらに含む、合流支援装置。
  7.  請求項1に記載の合流支援装置であって、
     前記第1移動体は車両であり、
     前記第1取得部は、前記第1移動体に設けられた1以上の撮影装置で撮影された画像を前記第1画像として取得し、
     前記第1通信制御部が、前記1以上の撮影装置の制御可能情報を前記第1移動体が前記第2移動体に送信する制御と、前記1以上の撮影装置への制御要求を前記第1移動体が前記第2移動体から受信する制御とを行った場合に、前記第1制御部は、前記第1移動体で受信された前記制御要求に基づいて、前記1以上の撮影装置を制御する、合流支援装置。
  8.  請求項1に記載の合流支援装置であって、
     前記第1表示装置は、
     前記第1移動体外部の風景に付随する前記第1表示オブジェクトを表示するヘッドアップディスプレイ、または、前記第1移動体の窓用の透過型の液晶表示装置である、合流支援装置。
  9.  請求項1に記載の合流支援装置であって、
     前記第1制御部は、
     予め定められた条件が満たされた場合に、前記第1画像の静止画像と、前記第1画像に付随する前記第1表示オブジェクトとを前記第1表示装置に表示させる制御を行い、
     前記予め定められた条件が満たされない場合に、前記第1画像の動画像と、前記第1画像に付随する前記第1表示オブジェクトとを前記第1表示装置に表示させる制御を行う、合流支援装置。
  10.  請求項1に記載の合流支援装置であって、
     前記第1取得部は、前記第1移動体の位置をさらに取得し、
     前記第1通信制御部は、前記第2移動体の位置を前記第1移動体が前記第2移動体から受信する制御を行い、
     前記第1制御部は、
     前記第1移動体の位置と、前記第2移動体の位置とに基づいて、前記第1移動体と前記第2移動体との相対位置関係を前記第1表示装置に表示させる制御を行う、合流支援装置。
  11.  請求項1に記載の合流支援装置であって、
     前記第2移動体は、
     前記第1送信情報を受信した場合に、当該第1送信情報に含まれる前記第1画像を表示し、前記第1画像に対する予め定められた操作に基づいて、前記第1画像における前記第2移動体の少なくとも一部の位置を決定する、合流支援装置。
  12.  請求項1に記載の合流支援装置であって、
     前記第2移動体は、
     前記第1送信情報を受信した場合に、当該第1送信情報に含まれる前記第1画像に画像認識を行い、当該画像認識の結果に基づいて、前記第1画像における前記第2移動体の少なくとも一部の位置を決定する、合流支援装置。
  13.  請求項1に記載の合流支援装置であって、
     前記第1通信制御部は、
     予め定められた条件が満たされた場合に、前記第1送信情報を前記第1移動体が前記第2移動体に送信する制御を行う、合流支援装置。
  14.  請求項13に記載の合流支援装置であって、
     前記第1取得部は、前記第1移動体の位置をさらに取得し、
     前記第1通信制御部は、前記第2移動体の位置を前記第1移動体が前記第2移動体から受信する制御を行い、
     前記予め定められた条件は、前記第1移動体の位置と前記第2移動体の位置とについての条件である、合流支援装置。
  15.  請求項13に記載の合流支援装置であって、
     前記第1取得部は、前記第1移動体の位置をさらに取得し、
     前記予め定められた条件は、前記第1移動体の位置と、前記第1移動体及び前記第2移動体の合流地点とについての条件である、合流支援装置。
  16.  請求項13に記載の合流支援装置であって、
     前記第1通信制御部は、前記第2移動体の位置を前記第1移動体が前記第2移動体から受信する制御を行い、
     前記予め定められた条件は、前記第2移動体の位置と、前記第1移動体及び前記第2移動体の合流地点とについての条件である、合流支援装置。
  17.  請求項13に記載の合流支援装置であって、
     前記予め定められた条件は、前記第1移動体の移動情報についての条件である、合流支援装置。
  18.  請求項1に記載の合流支援装置と、
     前記第1移動体からの情報と、前記第2移動体からの情報とに基づいて、前記第1移動体と前記第2移動体との合流を支援する合流支援サーバと
    を備える、合流支援システム。
  19.  第1移動体と第2移動体との合流を支援する合流支援方法であって、
     前記第1移動体外部の第1画像を取得し、
     取得された前記第1画像を含む第1送信情報を前記第1移動体が前記第2移動体に送信する制御と、前記第1画像における前記第2移動体の少なくとも一部の位置を含む第1受信情報を前記第1移動体が前記第2移動体から受信する制御とを行い、
     前記第1移動体で受信された前記第1受信情報に基づいて、前記第1画像または前記第1画像に対応する前記第1移動体外部の風景に付随して前記第2移動体の少なくとも一部の位置を示す第1表示オブジェクトを、前記第1移動体の第1表示装置に表示させる制御を行う、合流支援方法。
PCT/JP2019/045734 2019-11-22 2019-11-22 合流支援装置、合流支援システム、及び、合流支援方法 WO2021100190A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021558134A JP7016455B2 (ja) 2019-11-22 2019-11-22 合流支援装置、合流支援システム、及び、合流支援方法
US17/636,643 US20220295017A1 (en) 2019-11-22 2019-11-22 Rendezvous assistance apparatus, rendezvous assistance system, and rendezvous assistance method
PCT/JP2019/045734 WO2021100190A1 (ja) 2019-11-22 2019-11-22 合流支援装置、合流支援システム、及び、合流支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/045734 WO2021100190A1 (ja) 2019-11-22 2019-11-22 合流支援装置、合流支援システム、及び、合流支援方法

Publications (1)

Publication Number Publication Date
WO2021100190A1 true WO2021100190A1 (ja) 2021-05-27

Family

ID=75981563

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/045734 WO2021100190A1 (ja) 2019-11-22 2019-11-22 合流支援装置、合流支援システム、及び、合流支援方法

Country Status (3)

Country Link
US (1) US20220295017A1 (ja)
JP (1) JP7016455B2 (ja)
WO (1) WO2021100190A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023187890A1 (ja) * 2022-03-28 2023-10-05 本田技研工業株式会社 移動体の制御装置、移動体の制御方法、移動体、情報処理方法及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022157401A (ja) * 2021-03-31 2022-10-14 本田技研工業株式会社 情報処理装置、移動体、それらの制御方法、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032897A (ja) * 2000-07-18 2002-01-31 Futaba Keiki Kk タクシーの配車サービス方法及びそのシステム
JP2010235269A (ja) * 2009-03-31 2010-10-21 Zenrin Datacom Co Ltd サービス提供支援システム、および、サービス提供支援方法
JP2013210979A (ja) * 2012-03-30 2013-10-10 Honda Motor Co Ltd 車両間における情報共有システムおよびその方法
JP2014048079A (ja) * 2012-08-30 2014-03-17 Mitsubishi Electric Corp ナビゲーション装置
JP2014164673A (ja) * 2013-02-27 2014-09-08 Imagenics Co Ltd 情報処理端末、情報処理方法、情報処理プログラム
JP2019121049A (ja) * 2017-12-28 2019-07-22 株式会社ケイ・オプティコム ユーザが要望する所定場所に車両を配車する配車装置、配車方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10232710B2 (en) * 2016-03-24 2019-03-19 Toyota Jidosha Kabushiki Kaisha Wireless data sharing between a mobile client device and a three-dimensional heads-up display unit
US10740863B2 (en) * 2017-01-09 2020-08-11 nuTonomy Inc. Location signaling with respect to an autonomous vehicle and a rider
JP2019053547A (ja) * 2017-09-15 2019-04-04 株式会社アース・カー 情報処理装置、情報処理方法、およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032897A (ja) * 2000-07-18 2002-01-31 Futaba Keiki Kk タクシーの配車サービス方法及びそのシステム
JP2010235269A (ja) * 2009-03-31 2010-10-21 Zenrin Datacom Co Ltd サービス提供支援システム、および、サービス提供支援方法
JP2013210979A (ja) * 2012-03-30 2013-10-10 Honda Motor Co Ltd 車両間における情報共有システムおよびその方法
JP2014048079A (ja) * 2012-08-30 2014-03-17 Mitsubishi Electric Corp ナビゲーション装置
JP2014164673A (ja) * 2013-02-27 2014-09-08 Imagenics Co Ltd 情報処理端末、情報処理方法、情報処理プログラム
JP2019121049A (ja) * 2017-12-28 2019-07-22 株式会社ケイ・オプティコム ユーザが要望する所定場所に車両を配車する配車装置、配車方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023187890A1 (ja) * 2022-03-28 2023-10-05 本田技研工業株式会社 移動体の制御装置、移動体の制御方法、移動体、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP7016455B2 (ja) 2022-02-04
US20220295017A1 (en) 2022-09-15
JPWO2021100190A1 (ja) 2021-05-27

Similar Documents

Publication Publication Date Title
US9800717B2 (en) Mobile terminal and method for controlling the same
CN109870157B (zh) 确定车***姿的方法及装置、制图方法
KR102025544B1 (ko) 착용식 비디오 장치 및 이를 구비하는 비디오 시스템
WO2020003361A1 (ja) ヘッドマウントディスプレイ、ヘッドマウントディスプレイ連携システム及びその方法
KR102215815B1 (ko) 단말기 및 이의 제어방법
US20150192426A1 (en) Input/Output Functions Related To A Portable Device In An Automotive Environment
US20150015479A1 (en) Mobile terminal and control method thereof
CN104704461B (zh) 便携终端装置、车载装置、以及车载***
JP7016455B2 (ja) 合流支援装置、合流支援システム、及び、合流支援方法
CN109448050B (zh) 一种目标点的位置的确定方法及终端
CN111553050B (zh) 汽车转向***的结构校核方法、装置及存储介质
CN112905280B (zh) 页面显示方法、装置、设备及存储介质
KR20160104800A (ko) 차량용 디스플레이 시스템
CN113407083A (zh) 一种数据标注方法及装置、电子设备和存储介质
CN111353946A (zh) 图像修复方法、装置、设备及存储介质
EP3169979A1 (en) Contextual view portals
CN114519935A (zh) 道路识别方法以及装置
CN114371904B (zh) 数据显示方法、装置、移动终端及存储介质
JP2019175379A (ja) 通信制御装置、移動体、及び、通信システム
CN112954291B (zh) 处理车辆的3d全景图像或视频的方法、装置及存储介质
JPWO2019176009A1 (ja) 携帯情報端末
CN112037545A (zh) 信息管理方法、装置、计算机设备及存储介质
CN110944294B (zh) 移动轨迹记录方法、装置、***、计算机设备及存储介质
KR102540574B1 (ko) 스트레처블 디스플레이를 사용하여 자동차에서 증강 현실을 제공하는 방법, 이를 수행하기 위한 기록 매체 및 장치
WO2022158280A1 (ja) 撮影装置、撮影制御方法、及び、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19953426

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021558134

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19953426

Country of ref document: EP

Kind code of ref document: A1